|
|
51CTO旗下网站
|
|
移动端

2019 网络爬虫和相关工具

网络爬虫(web crawler),以前经常称之为网络蜘蛛(spider),是按照一定的规则自动浏览万维网并获取信息的机器人程序(或脚本),曾经被广泛的应用于互联网搜索引擎。

作者:微笑的蚂蚁人来源:开源测试联盟|2019-06-11 09:06

 

网络爬虫

网络爬虫(web crawler),以前经常称之为网络蜘蛛(spider),是按照一定的规则自动浏览万维网并获取信息的机器人程序(或脚本),曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道,网页中除了供用户阅读的文字信息之外,还包含一些超链接。网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其它页面。正因如此,网络数据采集的过程就像一个爬虫或者蜘蛛在网络上漫游,所以才被形象的称为网络爬虫或者网络蜘蛛。

爬虫的应用领域

在理想的状态下,所有ICP(Internet Content Provider)都应该为自己的网站提供API接口来共享它们允许其他程序获取的数据,在这种情况下爬虫就不是必需品,国内比较有名的电商平台(如淘宝、京东等)、社交平台(如腾讯微博等)等网站都提供了自己的Open API,但是这类Open API通常会对可以抓取的数据以及抓取数据的频率进行限制。对于大多数的公司而言,及时的获取行业相关数据是企业生存的重要环节之一,然而大部分企业在行业数据方面的匮乏是其与生俱来的短板,合理的利用爬虫来获取数据并从中提取出有商业价值的信息是至关重要的。当然爬虫还有很多重要的应用领域,下面列举了其中的一部分:

  1. 搜索引擎
  2. 新闻聚合
  3. 社交应用
  4. 舆情监控
  5. 行业数据

合法性和背景调研

爬虫合法性探讨

网络爬虫领域目前还属于拓荒阶段,虽然互联网世界已经通过自己的游戏规则建立起一定的道德规范(Robots协议,全称是“网络爬虫排除标准”),但法律部分还在建立和完善中,也就是说,现在这个领域暂时还是灰色地带。

“法不禁止即为许可”,如果爬虫就像浏览器一样获取的是前端显示的数据(网页上的公开信息)而不是网站后台的私密敏感信息,就不太担心法律法规的约束,因为目前大数据产业链的发展速度远远超过了法律的完善程度。

在爬取网站的时候,需要限制自己的爬虫遵守Robots协议,同时控制网络爬虫程序的抓取数据的速度;在使用数据的时候,必须要尊重网站的知识产权(从Web 2.0时代开始,虽然Web上的数据很多都是由用户提供的,但是网站平台是投入了运营成本的,当用户在注册和发布内容时,平台通常就已经获得了对数据的所有权、使用权和分发权)。如果违反了这些规定,在打官司的时候败诉几率相当高。

Robots.txt文件

大多数网站都会定义robots.txt文件,下面以淘宝的robots.txt文件为例,看看该网站对爬虫有哪些限制。

  1. User-agent:  Baiduspider 
  2. Allow:  /article 
  3. Allow:  /oshtml 
  4. Disallow:  /product/ 
  5. Disallow:  / 
  6.  
  7. User-Agent:  Googlebot 
  8. Allow:  /article 
  9. Allow:  /oshtml 
  10. Allow:  /product 
  11. Allow:  /spu 
  12. Allow:  /dianpu 
  13. Allow:  /oversea 
  14. Allow:  /list 
  15. Disallow:  / 
  16.  
  17. User-agent:  Bingbot 
  18. Allow:  /article 
  19. Allow:  /oshtml 
  20. Allow:  /product 
  21. Allow:  /spu 
  22. Allow:  /dianpu 
  23. Allow:  /oversea 
  24. Allow:  /list 
  25. Disallow:  / 
  26.  
  27. User-Agent:  360Spider 
  28. Allow:  /article 
  29. Allow:  /oshtml 
  30. Disallow:  / 
  31.  
  32. User-Agent:  Yisouspider 
  33. Allow:  /article 
  34. Allow:  /oshtml 
  35. Disallow:  / 
  36.  
  37. User-Agent:  Sogouspider 
  38. Allow:  /article 
  39. Allow:  /oshtml 
  40. Allow:  /product 
  41. Disallow:  / 
  42.  
  43. User-Agent:  Yahoo!  Slurp 
  44. Allow:  /product 
  45. Allow:  /spu 
  46. Allow:  /dianpu 
  47. Allow:  /oversea 
  48. Allow:  /list 
  49. Disallow:  / 
  50.  
  51. User-Agent:  * 
  52. Disallow:  / 

注意上面robots.txt第一段的最后一行,通过设置“Disallow: /”禁止百度爬虫访问除了“Allow”规定页面外的其他所有页面。因此当你在百度搜索“淘宝”的时候,搜索结果下方会出现:“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述”。百度作为一个搜索引擎,至少在表面上遵守了淘宝网的robots.txt协议,所以用户不能从百度上搜索到淘宝内部的产品信息。

相关工具介绍

HTTP协议

在开始讲解爬虫之前,我们稍微对HTTP(超文本传输协议)做一些回顾,因为我们在网页上看到的内容通常是浏览器执行HTML语言得到的结果,而HTTP就是传输HTML数据的协议。HTTP和其他很多应用级协议一样是构建在TCP(传输控制协议)之上的,它利用了TCP提供的可靠的传输服务实现了Web应用中的数据交换。按照维基百科上的介绍,设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法,也就是说这个协议是浏览器和Web服务器之间传输的数据的载体。关于这个协议的详细信息以及目前的发展状况,大家可以阅读阮一峰老师的《HTTP 协议入门》、《互联网协议入门》系列以及《图解HTTPS协议》进行了解,下图是我在四川省网络通信技术重点实验室工作期间用开源协议分析工具Ethereal(抓包工具WireShark的前身)截取的访问百度首页时的HTTP请求和响应的报文(协议数据),由于Ethereal截取的是经过网络适配器的数据,因此可以清晰的看到从物理链路层到应用层的协议数据。

HTTP请求(请求行+请求头+空行+[消息体]):

HTTP响应(响应行+响应头+空行+消息体):

说明:但愿这两张如同泛黄的照片般的截图帮助你大概的了解到HTTP是一个怎样的协议。

相关工具

1.Chrome Developer Tools:谷歌浏览器内置的开发者工具。

2.POSTMAN:功能强大的网页调试与RESTful请求工具。

3.

4.HTTPie:命令行HTTP客户端。

  1. $ http --header http://www.scu.edu.cn 
  2. HTTP/1.1 200 OK 
  3. Accept-Ranges: bytes 
  4. Cache-Control: private, max-age=600 
  5. Connection: Keep-Alive 
  6. Content-Encoding: gzip 
  7. Content-Language: zh-CN 
  8. Content-Length: 14403 
  9. Content-Type: text/html 
  10. Date: Sun, 27 May 2018 15:38:25 GMT 
  11. ETag: "e6ec-56d3032d70a32-gzip" 
  12. Expires: Sun, 27 May 2018 15:48:25 GMT 
  13. Keep-Alive: timeout=5, max=100 
  14. Last-Modified: Sun, 27 May 2018 13:44:22 GMT 
  15. Server: VWebServer 
  16. Vary: User-Agent,Accept-Encoding 
  17. X-Frame-Options: SAMEORIGIN 

5.BuiltWith:识别网站所用技术的工具。

  1. >>> import builtwith 
  2. >>> builtwith.parse('http://www.bootcss.com/'
  3. {'web-servers': ['Nginx'], 'font-scripts': ['Font Awesome'], 'javascript-frameworks': ['Lo-dash''Underscore.js''Vue.js''Zepto''jQuery'], 'web-frameworks': ['Twitter Bootstrap']} 
  4. >>> 
  5. >>> import ssl 
  6. >>> ssl._create_default_https_context = ssl._create_unverified_context 
  7. >>> builtwith.parse('https://www.jianshu.com/'
  8. {'web-servers': ['Tengine'], 'web-frameworks': ['Twitter Bootstrap''Ruby on Rails'], 'programming-languages': ['Ruby']} 

6.python-whois:查询网站所有者的工具。

  1. >>> import whois 
  2. >>> whois.whois('baidu.com'
  3. {'domain_name': ['BAIDU.COM''baidu.com'], 'registrar''MarkMonitor, Inc.''whois_server''whois.markmonitor.com''referral_url': None, 'updated_date': [datetime.datetime(2017, 7, 28, 2, 36, 28), datetime.datetime(2017, 7, 27, 19, 36, 28)], 'creation_date': [datetime.datetime(1999, 10, 11, 11, 5, 17), datetime.datetime(1999, 10, 11, 4, 5, 17)], 'expiration_date': [datetime.datetime(2026, 10, 11, 11, 5, 17), datetime.datetime(2026, 10, 11, 0, 0)], 'name_servers': ['DNS.BAIDU.COM''NS2.BAIDU.COM''NS3.BAIDU.COM''NS4.BAIDU.COM''NS7.BAIDU.COM''dns.baidu.com''ns4.baidu.com''ns3.baidu.com''ns7.baidu.com''ns2.baidu.com'], 'status': ['clientDeleteProhibited https://icann.org/epp#clientDeleteProhibited''clientTransferProhibited https://icann.org/epp#clientTransferProhibited''clientUpdateProhibited https://icann.org/epp#clientUpdateProhibited''serverDeleteProhibited https://icann.org/epp#serverDeleteProhibited''serverTransferProhibited https://icann.org/epp#serverTransferProhibited''serverUpdateProhibited https://icann.org/epp#serverUpdateProhibited''clientUpdateProhibited (https://www.icann.org/epp#clientUpdateProhibited)''clientTransferProhibited (https://www.icann.org/epp#clientTransferProhibited)''clientDeleteProhibited (https://www.icann.org/epp#clientDeleteProhibited)''serverUpdateProhibited (https://www.icann.org/epp#serverUpdateProhibited)''serverTransferProhibited (https://www.icann.org/epp#serverTransferProhibited)''serverDeleteProhibited (https://www.icann.org/epp#serverDeleteProhibited)'], 'emails': ['abusecomplaints@markmonitor.com''whoisrelay@markmonitor.com'], 'dnssec''unsigned''name': None, 'org''Beijing Baidu Netcom Science Technology Co., Ltd.''address': None, 'city': None, 'state''Beijing''zipcode': None, 'country''CN'

7.robotparser:解析robots.txt的工具。

  1. >>> from urllib import robotparser 
  2. >>> parser = robotparser.RobotFileParser() 
  3. >>> parser.set_url('https://www.taobao.com/robots.txt'
  4. >>> parser.read() 
  5. >>> parser.can_fetch('Hellokitty''http://www.taobao.com/article'
  6. False 
  7. >>> parser.can_fetch('Baiduspider''http://www.taobao.com/article'
  8. True 
  9. >>> parser.can_fetch('Baiduspider''http://www.taobao.com/product'
  10. False 

一个简单的爬虫

一个基本的爬虫通常分为数据采集(网页下载)、数据处理(网页解析)和数据存储(将有用的信息持久化)三个部分的内容,当然更为高级的爬虫在数据采集和处理时会使用并发编程或分布式技术,这就需要有调度器(安排线程或进程执行对应的任务)、后台管理程序(监控爬虫的工作状态以及检查数据抓取的结果)等的参与。

一般来说,爬虫的工作流程包括以下几个步骤:

  1. 设定抓取目标(种子页面/起始页面)并获取网页。
  2. 当服务器无法访问时,按照指定的重试次数尝试重新下载页面。
  3. 在需要的时候设置用户代理或隐藏真实IP,否则可能无法访问页面。
  4. 对获取的页面进行必要的解码操作然后抓取出需要的信息。
  5. 在获取的页面中通过某种方式(如正则表达式)抽取出页面中的链接信息。
  6. 对链接进行进一步的处理(获取页面并重复上面的动作)。
  7. 将有用的信息进行持久化以备后续的处理。

下面的例子给出了一个从“搜狐体育”上获取NBA新闻标题和链接的爬虫。

  1. from urllib.error import URLError 
  2. from urllib.request import urlopen 
  3.  
  4. import re 
  5. import pymysql 
  6. import ssl 
  7.  
  8. from pymysql import Error 
  9.  
  10.  
  11. # 通过指定的字符集对页面进行解码(不是每个网站都将字符集设置为utf-8) 
  12. def decode_page(page_bytes, charsets=('utf-8',)): 
  13.     page_html = None 
  14.     for charset in charsets: 
  15.         try: 
  16.             page_html = page_bytes.decode(charset) 
  17.             break 
  18.         except UnicodeDecodeError: 
  19.             pass 
  20.             # logging.error('Decode:', error) 
  21.     return page_html 
  22.  
  23.  
  24. # 获取页面的HTML代码(通过递归实现指定次数的重试操作) 
  25. def get_page_html(seed_url, *, retry_times=3, charsets=('utf-8',)): 
  26.     page_html = None 
  27.     try: 
  28.         page_html = decode_page(urlopen(seed_url).read(), charsets) 
  29.     except URLError: 
  30.         # logging.error('URL:', error) 
  31.         if retry_times > 0: 
  32.             return get_page_html(seed_url, retry_times=retry_times - 1, 
  33.                                  charsets=charsets) 
  34.     return page_html 
  35.  
  36.  
  37. # 从页面中提取需要的部分(通常是链接也可以通过正则表达式进行指定) 
  38. def get_matched_parts(page_html, pattern_str, pattern_ignore_case=re.I): 
  39.     pattern_regex = re.compile(pattern_str, pattern_ignore_case) 
  40.     return pattern_regex.findall(page_html) if page_html else [] 
  41.  
  42.  
  43. # 开始执行爬虫程序并对指定的数据进行持久化操作 
  44. def start_crawl(seed_url, match_pattern, *, max_depth=-1): 
  45.     conn = pymysql.connect(host='localhost', port=3306, 
  46.                            database='crawler'user='root'
  47.                            password='123456', charset='utf8'
  48.     try: 
  49.         with conn.cursor() as cursor
  50.             url_list = [seed_url] 
  51.             # 通过下面的字典避免重复抓取并控制抓取深度 
  52.             visited_url_list = {seed_url: 0} 
  53.             while url_list: 
  54.                 current_url = url_list.pop(0) 
  55.                 depth = visited_url_list[current_url] 
  56.                 if depth != max_depth: 
  57.                     # 尝试用utf-8/gbk/gb2312三种字符集进行页面解码 
  58.                     page_html = get_page_html(current_url, charsets=('utf-8''gbk''gb2312')) 
  59.                     links_list = get_matched_parts(page_html, match_pattern) 
  60.                     param_list = [] 
  61.                     for link in links_list: 
  62.                         if link not in visited_url_list: 
  63.                             visited_url_list[link] = depth + 1 
  64.                             page_html = get_page_html(link, charsets=('utf-8''gbk''gb2312')) 
  65.                             headings = get_matched_parts(page_html, r'<h1>(.*)<span'
  66.                             if headings: 
  67.                                 param_list.append((headings[0], link)) 
  68.                     cursor.executemany('insert into tb_result values (default, %s, %s)'
  69.                                        param_list) 
  70.                     conn.commit() 
  71.     except Error: 
  72.         pass 
  73.         # logging.error('SQL:', error) 
  74.     finally: 
  75.         conn.close() 
  76.  
  77.  
  78. def main(): 
  79.     ssl._create_default_https_context = ssl._create_unverified_context 
  80.     start_crawl('http://sports.sohu.com/nba_a.shtml'
  81.                 r'<a[^>]+test=a\s[^>]*href=["\'](.*?)["\']'
  82.                 max_depth=2) 
  83.  
  84.  
  85. if __name__ == '__main__'
  86.     main() 

由于使用了MySQL实现持久化操作,所以要先启动MySQL服务器再运行该程序。

【编辑推荐】

  1. Java开发人员使用哪些大数据工具?
  2. 一文了解苹果WWDC 2019发布的开发者工具有哪些亮点
  3. 前端核心工具:yrn、npm、cnpm三者如何优雅的在一起使用 ?
  4. Python中十大免费的优秀图像处理工具
  5. 阿里提供的12种后端开发工具
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

191人订阅学习

WOT2019全球人工智能技术峰会

WOT2019全球人工智能技术峰会

通用技术、应用领域、企业赋能三大章节,13大技术专场,60+国内外一线人工智能精英大咖站台,分享人工智能的平台工具、算法模型、语音视觉等技术主题,助力人工智能落地。
共50章 | WOT峰会

0人订阅学习

Spring Boot 爬虫搜索轻松游

Spring Boot 爬虫搜索轻松游

全栈式开发之旅
共4章 | 美码师

77人订阅学习

视频课程+更多

【精品】PMP

【精品】PMP

讲师:李骐7290人学习过

Jmeter接口层性能与自动化测试从入门到放弃(小强测试品牌)

Jmeter接口层性能与自动化测试从入门到放弃(

讲师:小强73986人学习过

【徐葳】Flink入门及实战(上)

【徐葳】Flink入门及实战(上)

讲师:徐葳55800人学习过

读 书 +更多

《网管员必读——网络管理》

本书在全面介绍微软最新网络操作系统Windows Server 2003的基础上,简要地介绍了UNIX和Linux两大操作系统的代表产品:Sun(太阳)公司的Sol...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客