|
|
51CTO旗下网站
|
|
移动端

从零开始写Python爬虫,四大工具你值得拥有!

如果你正在学习编程,那么“爬虫”绝对是你不可忽视的。那么,学习python爬虫之前需要哪些准备?

作者:W3Cschool来源:今日头条|2018-05-09 19:29

如果你正在学习编程,那么“爬虫”绝对是你不可忽视的。那么,学习python爬虫之前需要哪些准备?

  • 一颗热爱学习,不屈不挠的心

  • 一台有键盘的电脑(什么系统都行。我用的os x,所以例子会以这个为准)

  • html相关的一些知识。不需要精通,能懂一点就行

  • Python的基础语法知识 。

从零开始写Python爬虫,四大工具你值得拥有!

当这些你都具备了,这个时候你需要学习:

0.基本的爬虫工作原理

1.基本的http抓取工具:scrapy

2.Bloom Filter: Bloom Filters by Example

3.如果需要大规模网页抓取,你需要学习分布式爬虫的概念。简单来说,你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。最简单的实现是python-rq: https://github.com/nvie/rq

4.rq和Scrapy的结合:darkrho/scrapy-redis · GitHub

5.后续处理:网页析取(grangier/python-goose · GitHub),存储(Mongodb)

从零开始写Python爬虫,四大工具你值得拥有!

python的火,很大原因就是各种好用的模块,这些模块是居家旅行爬网站常备的——

NO.1 F12 开发者工具

  • 看源代码:快速定位元素

  • 分析xpath:1、此处建议谷歌系浏览器,可以在源码界面直接右键看

从零开始写Python爬虫,四大工具你值得拥有!

NO.2 抓包工具

  • 推荐httpfox,火狐浏览器下的插件,比谷歌火狐系自带的F12工具都要好,可以方便查看网站收包发包的信息

从零开始写Python爬虫,四大工具你值得拥有!

NO.3 XPATH CHECKER (火狐插件)

从零开始写Python爬虫,四大工具你值得拥有!

非常不错的xpath测试工具,不过也有几个小缺点,:

  1. xpath checker生成的是绝对路径,遇到一些动态生成的图标(常见的有列表翻页按钮等),飘忽不定的绝对路径很有可能造成错误,所以这里建议在真正分析的时候,只是作为参考

  2. 记得把如下图xpath框里的“x:”去掉,貌似这个是早期版本xpath的语法,目前已经和一些模块不兼容(比如scrapy),还是删去避免报错。

从零开始写Python爬虫,四大工具你值得拥有!

NO.4 正则表达测试工具

在线正则表达式测试 ,拿来多练练手,也辅助分析!里面有很多现成的正则表达式可以用,也可以进行参考!

【编辑推荐】

  1. 35行代码利用python生成字符画,非常适合初学者练习,附源码!
  2. 适合Python的5大练手项目,你练了么?
  3. 没有 Python,微软宣布 Excel 新增 JavaScript 支持
  4. 手把手教你搭建一个基于Java的分布式爬虫系统
  5. 我们可以在同一个虚拟机中运行Python 2和3代码而不需要更改代码吗?
【责任编辑:庞桂玉 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

3D游戏开发大全(高级篇)

在我的第一本书——《3D游戏开发大全》中,我们曾经对3D游戏开发完成了一次犹如探索原始丛林般的旅程:首先,我们对3D游戏产业进行了初步了...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊