爬虫时IP总是被封?我来教你一招

开发 后端
在我抓取网站遇到瓶颈,想剑走偏锋去解决时,常常会先去看下该网站的 robots.txt 文件,有时会给你打开另一扇抓取之门。

 在我抓取网站遇到瓶颈,想剑走偏锋去解决时,常常会先去看下该网站的 robots.txt 文件,有时会给你打开另一扇抓取之门。

写爬虫有很多苦恼的事情,比如:

1.访问频次太高被限制;

2.如何大量发现该网站的 URL;

3.如何抓取一个网站新产生的 URL,等等;

[[256183]]

 

这些问题都困扰着爬虫选手,如果有大量离散 IP 和账号,这些都不是问题,但是绝大部分公司都不具备这个条件的。

我们在工作中写的爬虫大多是一次性和临时性的任务,需要你快速完成工作就好,当遇到上面情况,试着看下 robots.txt 文件。

举个栗子:

老板给你布置一个任务,把豆瓣每天新产生的影评,书评,小组帖子,同城帖子,个人日志抓取下来。

初想一下,这任务得有多大,豆瓣有 1.6 亿注册用户,光是抓取个人日志这一项任务,每个人的主页你至少每天要访问一次。

这每天就得访问 1.6 亿次,小组/同城帖子等那些还没算在内。

设计一个常规爬虫,靠着那几十个 IP 是完不成任务的。

初窥robots.txt

当老板给你了上面的任务,靠着你这一两杆枪,你怎么完成,别给老板讲技术,他不懂,他只想要结果。

我们来看下豆瓣的 robots.txt。

  1. https://www.douban.com/robots.txt 

 

看图片上面红框处,是两个 sitemap 文件

打开 sitemap_updated_index 文件看一下:

 

里面是一个个压缩文件,文件里面是豆瓣头一天新产生的影评,书评,帖子等等,感兴趣的可以去打开压缩文件看一下。

也就是说每天你只需要访问这个 robots.txt 里的 sitemap 文件就可以知道有哪些新产生的 URL。

不用去遍历豆瓣网站上那几亿个链接,极大节约了你的抓取时间和爬虫设计复杂度,也降低了豆瓣网站的带宽消耗,这是双赢啊,哈哈。

上面通过 robots.txt 的 sitemap 文件找到了抓取一个网站新产生 URL 的偏方。沿着该思路也能解决发现网站大量 URL 的问题。

再举个栗子:

老板又给你一个任务,老板说上次抓豆瓣你说要大量 IP 才能搞定抓豆瓣每天新产生的帖子,这次给你 1000 个 IP 把天眼查上的几千万家企业工商信息抓取下来。

看着这么多 IP 你正留着口水,但是分析网站后发现这类网站的抓取入口很少(抓取入口是指频道页,聚合了很多链接的那种页面)。

很容易就把储备的 URL 抓完了,干看着这么多 IP 工作不饱满。

如果一次性能找到这个网站几万乃至几十万个 URL 放进待抓队列里,就可以让这么多 IP 工作饱满起来,不会偷懒了。

我们来看他的robots.txt文件:

  1. https://www.tianyancha.com/robots.txt 

 

打开红框处的 sitemap,里面有 3 万个公司的 URL,上图是 1 月 3 号生成的,那个URL 是根据年月日生成的,你把 URL 改成 1 月 2 号,又能看到 2 号的sitemap里的几万个公司 URL,这样就能发现十几万个种子 URL 供你抓取了。

PS:上面的 sitemap 其实也能解决抓取天眼查最近更新的,新产生 URL 的问题。

小小的一个取巧,既降低了爬虫设计的复杂度,又降低了对方的带宽消耗。

这在工作中非常适用,工作中不会在意你用的框架多好,只在意你做事的快慢和好坏。

善于看 robots.txt 文件你会发现一些别有洞天的东西。

责任编辑:武晓燕 来源: Python知识圈
相关推荐

2021-06-28 20:01:07

电脑性能Windows 7

2022-09-06 11:53:00

开发计算

2012-02-01 15:41:42

2020-09-16 06:08:10

Linux文本比对代码

2011-05-03 11:13:51

黑盒

2020-06-22 14:18:02

运维架构技术

2022-06-21 09:27:01

PythonFlaskREST API

2020-10-20 08:01:30

MySQL密码Windows

2023-12-18 08:24:09

LinuxPythonWord

2021-03-06 09:54:22

PythonHTTP请求头

2023-10-06 20:52:47

2021-07-06 07:21:17

桥接模式组合

2018-10-10 14:34:27

ARM嵌入式系统硬件

2010-01-06 09:54:59

2018-06-27 10:10:34

APP评分弹窗苹果

2020-11-03 16:36:36

Windows微软弹窗

2020-11-17 06:43:16

安卓智能手机移动应用

2022-02-17 17:19:31

鸿蒙语音识别语音播报

2013-07-30 11:24:33

SAP“简化IT 一招

2021-01-25 05:41:25

Flash Fliqlo软件
点赞
收藏

51CTO技术栈公众号