|
|
51CTO旗下网站
|
|
移动端

假如你已经开始学Python,对爬虫没有头绪,不妨看看这几个案例!

这几个案例以前是给一些想进入Python行业的朋友写的,看到大家都比较满意,所以就再次拿了出来,如果你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

作者:空手忆岁月来源:今日头条|2018-06-19 16:25

 

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

一、论述

这几个案例以前是给一些想进入Python行业的朋友写的,看到大家都比较满意,所以就再次拿了出来,如果你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

二、环境准备

Python 3

requests库 、lxml库、beautifulsoup4库

pip install XX XX XX一并安装。

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

三、Python爬虫小案例

1、获取本机的公网IP地址

利用python的requests库+公网上查IP的接口,自动获取IP地址

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

2、利用百度的查找接口,Python编写url采集工具

需要用到requests库、BeautifulSoup库,观察百度搜索结构的URL链接规律,绕过百度搜索引擎的反爬虫机制的方法为在程序中设置User-Agent请求头。

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

Python源代码:

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

Python语言编写好程序后,利用关键词inurl:/dede/login.php 来批量提取某网cms的后台地址:

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

3、利用Python打造搜狗壁纸自动下载爬虫

搜狗壁纸的地址是json格式,所以用json库解析这组数据,爬虫程序存放图片的磁盘路径改成欲存图片的路径就可以了。

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

效果图:

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

4、Python自动填写问卷调查

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

与一般网页一样,多次提交数据会要输入验证码,这就是反爬机制。

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

如图:

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

那么如何绕过验证码的反爬措施?利用X-Forwarded-For伪造IP地址访问即可,Python代码如下:

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

效果:

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

5、获取西刺代理上的IP,验证这些代理被封禁掉的可能性与延迟时间

可以把Python爬取的代理IP添加到proxychain里面,就可以进行一般的渗透任务了。这里直接调用了linux的系统命令ping -c 1 " + ip.string + " | awk 'NR==2{print}' - ,在Windows中运行此程序需要修改倒数第三行os.popen里的命令,修改为Windows能够执行的就可以了。

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

爬取到的数据如图:

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

演示:

假如你已经开始学python,对爬虫没有头绪,不妨看看这几个案例!

结论

其实我们能够用python做许多非常有趣的事。

【编辑推荐】

  1. 学习Python必去的8个网站!
  2. 从零出发,用Python开发一个小型的区块链程序
  3. 最强观战指南 | Python分析热门夺冠球队(附源代码)
  4. Python语言越来越火,零基础也能学会(附学习路线)
  5. 我为什么要从Python转向Crystal语言
【责任编辑:庞桂玉 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

网管员必读—服务器与数据存储(第2版)

本书是在第1版的基础上全面更新、改版而成的,仍然是目前图书市场中唯一一本全面介绍硬件服务器的IT图书。本书针对近两年来所出现的新服务...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊