盘点一个网络爬虫中常见的一个错误

开发 后端
这篇文章主要盘点一个网络爬虫中常见的一个错误问题,文中针对该问题给出了具体的解析和代码演示,帮助粉丝顺利解决了问题。

大家好,我是皮皮。

一、前言

前几天在Python白银交流群有个叫【雨就是雨】的粉丝问了一个Python网络爬虫的问题,这里拿出来给大家分享下,一起学习下。

问题如下:

二、解决过程

这里很容易的一个怀疑点是原网页上的网页结构变化了,使用xpath选择器进行提取的话,会出现不匹配的情况,列表索引不在范围内,引起报错。

【Python进阶者】给出了一个思路,确实可以使用try异常处理来避开,不过始终拿不到数据,确实有点让人头大。

后来下午的时候【Python进阶者】跑他代码的时候发现了原因,如下图所示。

他的url这里,构造有问题,多了一个/,导致网页访问出错。

修改下,就可以跑了,另外,网页详情页里边也有多次请求,记得稍微sleep下,就可以了。下面是详细代码,感兴趣的小伙伴们,可以拿去跑下。

import requests
from lxml import etree
from fake_useragent import UserAgent
import time
class kitchen(object):
u = 0
def __init__(self):
self.url = "https://www.xiachufang.com/category/40076/"
ua = UserAgent(verify_ssl=False)
for i in range(1, 50):
self.headers = {
'User-Agent': ua.random,
}
'''发送请求 获取响应'''
def get_page(self, url):
res = requests.get(url=url, headers=self.headers)
html = res.content.decode("utf-8")
time.sleep(2)
return html
def parse_page(self, html):
parse_html = etree.HTML(html)
image_src_list = parse_html.xpath('//li/div/a/@href')
for i in image_src_list:
try:
url = "https://www.xiachufang.com" + i
# print(url)
html1 = self.get_page(url) # 第二个发生请求
parse_html1 = etree.HTML(html1)
# print(parse_html1)
num = parse_html1.xpath('.//h2[@id="steps"]/text()')[0].strip()
name = parse_html1.xpath('.//li[@class="container"]/p/text()')
ingredients = parse_html1.xpath('.//td//a/text()')
self.u += 1
# print(self.u)
# print(str(self.u)+"."+house_dict["名 称 :"]+":")
# da=tuple(house_dict["材 料:"])
food_info = '''
第 %s 种
菜 名 : %s
原 料 : %s
下 载 链 接 : %s,
=================================================================
''' % (str(self.u), num, ingredients, url)
# print(food_info)
f = open('下厨房菜谱.txt', 'a', encoding='utf-8')
f.write(str(food_info))
print(str(food_info))
f.close()
except:
print('xpath没获取到内容!')
def main(self):
startPage = int(input("起始页:"))
endPage = int(input("终止页:"))
for page in range(startPage, endPage + 1):
url = self.url.format(page)
html = self.get_page(url)
self.parse_page(html)
time.sleep(2.4)
print("====================================第 %s 页 爬 取 成 功====================================" % page)
if __name__ == '__main__':
imageSpider = kitchen()
imageSpider.main()

跑出来的结果会保存到一个txt文件里边,如下图所示:

碰到这种url拼接问题,推荐使用urljoin的方式,示例代码如下:

from urllib.parse import urljoin
source_url = 'https://www.baidu.com/'
child_url1 = '/robots.txt'
child_url2 = 'robots.txt'
final_url1 = urljoin(source_url, child_url1)
final_url2 = urljoin(source_url, child_url2)
print(final_url1)
print(final_url2)

运行结果如下图所示:

urljoin的作用就是连接两个参数的url,将第二个参数中缺的部分用第一个参数的补齐,如果第二个有完整的路径,则以第二个为主。

三、总结

大家好,我是皮皮。这篇文章主要盘点一个网络爬虫中常见的一个错误问题,文中针对该问题给出了具体的解析和代码演示,帮助粉丝顺利解决了问题。最后给大家安利了一个url拼接的方法,在网络爬虫中还是非常常用的。

最后感谢粉丝【雨就是雨】提问,感谢【Python进阶者】给出的具体解析和代码演示,感谢粉丝【꯭】、【艾希·觉罗】、【月神】、【dcpeng】、【瑜亮老师】等人参与学习交流。

小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。

责任编辑:庞桂玉 来源: Python共享之家
相关推荐

2021-06-16 17:46:55

函数指针结构

2016-09-26 17:26:20

2023-01-03 12:30:25

架构CPUGPU

2020-10-10 06:21:15

爬虫互联网

2014-10-14 15:50:19

UIAndroid

2009-03-12 11:33:20

2013-04-12 09:24:26

2016-03-01 14:37:47

华为

2023-05-09 07:10:53

2012-07-30 09:40:52

Lua

2023-01-12 08:47:26

二项式杨辉斐波那契

2018-03-07 16:15:32

网络物联网互联网+

2019-07-29 09:25:01

云优先工作负载公共云

2021-08-26 07:43:44

vectorerase错误

2014-10-14 10:01:10

UIAndroid

2010-07-17 14:24:50

视频网站流量Blue Coat

2011-09-16 10:00:56

C++

2013-02-22 18:37:50

容错服务器

2021-12-27 08:58:28

低代码开发数据安全

2022-10-10 09:00:35

ReactJSX组件
点赞
收藏

51CTO技术栈公众号