|
|
51CTO旗下网站
|
|
移动端

教师节送什么?Python教你挑选礼物

又到了一年一度的教师节,每次教师节大家都会烦恼不知道送什么礼物?尤其是对于理工男来说,更是一个让人头大的问题。我今天就和大家分享一个用Python爬取淘宝商品信息的项目,希望可以给大家选礼物时提供一个参考。

作者:叫我小包总来源:python学习日志|2019-09-10 09:14

又到了一年一度的教师节,每次教师节大家都会烦恼不知道送什么礼物?尤其是对于理工男来说,更是一个让人头大的问题。我今天就和大家分享一个用Python爬取淘宝商品信息的项目,希望可以给大家选礼物时提供一个参考。

1.爬取目标

本次项目利用selenium抓取淘宝商品信息,用selenium语法来获取商品信息、价格、购买人数、图片、以及店铺的名字,最后再把获取的信息储存在MongoDB中。

2.准备工作

在开始本次项目前,首先你要确保正确安装好Chome浏览器并配置好对应版本的ChromeDriver;另外,还需要正确安装Python的selenium库和pymongo库;最后还要在电脑上安装好MongoDB。

3.下面给出Windows下安装selenium、pymongo、MongoDB的方法

selenium:

  1. pip install selenium   || pip3 install selenium 

pymongo:

  1. pip install pymongo || pip3 install pymongo 

MongoDB:

由于MongoDB现在版本比较多,3.0和4.0安装方法存在差异,我下载的是3.x版本的,安装和配置都比较简单,所以,我也建议大家安装和使用3.x版本的。

下载链接:

https://www.mongodb.com/download-center/community

ChromeDriver下载链接:

https://chromedriver.storage.googleapis.com/index.html

这里下载的ChromeDriver版本要和你下载的谷歌浏览器的版本相一致,否则程序运行会出现错误。下载完后将ChromeDriver.exe放到你Python安装路径下的Scripts中即可。

4.提取单页商品信息

获取各个元素用到的是selenium语法的

  1. find_element_by_xpath() 

括号中需要填入各元素的Xpath路径。

  • 获取商品信息

代码如下:

  1. 'info' : li.find_element_by_xpath('.//div[@class="row row-2 title"]').text 
  • 获取价格信息

代码如下:

  1. 'price' : li.find_element_by_xpath('.//a[@class="J_ClickStat"]').get_attribute('trace-price') + '元' 
  • 获取付款人数

代码如下:

  1. 'deal' : li.find_element_by_xpath('.//div[@class="deal-cnt"]').text 
  • 获取图片

代码如下:

  1. 'image' : li.find_element_by_xpath('.//div[@class="pic"]/a/img').get_attribute('src'
  • 获取店铺名字

代码如下:

  1. 'name' : li.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text 

5.提取多页商品信息

经过上面的分析,只能爬取一页的商品信息,我们想获取多页信息,就需要先定义一个函数,将总页数提取出来,代码如下

  1. #提取总页数 
  2. def search(): 
  3.     driver.find_element_by_id('q').send_keys('python'
  4.     driver.find_element_by_class_name("tb-bg").click() 
  5.     time.sleep(10) 
  6.     token 
  7. = driver.find_element_by_xpath( 
  8. '//*[@id="mainsrp-pager"]/div/div/div/div[1]' 
  9. ).text 
  10.     token = int(re.compile('\d+').search(token).group(0)) 
  11.     return token 

6.向下滑动页面

我们都知道selenium用来抓取动态渲染的页面非常有效,我们在抓取页面信息时,需要模拟人来操作下拉、翻页等操作。

对于下拉操作,有爬虫基础的可能会想到用selenium模拟的操作,但本次项目我们用js语法来模拟下拉,这样做的好处就是不容易被淘宝的反爬机制识别,代码如下

  1. def drop_down(): 
  2.     for x in range(1,11,2): 
  3.         time.sleep(0.5) 
  4.         j = x/10           #滑动到的位置 
  5.         js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' %j 
  6.         driver.execute_script(js) 

同理,我们也定义一个函数来模拟翻页,代码如下

  1. def next_page(): 
  2.     token = search() 
  3.     num = 0 
  4.     while num != token - 1: 
  5.         driver.get('https://s.taobao.com/search?q={}&s={}'.format(keyword,44*num)) 
  6.         driver.implicitly_wait(10)  #隐式等待 
  7.         num += 1 
  8.         drop_down() 
  9.         get_product() 

翻页编写时,需要注意,我在代码加入了keyword,意思就是可以根据你自己的需求,爬取不同种类的商品信息。

7.将数据保存至MongoDB

  1. def save_to_mongo(result): 
  2.     try: 
  3.         if db[MONGO_COLLECTION].insert(result): 
  4.             print('储存到MongoDB成功'
  5.     except  Exception: 
  6.         print('储存到MongoDB失败'

8.结果展示

总结

这次用selenium爬取淘宝商品信息,代码逻辑框架如下

由于我能力有限,暂时只能实现这么多功能,下一步准备对MongoDB储存的数据进行分析,这样就完成了从数据爬取——数据储存——数据分析一个完整的过程。

最后,祝所有的老师们:教师节快乐!

【编辑推荐】

  1. 抢票神器成GitHub热榜第一,支持候补抢票,Python跑起来
  2. 天下武功为快不破,戏说Python与Go高并发争锋!
  3. 浅析七款“Python开源框架”的优缺点
  4. 重磅!谷歌发布用于保护数据隐私的开发工具
  5. IEEE 2019编程语言排行榜出炉:趋势、开源、职位需求,Python都是第一
【责任编辑:华轩 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

这就是5G

这就是5G

5G那些事儿
共15章 | armmay

118人订阅学习

16招轻松掌握PPT技巧

16招轻松掌握PPT技巧

GET职场加薪技能
共16章 | 晒书包

371人订阅学习

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

763人订阅学习

读 书 +更多

Linux安全体系分析与编程

本书选择经典的开放源代码,全面系统地分析了Linux安全机制。本书共有17章,前10章着重介绍了Linux操作系统的安全机制及实现方法,阐述了公...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微