|
|
51CTO旗下网站
|
|
移动端

Python数据可视化:Python大佬有哪些?

之前讲了代理池以及Cookies的相关知识,这里针对搜狗搜索微信公众号文章的爬取,将它俩实践一下。在崔大的书里面,他是用代理IP来应对搜狗的反爬措施,因为同一IP访问网页过于频繁,就会跳转验证码页面。

作者:法纳斯特来源:法纳斯特|2018-11-30 10:28

有态度地学习

之前讲了代理池以及Cookies的相关知识,这里针对搜狗搜索微信公众号文章的爬取,将它俩实践一下。

在崔大的书里面,他是用代理IP来应对搜狗的反爬措施,因为同一IP访问网页过于频繁,就会跳转验证码页面。

不过时代在进步,搜狗搜索的反爬也在更新,现在它是IP加Cookies双重把关。

01 网页分析

Python数据可视化:Python大佬有哪些?

获取微信公众号文章信息,标题、开头、公众号、发布时间。

请求方式为GET,请求网址为红框部分,后面的信息没什么用。

02 反爬破解

Python数据可视化:Python大佬有哪些?

什么时候出现上图这种情况呢?

两种,一种同一个IP重复访问页面,另一种同一个Cookies重复访问页面。

两个都有,挂的更快!完整爬取我只成功了一次...

因为我最开始就是先什么都不设置,然后就出现验证码页面。然后用了代理IP,还是会跳转验证码页面,直到最后改变Cookies,才成功爬取。

01 代理IP设置

  1. def get_proxies(i): 
  2.     ""
  3.     获取代理IP 
  4.     ""
  5.     df = pd.read_csv('sg_effective_ip.csv', header=None, names=["proxy_type""proxy_url"]) 
  6.     proxy_type = ["{}".format(i) for i in np.array(df['proxy_type'])] 
  7.     proxy_url = ["{}".format(i) for i in np.array(df['proxy_url'])] 
  8.     proxies = {proxy_type[i]: proxy_url[i]} 
  9.     return proxies 

代理的获取以及使用这里就不赘述了,前面的文章有提到,有兴趣的小伙伴可以自行去看看。

经过我两天的实践,免费IP确实没什么用,两下子就把我真实IP揪出来了。

02 Cookies设置

  1. def get_cookies_snuid(): 
  2.     ""
  3.     获取SNUID值 
  4.     ""
  5.     time.sleep(float(random.randint(2, 5))) 
  6.     url = "http://weixin.sogou.com/weixin?type=2&s_from=input&query=python&ie=utf8&_sug_=n&_sug_type_=" 
  7.     headers = {"Cookie""ABTEST=你的参数;IPLOC=CN3301;SUID=你的参数;SUIR=你的参数"
  8.     # HEAD请求,请求资源的首部 
  9.     response = requests.head(url, headers=headers).headers 
  10.     result = re.findall('SNUID=(.*?); expires', response['Set-Cookie']) 
  11.     SNUID = result[0] 
  12.     return SNUID 

总的来说,Cookies的设置是整个反爬中最重要的,而其中的关键便是动态改变SNUID值。

这里就不详细说其中缘由,毕竟我也是在网上看大神的帖子才领悟到的,而且领悟的还很浅。

成功爬取100页就只有一次,75页,50页,甚至到最后一爬就挂的情况都出现了...

我可不想身陷「爬-反爬-反反爬」的泥潭之中,爬虫之后的事情才是我的真正目的,比如数据分析,数据可视化。

所以干票大的赶紧溜,只能膜拜搜狗工程师。

03 数据获取

1 构造请求头

  1. head = ""
  2. Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 
  3. Accept-Encoding:gzip, deflate 
  4. Accept-Language:zh-CN,zh;q=0.9 
  5. Connection:keep-alive 
  6. Host:weixin.sogou.com 
  7. Referer:'http://weixin.sogou.com/'
  8. Upgrade-Insecure-Requests:1 
  9. User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 
  10. ""
  11.  
  12. # 不包含SNUID值 
  13. cookie = '你的Cookies' 
  14.  
  15. def str_to_dict(header): 
  16.     ""
  17.     构造请求头,可以在不同函数里构造不同的请求头 
  18.     ""
  19.     header_dict = {} 
  20.     header = header.split('\n'
  21.     for h in header: 
  22.         h = h.strip() 
  23.         if h: 
  24.             k, v = h.split(':', 1) 
  25.             header_dict[k] = v.strip() 
  26.     return header_dict 

2 获取网页信息

  1. def get_message(): 
  2.     ""
  3.     获取网页相关信息 
  4.     ""
  5.     failed_list = [] 
  6.     for i in range(1, 101): 
  7.         print('第' + str(i) + '页'
  8.         print(float(random.randint(15, 20))) 
  9.         # 设置延时,这里是度娘查到的,说要设置15s延迟以上,不会被封 
  10.         time.sleep(float(random.randint(15, 20))) 
  11.         # 每10页换一次SNUID值 
  12.         if (i-1) % 10 == 0: 
  13.             value = get_cookies_snuid() 
  14.             snuid = 'SNUID=' + value + ';' 
  15.         # 设置Cookies 
  16.         cookies = cookie + snuid 
  17.         url = 'http://weixin.sogou.com/weixin?query=python&type=2&page=' + str(i) + '&ie=utf8' 
  18.         host = cookies + '\n' 
  19.         header = head + host 
  20.         headers = str_to_dict(header) 
  21.         # 设置代理IP 
  22.         proxies = get_proxies(i) 
  23.         try: 
  24.             response = requests.get(url=url, headers=headers, proxies=proxies) 
  25.             html = response.text 
  26.             soup = BeautifulSoup(html, 'html.parser'
  27.             data = soup.find_all('ul', {'class''news-list'}) 
  28.             lis = data[0].find_all('li'
  29.             for j in (range(len(lis))): 
  30.  
  31.                 h3 = lis[j].find_all('h3'
  32.                 #print(h3[0].get_text().replace('\n''')) 
  33.                 title = h3[0].get_text().replace('\n''').replace(','','
  34.  
  35.                 p = lis[j].find_all('p'
  36.                 #print(p[0].get_text()) 
  37.                 article = p[0].get_text().replace(','','
  38.  
  39.                 a = lis[j].find_all('a', {'class''account'}) 
  40.                 #print(a[0].get_text()) 
  41.                 name = a[0].get_text() 
  42.  
  43.                 span = lis[j].find_all('span', {'class''s2'}) 
  44.                 cmp = re.findall("\d{10}", span[0].get_text()) 
  45.                 #print(time.strftime("%Y-%m-%d"time.localtime(int(cmp[0]))) + '\n'
  46.                 date = time.strftime("%Y-%m-%d"time.localtime(int(cmp[0]))) 
  47.  
  48.                 with open('sg_articles.csv''a+', encoding='utf-8-sig'as f: 
  49.                     f.write(title + ',' + article + ',' + name + ',' + date + '\n'
  50.             print('第' + str(i) + '页成功'
  51.         except Exception as e: 
  52.             print('第' + str(i) + '页失败'
  53.             failed_list.append(i) 
  54.             continue 
  55.     # 获取失败页码 
  56.     print(failed_list) 
  57.  
  58.  
  59. def main(): 
  60.     get_message() 
  61.  
  62.  
  63. if __name__ == '__main__'
  64.     main() 

最后成功获取数据。

Python数据可视化:Python大佬有哪些?

Python数据可视化:Python大佬有哪些?

04 数据可视化

1 微信文章发布数量TOP10

Python数据可视化:Python大佬有哪些?

这里对搜索过来的微信文章进行排序,发现了这十位Python大佬。

这里其实特想知道他们是团队运营,还是个人运营。不过不管了,先关注去。

这个结果可能也与我用Python这个关键词去搜索有关,一看公众号名字都是带有Python的(CSDN例外)。

  1. from pyecharts import Bar 
  2. import pandas as pd 
  3.  
  4. df = pd.read_csv('sg_articles.csv', header=None, names=["title""article""name""date"]) 
  5.  
  6. list1 = [] 
  7. for j in df['date']: 
  8.     # 获取文章发布年份 
  9.     time = j.split('-')[0] 
  10.     list1.append(time
  11. df['year'] = list1 
  12.  
  13. # 选取发布时间为2018年的文章,并对其统计 
  14. df = df.loc[df['year'] == '2018'
  15. place_message = df.groupby(['name']) 
  16. place_com = place_message['name'].agg(['count']) 
  17. place_com.reset_index(inplace=True
  18. place_com_last = place_com.sort_index() 
  19. dom = place_com_last.sort_values('count', ascending=False)[0:10] 
  20.  
  21. attr = dom['name'
  22. v1 = dom['count'
  23. bar = Bar("微信文章发布数量TOP10", title_pos='center', title_top='18', width=800, height=400) 
  24. bar.add("", attr, v1, is_convert=True, xaxis_min=10, yaxis_rotate=30, yaxis_label_textsize=10, is_yaxis_boundarygap=True, yaxis_interval=0, is_label_show=True, is_legend_show=False, label_pos='right', is_yaxis_inverse=True, is_splitline_show=False
  25. bar.render("微信文章发布数量TOP10.html"

2 微信文章发布时间分布

Python数据可视化:Python大佬有哪些?

因为这里发现搜索到的文章会有2018年以前的,这里予以删除,并且验证剩下文章的发布时间。

毕竟信息讲究时效性,如果我搜索获取的都是老掉牙的信息,就没什么意思了,更何况还是在一直在变化的互联网行业。

  1. import numpy as np 
  2. import pandas as pd 
  3. from pyecharts import Bar 
  4.  
  5. df = pd.read_csv('sg_articles.csv', header=None, names=["title""article""name""date"]) 
  6.  
  7. list1 = [] 
  8. list2 = [] 
  9. for j in df['date']: 
  10.     # 获取文章发布年份及月份 
  11.     time_1 = j.split('-')[0] 
  12.     time_2 = j.split('-')[1] 
  13.     list1.append(time_1) 
  14.     list2.append(time_2) 
  15. df['year'] = list1 
  16. df['month'] = list2 
  17.  
  18. # 选取发布时间为2018年的文章,并对其进行月份统计 
  19. df = df.loc[df['year'] == '2018'
  20. month_message = df.groupby(['month']) 
  21. month_com = month_message['month'].agg(['count']) 
  22. month_com.reset_index(inplace=True
  23. month_com_last = month_com.sort_index() 
  24.  
  25. attr = ["{}".format(str(i) + '月'for i in range(1, 12)] 
  26. v1 = np.array(month_com_last['count']) 
  27. v1 = ["{}".format(int(i)) for i in v1] 
  28. bar = Bar("微信文章发布时间分布", title_pos='center', title_top='18', width=800, height=400) 
  29. bar.add("", attr, v1, is_stack=True, is_label_show=True
  30. bar.render("微信文章发布时间分布.html"

3 标题、文章开头词云

  1. from wordcloud import WordCloud, ImageColorGenerator 
  2. import matplotlib.pyplot as plt 
  3. import pandas as pd 
  4. import jieba 
  5.  
  6. df = pd.read_csv('sg_articles.csv', header=None, names=["title""article""name""date"]) 
  7.  
  8. text = '' 
  9. for line in df['article'].astype(str):(前文词云代码) 
  10. for line in df['title']: 
  11.     text += ' '.join(jieba.cut(line, cut_all=False)) 
  12. backgroud_Image = plt.imread('python_logo.jpg'
  13. wc = WordCloud( 
  14.     background_color='white'
  15.     mask=backgroud_Image, 
  16.     font_path='C:\Windows\Fonts\STZHONGS.TTF'
  17.     max_words=2000, 
  18.     max_font_size=150, 
  19.     random_state=30 
  20. wc.generate_from_text(text) 
  21. img_colors = ImageColorGenerator(backgroud_Image) 
  22. wc.recolor(color_func=img_colors) 
  23. plt.imshow(wc) 
  24. plt.axis('off'
  25. # wc.to_file("文章.jpg")(前文词云代码) 
  26. wc.to_file("标题.jpg"
  27. print('生成词云成功!'

Python数据可视化:Python大佬有哪些?

公众号文章标题词云,因为是以Python这个关键词去搜索的,那么必然少不了Python。

然后词云里出现的的爬虫,数据分析,机器学习,人工智能。就便知道Python目前的主要用途啦!

不过Python还可用于Web开发,GUI开发等,这里没有体现,显然不是主流。

Python数据可视化:Python大佬有哪些?

公众号文章开头词云,记得以前写作文的时候,老师不就说过开头基本决定了你的分数,所以一定要开头引用一下名人的话(古人有云...)。

那么公众号文章应该也不例外,不过这里呢,我倒是感觉到了不少广告的气息...

当然数据分析,机器学习,人工智能同样也还在其中,是不是培训广告的噱头我就不知道了。

就像之前在一个公号里看到的一句话,仿佛学会了Python就会人工智能,又仿佛要学习人工智能就必须学习Python,那么真是这样吗???

相信答案就在大家心中!

【编辑推荐】

  1. 从零开始构建人脸识别模型(附实例和Python代码)
  2. 全国41611个景点,用Python告诉你哪些地方最值得一游!
  3. 10分钟学会Python函数式编程
  4. Python的26个小技巧
  5. 深入理解Python字符串的用法
【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

大师品软件——软件之痛与应对之道

这并不是一本传统的技术专著,因为它并没有包含一行代码,而更像是一部技术评论。作者通过幽默诙谐而又不失辛辣的语言,从程序员、用户等多...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊