|
|
51CTO旗下网站
|
|
移动端

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

获取数据,其实逻辑并不复杂:爬取歌单列表里的所有歌单url、进入每篇歌单爬取所有歌曲url,去重、进入每首歌曲首页爬取热评,汇总。

作者:嗨学python来源:今日头条|2019-10-18 15:36

【线上直播】11月21日晚8点贝壳技术总监侯圣文《数据安全之数据库安全黄金法则》

获取数据

其实逻辑并不复杂:

  • 爬取歌单列表里的所有歌单url。
  • 进入每篇歌单爬取所有歌曲url,去重。
  • 进入每首歌曲首页爬取热评,汇总。

歌单列表是这样的:

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

翻页并观察它的url变化,注意下方动图,每次翻页末尾变化35。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

采用requests+pyquery来爬取:

  1. def get_list(): 
  2.  list1 = [] 
  3.  for i in range(0,1295,35): 
  4.  url = 'https://music.163.com/discover/playlist/?order=hot&cat=%E5%8D%8E%E8%AF%AD&limit=35&offset='+str(i) 
  5.  print('已成功采集%i页歌单\n' %(i/35+1)) 
  6.  data = [] 
  7.  html = restaurant(url) 
  8.  doc = pq(html) 
  9.  for i in range(1,36): # 一页35个歌单 
  10.  a = doc('#m-pl-container > li:nth-child(' + str(i) +') > div > a').attr('href'
  11.  a1 = 'https://music.163.com/api' + a.replace('?','/detail?'
  12.  data.append(a1) 
  13.  list1.extend(data) 
  14.  time.sleep(5+random.random()) 
  15.  return list1 

这样我们就可以获得38页每页35篇歌单,共1300+篇歌单。

下面我们需要进入每篇歌单爬取所有歌曲url,并且要注意最后“去重”,不同歌单可能包含同一首歌曲。

点开一篇歌单,注意红色圈出的id。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

观察一下,我们要在每篇歌单下方获取的信息也就是红框圈出的这些,利用刚刚爬取到的歌单id和网易云音乐的api可以构造出:

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

不方便看的话我们解析一下json。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手
  1. def get_playlist(url): 
  2.  data = [] 
  3.  doc = get_json(url) 
  4.  obj=json.loads(doc) 
  5.  jobs=obj['result']['tracks'
  6.  for job in jobs: 
  7.  dic = {} 
  8.  dic['name']=jsonpath.jsonpath(job,'$..name')[0] #歌曲名称 
  9.  dic['id']=jsonpath.jsonpath(job,'$..id')[0] #歌曲ID 
  10.  data.append(dic) 
  11.  return data  

这样我们就获取了所有歌单下的歌曲,记得去重。

  1. #去重 
  2. data = data.drop_duplicates(subset=None, keep='first', inplace=True)  

剩下就是获取每首歌曲的热评了,与前面获取歌曲类似,也是根据api构造,很容易就找到了。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手
  1. def get_comments(url,k): 
  2.  data = [] 
  3.  doc = get_json(url) 
  4.  obj=json.loads(doc) 
  5.  jobs=obj['hotComments'
  6.  for job in jobs: 
  7.  dic = {} 
  8.  dic['content']=jsonpath.jsonpath(job,'$..content')[0]  
  9.  dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0]) 
  10.  dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0] #用户ID 
  11.  dic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名 
  12.  dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0]  
  13.  dic['name']= k 
  14.  data.append(dic) 
  15.  return data  

汇总后就获得了44万条音乐热评数据。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

数据分析

清洗填充一下。

  1. def data_cleaning(data): 
  2.  cols = data.columns 
  3.  for col in cols: 
  4.  if data[col].dtype == 'object'
  5.  data[col].fillna('缺失数据', inplace = True
  6.  else
  7.  data[col].fillna(0, inplace = True
  8.  return(data) 

按照点赞数排个序。

  1. #排序 
  2. df1['likedCount'] = df1['likedCount'].astype('int'
  3. df_2 = df1.sort_values(by="likedCount",ascending=False
  4. df_2.head() 

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

再看看哪些热评是被复制粘贴搬来搬去的。

  1. #排序 
  2. df_line = df.groupby(['content']).count().reset_index().sort_values(by="name",ascending=False
  3. df_line.head() 

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

第一个和第三个只是末尾有没有句号的区别,可以归为一类。这样的话,重复次数最多个这句话竟然重复了412次,额~~

看看上热评次数次数最多的是哪位大神?从他的身上我们能学到什么经验?

  1. df_user = df.groupby(['userId']).count().reset_index().sort_values(by="name",ascending=False
  2. df_user.head() 

按照 user_id 汇总一下,排序。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

成功“捕获”一枚“段子手”,上热评次数高达347,我们再看看这位大神究竟都评论些什么?

  1. df_user_max = df.loc[(df['userId'] == 101***770)] 
  2. df_user_max.head() 

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

这位“失眠的陈先生”看来各种情话娴熟于手啊,下面就以他举例来看看如何成为网易云音乐评论里的热评段子手吧。

数据可视化

先看看这347条评论的赞数分布。

  1. #赞数分布图 
  2. import matplotlib.pyplot as plt 
  3. data = df_user_max['likedCount'
  4. #data.to_csv("df_user_max.csv", index_label="index_label",encoding='utf-8-sig'
  5. plt.hist(data,100,normed=True,facecolor='g',alpha=0.9) 
  6. plt.show() 

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

很明显,赞数并不多,大部分都在500赞之内,几百赞却能跻身热评,这也侧面说明了这些歌曲是比较小众的,看来是经常在新歌区广撒网。

我们使用len() 求出每条评论的字符串长度,再画个分布图:

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

评论的字数集中在18—30字之间,这说明在留言时要注意字数,保险的做法是不要太长让人读不下去,也不要太短以免不够经典。

做个词云。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手 

【编辑推荐】

  1. 10个Python图像处理工具,非常全了
  2. 九个对Web开发者最有用的Python包,掌握这些,工资至少能涨涨
  3. 18个Python脚本可加速你的编码速度
  4. 数据科学中一些不常用但很有用的Python库
  5. 女友闹别扭不用担心,python做个软件轻松哄好
【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

CentOS 8 全新学习术

CentOS 8 全新学习术

CentOS 8 正式发布
共16章 | UbuntuServer

240人订阅学习

用Python玩转excel

用Python玩转excel

让重复操作傻瓜化
共3章 | DE8UG

221人订阅学习

AI入门级算法

AI入门级算法

算法常识
共22章 | 周萝卜123

188人订阅学习

读 书 +更多

'ASP.NET'程序设计教程

《ASP.NET程序设计教程》是在总结多年ASP.NET教学和应用项目开发经验基础上编写完成的,编写过程中充分吸取了其他畅销实用教程的成功经验。...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微