|
|
51CTO旗下网站
|
|
移动端

爬了知乎“沙雕问题”,笑死个人!

这两天偶然上网的时候,被知乎上一个名为“玉皇大帝住在平流层还是对流层”的问题吸引。

作者:数据森麟来源:数据森麟|2019-11-08 09:47

【线上直播】11月21日晚8点贝壳技术总监侯圣文《数据安全之数据库安全黄金法则》

这两天偶然上网的时候,被知乎上一个名为“玉皇大帝住在平流层还是对流层”的问题吸引。

图片来自 Pexels

本以为只是小打小闹,殊不知这个问题却在知乎上引发了强烈共鸣,浏览次数 500W+,7000+ 关注:

于是乎就激发了去探索知乎上“沙雕”问题的想法,通过 Python 爬取这些问题的内容,浏览次数,关注人数,总结一份权威(搞笑)的“沙雕”问题排行榜!

数据来源

知乎非常“贴心”地专门有一个问题可以满足我们的需求,出人意料的是这个问题居然有 243 个回答,并且陶飞同学获得了 3W+ 的赞同。

我们从中爬取了所有回答中出现的问题链接,共用 400 多个问题,其中陶飞就提供了 200+,在此向陶飞同学表示感谢,帮助我们构建了“沙雕数据库”。

这部分代码如下:

  1. import re 
  2. import selenium 
  3. from selenium import webdriver 
  4. import requests 
  5. from bs4 import BeautifulSoup 
  6. import pandas as pd 
  7. import time 
  8.  
  9. driver = webdriver.Chrome() 
  10. driver.maximize_window() 
  11.  
  12. url = 'https://www.zhihu.com/question/37453271' 
  13. js='window.open("'+url+'")' 
  14. driver.execute_script(js) 
  15. driver.close() 
  16. driver.switch_to_window(driver.window_handles[0]) 
  17. for i in range(100): 
  18.      js="var q=document.documentElement.scrollTop=10000000"   
  19.      driver.execute_script(js) 
  20.  
  21. all_html = [k.get_property('innerHTML'for k in driver.find_elements_by_class_name('AnswerItem')] 
  22. all_text = ''.join(all_html) 
  23.  
  24. #all_text = all_text.replace('\u002F','/'
  25. all_text = all_text.replace('questions','question'
  26. pat = 'question/\d+' 
  27. questions = list(set([k for k in re.findall(pat,all_text)])) 

获得到了问题的对应的编号后,就可以去各自的页面获取各个问题对应的的标题、浏览数等信息,如下图所示:

这部分代码如下:

  1. header = {'User-Agent''Mozilla/5.0 (Windows NT 10.0; Win32; x32; rv:54.0) Gecko/20100101 Firefox/54.0'
  2. 'Connection''keep-alive'
  3. cookies ='v=3; iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; webp=true; ci=1%2C%E5%8C%97%E4%BA%AC; __guid=26581345.3954606544145667000.1530879049181.8303; _lxsdk_cuid=1646f808301c8-0a4e19f5421593-5d4e211f-100200-1646f808302c8; _lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; monitor_count=1; _lxsdk_s=16472ee89ec-de2-f91-ed0%7C%7C5; __mta=189118996.1530879050545.1530936763555.1530937843742.18' 
  4. cookie = {} 
  5. for line in cookies.split(';'): 
  6.     name, value = cookies.strip().split('=', 1) 
  7.     cookie[name] = value 
  8.  
  9. questions_df = pd.DataFrame(columns = ['title','visit','follower','answer','is_open']) 
  10.  
  11. for i in range(len(questions)): 
  12.     try: 
  13.         url = 'https://www.zhihu.com/'+questions[i] 
  14.         html = requests.get(url,cookies=cookie, headers=header).content 
  15.         bsObj = BeautifulSoup(html.decode('utf-8'),"html.parser"
  16.         text = str(bsObj) 
  17.         title = bsObj.find('h1',attrs={'class':'QuestionHeader-title'}).text 
  18.         visit = int(re.findall('"visitCount":\d+',text)[0].replace('"visitCount":','')) 
  19.         follower = int(re.findall('"followerCount":\d+',text)[0].replace('"followerCount":','')) 
  20.         answer = int(re.findall('"answerCount":\d+',text)[0].replace('"answerCount":','')) 
  21.         is_open = int(len(re.findall('问题已关闭',text))==0) 
  22.         questions_df = questions_df.append({'title':title,'visit':visit, 
  23.                                             'follower':follower,'answer':answer, 
  24.                                             'is_open':is_open},ignore_index=True
  25.         time.sleep(2) 
  26.         print(i) 
  27.     except
  28.         print('错误'+str(i)) 

数据分析

在分享出最终的“沙雕排行榜”前,我们首先严肃认真(lixinggongshi)的进行一波分析,主要看一下问题中的关键词。

首先是所有词云的词云:

看来这些问题大多是源自于大家对于人生的探索,否则“为什么”,“如果”,“怎么办”也不会出现那么多。

出人意料的是“体验”这个知乎专属 tag 居然并不多,可能是出于对知乎的尊重,和“体验”相关的问题都不会问得那么“沙雕”。

下面把这些助词去掉,再来看下结果:

这个图看来,读者关注的问题还是很极端:一方面在关注男女朋友“你冷酷、你无情、你无理取闹”这种问题;另一方面却在关注宇宙、地球这种关乎全人类的问题,很符合知乎“人均 985,各个过百万”的人设。

这两个图实际上都是基于一个表情,不知道有没有看出来:

好吧,其实看不出来才是正常,能看出来的可能现在去知乎提个问题,下期就会上榜。

最后把部分问题做出词云:

不知道大家能不能看清,说实话我自己是看不清的,也没准备让大家看清,目的就是引出下面真正的排行榜。

沙雕问题排行榜

通过综合问题观看数,关注数,回答数,关注占比,回答占比,综合得到分数的流量指数和新奇指数,最终获得一个整体的分数。

如下图所示:

听起来是不是很复杂,实际上最终还是通过 10% 的数据+90% 的主观来进行了排名,为大家精选了 15 个最为“沙雕”的问题。

也选取部分网友的回答,问问题的操作诚然很风骚,面对这些“沙雕”问题,认真回答的绝对是风骚 PLUS,特此声明,以下回答来自于知乎网友。

No.15 李白写那么多诗,他自己都会背吗?

原问题链接:

https://www.zhihu.com/question/276876453

小结:写自己的诗,让别人去背吧,真乃人生最高境界

No.14 猪八戒是黑猪还是白猪?

原问题链接:

https://www.zhihu.com/question/37160000

小结:后经多方考证,证明了猪八戒的黑猪身份,这下子身价进一步暴增,对此我们表示:黑猪白猪,不涨价的猪就是好猪。

No.13 邹市明能一拳把自己打晕吗?

原问题链接:

https://www.zhihu.com/question/36805199

小结:知乎上各种关于邹市明能打多少人的问题层出不穷,没想到最终还是要向自己动手了!

No.12 生蚝煮熟了还可以叫生蚝么?

原问题链接:

https://www.zhihu.com/question/25016659

小结:这个问题就好比有些叫帅帅的人,无论长成什么样,别人都要叫他帅帅!

No.11 被袋鼠暴打是一种怎样的体验?

原问题链接:

https://www.zhihu.com/question/27387052

小结:珍爱生命,远离袋鼠,切莫为了一个高赞回答去和袋鼠亲身肉搏,否则可能还没来得及分享“刚编出来的故事”就……

No.10 秃顶的人洗头,应该用洗发水还是洗面奶?

原问题链接:

https://www.zhihu.com/question/48119206

小结:希望广大程序员朋友保护好头发,不要有朝一日被邀请回答这个问题!

No.9 如果地球上所有人同时用激光笔指着月亮,月亮会不会变颜色?

原问题链接:

https://www.zhihu.com/question/48119206

小结:会不会变色无从考究,但是在月亮变色前,我的眼睛一定会先被闪瞎!

No.8 玉皇大帝住在平流层还是对流层?

原问题链接:

https://www.zhihu.com/question/304133742/

小结:这个问题应该就是“一本正经的胡说八道”集大成者,评论区好多相关领域人士进行了认真解答,不过究竟住哪也没搞明白,可能只能只有孙悟空知道答案了!

No.7 把一个变色龙绑在不断变换颜色的灯上,它会不会心力交瘁而死?

原问题链接:

https://www.zhihu.com/question/32052499

小结:变色龙属于国家级保护动物,很可能还没看到结果,先被带走接受教育!

No.6 如果把皮卡丘的耳朵塞到插座里,皮卡丘会被电死么?

原问题链接:

https://www.zhihu.com/question/52083864

小结:皮卡丘会不会被电死不好说,但是你会不会被电死还是很清楚的!

No.5 西瓜除了被吃还有什么生存意义?

原问题链接:

https://www.zhihu.com/question/24393996

小结:提问之前最好先想想自己除了吃,还有什么生存意义!

No.4 为什么外国超级英雄趴着飞,而中国神仙竖着飞?

原问题链接:

https://www.zhihu.com/question/26992616

小结:这是怎样的神仙读者,居然问出了这种“惊天地,泣鬼神”的问题,想必各路神仙也在跃跃欲试,准备拉他过去现场讲解!

No.3 向日葵晚上在干嘛,跟着月亮吗?

原问题链接:

https://www.zhihu.com/question/21370688/

小结:自产自销,果然够厉害,而且不要用人类“996”的思想去要求向日葵,人家太阳落山就下班了,不多说了,已泪崩!

No.2 苍蝇被搭载到另一个城市怎么办?它的家人孩子怎么办?

原问题链接:

https://www.zhihu.com/question/20831390/

小结:这位朋友为了苍蝇的生活操碎了心,不如让他们大家族都在自己的家里生活,实现大团圆的美好结局!

No.1 女友生气心烦的时候爱爬树怎么办?

原问题链接:

https://www.zhihu.com/question/30914451/

小结:你们俩确定不是猴子派来的逗比?

写在最后

本文主要是通过这些问题图大家一乐,只有你在看文章的时候笑了,我们的目的就达到了。

知乎上实际上还是有很多很有价值的问题,即使是这些“沙雕”的问题,也有些非常有意思的回答,大家可以多去了解了解,开拓视野。

【编辑推荐】

  1. 这3个高级Python函数,不能再被你忽略了!
  2. 大家都说好用的 Python 命令行库:click
  3. Python帮你识破双11的套路
  4. PYPL 11 月排行榜发布,Java 与 Python 差距逐渐拉大
  5. 爱上Python的五个理由
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

骨干网与数据中心建设案例

骨干网与数据中心建设案例

高级网工必会
共20章 | 捷哥CCIE

340人订阅学习

中间件安全防护攻略

中间件安全防护攻略

4类安全防护
共4章 | hack_man

135人订阅学习

CentOS 8 全新学习术

CentOS 8 全新学习术

CentOS 8 正式发布
共16章 | UbuntuServer

280人订阅学习

视频课程+更多

强哥带你精通OpenStack私有云

强哥带你精通OpenStack私有云

讲师:周玉强46517人学习过

2019新版HCNP|HCIP-R&S|CCNP

2019新版HCNP|HCIP-R&S|CCNP

讲师:郝旺6234人学习过

Docker容器技术从入门到实战

Docker容器技术从入门到实战

讲师:高俊峰16775人学习过

读 书 +更多

网管员必读—服务器与数据存储(第2版)

本书是在第1版的基础上全面更新、改版而成的,仍然是目前图书市场中唯一一本全面介绍硬件服务器的IT图书。本书针对近两年来所出现的新服务...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微