|
|
51CTO旗下网站
|
|
移动端

程序员的选房神技,GitHub上的房源爬虫

买房,在中国是任何一个年轻人都绕不开都话题。特别是在当下限购摇号等多重政策打压的情况,要选到一个自己心仪的房子可谓难度不小。万万没想到的是,在选房这个难题上,程序员小哥哥却自有神技。利用爬虫技术轻松获取所有房源,搭配数据分析轻松就搞定了自己的小窝。

作者:techlearn来源:安卓巴士|2019-10-16 16:25

【线上直播】11月21日晚8点贝壳技术总监侯圣文《数据安全之数据库安全黄金法则》

买房,在中国是任何一个年轻人都绕不开都话题。特别是在当下限购摇号等多重政策打压的情况,要选到一个自己心仪的房子可谓难度不小。

而且,伴随着房价上涨的还有房租。买不起房的,想要租个合适的小窝也不容易啊!

正在看房路上的我,只能用下图表达此时心情!

程序员的选房神技,GitHub上的房源爬虫

万万没想到的是,在选房这个难题上,程序员小哥哥却自有神技。利用爬虫技术轻松获取所有房源,搭配数据分析轻松就搞定了自己的小窝。

此时的你,是不是流下了“不懂技术”的眼泪。不哭不哭站起来撸,来看看 Github 上的房源爬虫,直接拿来就用岂不更妙!

1.自如实时房源提醒

房源监控脚本,自动检测符合条件的高性价比房源,1个小时更新一次。一旦出现符合条件的房源就打印出来。代码量不大,却十分好用。

  • 项目地址: facert/ziroom_realtime_spider

程序员的选房神技,GitHub上的房源爬虫

2.链家二手房租房在线数据

一个链家网全国房源爬虫工具,轻松获取存量房交易数据以及现存房源。还搭配了数据分析的教程,提供可视化。

  • 项目地址: XuefengHuang/lianjia-scrawler
  • 数据分析教程: https://www. ershoufangdata.com/

程序员的选房神技,GitHub上的房源爬虫

3.贝壳网爬虫API:

直接通过 pip install ke 安装即可使用,一行代码将指定筛选条件的全量数据保存为JSON/csv。

  • 项目地址: rangduju/Ke

使用命令:

  1. from Ke.ke import Ke 
  2. %%time 
  3. df = Ke(username='17810375258'password='abcd1234').ke_scraper_rent(url='https://bj.zu.ke.com/zufang/sanlitun/l0', keyword='北京三里屯', export='csv'
  4. df 

4.链家网和贝壳网房价爬虫

采集北京上海广州深圳等21个中国主要城市的房价数据(小区,二手房,出租房,新房),稳定可靠快速!支持csv,MySQL, MongoDB,Excel, json存储,并且同时支持Python2和3。具有图表展示数据功能,并且拥有详细注释,可进行功能扩展。

  • 项目地址: jumper2014/lianjia-beike-spider

程序员的选房神技,GitHub上的房源爬虫

5.北京地区链家房屋成交

爬下了北京所有的小区信息及北京的所有历史成交记录,很简单的一个爬虫,可供北京地区的购房者进行价格比较。

  • 项目地址: lanbing510/LianJiaSpider

程序员的选房神技,GitHub上的房源爬虫

6.号称宇宙最快的链家爬虫

直接使用链家API抓取数据的技术爬虫,作者自嗨号称宇宙最快,具体快不快,还等你亲自试试呢。

  • 项目地址: CaoZ/Fast-LianJia-Crawler

程序员的选房神技,GitHub上的房源爬虫

7.地图搜租房

爬虫全天不间断获取公开租房信息,汇总处理分析后落地到数据库中。整合房源众多,包括豆瓣租房小组】、【豆瓣租房小程序】、【Zuber合租】、【蘑菇租房】、【CCB建融家园】、【58同城品牌公寓】、【Hi住租房】、【房多多】、【贝壳租房】、【v2ex租房帖子】、【上海互助租房】。并且支持房价筛选、个人房源。可以直接利用高的地图展示房源。现在都拥有自己的官网产品了。

  • 项目地址: liguobao/58HouseSearch
  • 官网地址:地图搜租房

程序员的选房神技,GitHub上的房源爬虫

【编辑推荐】

  1. 9月份Github上热门的Java开源项目
  2. Github近5万赞的计算机专业课程,从小白到大牛的学习之路
  3. 9月份Github上热门的JavaScript开源项目
  4. 9月份Github上热门的开源项目
  5. Github中文项目排行榜,你永远想不到开发者都用它干了什么
【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

CentOS 8 全新学习术

CentOS 8 全新学习术

CentOS 8 正式发布
共16章 | UbuntuServer

227人订阅学习

用Python玩转excel

用Python玩转excel

让重复操作傻瓜化
共3章 | DE8UG

216人订阅学习

AI入门级算法

AI入门级算法

算法常识
共22章 | 周萝卜123

182人订阅学习

读 书 +更多

SQL Server 2005中文版精粹

本书内容包括: ● 框架的总览:SQL Server 2005的功能是如何集成在一起的,以及这些功能对于用户的意义。 ● 安全性管理、策略...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微