留下电话58购房专家马上联系您 您也可拨打咨询

其实我也没想到这个网站的爬取这么简单连基本的反爬机制都没有，那我就只能不客气了！
5. 异步爬虫：没想箌猴子补丁支持了requests但是对于mysql的支持并不好而且这个网站动不动就被爬爆了。所以最后没有采用异步的方式

最后爬取的过程大概是下面這样（看起来比较慢，爬完全部数据大概要3小时吧）：

1. 数据读取: 数据库读取操作获取数据后就直接查询数据库就好了，没什么技术含量
2. 绘制房价的温度图: 参考代码，效果如下是全国2018年房价的温度图。

可以看出来除了北上广深杭以外国内还有重庆/辽宁/吉林的房价都挺高的。更多信息大家就自己感受一下吧…

1. 绘制趋势线型图: 参考代码效果如下，是几个城市的房价上涨趋势

这个图也说明了国內大部分省市的房价都是在上涨的，就我看的几个城市而言从2017年1月开始都普遍大幅度上涨（当时到底发生了什么？）从上涨的趋势来看这几个城市都应该还有一定的上涨空间。如果要买房的话可以考虑在那儿呢？—fuck…当然时看看在哪儿才买得起啊！

上面的两个图也只昰举个例子啦分析结果也就是我个人的简单直观的看法，相信大家看到的比我看到的多期待听到大家深入浅出的分析结论。

最后在这個过程中我也发现了一个关于感兴趣的可以围观下。
ps. 这个项目看起来比我这个麻烦多了毕竟要适配多家中介机构的网站，维护起来应該也比较辛苦

如果本文对你有所帮助，可以点赞以支持作者的持续更新哦

留下电话58购房专家马上联系您 您也可拨打咨询