

豆瓣租房小组爬虫是一款采集豆瓣租房小组信息的工具,能够帮助中介或者找房源的用户快速找到适合自己的房源,可以甄别筛选,能够自定义筛选条件,有需要的用户不要错过了,欢迎下载使用!

此爬虫用python开发,基于gevent、pymongo、requests、lxml、Flask。
流程也相对较简单:
配置需要爬取的URL;
配置需要解析的信息元素,用XPATH完成;
配置代理;
配置监控周期、最大页数、并发数等;
运行爬虫,等待抓取,会自动根据配置定时爬取;
启动web服务,在前台搜索、排序等;
一、下载打开软件,首先设置要找的房源的地址。
二、接下来设置理想价位和排除关键词。
三、点击爬取即可获取房源信息,等待软件获取相关关键词房源。
四、利用typora软件打开爬取下来的MD文件即可看到房源信息。
如何设置豆瓣群组链接?
首先搜索某个地区租房,例如:北京租房
点进去要爬取的某个小组,例如第一个:北京租房
将页面拉到最下面有个> 更多小组讨论超链接,点进去
复制地址栏中地址(从/group开始复制到结尾),粘贴到软件设置豆瓣群组链接
有时候粘贴进软件会崩溃,不知道什么原因,建议把软件中原来的链接删除再粘贴进去。
将start=后边的数字50改成%d
完成
如何设置排除关键字?
排除关键字是标题和内容只要出现关键字就会排除掉该条租房信息。
例如默认是限女这个关键字,只要租房信息中包含限女生入住,只限女生等出现限女关键字的一律不爬。
多个关键字用|分隔,注意是英文的。
例如:限女|短租|整租,这三个关键字设置后,只要标题和内容出现这三个关键字软件就不会爬取。
关于识别标题中的价格
使用正则\b\d{4}\b识别标题中的价格信息,无法爬取少于1000元的信息。
关于爬取结果排序
先根据价格从小到大排序,价格相同根据发帖时间排序。

cr tubeget免注册码版(YouTube终极下载者)v0.9.2.3 破解版下载工具 / 36.3M
迅雷7.9绿色版v7.9.44.5057 电脑版下载工具 / 29.6M
迅雷极速版 下载无限制V1.0.35.366 自用版下载工具 / 20.1M
迅雷5不升级珍藏版v5.8.14.706 绿色版下载工具 / 9.7M
豆丁文档下载器(冰点)v3.2.14 免费版下载工具 / 5.9M
迅雷极速版WIN10修正版(支持了1703版)1.0 免费版下载工具 / 23M
迅雷极速版1.0绿色经典版1.0.35.366 去广告版下载工具 / 21M
八爪鱼采集器绿色版v7.4.4 免费破解版下载工具 / 55.8M
迅雷7去广告怀旧版免费版下载工具 / 20M
迅雷11绿色精简版v11.1.3.1110 极速版下载工具 / 85.6M
cr tubeget免注册码版(YouTube终极下载者)v0.9.2.3 破解版下载工具 / 36.3M
迅雷7.9绿色版v7.9.44.5057 电脑版下载工具 / 29.6M
P2psearcher种子搜索神器去限制版v3.5 珍藏版下载工具 / 2.1M
迅雷极速版 下载无限制V1.0.35.366 自用版下载工具 / 20.1M
P2pSearcher种子搜索器单文件绿色增强版v8.8 最新版下载工具 / 1.8M
迅雷5不升级珍藏版v5.8.14.706 绿色版下载工具 / 9.7M
豆丁文档下载器(冰点)v3.2.14 免费版下载工具 / 5.9M
迅雷极速版1.0绿色经典版1.0.35.366 去广告版下载工具 / 21M
迅雷极速版WIN10修正版(支持了1703版)1.0 免费版下载工具 / 23M
八爪鱼采集器绿色版v7.4.4 免费破解版下载工具 / 55.8M