豆瓣租房小組爬蟲是一款采集豆瓣租房小組信息的工具,能夠幫助中介或者找房源的用戶快速找到適合自己的房源,可以甄別篩選,能夠自定義篩選條件,有需要的用戶不要錯過了,歡迎下載使用!
此爬蟲用python開發,基于gevent、pymongo、requests、lxml、Flask。
流程也相對較簡單:
配置需要爬取的URL;
配置需要解析的信息元素,用XPATH完成;
配置代理;
配置監控周期、最大頁數、并發數等;
運行爬蟲,等待抓取,會自動根據配置定時爬取;
啟動web服務,在前臺搜索、排序等;