distribute_crawler
Python
★ 1
updated 10y ago
⑂ fork
使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现
No plain-English explanation yet — one is being written right now. Check back in a minute.