scriptspider
0.3
scriptspider · ScriptSpider(SS) is a Java distributed crawler framework that supports hot swappable components. SS是一个java版本的分布式的通用爬虫,可以热插拔各个组件(提供默认的),自动切换代理,自动结构化数据与存储。使用redis,分布式调度等技术。