[摘要]ScrapydWeb(爬虫管理平台)是一个用于Scrapyd集群管理的web应用,支持Scrapy日志分析和可视化,支持Scrapyd集群管理、日志可视化、定时任务、邮件通知、移动端UI!功能介绍S...
ScrapydWeb(爬虫管理平台)是一个用于Scrapyd集群管理的web应用,支持Scrapy日志分析和可视化,支持Scrapyd集群管理、日志可视化、定时任务、邮件通知、移动端UI!
功能介绍
Scrapyd 集群管理
支持所有 Scrapyd JSON API
支持通过分组和过滤来选择若干个节点
一次操作, 批量执行
Scrapy 日志分析
数据统计
进度可视化
日志分类
增强功能
自动打包项目
集成 LogParser
定时器任务
监控和警报
移动端 UI
web UI 支持基本身份认证
使用编程语言写的程序,由于每条指令都对应计算机一个特定的基本动作,所以程序占用内存少、执行效率高。