ScrapydWeb(爬虫管理平台) v1.4.0 官方版

软件介绍

ScrapydWeb官方版是一款能够帮助用户进行Scrapyd集群管理的爬虫管理平台，我们可以通过ScrapydWeb来对Scrapy日志进行分析和可视化处理，从而方便你管理Scrapyd集群。

ScrapydWeb官方版软件简介

ScrapydWeb(爬虫管理平台)是一个用于Scrapyd集群管理的web应用，支持Scrapy日志分析和可视化，支持Scrapyd集群管理、日志可视化、定时任务、邮件通知、移动端UI！

软件特色

Scrapyd 集群管理

支持所有 Scrapyd JSON API

支持通过分组和过滤来选择若干个节点

一次操作, 批量执行

Scrapy 日志分析

数据统计

进度可视化

日志分类

增强功能

自动打包项目

集成  LogParser

定时器任务

监控和警报

移动端 UI

web UI 支持基本身份认证

ScrapydWeb官方版常见问题

1、scrapy是什么？

一个爬虫框架，你可以创建一个scrapy项目

2、scrapyd是什么？

相当于一个组件，能够将scrapy项目进行远程部署，调度使用等因此scrapyd可以看作一个cs（client-server）程序，因此毫无疑问我们需要安装和配置scrapyd(server)和连接的scrapy-client(client)

3、scrapydweb是什么？

是一个基于scrapyd的可视化组件，集成并且提供更多可视化功能和更优美的界面

总结：三者如同葫芦套娃，总共三层