crawlerstack-spiderkeeper开源项目

"采集平台（crawlerstack-spiderkeeper）"专注于简化爬虫开发流程的任务调度、日志数据收集、采集程序管理解决方案
，让爬虫开发者更专注于爬虫本身
前端技术栈：TypeScript、React、Material-UI（MUI ）、Caddy 等技术栈
后端技术栈：Python、FastAPI、SQLAlchemy、MongoDB、RabbitMQ、Kubernetes、Docker、MySQL 等技术

当前功能实现页面进行相关配置以及日志展示调度控制等。调度管理（类似 airflow），支持 mongdb、mysql、s3的
数据流转方案，接管数据持久化等功能。