Koa2

系统包含四大核心模块。数据采集引擎支持多线程并发采集，可配置采集规则和目标网站，自动处理分页和反爬机制。数据清洗模块提供去重、格式化、字段映射等功能。任务调度中心支持定时采集、增量采集和全量采集模式，具备任务状态监控和失败重试机制。数据管理后台提供搜索结果展示、数据导出（Excel/CSV/JSON

该项目是我在总结了后端开发中经常碰到的一些问题之后，在阿里的egg.js的基础上扩展出来的一个后端框架。和egg.js相比，主要是针对开发中经常需要用到的功能进行了整合，并且重新设计了路由模块，让路由和接口之间的关系更为直观，同时对中间件的使用也更为灵活。更具体的内容可以参见项目文档和项目wiki。