PyTaskFlow 项目旨在解决 Python 异步任务编排的痛点。现有框架(Celery)过于重量级,配置复杂。本框架提供轻量级的任务编排能力,适用于数据处理流水线、定时任务调度、工作流引擎等场景,特别适合中小型项目和微服务架构中的异步任务处理。
点击空白处退出提示
PyTaskFlow 项目旨在解决 Python 异步任务编排的痛点。现有框架(Celery)过于重量级,配置复杂。本框架提供轻量级的任务编排能力,适用于数据处理流水线、定时任务调度、工作流引擎等场景,特别适合中小型项目和微服务架构中的异步任务处理。
核心功能模块:1)任务图引擎:支持 DAG 有向无环图编排,自动解析任务依赖关系;2)异步执行器:基于 asyncio 的事件驱动架构,支持并发/串行/定时触发多种执行模式;3)任务队列:内置 Redis 任务队列,支持优先级调度、延迟执行、任务重试和死信队列;4)Web 管理面板:实时查看任务状态、执行日志、重跑失败任务;5)插件系统:支持自定义中间件、结果存储后端和序列化格式。
我独立完成框架的设计和实现。使用 Python asyncio 实现核心异步引擎,Redis 作为消息队列和结果后端,Docker 提供一键部署方案。框架提供 Pythonic 的 API 设计,支持装饰器和上下文管理器方式定义任务。通过拓扑排序算法优化执行顺序,引入断路器模式处理下游依赖故障。测试覆盖率达 95%。



评论