多台电脑分散在不同地点时,批量转码、批量渲染、批量采集这类任务只能一台台手工跑,人不在电脑前就停摆。本项目提供一个中心调度端,把多台机器组成一个可统一派活的算力池,在一台机器的网页上就能给所有机器下发任务并看到执行结果,适合需要长期跑批处理的小团队与个人工作室。
点击空白处退出提示
多台电脑分散在不同地点时,批量转码、批量渲染、批量采集这类任务只能一台台手工跑,人不在电脑前就停摆。本项目提供一个中心调度端,把多台机器组成一个可统一派活的算力池,在一台机器的网页上就能给所有机器下发任务并看到执行结果,适合需要长期跑批处理的小团队与个人工作室。
系统分中心端与工人端两部分。中心端是单文件 Python 服务,提供网页管理台、任务队列、机器心跳监控、授权校验与工人安装包下发。工人端装在被调度机器上,定时向上报到,按能力标签领取自己能干的任务,执行后回报结果与日志。内置任务类型包括环境探测、性能基准、机器体检、视频转码、Blender 渲染、网页采集与自更新。授权按席位与有效期签发,超出席位无法上线。
我独立完成后端全部开发。技术栈为 Python 标准库 httpserver 加 SQLite,零第三方依赖,整个中心端只有一个文件,拷到任何装了 Python 的机器即可启动。难点有三:一是取任务要防并发重复领取,用 SQLite 事务加状态机解决;二是工人端要能安全执行任务,用白名单任务类型加参数正则校验,中枢无法下发任意命令;三是工人要能自更新,用拉取 zip 校验哈希后原地替换。上线前用 17 项接口测试全部通过,另外跑过一轮真实转码与渲染任务验证。



评论