基因测序仪在运行过程中持续产出原始数据，每 10 分钟生成一帧，一帧按平台差异包含 4 个或 14 个文件，单个文件可达数十 GB。这类数据不能靠人工拷贝：一是体量太大，二是必须尽快、完整地落到分析服务器，否则后续生信流程无法启动。更麻烦的是测序仪可能在任何时刻意外断电，一旦传输中断而无人处理，这一帧数据就会残缺，直接影响测序结果的可用性。本系统面向这一场景，构建一个无需人工值守的后台上传服务：从测序仪发出的上传事件开始，自动完成文件发现、并发传输、完整性校验与归档，并在断电、断网、进程崩溃后自动恢复补传，保证"数据要么完整到达，要么明确告警"，实现传输过程的可追溯与不可中断。
系统以消息驱动方式运行，包含六个模块：
1）消息订阅与幂等：订阅 MQTT 上传事件（每 10 min 一帧），按帧 ID 去重，重复通知不会重复建立任务。
2）帧清单解析与任务编排：按平台类型解析该帧应包含的文件清单（4 个或 14 个），逐个生成上传任务并进入队列。
3）线程池并发上传：以文件为粒度并行，多文件同时传输；单文件内部按固定大小分片，避免单文件独占带宽，也便于失败时只重传分片。
4）FTP 传输层封装：在 FTP 协议之上封装连接复用、超时控制、失败重传与偏移续传，对外只暴露"把某个文件传到某个路径"的接口。
5）完整性校验：每个文件传输完成后立即做 MD5 比对，不一致即判定失败并重新传输，只有校验通过的文件才允许进入归档区。
6）断电恢复与状态管理：本地状态库记录帧清单、每个文件的分片偏移与校验结果，进程启动时自动扫描未完成的帧，把缺失或未校验的文件重新入队补传；同时输出备份日志，记录上传速率、失败原因与补传记录。
技术栈：Python + MQTT 客户端 + 线程池 + FTP 封装 + SQLite + 校验模块。整体是一个无界面后台进程，以服务方式常驻运行。
四个核心难点及处理：
① 单文件过大导致重传代价高。数十 GB 的文件若整传失败就要从头再来，因此在上传层做分片：按固定块大小切片上传，本地记录每个分片已写入的偏移量，失败重传与断点续传都从偏移量继续，不做整体重发。
② 断电后必须能续上，且不能重复或漏传。用 SQLite 持久化帧与文件两级状态（pending / uploading / verifying / done），关键写入采用小事务提交，保证进程被强杀或断电时状态不处于中间态；启动时按"帧清单 - 已完成文件"求差集，差集即补传列表，天然幂等。
③ 并发要提上去但不能把服务器打挂。线程池按文件粒度切分，单文件分片串行以保证顺序写，多文件之间并行；配合并发上限与超时重试（指数退避），在带宽和服务器负载之间取平衡。
④ 消息不可靠。MQTT 使用 QoS 1 并配置持久会话，配合帧 ID 幂等表，保证"消息至少到一次、任务只建一次"，避免离线期间堆积的消息在恢复后被重复处理。
交付结果：单帧 4 / 14 个文件（单文件数十 GB）可无人值守完成上传；传输中断、进程崩溃、仪器断电后均能自动恢复补传，最终状态与未发生断电时完全一致；失败有明确告警，不再依赖人工检查。
评论