Flask

本项目采用“云端总控+边缘推理”的双轨架构，实现无人值守的算力售卖闭环，包含五大核心模块：1.边缘大模型推理引擎：基于WSL2+Docker深度定制，高效承载vLLM框架与量化大模型，对外暴露完全兼容OpenAI规范的流式API接口。2.双通道智能穿透网络：采用Tailscale（P2P直连为主）+

1. 项目是基于边缘计算的深度学习模型训练和推理加速的实验平台。模型训练主要包括数据并行、模型并行、流水线并行等分布式训练模式，以及联邦学习。模型推理主要包括多出口网络模型、模型切分和卸载。此外，我们以多目标跟踪 MOT 为案例，测试平台的适用性。 2. 我主要负责平台 MOT 应用示范的后端工作，包括推流、视频编解码等。