分布式 AI 算力聚合与调度中台（边缘计算）产品系统

当前大模型算力成本高昂，而海量下沉的边缘节点（如电竞网咖、企业机房）在非高峰时段存在巨大的 GPU 闲置算力（峰谷效应明显）。本项目的核心立项诉求，是建立一套极低成本、高可用的“边缘算力聚合与租赁平台”。旨在将网吧等网络环境极度复杂、缺乏公网 IP 且存在物理重启还原机制的不可控 PC 机，通过底层的虚拟化与云边协同架构，改造为标准、稳定的 Serverless 大模型 API 服务节点。解决传统算力平台成本高昂的痛点，实现闲置算力资产的规模化、安全化商业变现。

本项目采用“云端总控 + 边缘推理”的双轨架构，实现无人值守的算力售卖闭环，包含五大核心模块：
1.边缘大模型推理引擎：基于 WSL2 + Docker 深度定制，高效承载 vLLM 框架与量化大模型，对外暴露完全兼容 OpenAI 规范的流式 API 接口。
2.双通道智能穿透网络：采用 Tailscale（P2P 直连为主）+ FRP（云端转发兜底）的双路智能切换模型，彻底解决边缘节点无公网 IP 及高延迟传输痛点。
3.硬件级风控守护机（Guardian）：独立研发的本地状态机，实现智能温控降频保护、晚高峰网络 QoS 动态限速、OOM 显存归零自动拉起，以及 DNS+iptables 双层内容安全拦截。
4.SaaS 云端总控台：提供多节点健康大屏、动态 API Key 分发鉴权机制，并内置基于 Token 消耗的无侵入式精准计费模块（Sidecar代理）。
5.灾备与极速部署系统：针对网吧特有的“无盘系统/还原卡”环境，提供自动化环境嗅探与核心资产（模型/数据库）持久化迁移的静默安装闭环。

我的职责： 作为项目核心架构师与全栈开发，我负责了从 0 到 1 的底层技术选型、云边协同链路设计、全部核心代码编写及极端环境的极限压测。
技术栈： Python (FastAPI/Flask), PowerShell/Shell, WSL2, Docker, vLLM, Tailscale, Nginx, AES-256 加密。
实现亮点与攻克难点：
1.穿透 WSL2 的复杂网络黑盒：首创在 Windows 宿主网络下打通 WSL2 镜像网络模式（Mirrored Mode），彻底消灭了传统端口转发带来的动态 IP 丢失问题，结合 Tailscale 实现了从公网到容器底层的高速直连。
2.降伏极端物理环境：针对网吧每次重启 C 盘数据归零的“还原卡”地狱环境，通过复杂的自动化脚本实现了 Docker 引擎数据与几十GB大模型权重的静默分离，将其无缝跨盘持久化挂载，实现服务重启后 2 分钟内自恢复。
3.商业级风控与计费隔离：在不修改 vLLM 底层源码的前提下，通过 Nginx Auth Request + 异步 Sidecar 拦截层，完美实现了流式请求的无损转发与 Token 级精准计费。并运用加密算法将本地拦截日志上传，确立了系统的商业级安全性。