边缘大模型一体机平台产品系统

企业希望在边缘侧、本地环境使用大模型，但云端调用存在数据合规、网络延迟与成本顾虑，本地部署又涉及模型管理、推理服务、应用集成与 GPU 监控等复杂工作。边缘大模型一体机把模型、推理服务与 AI 应用统一装进单机 4 GPU 平台，面向需要本地化部署大模型的企业场景。

面向企业边缘侧与本地部署的大模型一体机平台：单机 4 GPU 平台统一管理模型、推理服务与 AI 应用；集成 vLLM、SGLang 推理框架；统一模型 API 与应用市场；监控覆盖 GPU、显存、模型服务与请求状态；一个月内独立完成方案设计与研发并交付，获公司级 AI 编程大赛金奖。

由我独立完成方案设计与研发：单机 4 GPU 平台的模型管理、推理服务编排与应用市场，集成 vLLM 与 SGLang，统一模型 API，监控覆盖 GPU、显存、模型服务与请求状态。技术栈 Go、React/TypeScript、TimescaleDB、Docker Compose、vLLM、SGLang。