LLM-OPS产品系统Vibe Coding

面向券商、银行、基金等金融机构在智能投研、客服问答、内容生成等场景中的大模型应用需求，解决多厂商模型接入分散、私有化部署复杂、模型效果难评估、调用成本难统计等问题。通过统一平台管理模型、数据和应用，为业务团队提供可控的模型服务，减少重复建设和系统对接成本。

平台包含模型广场、模型体验、模型部署、模型训练、效果与性能评测、Prompt 管理、数据集管理、数据回流、路由管理、应用管理、会话追踪和资源监控等模块。支持第三方接口与本地模型统一接入，提供文本、图片、视频、语音等多模态体验；支持监督微调、人工与自动评测，以及训练完成后一键部署。同时提供模型路由、备用模型切换、应用鉴权、请求限流、Token 配额和敏感内容拦截，方便企业统一管理模型服务及使用成本。

我主要参与平台的全栈开发，使用 Spring Boot、MyBatis-Plus 和 Vue 3、TypeScript 完成业务接口及管理页面开发，结合 Redis、Kafka、MySQL、PostgreSQL 支撑缓存、消息处理和业务数据管理。负责模型接口适配、流式对话、模型评测、数据回流及调用统计等功能开发与维护，处理不同模型的响应格式兼容、流式输出状态衔接、评测进度统计和数据库兼容问题。同时参与 Kubernetes 私有化部署及 Prometheus、Grafana 监控对接，协助排查模型服务、容器网络和证书异常。