一、立项原因及解决的痛点：
在当前 AI Agent 落地过程中，Prompt 迭代往往充满盲目性。新版本可能看似“更友好”，但实际变得啰嗦且 Token 消耗翻倍；或者由于大模型的随机性，测试得分有时高有时低，传统测试手段（如通过率）根本无法科学量化版本的好坏，导致研发盲目发版，极易引发客诉及成本失控。
二、行业场景与业务背景：
该项目专为金融、政企等对数据安全和模型质量要求极高的 AI 应用团队打造。
系统通过深度集成 Langfuse 全链路追踪，实现了对每一次大模型调用的 TTFT、TPOT 及 Token 消耗的精准捕获。
核心创新点：系统抛弃了粗暴的平均分评估，引入了 Bootstrap 1000 次重采样 与 T 检验（P-value） 统计学算法，能够自动计算出新旧版本的 95% 置信区间。
业务价值：结合多维业务权重（如“意图覆盖率”、“轨迹冗余度”、“防幻觉”等），一键计算整体加权总 Delta 收益，直接给业务方输出“推荐发布”或“暂缓发布”的终极决策，彻底解决了 AI 产品的发版盲区。
本系统是一套面向 AI Agent（智能体）研发团队的自动化质量评估平台。核心功能如下：
多维大模型裁判：通过接入 DeepSeek 大模型作为裁判，结合自定义的 Rubrics（评分细则），对 Agent 的准确性、相关性、安全性、意图覆盖率等 10+ 个维度进行自动打分与归因分析。
全链路性能追踪：深度集成 Langfuse，实时捕获每次调用的耗时（TTFT首字延迟、TPOT每字耗时）、Token 消耗与工具调用轨迹。
A/B 发版决策看板：内置统计学引擎，利用 Bootstrap 重采样和 T检验（P-value），一键对比新旧版本的 95% 置信区间，结合业务权重给出“推荐发布”或“暂缓发布”的终极商业结论。
可视化大屏：提供基于 Streamlit 的 Web 数据看板，直观展示能力雷达图与趋势曲线。
我的职责：独立完成整个系统的架构设计、核心算法编写、后端逻辑开发与 Docker 私有化部署。
技术栈：Python, LangChain, Langfuse, MySQL, Docker, Scipy (统计学库), Streamlit。
难点与实现亮点：
1、解决大模型输出随机性导致的测试误判：传统的平均分无法判定版本好坏，我引入 Scipy 库实现了 T检验与 Bootstrap 1000次重采样算法，精准计算 P-value 与置信区间，用严谨的数学手段过滤了“虚假涨分”。
2、底层引擎的稳定性兜底：针对网络波动和 API 报错，我编写了极强的异常捕获与重试机制（Try-Except 兜底），确保 Langfuse 上报中断时，核心评测流水线依然能顺畅跑完并生成报告。
3、极致的数据分析与报表输出：设计了 MySQL 垂直扩展表结构，并通过 Python 的 tabulate 库，在终端输出包含“效能分/千Tok”、“轨迹冗余度”等业务高阶指标的精美报表，同时按时间戳自动归档。
评论