DeepSeek Harness Agent 自动化评测插件开源项目Vibe Coding

DeepSeek Harness 是面向 AI Agent 开发的一体化平台，提供了模型部署、沙箱运行、对话调试等基础能力，但原生并未覆盖 Agent 的批量自动化评测。开发者在完成 Agent 原型后，只能借助外部开源评测框架（如 OpenAI Evals、LangChain 的评估模块）或自建脚本进行评估，导致工作流割裂——评测数据需导出再导入，结果无法与 Harness 内部的会话记录、模型版本关联。本插件正是为了解决这一“最后一公里”问题，将评测能力以插件化形式内嵌到 Harness 中，使开发者无需切换环境即可完成从测试集导入、批量运行到评分报告的全流程，真正实现开发-调试-评估的闭环。

用户通过 Harness 的 Web 界面或聊天命令选定测试集和待评测模型后，插件自动解析数据、并发运行 Agent 并收集执行结果，随后依据预设评分规则判分，最终在 Web 面板呈现可视化报告，同时生成结构化 JSON 供后续分析。整个过程无需离开 Harness 环境，评测结果可与 Harness 的会话记录关联追溯。

独立完成插件从需求分析、架构设计、编码实现到 NPM 包打包和文档编写的全过程，并负责在 Harness 插件市场进行上架适配。
技术栈与架构：

运行环境：Node.js ^22.19.0 或 >=24.0.0，包管理使用 pnpm。

编程语言：TypeScript，编译输出 ESM 模块。

框架与集成方式：基于 Cordis 插件化框架（Harness 底层使用的 IoC 容器），通过 @cordisjs/plugin 机制导出三个入口：host（注册命令和斜杠指令）、web（挂载 React 面板）、headless（提供 CLI 命令 dsh --profile eval）。插件在 Harness 启动时被动态加载，自动注入依赖的 Harness 核心服务（如 Agent 工厂、会话管理器、文件服务）。

核心逻辑层：独立封装 EvalService 类，承担数据集解析、并发调度、评分执行和状态持久化，与 Harness 服务通过接口契约解耦。

数据持久化：基于 Node.js fs/promises 实现 JSON 格式的检查点文件写入，利用 Harness 提供的工作区路径进行存储。