dsh-ablation开源项目

我要开发同款
Rick2026年09月17日
6阅读

技术信息

语言技术
PythonJavaScript自动化测试
系统类型
算法模型
行业分类
人工智能
开源地址
https://github.com/Jiao-XXX/dsh-ablation
授权协议
MIT许可

功能介绍

支持通过配置覆盖文件组织实验组和基线组,对工具目录、系统提示词等因素进行拆分测试,并记录无法完全隔离的变量。

提供环境自检和版本检查,校验实验配置能否正确加载;通过比对实际请求中的提示词与工具定义,检查基线是否符合预期,避免仅凭配置名称或工具数量判断。

将任务说明、环境准备脚本和评分脚本分离,支持批量运行及重复实验。评分除输出通过或失败外,还能在特定任务中识别漏报、误报,并标记对应遗漏的规则条件。

从会话日志提取任务结果、模型调用消耗及执行耗时,保留原始数据与汇总报告。支持以预注册文件明确实验指标、检验方法和作废条件,区分探索性观察与确证实验。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论