支持通过配置覆盖文件组织实验组和基线组,对工具目录、系统提示词等因素进行拆分测试,并记录无法完全隔离的变量。
提供环境自检和版本检查,校验实验配置能否正确加载;通过比对实际请求中的提示词与工具定义,检查基线是否符合预期,避免仅凭配置名称或工具数量判断。
将任务说明、环境准备脚本和评分脚本分离,支持批量运行及重复实验。评分除输出通过或失败外,还能在特定任务中识别漏报、误报,并标记对应遗漏的规则条件。
从会话日志提取任务结果、模型调用消耗及执行耗时,保留原始数据与汇总报告。支持以预注册文件明确实验指标、检验方法和作废条件,区分探索性观察与确证实验。
点击空白处退出提示









评论