【立项原因】
随着业务迭代加快,测试团队对 AI 辅助写用例的依赖明显上升,基于单次LLM调用用例虽然生成快,却常出现接口与字段幻觉、边界和异常场景覆盖不足、步骤不可执行等问题,生成结果往往需要大量人工返工,一次采纳率偏低,难以作为正式测试资产入库和审计依据。
与此同时,金融支付、电商、游戏、教育等业务对用例的专业要求差异很大,通用 Prompt 难以兼顾资损合规、安全风控、环境依赖等专项能力;生成过程也缺少 Plan 确认和中间产物留痕,任务一旦中断只能重头执行,失败成本高。更关键的是,安全与合规类问题不应靠「自动重写」蒙混过关,而现有模式既无量化门禁,也无法与平台内的生成历史、用例库形成闭环沉淀。
因此构建「专家级用例流水线」:以多 Agent 分工、Plan 后执行、契约校验、双 Gate 门禁和 RAG 回流为核心,把 AI 用例生产从工具型单次生成,升级为可认证、可追溯、可入库的平台级工作流,从而系统性解决幻觉、覆盖不足、不可审计、行业适配弱、资产无法沉淀等产品问题,并显著提升相对原 Skill/单轮方案的一次采纳率与交付可信度。
【产品目标】
1.在专业质量平台能力基础上,应用AI Agent能力提供领域专家级用例生成及评审能力,集成在线用例编辑、管理、评审、执行,报告管理等常规功能;
2.提供基于Agent意图识别的接口、UI自动化用例云端生成与执行能力,降低自动化测试投建与维护成本。
1. 项目管理
支持多项目创建与成员角色管理,关联版本、需求,是应用空间的统一组织单元,实现权限隔离与协作分工。
2. 测试管理
(1)用例生成:提供基于用例生成skill的快速用例生成、与多Agent编排的专家级用例生成流水线,支持表单、markdown、pdf、xmind、word等格式需求输入
(2)生成历史:对AI生成的历史用例可以通过在线列表、思维导图两种视图进行编辑、评审及管理
(3)用例库:支持手工创建或导入AI用例,统一对用例集进行维护与管理
(4)测试计划:基于用例库内用例集创建测试计划,允许用户逐条对用例进行执行
(5)测试报告:根据测试计划执行情况,自动在线聚合展示多维质量数据
3.接口测试
(1)支持HTTP、WebSocket、RPC接口在线管理
(2)支持Swagger\OpenAPI,AI自动生成接口测试用例
(3)提供在线接口用例执行与报告查看
4.UI自动化:
(1)Agent驱动的Web UI自动化:基于Browser-use,应用多模态大模型,由AI进行意图识别与测试驱动。
(2)低代码关键字驱动的Web自动化
5.实验模块
(1)提供各类创新质量实验室:Agent行为模板、工作流搭建等实验性功能
6.配置中心
统一提供全局配置能力,包括不限于模块配置、模型接入等
后端:Python 3.14、 Django、MySQL
前段:Vue 3 、Vite 、Element Plus、Pinia、Vue Flow
AI:OpenAI 兼容 LLM、多 Agent Prompt 编排
通信:REST API + SSE(agent.token / 节点状态 / Gate 结果)
其他:ThreadPoolExecutor 并行、Artifact 持久化、领域 Pack 配置
架构
编排层:WorkflowOrchestrator 统一调度,状态机管理 Run(draft → planning → running → certified/blocked 等)。
节点层:Core 串行 + Conditional Fan-out 并行 + Gate 串行 + 进化节点(反馈收集)分层执行。
数据层:CertifiedWorkflowRun / WorkflowNode / WorkflowArtifact / WorkflowEvent 全链路持久化。
展示层:Tab 聚合页 + DAG 画布 + SSE 实时 Trace + 节点产物抽屉。
主链路:预处理(分片 + RAG)→ Core 串行 → 契约校验 → 条件并行 → 双轨评审 → 双 Gate → 认证 → 同步历史 → 异步反馈回流。
亮点
Plan 后执行:避免黑盒长任务,Agent 拓扑可确认、可裁剪。
双轨质量评审:规则 70% + LLM 30%,底线与上限指标分离。
OpenAPI 契约校验:拦截用例中不存在的 API 路径,降低 LLM 幻觉。
分级熔断:质量分不足可重写;安全/合规不达标 NON_WAIVABLE_VIOLATION,禁止自动放行。
领域路由:finance/game 全开条件节点,general 仅保留风控安全,Fan-out 失败隔离为 skip
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论