项目属于人工智能 / 计算机视觉领域，聚焦于光学字符识别（OCR）、文档解析引擎、通用 AI 模型（如分类、检测、NLP 实体抽取）的测试与评估。业务场景涵盖身份证/银行卡/发票等证件类 OCR、通用印刷体文字识别、手写体识别、表格结构还原、PDF 解析、关键信息抽取（如姓名、金额、日期）等。系统需要支持多语言（中英文、数字混合）、多种图片格式（jpg/png/tiff）、不同分辨率与光照条件的输入。测试工作不仅要验证功能正确性，还需评估模型的精度、召回、F1-score、端到端响应时间、资源占用等指标，并为算法团队提供可量化的优化方向。
项目围绕 OCR / AI 模型的测试与评估，划分为以下核心模块：
（1）功能测试模块：验证 OCR 引擎对不同类型图片（证件、票据、通用文本）的识别能力，包括字符级准确性、字段级完整性、特殊符号处理、旋转/倾斜校正等。
（2）效果评估模块：构建标准测试数据集（含标注 ground truth），自动化计算模型在各类场景下的准确率、召回率、F1-score、编辑距离（CER/WER）等指标，支持按场景（清晰/模糊/倾斜/低光照）分层统计。
（3）性能测试模块：模拟高并发调用（如 QPS 1000+），测量模型服务的吞吐量、P99/P95 延迟、CPU/GPU 利用率、内存占用，定位性能瓶颈（如推理引擎、网络 I/O、预处理管线）。
（4）鲁棒性测试模块：设计对抗样本（噪声、遮挡、旋转、缩放、字体变异），评估模型的抗干扰能力和泛化边界。
（5）回归与对比测试模块：支持模型版本间的 A/B 对比测试，自动生成差异报告，辅助算法团队判断新版本是否可上线。
（6）交付质量门禁：将评估流程集成到 CI/CD 流水线，每次模型更新自动触发全量评估，达标后方可进入交付环节。
技术栈与工具链：Python（评估脚本）、Locust（性能压测）、Prometheus + Grafana（监控）、Docker（容器化）、GitLab CI（持续集成）、LabelImg + CVAT（数据标注）、OpenCV（图像预处理）、pyocr-eval / jiwer（精度计算）、TensorRT / ONNX Runtime（模型推理加速测试）。
架构亮点：
（1）分层评估架构：将测试拆分为“单元级（单图片识别）→ 场景级（按业务场景聚合）→ 系统级（端到端流程）”三层，既能快速定位单点问题，又能反映整体质量。
（2）自动化评估流水线：从图片输入、模型调用、结果比对到报告生成，全流程无人值守，一次配置后可重复执行，评估效率提升 80%。
（3）对比基线机制：每次评估自动与上一版本基线对比，标记退步场景，避免模型“以偏概全”式优化。
实现难点与解决方案：
（1）难点一：标注数据不一致（不同标注员对同一字段的切分标准不同）。解决方案：制定详细标注规范（如“姓名”字段包含姓氏和名字，中间空格保留），并设置交叉验证环节，标注一致性从 85% 提升至 97%。
（2）难点二：性能瓶颈定位困难（模型服务延迟忽高忽低）。解决方案：在性能测试中加入全链路 Tracing（OpenTelemetry），发现预处理线程池过小导致请求排队，调整线程数后延迟稳定。
（3）难点三：对抗样本设计缺乏标准。解决方案：参考业界鲁棒性测试框架（如 RobustBench），结合业务实际场景定义 6 类常见扰动（模糊、遮挡、旋转、光照、压缩、字体变形），使评估更具业务相关性。
评论