1、立项背景和目标：为宠物健康研究院提供排泄物健康分析能力：传统方式依赖有经验的兽医逐张判读猫咪粪便/尿液照片，效率低、经验难沉淀。项目基于开源多模态大模型构建图像健康分析服务——上传猫咪排泄物照片，自动输出异常分类、Bristol粪便分型与健康指标，可疑样本自动转入人工复核队列。在标注数据稀缺约束下，对比端到端微调与RAG两条路线后选择后者，按行业经验规避一个数量级的数据成本，完成兽医专业知识注入，已商业交付上线。
2、核心功能模块：
①图像理解：Qwen3-VL-30B-A3B经AWQ 4-bit量化、vLLM部署提供OpenAI兼容API，六分类异常判别（异物便/异色便/异常结晶/软便/颜色异常/正常）；
②多模态RAG：双路召回（BM25+向量）+RRF融合+Reranker精排，RICES动态Few-shot选样；
③输出可靠性：XGrammar约束解码三级回退+四级JSON解析降级+医学规则后处理（出血/结晶与颜色交叉一致性校验、Bristol≤2标记复核建议）；
④人工复核闭环：低置信/不一致样本进入复核队列，审核确认样本经Kappa一致性仲裁后增量回流知识库（数据飞轮）；
⑤隐私安全：EXIF剥离、导出脱敏、结果级签名水印（trace_id+HMAC）；
⑥双轨检索灰度：FAISS主路径与Qdrant新链路按四档灰度比例（5%/20%/50%/100%）平滑切换，检索升级不停服。
3、业务流程：客户端上传排泄物照片→EXIF剥离与图片质量评估→vLLM推理+RAG知识注入生成结构化结果（异常分类+Bristol分型+血液/结晶/寄生虫标志+业务推导）→医学规则交叉校验→低置信样本进复核队列→审核确认→数据飞轮增量入库→签名水印返回。
1、具体功能模块：
①多模态推理服务：Qwen3-VL-30B-A3B-Instruct经AWQ 4-bit量化、vLLM部署（GPU显存0.80预分配），六分类异常判别+Bristol粪便分型+健康指标输出；
②多模态RAG：FAISS+BGE向量检索与BM25双路召回、RRF(k=60)融合、Reranker精排；Few-shot三层数据源RICES动态选样（静态池/文件池/DB样本库）；
③输出可靠性三道防线：XGrammar约束解码（三级回退+熔断）+RICES选样+四级JSON解析降级，黄金评测集解析降级率0%、格式合规满足≥98%的SLO；
④医学规则引擎：出血/结晶与颜色字段交叉一致性校验、Bristol≤2自动标记复核建议——不让大模型独自承担医疗判断责任；
⑤人工复核与数据飞轮：低置信样本入复核队列，审核确认后经事件级pairwise Kappa仲裁、类别平衡过采样、版本化训练池管理增量回流，越用越准；
⑥隐私与安全：EXIF剥离+方向修正、导出脱敏、结果级签名水印（trace_id+HMAC）、IP白名单+X-API-Key鉴权；
⑦工程配套：双轨检索灰度切换、circuit_breaker+request_queue背压熔断分级503、MLflow实验追踪、Prometheus指标。
2、主要功能描述：
面向宠物健康研究院的图像健康分析服务：上传猫咪排泄物照片，自动输出异常分类（异物便/异色便/结晶/软便等）、Bristol粪便分型与健康建议，可疑样本自动转入人工复核队列，审核样本经仲裁后回流知识库持续提升效果。黄金评测集37样本：accuracy 81.08%、weighted F1 89.08%，关键异常类precision 100%；检索NDCG/MRR 100%、耗时约50ms；累计735项测试（覆盖率83.29%），端到端测试1.44s。
1、负责任务：负责排泄物AI识别模块后端开发——技术选型（RAG vs微调评估、vLLM+AWQ量化部署）、RAG检索链路设计、结构化输出保障、医学规则后处理、隐私合规方案、复核队列与数据飞轮接线、评测与测试、技术文档及部署上线。
2、技术栈与架构：Qwen3-VL-30B-A3B-Instruct-AWQ-4bit+vLLM（OpenAI兼容）+FastAPI+FAISS/BGE与Qdrant双轨检索+BM25+RRF+XGrammar+PostgreSQL+Redis+MLflow+Prometheus+Docker Compose四服务部署。
3、亮点与难点：
①低资源选型：30B MoE模型AWQ 4-bit量化后单卡承载生产流量；对比端到端微调路线，按行业经验规避一个数量级的数据标注成本，以RAG+Few-shot完成兽医知识注入；
②双轨检索灰度：FAISS+BGE生产主路径与Qdrant+新一代Embedding/Reranker新链路并存，环境变量一键切换+验收脚本，检索升级不停服；
③结构化输出攻坚：多模态输出格式不稳定是核心难点，最终以XGrammar约束解码+RICES动态Few-shot+四级解析降级三层防线实现评测集解析降级率0%、关键异常类precision 100%；
④医疗责任边界：医学规则交叉校验+Bristol≤2复核建议+人工复核队列，形成"AI建议+人工确认"的责任闭环；
⑤质量体系：735项测试（覆盖率83.29%）、两轮对抗性审查驱动修复闭环、端到端测试1.44s。
声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论