跨境贸易系统-三语AI合同识别结构化提取产品系统

1、立项背景和目标：客户为出海印尼的国际贸易企业，其PHP/Laravel业务系统每天需人工录入大量中/印尼/英三语采购合同的结构化字段（合同编号、甲乙方、含税金额、明细行等）。客户生产服务器仅6GB内存、无GPU且与大业务系统共用主机，主流AI方案在该环境直接出局。项目目标：在极端资源约束下交付一套可直接嵌入客户现有系统的合同结构化识别服务，替代人工录入。已上线并持续稳定运行4个月以上。

2、核心功能模块：
①多格式解析：PDF/DOC/DOCX/XLS合同文件解析，文件魔数与批量大小校验；
②三语规则引擎：约90条带权正则，覆盖印尼盾Rp千分位金额、DPP/PPN税额拆分与税率反算、三语日期、客户四种合同编号体系（MOR/SLNC/NNI/SDE）与人名校验；
③三级混合路由：规则引擎按文本密度/表格格式/关键字段命中/乱码率四因子加权打分，按85/50阈值分档，高分档以极简Prompt校验补漏、低置信档完整LLM推理并标记人工复核；
④结构化输出：合同编号/甲乙方/金额含税拆分/明细行等字段级JSON；
⑤持续学习：用户纠错反馈沉淀为动态同义词库，经审核状态机管控后运行时优先命中；
⑥合规与审计：云端调用前10类PII结构化脱敏、数据出境授权门禁、HMAC-SHA256签名防重放+IP白名单、每次调用的token/成本/耗时审计留痕。

3、业务流程：PHP系统经本机HTTP回环调用→文件白名单与魔数校验→规则引擎打分分档→高分档极简Prompt补漏/低分档DeepSeek云端推理（本地Qwen GGUF量化模型兜底）→JSON解析四级修复回退→结构化字段返回PHP系统→用户纠错进入同义词沉淀链路→审计落库。

1、具体功能模块：
①合同解析：PDF/DOC/DOCX/XLS四种格式，文件魔数+批量大小校验；
②三语规则引擎：约90条带权正则覆盖印尼盾格式、税额拆分与税率反算、三语日期、四种合同编号体系；
③分级混合路由：四因子加权打分（文本密度30%+表格25%+关键字段30%+乱码15%），85/50阈值分档路由；
④云端LLM融合：DeepSeek API为主、本地Qwen GGUF量化模型兜底，8000字符分片+递归保护；
⑤合规防护：云端调用前10类PII结构化脱敏（手机号/证件/银行卡/邮箱/地址/姓名/公司/合同号/金额/签名）、数据出境授权门禁、HMAC-SHA256签名+IP白名单+X-API-Key；
⑥持续学习：用户纠错→动态同义词沉淀→审核状态机→运行时优先命中；
⑦运维监控：gunicorn worker周期回收+内存水位监控+指标落盘告警闭环。

2、主要功能描述：
作为客户PHP系统的AI合同识别微服务，接收中/印尼/英三语采购合同文件，自动输出合同编号、甲乙方、金额（含税拆分）、明细行等结构化字段，替代人工录入。在6GB内存、无GPU服务器上稳定运行4个月以上（39,243行生产监控时序留证），单合同处理2s级（含LLM推理与规则校验）；静态指令模板压缩约93%（92字vs完整模板1266字），叠加Redis响应缓存显著降低Token成本；711个测试函数覆盖规则引擎、路由降级与人工基线比对。

1、负责任务：独立完成全链路交付——需求评审、技术选型、架构设计、开发、测试、部署（gunicorn+systemd+监控告警）与验收，含PHP侧联调对接与双端镜像测试。

2、技术栈与架构：Flask 3.1.3单体+gunicorn（2 workers、max_requests周期回收）+systemd硬限（MemoryMax=6G/CPUQuota=90%）+DeepSeek云端API+Qwen 4B GGUF本地兜底（llama-cpp-python）+Redis缓存与分布式锁+MySQL审计；与客户PHP系统经本机HTTP回环（GuzzleHttp）集成，共享文件路径白名单交换文件，敏感数据不出客户内网。

3、亮点与难点：
①极端资源内存治理：模型懒加载+闲置120秒TTL自动卸载+RSS水位护栏（超限503拒新）+Redis分布式锁串行化重任务，配合systemd硬限实现6GB服务器零OOM；初期实测本地推理瓶颈后果断切换云端API主方案+本地GGUF降级兜底，保障按期上线；
②成本控制：指令模板压缩约93%+85/50分档路由+响应缓存，三重手段压低Token成本；
③降级链完整性：Redis宕机→词库快照原子恢复；云端失败→本地CPU+mmap回退；JSON解析失败→四级修复回退；
④质量工程：711个测试函数+"规则管线vs纯LLM vs人工基线"三方比对+PHP侧同义词双端一致性镜像测试；
⑤稳定性证据：39,243行生产监控时序验证持续稳定运行。