针对财经舆情与内容审核场景,构建事实/观点(fact/opinion)二分类模型。基于 Qwen3-14B 基座模型,采用 4bit 量化加载,通过 LoRA 低秩适配进行参数高效微调,在自建标注数据集上达到 99.7% 分类准确率。服务于新闻资讯、研报、社交媒体等文本内容的自动标注与风险识别流程。
点击空白处退出提示
针对财经舆情与内容审核场景,构建事实/观点(fact/opinion)二分类模型。基于 Qwen3-14B 基座模型,采用 4bit 量化加载,通过 LoRA 低秩适配进行参数高效微调,在自建标注数据集上达到 99.7% 分类准确率。服务于新闻资讯、研报、社交媒体等文本内容的自动标注与风险识别流程。
本项目是完整的 LLM 微调与私有化部署系统。核心功能包括:1)基于 Qwen3-14B 的 LoRA 微调训练管线,支持 4bit 量化、指令数据构造与评估;2)fact/opinion 二分类推理接口,基于 vLLM 高效推理引擎;3)FastAPI 封装的 RESTful API 服务,提供单条与批量文本分类;4)RAG 检索增强问答,支持私有知识库向量化与检索召回;5)4 节点 Mac Mini M4 集群私有化部署,支持模型多副本与负载均衡,保障数据不出内网。
我负责整体架构设计与核心实现:使用 HuggingFace Transformers + PEFT 完成 LoRA 微调,Qwen3-14B 以 4bit 量化加载降低显存占用;推理侧采用 vLLM 部署并封装 FastAPI 接口,实现高并发文本分类;RAG 模块使用向量数据库构建知识库检索链路;部署侧基于 Docker 容器编排,在 4 节点 Mac Mini M4 集群上完成私有化交付。



评论