项目立项原因
广西数字经济快速发展，本地社交平台中文虚假民生、政务谣言泛滥；现有单预训练模型误报高、通用模型无区域适配能力，数据集样本严重失衡，人工审核效率低、舆情管控滞后，亟需本地化高精度三分类检测方案。
解决产品问题
数据：解决样本分布失衡、冗余英文字段干扰模型训练问题；
模型：通过 Stacking 融合 Bert/Ernie/XLNet，弥补单模型语义短板，降低虚假新闻漏误判；
业务：替代低效人工审核，实现本地新闻自动化前置风控，适配三分类精细审核需求。
行业场景
地方网信舆情监测、本地融媒体 / 政务媒体内容校验、社交资讯平台内容审核、区域数字经济信息安全风控。
业务背景
广西线上资讯体量激增，民生类谣言易引发区域舆论风险；现有二分类检测工具无法区分 “真实 / 虚假 / 无关” 新闻，缺乏适配本地中文语境的 AI 检测能力，制约网络内容治理与数字产业健康发展。
数据预处理模块
数据集清洗、无效英文字段剔除、标签编码、类别下采样均衡样本、自定义 PyTorch 文本数据集、训练 / 测试集划分、数据分布可视化。
多预训练模型训练模块
封装 BERT/ERNIE/XLNet 三类中文大模型，分词器初始化、GPU 训练、AdamW + 线性学习率调度、损失 / 精度记录、模型权重保存。
训练可视化评估模块
绘制损失曲线、训练 / 验证准确率对比图，输出每类精确率 / 召回率 / F1 分类指标报告。
Stacking 集成融合模块
提取三大模型预测结果作为特征，决策树元模型堆叠融合，输出集成模型最终判别结果。
新闻推理检测模块
加载训练权重，批量输入新闻标题，自动完成三分类判别：相符真实资讯 / 相悖虚假新闻 / 无关资讯。
项目核心功能描述
基于多预训练大模型 Stacking 集成学习，搭建面向广西本地中文新闻的虚假内容智能检测系统：
自动清洗、平衡不均衡新闻文本数据集，适配本地化中文舆情数据；
基于 AIGC 预训练语义基座，独立训练 BERT、ERNIE、XLNet 异构大模型，分别提取文本语义特征；
通过 Stacking 集成算法融合多模型预测输出，弥补单一大模型语义识别缺陷，降低虚假新闻误报、漏判；
支持批量新闻标题自动化三分类检测，区分真实资讯、虚假谣言、无关内容；
配套完整模型训练、性能可视化、指标评估能力，为网信、融媒体平台提供 AI 内容风控能力。
1、数据清洗，模型构建，模型训练
2、技术栈
编程语言 & 数据处理
Python、Pandas、NumPy、Matplotlib/Seaborn
深度学习框架
PyTorch、Hugging Face Transformers
模型 & 算法
BERT-base-chinese、ERNIE-3.0、XLNet-base、Stacking 集成学习、决策树元分类器
数据均衡工具
imblearn（RandomUnderSampler）、LabelEncoder
训练优化
AdamW 优化器、warmup 线性学习率调度、GPU 加速
AIGC 相关
中文预训练大语言基座、文本语义表征、大模型异构集成
二、系统架构
两层 Stacking 集成架构
底层基学习器层：BERT/ERNIE/XLNet 三大异构预训练 AIGC 模型，单独训练输出单模型分类预测结果；
上层元学习层：以决策树作为元模型，将三个模型预测值组合为新特征，二次训练输出最终三分类判别结果；
配套流水线：数据预处理流水线→多模型并行训练模块→可视化评估模块→批量推理检测模块。
三、实现亮点
异构大模型 AIGC 融合创新
结合三类语义差异化预训练基座 Stacking 堆叠，取长补短，解决单一 LLM 语义理解短板，相比单模型综合识别精度显著提升。
不均衡数据完整解决方案
标签可视化分析 + 随机下采样平衡样本，解决虚假新闻样本极少、模型偏向多数类的问题，大幅提升谣言类召回率。
本地化中文场景适配
剔除英文冗余字段，基于本地民生 / 政务新闻优化文本输入逻辑，相比通用模型更适配区域舆情风控。
模块化工程化封装
数据集、训练、评估、推理解耦，封装通用训练函数，自动保存权重、输出完整可视化曲线与分类指标报告。
轻量化落地友好
仅使用模型预测输出作为元特征，无需提取深层向量，推
评论