### 1. 立项原因
- 旨在解决的产品问题 ：教育部门和相关机构需要定期从各类媒体收集、整理和归档教育相关新闻报道，传统人工方式效率低下、耗时耗力，且容易出现格式不统一、信息遗漏等问题。
- 核心目标 ：通过自动化工具实现教育新闻的快速采集、标准化整理和格式化输出，提高工作效率和数据准确性。
### 2. 行业场景与业务背景
- 业务背景 ：教育系统需要密切关注各类媒体对教育政策、教育事件、学校动态等方面的报道，以便及时了解舆情、掌握教育发展趋势、为决策提供参考。
- 应用场景 ：
- 教育行政部门的舆情监测与信息汇总
- 学校宣传部门的媒体报道收集与归档
- 教育研究机构的媒体数据分析
- 教育媒体的内容整理与二次编辑
### 1. 项目模块
- 文件上传模块 ：处理Excel文件上传，支持.xlsx和.xls格式
- 数据处理模块 ：解析Excel数据，提取媒体名称、发布媒体、发布日期、版面/栏目、新闻标题等字段
- 网页爬取模块 ：根据新闻标题或链接爬取相关网页内容
- 文档生成模块 ：将处理后的数据填充到Word表格中，生成标准化文档
- 进度跟踪模块 ：实时监控处理进度，提供状态反馈
- 下载模块 ：生成并提供Word文档下载
### 2. 主要功能描述
1. Excel文件上传 ：用户通过Web界面上传包含新闻数据的Excel文件
2. 数据解析与验证 ：系统自动解析Excel文件，验证必要字段的完整性
3. 智能内容采集 ：
- 识别链接类型（PC端/移动端/微信/微博）
- 采用对应策略爬取网页内容
- 智能过滤非正文内容和装饰性图片
4. Word文档生成 ：
- 自动创建标准化Word文档
- 按预设格式填充新闻数据
- 插入相关图片（如适用）
- 统一排版格式（字体、间距、缩进等）
5. 实时进度显示 ：前端进度条实时显示处理状态和百分比
6. 文档下载 ：处理完成后自动触发Word文档下载
7. 错误处理与日志 ：详细记录处理过程中的错误信息，便于排查问题
### 3. 核心业务流程
1. 用户访问系统Web界面
2. 上传包含新闻数据的Excel文件
3. 系统解析文件并开始处理每条新闻记录
4. 对需要爬取内容的新闻，根据链接类型选择合适的爬取策略
5. 提取正文内容和相关图片
6. 生成标准化Word文档
7. 用户下载生成的文档
### 1. 技术栈与架构
- 后端技术 ：Python 3.8+, Flask 3.0.0
- 前端技术 ：HTML5, CSS3, JavaScript (原生)
- 核心库 ：
- pandas 2.0.3 (Excel文件处理)
- python-docx 1.0 (Word文档生成)
- selenium 4.15.2 (网页内容爬取)
- beautifulsoup4 (HTML解析)
- requests (网络请求)
- 部署方案 ：
- Waitress生产服务器 (8线程，120秒超时)
- NSSM服务管理 (Windows系统服务)
- 项目架构 ：
- 单模块Flask应用
- 前端静态页面 + 后端API
- 文件处理流程：上传 → 解析 → 处理 → 生成 → 下载
### 2. 实现难点与亮点
难点 ：
1. 多平台网页内容爬取 ：需应对微信、微博等客户端页面的反爬机制，实现稳定的数据采集
2. 智能内容识别 ：准确区分正文与非正文内容，过滤广告、导航等干扰信息
3. 图片处理与筛选 ：识别和过滤装饰性图片，保留有价值的新闻图片
4. 格式一致性 ：确保生成的Word文档格式统一、美观，符合专业排版要求
亮点 ：
1. 多策略爬取机制 ：针对不同平台采用不同的爬取策略，提高成功率
- 移动端requests请求（优先）
- 移动端Selenium模拟（降级）
- 普通requests请求（最后回退）
2. 智能内容过滤 ：
- 基于DOM结构的内容区域识别
- 图片装饰性判断
- 可见性检测
3. 实时进度跟踪 ：前端实时显示处理进度，提升用户体验
4. 生产级部署 ：配置专业的生产服务器和服务管理，确保稳定运行
评论