广电新闻爬虫产品系统

随着视频新闻平台的兴起， m.itouchtv.cn 作为重要的新闻视频发布渠道，提供了丰富的联播新闻和视频内容。然而，该平台采用了严格的API签名机制和反爬虫策略，限制了第三方直接获取数据的能力。为了满足媒体机构、研究人员和开发者对新闻数据的需求，开发了这个爬虫工具。该工具通过逆向工程破解了平台的签名算法，模拟浏览器请求，能够高效获取新闻列表、视频链接等关键信息，为后续的内容分析、数据挖掘和二次开发提供基础支持。

该项目是一个针对 m.itouchtv.cn 网站的爬虫工具，通过模拟浏览器请求、生成HMAC签名和动态构造请求头，绕过网站反爬机制，从API接口获取新闻列表和视频内容，并解析出标题、时间、链接等关键信息，最终生成可直接访问的文章链接或m3u8视频播放地址。

- 签名机制破解 ：通过逆向工程获取网站API签名算法，使用固定密钥 HGXimfS2hcAeWbsCW19JQ7PDasYOgg1lY2UWUDVX8nNmwr6aSaFznnPzKrZ84VY1 和HMAC-SHA256算法生成请求签名，模拟合法请求。
- 动态请求头构造 ：根据不同API接口自动生成符合要求的请求头，包括时间戳、签名、Referer等关键参数，绕过网站的反爬虫检测。
- 数据解析策略 ：采用多字段匹配机制，从API响应中灵活提取标题、ID、时间等信息，支持嵌套数据结构和JSON字符串解析，确保在API返回格式变化时仍能正常工作。
- 模块化设计 ：将签名生成、请求头构造、数据解析等功能拆分为独立函数，通过 DhCrawler 类封装完整爬取流程，支持GET/POST请求和多种API接口。
- 浏览器模拟 ：使用 curl_cffi 库模拟Chrome浏览器请求，确保请求头和行为与真实用户一致，避免被网站识别为爬虫。