本项目植根于政府公共资源交易监管与市场化服务的交叉领域。其核心背景在于，随着国家“互联网+政务”和公共资源交易全流程电子化的深入推进，福建省各级交易平台每日产生海量的招标投标、政府采购、产权交易等信息。这些信息虽然公开，但散落在全省多个子平台，格式不一、检索不便，形成了严重的“信息碎片化”问题。这导致了多方痛点：监管机构难以宏观把握市场动态、系统性发现违规线索；投标企业（尤其是中小企业）需要耗费大量人力物力手动搜集商机，容易遗漏关键信息且决策滞后；研究机构也缺乏结构化的数据以进行政策分析与市场研究。因此，本项目的立项旨在破解这种信息不对称与数据孤岛现状，通过技术手段整合、挖掘与赋能这些高价值的公共数据，服务于阳光交易、高效监管、公平竞争和科学研究等多重目标。
本项目的核心功能是构建一个自动化、智能化的信息汇聚与分析系统。首先，系统具备强大的多源采集能力，能够自动适配福建省内不同地市交易平台的页面结构，实时、增量地抓取各类交易公告、变更信息、中标结果等关键数据。抓取后的信息会经过深度清洗与解析，将非结构化的网页内容转化为标准化的结构化数据，如项目名称、预算金额、发布时间、采购单位、资质要求等，并存入统一数据库。基于这个数据基础，系统提供多维度的高级检索与订阅功能，用户可以通过复杂条件组合精准查找目标项目，并能设置个性化预警，系统会在有新项目匹配时主动推送。更进一步，系统还集成了深度分析模块，能够对海量数据进行统计挖掘，例如分析招标趋势、区域市场热度、行业分布、采购人行为模式以及供应商竞争格局，并以可视化图表直观呈现。此外，系统还包含后台管理界面，用于监控爬虫状态、配置采集规则、管理用户权限，并为有需要的第三方提供标准化的数据API接口，支持灵活的数据导出与集成应用，最终形成一个从数据采集、处理、存储到分析应用的全链条解决方案。
加密参数生成模块说明
本模块的核心任务是逆向分析平台前端的加密逻辑并在Python环境中准确复现，以生成服务器可识别的合法请求参数。具体流程为：首先通过浏览器开发者工具追踪真实数据请求，定位关键加密参数（如portal-sign）。经分析，该签名采用MD5算法，将固定字符串ra、包含查询条件的type_1和基于时间戳的ts_1进行拼接后计算得出。需使用hashlib库或execjs调用JavaScript代码严格模拟此过程，确保生成的密文与前端完全一致。重点在于准确复现字符串拼接顺序、编码方式和MD5计算细节。
网络请求与加密响应获取模块说明
本模块负责构建并发送HTTP请求以获取服务器响应。首先调用加密模块生成签名，将其置于请求头portal-sign中。同时构造包含分页、时间范围等查询条件的JSON请求体。使用requests.Session()维持会话状态，设置完整的请求头（包括User-Agent、Referer、Content-Type等）以模拟浏览器行为。向确定的API地址发送POST请求后，验证HTTP状态码，并从响应中提取Data字段。该字段内容为经过AES加密的密文字符串，需传递给下一模块进行解密处理。
响应数据解密与解析模块说明
本模块对加密响应进行解密并解析为结构化数据。经逆向分析，平台使用AES-CBC模式进行加密，采用Pkcs7填充方式，并具有固定的密钥和初始向量。解密时需先对密文进行Base64解码，然后使用pycryptodome或execjs调用crypto-js库，以正确的密钥、IV和参数配置执行AES解密操作。解密输出为JSON格式的明文字符串，经json.loads()解析后，即可从中提取项目名称、预算金额、发布时间、采购单位等目标字段，完成最终的数据获取。
评论