全市场投管人收益表数据获取方案简介1. 方案目标与解决问题本方案主要面向**保险股份有限公司，旨在解决其在获取外部网站数据时遇到的效率低下和数据处理困难等问题 。具体来说，该方案自动化了从多个外部网站获取“年金基金投资管理”相关数据并将其写入指定Excel表格“全市场投管人收益表”的过程 。这大大减少了人工操作的耗时，将原本可能需要人工耗时数月的工作，通过技术方案将时间控制在可管理的范围内。2. 方案特点与优势相比于市场上的常规方案，本方案的独特之处在于其采用RPA+Python的混合技术方案，并兼顾了效率、成本和技术可行性。RPA+Python混合方案：传统的RPA方案（方案1）在识别合并单元格时会出现数据错乱的问题，而纯Python方案（方案3）则需要熟悉复杂的数据分析和网页获取技术，且未用到RPA和IDP 。本方案将RPA（机器人流程自动化）和Python语言相结合，利用RPA处理网页访问、标题链接打开等操作，然后由Python读取RPA处理后的数据进行复杂的表格数据获取和联表查询，最后再将Python代码作为插件导入RPA中进行整体流程的调试和测试 。高效性与高投入产出比：该混合方案避免了纯RPA方案中因处理页面元素耗时过长导致效率低下的问题，也规避了纯Python方案的技术难度 。例如，在获取80个网站数据的情况下，纯RPA方案预计需要240天左右，而本方案在确保数据准确性的同时，预计总用时仅为110天，大幅提高了效率 。自动化录屏：流程运行后，方案能够自动生成录屏文件，便于客户直观地了解和验证流程运行情况，并能将生成的数据文件直接发送给客户 。3. 方案技术组成该方案主要由以下技术组件构成：RPA：用于自动化网页操作，例如访问指定网站、打开符合规则的标题链接等.Python：用于处理复杂的数据操作，包括读取RPA处理的数据、访问链接、获取表格数据、联表查询，以及将处理后的数据写入Excel文件.配置文件：用于存放需要打开的网站标题、链接和规则等信息，以便于管理和维护.