1. 立项原因与待解决产品问题
本项目针对金融银行数据业务痛点立项，传统模式依靠人工跨网站搜集金融数据，存在数据更新滞后、人工汇总效率低、金融数值处理易出错等问题；同时现有工具无法完成「数据采集 - 清洗存储 - 智能分析」一体化流程，衍生出海量数据加载卡顿、跨系统数据传输不稳定、AI 智能体分析单次耗时超 10 分钟、同步阻塞请求无解决方案、多用户并发访问系统卡顿等一系列产品缺陷。
2. 行业业务背景
金融行业从业者需要持续获取全网公开银行指标、行业资讯数据用于业务研判，市面现有工具仅支持单一爬虫或单独 AI 分析，缺少全链路整合平台。业务端迫切需要一套自动化定时抓取、高性能数据可视化、异步 AI 智能解析、支持高并发访问的一体化数据系统，实现银行数据全自动归集、高精度处理与智能化分析，大幅降低人工运营成本，提升金融数据处理效率与数据精准度。
项目分为四大独立核心功能模块，完整覆盖数据采集、后端处理、前端交互、AI 智能分析全业务链路：
Python 定时爬虫采集模块
支持自定义多网站爬取规则，依托定时调度任务自动运行爬虫程序，批量抓取全网银行原始数据，完成基础去重、格式标准化预处理后存入数据库；
ASP.NET Core WebAPI 后端服务模块
提供标准化数据查询、金融数据高精度清洗运算、定时爬虫任务调度、AI 智能分析任务分发、跨系统数据中转接口，同时实现接口限流、权限校验、并发请求管控能力；
Vue 前端可视化交互模块
负责海量数据分页懒加载展示、多维度条件筛选、数据图表可视化，用户提交 AI 分析指令，实时接收后端推送的 AI 运算结果，支持分析报告导出；
Python AI 智能体分析模块
接收后端转发的筛选后结构化银行数据，执行多维度金融数据深度智能研判，生成标准化分析结论回传给后端服务。
1. 本人负责的全部工作内容
全权承担后端整套体系落地开发与部署工作：
① 搭建整套部署环境：Docker 容器打包、Nginx 反向代理 / 负载均衡配置、MySQL 数据库表结构、索引、存储架构全流程设计；
② 后端业务开发：独立编写全部ASP.NET Core WebAPI 接口业务代码；
③ 爬虫与调度开发：完成 Python 爬虫程序编码、定时任务调度系统开发；
④ 消息队列开发：基于 RabbitMQ 搭建异步通信队列，开发消息生产、消费、死信重试全套逻辑；
⑤ 金融数据专项处理：针对银行业务数据定制高精度校验、清洗、数值运算逻辑，解决金融数据计算偏差问题；
2. 项目技术栈、架构、实现亮点与难点
技术栈组合
前端：Vue；后端：ASP.NET Core WebAPI；采集 & AI 服务：Python；消息中间件：RabbitMQ；数据库：MySQL；部署运维：Docker + Nginx
系统架构
采用前后端分离架构，后端作为中间枢纽，分别对接前端、Python 爬虫服务、Python AI 智能体分析服务。
因 AI 智能体完整分析流程耗时普遍 10 分钟以上，无法采用同步 HTTP 调用，项目引入 RabbitMQ 消息队列做异步解耦通信：用户发起 AI 分析请求后后端立刻返回受理成功，同时向 RabbitMQ 投递分析任务消息；Python AI 服务作为消费者持续监听队列，拉取数据执行长周期运算，完成后再通过队列回调通知后端推送结果至前端，彻底规避前端长时间阻塞等待。
核心难点与优化亮点
海量数据优化：后端设计分页查询、缓存机制、数据库复合索引，配合前端懒加载，解决大批量银行数据展示卡顿问题；
超长耗时 AI 智能体分析通信方案（RabbitMQ 落地优化）
AI 分析任务执行时常超过 10 分钟，同步调用极易
评论