技术栈:Spring、Mysql、Redis、Hbase
项目描述:集分布式架构、数据治理和服务模型为一体,对互联网金融信息进行自动采集、抽取和分析得到高价值的金融信息,提供大屏化的数据分析展示、预警监测和风险传导等功能,实现一套完整的金融信息服务系统。
点击空白处退出提示
技术栈:Spring、Mysql、Redis、Hbase
项目描述:集分布式架构、数据治理和服务模型为一体,对互联网金融信息进行自动采集、抽取和分析得到高价值的金融信息,提供大屏化的数据分析展示、预警监测和风险传导等功能,实现一套完整的金融信息服务系统。
兴业金融舆情系统是一个面向金融领域的数据采集、分析与预测平台,主要用于对金融新闻、行业资讯、舆情信息和相关业务数据进行集中管理与智能分析。系统通过大数据处理技术实现多源金融数据的采集、清洗和存储,并结合数据库同步机制保证业务数据的一致性与实时性。同时,对系统查询、接口响应和数据处理流程进行性能优化,提高平台在大规模数据场景下的稳定性和处理效率。系统还引入深度学习模型,对金融舆情趋势、风险变化和热点信息进行预测分析,为金融业务监测和风险预警提供辅助决策支持。
1. 使用 MySQL 主从复制的方式确保数据不丢失;按照时间分表存储近100GB的金融数据。
2. 使用 Logstash 实现Mysql 与Elasticsearch 之间的增量同步,实现数据同步。使用Springboot+Vue 实现对金融信息的多字段快速检索功能。
3. 使用Redis 作为核心业务的高速缓存,使用kafka 作为,实现爬虫系统和数据处理系统的异步、解耦作用。
4. 对接深度学习模型进行数据处理与分析,封装结果传输给前端作数据大屏以及数据增量的心跳展示



评论