项目情况:该项目分为四个部分:数据转换、数据管道、数据分析、系统展示。数据转换将数据转成项目需要的格式并存储到系统存储内。数据管道用于数据从A流动到B。数据分析用于数据的计算和统计。系统展示用于给终端用户提供显示和交互页面。
负责部分:我负责数据转换、数据分析和系统展示。使用以Spring Cloud技术栈为核心的Java开发语言。基于Kafka、Redis、MongoDB、MySQL构建数据转换、数据管道和系统展示功能。
难点:难点是缩短从原始数据到系统展示之间的处理时间。基于两个考虑点缩短时间:一是在数据转换时采用并发策略,需要根据实际软硬件情况调整并发度;一是数据分析延迟满足,即将数据入库之后再做数据计算,这样系统展示可以先展示数据,而不需要等待数据分析完全完成之后再显示。
说明:因为项目有保密要求,所以图片是网站找的类似图片。