IFA信息流分析系统

我要开发同款
果皮2022年03月03日
89阅读

作品详情

项目描述:IFA信息流分析系统是华为信息安全与共享部用于收集、整理和分析各个项目组相 关日志而开发的一个大数据平台 ,提供数据入库到展示的全流程数据处理能力,完成数据接 入、标注、分析建模、模型调度、计算及数据结果展示等一系列服务。 主要分为IFA流水线、模型管理、定时调度、服务治理、文档画像、代码分级、资产画像等模 块; IFA流水线通过实现各个入库组件的可视化管理,提供一套完善的数据接入流程,实现从日志 文件到hive表的自动化实现; 模型管理提供hive表的可视化HSql查询以及模型结果同步至mysql,最后通过power bi进行 可视化处理; 定时调度后台使用Qutaz实现,通过页面填写定时规则及任务,主要管理模型的日常执行及相 关接口的日常调用;服务治理选用spring cloud框架,主要使用了Eureka、Zuul、Ribbon、Hystrix组件,实现 各服务之间的统一管理、调用量统计及调用日志记录; 文档画像、代码分级和资产画像分别对文档文件、代码文件和关键资产进行智能分析、传输 管控、实时预警和KIA资产持有可视化。使用mysql、redis、neo4j和hive数据库,对海量数 据进行智能分析和处理。 个人业绩:负责大数据平台入库线管组件的预研搭建和日常维护,代码分级业务,IFA系统架 构升级等;
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论