中科院某所大数据解决方案与实现

我要开发同款
勇敢的俍心2021年08月23日
384阅读

作品详情

带领6名大数据工程师参与到该项目中。已经设计与实现了以下需求:机房: 主要包括服务器规划、网络规划、网络安全; 服务器基础运维;大数据平台基础服务 基础存储与计算服务包括Hadoop(HDFS、Mapreduce、YARN),Hive,HBase,Spark等; 实现大数据组件 Spark、Hive 等可视化使用平台 ; 数据运维、监控、权限、安全等管理平台 ; 大数据任务调度系统; 元数据管理平台;数据仓库建设: 根据业务数据特征进行数据仓库建模; 设计数据仓库层级,以及层级间的数据处理与流动 实现数据主题,数据集市,方便应用层进行读取与分析数据分析: 在数据仓库支持基础数据分析; 支持自定义数据分析任务; 多任务调度,组件工作流; 承载大数据人工智能算法实施;数据接入: 实现自动化数据采集、数据清洗、数据同步等功能; 支持数据批量导入,HTTP接口导入,手动上传; 支持用户自定义的数据源、自定义清洗逻辑等;数据服务: 实现稳定的数据服务化、接口化; 赋能对外数据输出与共享;数据可视化: 实现数据可视化展示; 支持自定义图表; 支持在线交互式分析;交互式查询: 根据需求定制化OLAP查询引擎; 支持在线的,秒级响应的大数据量交互式数据查询; 支持复杂逻辑在线数据查询;在线数据开发: 设计与实现在线数据开发服务; 支持数据仓库数据接入; 支持在线执行代码逻辑,查看结果;
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论