该项目是跟民航合作项目，接收的是实时飞机雷达数据和飞机航班信息，气象信息，预先飞行计 划报文等等，共计大约 20 于种数据每天的数据量大于一亿条，通过 SparkSteaming 跟前端页面的配置交 互（20 多种信息的处理方式都不一样而且会随着时间的推移有所改变，并且 sparkstreaming 任务不能中 断，所以通过前端页面的配置信息，然后 sparkStreaming 任务实时更新广播变量行相应的数据解析）完 成对实时数据进行解析->加工->融合->指标计算（以上都是实时处理并且延迟小于 1 秒）等一系列操作， 并且将雷达数据实时处理成航迹信息，延迟小于 500ms存储到 redis完成航信大厅的页面的实时飞机展示， 和存储到 hbase 中以便数据治理平台和其他系统的数据展示,将 hbase 中的数据定时清洗到 hdfs 中 parquet 格式使用 hive 进行关联，再使用 sparksql 进行数据分析，做出的数据报告存储到 MySQL 中，以便其他 子系统进行拉取。 担任角色: 大数据开发职责和成就:1. 参与产品前期大数据框架探讨，并且制定大数据框架方案。 2. 单独开发 sparkStreaming 实时任务，并且进行优化。 3. 解决 sparkstreaming 对接 kafka 偏移量问题（自定义 sparkstreaming 对接 kafka 偏移 量的读取和提交实现消费并且只消费一次） 4. 跟前端设计商定与 sparkstreaming 任务进行交互的模板。 5. 处理在 sparkstreaming 任务在不停止的情况下跟前端页面的信息交互，完成信息更新。 6. 制定 hbase 表和 rowkey,加盐，预分区等设计。 7. 对 hive 进行数仓设计（ds,dw，dws，dwd）8. 对海量数据进行离线 sparksql 分析产生数据报告。系统架构：kafka+SparkStreaming+Redis+kafka+hbase+hive+sparksql+mysql