1.参与架构的设计;
2.负责位置分析、驾驶行为的部分开发;
3.通过sparkstreamming对行程数据进行划分;
4.使用storm程序请求逆地理接口并分区写到hdfs中;
5.通过azkaban调用离线任务,主要为hive和sparksql进行统计并将结果写入elasticsearch和mysql;
6.后期参与维护以及线上资源申请与评估;
7.保障了每天8600万左右数据量的处理,总的车辆数93万左右;
点击空白处退出提示
系统类型
web
1.参与架构的设计;
2.负责位置分析、驾驶行为的部分开发;
3.通过sparkstreamming对行程数据进行划分;
4.使用storm程序请求逆地理接口并分区写到hdfs中;
5.通过azkaban调用离线任务,主要为hive和sparksql进行统计并将结果写入elasticsearch和mysql;
6.后期参与维护以及线上资源申请与评估;
7.保障了每天8600万左右数据量的处理,总的车辆数93万左右;
评论