物流大数据

### 概述

运用互联网、大数据、AI技术（尚未引入，我离职时正在招聘机器学习工程师）构建信息化的物流平台，连接物流、仓库、人、车、物等所有管理对象，从而降低运营成本。

### 实现

数据处理：

- 实时
- 根据“数据操作类型”清洗数据并保存到Redis。
- 异步关联维度表以生成宽表并保存到Kafka。
- 风控：生成风控数据并保存到redis。
- 大屏：生成大屏数据并保存到mysql。
- 使用flinksql三流join并保存到mysql。
- 离线
- 使用sqoop编写shell脚本从mysql导入数据到hive。
- 一层表沉淀。
- 二层表沉淀。
- 指标计算。
- 离线指标计算。
- 风控。

数据展示：先用MyBatis映射Java接口和数据库，再用SpringMVC接口生成JSON数据。

### 个人职责

参与Flink实时编码。

参与Hive和MySQL离线编码。

参与Sqoop脚本编写。

协助前端人员测试数据接口。

对接数据分析师。

对接产品经理。

对接后端人员。

协助测试人员。

参与会议。

杂项任务：迁移数据库、校验数据。