智网大数据平台(2018.07-2018.12)

项目名称：智网大数据平台(2018.07-2018.12)
开发环境：SecurceCRT、Centos7.2
主要技术：Shell、Jenkins
项目介绍：
在大数据时代的环境下，公司需要有效利用多源、多结构数据，安全地进行数据加工和增值，建设公司自有数据能力并进行转化。因此公司对于大数据平台的数据生产（汇聚存储多源数据、自动化清洗与入库）、分析加工能力（公司经营分析报告、公司数据洞察报告）、数据安全（严格保证数据安全、多租户环境用户控制）和能力开放（多样化对外开放能力、平台能力模块化租赁）四个方面有极高的需求。
职责描述：
1、编写shell脚本每天定时采集接口机数据并入库到Impala数据库中。接口机数据包括JPO、AMSP、廊坊。
2、负责在线商店、TBOSS等结构化数据采集到Impala数据库中。
3、编写shell脚本对AMSP数据进行数据清洗操作。
4、编写shell脚本对接口机数据、入库后Impala表中的数据进行监控。
5、通过Jenkins对服务器之间的脚本进行作业调度与监控。
6、周期性检查每天的数据是否都入库，对于缺失的数据采取对应的措施。