项目名称：智网大数据平台(2018.07-2018.12)开发环境：SecurceCRT、Centos7.2主要技术：Shell、Jenkins项目介绍： 在大数据时代的环境下，公司需要有效利用多源、多结构数据，安全地进行数据加工和增值，建设公司自有数据能力并进行转化。因此公司对于大数据平台的数据生产（汇聚存储多源数据、自动化清洗与入库）、分析加工能力（公司经营分析报告、公司数据洞察报告）、数据安全（严格保证数据安全、多租户环境用户控制）和能力开放（多样化对外开放能力、平台能力模块化租赁）四个方面有极高的需求。职责描述： 1、编写shell脚本每天定时采集接口机数据并入库到Impala数据库中。接口机数据包括JPO、AMSP、廊坊。2、负责在线商店、TBOSS等结构化数据采集到Impala数据库中。3、编写shell脚本对AMSP数据进行数据清洗操作。4、编写shell脚本对接口机数据、入库后Impala表中的数据进行监控。5、通过Jenkins对服务器之间的脚本进行作业调度与监控。6、周期性检查每天的数据是否都入库，对于缺失的数据采取对应的措施。