舆情系统为公司自主开发的系统，主要通过oracle全文索引对旅馆、*、招聘网站数据进行分类、聚类、主题监测、专题聚焦，以满足公安部门对网络舆情监测、热点事件专题追踪、人物画像等需求。本人主要负责hadoop平台的部署，通过sqoop实现将客户oracle中的数据同步到hive，hive udaf函数开发，通过hive udaf 函数实现聚合函数的逻辑。shell脚本开发，通过shell脚本和crontab实现增量数据的同步。oracle函数开发，根据指定规则，通过oracle函数对数据进行清洗。

本系统主要为深圳市政法委、公检法各业务部门之间提供流程一体化管理，为各部门之间共享信息的查询、统计分析，以及数据挖掘、报表展现提供支持。本人主要负责ibm cdc表映射配置，,通过ibm cdc将业务数据同步到ODS层，DW层数据建模以及etl数据抽取方案的设计开发和实施，shell脚本开发，通过shell脚本实现对dsjob的控制，job启动监控以及日志监控。

该项目主要是将榜尚优品APP、小程序、H5的埋点数据通过flume同步到阿里云emr，通过shell脚本定时执行sql，将数据加工生成报表，通过superset进行报表数据展示