舆情系统

舆情系统为公司自主开发的系统，主要通过oracle全文索引对旅馆、QQ、招聘网站数据进行分类、聚类、主题监测、专题聚焦，以满足公安部门对网络舆情监测、热点事件专题追踪、人物画像等需求。本人主要负责hadoop平台的部署，通过sqoop实现将客户oracle中的数据同步到hive，hive udaf函数开发，通过hive udaf 函数实现聚合函数的逻辑。shell脚本开发，通过shell脚本和crontab实现增量数据的同步。oracle函数开发，根据指定规则，通过oracle函数对数据进行清洗。