将数据通过Flume 接入到HDFS 集群,通过hivesql 进行数据脏数据过滤和去重,使用Python 对国省
市区、姓名、电话标准化,然后调地址服务和电话库进行地址治理和电话解密,最后使用hivesql 做
用户画像和图谱,将Hive 表写入图数据库,运用Scala 入ES 和Oracle。
责任描述:
1、flume 数据接入和数据分析;
2、使用python 进行电话解密,编写用户画像;
3、使用Scala 将数据写入ES 进行运单分析;
4、使用Scala 将中标数据写入Oracle 进行实时预警分析。
点击空白处退出提示
评论