将数据通过Flume 接入到HDFS 集群，通过hivesql 进行数据脏数据过滤和去重，使用Python 对国省市区、姓名、电话标准化，然后调地址服务和电话库进行地址治理和电话解密，最后使用hivesql 做用户画像和图谱，将Hive 表写入图数据库，运用Scala 入ES 和Oracle。责任描述：1、flume 数据接入和数据分析；2、使用python 进行电话解密，编写用户画像；3、使用Scala 将数据写入ES 进行运单分析；4、使用Scala 将中标数据写入Oracle 进行实时预警分析。