项目描述：根据采购数据、销售数据、物流数据、资金数据、员工数据等数据源，针对风险场景，构建风险规则集，通过spark和hive任务，对风险点进行监控，并且及时消息告知业务。现有已经完成模型4个，监控项120个，每年为公司挽回上千万利润。项目职责：流程方案的分析讨论和设计；Hive和Spark任务，持续监控规则开发和维护；通过GraphFrame，实现物流人员模型；通过聚类、编辑距离、N-Gram、TF-IDF等算法，实现相似地址模型的开发；完成价格预警、大单预警，消息告警通知；JAVA工具类的开发，spark代码的开发，GIT工程代码的维护管理；Hive、MySQL、ES之间的数据迁移任务的开发，并且实现了代码的统一化管理。