反欺诈数据日志治理产品系统

担任金融信贷部门风控数据开发工作,参与建设金融产品风控数据仓库及搭建风控数据指标体系

持续迭代优化数据仓库架构，标准化分层建模与公共中间层口径，大幅提升模型、脚本复用效率，同步清理冗余冷数据、精简重复存储，有效缩减存储资源占用；深度梳理全链路 SQL 执行逻辑，剔除低效关联、冗余计算与全表扫描语句，优化索引与分区策略，显著降低离线、实时任务的算力与内存资源消耗，整体提升数据调度运行效率。

(1) 监控数仓任务(1000+任务量)资源消耗以及日增存储资源;对异常任务定期排查优化
(2) 分析用户使用场景以及跟进业务变化,丰富数仓主题以及数据体系,保证数据一致性&全面性
(3) 数仓统一使用 orc+zstd 压缩格式,节省资源存储(较 orc+snappy 低 30%)
(4) 配置敏感数据的加密规则,监控敏感数据的使用情况,保证数据安全性
(5) 配置任务级别 SLA,保证任务调度合理且及时产出数据