实时特征引擎与特征管理平台产品系统

我要开发同款
Francisco73242026年10月29日
2阅读

技术信息

语言技术
Java、Python、Kafka、Flask、Redis
系统类型
Web、算法模型
行业分类
人工智能、金融

作品详情

行业场景

信贷风控的模型、评分卡和拒绝规则都依赖大量用户特征。原来特征散落在各个服务里,定义、取值分布和血缘都要找开发查,特征上线没有审批和审计,实时计算慢、上游字段为空时还会让计算器崩溃。项目目标是建设统一的特征计算引擎和特征管理平台,为决策引擎提供稳定、高性能、可追溯的特征。(在职期间负责的公司内部系统)

功能介绍

1、实时特征计算:每个用户 3000+ 特征实时计算,接入多数据源与动态线程池,支持实时、离线(T+1)和离线+实时组合三种模式。2、Python 计算框架:用树形配置文件定义数据接口和调度关系,方便机器学习同学自助开发和自测特征。3、特征管理平台:特征目录(37 个字段的契约 API)、草稿/待审/驳回/停用观察状态机、版本回滚、操作审计、特征血缘接口。4、日内监控:Kafka→Redis→MySQL,耗时分桶统计和 HyperLogLog 去重率。5、数据引擎:运营商、三方交易、Open Banking 银行数据授权与征信报告解析,为模型提供数据。

项目实现

我负责服务搭建、核心模块开发和持续迭代,也是风控管理平台后端的主要作者。技术栈 Java 17、Spring Boot、Kafka、Redis、MySQL、MongoDB,以及 Python 自研计算框架。难点与解法:上游字段为空导致 5 个特征计算器崩溃、决策超时每天上百条——在取数服务层回查补齐空字段(不动特征库、不额外发版),按手机号并发取数,超时从 120s/300s 压到 10s,加 15 分钟错误阈值告警,相关异常日志从峰值每天 6800+ 降到约 300。平台上线后对齐了 2660 条特征元数据。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论