特征系统产品系统

我要开发同款
hxy2026年06月05日
5阅读

技术信息

语言技术
JavaKafkaNginxRedisVue
系统类型
LinuxWeb
行业分类
企业服务生活旅游

作品详情

行业场景

一、业务与行业场景
项目归属美团本地生活 O2O 业务,支撑外卖、到店、广告推荐、金融收银风控等场景。平台海量用户行为、订单、交易数据,算法依赖实时、准实时、离线多类型特征用于模型训练与线上推理,是搜广推与风控的底层数据基建。
二、立项背景与立项原因
业务快速扩张下,各业务线独立搭建特征服务,形成烟囱式架构:各团队重复开发采集、计算、查询服务,资源浪费;在线、离线特征分两套代码开发,数据口径不一致,出现样本漂移,模型上线效果不达预期;原有架构缺少实时特征能力,数据 T+1 更新,无法满足实时推荐、实时风控需求;零散服务性能薄弱,无法承接日益增长的并发请求;新增特征开发链路冗长,跨岗位协作繁琐,算法迭代效率低下。为此启动统一特征中台建设。
三、项目解决的产品问题
架构问题:搭建统一特征管理平台,整合 Flink 实时、Hive 离线、Doris 准实时三条计算链路,统一全业务特征存储与调用,破除业务烟囱,实现特征资源复用,减少重复研发投入。
数据一致性问题:采用流批一体方案,同一套计算逻辑产出线上服务数据与离线训练样本,彻底解决线上线下特征不一致问题,保障算法模型实验有效性。
研发效率问题:接入 QLExpress 规则引擎,特征配置化落地,算法可自主配置上线,省去后端重复编码,大幅缩短新特征投产周期。
性能瓶颈:优化查询架构,实现线上 QPS1.5w+、压测峰值 3w+,TPS1w+、压测峰值 2w+,满足推荐、广告、收银风控高并发查询,解决高峰期接口超时抖动故障。
时效性短板:落地实时特征上报能力,实现用户行为秒级生成特征,替代原有 T+1 更新模式,赋能实时个性化推荐、广告竞价、交易风控。
配套运维:统一特征全生命周期管控,完善监控体系,同时作为底层底座,支撑美团故障演练平台的稳定性建设。
四、落地效果
平台落地后,各业务接入与使用成本显著降低,特征研发效率提升,为平台

功能介绍

本特征系统作为统一特征中台,集成实时、准实时、离线全类型特征生命周期管控能力。支持实时特征数据上报、写入存储与在线高并发查询,依托 Flink 完成流式数据加工;基于 Doris 实现准实时特征高效存取,借助 Hive 承载海量离线特征计算、入库与检索。平台统一管理数据源、数据元、特征元数据,搭配 QLExpress 实现特征规则可视化配置,提供特征注册、版本管控、上下线管理、指标监控等能力。系统统一对外提供标准化调用接口,打破各业务烟囱化开发难题,支撑推荐、广告、风控等场景快速接入使用,有效缩短特征开发周期。

项目实现

主导特征系统建设:
1.系统设计与开发:主导完成系统架构设计及核心功能开发,成功实现对实时、离线及准实时特征数
据的统一管理。
2.高性能支撑:系统能够支撑高并发查询(线上QPS达1.5w+,压测峰值突破3w+;TPS达1w+,压
测峰值突破2w+),并具备实时特征上报、实时/标签特征查询、Hive离线特征查询及Doris准实时特
征查询等能力。
通过特征系统的建设,各业务方在特征数据接入与查询方面的成本得到显著降低,特征开发效率大幅
提升,为业务增长策略的实施提供了有力支撑。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论