OmniStateStore_系统开发案例-程序员客栈

技术信息

语言技术
C++、Java系统类型
Windows、MacOS、Linux行业分类
企业服务、云计算开源地址
https://gitcode.com/openeuler/OmniStateStore授权协议
Non-Commercial Use

作品详情

行业场景

OmniStateStore 适用于金融、电商、电信及物联网等行业的大规模实时计算场景，例如金融交易风控、电商实时推荐与用户行为分析、电信网络监测、物联网设备数据处理等。对于需要持续维护大量计算状态的 Flink 作业，它可提升状态数据访问效率，加快作业恢复，支持低时延、高吞吐的业务需求。

功能介绍

OmniStateStore 是面向 Apache Flink 的高性能状态存储引擎，适用于大规模实时数据处理场景。它采用磁盘存储与内存缓存相结合的架构，通过哈希索引、状态数据分片和文件存储结构优化，提升状态数据的读写效率，缓解磁盘 I/O 瓶颈。同时，它支持状态数据懒加载，可加快作业启动及并行度调整时的状态恢复。OmniStateStore 基于 Flink 标准状态后端接口实现，无需修改 Flink 核心代码，即可通过插件方式接入。

项目实现

我是核心设计与开发。
项目基于 Apache Flink 标准状态后端接口实现，通过插件方式接入现有计算框架。整体采用以磁盘为主要存储、内存作为缓存的架构，核心由 FreshTable、SliceTable 和 LsmStore 三个模块组成。FreshTable 利用紧凑的哈希索引结构提升状态数据访问效率；SliceTable 对状态数据进行哈希分片，优化数据组织与查询；LsmStore 通过改进文件存储结构，提高大规模状态数据的磁盘读写性能。同时，项目引入状态数据懒加载机制，减少作业启动及并行度调整时集中加载数据的开销，加快状态恢复，并通过构建脚本完成编译、打包和部署。