FSO 数据中台 — 数据集成、仓储与告警一体化平台产品系统

我要开发同款
DSir2026年02月10日
13阅读

技术信息

语言技术
JavapostgresDockerRedisSpringCloud
系统类型
Web
行业分类
企业服务低代码

作品详情

行业场景

FSO 面向企业数据治理与运维场景,旨在解决多源数据统一接入、结构化存储与版本管理、以及任务与告警闭环缺失等问题。业务背景包括:各业务系统数据分散在 MySQL、PostgreSQL、Excel/CSV 等不同来源,缺乏统一的抽取、转换与加载能力;数据表结构变更频繁,需要可追溯的 Schema 版本与快照管理;ETL 与定时任务执行后缺少统一的告警与通知能力,运维可见性不足。FSO 通过 ETL 模块统一数据源与数据流、Vault 模块管理 Schema 与快照、Alert 模块编排告警与通知,形成「接入 — 存储 — 告警」的一体化数据中台,支撑企业数据集成与运维可观测性。

功能介绍

1.数据源与数据流(FSO-ETL):多类型数据源管理(MySQL、PostgreSQL、Oracle、Excel、CSV 等),数据流可视化配置与发布,支持手动执行与 XXL-Job 定时调度,元数据自动发现,文件解析与导入,并与告警中心联动推送任务执行结果。

2.数据仓库与版本管理(FSO-Vault):Schema 及 Schema Version 的创建、修改、版本控制与状态管理;Schema Version Snapshot 的创建、归档与清理;基于 DuckDB 的快照数据存储与分页查询,支持批量增删改;多租户隔离与定时清理无用快照。

3.告警与通知编排(FSO-Alert):告警任务(AT)与任务实例(ATI)的创建、执行与调度;策略(ATP)与渠道(ATA)、模板(ATT)、通知对象(ATO)的编排与绑定;静默防重(按任务+渠道+主键维度)、失败重试与指数退避;多租户隔离。

4.通用能力:多租户上下文、统一 API 与 Message 响应、Nacos 配置与注册、OpenAPI 文档等。

项目实现

1.职责:参与/负责 FSO 整体架构与多模块设计,包括 ETL 数据源与数据流、Vault 的 Schema/快照与 DuckDB 集成、Alert 的告警任务与静默重试等核心功能的设计与实现;公共层(fso-common、fso-infrastructure)的租户、工具类与基础设施抽象;各模块 REST API、定时任务与文档(用户向导)的编写与维护。

2.技术栈与架构:Java 17、Spring Boot 3.x、Spring Cloud、Nacos;MyBatis-Plus + PostgreSQL 业务库;DuckDB 列存做快照数据;XXL-Job 调度;Redis/Redisson 静默与锁;MapStruct、EasyExcel、OpenCSV 等;多模块 Maven 结构(acommon、domain、application、infrastructure、interface 下 fso-etl、fso-vault、fso-alert 等)。

3.亮点与难点:Schema 与快照的版本化模型设计及与 DuckDB 的衔接;ETL 数据流与多数据源类型的统一抽象与扩展;告警静默键设计与失败重试的定时扫描与退避策略;多租户在异步与线程池中的传递与隔离。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论