通用数据引擎产品系统

我要开发同款
楚韵码客2026年04月15日
7阅读

技术信息

语言技术
Java
系统类型
Web
行业分类
金融企业服务

作品详情

行业场景

行业背景
面向行业公司业务复杂业务系统多、迭代快、玩法多变,业务系统需支撑结算、总账、分析、认款、报表等全链路诸多业务场景,同时满足审计、法务、税务合规与数据可追溯要求。
2. 核心痛点
业务推送报账数据不专业、不准确、不及时,影响财务结账与数据质量
业务系统变更频繁,需频繁适配财务,拖累业务迭代
多系统重复拉取业务数据,数据冗余、口径不一
月结周期紧,财务难以快速响应新业务场景需求
业财数据无统一加工出口,对账、稽核、监控依赖人工
3. 项目价值
打造可配置化业财数据中枢,支撑财务快速响应业务与管理层数据需求
降低财务研发工作量,配置化替代代码开发,支撑业务高速迭代
实现业财对账、会计指标监控、现金流稽核,保障合规风控
数据可追溯、可视化、可治理,支撑业务异常分析与经营决策

功能介绍

1. 多源数据接入(配置化)
支持:binlog、Kafka、VMBS、FTP/SFTP、HTTP、业务库、大数据库
能力:数据源配置、元数据自动同步、自动建表、结构校验、数据对账
目标:零代码 / 低代码接入,提升数据接入效率
2. 主数据与基础管理
主数据:组织、币种、会计科目、结算费项、现金流量项目、指标、自定义档案
能力:增删改查、导入导出、自动同步、统一编码与口径
3. 转换引擎(核心)
转换时点规则、影响因素定义、单据转换模板配置
支持TIDB/Spark/JAVA三引擎,适配实时 / 离线 / 个性化场景
公式编辑器:数学 / 字符串 / 逻辑运算、跨表取值、自定义函数
规则校验、复核、审批、模板复用与母版管理
4. 任务调度与批量作业
任务类型:实时 / 分钟 / 小时 / 日 / 月
依赖配置、执行引擎、调度参数、自动接入公司 Medis 调度
任务可重跑、可作废、可冲销、可监控慢 SQL
5. 结果数据与可视化
统一页面查询、下载、补录、编辑、作废
结果数据全链路追溯到来源单据与业务原始数据
自定义列、筛选条件、展示顺序
6. 数据交互与输出
主动推送:FTP/SFTP/HTTP,支持文本 / 标准 JSON / 自定义 JSON
被动查询:HTTP 接口对外提供数据查询
推送日志、异常监控、数据安全与范围控制
7. 运营监控与对账
数据治理、异常告警、消息推送、运营可视化
业业核对、业财核对、平台内加工对账,差异处理

项目实现

1. 技术栈
后端:Java 8、Spring Boot、Spring Cloud微服务
前端:Vue、H5、Element Plus
数据库:MySQL 8.0.32(功能库)、TiDB(业务数据)、Hive/Spark(数仓)
中间件:Redis、Kafka、VMBS 消息总线、Medis 调度、Eureka 注册中心、Config 配置中心、KMS 加密、Sentinel 限流
核心组件:QLExpress 表达式引擎、Velocity 模板引擎、Hutool 工具集、JSQLParser
2. 架构设计
应用分层:Web 操作层、批量任务服务、数据消费服务、引擎核心层
数据分层:来源表 src_、过程表 convert_、结果表 dest_
存储策略:功能数据 MySQL 永久保存;业务数据 TiDB 冷热分层,超量入数仓
高可用:服务无状态、横向扩展、功能库 / 业务库分离、集群部署
3. 项目功能
参与业财数据引擎需求分析与方案设计,梳理业财转换规则
负责数据接入、转换引擎、任务管理模块后端开发
实现多数据源适配(binlog/Kafka/ 文件)、元数据同步、自动建表逻辑
开发规则引擎、模板配置、公式解析,支持 TIDB/Spark/JAVA 多引擎路由
对接 Medis 调度、Passport 权限、KMS 加密、监控告警等公司基础设施
负责数据对账、异常监控、任务重跑 / 冲销等容错与稳定性保障
参与性能优化:索引治理、慢 SQL 优化、大批次数据处理、存储分层
我的职责:
项目技术负责人,总架构师和核心代码开发

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论