随着企业数字化转型不断深入，业务系统、数据库、日志及文件等数据源持续增长，传统数据架构逐渐暴露出数据分散、存储与计算割裂、数据开发效率低、跨系统分析复杂及资源利用率不足等问题。不同业务系统的数据标准和组织方式存在差异，难以快速形成统一的数据服务能力，无法充分满足经营分析、业务决策、数据共享及智能化应用对数据时效性、准确性和灵活性的要求。
为解决上述问题，项目建设企业级湖仓一体数据平台，基于数据湖与数据仓库融合的架构理念，整合多源数据接入、统一存储、批量计算、交互式查询和数据服务能力，构建从原始数据到标准化数据、主题数据及应用数据的统一处理链路，降低数据开发与运维成本，提升数据处理效率和数据资产复用能力。
平台面向企业经营分析、跨系统数据查询、数据集成交换、数据资产管理及后续 AI 数据应用等场景，支持结构化数据的集中存储与分析，兼顾离线批处理、数据同步和交互式查询需求，为上层 BI 分析、业务数据服务及智能问数应用提供统一、稳定、可扩展的数据底座，推动企业数据平台从分散建设向统一架构、标准化服务和智能化应用演进。
功能介绍：湖仓一体平台核心模块
多源数据接入与集成：支持通过数据库连接、批量数据处理及 CDC 数据同步等方式接入业务数据，构建统一的数据采集与集成链路，满足多源异构数据汇聚需求。
湖仓统一存储：基于 Apache Iceberg 构建开放式湖仓存储层，结合 MinIO 对象存储实现数据持久化，利用表格式、快照和元数据机制支持数据版本管理、增量写入及高效数据访问。
分层数据管理：按照 ODS、DWD、DWS、ADS 等分层思路组织数据，支撑原始数据接入、明细数据加工、主题数据汇总及应用数据输出，提高数据复用性与开发规范性。
统一计算与查询：基于 Apache Spark 实现批量数据处理，基于 Trino 提供交互式 SQL 查询与跨数据源访问能力，满足离线数据加工、临时分析和应用查询等需求。
数据开发与任务调度：结合 SQL 开发及任务编排能力，支持数据加工任务的配置、执行、依赖管理和定时调度，形成可持续运行的数据处理流程。
元数据与数据资产管理：结合 Apache Hive Metastore、OpenMetadata 等组件，管理表结构、字段信息及相关数据资产元数据，为数据发现、资产检索和后续治理提供基础。
平台运维与资源管理：基于 Kubernetes 进行平台组件部署与运行管理，支持服务监控、任务运行状态跟踪、资源配置及故障排查，提升平台部署的一致性和运维效率。
平台通过统一存储、统一元数据管理与多引擎协同，形成面向上层数据分析和智能化应用的基础服务能力。
个人负责内容：
负责湖仓一体平台整体技术方案设计、核心组件选型及系统架构规划，梳理数据接入、存储、计算、查询和管理等环节的技术边界与协作关系。
负责基于 Apache Iceberg、MinIO、Hive Metastore 和 Trino 的湖仓存储与查询架构建设，规划数据分层、表结构管理及数据访问方式。
负责 Spark 数据处理环境及 SeaTunnel 数据集成能力的建设与优化，推进多源数据接入、数据同步和批量加工链路落地。
负责基于 Kubernetes、KubeSphere 的平台部署与运行维护，推进核心组件容器化部署、资源规划、配置管理、故障排查和运行稳定性优化。
负责数据开发、查询服务及元数据管理相关组件的集成，围绕数据访问效率、任务执行性能和平台可扩展性持续优化。
核心技术栈：
存储层：Apache Iceberg、MinIO、Apache Hive Metastore
计算与查询层：Apache Spark、Trino
数据集成：SeaTunnel
元数据管理：OpenMetadata
调度与运维：DolphinScheduler、Kubernetes、KubeSphere
平台开发与集成：Java、Spring Boot、Trino JDBC、SQL
项目亮点与技术难点：
湖仓架构融合：利用 Iceberg 开放表格式连接对象存储与多种计算引擎，降低存储与计算的耦合度。
多引擎协同：协调 Spark 批处理与 Trino 交互式查询的使用场景，兼顾数据加工能力和查询响应效率。
元数据与数据组织：通过分层建模、表结构管理及元数据整合，提高数据组织的规范性和可发现性。
平台工程化：基于 Kubernetes 统一管理核心组件，提升部署标准化程度、资源管理灵活性和运维效率。
性能与稳定性优化：针对大批量数据写入、查询执行、
评论