企业级异构数据库日志解析与同步系统产品系统

本项目旨在解决大型企业在异构数据库（如 Oracle 与 MySQL）之间进行高并发数据迁移、容灾备份与多活架构建设时，传统基于触发器或 SQL 轮询的同步方案对业务源端产生严重性能损耗的痛点。随着信创产业的推进，政企客户面临海量核心数据平滑迁移的刚性需求。本立项旨在打破异构数据库间的底层壁垒，通过无侵入式的日志抓取与解析机制，解决跨平台数据实时流转过程中的高延迟、丢包及事务一致性问题，提供一套金融级的高可用数据同步基础设施。

本项目是一个完整的异构数据实时同步基础设施，核心功能模块主要包括：
日志捕获模块：实时监听并无侵入地读取源端数据库（如 Oracle Redo Log / MySQL Binlog）的底层物理或逻辑日志文件，捕获所有增量变更操作。
数据解析与转换引擎：将异构的底层二进制日志流解析为统一的内部中间格式，并完成不同数据库之间的数据类型映射（如字符集、高精度数字转换等）。
事务重组模块：在内存中对碎片化的日志进行事务级别的重组，确保事务的完整性（ACID），支持基于表名的灵活过滤规则。
并发回放写入模块：目标端采用多线程并发写入策略，保证数据的严格保序与极致的时效性，支持断点续传机制，确保极端网络环境下的数据最终一致性。

在本项目中，我作为核心研发工程师，主要负责底层日志解析引擎与高并发回放模块的设计与开发。
技术栈与架构： 采用纯 C 语言作为核心开发语言，基于 Linux/Windows 跨平台系统 API，底层深度介入多线程（Pthreads）调度与内存管理。
实现难点一（内存管控）： 针对海量日志流解析带来的高频内存分配问题，为了防止内存碎片和 OOM（内存溢出），自主实现了高性能的内存池机制，大幅降低了系统的 CPU 负载。
实现难点二（并发保序）： 在数据回放模块中，难点在于如何在提升多线程并发写入吞吐量的同时，严格保证源端事务的先后依赖顺序以避免死锁。通过设计高效的并发调度算法，成功实现了数据的并行保序回放，将大规模数据同步延迟严格控制在毫秒级别。