通用数据接入平台是一个可以接入多源异构数据到 kafka 的项目,实现了从本地文件,FTP,HDFS 等文件系统,mysql,oracle,postgresql 等关系型数据库,hbase 非关系型数据库以及 kafka 消息系统接入数据,在接入数据的同时实现了数据的校验,过滤以及数据的条数和大小的统计。
评论