flume-canal-source flume 的 source 扩展_开源项目-程序员客栈

开源地址
https://github.com/lackhurt/flume-canal-source授权协议
Apache

相信很多人对阿里开源的caal和apacheflume都不陌生。

flume-caal-source是对flume的source扩展。从caal获取数据到flumechael。进而可以实现bilog数据到kafka/hdfs/hive/elasticsearch等等。

如何使用

部署caal、flume这里忽略。

配置flume

配置source类型*

aget.sources = caalSourceaget.sources.caalSource.type = com.weiboyi.etl.flume.source.caal.CaalSource

配置连接caal的三种方式*

caalzookeeperservers

aget.sources.caalSource.zkServers = zookeeper-host:2181

caalserverurls

aget.sources.caalSource.serverUrls = caal-server1:111111,caal-server2:111111

caalserverurls

aget.sources.caalSource.serverUrl = caal-server1:111111

配置caaldestiatio*

aget.sources.caalSource.destiatio = example

配置用户名密码

aget.sources.caalSource.userame = useraget.sources.caalSource.password = passwd

bilogbatchsize,default1024

aget.sources.caalSource.batchSize = 1024

是否需要MySQL修改前的数据,defaulttrue

aget.sources.caalSource.oldDataRequired = true

相信很多人对阿里开源的 canal 和 apache flume 都不陌生。 flume-canal-source 是对 flume 的 source 扩展。从 canal 获取数据到 flum...

声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP

实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

flume-canal-source flume 的 source 扩展开源项目