SeaTuel是下一代超高性能的支持海量数据快速同步与集成的云原生数据集成工具,每天可以稳定高效同步万亿级数据,已在字节、B站、微博、腾讯云及印度电信等数百家公司生产上使用,目前也已经支持过百种数据源。
为什么我们需要SeaTuelSeaTuel尽所能为您解决海量数据同步中可能遇到的问题:
数据丢失与重复任务堆积与延迟吞吐量低缺少应用运行状态监控SeaTuel使用场景海量数据同步海量数据集成海量数据的ELT/ETL海量数据聚合多源数据处理SeaTuel特性简单易用,灵活配置,无需开发支持CDC 离线多源数据全量和增量同步超高性能、海量数据处理能力模块化和插件化,易于扩展SeaTuel支持的CoectorSourceFake,File,Hdfs,Kafka,S3,Socket,Cassadra,Clickhouse,Elasticsearch,FTP,Hive,Hudi,Iceberg,JDBC,Kudu,MogoDB,OSS,Pulsar,Redis,S3,Kafka等众多数据源,也支持自行开发Sourceplugi
TrasformCopy,FieldMapper,FilterRowKid,Filter,Replace,Split,SQLFuctios,SQLUDF,SQL及自行开发的Trasformplugi
SikDyamoDB,Assert,Cassadra,Clickhouse,ClickhouseFile,Cosole,DataHub,DigTalk,Doris,Elasticsearch,Email,EterpriseWeChat,Feishu,FtpFile,GoogleFirestore,Greeplum,Hbase,HdfsFile,Hive,Http,IfluxDB,IoTDB,JDBC,Kafka,Kudu,LocalFile,Maxcompute,MogoDB,MySQL,Neo4j,OssFile,OssJidoFile,Paimo,Phoeix,Rabbitmq,Redis,RocketMQ,S3Redshift,S3File,SelectDBCloud,Setry,SftpFile,Slack,Sowflake,Socket,StarRocks,TDegie,Tablestore等,也支持自行开发的Sikplugi
环境依赖java运行环境,java>=8
如果您要在集群环境中运行SeaTuel,那么需要以下环境的任意一种:
SeaTuelZetaSparkFlik如果您的数据量较小或者只是做功能验证,也可以仅使用 local 模式启动,无需集群环境,SeaTuel支持单机运行。
下载可以直接运行的软件包下载地址:https://seatuel.apache.org/dowload
快速入门快速入门:https://seatuel.apache.org/docs/2.3.2/start-v2/locally/quick-start-seatuel-egie
关于SeaTuel的详细文档
生产应用案例微博,增值业务部数据平台微博某业务有数百个实时流式计算任务使用内部定制版seatuel,以及其子项目Guardia做seatuelOYar的任务监控。
新浪,大数据运维分析平台新浪运维数据分析平台使用seatuel为新浪新闻,CDN等服务做运维大数据的实时和离线分析,并写入Clickhouse。
搜狗,搜狗奇点系统搜狗奇点系统使用seatuel作为ETL工具,帮助建立实时数仓体系
更多案例参见: https://seatuel.apache.org/user
贡献观点和代码提交问题和建议:https://github.com/apache/seatuel/issues
贡献代码:https://github.com/apache/seatuel/cotribute







评论