Faust Python 流处理开源项目

我要开发同款
naughty2019年08月30日
234阅读

技术信息

开源地址
https://github.com/robinhood/faust/
授权协议
BSD

作品详情

Faust是一个流处理库,将想法从KafkaStreams移植到Pytho。

它在Robihood用于构建高性能的分布式系统和实时数据管道,每天处理数十亿个事件。

Faust提供流处理和事件处理,与KafkaStreams,ApacheSpark/Storm/Samza/Flik等工具共享相似性,

它不使用DSL,它只是Pytho!这意味着您可以在流处理时使用所有您喜欢的Pytho库:NumPy,PyTorch,Padas,NLTK,Djago,Flask,SQLAlchemy,++

Faust需要Pytho3.6或更高版本才能使用新的asyc/await语法和变量类型注释。

特性:

简单易使用高度可用快速灵活性

以下是处理传入订单流的示例:

#PythoStreams٩(◕‿◕)۶#Foreverscalableevetprocessig&i-memorydurableK/Vstore;#w/asycio&statictypig.importfaustapp=faust.App('myapp',broker='kafka://localhost')#Modelsdescribehowmessagesareserialized:#{"accout_id":"3fae-...",amout":3}classOrder(faust.Record):accout_id:stramout:it@app.aget(value_type=Order)asycdeforder(orders):asycfororderiorders:#processifiitestreamoforders.prit(f'Orderfor{order.accout_id}:{order.amout}')

 

功能介绍

Faust 是一个流处理库,将想法从 Kafka Streams 移植到 Python。 它在 Robinhood 用于构建高性能的分布式系统和实时数据管道,每天处理数十亿个事件。 Faust ...

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论