Gobblin 是 Hadoop 通用数据摄取框架，可以从各种数据源中提取，转换和加载海量数据。比如：数据库，rest APIs，filers，等等。Gobblin 处理日常规划任务需要所有数据...

华为2015年7月20日在O'Reilly Open Source Convention (OSCON) 上宣布Spark SQL on HBase package正式开源。Spark SQL ...

Ibis 是一个新的 Python 数据分析框架，目标是让数据科学家和数据工程师们处理大型数据时，能够像处理小中型数据一样的高效。为了实现这个目标，我们将启用 Python 来作为 Apache...

hive-dwrf 是作为 Apache Hive 项目一部分的 ORC 文件格式的分支。

hblog 是一个日志集群分析器。支持的体制格式有：Syslog、 Log4j、Java GC log。 具有以下功能： Remote access to logs via a single C...

Mincemeat-node 是使用Node.js实现的极简MapReduce框架，可以快速的部署投入工作，免去Hadoop繁琐的配置，享受随心大数据。 Mincemeatpy实现的是一种非常简...

hive让大数据飞了起来，不再需要专人写MR。平常我们都可以用基于thrift的任意语言来调用hive。 不过爱恨各半，hive的thrift不稳定也是出了名的。很容易就出问题，让人无计可施。唯...

来自 Mozilla 的 Heka 是一个用来收集和整理来自多个不同源的数据的工具，通过对数据进行收集和整理后发送结果报告到不同的目标用于进一步分析。

Spring XD 是一个统一的，分布式，可扩展的系统用于数据摄取，实时分析，批量处理和数据导出。该项目的目标是简化大数据应用的开发。

SeaTunnel 是下一代超高性能的支持海量数据快速同步与集成的云原生数据集成工具，每天可以稳定高效同步万亿级数据，已在字节、B站、微博、腾讯云及印度电信等数百家公司生产上使用，目前也已经支持...

Flink Remote Shuffle 是一种批场景下利用外部服务完成任务间数据交换的 Shuffle 实现，本文后续将详细介绍 Flink Remote Shuffle 研发的背景，以及 F...

Gamestonk Terminal 是一个股票和加密市场的投资研究终端，为投资研究提供了一个基于 Python 的现代集成环境，允许交易者使用最先进的数据科学和机器学习技术。 作为一个现代的基...

Dagster 是一个用于机器学习、分析和 ETL 的数据编排器。 Dagster 让你以可重复使用的逻辑组件之间的数据流来定义管道，然后在本地测试并在任何地方运行。通过对管道和它们产生的资产的...

Tuplex 是一个并行的大数据处理框架，它以编译代码的速度运行用 Python 编写的数据科学管道。Tuplex 具有与Apache Spark或Dask类似的 Python API ，但与调...

ZNBase 是浪潮打造的一款分布式数据库产品，具备强一致、高可用分布式架构、分布式水平扩展、高性能、企业级安全等特性，自研的原生分布式存储引擎支持完整 ACID，支持 PostgreSQL 协...

UMAD (Universal Management and Analysis of Data) 是致力于实现通用的大数据管理分析系统的项目。该项目利用度量空间的高度抽象性的特点，将各种各样的数...

Rope 是一款轻量级别的 ETL (Extract-Transform-Load) 工具。主要用于从不同源获取/接受数据，然后统一处理数据后，写入到各种目标源；系统采用多级缓冲和数据缓存，每秒...

python 天气雷达数据处理包。 wradlib 使用 Travis CI 进行持续集成。这意味着一旦将新代码推送到 wradlib 存储库，Travis 将运行一组测试。若测试顺利进行，将在...

PyJava 是一个用于在 Java/Scala 和 Python 之间转换数据的库。 PyJava 引入了 Apache Arrow 作为交换数据格式，这意味着可以避免 Java/Scala ...

Mirrorful是一个简单、开源的设计系统框架。安装 Mirrorful 可以为你的项目生成颜色和其他设计标记，然后将这些设计标记直接导入你的应用程序。 以真实的来源开始新的项目 直观地修改主...