开源项目

hive让大数据飞了起来，不再需要专人写MR。平常我们都可以用基于thrift的任意语言来调用hive。 不过爱恨各半，hive的thrift不稳定也是出了名的。很容易就出问题，让人无计可施。唯...

Mincemeat-node 是使用Node.js实现的极简MapReduce框架，可以快速的部署投入工作，免去Hadoop繁琐的配置，享受随心大数据。 Mincemeatpy实现的是一种非常简...

Gamestonk Terminal 是一个股票和加密市场的投资研究终端，为投资研究提供了一个基于 Python 的现代集成环境，允许交易者使用最先进的数据科学和机器学习技术。 作为一个现代的基...

Ibis 是一个新的 Python 数据分析框架，目标是让数据科学家和数据工程师们处理大型数据时，能够像处理小中型数据一样的高效。为了实现这个目标，我们将启用 Python 来作为 Apache...

SeaTunnel 是下一代超高性能的支持海量数据快速同步与集成的云原生数据集成工具，每天可以稳定高效同步万亿级数据，已在字节、B站、微博、腾讯云及印度电信等数百家公司生产上使用，目前也已经支持...

Tuplex 是一个并行的大数据处理框架，它以编译代码的速度运行用 Python 编写的数据科学管道。Tuplex 具有与Apache Spark或Dask类似的 Python API ，但与调...

Spring XD 是一个统一的，分布式，可扩展的系统用于数据摄取，实时分析，批量处理和数据导出。该项目的目标是简化大数据应用的开发。

UMAD (Universal Management and Analysis of Data) 是致力于实现通用的大数据管理分析系统的项目。该项目利用度量空间的高度抽象性的特点，将各种各样的数...

Flink Remote Shuffle 是一种批场景下利用外部服务完成任务间数据交换的 Shuffle 实现，本文后续将详细介绍 Flink Remote Shuffle 研发的背景，以及 F...

hive-dwrf 是作为 Apache Hive 项目一部分的 ORC 文件格式的分支。

hblog 是一个日志集群分析器。支持的体制格式有：Syslog、 Log4j、Java GC log。 具有以下功能： Remote access to logs via a single C...

Gobblin 是 Hadoop 通用数据摄取框架，可以从各种数据源中提取，转换和加载海量数据。比如：数据库，rest APIs，filers，等等。Gobblin 处理日常规划任务需要所有数据...

Dagster 是一个用于机器学习、分析和 ETL 的数据编排器。 Dagster 让你以可重复使用的逻辑组件之间的数据流来定义管道，然后在本地测试并在任何地方运行。通过对管道和它们产生的资产的...

ZNBase 是浪潮打造的一款分布式数据库产品，具备强一致、高可用分布式架构、分布式水平扩展、高性能、企业级安全等特性，自研的原生分布式存储引擎支持完整 ACID，支持 PostgreSQL 协...

tinympi4j 是一款微型的 java 分布式离线计算框架, 实现原理如图： 特性 简单直观, 没有任何学习难度 slave支持多个任务并发/并行执行 使用HTTP协议通信 场景: 找素数/...

OpenMining是由Python编写的商务智能应用服务器，为商务智能中大数据的处理提供了便捷的操作，以此来提高用户挖掘商业情报的效率。

prophet是一个可以通过 Python 和 R 语言使用的预测工具 Prophet。并非所有的预测问题都可以通过同一种程序（procedure）解决。Prophet 是为我们在 Facebo...

华为2015年7月20日在O'Reilly Open Source Convention (OSCON) 上宣布Spark SQL on HBase package正式开源。Spark SQL ...

来自 Mozilla 的 Heka 是一个用来收集和整理来自多个不同源的数据的工具，通过对数据进行收集和整理后发送结果报告到不同的目标用于进一步分析。

Rope 是一款轻量级别的 ETL (Extract-Transform-Load) 工具。主要用于从不同源获取/接受数据，然后统一处理数据后，写入到各种目标源；系统采用多级缓冲和数据缓存，每秒...