数据处理

http-mock-middleware 是一个 http mock 库，或者说 ajax/websocket mock 库，它接收来自 web 前端页面的 ajax/websocket 请求，...

Gamestonk Terminal 是一个股票和加密市场的投资研究终端，为投资研究提供了一个基于 Python 的现代集成环境，允许交易者使用最先进的数据科学和机器学习技术。 作为一个现代的基...

Tuplex 是一个并行的大数据处理框架，它以编译代码的速度运行用 Python 编写的数据科学管道。Tuplex 具有与Apache Spark或Dask类似的 Python API ，但与调...

项目主要接入、处理、转发某汽车总装厂的多种产线数据，包含后台管理平台，实时流数据处理。后台管理平台管理多种数据源接入，配置数据流通通道，配置数据处理方式。实时流数据处理部分根据后台管理平台配置的不同的数据接入源、通道、数据处理方式等信息对实时接入的数据进行处理，并转发到对应的应用进行进一步分析，展示。 技术栈采用Spring boot、kafka、rabbitMQ、storm、vue.js、nginx 负责整体架构设计，流数据处理代码研发

Flink Remote Shuffle 是一种批场景下利用外部服务完成任务间数据交换的 Shuffle 实现，本文后续将详细介绍 Flink Remote Shuffle 研发的背景，以及 F...

OpenMetadata 是元数据的开放标准，发现、协作和正确获取数据的单一场所。 OpenMetadata 包括以下内容： 元数据模式- 定义元数据的核心抽象和词汇表，其中包含类型、实体、实体...

OpenCTI 即 Open Cyber Threat Intelligence Platform，开放网络威胁情报平台。它的创建是为了构建、存储、组织和可视化有关网络威胁的技术和非技术信息。 ...

Scriptis是一款支持在线写SQL、Pyspark、HiveQL等脚本，提交给Linkis执行的数据分析Web工具，且支持UDF、函数、资源管控和智能诊断等企业级特性。 核心特点： 脚本编辑...

该项目提出了一种有效的基于组合设计工具 PBD (Pairwise Block Design) 的数据布局 PDL，以加快混合 EC 分布式存储系统中单节点故障的数据修复。 由于减少了机架间的通...

Taos.Studio 是一个为 TDengine 实现的可视化数据查看和管理工具

Dagster 是一个用于机器学习、分析和 ETL 的数据编排器。 Dagster 让你以可重复使用的逻辑组件之间的数据流来定义管道，然后在本地测试并在任何地方运行。通过对管道和它们产生的资产的...

ZNBase 是浪潮打造的一款分布式数据库产品，具备强一致、高可用分布式架构、分布式水平扩展、高性能、企业级安全等特性，自研的原生分布式存储引擎支持完整 ACID，支持 PostgreSQL 协...

UMAD (Universal Management and Analysis of Data) 是致力于实现通用的大数据管理分析系统的项目。该项目利用度量空间的高度抽象性的特点，将各种各样的数...

Faust 是一个流处理库，将想法从 Kafka Streams 移植到 Python。 它在 Robinhood 用于构建高性能的分布式系统和实时数据管道，每天处理数十亿个事件。 Faust ...

TipDM数据挖掘建模平台是基于Python引擎、用于数据挖掘建模的开源平台。平台提供数量丰富的数据分析与挖掘建模组件，用户可在没有编程基础的情况下，通过拖拽的方式进行操作，将数据输入输出、数据...

Annoy 是 Spotify 开源的高维空间求近似最近邻的库，在 Spotify 使用它进行音乐推荐。最邻近搜索（Nearest Neighbor Search, NNS）又称为“最近点搜索”...

SeaTunnel 是下一代超高性能的支持海量数据快速同步与集成的云原生数据集成工具，每天可以稳定高效同步万亿级数据，已在字节、B站、微博、腾讯云及印度电信等数百家公司生产上使用，目前也已经支持...

CacheLib 是用于扩展高性能缓存服务的可插拔缓存引擎，其包含一个 C++ 库，提供进程内高性能缓存机制。并提供了一个线程安全的 API 来构建高吞吐量、低开销的缓存服务，同时并具有透明地利...

IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分...

SandDance 是微软研究院（ Microsoft Research ）微软车库（ Microsoft Garage ）推出的免费数据可视化应用。SandDance 是一款以 Web 为基础...