适合同时有以下需求的用户:
- 使用单机单卡可运行的小模型
- 但实际上要在边缘场景跑(如嵌入式)
- 不想为此自己维护一系列私有模型端点
或:
- 自己的日常办公机器性能过剩或错配,希望利用过剩的性能赚钱
- 不希望数据中心通常要求的稳定在线契约影响自己的日常使用习惯
点击空白处退出提示
适合同时有以下需求的用户:
- 使用单机单卡可运行的小模型
- 但实际上要在边缘场景跑(如嵌入式)
- 不想为此自己维护一系列私有模型端点
或:
- 自己的日常办公机器性能过剩或错配,希望利用过剩的性能赚钱
- 不希望数据中心通常要求的稳定在线契约影响自己的日常使用习惯
对用户:
- 提供统一的平台账户和通用积分,调度已在平台中登记的各种API。
- 提供通用推理图执行服务,利用平台算力网络运行私有模型。
- 可将自己的闲置计算机接入算力网络,承接计算任务。无需保证24小时开机。
集群构成:
- 鉴权中心:提供token鉴权、解析功能,是平台的加密数据访问中心点。可容器化横向扩展。
- 用户中心:提供用户账户、权限、资产管理,同时也是平台对接现金渠道的唯一节点。可容器化横向扩展。
- 产品中心/开放平台:提供第三方API接入标准和计费服务记录,用于计算第三方接入报酬。可容器化横向扩展。
- 算力中心:基于 DCinfer 的通用计算调度器,管理所有算力终端,负责发放和回收推理任务。附带可独立安装的算力供应客户端。
技术亮点:
- 高度自动化、集中化的接口管理套件。只需按套件中明确的文档要求实现,第三方产品便可接入平台的标准端口,并自动生成文档。
- 集群扩展跨机房、跨供应商,所有服务器以端点而非终端的概念接入集群。
- 核心依赖全部抽象隔离并提供自有实现,随时可应业务需求而迁移或灰度发布到第三方同功能组件上。




评论