程序员2026年10月28日
2阅读

技术信息

语言技术
Nuxtjs、React、TypeScript、Node.js、Rust
系统类型
Web、Windows、MacOS
行业分类
人工智能、工业互联网

作品详情

行业场景

随着大模型在智能编程、内容生成和企业应用中的普及,开发者及中小团队面临多厂商模型接入分散、调用成本较高、用量与费用难以统一管理等问题;同时,部分用户持有的模型订阅额度存在闲置,缺少灵活的共享与交易渠道。Asale 面向模型服务需求方和供给方,构建集订阅额度发布、模型服务购买、动态定价和按量结算于一体的平台。供给方可配置出售额度、价格和并发上限,需求方通过统一接口调用模型,并在 Web 控制台或桌面客户端查看消费与收益记录,提升模型资源利用率和费用管理效率。

功能介绍

平台由 Web 控制台、跨平台桌面客户端及后端服务组成,覆盖模型服务从发布、交易到结算的完整流程。
① 模型供给管理:支持模型账号接入、登录状态验证、额度申报,以及每日出售限额、报价和并发上限配置;额度耗尽或处于冷却状态时暂停供给。
② 模型调用与撮合:提供统一模型调用入口,结合模型、报价、可用额度和并发容量匹配服务通道,支持流式响应、请求中继和失败重试。
③ 动态定价:结合市场供需和卖方报价调整价格,限制长上下文请求带来的定价压力,平滑普通价格上涨。
④ 钱包与结算:支持调用预授权、Token 用量统计、费用结算及消费收益查询;余额不足以覆盖原预授权时,可降低输出上限后尝试调用。
⑤ 验证与接入:提供模型验证、通道可用性检查,以及开发工具调用地址和密钥配置切换、恢复功能,支持在客户端与 Web 端查看相关业务记录。

项目实现

项目采用 Rust 后端、Next.js Web 控制台及 Tauri 桌面客户端协同架构。后端基于 Tokio 和 Axum 实现异步 API、模型请求网关及 WebSocket 中继,使用 PostgreSQL 持久化业务数据,结合 Redis 支撑缓存与调度相关状态管理。Web 端采用 TypeScript、React 和 Next.js,桌面端采用 Tauri、React 和 Vite,由本地 daemon 承担业务逻辑。
核心实现包括多厂商模型协议适配、供需撮合、流式响应转发、额度与并发控制、钱包预授权和调用结算。客户端与服务端共用 Rust 协议定义,前端共享接口类型,减少跨端数据结构不一致问题。针对业务边界,增加供给剩余额度与恢复时间检查,避免不可用通道参与验证;限制单次长上下文请求的定价需求权重,并对普通涨价进行平滑处理;针对低余额调用,按余额调整预授权与输出上限。相关逻辑配套回归测试,覆盖余额适配、价格变化及通道可用性等关键场景。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论