free-llm-gateway产品系统

面向 AI 应用开发和 LLM 服务接入场景。企业和个人开发者接入大模型能力时，常面临多家供应商 API 各异、免费额度分散、限速策略复杂等问题，需要统一的接入层来降低切换成本、聚合免费模型资源。

提供 OpenAI 兼容的网关接口，聚合智谱、硅基流动等多个提供免费额度的大模型 API。支持实时对话、流式输出、批量任务，自动路由与加权选择，内置令牌桶限速、指数退避与熔断降级，任意 OpenAI SDK 改
base_url 即可接入。

Python + FastAPI 框架，采用多 provider 适配器模式统一各家 API。限速层实现 RPM/TPM 令牌桶与并发闸，批量任务用 SQLite 持久化并支持断点续跑，附 Web
管理台运行时调整上游与限速参数。测试全离线，不依赖真实网络。