本项目是基于 hermes-agent 深度定制的增强版智能代理框架,核心实现了 Google Vertex AI 全链路的原生接入与多模态能力增强。项目通过对底层认证逻辑的重构,支持按 Key 绑定 Project 与 Region,并实现了高度可靠的凭证池容错机制,支持轮询、随机及最少使用等多种 429 回退策略,极大地提升了在高并发环境下的 API 稳定性。
在多模态处理方面,项目对视频与图像处理进行了重度优化:
全链路媒体支持:实现了从 CLI 到 Gateway 的完整视频处理链路,集成 ffmpeg 自动抽帧、vision 视觉分析及音轨转写功能。
视觉工具增强:针对 Vision API 进行了防幻觉清理与 Grounded Prompt 优化,并引入信号量机制进行并发控制。
架构优化:统一了多个通讯平台的 MIME 解析逻辑,修复了复合后缀解析等底层 Bug。
点击空白处退出提示












评论