LLMTrace是一个基于OpenTelemetry的Go语言LLM应用可观测性SDK,专为大语言模型应用设计。在AI应用爆发的当下,如何监控和追踪LLM调用链路、分析token消耗、计算API成本,是每个AI工程团队面临的核心问题。
核心功能:
OpenTelemetry原生集成:遵循gen_ai.*语义规范,自动生成span,支持OTLP协议导出到Jaeger、Prometheus等主流观测平台
多Provider支持:内置OpenAI、Anthropic、Gemini等主流LLM SDK的wrapper,一行代码即可接入追踪
成本追踪:自动计算每次API调用的USD成本,支持自定义价格表
流式响应追踪:完整支持SSE流式响应的trace采集,不丢失任何chunk
重试与限流:内置指数退避重试和令牌桶限流器,提升应用稳定性
Prometheus指标:内置/metrics端点,开箱即用的指标采集
技术栈:Go 1.22+、OpenTelemetry、Prometheus、Docker
个人负责:独立完成SDK架构设计、核心代码开发、CI/CD流水线配置、Go Reference文档编写。项目采用MIT协议开源,零外部依赖(仅依赖OpenTelemetry官方SDK)。
点击空白处退出提示









评论