GitHub Trending
BerriAI/litellm: The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
8.5内容质量
TL;DR · AI 摘要
BerriAI/litellm 是一个高性能的 AI 网关，支持 100+ LLM API，提供成本跟踪和负载均衡等功能。
核心要点
- 使用 Rust 核心和 Python SDK 实现高性能 AI 网关
- 支持 OpenAI、Azure、Anthropic 等 100+ LLM API 接入
- 内置成本跟踪、负载均衡和请求防护功能
#AI Gateway#Rust#Python SDK#LLM API#成本跟踪
打开原文这篇文章暂时没有正文缓存。
你可以先打开原文阅读，新的抓取任务会为后续文章保存完整正文。