majiayu000/litellm-rs

Self-hosted Rust LLM gateway with OpenAI-compatible APIs, load balancing, failover, and a reusable Rust kernel.

语言：Rust · GitHub 星标：121 · Fork：18

话题：ai-gateway · anthropic · api-client · async-rust · aws-bedrock · embeddings · gemini · llm

在 GitHub 上查看原仓库