vllm-project/semantic-router

An open, programmable decision layer for models and compute.

语言：Go · GitHub 星标：6,410 · Fork：1,111

话题：ai-gateway · guardrails · inference · kubernetes · llm · llmrouter · mixture-of-models · pytorch

在 GitHub 上查看原仓库