10K+ req/s batch API client for LLM endpoints — Rust, async, load-balanced
语言:Rust · GitHub 星标:19 · Fork:1
话题:api-client · batch-api · high-performance · http2 · llm · load-testing · rust · tokio
在 GitHub 上查看原仓库