guidance-ai/llgtrt

TensorRT-LLM server with Structured Outputs (JSON) built with Rust

语言：Rust · GitHub 星标：73 · Fork：12

话题：cfg · guidance · json · openai-api · regex · structured-generation · tensorrt-llm

在 GitHub 上查看原仓库