openai/tiktoken

tiktoken is a fast BPE tokeniser for use with OpenAI's models.

语言：Python · GitHub 星标：19,576 · Fork：1,664

在 GitHub 上查看原仓库