phiat/tiktokenex

Pure Elixir BPE tokenizer compatible with OpenAI tiktoken. No NIFs. Supports cl100k_base and o200k_base.

语言：Elixir · GitHub 星标：3 · Fork：0

在 GitHub 上查看原仓库