aallam/ktoken

Kotlin multiplatform BPE tokenizer library for OpenAI models

语言：Kotlin · GitHub 星标：43 · Fork：1

话题：binary-p · bpe · byte-pair-encoding · gpt · kotlin · openai · tiktoken · tokenizer

在 GitHub 上查看原仓库