johannschopplich/tokenx

📐 Fast token estimation with 95%+ average accuracy in a 2kB bundle

语言：TypeScript · GitHub 星标：187 · Fork：8

话题：tiktoken · token-counter · tokenization · tokenizer

在 GitHub 上查看原仓库