RahulDey12/tiktoken-php

A PHP implementation of OpenAI's BPE tokenizer tiktoken.

语言：PHP · GitHub 星标：9 · Fork：0

话题：bpe-tokenizer · special-tokens · tiktoken · tiktoken-php

在 GitHub 上查看原仓库