actual-computer/toks

exact tokenizers ids, as fast as the hardware allows

语言：C · GitHub 星标：119 · Fork：10

话题：assembly · avx2 · bpe · c · huggingface · neon · sentencepiece · simd

在 GitHub 上查看原仓库