jaco-bro/tokenizer

BPE tokenizer for LLMs in Pure Zig

语言：Zig · GitHub 星标：8 · Fork：3

话题：bpe-tokenizer · maintainer-wanted · pcre2 · regex · tokenizer · zig · zig-package

在 GitHub 上查看原仓库