gigatoken

环境要求

• 已安装 Python 与 pip（README 未指定最低 Python 版本）
• 一个已存在的分词器实例：HuggingFace Tokenizers 或 tiktoken（仅兼容模式需要）
• 无需本地 Rust 工具链，README 仅提供 pip 安装方式

安装与启动步骤

1. 1安装 gigatoken

   README 只给出 pip 这一种安装方式，直接在目标 Python 环境中执行即可；建议使用虚拟环境避免污染全局依赖。

   pip install gigatoken

   复制

2. 2包装 HuggingFace 分词器

   导入 gigatoken，并用 gt.Tokenizer(hf_tokenizer).as_hf() 包装你已有的 HuggingFace 分词器，hf_tokenizer 需替换为真实实例。

   import gigatoken as gt
   
   # Minimum change from existing HuggingFace tokenizers usage (compatibility mode)
   hf_tokenizer = ...
   tokenizer = gt.Tokenizer(hf_tokenizer).as_hf()

   复制

3. 3批量编码文本

   包装后的 tokenizer 可放在和原 hf_tokenizer 相同的调用场景中，用 encode_batch 一次传入多条文本进行批量分词。

   tokens = tokenizer.encode_batch(["This is a test string", "And here is another"])

   复制

4. 4切换到 tiktoken 模式

   如果已有 tiktoken 分词器，用 as_tiktoken() 包装，之后即可按 tiktoken 的用法调用 encode_batch。

   tokenizer = gt.Tokenizer(tiktokenizer).as_tiktoken()
   tokens = tokenizer.encode_batch(["This is a test string", "And here is another"])

   复制

如何确认成功

执行 python -c "import gigatoken as gt" 无报错，且调用 tokenizer.encode_batch([...]) 能正常返回分词结果，即安装成功。

常见问题

注意事项

• 兼容模式为保证输出与 HuggingFace 完全一致会牺牲性能，追求极致速度时可考虑使用 gigatoken 自己的 API。
• 对比基准中的 HuggingFace tokenizers 和 tiktoken 本身已经是多线程 Rust 实现，理解加速倍数时需注意这一点。
• README 中 hf_tokenizer = ... 与 tiktokenizer = ... 是占位写法，实际使用时必须替换成你自己已加载的分词器对象。