turbovec

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• Python 3 环境（README 全部命令均使用 python3）
• 项目为 Rust 编写、提供 Python 绑定，仓库源码需可访问
• 可联网下载基准数据集（GloVe、OpenAI DBpedia）
• 按 CPU 架构区分脚本：ARM（NEON）与 x86（AVX-512/AVX2）
• 磁盘空间用于存放下载的数据集与 benchmarks/results/ 结果文件

安装与启动步骤

1. 1克隆仓库

   把 turbovec 源码仓库克隆到本地，README 的基准脚本都放在仓库内的 benchmarks 目录下。

   git clone https://github.com/RyanCodrai/turbovec.git

   复制

2. 2进入项目目录

   切换到仓库根目录，后续所有 python3 命令都要在根目录执行，否则相对路径会找不到。

   cd turbovec

   复制

3. 3下载数据集

   下载基准测试所需数据。glove 为 d=200，openai-1536 与 openai-3072 为 OpenAI DBpedia。

   python3 benchmarks/download_data.py all

   复制

4. 4跑单个基准

   benchmarks/suite/ 下每个脚本都是自包含的，可单独执行；按架构选择 arm 或 x86 脚本。

   python3 benchmarks/suite/speed_d1536_2bit_arm_mt.py

   复制

5. 5按类别批量跑

   用 shell 循环跑同类脚本：ARM 速度、x86 速度、召回率各一组，注意先用 cd 回到仓库根目录。

   for f in benchmarks/suite/recall_*.py; do python3 "$f"; done

   复制

6. 6生成图表

   基准结果以 JSON 形式存放在 benchmarks/results/，用该脚本重新生成图表用于对比展示。

   python3 benchmarks/create_diagrams.py

   复制

如何确认成功

脚本正常结束无报错，且 benchmarks/results/ 下生成对应 JSON 结果文件，即表示运行成功。

常见问题

注意事项

• README 强调这是基于 TurboQuant 的免训练量化索引：向量加入即完成索引，无需 train 步骤和参数调优。
• 支持增量持久化：sync(path) 只写入上次 sync 之后变化的部分，每次约一次 fsync。
• 性能数据来自 README 自述，实测前请先用本机架构对应的基准脚本复现。
• 本次节选未包含安装与 API 用法，落地前请查阅仓库完整 README 与 PyPI 页面。