Olive

环境要求

• 已安装 Python（README 建议用 venv 或 conda 虚拟环境隔离安装）
• 可访问 PyPI，能执行 pip install 安装 PyPI 包
• 从 Hugging Face 下载模型时需用到 huggingface_hub 及其缓存目录
• Windows 用户需处理 huggingface_hub 符号链接限制（开发者模式/管理员权限/改缓存目录）
• 按目标硬件（CPU/GPU/NPU）准备对应的 ONNX Runtime 运行时环境

安装与启动步骤

1. 1创建虚拟环境

   README 推荐在虚拟环境或 conda 环境中安装 Olive，避免污染系统 Python 环境。

   python -m venv olive-env
   source olive-env/bin/activate

   复制

2. 2安装 Olive CLI

   用 pip 安装 olive-ai 包，这是 Olive 的命令行工具本体。

   pip install olive-ai

   复制

3. 3安装配套依赖

   README 明确要求同时安装 transformers 和 onnxruntime-genai，供模型下载与 ONNX Runtime 推理使用。

   pip install transformers onnxruntime-genai

   复制

4. 4处理 Windows 警告

   Windows 上 huggingface_hub 缓存符号链接会报警告，可设置环境变量抑制；接受额外磁盘占用即可。

   $env:HF_HUB_DISABLE_SYMLINKS_WARNING=1

   复制

5. 5尝试推理示例

   README 指向 onnxruntime-genai 仓库中的 model-chat.py 示例聊天程序，可作为推理上手参考；更多示例已迁至 olive-recipes 仓库。

关键配置

如何确认成功

执行 pip show olive-ai 能看到 Olive 的版本与安装位置信息，说明 CLI 包已装好。

常见问题

注意事项

• README 的 Quickstart 只给出第 1 节和第 3 节，缺少第 2 节，完整流程请以官网 microsoft.github.io/Olive 文档为准。
• 请勿在系统全局环境中直接安装，README 明确建议使用 venv 或 conda 环境。
• README 未提供量化/转换等具体配置命令，配置需参考官网文档与 olive-recipes 仓库示例。