gpt-oss

环境要求

• Python 环境，可直接使用 pip 安装依赖
• gpt-oss-20b 适合本地/低延迟场景，gpt-oss-120b 需单张 80GB GPU（如 NVIDIA H100 或 AMD MI300X）
• 需从 Hugging Face 下载模型权重（openai/gpt-oss-120b 或 openai/gpt-oss-20b）
• 使用 vLLM 推理时需安装 vLLM，并开启 trust_remote_code
• 可选：从源码编译 triton 以启用 triton 实现

安装与启动步骤

1. 1安装 gpt-oss 包

   README 说明可直接从 PyPI 安装 gpt-oss。若只做推理接入，从此步开始即可。

   pip install gpt-oss

   复制

2. 2可选装 triton 源码

   仅在需要 triton 实现时执行。需克隆 triton 仓库并编译安装，过程较慢。

   git clone https://github.com/triton-lang/triton
   cd triton/
   pip install -r python/requirements.txt
   pip install -e . --verbose --no-build-isolation
   pip install -e python/triton_kernels

   复制

3. 3安装 triton 版实现

   在 gpt-oss 仓库根目录执行，安装带 triton 可选依赖的本地版本。

   pip install -e ".[triton]"

   复制

4. 4下载模型权重

   README 只给出 Hugging Face 页面链接，未提供命令行下载方式，请到页面手动下载权重。

5. 5用 vLLM 跑推理

   按 README 示例用 vLLM 加载 openai/gpt-oss-20b 并生成，注意显存与上下文参数。

   from vllm import LLM, SamplingParams
   
   llm = LLM(
       model="openai/gpt-oss-20b",
       trust_remote_code=True,
       gpu_memory_utilization=0.95,
       max_num_batched_tokens=4096,
       max_model_len=5000,
       tensor_parallel_size=1,
   )
   
   sampling = SamplingParams(
       max_tokens=128,
       temperature=1,
   )
   
   outputs = llm.generate(
       prompt_token_ids=[prefill_ids],
       sampling_params=sampling,
   )

   复制

6. 6加载 harmony 编码

   两个模型必须使用 harmony 响应格式，否则模型无法正确工作。

   from openai_harmony import load_harmony_encoding, HarmonyEncodingName
   
   encoding = load_harmony_encoding(HarmonyEncodingName.HARMONY_GPT_OSS)

   复制

7. 7启用 python 工具

   把工具定义放进 harmony 提示的 system 消息中即可调用；浏览器工具同理。

   from gpt_oss.tools.python_docker.docker_tool import PythonTool
   from openai_harmony import SystemContent, Message, Conversation, Role, load_harmony_encoding, HarmonyEncodingName
   
   encoding = load_harmony_encoding(HarmonyEncodingName.HARMONY_GPT_OSS)
   
   python_tool = PythonTool()

   复制

关键配置

如何确认成功

运行 vLLM 的 llm.generate 能正常返回 outputs，且 harmony 编码加载不报错，即表示环境可用。

常见问题

注意事项

• 两个模型都必须搭配 harmony 响应格式使用，否则结果不正确。
• README 未给出权重下载命令，需自行前往 Hugging Face 页面下载 openai/gpt-oss-120b 或 openai/gpt-oss-20b。
• triton 需从源码编译安装，耗时较长，非必需步骤。
• 开源权重模型对硬件要求较高，120b 建议单张 80GB 显卡。