heretic

环境要求

• Python 3.10 或更高版本
• PyTorch 2.2 及以上（部分模型/配置需更高版本，如 MXFP4 量化模型需 PyTorch 2.6+）
• 建议配备 NVIDIA GPU 并安装匹配硬件的 PyTorch（默认配置下 RTX 3090 处理 4B 模型约需 20-30 分钟）
• 可选：uv（用于按仓库锁文件复现开发者依赖版本）

安装与启动步骤

1. 1准备 Python 环境

   先装好 Python 3.10+，并按自己的硬件安装对应版本的 PyTorch 2.2 或更高版本；显存不足时可后续启用 4bit 量化。

2. 2安装 heretic

   用 pip 安装官方发布的 heretic-llm 包，-U 参数确保升级到最新版本。

   pip install -U heretic-llm

   复制

3. 3运行自动去审查

   把示例模型换成你想处理的任意 Hugging Face 模型名即可；过程全自动，无需手动配置参数。

   heretic Qwen/Qwen3-4B-Instruct-2507

   复制

4. 4查看可调参数

   想更精细地控制流程时，查看命令行可选项，或改用配置文件方式配置。

   heretic --help

   复制

5. 5uv 方式运行（可选）

   若已使用 uv，可克隆仓库后通过 uv run 运行，依赖版本与开发者锁文件完全一致。

   git clone https://github.com/p-e-w/heretic
   cd heretic
   uv run heretic

   复制

关键配置

如何确认成功

运行结束会给出保存模型、上传 Hugging Face、对话测试、跑基准测试等选项，出现该交互提示即表示去审查流程完成。

常见问题

注意事项

• Heretic 通过定向消融（abliteration）移除模型的安全对齐，仅应在你合法合规的场景下使用，注意相关伦理与合规要求。
• PyTorch 2.2 只是最低要求，实际模型可能需要更高版本，建议先确认模型对 PyTorch 的要求。
• 显存吃紧时优先启用 quantization=bnb_4bit，而不是盲目调大 batch。
• 使用 uv 运行时需先进入克隆下来的仓库目录，否则 uv run heretic 无法找到项目配置。