LLM-Blender

融合多个大模型，取长补短，获得更优回复。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 91 🐛 待处理 9 👀 关注 15

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 998

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源框架，Apache-2.0 许可证，完全免费，可自行部署使用。

项目预览

LLM-Blender 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队yuchenlin

官网地址https://yuchenlin.xyz/LLM-Blender

GitHubhttps://github.com/yuchenlin/LLM-Blender

定价模式🏷️完全免费

价格说明开源框架，Apache-2.0 许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型ensamble-methods,large-language-models,llm,natural-language-processing

GitHub 星标★ 998

上线时间2023-05-31 00:00:00

代码更新2024-10-22

仓库体积76.4 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数7

项目介绍

LLM-Blender 是一个用于集成多个开源大语言模型的框架，旨在通过发挥不同模型的优势来获得一致更优的性能。它解决了单一模型能力有限、不同模型各有优劣的问题，核心能力包括两阶段流程：首先通过 PairRanker 对多个模型的输出进行排序，筛选出高质量候选；然后通过 Fuser 生成器融合这些候选，生成更优的最终回复。该框架基于 Python 实现，支持多种开源模型，并提供了训练和推理的完整工具链。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 998

技术标签

large-language-models llm natural-language-processing

使用教程

难度：进阶约 15 分钟部署方式：库/依赖 4 步

环境要求

Python 3.8+
PyTorch
Transformers 库
至少一块可用 GPU（推荐）

安装与启动步骤

1安装

通过 pip 安装。
```
pip install llm-blender
```

2克隆源码（可选）

需要最新版时可从源码安装。

git clone https://github.com/yuchenlin/LLM-Blender.git
cd LLM-Blender
pip install -e .

3加载排序器

加载 PairRM 排序器 checkpoint。

import llm_blender
blender = llm_blender.Blender()
blender.loadranker("llm-blender/PairRM")

4排序与融合

对多模型候选排序后加载融合器生成更优回复。

ranks = blender.rank(inputs, candidates_texts)
blender.loadfuser("llm-blender/gen_fuser_3b")
topk = get_topk_candidates_from_ranks(ranks, candidates_texts, top_k=3)
fuse_generations = blender.fuse(inputs, topk)