Consistency_LLM

让大模型并行吐字，推理速度翻倍

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 25 🐛 待处理 8 👀 关注 6
GitHub ↗
GitHub 星标 ★ 418
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型，Apache-2.0许可证，可免费使用和部署。

项目预览

Consistency_LLM 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队hao-ai-lab
GitHubhttps://github.com/hao-ai-lab/Consistency_LLM
定价模式🏷️完全免费
价格说明开源模型，Apache-2.0许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型efficient-llm,efficient-llm-inference,large-language-models
GitHub 星标★ 418
上线时间2023-11-28 00:00:00
代码更新2024-11-16
仓库体积17.3 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

Consistency_LLM 是一个基于 ICML 2024 论文的官方实现，提出了 Consistency Large Language Models (CLLMs)，旨在解决大语言模型自回归解码速度慢的问题。它通过引入一致性训练目标，让模型在推理时能够并行生成多个 token，从而大幅减少解码步数，提升生成速度。核心能力包括：支持将现有 LLM 微调为 CLLM、提供并行解码策略、在多种任务上展示显著的加速效果。该项目主要面向研究人员和开发者，用于加速 LLM 推理，降低延迟。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 418

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 60 分钟 部署方式：本地GPU 5 步

环境要求

  • NVIDIA GPU（显存 24GB 起）
  • CUDA

安装与启动步骤

  1. 1建环境

    官方指定 Python 3.10。

    conda create -n cllm python=3.10

  2. 2拉仓库

    实现并行解码的一致性模型。

    git clone https://github.com/hao-ai-lab/Consistency_LLM.git

  3. 3装依赖与权重

    微调后的权重需单独获取。

  4. 4对比延迟

    同一提示下比它和原始模型的吐字速度。

  5. 5看质量损失

    加速必然有代价，要量化。

如何确认成功

并行解码下首字后吞吐明显提升，且在标准评测集上的质量下降在可接受范围内

注意事项

  • 它让模型一次并行解出多个词，用一致性训练换取速度。
  • 加速只在中长输出上明显，短回答看不出差别。
  • 需要针对具体基座做微调，换模型要重训。
  • 质量下降在需要精确推理的任务上更明显。
  • 推理框架支持有限，接入自有服务要改代码。

核心亮点

  • 基于 ICML 2024 论文，方法有理论保证，创新性强
  • 提供官方代码和预训练模型，易于复现和部署
  • 在多个基准任务上验证了 2-4 倍的解码加速效果

不足之处

  • 项目早期，文档和社区支持待观察
  • 仅支持特定模型架构，泛化性有限

适用场景

  • 需要低延迟响应的实时对话系统
  • 批量文本生成场景，如摘要、翻译
  • 边缘设备上的 LLM 推理加速

替代项目

Medusa、Speculative Decoding、Lookahead Decoding

上一篇：Yi

下一篇：Baichuan2

同类项目推荐

QuantHarness 开源

一套工具，搞定量化模型标准化评测与对比

Official Repository for QuantHarness

★ 2894 2026-08-09
GFT 开源

用树形词汇表让图模型学会跨数据集迁移，省去重复训练

GFT: Graph Foundation Model with Transferable Tree Vocabulary, NeurIPS 2024.

★ 61 2026-08-09
LLaVA-MoD 开源

把 LLaVA 模型做小做快，性能不掉线

[ICLR 2025] LLaVA-MoD: Making LLaVA Tiny via MoE-Knowledge Distillation

★ 228 2026-08-09
KnowLM 开源

给大模型注入知识，让回答更专业准确

An Open-sourced Knowledgable Large Language Model Framework.

★ 1386 2026-08-09
Skywork 开源

开源中英双语大模型，数据权重全开放，快速训练部署

Skywork series models are pre-trained on 3.2TB of high-quality multilingual (mainly ···

★ 1500 2026-08-09
Monet 开源

让 Transformer 每个专家只懂一件事，可解释性拉满

[ICLR 2025] Monet: Mixture of Monosemantic Experts for Transformers

★ 79 2026-08-09
Awesome-RL-for-LRMs 开源

一份清单，看懂强化学习如何让大模型更会推理

A Survey of Reinforcement Learning for Large Reasoning Models

★ 2500 2026-08-09
RETFound 开源

拿医学影像直接预训练，少标注也能做AI诊断

Vision Foundation Models for Medical AI, including RETFound, DINOv2, DINOv3

★ 694 2026-08-09
video-SALMONN-2 开源

让AI看懂视频也听懂声音，生成精准音视频描述

video-SALMONN 2 is a powerful audio-visual large language model (LLM) that generates···

★ 224 2026-08-09