Consistency_LLM

让大模型并行吐字，推理速度翻倍

Consistency_LLM 是一个基于 ICML 2024 论文的官方实现，提出了 Consistency Large Language Models (CLLMs)，旨在解决大语言模型自回归解码速度慢的问题。它通过引入一致性训练目标，让模型在推理时能够并行生成多个 token，从而大幅减少解码步数，提升生成速度。核心能力包括：支持将现有 LLM 微调为 CLLM、提供并行解码策略、在多种任务上展示显著的加速效果。该项目主要面向研究人员和开发者，用于加速 LLM 推理，降低延迟。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 418
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队hao-ai-lab
所属国家
官网地址
GitHubhttps://github.com/hao-ai-lab/Consistency_LLM
定价模式free
价格说明开源模型，Apache-2.0许可证，可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型efficient-llm,efficient-llm-inference,large-language-models
GitHub 星标★ 418
30天Star增速
HF 下载量
上线时间2023-11-28 00:00:00
最近更新2026-09-16 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6

使用教程

核心亮点

  • 基于 ICML 2024 论文，方法有理论保证，创新性强
  • 提供官方代码和预训练模型，易于复现和部署
  • 在多个基准任务上验证了 2-4 倍的解码加速效果

不足之处

  • 项目早期，文档和社区支持待观察
  • 仅支持特定模型架构，泛化性有限

适用场景

  • 需要低延迟响应的实时对话系统
  • 批量文本生成场景，如摘要、翻译
  • 边缘设备上的 LLM 推理加速

替代项目

Medusa、Speculative Decoding、Lookahead Decoding

项目介绍

Consistency_LLM 是开源模型领域的开源项目，由 hao-ai-lab 开发，2023 年首次发布。

它收录于开源模型分类，该分类目前共有 424 个项目，GitHub 星标数为 418。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-16。Apache-2.0许可证，可免费使用和部署。

它主要面向的使用场景是：需要低延迟响应的实时对话系统。同类可对比的替代方案包括 Medusa、Speculative Decoding、Lookahead Decoding。

上一篇：Yi

下一篇：Baichuan2

同类项目推荐

Machine-Learning 开源

跟着博客笔记，边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
awesome-ltx2 开源

找齐 LTX-2 模型、工作流和 LoRA，一键上手视频生成。

All available LTX-2 models, encoders, workflows, LoRAs for ComfyUI

★ 593 2026-08-10