SoftCoT

用软思维链替代文本推理,大幅降低 LLM 推理成本

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 18 🐛 待处理 13 👀 关注 2
GitHub ↗
GitHub 星标 ★ 96
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,无在线服务,需自行部署,完全免费。

项目预览

SoftCoT 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队xuyige
定价模式🏷️完全免费
价格说明开源项目,无在线服务,需自行部署,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型chain-of-thought,continuous-chain-of-thought,large-language-models,natural-language-processing,test-time-scaling
GitHub 星标★ 96
上线时间2025-03-26 00:00:00
代码更新2025-05-30
仓库体积2.6 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

SoftCoT 是一个针对大语言模型推理效率优化的开源项目,提出了“软思维链”方法。传统 Chain-of-Thought 推理依赖生成显式的文本步骤,计算开销大且延迟高。SoftCoT 通过让模型在连续向量空间中直接进行推理,生成“软”思维链,替代离散的文本推理步骤,从而显著减少推理时的 token 消耗和计算成本。项目包含两篇论文的实现:ACL'2025 的 SoftCoT 和 SoftCoT++,后者进一步探索了测试时扩展(Test-Time Scaling)策略,在推理时通过调整软思维链的长度或深度来提升模型性能。核心能力包括:将推理过程压缩为向量序列、支持对软思维链长度进行动态控制、与现有 LLM 集成相对简单。该项目主要面向需要高吞吐、低延迟 LLM 推理的场景,如实时对话、边缘部署等。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 96

核心亮点

  • 推理效率显著提升:将显式文本推理步骤压缩为连续向量,减少 token 生成量,降低延迟和计算成本
  • 方法新颖且有学术支撑:基于 ACL 2025 论文,SoftCoT++ 进一步探索测试时扩展,具备理论深度
  • 灵活性高:软思维链长度可调,支持在推理质量和效率之间做权衡,适应不同场景

不足之处

  • 项目处于早期阶段,文档和社区生态尚不完善,集成和使用可能需要参考论文细节
  • 软思维链的可解释性不如文本 CoT,用户难以直观检查推理过程

适用场景

  • 高并发实时推理服务,如聊天机器人、客服系统,需降低单次推理成本
  • 资源受限的边缘设备部署 LLM,需在有限算力下保持推理能力
  • 大规模批量推理任务,如离线数据处理,通过缩短推理链提升吞吐量

替代项目

Chain-of-Thought (CoT) Prompting、Self-Consistency、Tree of Thoughts (ToT)

上一篇:RecLM

下一篇:KG-FIT

同类项目推荐

nnscaler 开源

写单卡模型,编译器自动生成多卡并行训练方案

nnScaler: Compiling DNN models for Parallel Training

★ 136 2026-10-31
Dreambooth-Stable-Diffusion 开源

用几张照片,微调Stable Diffusion生成专属主体的新图像

Implementation of Dreambooth (https://arxiv.org/abs/2208.12242) with Stable Diffusio···

★ 7730 2026-08-09
LLM-RLHF-Tuning-with-PPO-and-DPO 开源

一站式跑通大模型 RLHF:SFT 到 PPO/DPO 全流程

Comprehensive toolkit for Reinforcement Learning from Human Feedback (RLHF) training···

★ 195 2026-09-16
vae-lagging-encoder 开源

修复VAE后验坍缩,让生成模型更稳定多样

PyTorch implementation of "Lagging Inference Networks and Posterior Collapse in Vari···

★ 185 2026-08-09
POInfra 开源

让扩散/流模型像策略一样在线微调与规划

Policy Optimization for Generative Models: diffusion and flow policies, online fine-···

★ 100 2026-10-14
SimpleTuner 开源

一条命令微调扩散模型,图像视频音频通吃

A general fine-tuning kit geared toward image/video/audio diffusion models.

★ 2956 2026-08-09
gflownet 开源

按奖励比例采样多样化候选解的生成模型框架

Generative Flow Networks - GFlowNet

★ 354 2026-11-03
Primus 开源

在 AMD GPU 上高效训练大模型,开箱即用

A flexible and high-performance training framework designed for large-scale foundati···

★ 140 2026-09-19
MARS 开源

用方差缩减技术,让大模型训练更快更稳

The official implementation of MARS: Unleashing the Power of Variance Reduction for ···

★ 725 2026-08-09