
SoftCoT
用软思维链替代文本推理,大幅降低 LLM 推理成本
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 96
核心亮点
- 推理效率显著提升:将显式文本推理步骤压缩为连续向量,减少 token 生成量,降低延迟和计算成本
- 方法新颖且有学术支撑:基于 ACL 2025 论文,SoftCoT++ 进一步探索测试时扩展,具备理论深度
- 灵活性高:软思维链长度可调,支持在推理质量和效率之间做权衡,适应不同场景
不足之处
- 项目处于早期阶段,文档和社区生态尚不完善,集成和使用可能需要参考论文细节
- 软思维链的可解释性不如文本 CoT,用户难以直观检查推理过程
适用场景
- 高并发实时推理服务,如聊天机器人、客服系统,需降低单次推理成本
- 资源受限的边缘设备部署 LLM,需在有限算力下保持推理能力
- 大规模批量推理任务,如离线数据处理,通过缩短推理链提升吞吐量
替代项目
Chain-of-Thought (CoT) Prompting、Self-Consistency、Tree of Thoughts (ToT)
同类项目推荐
nnscaler
开源
写单卡模型,编译器自动生成多卡并行训练方案
nnScaler: Compiling DNN models for Parallel Training
Dreambooth-Stable-Diffusion
开源
用几张照片,微调Stable Diffusion生成专属主体的新图像
Implementation of Dreambooth (https://arxiv.org/abs/2208.12242) with Stable Diffusio···
LLM-RLHF-Tuning-with-PPO-and-DPO
开源
一站式跑通大模型 RLHF:SFT 到 PPO/DPO 全流程
Comprehensive toolkit for Reinforcement Learning from Human Feedback (RLHF) training···
vae-lagging-encoder
开源
修复VAE后验坍缩,让生成模型更稳定多样
PyTorch implementation of "Lagging Inference Networks and Posterior Collapse in Vari···
POInfra
开源
让扩散/流模型像策略一样在线微调与规划
Policy Optimization for Generative Models: diffusion and flow policies, online fine-···
SimpleTuner
开源
一条命令微调扩散模型,图像视频音频通吃
A general fine-tuning kit geared toward image/video/audio diffusion models.
gflownet
开源
按奖励比例采样多样化候选解的生成模型框架
Generative Flow Networks - GFlowNet
Primus
开源
在 AMD GPU 上高效训练大模型,开箱即用
A flexible and high-performance training framework designed for large-scale foundati···
MARS
开源
用方差缩减技术,让大模型训练更快更稳
The official implementation of MARS: Unleashing the Power of Variance Reduction for ···