用软思维链替代文本推理，大幅降低 LLM 推理成本
SoftCoT 是一个针对大语言模型推理效率优化的开源项目，提出了“软思维链”方法。传统 Chain-of-Thought 推理依赖生成显式的文本步骤，计算开销大且延迟高。SoftCoT 通过让模型在连续向量空间中直接进行推理，生成“软”思维链，替代离散的文本推理步骤，从而显著减少推理时的 token 消耗和计算成本。项目包含两篇论文的实现：ACL'2025 的 SoftCoT 和 SoftCoT++，后者进一步探索了测试时扩展（Test-Time Scaling）策略，在推理时通过调整软思维链的长度或深度来提升模型性能。核心能力包括：将推理过程压缩为向量序列、支持对软思维链长度进行动态控制、与现有 LLM 集成相对简单。该项目主要面向需要高吞吐、低延迟 LLM 推理的场景，如实时对话、边缘部署等。
Chain-of-Thought (CoT) Prompting、Self-Consistency、Tree of Thoughts (ToT)
SoftCoT 是模型训练领域的开源项目，由 xuyige 开发，2025 年首次发布。
它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 96。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。无在线服务，需自行部署，完全免费。
它主要面向的使用场景是：高并发实时推理服务，如聊天机器人、客服系统，需降低单次推理成本。同类可对比的替代方案包括 Chain-of-Thought (CoT) Prompting、Self-Consistency、Tree of Thoughts (ToT)。
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
