Satori

用强化学习让大模型学会自主搜索推理路径，提升复杂问题解决能力

Satori是一个基于强化学习的开源模型，旨在通过链式动作思维（Chain-of-Action-Thought）增强大语言模型的推理能力。它由ICML 2025论文提出，核心思路是将推理过程建模为自回归搜索，利用强化学习让模型学会在动作序列中探索和回溯，从而提升复杂推理任务的表现。Satori解决了传统监督微调在推理泛化上的局限，使模型能够自主发现有效的推理路径，而不仅限于模仿训练数据。其核心能力包括：支持可验证奖励的强化学习训练、动态调整推理步数、以及结合搜索策略的推理优化。项目代码基于Python实现，适合研究者和工程师在数学、逻辑、代码生成等需要多步推理的场景中应用。目前项目处于早期阶段，星标数114，但提供了完整的训练和推理流程，便于复现和二次开发。