Latent-SFT

让大模型在潜在空间里思考，推理更快更省token

Latent-SFT 是一个开源项目，提供了论文《Latent-SFT: teaching LLMs to reason with vocabulary-space latent chains》的官方实现。该项目旨在解决大语言模型在复杂推理任务中，传统思维链（CoT）方法需要生成冗长中间步骤、推理效率低且推理过程受限于显式文本表达的问题。其核心能力是引入“词汇空间潜在链”的概念，通过让模型在词汇表征的潜在空间中直接进行推理，而非显式生成每一步的文本，从而在保持甚至提升推理准确率的同时，显著减少推理所需的 token 数量，提升推理速度。项目提供了完整的训练和推理代码，支持在常见 LLM 基础上进行微调，并包含了与标准 SFT 和 CoT 方法的对比实验配置，方便研究者复现和扩展。