Latent-SFT

让大模型在潜在空间里思考，推理更快更省token

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 3
GitHub ↗
GitHub 星标 ★ 62
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

Latent-SFT 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队DJC-GO-SOLO
GitHubhttps://github.com/DJC-GO-SOLO/Latent-SFT
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型chain-of-thought,large-language-models,latent-reasoning,llm,superposition
GitHub 星标★ 62
上线时间2025-09-25 00:00:00
代码更新2026-08-31
仓库体积6.1 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数5

项目介绍

Latent-SFT 是一个开源项目，提供了论文《Latent-SFT: teaching LLMs to reason with vocabulary-space latent chains》的官方实现。该项目旨在解决大语言模型在复杂推理任务中，传统思维链（CoT）方法需要生成冗长中间步骤、推理效率低且推理过程受限于显式文本表达的问题。其核心能力是引入“词汇空间潜在链”的概念，通过让模型在词汇表征的潜在空间中直接进行推理，而非显式生成每一步的文本，从而在保持甚至提升推理准确率的同时，显著减少推理所需的 token 数量，提升推理速度。项目提供了完整的训练和推理代码，支持在常见 LLM 基础上进行微调，并包含了与标准 SFT 和 CoT 方法的对比实验配置，方便研究者复现和扩展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 62

核心亮点

  • 官方实现，代码结构清晰，便于复现论文实验
  • 提出新颖的潜在链推理范式，可显著减少推理时生成的token数量
  • 支持在主流开源LLM上直接微调，上手门槛低

不足之处

  • 项目处于早期阶段，文档和社区支持待观察
  • 潜在链的泛化能力和可解释性尚未充分验证

适用场景

  • 需要高吞吐量、低延迟的LLM推理服务
  • 长链推理任务中希望降低计算成本
  • 研究LLM推理机制和效率优化的学术场景

替代项目

Chain-of-Thought (CoT) SFT、Quiet-STaR、Coconut (Chain of Continuous Thought)

上一篇：AgentGym

下一篇：LightCompress

同类项目推荐

qapyq 开源

一键策展海量图像视频，自动标注裁剪遮罩，加速 LoRA 训练

AI-assisted media curator for large image/video datasets. Streamlined captioning, cr···

★ 162 2026-08-09
FineTuningLLMs 开源

跟着书一步步微调大模型，从零跑通全流程

Official repository of my book "A Hands-On Guide to Fine-Tuning LLMs with PyTorch an···

★ 878 2026-08-09
aws-mlops-handson 开源

在AWS上快速搭建CTR预测的MLOps全流程

This repository provides a comprehensive ML infrastructure for CTR prediction, focus···

★ 63 2026-08-09
BloomBee 开源

多台普通设备拼起来，也能微调和跑大模型

Decentralized LLMs fine-tuning and inference with offloading

★ 135 2026-09-16
FedKTL 开源

用服务端预训练生成器，让异构联邦学习上传更少、效果更好。

CVPR 2024 accepted paper, An Upload-Efficient Scheme for Transferring Knowledge From···

★ 69 2026-08-09
Visual-ERM 开源

训练视觉奖励模型，让AI输出更符合人类视觉偏好

[NeurIPS 2026] Official Implementation of "Visual-ERM: Reward Modeling for Visual Eq···

★ 68 2026-08-09
DiffusionOPSD 开源

让扩散模型自我蒸馏，少步采样也能生成高质量图像

On-Policy Self-Distillation in Diffusion Models

★ 1056 2026-08-29
DeepSpeed 开源

几行配置把单卡训练扩到多机多卡，省显存提吞吐

DeepSpeed is a deep learning optimization library that makes distributed training an···

★ 43312 2026-11-08
vertex-ai-mlops 开源

照着做，就能在 Google Cloud 上跑通生产级 ML 流水线

Google Cloud Platform Vertex AI end-to-end workflows for machine learning operations

★ 720 2026-08-09