Chain-of-Embedding

不生成文字,用嵌入链提前预判大模型输出质量

Chain-of-Embedding 是 ICLR 2025 论文的官方代码与数据仓库,提出了一种无需生成输出即可让大语言模型进行自我评估的方法。它利用潜在空间中的嵌入链(Chain-of-Embedding),通过分析模型内部表示的变化来预测输出质量,从而在生成前或生成中早期发现问题,节省推理成本。核心能力包括:构建嵌入链、训练评估器、支持多种任务(如问答、摘要)的质量预估。该项目解决了传统自评估依赖生成完整文本、计算开销大的痛点,为高效模型监控和自适应生成提供了新思路。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 105
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队Alsace08
所属国家
官网地址
定价模式free
价格说明开源项目,Apache-2.0许可证,代码和数据仓库,可自由使用,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型hallucination-detection,iclr-2025,interpretability,large-language-models,mechanistic-interpretability,self-evaluation,trustworthy-ai
GitHub 星标★ 105
30天Star增速
HF 下载量
上线时间2024-12-09 00:00:00
最近更新2026-09-16 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数7

使用教程

核心亮点

  • 创新性地在潜在空间做自评估,避免完整生成,大幅降低推理开销
  • 提供完整代码和实验数据,便于复现和扩展
  • 方法可适配多种下游任务,通用性强

不足之处

  • 项目处于早期,文档和社区支持待观察
  • 依赖模型内部嵌入,对黑盒API模型不适用

适用场景

  • 大模型推理时的质量监控与早停
  • 资源受限环境下的模型输出筛选
  • 自适应生成策略(如动态调整解码参数)

替代项目

SelfCheckGPT、GPT-4 Self-Evaluation、LLM-as-a-Judge

项目介绍

Chain-of-Embedding 是模型训练领域的开源项目,由 Alsace08 开发,2024 年首次发布。

它收录于模型训练分类,该分类目前共有 522 个项目,GitHub 星标数为 105。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-16。Apache-2.0许可证,代码和数据仓库,可自由使用,无付费版本。

它主要面向的使用场景是:大模型推理时的质量监控与早停。同类可对比的替代方案包括 SelfCheckGPT、GPT-4 Self-Evaluation、LLM-as-a-Judge。

上一篇:CorDA

下一篇:automix

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列,训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性,长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型,练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 62178 2026-08-09
pruna 开源

一键优化 AI 模型,推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1286 2026-08-13