OneGen

一次前向传播，边生成边检索，让 LLM 知识问答更快更准。

OneGen 是一个针对大型语言模型（LLM）的高效统一生成与检索框架，发表于 EMNLP 2024。它解决了传统 RAG（检索增强生成）中生成与检索分离、需要多阶段处理导致效率低下的问题。OneGen 提出了一种单次前向传播（one-pass）的范式，将检索和生成任务整合到同一个解码过程中，模型在生成文本的同时能够直接输出检索到的文档或知识，无需额外的检索器或多次调用。其核心能力包括：统一的检索-生成训练目标、高效的注意力机制设计，以及支持多种下游任务（如开放域问答、知识密集型生成）的灵活适配。通过减少推理步骤和计算开销，OneGen 显著提升了 LLM 在知识密集型场景下的响应速度和准确性，为构建更高效的 RAG 系统提供了新的思路。