factualNLG

用新基准测出LLM事实性推理真实水平

factualNLG 是一个用于事实性自然语言生成（NLG）研究的开源项目，对应 arXiv 论文《LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond》。该项目主要解决大语言模型（LLM）在事实性推理任务中的评估基准不足问题，通过分析现有基准的局限性，提出新的评估方法和数据集，以更准确地衡量模型生成内容的事实一致性。核心能力包括：提供论文实验代码、构建新的基准测试集、实现多种事实性评估指标，并支持对主流 LLM 进行事实性推理能力的对比分析。项目采用 Jupyter Notebook 形式，便于研究者复现实验和扩展研究。目前处于早期阶段，代码结构清晰，适合学术研究使用。