long-form-factuality

测出大模型长篇回答里有多少真话

这是一个用于评估大语言模型长文本事实性（long-form factuality）的基准测试工具，来自论文《Long-form factuality in large language models》的官方代码。它解决了当前LLM在生成开放式长回答时容易产生事实性错误、且缺乏系统评估方法的问题。核心能力包括：提供了一套包含38个主题、覆盖广泛领域的提示词集（LongFact），用于触发模型生成长文本回答；实现了基于细粒度事实分解的自动评估指标（如F1分数），通过将回答拆分为独立事实点并与参考知识库比对，量化模型的事实准确率；支持多种主流LLM（如GPT、Claude、Llama等）的接入与评估，并提供了可视化分析工具。该基准有助于研究者客观比较不同模型在长文本生成中的事实可靠性，推动模型在事实性方面的改进。