long-form-factuality

测出大模型长篇回答里有多少真话

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 89 🐛 待处理 28 👀 关注 9

GitHub ↗

GitHub 星标 ★ 698

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，代码公开，可自行部署使用，无收费计划。

项目预览

long-form-factuality 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队google-deepmind

GitHubhttps://github.com/google-deepmind/long-form-factuality

定价模式🏷️完全免费

价格说明开源项目，代码公开，可自行部署使用，无收费计划。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型benchmark,dataset,evaluation,factuality,language,language-modeling,large-language-models,metrics

GitHub 星标★ 698

上线时间2024-03-25 00:00:00

代码更新2026-06-18

仓库体积782 KB

本站数据更新2026-11-11

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

这是一个用于评估大语言模型长文本事实性（long-form factuality）的基准测试工具，来自论文《Long-form factuality in large language models》的官方代码。它解决了当前LLM在生成开放式长回答时容易产生事实性错误、且缺乏系统评估方法的问题。核心能力包括：提供了一套包含38个主题、覆盖广泛领域的提示词集（LongFact），用于触发模型生成长文本回答；实现了基于细粒度事实分解的自动评估指标（如F1分数），通过将回答拆分为独立事实点并与参考知识库比对，量化模型的事实准确率；支持多种主流LLM（如GPT、Claude、Llama等）的接入与评估，并提供了可视化分析工具。该基准有助于研究者客观比较不同模型在长文本生成中的事实可靠性，推动模型在事实性方面的改进。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 698

技术标签

benchmark dataset evaluation language large-language-models

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 60 分钟部署方式：本地安装 5 步

环境要求

Python 3.10
模型 API Key（有调用成本）
待评测长文样本

安装与启动步骤

1克隆仓库

这是论文的长文事实性评测代码，包含数据生成与评测两条链路。
```
git clone https://github.com/google-deepmind/long-form-factuality.git
```
2建环境

官方给的是 python 3.10 的 conda 环境。
```
conda create --name longfact python=3.10
```
3装依赖

依赖里有模型客户端，装之前把密钥准备好。
```
pip install -r requirements.txt
```
4生成评测数据

数据生成管线会调用模型分解长文里的原子事实，费用与文本量成正比。
```
python -m data_creation.pipeline
```
5跑评测

评测脚本按声明拆解再逐条核验，先小样本验证再放量。
```
python -m main.pipeline
```