factualNLG

用新基准测出LLM事实性推理真实水平

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 4 🐛 待处理 1 👀 关注 5
GitHub ↗
GitHub 星标 ★ 60
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，可免费使用和部署。

项目预览

factualNLG 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队salesforce
GitHubhttps://github.com/salesforce/factualNLG
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型factual-consistency,factuality,large-language-models,llm,nlp,summarization
GitHub 星标★ 60
上线时间2023-05-16 00:00:00
代码更新2026-06-02
仓库体积1.6 MB
本站数据更新2026-11-11
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

factualNLG 是一个用于事实性自然语言生成（NLG）研究的开源项目，对应 arXiv 论文《LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond》。该项目主要解决大语言模型（LLM）在事实性推理任务中的评估基准不足问题，通过分析现有基准的局限性，提出新的评估方法和数据集，以更准确地衡量模型生成内容的事实一致性。核心能力包括：提供论文实验代码、构建新的基准测试集、实现多种事实性评估指标，并支持对主流 LLM 进行事实性推理能力的对比分析。项目采用 Jupyter Notebook 形式，便于研究者复现实验和扩展研究。目前处于早期阶段，代码结构清晰，适合学术研究使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 60

核心亮点

  • 提供论文配套代码，复现实验门槛低
  • 针对现有基准缺陷提出改进，评估更可靠
  • 基于Jupyter Notebook，交互式分析友好

不足之处

  • 文档/社区待观察
  • 依赖论文细节，独立使用需先读论文

适用场景

  • 学术研究：评估LLM事实性推理能力
  • 基准测试设计：改进现有NLG评估方法
  • 模型对比：比较不同LLM的事实一致性

替代项目

TRUE、QAGS、SummaC

上一篇：Robust-U1

下一篇：agentdojo

同类项目推荐

param 开源

参数化基准组合，一键测出训练推理平台真实性能

PArametrized Recommendation and Ai Model benchmark is a repository for development o···

★ 156 2026-10-31
bigcodebench 开源

用真实编程难题，测出大模型代码能力的真实天花板

[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI

★ 517 2026-08-09
LLMRouterBench 开源

把各家大模型路由方法拉到同一张考卷上比高低

[Findings@ACL'26] LLMRouterBench: A Massive Benchmark and Unified Framework for LLM ···

★ 133 2026-10-26
CRUD_RAG 开源

测一测你的RAG系统，中文场景下到底行不行

CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of La···

★ 419 2026-08-09
www-project-agent-memory-guard 开源

给AI智能体记忆加把锁，防投毒防操控

Runtime defense against memory poisoning in AI agents (OWASP ASI06). Drop-in for Lan···

★ 201 2026-08-09
trustmebro 开源

伪造工具输出，测出模型护栏会不会被骗

Bypass llm guardrails by confusing it with fabricated tool output.

★ 609 2026-09-16
prompt-guard 开源

给 AI 智能体装上防注入防火墙，自动识别恶意提示并评分。

Advanced prompt injection defense system for AI agents. Multi-language detection, se···

★ 180 2026-08-09
bergen 开源

给RAG系统做体检，量化对比谁更强

Benchmarking library for RAG

★ 282 2026-08-09
torch-fidelity 开源

PyTorch 生成模型指标，数值对齐可复现

High-fidelity performance metrics for generative models in PyTorch

★ 1207 2026-11-03