freshqa

测测你的AI模型,能否答对最新鲜的问题

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 21 🐛 待处理 1 👀 关注 20
GitHub ↗
GitHub 星标 ★ 404
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,代码和数据公开,可自行部署使用,完全免费。

项目预览

freshqa 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队freshllms
定价模式🏷️完全免费
价格说明开源项目,代码和数据公开,可自行部署使用,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型few-shot-prompting,in-context-learning,large-language-models,retrieval-augmented-generation
GitHub 星标★ 404
上线时间2023-10-03 00:00:00
代码更新2026-05-01
仓库体积343 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

FreshQA是一个用于评估大型语言模型(LLM)事实性和时效性的问答基准数据集,源自论文FreshLLMs。它包含约600个需要最新信息才能正确回答的问题,覆盖新闻、体育、科技等多个领域,并标注了答案的时效性要求。项目提供了数据加载、评估脚本和提示模板,帮助研究者衡量模型在处理动态信息时的表现,尤其关注模型能否识别自身知识截止日期并拒绝回答或检索最新信息。核心能力包括:支持多格式数据、提供自动化评估流程、以及对比不同模型在时效性问题上的准确率。该数据集旨在推动LLM从静态知识库向实时信息检索与推理的方向发展,解决模型因训练数据过时而产生的事实性错误问题。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 404

核心亮点

  • 聚焦时效性,填补了传统问答基准(如SQuAD)对动态信息评估的空白
  • 提供人工标注的答案类型和时效性标签,便于分析模型失败原因
  • 附带了多种提示模板和评估脚本,开箱即用

不足之处

  • 数据集规模较小(约600题),可能不足以全面衡量模型能力
  • 文档/社区待观察

适用场景

  • 评估LLM对最新事件的知识更新能力
  • 对比不同模型在时效性问答上的表现
  • 研究模型何时应承认知识过时并触发检索

替代项目

FreshQA、TimeQA、StreamingQA

上一篇:data_io

下一篇:Awesome-Cold-Start-Recommendation

同类项目推荐

gpic 开源

构建合规高质量图像语料,助力视觉生成模型训练

Official Code for GPIC: A Giant Permissive Image Corpus for Visual Generation

★ 62 2026-08-09
paperlists 开源

现成的会议论文清洗数据,拿来就能做分析

Processed / Cleaned Data for Paper Copilot

★ 967 2026-11-06
iterater 开源

看懂人类改稿套路,让 AI 学会帮你改文章。

Official implementation of the paper "IteraTeR: Understanding Iterative Revision fro···

★ 85 2026-08-09
DailyTalk 开源

让 TTS 学会对话,生成自然多轮语音

Official repository of DailyTalk: Spoken Dialogue Dataset for Conversational Text-to···

★ 262 2026-08-09
Nepali-Datasets 开源

尼泊尔语数据资源一页汇总,省去到处翻找的麻烦

A list of Nepali Dataset sources. (Hoping that it will encourage everyone to researc···

★ 120 2026-09-21
Awesome-Electrical-Grid-Mapping 开源

一站找齐全球电网地图与数据集,省去到处搜的麻烦

A curated dataset of global electrical grid maps, datasets and resources.

★ 170 2026-09-21
synthetic-data-showcase 开源

生成假数据保真又护隐私,还能直接看界面

Generates synthetic data and user interfaces for privacy-preserving data sharing and···

★ 127 2026-09-12
ABSADatasets 开源

一站式获取 ABSA 和文本分类数据集,直接训练模型

Public & Community-shared datasets for Aspect-based sentiment analysis and Text Clas···

★ 246 2026-09-21
SDV 开源

把真实表格数据变成安全逼真的假数据,随便用不泄露隐私

Synthetic data generation for tabular data

★ 3604 2026-08-10