freshqa 是数据集领域的开源项目，由 freshllms 开发，2023 年首次发布。
它收录于数据集分类，该分类目前共有 279 个项目，GitHub 星标数为 402。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。代码和数据公开，可自行部署使用，完全免费。
它主要面向的使用场景是：评估LLM对最新事件的知识更新能力。同类可对比的替代方案包括 FreshQA、TimeQA、StreamingQA。
freshqa
测测你的AI模型，能否答对最新鲜的问题
FreshQA是一个用于评估大型语言模型（LLM）事实性和时效性的问答基准数据集，源自论文FreshLLMs。它包含约600个需要最新信息才能正确回答的问题，覆盖新闻、体育、科技等多个领域，并标注了答案的时效性要求。项目提供了数据加载、评估脚本和提示模板，帮助研究者衡量模型在处理动态信息时的表现，尤其关注模型能否识别自身知识截止日期并拒绝回答或检索最新信息。核心能力包括：支持多格式数据、提供自动化评估流程、以及对比不同模型在时效性问题上的准确率。该数据集旨在推动LLM从静态知识库向实时信息检索与推理的方向发展，解决模型因训练数据过时而产生的事实性错误问题。
开源
free
开源模型
GitHub 星标
★ 402
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队freshllms
所属国家
定价模式free
价格说明开源项目，代码和数据公开，可自行部署使用，完全免费。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型few-shot-prompting,in-context-learning,large-language-models,retrieval-augmented-generation
GitHub 星标★ 402
30天Star增速
HF 下载量
上线时间2023-10-03 00:00:00
最近更新2026-09-23 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5
使用教程
核心亮点
- 聚焦时效性，填补了传统问答基准（如SQuAD）对动态信息评估的空白
- 提供人工标注的答案类型和时效性标签，便于分析模型失败原因
- 附带了多种提示模板和评估脚本，开箱即用
不足之处
- 数据集规模较小（约600题），可能不足以全面衡量模型能力
- 文档/社区待观察
适用场景
- 评估LLM对最新事件的知识更新能力
- 对比不同模型在时效性问答上的表现
- 研究模型何时应承认知识过时并触发检索
替代项目
FreshQA、TimeQA、StreamingQA
项目介绍
同类项目推荐
X-AnyLabeling
开源
一站式AI辅助标注，图像视频文本通吃，导出格式随心配
X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···
aisheets
开源
像用表格一样批量调 AI，不写代码就能造和改数据集
Build, enrich, and transform datasets using AI models with no code
distilabel
开源
基于论文的合成数据流水线，快速生成高质量 AI 反馈数据。
Distilabel is a framework for synthetic data and AI feedback for engineers who need ···
DataGen
开源
用大模型一键生成定制化训练数据，告别数据荒
[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models