LLM-PuzzleTest

用多模态谜题测出大模型推理短板

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 8 👀 关注 6
GitHub ↗
GitHub 星标 ★ 122
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源数据集和模型,MIT许可证,完全免费,可自行部署使用。

项目预览

LLM-PuzzleTest 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队declare-lab
定价模式🏷️完全免费
价格说明开源数据集和模型,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型gemini,gemini-pro,gpt-4,language-model,large-language-models,llm,llms,multimodal-deep-learning,multimodal-learning
GitHub 星标★ 122
上线时间2024-02-20 00:00:00
代码更新2025-02-26
仓库体积133.7 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

LLM-PuzzleTest 是一个专注于多模态谜题推理的开源项目,主要发布用于评估和提升大语言模型(LLM)在多模态谜题场景下推理能力的数据集和模型。该项目针对当前多模态模型在视觉与语言结合的逻辑推理、空间关系理解、模式识别等复杂任务上表现不足的问题,提供了一套标准化的测试基准和配套的模型权重。核心能力包括:构建包含图像与文本混合的谜题数据集,覆盖多种推理类型;提供基线模型及训练/微调代码,便于研究者复现和对比;支持对模型在谜题推理上的细粒度评估,帮助定位模型短板。项目目前处于早期阶段,数据集和模型规模有限,但为多模态推理研究提供了一个可扩展的起点,适合学术研究和模型评测场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 122

核心亮点

  • 提供标准化多模态谜题数据集,覆盖空间、逻辑、模式等多种推理类型
  • 附带基线模型和训练代码,开箱即用,便于复现和对比实验
  • 细粒度评估指标,能清晰暴露模型在视觉-语言推理上的具体弱点

不足之处

  • 数据集规模较小,覆盖场景有限,可能不足以全面反映模型能力
  • 文档/社区待观察

适用场景

  • 学术研究:评估多模态大模型的推理能力
  • 模型开发:针对谜题推理任务进行微调和优化
  • 教育评测:构建智力测试或AI能力基准

替代项目

PuzzleQA、VQA (Visual Question Answering)、MMMU

上一篇:DataGen

下一篇:Craw4LLM

同类项目推荐

Awesome-Electrical-Grid-Mapping 开源

一站找齐全球电网地图与数据集,省去到处搜的麻烦

A curated dataset of global electrical grid maps, datasets and resources.

★ 170 2026-09-21
datasets 开源

一行代码加载海量数据集,高效处理 AI 数据

The largest hub of ready-to-use datasets for AI models with fast, easy-to-use and ef···

★ 22117 2026-08-09
semhash 开源

一句话找出数据集里语义重复的样本,快速去重。

Fast Multimodal Semantic Deduplication & Filtering

★ 978 2026-10-18
Anime-Face-Dataset 开源

下载即用,快速训练动漫人脸生成模型

A collection of high-quality anime faces.

★ 434 2026-08-09
giga-datasets 开源

统一轻量框架,一站式完成大模型数据清洗筛选与可视化

GigaDatasets: A Unified and Lightweight Framework for Data Processing, Curation, and···

★ 644 2026-09-21
Awesome-Data-Efficient-LLM 开源

一份论文清单,帮你快速掌握LLM数据高效利用的核心方法

A list of data-efficient and data-centric LLM (Large Language Model) papers. Our Sur···

★ 65 2026-08-09
datachain 开源

把散乱文件变成可版本管理的数据集,直接喂给 AI 模型

The Context Layer for unstructured data: typed, versioned datasets over S3, GCS, Azu···

★ 2831 2026-08-09
Cosmos-Drive-Dreams 开源

用世界模型生成海量驾驶视频,低成本覆盖极端场景

Cosmos-Drive-Dreams: Scalable Synthetic Driving Data Generation with World Foundatio···

★ 556 2026-08-09
freshqa 开源

测测你的AI模型,能否答对最新鲜的问题

Data and code for FreshLLMs (https://arxiv.org/abs/2310.03214)

★ 404 2026-08-09