用多模态谜题测出大模型推理短板
LLM-PuzzleTest 是一个专注于多模态谜题推理的开源项目，主要发布用于评估和提升大语言模型（LLM）在多模态谜题场景下推理能力的数据集和模型。该项目针对当前多模态模型在视觉与语言结合的逻辑推理、空间关系理解、模式识别等复杂任务上表现不足的问题，提供了一套标准化的测试基准和配套的模型权重。核心能力包括：构建包含图像与文本混合的谜题数据集，覆盖多种推理类型；提供基线模型及训练/微调代码，便于研究者复现和对比；支持对模型在谜题推理上的细粒度评估，帮助定位模型短板。项目目前处于早期阶段，数据集和模型规模有限，但为多模态推理研究提供了一个可扩展的起点，适合学术研究和模型评测场景。
PuzzleQA、VQA (Visual Question Answering)、MMMU
LLM-PuzzleTest 是数据集领域的开源项目，由 declare-lab 开发，2024 年首次发布。
它收录于数据集分类，该分类目前共有 279 个项目，GitHub 星标数为 119。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-09。开源数据集和模型，MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：学术研究：评估多模态大模型的推理能力。同类可对比的替代方案包括 PuzzleQA、VQA (Visual Question Answering)、MMMU。
X-AnyLabeling
开源
一站式AI辅助标注，图像视频文本通吃，导出格式随心配
X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···
aisheets
开源
像用表格一样批量调 AI，不写代码就能造和改数据集
Build, enrich, and transform datasets using AI models with no code
distilabel
开源
基于论文的合成数据流水线，快速生成高质量 AI 反馈数据。
Distilabel is a framework for synthetic data and AI feedback for engineers who need ···
DataGen
开源
用大模型一键生成定制化训练数据，告别数据荒
[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models
