prontoqa

用合成问答数据,精准剖析大模型推理链条

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 17 👀 关注 4
GitHub ↗
GitHub 星标 ★ 169
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源数据集,Apache-2.0 许可证,完全免费使用。

项目预览

prontoqa 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队asaparov
定价模式🏷️完全免费
价格说明开源数据集,Apache-2.0 许可证,完全免费使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型dataset-generation,large-language-models,question-answering
GitHub 星标★ 169
上线时间2022-07-01 00:00:00
代码更新2025-09-09
仓库体积42.6 MB
本站数据更新2026-11-11
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

ProntoQA 是一个用于正式分析大语言模型在推理任务中思维链输出的合成问答数据集。它通过生成结构化的推理问题,帮助研究者和开发者评估模型在复杂逻辑推理上的表现,特别是模型在生成思维链时的准确性和一致性。该项目解决了当前大语言模型在推理任务中可解释性和可靠性不足的问题,提供了可控的合成数据来系统性地测试模型的推理能力。核心能力包括生成具有明确推理步骤的问答对,支持对思维链的细粒度分析,以及为模型推理研究提供标准化基准。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 169

核心亮点

  • 合成数据可控性强,能精确设计推理路径和干扰项
  • 专门针对思维链分析,支持细粒度的推理步骤评估
  • 数据生成代码开源,易于扩展和定制

不足之处

  • 合成数据与真实世界问题存在分布差异
  • 文档/社区待观察

适用场景

  • 评估大语言模型的逻辑推理能力
  • 研究思维链生成过程中的错误模式
  • 对比不同模型在结构化推理任务上的表现

替代项目

GSM8K、StrategyQA、BIG-bench

同类项目推荐

Awesome-Data-Efficient-LLM 开源

一份论文清单,帮你快速掌握LLM数据高效利用的核心方法

A list of data-efficient and data-centric LLM (Large Language Model) papers. Our Sur···

★ 65 2026-08-09
LLM-PuzzleTest 开源

用多模态谜题测出大模型推理短板

This repository is maintained to release dataset and models for multimodal puzzle re···

★ 122 2026-08-09
ObjaversePlusPlus 开源

想要高质量3D数据?Objaverse++ 帮你筛选出精品,训练效果更稳。

[ICCV 2025] Repo for Objaverse++, Curated 3D Object Dataset with Quality Annotations

★ 116 2026-08-09
sodaverse 开源

用GPT-3蒸馏百万级社交常识对话,让AI聊天更懂人情世故。

‍Code and dataset for our EMNLP 2023 paper - "SODA: Million-scale Dialogue Distilla···

★ 245 2026-08-09
greenmask 开源

一条命令把生产库脱敏成安全测试数据

Database anonymization and test data management

★ 1803 2026-08-10
llm4ea_official 开源

用大模型自动标注,低成本搞定知识图谱实体对齐

[NeurIPS‘24] LLM4EA: Entity Alignment with Noisy Annotations from Large Language Mo···

★ 64 2026-08-09
AlignLedger 开源

把标注、审核、溯源和数据集冻结串成一条可复现流水线

Human-feedback and data-governance infrastructure for RSI research: annotation, revi···

★ 100 2026-11-02
dataset-viewer 开源

不下载数据集,网页直接看样本和统计

Backend that powers the dataset viewer on Hugging Face dataset pages through a publi···

★ 908 2026-09-21