SpatialEval

测出大模型空间推理真实水平，选模型不再靠猜

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 5 🐛 待处理 2 👀 关注 2
GitHub ↗
GitHub 星标 ★ 62
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源基准测试项目，完全免费，无付费版本。

项目预览

SpatialEval 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队jiayuww
GitHubhttps://github.com/jiayuww/SpatialEval
定价模式🏷️完全免费
价格说明开源基准测试项目，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型claude,foundation-models,gemini,gpt-4o,gpt-4v,large-language-models,llama3,machine-learning,multimodal-deep-learning,reasoning,spatial-reasoning,vision-language-models
GitHub 星标★ 62
上线时间2024-10-23 00:00:00
代码更新2025-01-23
仓库体积4.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

SpatialEval 是一个用于评估多模态大语言模型（MLLMs）和纯语言模型（LLMs）空间推理能力的基准测试工具，相关论文发表于 NeurIPS 2024。它针对当前模型在空间理解上的短板，提供了一套系统化的评测方案，涵盖多种空间推理任务，如方向判断、距离估计、空间关系理解等。通过标准化的测试集和评分机制，研究者可以量化比较不同模型的空间认知水平，从而推动模型在空间智能方向上的改进。该工具主要面向 AI 研究者、模型开发者和评测人员，帮助他们快速定位模型在空间推理方面的弱点，并作为模型迭代的参考依据。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 62

核心亮点

  • 首个系统化覆盖多种空间推理任务的基准，填补评测空白
  • 支持多模态和纯语言模型，适用范围广
  • 基于 NeurIPS 论文，方法论有学术背书

不足之处

  • 项目处于早期，文档和社区支持待观察

适用场景

  • 对比不同多模态模型的空间理解能力
  • 在模型训练中作为空间推理能力的验证集
  • 学术研究中评估模型的空间认知缺陷

替代项目

BLINK、MME、MMBench

上一篇：tensor-trust

下一篇：VLGuard

同类项目推荐

aws-bench 开源

给AI智能体在真实AWS云上打分的基准测试

aws-bench measures how well AI agents and model combinations perform on real AWS wor···

★ 144 2026-08-09
benchmark 开源

用200个真实网页任务，跑分对比你的浏览器AI智能体

Open benchmarks for browser agents: BU Bench V2.1, 200 real web tasks. Rerun them wi···

★ 167 2026-10-21
Guardrails 开源

给大模型对话装上可编程的安全护栏，防止跑偏和有害输出。

NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails ···

★ 7455 2026-08-10
trustmebro 开源

伪造工具输出，测出模型护栏会不会被骗

Bypass llm guardrails by confusing it with fabricated tool output.

★ 607 2026-09-16
lintlang 开源

上线前扫一遍，AI 智能体配置不踩坑

Static analysis for AI agent configs, tool descriptions, and system prompts — catch···

★ 144 2026-08-09
TaskMeAnything 开源

自动生成多模态任务，全面评估模型能力

[NeurIPS 2024] A task generation and model evaluation system for multimodal languag···

★ 71 2026-08-09
Omni-SafetyBench 开源

给音视频大模型做安全体检，发现隐藏风险

[ACM MM 2026] Code for paper "Omni-SafetyBench: A Benchmark for Safety Evaluation of···

★ 116 2026-08-09
StreamEval 开源

给流式交互视频生成立一把可复现的评测尺

The first-ever interactive streaming video generation benchmark.

★ 619 2026-10-26
deepchecks 开源

给 ML 模型和数据做全面体检，从研究到生产持续验证

Deepchecks: Tests for Continuous Validation of ML Models & Data. Deepchecks is a hol···

★ 4068 2026-08-09