geobench

用 GeoGuessr 游戏场景,测出 AI 的地理定位智商。

开源 🏷️完全免费 ✅ 目前可打开 对话助手 🍴 复刻 5 🐛 待处理 3 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 65
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源基准测试项目,提供在线网站,完全免费使用。

项目预览

geobench 项目界面预览图
图片来源:项目官网

项目数据

分类对话助手
开发团队ccmdi
定价模式🏷️完全免费
价格说明开源基准测试项目,提供在线网站,完全免费使用。
访问状态✅ 目前可打开
是否开源是
开源协议MIT
主要语言Python
技术栈/模型benchmark,chatgpt,claude,gemini,geoguessr,llama,llm
GitHub 星标★ 65
上线时间2025-03-22 00:00:00
代码更新2026-09-21
仓库体积970 KB
本站数据更新2026-11-11
维护状态维护中
收录时间2026-08-09
浏览次数3

项目介绍

geobench 是一个专门为语言模型设计的 GeoGuessr 基准测试工具,旨在评估 AI 模型在地理定位和空间推理方面的能力。它通过模拟 GeoGuessr 游戏场景,让模型根据街景图像或环境描述推断地理位置,从而量化模型的视觉-语言理解、常识推理和地理知识水平。该工具支持多种主流 LLM(如 ChatGPT、Claude、Gemini、Llama),提供标准化测试流程和评分机制,帮助研究者和开发者横向对比不同模型的地理感知能力。核心能力包括自动生成测试用例、管理 API 调用、计算准确率与误差距离,并输出结构化结果,便于集成到模型评估管线中。解决的核心问题是:现有基准多聚焦文本或代码,缺乏对空间智能和地理常识的系统性评测,geobench 填补了这一空白。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 65

核心亮点

  • 首创将 GeoGuessr 游戏转化为 LLM 空间推理基准,评测维度新颖
  • 支持多模型接入(ChatGPT/Claude/Gemini/Llama),对比方便
  • 输出误差距离和准确率,量化指标直观可复现

不足之处

  • 项目处于早期,测试场景覆盖度和文档完善度有限
  • 依赖外部地图数据,可能受 API 配额和版权限制

适用场景

  • 评估多模态 LLM 的地理常识和视觉定位能力
  • 对比不同模型在空间推理任务上的表现差异
  • 作为地理相关 AI 应用(如导航、旅游推荐)的预测试

替代项目

GeoBench、SpatialBench、VQA-Geo

同类项目推荐

hash-hop 开源

自动生成超长文本定位题,快速测出模型长上下文真本事

Long context evaluation for large language models

★ 228 2026-09-25
openevals 开源

几行代码给 LLM 应用打分,快速比出哪个版本更好

Readymade evaluators for your LLM apps

★ 1250 2026-09-12
eva 开源

一套框架,全面衡量语音代理表现,快速定位短板。

A New End-to-end Framework for Evaluating Voice Agents

★ 236 2026-08-09
Oversight 开源

模块化拆解 LLM,自动红队测试,发现漏洞

A Completely Modular LLM Reverse Engineering, Red Teaming, and Vulnerability Researc···

★ 55 2026-08-09
Doberman-Core 开源

运行时拦截 AI 的每个动作,防止危险操作执行

Your AI's guard dog. Doberman sits at runtime, gating every input, output and tool c···

★ 243 2026-08-26
Robust-U1 开源

让多模态模型自己修复坏图,理解不翻车

[ICML 2026] Official Implementation of Robust-U1: Can MLLMs Self-Recover Corrupted V···

★ 354 2026-08-09
evalscope 开源

一键评测大模型,性能基准轻松跑

A streamlined and customizable framework for efficient large model (LLM, VLM, AIGC) ···

★ 3678 2026-08-09
MMAD 开源

用统一基准测出多模态大模型在工业质检中的真实水平

The Codes and Data of A Comprehensive Benchmark for Multimodal Large Language Models···

★ 280 2026-10-28