
Multi-Modality-Arena
上传图片,并排对比多模态大模型谁更聪明
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 566
使用教程
环境要求
- NVIDIA 显卡
- 模型权重
- conda 环境
安装与启动步骤
-
1建环境
多模态模型的横向评测平台,指定 Python 版本。
conda create -n arena python=3.10 -
2装基础依赖
先用最小集合跑通服务。
pip install numpy gradio uvicorn fastapi -
3起调度端
调度端负责分发请求。
python controller.py -
4挂一个模型
每个模型一个工作进程,指定设备。
python model_worker.py --model-name MODEL --device cuda -
5起评测界面
浏览器里对比不同模型的回答。
python server_demo.py
如何确认成功
同一张图在界面上能同时拿到两个模型的回答并排显示,评分可导出
注意事项
- 它是评测平台,不是模型本身。
- 每个模型占一份显存,挂多了会溢出。
- 榜单分数受提示词影响,横比要固定设置。
- 人工打分的主观差异要多人平均。
核心亮点
- 支持多种主流VLM(MiniGPT-4、LLaVA等),开箱即用
- 基于Gradio,界面友好,上传图片即可直观对比
- 代码结构清晰,易于扩展新模型支持
不足之处
- 文档/社区待观察
- 项目早期,模型接入可能需要额外配置依赖
适用场景
- 研究者快速对比多个VLM在视觉问答上的表现
- 开发者评估不同多模态模型以选择适合业务的方案
- 爱好者体验并比较前沿多模态模型的能力
替代项目
LMSYS Chatbot Arena、OpenCompass、VLMEvalKit
上一篇:chatgpt-failures
下一篇:OPERA
同类项目推荐
speca
开源
把规范文档自动变成审计清单,逐条核查代码
SPECA: Specification-to-Checklist Agentic Auditing Framework
Awesome-LLMSecOps
开源
一库在手,LLM 安全运营全链路资源速查
LLM | Agentic | Security | Operations in one github repo with good links and picture···
node9-proxy
开源
给AI代理装上安全阀,敏感操作先审批再执行
Access control for AI agents. Set what Claude Code, Codex, Gemini, Cursor and any MC···
empirica
开源
给 AI 装上可靠性仪表盘,让每次输出可测量、可拦截、可信赖。
Make AI agents and AI workflows measurably reliable. Epistemic measurement, Noetic R···
bergen
开源
给RAG系统做体检,量化对比谁更强
Benchmarking library for RAG
encord-active
开源
用主动学习挑出最有价值的标注数据,让模型迭代更快更省
The toolkit to test, validate, and evaluate your models and surface, curate, and pri···
hallucination-leaderboard
开源
看哪个大模型摘要最不容易瞎编
Leaderboard Comparing LLM Performance at Producing Hallucinations when Summarizing S···
text2image-benchmark
开源
一键跑分,量化你的文生图模型实力
Benchmark for generative image models
convex-evals
开源
给 Convex 后端做功能与安全体检,部署前拦住越权和逻辑错。