RiOSWorld

测出你的电脑智能体有多“手贱”,防翻车必备

开源 🏷️完全免费 ✅ 目前可打开 智能体 🍴 复刻 10 🐛 待处理 2 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 126
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,提供在线文档和演示页面,核心功能免费使用。

项目预览

RiOSWorld 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类智能体
开发团队yjyddq
定价模式🏷️完全免费
价格说明开源项目,提供在线文档和演示页面,核心功能免费使用。
访问状态✅ 目前可打开
是否开源是
主要语言HTML
技术栈/模型agent,ai-agent,benchmark,computer-use-agent,cua,evaluations,gui-agent,osworld,safety
GitHub 星标★ 126
上线时间2025-05-23 00:00:00
代码更新2025-12-02
仓库体积32.0 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

RiOSWorld 是 NeurIPS 2025 官方发布的基准测试项目,用于评估多模态计算机操作智能体的风险。它基于 OSWorld 框架,专门测试智能体在真实操作系统界面(如 Windows、Linux、macOS)上执行任务时的安全性和可靠性。项目提供了一套标准化的任务集和评估协议,涵盖文件操作、浏览器使用、系统设置等常见场景,重点考察智能体是否会产生误操作、越权访问或破坏性行为。核心能力包括:多平台环境模拟、风险行为标注、自动化评分指标,以及可扩展的任务生成接口。它解决了当前智能体评估中只关注任务完成率而忽视操作风险的问题,为开发者提供了量化安全边界的工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 126

核心亮点

  • 首个聚焦多模态智能体操作风险的基准,填补安全评估空白
  • 基于 OSWorld 真实环境,任务贴近实际使用场景
  • 提供标准化评分和风险标注,便于横向对比不同智能体

不足之处

  • 项目处于早期,文档和社区支持待观察
  • 仅支持有限的操作系统版本,环境搭建成本较高

适用场景

  • 开发电脑操作智能体时进行安全测试
  • 评估企业级智能体在真实系统上的风险等级
  • 学术研究对比不同智能体的操作安全性

替代项目

OSWorld、AgentBench、WebArena

同类项目推荐

UHGEval 开源

一键测出大模型胡说八道,量化幻觉风险

[ACL 2024] User-friendly evaluation framework: Eval Suite & Benchmarks: UHGEval, Hal···

★ 183 2026-08-09
synbad 开源

同一模型多家推理服务商,跑一轮评测看谁更靠谱

LLM evals to test open-source inference providers

★ 138 2026-10-07
defenseclaw 开源

给自主 AI Agent 套上可审计的安全护栏

Security Governance for Agentic AI

★ 912 2026-10-12
InfiniteBench 开源

测出大模型在10万字长文本下的真实水平

Codes for the paper "∞Bench: Extending Long Context Evaluation Beyond 100K Tokens":···

★ 393 2026-08-09
any-guardrail 开源

一个接口切换多种大模型安全护栏,评测对比不再改代码

Giving researchers and practitioners an easy way to switch between guardrails.

★ 131 2026-09-16
PersonaMem 开源

测测你的AI有多懂你:动态画像+个性化回复基准

[COLM 2025] Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and···

★ 207 2026-08-09
keystone-bench 开源

换掉关键事实,看AI医疗建议会不会跟着变

A clinical decision-evidence benchmark: pull the one fact an answer rests on, and se···

★ 1131 2026-09-28
ai-safe2-framework 开源

给 AI 智能体装上治理与合规操作系统,让 AI 安全落地。

The Universal Governance, Risk, Compliance (GRC) Operating System with Integrated Se···

★ 158 2026-08-10
absent-author 开源

用证据清单和 AI agent 揪出没人负责的 AI 论文

Research and writing can be automated. Authorship cannot. Evidence list + agent skil···

★ 147 2026-10-22