XLingEval

测测大模型用不同语言回答医疗问题的靠谱程度

XLingEval 是一个用于跨语言评估大型语言模型(LLM)在医疗健康查询场景中表现的开源工具包,源自同名论文。它主要解决非英语用户在向LLM提出医疗问题时,模型回答质量因语言而异的问题,尤其是当用户用母语提问时,模型性能可能显著下降。该工具提供了一套标准化的评估流程和资源,包括多语言医疗查询数据集、评估指标以及基线模型结果,帮助研究者和开发者量化LLM在不同语言下的医疗信息准确性、安全性和有用性。其核心能力在于构建了跨语言医疗评估基准,支持多语言输入,并提供了可复现的评估脚本,便于社区扩展新语言或新模型。项目目前处于早期阶段,代码结构清晰,适合作为学术研究或医疗AI产品多语言能力测试的参考框架。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 235
维护状态 低维护
是否开源
定价模式 free

项目数据

分类开源模型
开发团队claws-lab
所属国家
定价模式free
价格说明开源项目,Apache-2.0 许可证,代码和资源免费获取,无付费版本。
访问状态
是否开源
开源协议Apache-2.0
主要语言Python
技术栈/模型artificial-intelligence,benchmark,cross-lingual-evaluation,evaluation-framework,healthcare-application,large-language-models
GitHub 星标★ 235
30天Star增速
HF 下载量
上线时间2023-10-18 00:00:00
最近更新2026-09-22 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 聚焦医疗垂直领域,评估指标贴合医疗场景(如安全性、有用性),而非通用问答
  • 提供多语言医疗查询数据集,可直接复现论文实验,降低研究门槛
  • 代码基于Python,结构模块化,便于扩展新语言或接入新模型

不足之处

  • 文档/社区待观察
  • 数据集规模可能有限,覆盖语言和疾病范围待验证

适用场景

  • 研究LLM在多语言医疗场景下的性能差异,指导模型优化
  • 医疗AI产品上线前,评估不同语言用户的实际体验质量
  • 构建多语言医疗问答基准,对比不同模型的跨语言能力

替代项目

MultiMedQA、MMLU (医疗子集)、X-CrossEval

项目介绍

XLingEval 是评测安全领域的开源项目,由 claws-lab 开发,2023 年首次发布。

它收录于评测安全分类,该分类目前共有 458 个项目,GitHub 星标数为 235。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-22。Apache-2.0 许可证,代码和资源免费获取,无付费版本。

它主要面向的使用场景是:研究LLM在多语言医疗场景下的性能差异,指导模型优化。同类可对比的替代方案包括 MultiMedQA、MMLU (医疗子集)、X-CrossEval。

同类项目推荐

akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1517 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2937 2026-09-12
Tracely-ai 开源

把生产事故变成回归测试,合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1362 2026-08-24