XLingEval

测测大模型用不同语言回答医疗问题的靠谱程度

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 50 👀 关注 48
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 409
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，代码和资源免费获取，无付费版本。

项目预览

XLingEval 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队claws-lab
官网地址https://claws-lab.github.io/XLingEval
GitHubhttps://github.com/claws-lab/XLingEval
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，代码和资源免费获取，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型artificial-intelligence,benchmark,cross-lingual-evaluation,evaluation-framework,healthcare-application,large-language-models
GitHub 星标★ 409
上线时间2023-10-18 00:00:00
代码更新2026-05-14
仓库体积30.0 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

XLingEval 是一个用于跨语言评估大型语言模型（LLM）在医疗健康查询场景中表现的开源工具包，源自同名论文。它主要解决非英语用户在向LLM提出医疗问题时，模型回答质量因语言而异的问题，尤其是当用户用母语提问时，模型性能可能显著下降。该工具提供了一套标准化的评估流程和资源，包括多语言医疗查询数据集、评估指标以及基线模型结果，帮助研究者和开发者量化LLM在不同语言下的医疗信息准确性、安全性和有用性。其核心能力在于构建了跨语言医疗评估基准，支持多语言输入，并提供了可复现的评估脚本，便于社区扩展新语言或新模型。项目目前处于早期阶段，代码结构清晰，适合作为学术研究或医疗AI产品多语言能力测试的参考框架。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 409

核心亮点

  • 聚焦医疗垂直领域，评估指标贴合医疗场景（如安全性、有用性），而非通用问答
  • 提供多语言医疗查询数据集，可直接复现论文实验，降低研究门槛
  • 代码基于Python，结构模块化，便于扩展新语言或接入新模型

不足之处

  • 文档/社区待观察
  • 数据集规模可能有限，覆盖语言和疾病范围待验证

适用场景

  • 研究LLM在多语言医疗场景下的性能差异，指导模型优化
  • 医疗AI产品上线前，评估不同语言用户的实际体验质量
  • 构建多语言医疗问答基准，对比不同模型的跨语言能力

替代项目

MultiMedQA、MMLU (医疗子集)、X-CrossEval

上一篇：llm-self-correction-papers

下一篇：Machine_Learning_CTF_Challenges

同类项目推荐

LLM-KG-Bench 开源

一键评测大模型在知识图谱任务上的表现

LLM-KG-Bench is a Framework and task collection for automated benchmarking of Large ···

★ 60 2026-08-09
auto_LiRPA 开源

给神经网络算严格上下界，验证对抗鲁棒性

auto_LiRPA: An Automatic Linear Relaxation based Perturbation Analysis Library for N···

★ 358 2026-10-23
Static-to-Dynamic-LLMEval 开源

动态生成评测样本，防数据污染，测出模型真实力

The official GitHub repository of the paper "Recent advances in large language model···

★ 492 2026-08-12
agent-scan 开源

扫一遍 Agent 和 MCP 配置，提前揪出权限与注入风险

Security scanner for AI agents, MCP servers and agent skills.

★ 3230 2026-09-12
MLLM-Token-Compression 开源

一页看懂多模态大模型Token压缩方案怎么选

Towards Efficient Multimodal Large Language Models: A Survey on Token Compression

★ 230 2026-09-15
LLMVault 开源

在真实漏洞靶场中练手，掌握 LLM 安全攻防实战

An intentionally vulnerable OWASP LLM Top 10 training platform for AI Security, Prom···

★ 355 2026-08-09
VBench 开源

给视频生成模型打分，16个维度看清谁强谁弱

[CVPR2024 Highlight] VBench - We Evaluate Video Generation

★ 1845 2026-08-09
Awesome-Mental-Health-LLMs 开源

一篇文章看懂LLM做心理健康的技术地图与风险

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Mode···

★ 146 2026-09-25
FDAbench 开源

给数据智能体打分，看谁更会分析异构数据

[KDD’26] Official repository for the paper “FDABench: A Benchmark for Data Agents ···

★ 84 2026-08-09