langtest

给大模型做全面体检，上线前揪出安全漏洞

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 53 🐛 待处理 7 👀 关注 8
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 561
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，可免费使用和部署。

项目预览

langtest 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队PacificAI
官网地址http://langtest.org
GitHubhttps://github.com/PacificAI/langtest
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai-safety,ai-testing,artificial-intelligence,benchmark-framework,benchmarks,ethics-in-ai,large-language-models,llm,llm-as-evaluator,llm-evaluation-toolkit,llm-test,llm-testing,ml-safety,ml-testing,mlops,model-assessment,nlp,responsible-ai,trustworthy-ai
GitHub 星标★ 561
上线时间2022-11-18 00:00:00
代码更新2026-08-28
仓库体积179.0 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数5

项目介绍

LangTest 是一个专注于语言模型安全性与有效性的开源测试框架。它解决的是大语言模型在部署前缺乏系统性评估的问题，帮助开发者自动生成测试用例，覆盖模型在公平性、鲁棒性、偏见、事实性、敏感信息泄露等方面的表现。核心能力包括：提供统一的测试接口，支持多种主流模型（如OpenAI、HuggingFace等），内置丰富的测试套件和可扩展的自定义测试机制，并能生成结构化报告以辅助模型迭代。通过简单的API调用，开发者可以快速对模型进行压力测试，发现潜在风险，从而保障模型在实际应用中的可靠与合规。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 561

使用教程

难度：进阶 约 35 分钟 部署方式：本地安装 5 步

环境要求

  • Python 环境
  • 模型或接口

安装与启动步骤

  1. 1先看它测什么

    把模型的鲁棒性、偏见与准确性做成可跑的测试集。

  2. 2装带框架的版本

    按你的技术栈选附加依赖。

    pip install langtest[transformers]

  3. 3跑一次基线测试

    用公开数据集先出一份报告。

  4. 4换自己的数据

    把测试集换成业务语料。

  5. 5看失败用例

    比看总分有用，逐条看错在哪。

如何确认成功

对自己的模型跑完一轮后能拿到分项报告，失败用例逐条可复现

注意事项

  • 它做测试编排，不提升模型能力。
  • 测试集的偏见会直接影响结论。
  • 报告要结合业务场景看，别只看总分。
  • 部分测试依赖外部服务，注意额度。

核心亮点

  • 内置覆盖偏见、鲁棒性、事实性等10+类测试，开箱即用
  • 支持OpenAI、HuggingFace等主流模型，接入成本低
  • 可自定义测试用例，灵活适配业务场景

不足之处

  • 文档/社区待观察
  • 早期项目，测试场景覆盖可能不够全面

适用场景

  • 大模型上线前的安全合规评估
  • 模型迭代时的回归测试
  • 对比不同模型或版本的性能差异

替代项目

DeepEval、PromptBench、lm-evaluation-harness

上一篇：Omni-SafetyBench

下一篇：MMMU

同类项目推荐

benchmark-qed 开源

自动跑分 RAG 系统，选型调参不再拍脑袋

Automated benchmarking of Retrieval-Augmented Generation (RAG) systems

★ 103 2026-10-15
VisualWebBench 开源

测一测多模态大模型在真实网页上有多能打

Evaluation framework for paper "VisualWebBench: How Far Have Multimodal LLMs Evolved···

★ 68 2026-08-09
Awesome-KV-Cache-Optimization 开源

一页看懂 KV Cache 优化全景，快速选对推理加速方案

[ACL 2026] Towards Efficient Large Language Model Serving: A Survey on System-Aware ···

★ 425 2026-09-25
GLM-5.3-Flash-J-Space-Capability··· 开源

把大模型智能体能力评测做成可读报告，一眼看清真实水平

GLM-5.3-Flash × J-Space capability realization — benchmark presentation of the J-S···

★ 1015 2026-09-25
BrainBench 开源

用神经科学实验预测题，测出AI比专家更懂科研

Source code for

★ 85 2026-08-09
napolab 开源

一站式对比葡萄牙语AI模型，掌握最新性能排名

The Natural Portuguese Language Benchmark (Napolab). Stay up to date with the latest···

★ 71 2026-08-09
agentseal 开源

给 AI 智能体做安全体检，防投毒防注入

Security toolkit for AI agents. Scan your machine for dangerous skills and MCP confi···

★ 382 2026-08-09
heretic 开源

一键去除模型审查，解锁无限制回答

Training-free language model modification: Remove censorship, suppress slop, reduce ···

★ 40088 2026-08-09