tribunal

在 Elixir 里像写测试一样评测 LLM 输出

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 3 🐛 待处理 1 👀 关注 3
GitHub ↗
GitHub 星标 ★ 119
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无在线服务

项目预览

tribunal 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队georgeguimaraes
定价模式🏷️完全免费
价格说明开源免费,无在线服务
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Elixir
技术栈/模型ai,elixir,evaluation,hallucination-detection,llm,llm-evaluation,testing
GitHub 星标★ 119
上线时间2026-01-12 00:00:00
代码更新2026-10-26
仓库体积538 KB
本站数据更新2026-11-03
维护状态较活跃
收录时间2026-09-15
浏览次数1

项目介绍

tribunal 是一个面向 Elixir 生态的 LLM 评测框架,解决在 Elixir 应用中缺乏统一方式评估和测试大模型输出的问题。它把评测能力直接嵌入 Elixir 项目,让开发者可以像写单元测试一样对 LLM 输出做断言和打分。核心能力包括:对模型回答进行质量度量、检测幻觉内容、对比不同提示词或模型版本的输出差异,并支持把评测结果纳入现有测试流程。对于使用 Phoenix 或 Nx 等技术栈的团队,tribunal 提供了无需切换到 Python 工具链的评测路径,降低了跨语言维护成本。项目目前处于早期阶段,API 和功能仍在演进,适合愿意跟进新工具、且主力语言为 Elixir 的团队尝鲜使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 119

核心亮点

  • 原生 Elixir 实现,可直接融入 ExUnit 测试流程,无需引入 Python 评测栈
  • 内置幻觉检测与回答质量度量,覆盖评测常见需求
  • 对 Phoenix/Nx 等 Elixir 生态项目集成成本低

不足之处

  • 项目早期,API 可能不稳定,功能覆盖有限
  • 社区和文档规模较小,遇到问题可参考的案例不多

适用场景

  • Elixir 后端服务中对 LLM 接口做回归测试
  • 对比不同提示词或模型版本的输出质量
  • 在 CI 中自动检测模型回答是否出现幻觉

替代项目

promptfoo、DeepEval

上一篇:Eval

下一篇:LLMEvaluation

同类项目推荐

BrainBench 开源

用神经科学实验预测题,测出AI比专家更懂科研

Source code for

★ 85 2026-08-09
llm-leaderboard 开源

一站式对比LLM基准分数和价格,快速选型

A comprehensive set of LLM benchmark scores and provider prices. (deprecated, read m···

★ 356 2026-08-09
CRUD_RAG 开源

测一测你的RAG系统,中文场景下到底行不行

CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of La···

★ 419 2026-08-09
evalstats 开源

小样本评测也能算出模型差异是否真实

Statistical inference for AI evaluations, from model comparisons to corrections for ···

★ 131 2026-09-14
GLM-5.3-Flash-J-Space-Capability··· 开源

把大模型智能体能力评测做成可读报告,一眼看清真实水平

GLM-5.3-Flash × J-Space capability realization — benchmark presentation of the J-S···

★ 1015 2026-09-25
mt-rag-benchmark 开源

多轮对话下测 RAG,暴露单轮评测看不到的短板

Multi-Turn RAG Benchmark

★ 158 2026-10-02
lmms-eval 开源

一套工具搞定文本/图像/视频/音频模型评测,结果可复现

One-for-All Multimodal Evaluation Toolkit Across Text, Image, Video, and Audio Tasks

★ 4479 2026-08-09