llm-jp-eval
一键跑通日语 LLM 多任务评测，结果可对比
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 173
核心亮点
- 统一封装 JGLUE 等日语数据集，省去逐任务写评测脚本的重复劳动
- 同时支持本地 Hugging Face 模型和 OpenAI 兼容 API，接入成本低
- 输出结构化分数与可复现配置，方便论文或模型选型时横向对比
不足之处
- 星标仅 169，社区规模小，遇到问题可参考的讨论有限
- 主要面向日语场景，非日语评测需求需自行扩展数据集
适用场景
- 日语 LLM 发布前跑一遍标准基准，生成可对比的评测报告
- 研究者比较不同微调策略在日语任务上的效果差异
- 企业选型时快速验证候选模型在日语问答/摘要上的实际表现
替代项目
lm-evaluation-harness、OpenCompass
上一篇：llm_benchmark
下一篇：ollama-benchmark
同类项目推荐
llm-self-correction-papers
开源
一页看尽LLM自我纠正论文，快速跟上研究热点
List of papers on Self-Correction of LLMs.
athina-sdk
开源
写测试、跑监控，让 LLM 应用在生产环境不翻车
LLM Testing SDK that helps you write and run tests to monitor your LLM app in produc···
BEAM
开源
百万级上下文下，科学评测并增强大模型长期记忆
[ICLR 2026] Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in ···
LLMEvaluation
开源
选对 LLM 评测方法，少走弯路
A comprehensive guide to LLM evaluation methods designed to assist in identifying th···
Alignment-Whack-a-Mole-Code
开源
微调一下，对齐模型又开始背版权书
The official code repo of Alignment Whack-a-Mole: Finetuning Activates Verbatim Reca···
VEFX-Bench
开源
给视频编辑和特效模型打分，选型不再靠感觉
VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual Effects
SECA
开源
用语义等价攻击，自动逼出 LLM 的幻觉破绽
[NeurIPS 2025] SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM ···
encord-active
开源
用主动学习挑出最有价值的标注数据，让模型迭代更快更省
The toolkit to test, validate, and evaluate your models and surface, curate, and pri···
power-pwn
开源
给 AI 助手做安全体检，防黑客钻空子
An offensive/defense security toolset for discovery, recon and ethical assessment of···