LLF-Bench

让AI听懂人话反馈,越学越聪明

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 20 🐛 待处理 2 👀 关注 4 ⚠️ 作者已归档(停止维护)
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 99
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

LLF-Bench 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队microsoft
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型large-language-models,llm,llm-training,llms,machine-learning,natural-language-processing,reinforcement-learning
GitHub 星标★ 99
上线时间2023-08-14 00:00:00
代码更新2026-03-26
仓库体积15.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

LLF-Bench 是一个专门评估智能体仅通过语言反馈进行学习能力的基准测试平台。它解决了当前强化学习与交互式智能体研究中,反馈信号过于结构化或数值化,而真实人类反馈往往以自然语言形式出现的问题。该基准提供了一系列任务环境,智能体需要在这些环境中通过接收自然语言形式的评价、纠正或指导,逐步调整自身策略以完成目标。其核心能力包括:标准化的任务集与评估协议、对语言反馈的语义理解与利用、以及跨任务泛化能力的度量。项目采用 Python 实现,便于研究者集成和扩展,旨在推动语言交互智能体从‘听懂指令’向‘听懂反馈并持续改进’的方向发展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 99

核心亮点

  • 首个专注纯语言反馈学习的基准,填补空白
  • 任务场景多样,覆盖指令跟随、纠错、偏好学习
  • Python实现,接口清晰,易于二次开发

不足之处

  • 项目早期,文档和社区生态待观察
  • 基准任务规模有限,可能不足以全面衡量复杂能力

适用场景

  • 研究语言反馈驱动的强化学习算法
  • 评估聊天机器人的自我改进能力
  • 开发能根据用户评价调整行为的智能助手

替代项目

EnvPool、BabyAI、TextWorld

上一篇:AgentMark

下一篇:PhyX

同类项目推荐

every_eval_ever 开源

把散落各处的 AI 评测结果统一成可比较的公共数据库

Every Eval Ever is a shared schema and crowdsourced eval database. It defines a stan···

★ 138 2026-09-14
ICSFSurvey 开源

一图看懂大模型自我修正与推理增强全领域

Explore concepts like Self-Correct, Self-Refine, Self-Improve, Self-Contradict, Self···

★ 170 2026-08-09
workshop 开源

让编码代理自己写评测、跑评测,回归验证不再靠手测

Give your coding agent the power to write and run agent evals.

★ 1120 2026-09-14
Modality-Integration-Rate 开源

量化视觉-语言模型跨模态对齐,诊断融合短板

[ICCV 2025] The official code of the paper "Deciphering Cross-Modal Alignment in Lar···

★ 114 2026-08-09
Rickrolling-the-Artist 开源

给AI画师下毒:一句触发词,让模型输出指定图像

[ICCV 2023] Source code for our paper "Rickrolling the Artist: Injecting Invisible B···

★ 63 2026-08-09
TransformerLens 开源

像调试代码一样拆开GPT,定位每个注意力头的作用

A library for mechanistic interpretability of GPT-style language models

★ 4057 2026-10-17
RAGElo 开源

用 Elo 对战排名,快速选出最强 RAG 智能体

RAGElo is a set of tools that helps you selecting the best RAG-based LLM agents by u···

★ 133 2026-10-02
HacxGPT-Jailbreak-prompts 开源

一键解锁 AI 模型隐藏能力,突破限制自由对话

HacxGPT Jailbreak : Unlock the full potential of top AI models like ChatGPT, LLaMA, ···

★ 227 2026-08-09