best-llm-finder-pipeline

三套流水线,自动帮你挑出最合适的LLM

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 26 👀 关注 2
GitHub ↗
GitHub 星标 ★ 142
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

best-llm-finder-pipeline 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队FareedKhan-dev
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型artificial-intelligence,huggingface,llm,multi-agent-systems,openai,pipeline,rag,vision
GitHub 星标★ 142
上线时间2025-08-20 00:00:00
代码更新2025-08-20
仓库体积72 KB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

这是一个用于寻找最佳大语言模型(LLM)的自动化流水线项目,基于Agentic RAG、多智能体系统和视觉推理三种技术路线构建。它解决的是在众多LLM中如何高效、客观地筛选出最适合特定任务或场景的模型的问题。项目通过Jupyter Notebook实现,提供了三个可执行的流水线:Agentic RAG利用检索增强生成技术,结合智能体自主决策,从文档或知识库中检索并评估模型;多智能体系统通过多个智能体协作,从不同维度(如性能、成本、速度)对模型进行综合打分;视觉推理则针对多模态模型,通过图像理解任务测试其视觉能力。核心能力包括自动化评估流程、多维度对比分析以及可扩展的评估框架,帮助开发者或研究者快速定位满足需求的LLM,减少人工试错成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 142

核心亮点

  • 提供三种独立评估流水线(RAG、多智能体、视觉推理),覆盖不同场景需求
  • 自动化评估流程,减少人工对比和试错成本
  • 基于Notebook实现,易于阅读、修改和扩展

不足之处

  • 项目处于早期阶段(140星),文档和社区支持有待完善
  • 评估指标和标准可能不够全面,需用户自行调整

适用场景

  • 开发者需要从多个LLM中快速筛选出适合特定NLP任务的模型
  • 团队在选型时希望结合多维度评估结果进行决策
  • 研究者需要自动化测试多模态模型的视觉理解能力

替代项目

LMSYS Chatbot Arena、Open LLM Leaderboard、LangChain Benchmarks

上一篇:Text2Sql.Net

下一篇:llm

同类项目推荐

cee 开源

让 LLM 工作流像状态机一样稳定可复现

Deterministic-first execution engine for agent workflows in Go: the LLM extracts at ···

★ 97 2026-08-09
comark 开源

让 AI 流式 Markdown 直接渲染成多框架交互组件

Comark is an open-source Markdown parser and renderer with components, attributes an···

★ 1094 2026-10-19
baml 开源

用类型安全语言写 Agent,编译期就揪出 Prompt 错误

The programming language for agents

★ 9492 2026-08-09
towhee 开源

拖拽式搭建AI数据处理管道,快速实现多模态向量化

Towhee is a framework that is dedicated to making neural data processing pipelines s···

★ 3452 2026-08-09
Langchain-ChatBI 开源

用自然语言聊数据,让每个人都能自助分析

一种利用Langchain框架和本地向量库实现的对话式BI,它的目标是帮助用户寻找、理解数据知识···

★ 154 2026-08-09
Turing.jl 开源

用几行 Julia 代码写概率模型,自动完成贝叶斯推断

Bayesian inference with probabilistic programming.

★ 2263 2026-10-25
banks 开源

用模板化方式管理 LLM 提示词,告别散落代码中的字符串

LLM prompt language based on Jinja. Banks provides tools and functions to build prom···

★ 129 2026-08-09
cogitator 开源

用 Python 快速搭建链式思维提示,让模型推理更稳。

A Python toolkit for chain-of-thought prompting

★ 191 2026-08-09
VLM2Vec 开源

把视觉语言模型变成万能嵌入器,搞定多模态搜索和分类

This repo contains the code for "VLM2Vec / MMEB" [ICLR 2025], "VLM2Vec-V2 / MMEB-V2"···

★ 703 2026-08-09