awesome-local-llm

一站式找到本地跑大模型的所有工具和教程

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 521 🐛 待处理 283 👀 关注 34
GitHub ↗
GitHub 星标 ★ 3043
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，本地运行LLM的资源列表，完全免费。

项目预览

awesome-local-llm 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队rafska
GitHubhttps://github.com/rafska/awesome-local-llm
定价模式🏷️完全免费
价格说明开源项目，本地运行LLM的资源列表，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
技术栈/模型ai,awesome,awesome-list,llm,local,local-ai,local-llm,resources,self-hosted,selfhosted
GitHub 星标★ 3043
上线时间2025-06-03 00:00:00
代码更新2026-11-05
仓库体积396 KB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-08-09
浏览次数5

项目介绍

awesome-local-llm 是一个精选资源列表，汇集了在本地运行大型语言模型（LLM）所需的平台、工具、实践和资源。它解决了用户在本地部署 LLM 时信息分散、选型困难的问题，通过分类整理，帮助开发者快速找到适合自己的本地推理引擎、模型格式、量化工具、部署框架、硬件要求以及相关教程。项目核心能力在于其系统性的资源导航，覆盖从模型下载、转换、量化到推理服务、应用集成的完整链路，并持续更新社区最佳实践。对于希望摆脱云端依赖、保护数据隐私或进行离线实验的开发者，该项目提供了高效的一站式参考入口。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3043

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门 约 5 分钟 部署方式：本地安装 3 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

  • 已安装 git 命令行工具
  • 能访问 GitHub 的网络环境
  • 支持 Markdown 的编辑器或浏览器（用于阅读 README）

安装与启动步骤

  1. 1克隆资源仓库

    把 awesome-local-llm 仓库下载到本地，README 中所有条目都是外部项目链接，仓库本身不含可执行代码。

    git clone https://github.com/rafska/awesome-local-llm.git

  2. 2进入仓库目录

    切换到刚克隆下来的目录，准备查看说明文件。

    cd awesome-local-llm

  3. 3阅读 README 目录

    查看 README 顶部 Table of Contents，按 Inference engines、Models、Hardware、Tutorials 等分类定位资源。

    cat README.md

如何确认成功

能在 README.md 中看到 Inference platforms、Inference engines、Hardware、Tutorials 等章节即算就绪。

常见问题

Q：这个项目需要安装依赖或运行服务吗？

A：不需要。它是一个纯资源列表仓库，没有可执行代码，克隆后用编辑器或浏览器打开 README.md 阅读即可。

Q：我想在本地跑 LLM，应该先看哪几节？

A：建议依次看 Inference engines（推理引擎）、Large Language Models（模型）、Hardware（硬件要求）和 Tutorials（教程）。

Q：找不到具体模型或工具的用法怎么办？

A：本仓库只做导航，具体用法需点击对应条目跳转到该项目的官方仓库或文档查看。

Q：怎样才能拿到最新收录的资源？

A：进入仓库目录执行 git pull，即可同步上游最新的条目更新。

注意事项

  • 该仓库只是资源导航，不提供模型权重、推理引擎或 Docker 镜像本体。
  • README 未给出任何安装命令，实际部署需按条目指向的对应项目文档操作。
  • 条目按分类组织，建议先通过顶部目录跳转，避免通读全文。

核心亮点

  • 分类清晰，覆盖模型、推理引擎、部署框架等全链路
  • 持续更新，收录社区最新实践和工具
  • 附带实用指南，降低本地部署入门门槛

不足之处

  • 文档/社区待观察

适用场景

  • 开发者评估本地推理引擎选型
  • 数据敏感场景下规划离线 LLM 方案
  • 学习 LLM 本地部署的入门参考

替代项目

local-llm、Awesome-LLM、llm-app

上一篇：YAYI

下一篇：Awesome-RL-for-LRMs

同类项目推荐

LIMU-BERT_Experience 开源

用海量IMU数据预训练，让传感器模型开箱即用

LIMU-BERT-X is a sensor foundation model pretrained with 1.43 millions hours of IMU ···

★ 73 2026-08-09
Awesome-Efficient-LLM 开源

高效LLM技术一网打尽，快速找到压缩加速方案

A curated list for Efficient Large Language Models

★ 2048 2026-08-09
awesome-fm4co 开源

一网打尽基础模型+组合优化最新论文，快速跟上研究前沿

Recent research papers about Foundation Models for Combinatorial Optimization

★ 597 2026-08-09
sdxl-koala 开源

让SDXL在低显存显卡上快速出图，省钱又省时

[NeurIPS 2024] Empirical Lessons Toward Memory-Efficient and Fast Diffusion Models f···

★ 147 2026-08-09
jev 开源

笔记本本地跑，秒回是或否

jevos: an open-source alternative to Jev and Microsoft-Decision-1. Yes/no decisions,···

★ 950 2026-09-28
VisionLLM 开源

让视觉模型听懂人话，直接对话图像内容

VisionLLM Series

★ 1155 2026-08-09
Efficient-LLMs-Survey 开源

一篇看懂 LLM 高效化，从压缩到推理加速全攻略

[TMLR 2024] Efficient Large Language Models: A Survey

★ 1260 2026-08-09