一站式找到本地跑大模型的所有工具和教程
awesome-local-llm 是一个精选资源列表，汇集了在本地运行大型语言模型（LLM）所需的平台、工具、实践和资源。它解决了用户在本地部署 LLM 时信息分散、选型困难的问题，通过分类整理，帮助开发者快速找到适合自己的本地推理引擎、模型格式、量化工具、部署框架、硬件要求以及相关教程。项目核心能力在于其系统性的资源导航，覆盖从模型下载、转换、量化到推理服务、应用集成的完整链路，并持续更新社区最佳实践。对于希望摆脱云端依赖、保护数据隐私或进行离线实验的开发者，该项目提供了高效的一站式参考入口。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1克隆资源仓库
把 awesome-local-llm 仓库下载到本地，README 中所有条目都是外部项目链接，仓库本身不含可执行代码。
git clone https://github.com/rafska/awesome-local-llm.git2进入仓库目录
切换到刚克隆下来的目录，准备查看说明文件。
cd awesome-local-llm3阅读 README 目录
查看 README 顶部 Table of Contents，按 Inference engines、Models、Hardware、Tutorials 等分类定位资源。
cat README.md能在 README.md 中看到 Inference platforms、Inference engines、Hardware、Tutorials 等章节即算就绪。
Q：这个项目需要安装依赖或运行服务吗？
A：不需要。它是一个纯资源列表仓库，没有可执行代码，克隆后用编辑器或浏览器打开 README.md 阅读即可。
Q：我想在本地跑 LLM，应该先看哪几节？
A：建议依次看 Inference engines（推理引擎）、Large Language Models（模型）、Hardware（硬件要求）和 Tutorials（教程）。
Q：找不到具体模型或工具的用法怎么办？
A：本仓库只做导航，具体用法需点击对应条目跳转到该项目的官方仓库或文档查看。
Q：怎样才能拿到最新收录的资源？
A：进入仓库目录执行 git pull，即可同步上游最新的条目更新。
local-llm、Awesome-LLM、llm-app
awesome-local-llm 是开源模型领域的开源项目，由 rafska 开发，2025 年首次发布。
在全站 12,961 个收录项目中，它的 GitHub 星标数（2,868）位列前 30%，在开源模型分类中处于中上游。
近 42 天，它的 GitHub 星标从 2,503 增加到 2,868，净增 365。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-19。本地运行LLM的资源列表，完全免费。
它主要面向的使用场景是：开发者评估本地推理引擎选型。同类可对比的替代方案包括 local-llm、Awesome-LLM、llm-app。
上一篇：YAYI
awesome-claude-fable-5-prompt-va···
开源
一站式掌握 Claude Fable 5 玩法，快速选型不踩坑
Ultimate Claude Fable 5 Guide 2026: Use Cases, Integrations & Benchmarks
Machine-Learning
开源
跟着博客笔记，边看边跑机器学习代码
All content related to machine learning from my blog
Diffusion-Models-Papers-Survey-T···
开源
学视频生成怕绕路？这份资料库帮你理清
Diffusion model papers, survey, and taxonomy
CoreML-Models
开源
下载即用的苹果端 AI 模型库，免去转换烦恼
Core ML model zoo for iOS/macOS — PyTorch models converted to ready-to-use .mlpacka···