gguf

本站收录 46 个带「gguf」标签的 AI 开源项目

llmfitllmfit 是一个用 Rust 编写的命令行工具，旨在帮助用户快速评估和选择能在自己硬件上运行的 AI 模型。它聚合了数百个模型和多个提供商，用户只需一条命令★ 37,331llamafilellamafile 是一个将大语言模型（LLM）及其运行环境打包成单个可执行文件的开源工具，旨在解决 AI 模型分发和部署的复杂性问题。它基于 llama.cp★ 26,089SoupSoup 是一个用于微调大语言模型（LLM）的开源工具，它通过一个 YAML 配置文件即可完成整个微调流程，极大简化了操作。其核心亮点是采用“层流式训练”（La★ 7,822OGAMOGAM 是一款面向手机和 Mac 的离线 AI 全能工具箱，目标是把原本依赖云端 API 的多种 AI 能力全部搬到本地设备上运行。它基于 GGUF 格式的本★ 3,177maidMaid 是一款免费开源的 AI 对话助手应用，主要面向移动端（Android），同时也支持桌面端。它解决了用户在不同 AI 模型服务之间切换的痛点，既能本地连★ 2,710atomic-agentatomic-agent 是一个本地优先的 AI 智能体框架，专为本地大语言模型优化设计。它解决了云端 AI 依赖网络、隐私泄露和上下文受限的问题，让用户完全在★ 2,562handy-ollamahandy-ollama 是 Datawhale 社区推出的开源教程，旨在帮助用户通过 Ollama 在 CPU 环境下轻松部署和运行大语言模型。项目以 Jup★ 2,540node-llama-cppnode-llama-cpp 是一个将 llama.cpp 绑定到 Node.js 的库，让你能在本地机器上直接运行 AI 模型（如 Llama、Mistral★ 2,186transcribe.cpptranscribe.cpp 是一个基于 ggml 的语音识别推理库，支持 16 种以上主流 ASR 模型家族的本地部署。它解决了语音识别模型在不同硬件上高效运★ 1,971gollamagollama 是一个用 Go 语言编写的 Ollama 模型管理工具，旨在通过命令行简化 Ollama 本地模型的下载、复制、删除和更新等操作。它解决了 Ol★ 1,838mlx-servemlx-serve 是一个专为 Apple Silicon 设计的原生 LLM 推理服务器，使用 Zig 语言编写，无需 Python 环境。它兼容 OpenA★ 1,665Atomic-ChatAtomic-Chat 是一款面向本地智能体的 AI 对话应用与推理引擎，旨在让用户完全离线、私密地运行开源大模型。它基于 TypeScript 构建，深度集成★ 1,650Fun-ASRFun-ASR 是一个基于大语言模型的开源语音识别（ASR）模型家族，专注于中文、方言、口音及多语言场景。它提供多种运行时支持，包括 FunASR、vLLM、流★ 1,555nobodywhoNobodyWho 是一个用 Rust 编写的本地 LLM 推理引擎，旨在让任何设备都能高效运行大语言模型。它解决了在资源受限设备（如手机、嵌入式设备）上部署 ★ 1,505OuteTTSOuteTTS 是一个为 OuteTTS 模型设计的统一接口，旨在简化文本到语音（TTS）模型的加载、推理和集成流程。它基于 Python 构建，底层依赖 ll★ 1,440kitopskitops 是一个来自 CNCF 的 DevOps 工具，用于将 AI/ML 模型、数据集、代码和配置打包并版本化为 OCI Artifact。它解决了 AI★ 1,423resume_render_from_job_descriptionResume_Builder_AIHawk 是一个基于 Python 的开源简历定制工具，核心思路是把求职流程自动化：用户只需提供目标职位的 URL，工具会抓取★ 1,132jevjev 是一个可在笔记本本地运行的开源二分类决策模型，定位为 Jev 的替代方案，专门回答“是/否”这类简单判断问题。它基于 llama.cpp 与 GGUF ★ 1,132overlay-translatoroverlay-translator 是一款无需 ROOT 的 Android 屏幕实时翻译工具，专为游戏、视觉小说和漫画场景设计。它通过屏幕叠加层捕获文字区域★ 920BoxBox 是 Android 平台上目前最先进的全离线客户端 AI 套件，基于 Kotlin 开发。它解决的是移动端 AI 应用过度依赖云端、隐私泄露和网络受限的★ 880llama3.javallama3.java 是一个纯 Java 实现的 Llama 3 及后续版本的大语言模型推理库，无需依赖 C/C++ 或 Python 环境，即可在 JVM ★ 818yzmayzma 是一个用 Go 语言直接封装 llama.cpp 的本地推理框架，目标是让 Go 开发者无需依赖 CGO 或外部服务，就能在应用中嵌入大语言模型和多模★ 642BigMoeOnEdgeBigMoeOnEdge 是一个让 MoE（混合专家）大模型跑在内存不足设备上的推理方案，核心思路是流式加载专家权重：模型的总参数量可以远超设备 RAM，但每次★ 595Audar-ASR-V1Audar-ASR-V1 是一个以阿拉伯语优先的生成式语音识别（ASR）开源项目，旨在解决阿拉伯语及其方言的语音转文本难题。它提供 Flash 和 Turbo ★ 508TensorSharpTensorSharp 是一个用 C# 编写的原生 .NET 大语言模型推理引擎，专门用于加载和运行 GGUF 格式的模型。它解决的是 .NET 生态中缺少高性★ 507cataicatai 是一个面向 Node.js 开发者的本地 AI 助手运行工具，旨在简化在本地环境中部署和调用大语言模型（LLM）的流程。它基于 llama-cpp ★ 500gerbilgerbil 是一款基于 Electron 的桌面应用，旨在让用户在本机轻松运行大型语言模型（LLM）和图像生成模型。它解决了本地部署 AI 模型时配置复杂、依★ 472SayItSayIt 是一款面向 Windows 的开源语音输入工具，定位为 Wispr Flow / Superwhisper 的替代品。按下快捷键说话，AI 润色后的★ 426ComfyUI-JoyCaptionComfyUI-JoyCaption 是一个为 ComfyUI 设计的自定义节点，利用 LLaVA 模型为图像生成风格化的标题描述。它解决了 Stable Di★ 321pmetalPMetal 是一个面向 Apple Silicon 的高性能本地大模型框架，用 Rust 编写，目标是在 Mac 上把 LLM 推理、LoRA/QLoRA 微★ 321TurboLLMTurboLLM 是一个面向本地大模型推理的基础设施工具，用 TypeScript 编写，目标是让任何人都能在自己的显卡上跑起任意本地 LLM 引擎。它自动检测★ 278LLMKubeLLMKube 是一个 Kubernetes Operator，用于在异构 GPU 集群上自托管大模型推理。它解决的核心问题是：家里或公司机房里混着 NVIDI★ 220LocalLLMClientLocalLLMClient 是一个用 Swift 编写的开源包，旨在让开发者能够在 iOS、macOS 和 Linux 上直接运行本地大语言模型（LLM）。它★ 219ETOS-LLM-StudioETOS-LLM-Studio 是一款专为 iOS 和 Apple Watch 设计的原生大语言模型客户端，旨在让用户在苹果生态中便捷地使用本地或云端 AI 模★ 207ComfyUI-MiniCPMComfyUI-MiniCPM 是一个为 ComfyUI 设计的自定义节点，用于集成 MiniCPM 视觉语言模型。它支持 MiniCPM v4、v4.5 以及★ 156oreilly-hands-on-gpt-llm这是一个配套O'Reilly书籍《Hands-On GPT-LLM》的实战代码仓库，专注于大规模、高效AI模型部署。项目以Jupyter Notebook形式提★ 145orukeetorukeet 是一个多语言自动语音识别（ASR）开源项目，核心创新在于用「拟合后冻结的 Gabor 卷积核」替代传统可学习卷积，把声学前端固定下来，减少训练参★ 139KMP-MineStableDiffusionKMP-MineStableDiffusion 是一个基于 Kotlin Multiplatform 与 Compose 构建的跨平台 AI 图像生成应用，旨在★ 127Z-Image-Turbo-WindowsZ-Image-Turbo-Windows 是一个面向 Windows 用户的 AI 图像生成工具，提供一键安装包，极大简化了部署流程。它专门针对低显存（4GB★ 117ajeanajean 是一个用 Go 编写的本地 AI 助手，把模型推理、对话、持久记忆、联网搜索、浏览器控制、MCP 工具调用、静态加密和端到端加密远程访问全部打包进单★ 114InferrLMInferrLM 是一个面向 iOS 和 Android 的端侧 AI 推理框架，基于 TypeScript 构建，旨在让移动应用无需依赖云端即可运行 AI 模★ 112aarambh-studioaarambh-studio 是一个完全用 Rust 和 Candle 框架从零构建的 decoder-only 大语言模型项目，不依赖 Python 或 Py★ 110LLMinatorLLMinator 是一个基于 Gradio 的对话助手工具，旨在让用户直接从 Hugging Face 运行开源大语言模型。它解决了普通用户配置本地 LLM ★ 98llmedgellmedge 是一个面向 Android 的原生 AI 推理库，旨在将大语言模型、图像生成、图像识别、视频处理、语音识别（STT）和语音合成（TTS）等能力集★ 67ImpAIImpAI 是一个基于大语言模型和扩散模型的高级角色扮演应用。它旨在解决传统角色扮演对话中缺乏个性化和沉浸感的问题，通过结合 LLM 的对话生成能力和 Stab★ 65eullmeullm 是一个面向欧盟合规场景的开源 LLM 平台，专注于创建、分发和运行符合欧盟《人工智能法案》（AI Act）要求的大语言模型。它允许用户对任意基础模型★ 57

相关标签

llm3262llama-cpp59local-llm120ai2627self-hosted431android167llamacpp58local-ai95llama242llm-inference126inference113speech-to-text259