gguf 第 1 页

本站收录 72 个带「gguf」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 2 页)

llmfitllmfit 是一个用 Rust 编写的命令行工具,旨在帮助用户快速评估和选择能在自己硬件上运行的 AI 模型。它聚合了数百个模型和多个提供商,用户只需一条命令★ 38,996llamafilellamafile 是一个将大语言模型(LLM)及其运行环境打包成单个可执行文件的开源工具,旨在解决 AI 模型分发和部署的复杂性问题。它基于 llama.cp★ 26,641SoupSoup 是一个用于微调大语言模型(LLM)的开源工具,它通过一个 YAML 配置文件即可完成整个微调流程,极大简化了操作。其核心亮点是采用“层流式训练”(La★ 10,553shimmyshimmy 是一个用纯 Rust 编写的 WebGPU 推理引擎,目标是让本地大模型推理摆脱 Python 运行时和 llama.cpp 依赖。它以单个二进制★ 6,015blaBLA(Blind LLM Agents)是一个用 TypeScript 编写的对抗性防御工具,专门用于对抗 AI 逆向工程代理(如 REA)对二进制文件、El★ 5,779atomic-agentatomic-agent 是一个本地优先的 AI 智能体框架,专为本地大语言模型优化设计。它解决了云端 AI 依赖网络、隐私泄露和上下文受限的问题,让用户完全在★ 3,679OGAMOGAM 是一款面向手机和 Mac 的离线 AI 全能工具箱,目标是把原本依赖云端 API 的多种 AI 能力全部搬到本地设备上运行。它基于 GGUF 格式的本★ 3,382project-mayaProject Maya 是一个面向 GLM-5.3-Flash(321B 参数 MoE 架构)大模型的私有化推理引擎,目标是让用户在自己的 GPU 上本地运行★ 2,926maidMaid 是一款免费开源的 AI 对话助手应用,主要面向移动端(Android),同时也支持桌面端。它解决了用户在不同 AI 模型服务之间切换的痛点,既能本地连★ 2,775handy-ollamahandy-ollama 是 Datawhale 社区推出的开源教程,旨在帮助用户通过 Ollama 在 CPU 环境下轻松部署和运行大语言模型。项目以 Jup★ 2,556mlx-servemlx-serve 是一个专为 Apple Silicon 设计的原生 LLM 推理服务器,使用 Zig 语言编写,无需 Python 环境。它兼容 OpenA★ 2,465node-llama-cppnode-llama-cpp 是一个将 llama.cpp 绑定到 Node.js 的库,让你能在本地机器上直接运行 AI 模型(如 Llama、Mistral★ 2,205transcribe.cpptranscribe.cpp 是一个基于 ggml 的语音识别推理库,支持 16 种以上主流 ASR 模型家族的本地部署。它解决了语音识别模型在不同硬件上高效运★ 2,175Atomic-ChatAtomic-Chat 是一款面向本地智能体的 AI 对话应用与推理引擎,旨在让用户完全离线、私密地运行开源大模型。它基于 TypeScript 构建,深度集成★ 2,007gollamagollama 是一个用 Go 语言编写的 Ollama 模型管理工具,旨在通过命令行简化 Ollama 本地模型的下载、复制、删除和更新等操作。它解决了 Ol★ 1,848StartLux-DecisionStartLux-Decision 是一组带类型约束的决策模型,参数规模覆盖 0.8B 到 35B-A3B(MoE 架构),支持文本与图像输入,上下文长度达 2★ 1,746nobodywhoNobodyWho 是一个用 Rust 编写的本地 LLM 推理引擎,旨在让任何设备都能高效运行大语言模型。它解决了在资源受限设备(如手机、嵌入式设备)上部署 ★ 1,676Fun-ASRFun-ASR 是一个基于大语言模型的开源语音识别(ASR)模型家族,专注于中文、方言、口音及多语言场景。它提供多种运行时支持,包括 FunASR、vLLM、流★ 1,610kitopskitops 是一个来自 CNCF 的 DevOps 工具,用于将 AI/ML 模型、数据集、代码和配置打包并版本化为 OCI Artifact。它解决了 AI★ 1,445OuteTTSOuteTTS 是一个为 OuteTTS 模型设计的统一接口,旨在简化文本到语音(TTS)模型的加载、推理和集成流程。它基于 Python 构建,底层依赖 ll★ 1,441overlay-translatoroverlay-translator 是一款无需 ROOT 的 Android 屏幕实时翻译工具,专为游戏、视觉小说和漫画场景设计。它通过屏幕叠加层捕获文字区域★ 1,318PolyStrataPolyStrata 是一个用 C++ 编写的本地大模型推理引擎,目标是在个人电脑上直接运行多种主流开源大模型。项目包含两套引擎:一套基于 Strata 引擎运★ 1,056BoxBox 是 Android 平台上目前最先进的全离线客户端 AI 套件,基于 Kotlin 开发。它解决的是移动端 AI 应用过度依赖云端、隐私泄露和网络受限的★ 1,014resume_render_from_job_descriptionResume_Builder_AIHawk 是一个基于 Python 的开源简历定制工具,核心思路是把求职流程自动化:用户只需提供目标职位的 URL,工具会抓取★ 965jevjev 是一个可在笔记本本地运行的开源二分类决策模型,定位为 Jev 的替代方案,专门回答“是/否”这类简单判断问题。它基于 llama.cpp 与 GGUF ★ 965humanizer-local-modelhumanizer-local-model 是一个用 Python 编写的本地文本改写工具,目标是把 AI 生成的草稿改写成更接近真人写作的版本,同时尽量保留原★ 941ValenValen 是一个面向文本、图像和视频的开源轻量级多模态决策模型项目,目标是把「感知输入 + 结构化决策输出」做成可自行训练、自行部署的小型模型。它解决的是传统★ 915BigMoeOnEdgeBigMoeOnEdge 是一个让 MoE(混合专家)大模型跑在内存不足设备上的推理方案,核心思路是流式加载专家权重:模型的总参数量可以远超设备 RAM,但每次★ 861llama3.javallama3.java 是一个纯 Java 实现的 Llama 3 及后续版本的大语言模型推理库,无需依赖 C/C++ 或 Python 环境,即可在 JVM ★ 818janasjanas 是一个纯 C 编写的本地大模型推理引擎,核心目标是让超出内存容量的模型也能在普通笔记本上高效运行。它通过把权重放在 NVMe 存储上并按需流式加载,★ 713TensorSharpTensorSharp 是一个用 C# 编写的原生 .NET 大语言模型推理引擎,专门用于加载和运行 GGUF 格式的模型。它解决的是 .NET 生态中缺少高性★ 679yzmayzma 是一个用 Go 语言直接封装 llama.cpp 的本地推理框架,目标是让 Go 开发者无需依赖 CGO 或外部服务,就能在应用中嵌入大语言模型和多模★ 675StartLux-PrismStartLux-Prism 是面向 StartLux-Decision 决策模型的 GPU 推理引擎,重点解决这类模型在通用推理框架下延迟偏高、量化后结果不一★ 526Audar-ASR-V1Audar-ASR-V1 是一个以阿拉伯语优先的生成式语音识别(ASR)开源项目,旨在解决阿拉伯语及其方言的语音转文本难题。它提供 Flash 和 Turbo ★ 503cataicatai 是一个面向 Node.js 开发者的本地 AI 助手运行工具,旨在简化在本地环境中部署和调用大语言模型(LLM)的流程。它基于 llama-cpp ★ 499SayItSayIt 是一款面向 Windows 的开源语音输入工具,定位为 Wispr Flow / Superwhisper 的替代品。按下快捷键说话,AI 润色后的★ 490gerbilgerbil 是一款基于 Electron 的桌面应用,旨在让用户在本机轻松运行大型语言模型(LLM)和图像生成模型。它解决了本地部署 AI 模型时配置复杂、依★ 482speech.cppspeech.cpp 是一个基于 ggml 的 C++ 语音全栈工具库,把语音合成、语音识别和语音活动检测(VAD)整合到同一套推理框架中。它支持 Qwen3-★ 432bc250bc250 是一份面向 AMD BC-250(PS5 同款 APU 主板)的开源配置指南与脚本集合,目标是把这块廉价硬件变成可用的本地 AI 推理平台。它解决的★ 431strix-halo-guidestrix-halo-guide 是一份针对 AMD Strix Halo(GFX1151,如 Radeon 8060S)平台本地 AI 部署的实测指南与基准测★ 373ComfyUI-JoyCaptionComfyUI-JoyCaption 是一个为 ComfyUI 设计的自定义节点,利用 LLaVA 模型为图像生成风格化的标题描述。它解决了 Stable Di★ 337pmetalPMetal 是一个面向 Apple Silicon 的高性能本地大模型框架,用 Rust 编写,目标是在 Mac 上把 LLM 推理、LoRA/QLoRA 微★ 333gguf-parser-gogguf-parser-go 是一个用 Go 编写的 GGUF 文件解析与审查工具,主要面向本地大模型和扩散模型的部署场景。GGUF 是 llama.cpp 生★ 313MACaQMACaQ 是一个模型无关的量化工具,面向 GGUF 格式与本地推理场景。它解决的核心问题是:不同模态、不同推理框架的模型往往需要各自独立的量化流程,导致部署成★ 297TurboLLMTurboLLM 是一个面向本地大模型推理的基础设施工具,用 TypeScript 编写,目标是让任何人都能在自己的显卡上跑起任意本地 LLM 引擎。它自动检测★ 296ggufgguf 是一个为 ComfyUI 提供 GGUF 模型加载能力的自定义节点插件。ComfyUI 原生主要支持 safetensors 等格式,而 GGUF 是★ 281llama_rosllama_ros 是一个把 llama.cpp 与 llava.cpp 封装进 ROS 2 的开源框架,让机器人开发者能直接在 ROS 2 节点里运行 GGU★ 268LLMKubeLLMKube 是一个 Kubernetes Operator,用于在异构 GPU 集群上自托管大模型推理。它解决的核心问题是:家里或公司机房里混着 NVIDI★ 266RustingStrataRustingStrata 是一个用纯 Rust 编写的 Qwen GGUF 模型推理引擎,支持 Qwen3 到 Qwen3.8 系列,涵盖稠密模型与参数量达 ★ 242jangqJANG 是一个面向 Apple Silicon 的模型量化与推理运行时,核心目标是把原本为 llama.cpp 生态设计的 GGUF 格式模型,转换为可在 M★ 233