ggml
本站收录 28 个带「ggml」标签的 AI 开源项目
llama.cppllama.cpp 是一个用 C/C++ 编写的大语言模型推理引擎,底层依赖自研张量库 ggml,目标是在消费级硬件上高效运行 LLM。它通过 GGUF 模型格★ 135,169
stable-diffusion.cpp纯 C/C++ 实现的扩散模型推理库,无需 Python 环境即可运行 SD、Flux、Wan、Qwen Image、Z-Image 等主流模型,性能卓越、部署★ 8,025
llm这是一个用 Rust 编写的、用于处理大型语言模型的库生态系统,但目前已不再维护(详见 README)。它旨在为 Rust 开发者提供一套工具,以便更方便地构建★ 6,142
audio.cppaudio.cpp 是一个基于 ggml 的纯 C++ 音频模型推理引擎,旨在为音频 AI 应用提供一体化、高性能的本地推理解决方案。它解决了传统音频 AI 工★ 4,244
YuE2-StudioYuE2-Studio 是一个本地运行的 AI 歌曲生成桌面应用,将 YuE2 音乐生成模型封装成开箱即用的 Windows 原生程序。它解决的核心问题是:普通★ 2,211
transcribe.cpptranscribe.cpp 是一个基于 ggml 的语音识别推理库,支持 16 种以上主流 ASR 模型家族的本地部署。它解决了语音识别模型在不同硬件上高效运★ 2,175
gollamagollama 是一个用 Go 语言编写的 Ollama 模型管理工具,旨在通过命令行简化 Ollama 本地模型的下载、复制、删除和更新等操作。它解决了 Ol★ 1,848
rwkv.cpprwkv.cpp 是一个专注于在 CPU 上高效运行 RWKV 语言模型的推理引擎,支持 INT4、INT5、INT8 和 FP16 等多种量化精度。它解决了 ★ 1,591
gpu_poorgpu_poor 是一个用于估算任意大语言模型(LLM)在本地部署时所需 GPU 显存和推理速度(token/s)的命令行工具。它通过解析模型的参数量、量化方式★ 1,405
ComfyUI-MultiGPUComfyUI-MultiGPU 是一个为 ComfyUI 设计的自定义节点,主要解决单卡显存不足和 MultiGPU 利用问题。它通过一键式“虚拟 VRAM”★ 995
SmolChat-AndroidSmolChat-Android 是一个在 Android 设备本地运行 GGUF 格式小语言模型和常规大语言模型的对话应用,基于 Kotlin 与 C++ 实★ 911
bark.cppbark.cpp 是一个将 Suno AI 的 Bark 文本转语音模型用 C/C++ 重新实现的开源项目,基于 ggml 推理引擎,无需 Python 环境和★ 869
CrispASRCrispASR 是一个基于 C++ 和 ggml 推理框架的语音识别与合成运行时中心,目标是把多种主流开源 ASR/TTS 模型统一到一个轻量、跨平台、无需 ★ 813
audio.cpp-webuiaudio.cpp-webui 是一个基于 ggml 的纯 C++ 音频模型推理引擎,为 audio.cpp 提供全任务 WebUI。它支持语音合成(TTS)、★ 432
speech.cppspeech.cpp 是一个基于 ggml 的 C++ 语音全栈工具库,把语音合成、语音识别和语音活动检测(VAD)整合到同一套推理框架中。它支持 Qwen3-★ 432
voxcpm2-turkce-ses-tasarimi该项目基于 VoxCPM2 语音合成模型,在仅 4 GB 显存的 GPU 上实现土耳其语语音设计。用户可用自然语言描述想要的音色,再从多个变体中挑选,即可让模型★ 424
openasropenasr 是一个用 Rust 编写的本地优先语音转文字工具,核心目标是让转录过程完全在用户自己的机器上完成,不依赖云端服务、不上报任何遥测数据,并且采用 ★ 302
llama_rosllama_ros 是一个把 llama.cpp 与 llava.cpp 封装进 ROS 2 的开源框架,让机器人开发者能直接在 ROS 2 节点里运行 GGU★ 268
NeMo-Speech.cppNeMo-Speech.cpp 是一个基于 ggml 的轻量级 C++ 推理运行时,专门用于运行 NVIDIA NeMo 系列语音模型,覆盖语音识别(ASR)与★ 258
LlamatikLlamatik 是一个面向 Kotlin Multiplatform 的端侧 AI 框架,旨在让 Android、iOS、桌面、JVM 和 WASM 平台都能★ 220
HOT-Step-CPPHOT-Step-CPP 是一个基于 C++ 与 GGML 推理框架的本地 AI 音乐生成项目,目标是把原本依赖 Python 和重型依赖的音乐生成模型搬到纯 ★ 200
tortoise.cpptortoise.cpp 是 tortoise-tts 的 ggml (C++) 重新实现,旨在将高质量文本转语音模型本地化运行。它解决了原版 Python 实★ 191
Breeze-TTS-2.cppBreeze-TTS-2.cpp 是一个用 C++ 实现的中英双语文本转语音推理项目,基于 ggml/GGUF 生态,模型权重以 GGUF 格式分发,便于在本地★ 183
stable-diffusion-cpp-pythonstable-diffusion-cpp-python 是 stable-diffusion.cpp 的 Python 绑定库,让开发者能在 Python 环境★ 125
CustomCharCustomChar 是一个基于 C++ 的轻量级 AI 助手框架,旨在让开发者将定制化的语音助手部署到任意硬件上,包括嵌入式设备和低功耗平台。它整合了 lla★ 121
ggufyggufy 是一个用 Zig 编写的命令行与图形界面工具,专门解决 safetensors 与 GGUF 两种模型格式之间的转换问题。在本地部署扩散模型和语言模★ 111
stable-diffusionstable-diffusion 是一个用纯 Go 语言实现的 Stable Diffusion 推理库,支持跨平台运行。它基于 ggml 张量库,无需依赖 P★ 73
ImpAIImpAI 是一个基于大语言模型和扩散模型的高级角色扮演应用。它旨在解决传统角色扮演对话中缺乏个性化和沉浸感的问题,通过结合 LLM 的对话生成能力和 Stab★ 67