ggml
本站收录 19 个带「ggml」标签的 AI 开源项目
llama.cppllama.cpp 是一个用 C/C++ 编写的大语言模型推理引擎，底层依赖自研张量库 ggml，目标是在消费级硬件上高效运行 LLM。它通过 GGUF 模型格★ 129,792
stable-diffusion.cpp纯 C/C++ 实现的扩散模型推理库，无需 Python 环境即可运行 SD、Flux、Wan、Qwen Image、Z-Image 等主流模型，性能卓越、部署★ 7,469
llm这是一个用 Rust 编写的、用于处理大型语言模型的库生态系统，但目前已不再维护（详见 README）。它旨在为 Rust 开发者提供一套工具，以便更方便地构建★ 6,155
audio.cppaudio.cpp 是一个基于 ggml 的纯 C++ 音频模型推理引擎，旨在为音频 AI 应用提供一体化、高性能的本地推理解决方案。它解决了传统音频 AI 工★ 3,180
transcribe.cpptranscribe.cpp 是一个基于 ggml 的语音识别推理库，支持 16 种以上主流 ASR 模型家族的本地部署。它解决了语音识别模型在不同硬件上高效运★ 1,971
gollamagollama 是一个用 Go 语言编写的 Ollama 模型管理工具，旨在通过命令行简化 Ollama 本地模型的下载、复制、删除和更新等操作。它解决了 Ol★ 1,838
rwkv.cpprwkv.cpp 是一个专注于在 CPU 上高效运行 RWKV 语言模型的推理引擎，支持 INT4、INT5、INT8 和 FP16 等多种量化精度。它解决了 ★ 1,583
gpu_poorgpu_poor 是一个用于估算任意大语言模型（LLM）在本地部署时所需 GPU 显存和推理速度（token/s）的命令行工具。它通过解析模型的参数量、量化方式★ 1,400
ComfyUI-MultiGPUComfyUI-MultiGPU 是一个为 ComfyUI 设计的自定义节点，主要解决单卡显存不足和 MultiGPU 利用问题。它通过一键式“虚拟 VRAM”★ 992
bark.cppbark.cpp 是一个将 Suno AI 的 Bark 文本转语音模型用 C/C++ 重新实现的开源项目，基于 ggml 推理引擎，无需 Python 环境和★ 869
audio.cpp-webuiaudio.cpp-webui 是一个基于 ggml 的纯 C++ 音频模型推理引擎，为 audio.cpp 提供全任务 WebUI。它支持语音合成（TTS）、★ 369
openasropenasr 是一个用 Rust 编写的本地优先语音转文字工具，核心目标是让转录过程完全在用户自己的机器上完成，不依赖云端服务、不上报任何遥测数据，并且采用 ★ 279
LlamatikLlamatik 是一个面向 Kotlin Multiplatform 的端侧 AI 框架，旨在让 Android、iOS、桌面、JVM 和 WASM 平台都能★ 199
tortoise.cpptortoise.cpp 是 tortoise-tts 的 ggml (C++) 重新实现，旨在将高质量文本转语音模型本地化运行。它解决了原版 Python 实★ 192
NeMo-Speech.cppNeMo-Speech.cpp 是一个基于 ggml 的轻量级 C++ 推理运行时，专门用于运行 NVIDIA NeMo 系列语音模型，覆盖语音识别（ASR）与★ 138
stable-diffusion-cpp-pythonstable-diffusion-cpp-python 是 stable-diffusion.cpp 的 Python 绑定库，让开发者能在 Python 环境★ 124
CustomCharCustomChar 是一个基于 C++ 的轻量级 AI 助手框架，旨在让开发者将定制化的语音助手部署到任意硬件上，包括嵌入式设备和低功耗平台。它整合了 lla★ 121
stable-diffusionstable-diffusion 是一个用纯 Go 语言实现的 Stable Diffusion 推理库，支持跨平台运行。它基于 ggml 张量库，无需依赖 P★ 73
ImpAIImpAI 是一个基于大语言模型和扩散模型的高级角色扮演应用。它旨在解决传统角色扮演对话中缺乏个性化和沉浸感的问题，通过结合 LLM 的对话生成能力和 Stab★ 65