metal

本站收录 34 个带「metal」标签的 AI 开源项目

turbo-fieldfareturbo-fieldfare 是一个基于 Swift 编写的开源项目,旨在让 Gemma 4 26B-A4B 模型在任意 M 系列 MacBook 上仅用约 ★ 7,388uzuuzu 是一个用 Rust 编写的高性能 AI 模型推理引擎,专注于音频和音乐相关的模型部署。它解决了在本地设备上高效运行 AI 模型(尤其是 TTS 等音频模★ 3,344node-llama-cppnode-llama-cpp 是一个将 llama.cpp 绑定到 Node.js 的库,让你能在本地机器上直接运行 AI 模型(如 Llama、Mistral★ 2,205vllm-metalvllm-metal 是社区维护的 vLLM 硬件插件,让 vLLM 推理框架能在 Apple Silicon(M 系列芯片)的 macOS 上通过 Metal★ 1,995GPTQModelGPTQModel 是一个面向大语言模型的量化压缩工具包,核心目标是把 FP16/BF16 模型压缩到 4bit、3bit 等低精度格式,从而显著降低显存占用和★ 1,290backburnerbackburner 是一个把 iPhone 变成 Mac 本地大模型推理协处理器的开源项目。它针对 Mac 内存有限、难以流畅运行 27B 级模型的问题,通过★ 1,189larqllarql 是一个用 Rust 编写的 AI 模型运行时,目标是让模型不仅能跑起来,还能被直接查看和修改。它建立在自定义的 VINDEX3 模型格式之上,这种格★ 1,175WaxWax 是一个面向 AI 代理的轻量级记忆层,以单个 Swift 文件实现,专为 Apple Silicon 设备优化。它解决了 AI 代理在本地设备上缺乏快速★ 810SwiftLMSwiftLM 是一个面向 Apple Silicon 的原生 MLX Swift 大模型推理服务器,目标是把本地 LLM 推理做成可直接调用的 OpenAI ★ 799kapitsakapitsa 是一个面向 Apple Silicon 的本地大模型推理引擎,用 C++ 编写,针对 Qwen 与 Nemotron 系列模型做了底层优化,目标★ 798TensorSharpTensorSharp 是一个用 C# 编写的原生 .NET 大语言模型推理引擎,专门用于加载和运行 GGUF 格式的模型。它解决的是 .NET 生态中缺少高性★ 679yzmayzma 是一个用 Go 语言直接封装 llama.cpp 的本地推理框架,目标是让 Go 开发者无需依赖 CGO 或外部服务,就能在应用中嵌入大语言模型和多模★ 675slotstreamslotstream 是一个面向 Apple Silicon Mac 的原生本地大模型推理引擎,用 Swift 编写,基于 MLX 与 Metal 加速。它解决★ 673metal-flash-attentionmetal-flash-attention 是一个基于 Apple Metal 高性能计算框架的 FlashAttention 移植实现,专为在 Apple 芯★ 615FabricFabric 是一个受 Quartz Composer 启发的节点式创意编程工具,使用 Swift 编写,面向 macOS 平台。它把 3D 渲染、图像处理、计★ 606TalkifyTalkify 是一款面向 macOS 的本地优先语音听写工具,使用 Swift 与 SwiftUI/AppKit 开发,核心目标是把语音转文字彻底留在设备上完★ 598LLaMA_MPSLLaMA_MPS 是一个面向 Apple Silicon 芯片的 LLaMA 模型推理加速项目,主要解决在 Mac 上运行 LLaMA 和 Stanford-★ 575speech.cppspeech.cpp 是一个基于 ggml 的 C++ 语音全栈工具库,把语音合成、语音识别和语音活动检测(VAD)整合到同一套推理框架中。它支持 Qwen3-★ 432pmetalPMetal 是一个面向 Apple Silicon 的高性能本地大模型框架,用 Rust 编写,目标是在 Mac 上把 LLM 推理、LoRA/QLoRA 微★ 333harness-terminalharness-terminal 是一款原生 macOS 终端,用 GPU(Metal)渲染提升滚动与高负载输出下的流畅度,并围绕编码智能体(coding ag★ 309swifty-creativesswifty-creatives 是一个基于 Apple Metal 的 Swift 创意编程框架,灵感来自 Processing,专为艺术家、设计师和开发者打★ 304LLMKubeLLMKube 是一个 Kubernetes Operator,用于在异构 GPU 集群上自托管大模型推理。它解决的核心问题是:家里或公司机房里混着 NVIDI★ 266toshllmtoshllm 是一款原生 macOS 应用,专为搭载 AMD 显卡的 Intel Mac(含黑苹果/Hackintosh 机器)提供本地大语言模型运行能力。传★ 258vpipevpipe 是一个用 C++ 编写的实时多模态 AI 流水线框架,专门面向 Apple Silicon 平台,通过 Metal 与 ANE(Apple 神经网络★ 257open-wispropen-wispr 是一款面向 macOS 的本地语音听写工具,基于 Swift 开发,核心目标是把语音转文字完全放在设备上完成,不依赖云端服务,从而保护隐私★ 225paddockpaddock 是一个用 Rust 编写的原生推理服务器,面向在 NVIDIA 与 Apple Silicon 上运行开放模型。它要解决的问题是:现有推理服务往★ 164ltx-2-mlxltx-2-mlx 是 LTX-2 视频生成模型(含 LTX-2.3 与 LTX-2.5)的纯 MLX 移植版,专为 Apple Silicon 打造,可直接在★ 155mlx-flashmlx-flash 是一个针对 Apple Silicon 的开源工具,通过权重流式加载技术,让 MLX 框架能够运行超过设备内存容量的超大模型。它解决了 Ap★ 142qwen3-ttsqwen3-tts 是一个纯 C 语言实现的 Qwen3-TTS 文本转语音推理引擎,旨在摆脱 Python 和 PyTorch 的依赖,仅用 C 和 BLAS★ 137tt-metaltt-metal 是 Tenstorrent 公司推出的底层算子库与内核编程模型,包含 TT-NN 算子库和 TT-Metalium 低层内核编程接口。它旨在为★ 127libwaifulibwaifu 是一个用 Rust 与 C++ 编写的本地 AI 推理项目,面向图像生成与语音合成场景。它把 SDXL、Qwen-Image、Anima 等文★ 113edge-vedaedge-veda 是一个面向 Flutter 的端侧 AI SDK,旨在让移动和桌面应用直接运行多种 AI 模型,无需依赖云端服务。它解决了开发者在 Flut★ 87subjective-zerosubjective-zero 是一款面向创意编程与实时视觉特效的智能体编辑器,基于 Swift 和 Metal 构建,运行于 macOS 平台。它通过节点图(★ 76Core-AI-Framework-Lab这是一个探索 Apple Core AI 框架的实战实验室,主要面向 Apple Silicon 设备上的生成式 AI 与端侧推理。项目解决了开发者对 Core★ 66