toshllm

让 Intel Mac 的 AMD 显卡也能本地跑大模型

toshllm 是一款原生 macOS 应用，专为搭载 AMD 显卡的 Intel Mac（含黑苹果/Hackintosh 机器）提供本地大语言模型运行能力。传统上，llama.cpp 等推理框架在 macOS 上主要依赖 Apple Silicon 的 Metal 加速，Intel Mac 用户尤其是使用 AMD 独显的机器往往只能退回 CPU 推理，速度慢、体验差。toshllm 通过 Swift 与 Metal 直接对接 AMD GPU，让这类设备也能获得 GPU 加速的本地推理。它内置模型加载、对话交互与参数调节界面，基于 SwiftUI 构建，开箱即用，无需命令行折腾。核心能力包括：调用 AMD GPU 执行 Metal 计算、本地加载 GGUF 等常见模型格式、提供图形化聊天窗口，并针对 Intel Mac 的硬件特性做适配。对于想在自己老款或黑苹果 Mac 上离线跑大模型的用户，这是一个少见的针对性方案。