toshllm

让 Intel Mac 的 AMD 显卡也能本地跑大模型

开源 🏷️定价信息待确认 ✅ 目前可打开 基础设施 🍴 复刻 29 🐛 待处理 17
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 235
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

toshllm 项目界面预览图
图片来源：项目官网

项目数据

分类基础设施
开发团队engeldlgado
官网地址https://toshllm.com
GitHubhttps://github.com/engeldlgado/toshllm
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议GPL-3.0
主要语言Swift
技术栈/模型amd-gpu,hackintosh,intel-mac,llama-cpp,llm,local-ai,macos,metal,swiftui
GitHub 星标★ 235
上线时间2026-06-14 00:00:00
代码更新2026-11-02
仓库体积22.7 MB
本站数据更新2026-11-04
维护状态活跃
收录时间2026-09-15
浏览次数3

项目介绍

toshllm 是一款原生 macOS 应用，专为搭载 AMD 显卡的 Intel Mac（含黑苹果/Hackintosh 机器）提供本地大语言模型运行能力。传统上，llama.cpp 等推理框架在 macOS 上主要依赖 Apple Silicon 的 Metal 加速，Intel Mac 用户尤其是使用 AMD 独显的机器往往只能退回 CPU 推理，速度慢、体验差。toshllm 通过 Swift 与 Metal 直接对接 AMD GPU，让这类设备也能获得 GPU 加速的本地推理。它内置模型加载、对话交互与参数调节界面，基于 SwiftUI 构建，开箱即用，无需命令行折腾。核心能力包括：调用 AMD GPU 执行 Metal 计算、本地加载 GGUF 等常见模型格式、提供图形化聊天窗口，并针对 Intel Mac 的硬件特性做适配。对于想在自己老款或黑苹果 Mac 上离线跑大模型的用户，这是一个少见的针对性方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 235

核心亮点

  • 专门填补 Intel Mac + AMD GPU 本地推理的空白，同类工具基本只支持 Apple Silicon
  • 原生 SwiftUI 应用，图形界面开箱即用，不用手动编译 llama.cpp 或敲命令行
  • 基于 Metal 直接调用 AMD GPU，相比纯 CPU 推理能明显提升生成速度

不足之处

  • 仅覆盖 Intel Mac + AMD GPU 这一小众硬件组合，适用人群窄
  • 项目处于早期，模型兼容性、稳定性和文档完善度有待观察

适用场景

  • 黑苹果用户想在本地离线运行大模型做对话或写作
  • 老款 Intel Mac 配 AMD 独显，不想依赖云端 API 保护隐私
  • 开发者测试 AMD GPU 在 macOS 下的 Metal 推理性能

替代项目

llama.cpp、Ollama、LM Studio

上一篇：rainbond

下一篇：pmetal

同类项目推荐

a-guide-to-mlops 开源

从传统到现代，一份指南带你玩转MLOps工具链

A simple yet complete guide to MLOps tools and practices - from a conventional way t···

★ 63 2026-08-09
minio 开源

自建高性能 S3 对象存储，轻松兼容 AWS，秒级部署。

MinIO is a high-performance, S3 compatible object store, open sourced under GNU AGPL···

★ 61283 2026-08-29
aiops-modules 开源

把 AWS 上 AI 基建打包成积木，快速搭建和运维

AIOps modules is a collection of reusable Infrastructure as Code (IaC) modules for M···

★ 104 2026-08-09
nnterp 开源

一套接口读改任意大模型内部，可解释性实验不再重复造轮子

Unified access to Large Language Model modules using NNsight

★ 121 2026-09-25
gpt4local 开源

本地跑 GPT，文档问答秒回，OpenAI 接口无缝换

Openai-style, fast & lightweight local language model inference w/ documents

★ 151 2026-08-09
pebblo 开源

加载数据前先过一道安全筛，让 Gen AI 应用安心上线

Pebblo enables developers to safely load data and promote their Gen AI app to deploy···

★ 149 2026-08-09
langsmith-sdk 开源

给 LLM 应用装上黑匣子，调用全记录、效果可对比

This repo was archived on Oct 16, 2026. Python SDK moved to langchain-ai/langsmith-p···

★ 1083 2026-09-12
uteke 开源

给 AI 装上本地大脑，离线记忆秒级召回

Long-term memory for any AI agent. One Rust binary, offline, 98.2% recall@5 on LongM···

★ 282 2026-08-09
SharpVector 开源

在 .NET 应用内直接实现语义搜索，无需外部数据库。

Lightweight, In-memory, Semantic Search, Text Vector Database to embed in any .NET A···

★ 146 2026-08-09