Orion

在苹果 ANE 上直接跑小 LLM，离线微调不联网

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 16 🐛 待处理 9 👀 关注 3
GitHub ↗
GitHub 星标 ★ 133
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费，需自行部署

项目预览

Orion 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队mechramc
GitHubhttps://github.com/mechramc/Orion
定价模式🏷️完全免费
价格说明开源免费，需自行部署
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Objective-C
技术栈/模型ai,apple-silicon,llm-on-device,machine-learning,neural-engine,reverse-engineering
GitHub 星标★ 133
上线时间2026-03-03 00:00:00
代码更新2026-08-23
仓库体积1.5 MB
本站数据更新2026-11-02
维护状态维护中
收录时间2026-09-16
浏览次数1

项目介绍

Orion 是一个面向 Apple Silicon 的本地 AI 运行时，目标是直接在 Apple Neural Engine（ANE）上训练和运行小型大语言模型。它绕开了 CoreML 和 Metal 这两条常规路径，通过逆向工程直接调用 ANE 硬件，让 M 系列芯片的神经网络加速器真正跑起 LLM 的推理与微调。项目解决的核心问题是：现有 Apple 端侧 AI 方案大多依赖 CoreML 转换或 Metal GPU 计算，前者对动态模型支持有限，后者功耗和占用较高，而 ANE 长期缺乏开放、可编程的 LLM 运行时。Orion 提供离线、端侧的微调与推理能力，数据不出设备，适合对隐私和延迟敏感的场景。核心能力包括 ANE 上的小模型训练与推理、无需 CoreML/Metal 的底层调度、面向 M 系列芯片的优化。项目用 Objective-C 编写，目前处于早期阶段，星标约 122。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 133

核心亮点

  • 直接逆向调用 ANE，绕开 CoreML 与 Metal，路径独特
  • 支持端侧微调而非仅推理，数据可完全离线不出设备
  • 针对 M 系列芯片优化，利用神经网络加速器降低功耗

不足之处

  • 项目早期，星标仅约 122，生态与文档尚不完善
  • 仅支持小型 LLM，模型规模和能力受限，通用性待验证

适用场景

  • 隐私敏感场景下在 Mac 上离线微调个人小模型
  • 无网络环境下做端侧 LLM 推理与实验
  • 研究 ANE 底层能力、探索非 CoreML 端侧 AI 方案

替代项目

llama.cpp、MLX

上一篇：aws-lambda-power-tuning

下一篇：Sentinel_Guard

同类项目推荐

graphjin 开源

给AI代理一个统一数据入口，安全读写数据库和API

One governed graph for AI agents — GraphQL + MCP over your databases, files, APIs, ···

★ 3226 2026-08-09
Awesome-Ollama-Server 开源

实时盯住 Ollama 服务，掉线卡顿一眼看到

这是一个用于监控和检测 Ollama 服务可用性和性能的系统。它提供了一个现代化的 Web 界面，···

★ 396 2026-10-15
anyquery 开源

用 SQL 一把梭，轻松查遍 60+ 工具数据，还能喂给 AI

One SQL interface for 60+ tools (e.g., GitHub, Notion, Airtable). Plug into any LLM ···

★ 1789 2026-08-09
queryflux 开源

一个入口智能分发 SQL 到多个查询引擎

Multi-engine and Agentic AI SQL query router in Rust for all data platforms and lake···

★ 156 2026-10-09
truss 开源

把模型打包成 API，一行命令部署上线

The simplest way to serve AI/ML models in production

★ 1228 2026-08-09
runanywhere-sdks 开源

本地跑AI，生产级工具包，低延迟高隐私

Production ready toolkit to run AI locally

★ 10333 2026-08-09
superlog 开源

AI代理自动修故障，软件自愈省心

Open-source observability tool that uses AI agents to self-heal your software

★ 1477 2026-10-01
LodeDB 开源

本地嵌入的向量库，默认精确检索还带 GPU 加速

World's fastest and most compact embedded vector database: exact by default, multimo···

★ 104 2026-09-24
stable-diffusion-k8s 开源

在 Kubernetes 上快速部署 Stable Diffusion 推理服务

⚡Instant Stable Diffusion on k8s(Kubernetes) with Helm

★ 91 2026-08-09