Orion

在苹果 ANE 上直接跑小 LLM，离线微调不联网

Orion 是一个面向 Apple Silicon 的本地 AI 运行时，目标是直接在 Apple Neural Engine（ANE）上训练和运行小型大语言模型。它绕开了 CoreML 和 Metal 这两条常规路径，通过逆向工程直接调用 ANE 硬件，让 M 系列芯片的神经网络加速器真正跑起 LLM 的推理与微调。项目解决的核心问题是：现有 Apple 端侧 AI 方案大多依赖 CoreML 转换或 Metal GPU 计算，前者对动态模型支持有限，后者功耗和占用较高，而 ANE 长期缺乏开放、可编程的 LLM 运行时。Orion 提供离线、端侧的微调与推理能力，数据不出设备，适合对隐私和延迟敏感的场景。核心能力包括 ANE 上的小模型训练与推理、无需 CoreML/Metal 的底层调度、面向 M 系列芯片的优化。项目用 Objective-C 编写，目前处于早期阶段，星标约 122。