一行代码让高通设备跑起前沿大模型，离线AI轻松实现
GenieX 是一个专为高通设备设计的开源推理引擎，旨在让开发者通过几行代码即可在本地运行前沿的大语言模型（LLM）和视觉语言模型（VLM）。它充分利用高通芯片的异构计算能力，包括 NPU、GPU 和 CPU，实现高效、低延迟的端侧推理。GenieX 解决了在资源受限的移动设备和嵌入式设备上部署大型模型的难题，提供了跨平台支持，并针对高通硬件进行了深度优化。其核心能力包括：统一的 API 接口、自动设备选择与调度、支持多种主流模型格式，以及为开发者提供的简洁集成体验。通过 GenieX，开发者可以轻松构建隐私保护、离线可用的 AI 应用，而无需依赖云端服务。项目采用 Rust 编写，保证了内存安全和性能，目前正处于快速成长阶段，吸引了大量关注。
1确认设备平台
GenieX 只在高通骁龙设备上运行，先确认自己的机器属于 Windows ARM64、Android 还是 Linux ARM64，再选择对应接口。
2拉取 GenieX 镜像
从 Docker Hub 拉取官方 GenieX 镜像，容器内已封装好 CLI，因此后续 geniex 命令可直接在容器环境中使用。
docker pull docker.io/qualcomm/geniex:latest3运行模型推理
指定要加载的模型即可开始本地推理；README 示例使用 Docker Hub 上的 gemma3，运行时会自动调度 NPU / GPU / CPU。
geniex infer docker.io/ai/gemma3执行 geniex infer docker.io/ai/gemma3 后，命令行能正常加载模型并返回生成的推理结果，即表示运行成功。
Q：非高通芯片的电脑可以运行 GenieX 吗？
A：不可以。GenieX 仅支持高通骁龙平台，官方列出 Windows ARM64、Android 和 Linux ARM64 三类设备，其他平台的芯片不在支持范围内。
Q：支持哪些模型来源和格式？
A：两类：一是 Hugging Face 上的 GGUF 模型（走 llama.cpp 运行时），二是 Qualcomm AI Hub 的预编译 bundle（走 qairt 运行时，面向 NPU）。
Q：推理时用 NPU、GPU 还是 CPU？
A：由 GenieX 自动完成设备选择与调度：预编译 bundle 面向 Hexagon NPU，GGUF 模型由 llama.cpp 在 NPU / GPU / CPU 之间运行，无需手动指定。
Q：除了 Docker 和 CLI，还有别的调用方式吗？
A：有。README 提到同一套 C SDK 还提供 Python、Kotlin/Java（Android SDK）以及 OpenAI 兼容的本地服务器接口，具体安装命令需查阅官网对应文档页。
llama.cpp、MNN、ONNX Runtime
GenieX 是基础设施领域的开源项目，由 qualcomm 开发，2024 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（8,392）位列前 6%，在基础设施分类的 1,132 个项目里位列前 8%。
近 41 天，它的 GitHub 星标从 8,303 增加到 8,392，净增 89。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。BSD-3-Clause许可证，可免费本地部署使用，无付费版本。
它主要面向的使用场景是：在Android手机上离线运行聊天助手或文档摘要。同类可对比的替代方案包括 llama.cpp、MNN、ONNX Runtime。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···