GenieX

一行代码让高通设备跑起前沿大模型，离线AI轻松实现

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 1078 🐛 待处理 88 👀 关注 531

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 8508

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，BSD-3-Clause许可证，可免费本地部署使用，无付费版本。

项目预览

项目数据

分类开源模型

开发团队qualcomm

官网地址https://geniex.aihub.qualcomm.com/en/get-started/what-is-geniex

GitHubhttps://github.com/qualcomm/GenieX

定价模式🏷️完全免费

价格说明开源项目，BSD-3-Clause许可证，可免费本地部署使用，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议BSD-3-Clause

主要语言Go

技术栈/模型gemma4,go,gpt-oss,granite4,hexagon,llama3,llm,local-ai,on-device-ai,qualcomm,qwen3,qwen3vl,sdk,snapdragon,vlm

GitHub 星标★ 8508

上线时间2024-08-16 00:00:00

代码更新2026-11-09

仓库体积147.4 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数8

项目介绍

GenieX 是一个专为高通设备设计的开源推理引擎，旨在让开发者通过几行代码即可在本地运行前沿的大语言模型（LLM）和视觉语言模型（VLM）。它充分利用高通芯片的异构计算能力，包括 NPU、GPU 和 CPU，实现高效、低延迟的端侧推理。GenieX 解决了在资源受限的移动设备和嵌入式设备上部署大型模型的难题，提供了跨平台支持，并针对高通硬件进行了深度优化。其核心能力包括：统一的 API 接口、自动设备选择与调度、支持多种主流模型格式，以及为开发者提供的简洁集成体验。通过 GenieX，开发者可以轻松构建隐私保护、离线可用的 AI 应用，而无需依赖云端服务。项目采用 Rust 编写，保证了内存安全和性能，目前正处于快速成长阶段，吸引了大量关注。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 8508

技术标签

gemma4 go gpt-oss llama3 llm

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 10 分钟部署方式：Docker 3 步

环境要求

一台高通骁龙（Snapdragon）设备：Windows ARM64（Snapdragon X / X Elite）、Android（Snapdragon 8
已安装并可正常使用的 Docker 环境
可访问 Docker Hub 与 Hugging Face / Qualcomm AI Hub 的网络
准备好要运行的模型：Hugging Face 上的 GGUF 模型，或 Qualcomm AI Hub 的预编译 bundle

安装与启动步骤

1确认设备平台

GenieX 只在高通骁龙设备上运行，先确认自己的机器属于 Windows ARM64、Android 还是 Linux ARM64，再选择对应接口。
2拉取 GenieX 镜像

从 Docker Hub 拉取官方 GenieX 镜像，容器内已封装好 CLI，因此后续 geniex 命令可直接在容器环境中使用。
```
docker pull docker.io/qualcomm/geniex:latest
```
3运行模型推理

指定要加载的模型即可开始本地推理；README 示例使用 Docker Hub 上的 gemma3，运行时会自动调度 NPU / GPU / CPU。
```
geniex infer docker.io/ai/gemma3
```