ax-llm

把大模型塞进爱芯芯片，OpenAI 接口即插即用

ax-llm 是爱芯元智（AXera）AI 芯片上的大模型部署工具，目标是把 LLM 和 VLM 推理搬到 AX620E、AX650、AX637 系列边缘芯片上运行。它解决的是边缘设备算力有限、难以直接跑主流大模型的问题，通过针对芯片的算子优化与量化，让 Qwen2、Llama3、Gemma2、MiniCPM、InternVL2 等模型能在低功耗设备上落地。项目提供 OpenAI 兼容的 HTTP API，现有基于 OpenAI SDK 的应用几乎不用改代码就能切换到本地芯片推理，同时支持文本对话和多模态视觉理解。用 C++ 实现，便于嵌入到摄像头、机器人、工控机等产品中，适合对数据隐私、响应延迟和离线运行有要求的场景。

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 169

维护状态活跃

是否开源是

定价模式 free

项目数据

分类基础设施

开发团队AXERA-TECH

所属国家

官网地址

GitHubhttps://github.com/AXERA-TECH/ax-llm

定价模式free

价格说明开源项目，免费使用，定价信息待确认

访问状态

是否开源是

开源协议BSD-3-Clause

主要语言C++

技术栈/模型axera,edge-computing,gemma2,huggingface,internvl2,llama3,llm,minicpm,minicpm-v,qwen2,transformer,vlm

GitHub 星标★ 169

30天Star增速

HF 下载量

上线时间2024-03-14 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-26

浏览次数0

使用教程

核心亮点

提供 OpenAI 兼容 API，现有应用改个 base_url 就能接入本地芯片推理
覆盖 AX620E/AX650/AX637 多款芯片，并已适配 Qwen2、Llama3、Gemma2、MiniCPM、InternVL2 等主流模型
C++ 实现，面向边缘低功耗设备，适合离线、隐私敏感和低延迟场景

不足之处

强绑定 AXera 芯片，非该系列硬件无法使用，通用性受限
星标仅 169，社区规模小，文档与问题响应速度有待观察

适用场景

智能摄像头本地跑视觉语言模型，实时识别画面内容并输出结构化描述
工业边缘网关离线部署对话模型，在无外网环境下做设备问答与告警
机器人或车载终端用 OpenAI 接口接入本地 LLM，降低云端调用延迟与成本

替代项目

llama.cpp、vLLM、Ollama

项目介绍

ax-llm 是基础设施领域的开源项目，由 AXERA-TECH 开发，2024 年首次发布。

它收录于基础设施分类，该分类目前共有 1,133 个项目，GitHub 星标数为 169。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。免费使用。

它主要面向的使用场景是：智能摄像头本地跑视觉语言模型，实时识别画面内容并输出结构化描述。同类可对比的替代方案包括 llama.cpp、vLLM、Ollama。

上一篇：langsmith-fetch

下一篇：没有了！