项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-26 · 当前星标 ★ 170
核心亮点
- 提供 OpenAI 兼容 API，现有应用改个 base_url 就能接入本地芯片推理
- 覆盖 AX620E/AX650/AX637 多款芯片，并已适配 Qwen2、Llama3、Gemma2、MiniCPM、InternVL2 等主流模型
- C++ 实现，面向边缘低功耗设备，适合离线、隐私敏感和低延迟场景
不足之处
- 强绑定 AXera 芯片，非该系列硬件无法使用，通用性受限
- 星标仅 169，社区规模小，文档与问题响应速度有待观察
适用场景
- 智能摄像头本地跑视觉语言模型，实时识别画面内容并输出结构化描述
- 工业边缘网关离线部署对话模型，在无外网环境下做设备问答与告警
- 机器人或车载终端用 OpenAI 接口接入本地 LLM，降低云端调用延迟与成本
替代项目
llama.cpp、vLLM、Ollama
上一篇：langsmith-fetch
下一篇：genai-factory
同类项目推荐
OpenMLDB
开源
用SQL统一训练与推理特征，告别线上线下不一致
OpenMLDB is an open-source machine learning database that provides a feature platfor···
CPA_Orbit
开源
本地命令行统一管理 AI 账号与配额，实时监控价格
From K12 price radar to CPA proxy operations: a local-first console for offers, subs···
sacremoses
开源
Moses 文本预处理工具一键迁移到 Python，让分词大小写规范化不再愁
Python port of Moses tokenizer, truecaser and normalizer
codex-token-skills
开源
为 Codex CLI 省 60-80% token 成本，用前缀缓存优化
⚡ Cut 60-80% token cost for DeepSeek V4 Pro on Codex CLI. token-saver + memory skil···
gguf
开源
让 ComfyUI 直接跑 GGUF 量化模型，低显存也能出图
gguf node for comfyui
openai-node
开源
官方 TS SDK，类型安全调用 OpenAI 接口
Official JavaScript / TypeScript library for the OpenAI API
quokka
开源
让数据湖高效处理时序数据，写入查询都快
Making data lake work for time series
ai-infra-landscape
开源
一张图看懂生成式AI基础设施全景，快速定位技术选型
This is a landscape of the infrastructure that powers the generative AI ecosystem
bc250
开源
用 PS5 同款 APU 主板，低成本跑本地大模型和文生图
AMD BC-250 (PS5 APU) setup guide — Ollama + Vulkan inference, poor man's AI assista···