项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 321
核心亮点
- 针对BM1684X/BM1688深度优化，推理性能强
- 支持主流生成式AI模型，降低边缘部署门槛
- 提供完整工具链，从转换到部署一站式解决
不足之处
- 仅支持算能特定芯片，硬件兼容性受限
- 文档和社区生态尚不完善，上手需一定门槛
适用场景
- 边缘AI盒子本地运行LLM助手
- 工业视觉设备集成生成式AI能力
- 低功耗场景离线处理自然语言任务
替代项目
llama.cpp、ONNX Runtime、TensorRT-LLM
上一篇：kvpress
同类项目推荐
MagiCompiler
开源
插上就快，视频生成模型推理训练免费提速
A plug-and-play compiler that delivers free-lunch optimizations for both inference a···
automem
开源
给 AI 装上跨会话的长期记忆，让对话更连贯
Long-term memory for AI assistants. Graph + vector store that recalls decisions, rel···
mlops-best-practices
开源
照着做，把机器学习模型稳稳送上线
Practical guide to build end-to-end machine learning pipeline and deploy your model ···
oomstore
开源
用 Go/Rust 打造的高速特征仓库，让特征上线快如闪电
Lightweight and Fast Feature Store Powered by Go (and Rust).
AI-Infra-from-Zero-to-Hero
开源
从论文到实战，一站式搞定AI系统学习
Awesome System for Machine Learning ⚡️ AI System Papers and Industry Practice. ⚡️···
TriviumDB
开源
一个内核搞定向量、图、文档，写入即用
A lightweight embedded database engine that natively fuses vector search, graph, and···
sqlite-ml
开源
在 SQLite 里跑机器学习，用 SQL 直接训练和预测
An SQLite extension for machine learning
Axon
开源
终端里实时看穿 LLM 调用链，调试智能体快人一步
OpenTelemetry-native LLM observability CLI. Point any OTEL exporter at it and watch ···
xberg
开源
一个库解析百种文档，支持多语言调用，省去格式适配烦恼。
The fast, precise document-intelligence engine for every language: text, tables and ···