项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 120
核心亮点
- 纯C++实现，无外部依赖，易于集成到嵌入式或边缘设备
- 代码简洁，适合学习张量底层实现与推理框架原理
- 早期项目，架构灵活，便于二次开发定制
不足之处
- 功能尚不完整，高级算子（如卷积、注意力）缺失
- 文档和示例较少，上手门槛较高
- 社区规模小，维护活跃度待观察
适用场景
- 嵌入式设备上的轻量级模型推理
- 教学场景中演示张量库和推理框架的内部机制
- 快速原型验证，用于定制化算子开发
替代项目
xtensor、Eigen、onnxruntime
上一篇：FlexPrefill
同类项目推荐
grps_trtllm
开源
用 C++ 榨干 GPU，OpenAI 服务比 vLLM 更快
Higher performance OpenAI LLM service than vLLM serve: A pure C++ high-performance O···
BharatMLStack
开源
一套打通训练到推理的 ML 基础设施，让大规模模型上线更稳更快。
BharatMLStack is an open-source, end-to-end machine learning infrastructure stack bu···
backburner
开源
插上 iPhone，Mac 本地跑 27B 大模型
Your iPhone helps your Mac run a 27B model: faster prompt reading and more context o···
TokenHub
开源
统一管理企业 AI 调用，让每一次请求可控可追溯。
TokenHub gives enterprises a private gateway to unify AI model access and governance···
ax
开源
给 AI 编程代理装上记忆和监控，让每次编码都有迹可循。
the agent experience layer · observability + memory for AI coding agents (Claude Co···
Awesome-LLMOps
开源
一站式找到大模型开发运维工具，告别选型困难
An awesome & curated list of best LLMOps tools for developers
Awesome-DiT-Inference
开源
一站式索引扩散模型推理加速论文与代码，快速提升生成效率
A curated list of Awesome Diffusion Inference Papers with Codes: Sampling, Cache, Qu···
tiktoken
开源
精准算 token、快速切文本，LLM 应用必备
tiktoken is a fast BPE tokeniser for use with OpenAI's models.
onWatch
开源
一个后台小进程，实时盯住所有 AI 额度不爆表
Track AI API quotas across Synthetic, Z.ai, Anthropic (Claude Code), Codex, GitHub C···