LLM-TPU 是基础设施领域的开源项目，由 sophgo 开发，2024 年首次发布。
它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 311。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。本地部署，完全免费。
它主要面向的使用场景是：边缘AI盒子本地运行LLM助手。同类可对比的替代方案包括 llama.cpp、ONNX Runtime、TensorRT-LLM。
LLM-TPU
在算能TPU上跑大模型，边缘部署快人一步
LLM-TPU 是一个面向算能（Sophgo）BM1684X 和 BM1688 系列 TPU 芯片的开源推理项目，旨在让生成式 AI 模型（如大语言模型）直接运行在边缘 TPU 设备上。它解决了在资源受限的嵌入式环境中部署大模型的难题，提供了从模型转换、量化到高效推理的完整工具链。核心能力包括针对 TPU 的算子优化、内存管理和多模型支持，能够显著降低延迟并提升吞吐量。项目基于 C++ 实现，强调高性能和低功耗，适合在智能摄像头、边缘网关等场景中落地。目前处于早期阶段，但已具备基本的模型运行能力，并积极适配更多主流开源模型。
开源
free
开源模型
GitHub 星标
★ 311
维护状态
活跃
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队sophgo
所属国家
定价模式free
价格说明开源项目，本地部署，完全免费
访问状态
是否开源是
开源协议NOASSERTION
主要语言C++
技术栈/模型bm1684x,bm1688,generative-ai,internvl3,large-language-models,llama3,llm,llm-inference,qwen2-5-vl,qwen3,qwen3-5,qwen3-vl
GitHub 星标★ 311
30天Star增速
HF 下载量
上线时间2024-02-06 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 针对BM1684X/BM1688深度优化，推理性能强
- 支持主流生成式AI模型，降低边缘部署门槛
- 提供完整工具链，从转换到部署一站式解决
不足之处
- 仅支持算能特定芯片，硬件兼容性受限
- 文档和社区生态尚不完善，上手需一定门槛
适用场景
- 边缘AI盒子本地运行LLM助手
- 工业视觉设备集成生成式AI能力
- 低功耗场景离线处理自然语言任务
替代项目
llama.cpp、ONNX Runtime、TensorRT-LLM
项目介绍
上一篇：kvpress
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···