sonar

多硬件加速的 LLM 推理引擎，让大模型跑得更快更省

开源 🏷️定价信息待确认 ✅ 目前可打开基础设施 🍴 复刻 213 🐛 待处理 55 👀 关注 28

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1905

维护状态活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

项目数据

分类基础设施

开发团队dphnAI

官网地址https://sonar.dphn.ai

GitHubhttps://github.com/dphnAI/sonar

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态✅ 目前可打开

是否开源是

开源协议AGPL-3.0

主要语言Python

技术栈/模型api-rest,cuda,inference-engine,inferentia,intel,lora,machine-learning,rocm,speculative-decoding,tpu

GitHub 星标★ 1905

上线时间2023-06-23 00:00:00

代码更新2026-11-08

仓库体积128.3 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-10

浏览次数7

项目介绍

sonar 是一个面向大规模 LLM 推理场景的高性能引擎，用 C++ 编写，旨在解决大模型部署时的高延迟、低吞吐和硬件适配问题。它支持多种硬件后端，包括 NVIDIA CUDA、AMD ROCm、Intel 以及 AWS Inferentia 和 Google TPU，覆盖从云端到边缘的推理需求。核心能力包括高效的批处理调度、连续内存管理、以及针对 LoRA 微调模型的快速推理支持。此外，sonar 还集成了投机解码（speculative decoding）技术，能显著加速生成速度，减少用户等待时间。项目处于成长阶段，API 设计以 REST 为主，便于集成到现有服务中，适合需要高性价比、低延迟推理服务的团队使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 1905

技术标签

cuda inference-engine lora machine-learning rocm

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 15 分钟部署方式：本地安装 4 步

环境要求

Linux x86-64 系统（支持 NVIDIA CUDA、AMD ROCm 或纯 CPU）
Linux Arm64 系统（仅 CPU）
Apple silicon macOS（Metal 后端）
已安装 curl 并可访问外网

安装与启动步骤

1确认系统环境

先确认机器属于 README 支持的三类平台之一：Linux x86-64、Linux Arm64 或 Apple silicon macOS，否则请改走官方文档中的其他安装方式。
```
uname -a
```
2运行自动安装脚本

执行官方一行安装脚本，脚本会自动识别平台与硬件后端（CUDA/ROCm/CPU/Metal）并完成安装，过程中需要联网下载。
```
curl -fsSL https://sonar.dphn.ai/install.sh | bash
```
3查阅安装文档

AMD ROCm、Intel XPU、CPU、Apple silicon、Google TPU、Docker、WSL 2、源码编译和 nightly wheel 等场景，README 要求参照完整安装指南操作。
4按文档启动服务

Sonar 是兼容 Hugging Face 模型的推理引擎，提供 REST 服务与连续批处理、量化、投机解码等能力，启动与参数配置请以官方文档为准。