多硬件加速的 LLM 推理引擎，让大模型跑得更快更省
sonar 是一个面向大规模 LLM 推理场景的高性能引擎，用 C++ 编写，旨在解决大模型部署时的高延迟、低吞吐和硬件适配问题。它支持多种硬件后端，包括 NVIDIA CUDA、AMD ROCm、Intel 以及 AWS Inferentia 和 Google TPU，覆盖从云端到边缘的推理需求。核心能力包括高效的批处理调度、连续内存管理、以及针对 LoRA 微调模型的快速推理支持。此外，sonar 还集成了投机解码（speculative decoding）技术，能显著加速生成速度，减少用户等待时间。项目处于成长阶段，API 设计以 REST 为主，便于集成到现有服务中，适合需要高性价比、低延迟推理服务的团队使用。
1确认系统环境
先确认机器属于 README 支持的三类平台之一：Linux x86-64、Linux Arm64 或 Apple silicon macOS，否则请改走官方文档中的其他安装方式。
uname -a2运行自动安装脚本
执行官方一行安装脚本，脚本会自动识别平台与硬件后端（CUDA/ROCm/CPU/Metal）并完成安装，过程中需要联网下载。
curl -fsSL https://sonar.dphn.ai/install.sh | bash3查阅安装文档
AMD ROCm、Intel XPU、CPU、Apple silicon、Google TPU、Docker、WSL 2、源码编译和 nightly wheel 等场景，README 要求参照完整安装指南操作。
4按文档启动服务
Sonar 是兼容 Hugging Face 模型的推理引擎，提供 REST 服务与连续批处理、量化、投机解码等能力，启动与参数配置请以官方文档为准。
README 未给出验证命令；脚本执行完毕且无报错后，请按官网安装指南确认服务可正常启动。
Q：安装脚本支持哪些平台？
A：Linux x86-64（NVIDIA CUDA、AMD ROCm 或 CPU）、Linux Arm64（CPU）以及 Apple silicon macOS（Metal）。
Q：没有 NVIDIA 显卡能用吗？
A：可以，脚本支持纯 CPU 模式，也支持 AMD ROCm 与 Apple Metal 后端。
Q：想用 Docker 或源码编译怎么办？
A：自动脚本不覆盖这些方式，请查阅 sonar.dphn.ai 的完整安装指南，其中包含 Docker、WSL 2、源码构建与 nightly wheel。
Q：如何查看支持哪些模型和量化格式？
A：官方文档提供 Supported models 与 Quantization support 页面，且由当前源码树生成。
vLLM、TensorRT-LLM、llama.cpp
sonar 是基础设施领域的开源项目，由 dphnAI 开发，2023 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（1,865）位列前 30%，在基础设施分类中处于中上游。
近 42 天，它的 GitHub 星标从 1,832 增加到 1,865，净增 33。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-21。从国内网络环境看，可直接访问。
它主要面向的使用场景是：大规模在线LLM服务，需要低延迟响应。同类可对比的替代方案包括 vLLM、TensorRT-LLM、llama.cpp。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···