basalt

专为 Blackwell 优化的本地大模型推理引擎

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 基础设施 🍴 复刻 255 🐛 待处理 158 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1654
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

basalt 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队jesdga95
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
开源协议MIT
主要语言C++
GitHub 星标★ 1654
上线时间2026-10-06 00:00:00
代码更新2026-11-21
仓库体积34.8 MB
本站数据更新2026-11-22
维护状态活跃
收录时间2026-11-22
浏览次数0

项目介绍

basalt 是一个面向 NVIDIA Blackwell 架构 GPU 的本地推理引擎,使用 C++ 编写,目标是让开发者在自己的机器上高效运行大语言模型推理。项目针对 Blackwell 的硬件特性做了底层优化,减少通用推理框架带来的额外开销,从而在本地获得更低的延迟和更高的吞吐。核心能力包括:加载并执行主流模型权重、管理显存与计算资源、提供可编程的推理接口,方便集成到本地应用或服务中。它解决的是通用框架在新架构上适配滞后、性能未充分释放的问题,适合对推理性能敏感、希望掌控本地部署链路的开发者。项目当前星标约 1.6k,处于成长阶段,社区和生态仍在完善。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 1654

使用教程

难度:高级 约 60 分钟 部署方式:本地安装 5 步

环境要求

  • Linux x86-64(支持 AVX2)或 Windows 10 1903+ x64
  • NVIDIA Blackwell 架构 GPU(计算能力 12.0),并安装 CUDA 13
  • CMake 3.24+,Linux 下需要 GCC 13+
  • Python 3.10+(用于安装依赖与下载模型)
  • 系统内存足够容纳未能放入显存的 MoE 专家权重

安装与启动步骤

  1. 1克隆并编译源码

    下载仓库后用 CMake 以 Release 模式构建;Windows 需在 x64 VS 2022 命令行中给第一行加 -G Ninja。产物在 bin/ 目录。

    git clone https://github.com/jesdga95/basalt && cd basalt
    cmake -S . -B build -DCMAKE_BUILD_TYPE=Release
    cmake --build build -j
  2. 2安装 Python 依赖

    在仓库根目录安装 requirements.txt 中的依赖,供模型下载等脚本使用。

    pip install -r requirements.txt
  3. 3下载模型权重

    使用 hf download 拉取示例模型到本地 models 目录;模型体积较大,注意磁盘与内存余量。

    hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4-DQ6_K.basalt --local-dir models
  4. 4编写配置文件

    在仓库根目录新建 basalt_config.json,填写模型路径、使用的 GPU、kv 精度与服务端口。

  5. 5启动推理服务

    执行 serve 子命令加载配置启动服务,默认只监听 127.0.0.1,对外提供 OpenAI 与 Anthropic 兼容接口。

    bin/basalt serve --config basalt_config.json

关键配置

配置项必填说明示例
version是配置文件格式版本,示例为 22
models[].model是本地模型权重目录或文件路径models/Qwen3.8-FN-NVFP4-DQ6_K.basalt
models[].gpu否指定使用的 GPU 编号,多个用逗号分隔0,1
models[].kv否KV 缓存精度设置,示例为 int8int8
engine.resident-experts否专家权重常驻相关开关,用于显存不足时利用系统内存true
server.port否服务监听端口,示例为 80808080

如何确认成功

进程无报错并监听 127.0.0.1:8080,打开 Web UI 或调用 OpenAI/Anthropic 兼容接口能得到回复即成功。

常见问题

Q:没有 Blackwell 显卡可以运行吗?

A:README 只说明需要 NVIDIA Blackwell(计算能力 12.0)与 CUDA 13,未提供其他硬件后端,其他显卡不在支持范围内。

Q:显存装不下整个模型怎么办?

A:MoE 模型的专家权重可放在系统内存,需保证内存容量足够,并可通过 engine.resident-experts 等配置调整。

Q:只想编译部分模型支持?

A:配置时加 -DBASALT_MODELS=qwen4exp、deepseek41、qwen35、hy4flash 或 inkling2,只构建需要的模型后端,缩短编译时间。

Q:Windows 上编译失败怎么办?

A:在 x64 VS 2022 命令提示符中执行,并给 cmake 配置行加上 -G Ninja 生成器。

Q:不想自己编译可以吗?

A:可以直接下载 release 页面提供的 Linux、Windows 预编译包,其运行依赖见官方平台文档。

注意事项

  • 服务默认只监听 127.0.0.1,需要其他机器访问时请自行评估并调整监听设置。
  • 模型权重体积大,下载前确认磁盘和内存容量。
  • 更多配置项与示例参见仓库 docs/configuration 目录。
  • 仅支持 README 列出的平台(Linux x86-64、Windows 10 1903+ x64)。

核心亮点

  • 针对 NVIDIA Blackwell 架构做底层优化,而非通用框架的简单适配
  • C++ 实现,运行时开销小,便于嵌入本地应用
  • 提供本地推理能力,数据不出机器,适合隐私敏感场景

不足之处

  • 强依赖 NVIDIA Blackwell 硬件,其他 GPU 或 CPU 环境基本不可用
  • 成长中项目,文档与社区生态相对有限,问题排查成本较高

适用场景

  • 在配备 Blackwell 显卡的工作站上本地部署大模型推理服务
  • 对延迟敏感的本地 AI 应用,如离线助手、代码补全
  • 需要数据不出本机的隐私敏感推理任务

替代项目

llama.cpp、vLLM、TensorRT-LLM

同类项目推荐

runtm 开源

给AI编程代理一个安全沙箱,放心让它写代码和部署

Open-source sandboxes where coding agents build and deploy. Spin up isolated environ···

★ 306 2026-08-09
MachineAuth 开源

让 AI 代理安全访问 API,权限可控可审计

MachineAuth provides authentication and permission infrastructure that allows AI age···

★ 61 2026-08-09
luminal 开源

Rust 写的轻量推理引擎,模型跑得更快更省

Inference at the speed of light.

★ 3064 2026-11-08
screenpipe 开源

录屏24小时,喂给AI代理,本地私密自动化

YC (S26) | Screenpipe finds the work worth automating | Continuously record computer···

★ 22491 2026-08-09
rtx6kpro 开源

无 NVLink 的 PCIe 多卡也能跑千亿级大模型

RTX 6000 Pro Wiki — Running Large LLMs (Qwen3.5-397B, Kimi-K2.5, GLM-5) on PCIe GPU···

★ 1218 2026-11-22
anythingmcp 开源

无需代码,把任意 API/数据库变成 AI 的 MCP 连接器

Enterprise Agent Harness & MCP Gateway: connect APIs, databases, file servers and 60···

★ 815 2026-08-09
dualmark 开源

一个页面,两种形态,让 AI 和人类都能读懂你的内容。

Open-source AEO (Answer Engine Optimization) infrastructure — every page, dual-mark···

★ 125 2026-08-09
x-stable-diffusion 开源

把 Stable Diffusion 推理压到 0.88 秒,实时出图不是梦。

Real-time inference for Stable Diffusion - 0.88s latency. Covers AITemplate, nvFuser···

★ 556 2026-08-09
gitmoney-public-framework 开源

套用现成框架,AI 办公基建不用从零搭建

Public GitMoney framework for plain-English GitHub, AI Office infrastructure, and fo···

★ 9 2026-08-09