项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 1654
使用教程
环境要求
- Linux x86-64(支持 AVX2)或 Windows 10 1903+ x64
- NVIDIA Blackwell 架构 GPU(计算能力 12.0),并安装 CUDA 13
- CMake 3.24+,Linux 下需要 GCC 13+
- Python 3.10+(用于安装依赖与下载模型)
- 系统内存足够容纳未能放入显存的 MoE 专家权重
安装与启动步骤
-
1克隆并编译源码
下载仓库后用 CMake 以 Release 模式构建;Windows 需在 x64 VS 2022 命令行中给第一行加 -G Ninja。产物在 bin/ 目录。
git clone https://github.com/jesdga95/basalt && cd basalt cmake -S . -B build -DCMAKE_BUILD_TYPE=Release cmake --build build -j -
2安装 Python 依赖
在仓库根目录安装 requirements.txt 中的依赖,供模型下载等脚本使用。
pip install -r requirements.txt -
3下载模型权重
使用 hf download 拉取示例模型到本地 models 目录;模型体积较大,注意磁盘与内存余量。
hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4-DQ6_K.basalt --local-dir models -
4编写配置文件
在仓库根目录新建 basalt_config.json,填写模型路径、使用的 GPU、kv 精度与服务端口。
-
5启动推理服务
执行 serve 子命令加载配置启动服务,默认只监听 127.0.0.1,对外提供 OpenAI 与 Anthropic 兼容接口。
bin/basalt serve --config basalt_config.json
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
version | 是 | 配置文件格式版本,示例为 2 | 2 |
models[].model | 是 | 本地模型权重目录或文件路径 | models/Qwen3.8-FN-NVFP4-DQ6_K.basalt |
models[].gpu | 否 | 指定使用的 GPU 编号,多个用逗号分隔 | 0,1 |
models[].kv | 否 | KV 缓存精度设置,示例为 int8 | int8 |
engine.resident-experts | 否 | 专家权重常驻相关开关,用于显存不足时利用系统内存 | true |
server.port | 否 | 服务监听端口,示例为 8080 | 8080 |
如何确认成功
进程无报错并监听 127.0.0.1:8080,打开 Web UI 或调用 OpenAI/Anthropic 兼容接口能得到回复即成功。
常见问题
Q:没有 Blackwell 显卡可以运行吗?
A:README 只说明需要 NVIDIA Blackwell(计算能力 12.0)与 CUDA 13,未提供其他硬件后端,其他显卡不在支持范围内。
Q:显存装不下整个模型怎么办?
A:MoE 模型的专家权重可放在系统内存,需保证内存容量足够,并可通过 engine.resident-experts 等配置调整。
Q:只想编译部分模型支持?
A:配置时加 -DBASALT_MODELS=qwen4exp、deepseek41、qwen35、hy4flash 或 inkling2,只构建需要的模型后端,缩短编译时间。
Q:Windows 上编译失败怎么办?
A:在 x64 VS 2022 命令提示符中执行,并给 cmake 配置行加上 -G Ninja 生成器。
Q:不想自己编译可以吗?
A:可以直接下载 release 页面提供的 Linux、Windows 预编译包,其运行依赖见官方平台文档。
注意事项
- 服务默认只监听 127.0.0.1,需要其他机器访问时请自行评估并调整监听设置。
- 模型权重体积大,下载前确认磁盘和内存容量。
- 更多配置项与示例参见仓库 docs/configuration 目录。
- 仅支持 README 列出的平台(Linux x86-64、Windows 10 1903+ x64)。
核心亮点
- 针对 NVIDIA Blackwell 架构做底层优化,而非通用框架的简单适配
- C++ 实现,运行时开销小,便于嵌入本地应用
- 提供本地推理能力,数据不出机器,适合隐私敏感场景
不足之处
- 强依赖 NVIDIA Blackwell 硬件,其他 GPU 或 CPU 环境基本不可用
- 成长中项目,文档与社区生态相对有限,问题排查成本较高
适用场景
- 在配备 Blackwell 显卡的工作站上本地部署大模型推理服务
- 对延迟敏感的本地 AI 应用,如离线助手、代码补全
- 需要数据不出本机的隐私敏感推理任务
替代项目
llama.cpp、vLLM、TensorRT-LLM
同类项目推荐
runtm
开源
给AI编程代理一个安全沙箱,放心让它写代码和部署
Open-source sandboxes where coding agents build and deploy. Spin up isolated environ···
MachineAuth
开源
让 AI 代理安全访问 API,权限可控可审计
MachineAuth provides authentication and permission infrastructure that allows AI age···
luminal
开源
Rust 写的轻量推理引擎,模型跑得更快更省
Inference at the speed of light.
screenpipe
开源
录屏24小时,喂给AI代理,本地私密自动化
YC (S26) | Screenpipe finds the work worth automating | Continuously record computer···
rtx6kpro
开源
无 NVLink 的 PCIe 多卡也能跑千亿级大模型
RTX 6000 Pro Wiki — Running Large LLMs (Qwen3.5-397B, Kimi-K2.5, GLM-5) on PCIe GPU···
anythingmcp
开源
无需代码,把任意 API/数据库变成 AI 的 MCP 连接器
Enterprise Agent Harness & MCP Gateway: connect APIs, databases, file servers and 60···
dualmark
开源
一个页面,两种形态,让 AI 和人类都能读懂你的内容。
Open-source AEO (Answer Engine Optimization) infrastructure — every page, dual-mark···
x-stable-diffusion
开源
把 Stable Diffusion 推理压到 0.88 秒,实时出图不是梦。
Real-time inference for Stable Diffusion - 0.88s latency. Covers AITemplate, nvFuser···
gitmoney-public-framework
开源
套用现成框架,AI 办公基建不用从零搭建
Public GitMoney framework for plain-English GitHub, AI Office infrastructure, and fo···
