Strata

一键把大模型装进自己电脑，本地 API 即开即用

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 23382

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类基础设施

开发团队Niko1221

所属国家

官网地址

GitHubhttps://github.com/Niko1221/Strata

定价模式free

价格说明开源免费，需自行部署

访问状态

是否开源是

开源协议MIT

主要语言C++

技术栈/模型

GitHub 星标★ 23382

30天Star增速

HF 下载量

上线时间2026-09-24 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-13

浏览次数0

项目介绍

Strata 是一个用 C++ 编写的本地大模型推理引擎，目标是把 Qwen3.8-Flash-Next 这类模型跑在普通消费级硬件上，Windows 和 Linux 都提供一键安装。它解决的核心问题是：用户想用本地模型，但不想折腾 CUDA、Python 环境和各种依赖，也不想把数据发到云端。Strata 自带推理引擎，在 localhost 上暴露 OpenAI 和 Anthropic 兼容的 API，现有客户端和代码几乎不用改就能接入。它还支持可选的图像输入，能处理多模态任务。整体定位是开箱即用的本地推理服务，适合对隐私敏感、网络受限或想省 API 费用的开发者。C++ 实现让它在资源占用和启动速度上有优势，一键安装则大幅降低了上手门槛。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度：入门约 10 分钟部署方式：本地安装 6 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Windows 或 Linux 操作系统
NVIDIA 或 AMD 显卡，显存 12 GB 及以上
内存建议 64 GB（README 测试机为 64 GB RAM）
足够的磁盘空间用于存放 125B 参数模型权重
安装过程需要访问网络（下载安装包与模型）

安装与启动步骤

1确认硬件条件

先核对显卡显存是否达到 12 GB 以上，并确认是 Windows 或 Linux 系统，不满足则无法运行该模型。
2获取安装包

README 的 Install 章节提供了官方安装方式，Windows 与 Linux 均为一键安装，请按该章节指引下载对应平台的安装包。
3运行一键安装

执行下载到的安装程序，按其提示完成安装；此过程会自动配置推理引擎，无需自行安装 CUDA 或 Python 环境。
4启动本地服务

安装完成后启动 Strata，它会在本机 localhost 上提供 OpenAI 与 Anthropic 兼容的 API 服务。
5接入现有客户端

把常用客户端或代码中的接口地址改为 Strata 的本地地址即可直接对话，几乎不需要改动业务代码。
6可选：测试图像输入

如需处理多模态任务，可在请求中加入图像输入，让模型读取图片内容。

如何确认成功

启动后服务监听在 localhost，用任意 OpenAI/Anthropic 兼容客户端指向该本地地址，能正常对话即表示部署成功。

常见问题

Q：需要什么级别的显卡？

A：README 明确要求 NVIDIA 或 AMD 显卡且显存 12 GB 以上，示例中 RTX 5070（12 GB）可以流畅运行。

Q：必须自己安装 CUDA 或 Python 吗？

A：不需要。Strata 自带 C++ 推理引擎，Windows 和 Linux 都提供一键安装，避免了 CUDA、Python 及各类依赖的折腾。

Q：数据会被上传到云端吗？

A：不会。推理完全在本机完成，README 明确说明 nothing leaves your PC，适合隐私敏感或网络受限场景。

Q：现有代码需要大改吗？

A：不需要。Strata 在 localhost 暴露 OpenAI 和 Anthropic 兼容 API，现有客户端和代码几乎无需修改即可接入。

Q：支持图片输入吗？

A：支持。Strata 提供可选的图像输入能力，可处理多模态任务，例如读取图片内容参与对话。

注意事项

README 中的 Install 章节内容未完整给出，具体安装命令与下载链接请以仓库 Install 章节及 Releases 页面为准，不要凭猜测执行命令。
README 未给出默认端口、API Key、模型权重下载地址等参数，接入客户端前请查阅官方文档确认。
模型为 125B 参数级别，需预留充足磁盘空间与加载时间，显存不足时会无法运行。
本文仅依据 README 公开信息整理，未给出的包名、端口、路径一律未做推测。

核心亮点

Windows/Linux 一键安装，省去 CUDA 和 Python 依赖配置
localhost 同时提供 OpenAI 与 Anthropic 兼容 API，现有客户端可直接切换
C++ 推理引擎，资源占用低、启动快，适合消费级硬件

不足之处

模型支持范围目前集中在 Qwen3.8-Flash-Next，换模型灵活性待观察
一键安装包体积和首次下载模型耗时可能较大
文档和社区生态相对新，遇到问题可参考的资料有限

适用场景

个人开发者在笔记本上跑本地模型做代码补全和问答
隐私敏感团队在内网部署，用本地 API 替代云端大模型
离线或网络受限环境下，用兼容 API 快速接入现有应用

替代项目

llama.cpp、Ollama

上一篇：kieker

下一篇：没有了！