PolyStrata

一键在个人电脑跑多种大模型，本地开放兼容 API

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 126 🐛 待处理 26 👀 关注 10
GitHub ↗
GitHub 星标 ★ 891
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，需自行部署

项目预览

PolyStrata 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队simplexai-labs
GitHubhttps://github.com/simplexai-labs/PolyStrata
定价模式🏷️完全免费
价格说明开源免费，需自行部署
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言C++
技术栈/模型anthropic-api,cuda,gemma,gguf,glm,inference-engine,llm,local-llm,mixture-of-experts,openai-api,qwen,self-hosted,speculative-decoding
GitHub 星标★ 891
上线时间2026-10-06 00:00:00
代码更新2026-11-05
仓库体积32.0 MB
本站数据更新2026-11-07
维护状态活跃
收录时间2026-11-06
浏览次数1

项目介绍

PolyStrata 是一个用 C++ 编写的本地大模型推理引擎，目标是在个人电脑上直接运行多种主流开源大模型。项目包含两套引擎：一套基于 Strata 引擎运行 Qwen3.8-Flash-Next，另一套为 PolyStrata 专门编写，支持 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V 等模型。它解决的是本地部署大模型时环境配置繁琐、模型格式与推理后端不统一的问题，提供 Windows 和 Linux 一键安装，并在 localhost 上暴露兼容 OpenAI 与 Anthropic 的 API 接口，方便现有客户端和开发框架直接接入。技术上支持 CUDA 加速、GGUF 模型格式和混合专家（MoE）架构，并引入推测解码等优化手段提升推理速度。适合希望数据不出本机、又想复用主流 API 生态的开发者做自托管实验。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-06 · 当前星标 ★ 891

核心亮点

  • 提供 Windows/Linux 一键安装，降低本地部署门槛
  • 同时兼容 OpenAI 与 Anthropic 两套 API 协议，现有客户端可直接对接
  • 覆盖 Qwen、GLM、DeepSeek、Gemma、MiniCPM-V 等多个模型家族，选择面广

不足之处

  • 项目处于早期，星标约 863，生态与长期维护稳定性待观察
  • 模型列表更新依赖项目方适配，新模型支持可能滞后
  • 文档与社区规模相对有限，遇到问题可参考的资料较少

适用场景

  • 开发者在个人工作站本地部署大模型做推理实验
  • 需要数据不出本机、同时复用 OpenAI SDK 的私有化应用
  • 在本地对比测试多个开源模型的输出效果

替代项目

llama.cpp、Ollama、LM Studio

上一篇：Actioneer-Pulse

下一篇：slotstream

同类项目推荐

ocp 开源

把 Claude 订阅变成 OpenAI API，多设备共享零成本

Turn your Claude Pro/Max subscription into an OpenAI-compatible API for your IDEs an···

★ 137 2026-08-09
mlops-workload-orchestrator 开源

在AWS上标准化编排ML管道，让模型上线更规范高效

The MLOps Workload Orchestrator solution helps you streamline and enforce architectu···

★ 157 2026-08-09
ds-free-api 开源

把 DeepSeek 网页端封装成 OpenAI/Anthropic 兼容 API

DeepSeek网页端API代理，支持OpenAI与Anthropic兼容接口 | OpenAI & Anthropic compatible···

★ 864 2026-10-27
llm-bridge 开源

一套格式打通多家大模型，自带日志与错误兜底

Interoperability between input formats of various LLMs, with observability, error ha···

★ 325 2026-10-29
WilmerAI 开源

多模型路由中间件，让提示词按规则自动流转

WilmerAI is one of the oldest LLM semantic routers. It uses multi-layer prompt routi···

★ 830 2026-09-14
claude-token-optimizer 开源

压缩提示词，立省 Claude API 费用

Cut the tokens Claude Code loads at session start. CLI that sets up a small CLAUDE.m···

★ 644 2026-08-09
Sipp 开源

浏览器里直接跑 GGUF 大模型，零依赖 WebGPU 加速

AI inference, packed simply. A blazing-fast, zero-dependency WebGPU runtime to run G···

★ 124 2026-10-16
onnxruntime-genai 开源

ONNX 模型一键跑生成式 AI，跨平台多语言

Generative AI with ONNX Runtime

★ 1153 2026-10-19
JetStream 开源

在 TPU 上榨干每一分性能，让 LLM 推理更快更省内存

JetStream is a throughput and memory optimized engine for LLM inference on XLA devic···

★ 473 2026-08-09