onprem

让敏感数据不出内网也能用上大模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 58 🐛 待处理 1 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 843
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费工具包,需自行部署

项目预览

onprem 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队amaiya
定价模式🏷️完全免费
价格说明开源免费工具包,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
GitHub 星标★ 843
上线时间2023-08-29 00:00:00
代码更新2026-11-19
仓库体积13.5 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-11-21
浏览次数0

项目介绍

onprem 是一个面向敏感、非公开数据的开源工具包,帮助团队在离线或受限网络环境中部署和使用大语言模型。它解决的核心问题是:很多组织的数据因合规或保密要求无法上传到公有云 LLM 服务,而本地化部署又面临模型选型、推理服务、数据接入和流程编排等工程门槛。项目以 Jupyter Notebook 为主要载体,提供可复用的示例与组件,覆盖本地模型加载、离线推理、文档检索增强等典型环节,让数据始终留在内网或本机。其价值在于把「私有数据 + 本地模型」的落地路径整理成可操作的模板,降低从零搭建的成本,适合需要数据不出域的场景做原型验证和内部工具开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 843

核心亮点

  • 以 Notebook 形式给出端到端可运行示例,上手门槛低
  • 聚焦离线/受限环境,数据不出域,贴合合规诉求
  • 覆盖本地模型加载、检索增强等常见私有化环节,可直接改造复用

不足之处

  • 以 Notebook 为主,工程化和生产部署能力较弱
  • 项目处于早期,文档与社区生态待观察

适用场景

  • 金融、医疗等敏感行业在内部网络做 LLM 原型验证
  • 企业内网搭建基于私有文档的问答助手
  • 离线环境下对本地模型能力做快速评测与演示

替代项目

Ollama、LocalAI、LangChain

上一篇:hipfire

下一篇:oh-my-cpa

同类项目推荐

TorchStream 开源

让 PyTorch 模型像流式 API 一样边输入边输出,实时响应

A library for making PyTorch models streamable

★ 67 2026-08-09
bentoctl 开源

一条命令,把模型部署到任意云

Fast model deployment on any cloud

★ 175 2026-08-09
awesome-ai-gateway 开源

100+ AI 网关选型指南,成本安全合规一网打尽

⚡ Awesome AI Gateway — pick an AI gateway from 240+ (LiteLLM, OpenRouter, Portkey,···

★ 157 2026-08-09
Remory 开源

给长上下文做减法,留住关键记忆再推理

Remory: Learning Residual Memory for Context Compaction

★ 863 2026-11-17
Reticulum 开源

用 LoRa 和无线电搭建打不垮的加密通信网

The cryptography-based networking stack for building unstoppable networks with LoRa,···

★ 7755 2026-08-23
skald 开源

把 AI 上下文管起来,让应用更聪明更省钱

Context layer platform in your infrastructure

★ 564 2026-08-09
sealos 开源

一键把 GitHub 项目部署上云,AI 帮你持续运维

Deploy real projects from GitHub or your AI coding agent, then keep them running wit···

★ 18401 2026-10-11
telnyx-code-examples 开源

拿来即用的 Telnyx 通信 API 示例,快速集成 AI 语音与短信。

Production-ready code examples for Telnyx AI Communications Infrastructure — Voice ···

★ 169 2026-08-09
LocalAI 开源

旧电脑不装显卡,也能本地跑起 AI 全家桶

LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, vi···

★ 50472 2026-08-09