OpenLLM

开源大模型一键变成标准接口，部署上线像点外卖

让任意开源 LLM（如 DeepSeek、Llama）一键以 OpenAI 兼容的 API 形式部署到云端的工具。它屏蔽了模型服务化的复杂度，提供标准化的推理接口，支持在云端弹性扩展，是快速搭建 LLM 服务、接入各类应用的轻量级方案。

开源 开源免费 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗

项目数据

分类基础设施
开发团队bentoml
所属国家
官网地址https://bentoml.com
GitHubhttps://github.com/bentoml/OpenLLM
定价模式开源免费
价格区间
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型bentoml,fine-tuning,llama,llama2,llama3-1,llama3-2,llama3-2-vision,llm,llm-inference,llm-ops
GitHub 星标★ 12453
30天Star增速
HF 下载量
上线时间2023-04-19 00:00:00
最近更新2026-08-08 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数0

核心亮点

    不足之处

      适用场景

        替代项目

        项目介绍

        OpenLLM 是一个基础设施领域的开源项目，官方简介：Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpoint in the cloud.。项目使用 Python 开发，在 GitHub 上获得 12453 星标。

        上一篇：nni

        下一篇：tensorzero

        同类项目推荐

        caura-memclaw 开源

        Governed shared memory for AI agent fleets — multi-agent, multi-tenant, MCP-native.···

        ★ 421 2026-08-09
        OpenMemory 开源

        Local persistent memory store for LLM applications including claude desktop, github ···

        ★ 4418 2026-08-09
        nni 开源

        An open source AutoML toolkit for automate machine learning lifecycle, including fea···

        ★ 14365 2026-08-09
        DashClaw 开源

        ️ The approval and policy layer for AI agents. Intercept risky actions before they ···

        ★ 291 2026-08-09