beta9

让 GPU 推理快如闪电,秒级启动,按需付费

开源 🏷️定价信息待确认 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 175 🐛 待处理 50 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1847
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

beta9 项目界面预览图
图片来源:项目官网

项目数据

分类开源模型
开发团队beam-cloud
官网地址https://beam.cloud
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议AGPL-3.0
主要语言Go
技术栈/模型autoscaler,cloudrun,cuda,developer-productivity,distributed-computing,faas,fine-tuning,functions-as-a-service,generative-ai,gpu,large-language-models,llm,llm-inference,ml-platform,paas,self-hosted,serverless,serverless-containers
GitHub 星标★ 1847
上线时间2023-11-15 00:00:00
代码更新2026-11-08
仓库体积37.3 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数7

项目介绍

beta9 是一个面向 AI 推理和计算场景的超快无服务器 GPU 平台,用 Go 语言实现。它解决了传统 GPU 部署中资源利用率低、冷启动慢、环境隔离复杂等问题,提供毫秒级冷启动的 GPU 推理服务、安全的沙箱运行环境以及可靠的异步后台任务处理。核心能力包括:基于容器和微VM的轻量级沙箱,实现强隔离与快速启动;自动化的 GPU 资源调度与弹性伸缩,按需分配算力;支持同步推理和异步任务两种模式,覆盖在线服务和离线计算。项目通过将基础设施复杂性封装为简单的 API,让开发者可以专注于模型代码,快速将 AI 应用从原型推向生产。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1847

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 10 分钟 部署方式:库/依赖 5 步

环境要求

  • 已安装 Python 与 pip(示例代码使用 python3.11)
  • 已注册 Beam 账号(beam.cloud)
  • 网络可访问 beam.cloud 与平台控制台

安装与启动步骤

  1. 1安装客户端库

    用 pip 安装官方 Python 客户端 beam-client,这是与 Beam 平台交互的唯一入口。

    pip install beam-client
  2. 2注册并完成引导

    先在 beam.cloud 创建账号,再按官方 Getting Started Guide 完成平台初始引导配置。

  3. 3编写推理端点

    新建 app.py,用 @endpoint 装饰器定义自动扩缩容的推理端点,并按需设置 GPU、CPU、内存。

    from beam import Image, endpoint
    from beam import QueueDepthAutoscaler
    
    @endpoint(
        image=Image(python_version="python3.11"),
        gpu="A10G",
        cpu=2,
        memory="16Gi",
        autoscaler=QueueDepthAutoscaler(max_containers=5, tasks_per_container=30)
    )
    def handler():
        return {"label": "cat", "confidence": 0.97}
  4. 4编写后台任务

    用 @task_queue 装饰器定义异步任务,在 __main__ 中直接调用 put() 本地触发一次任务。

    from beam import Image, TaskPolicy, schema, task_queue
    
    
    class Input(schema.Schema):
        image_url = schema.String()
    
    
    @task_queue(
        name="image-processor",
        image=Image(python_version="python3.11"),
        cpu=1,
        memory=1024,
        inputs=Input,
        task_policy=TaskPolicy(max_retries=3),
    )
    def my_background_task(input: Input, *, context):
        image_url = input.image_url
        print(f"Processing image: {image_url}")
        return {"image_url": image_url}
    
    
    if __name__ == "__main__":
        my_background_task.put(image_url="https://example.com/image.jpg")
  5. 5部署到云端

    用 beam deploy 命令把任务函数以指定名称部署为带版本的可调用端点。

    beam deploy app.py:my_background_task --name image-processor

关键配置

配置项必填说明示例
image是指定运行时容器镜像与 Python 版本Image(python_version="python3.11")
gpu否端点使用的 GPU 型号A10G
cpu否为容器分配的 CPU 核数2
memory否为容器分配的内存大小16Gi
autoscaler否按队列深度自动扩缩容的容器上限与每容器任务数QueueDepthAutoscaler(max_containers=5, tasks_per_container=3
task_policy否异步任务策略,例如失败重试次数TaskPolicy(max_retries=3)

如何确认成功

本地执行脚本可看到后台任务打印的图片处理日志;执行部署命令后在 Beam 控制台可查到该端点。

常见问题

Q:必须注册 Beam 账号吗?

A:按 Quickstart 说明需要先在 beam.cloud 创建账号,并跟随官方 Getting Started Guide 完成引导后才能使用平台能力。

Q:可以自己私有化部署 Beta9 吗?

A:README 说明 Beta9 是驱动 Beam 云平台的开源引擎,可免费自托管;但 README 未给出自托管步骤,需查阅 docs.beam.cloud。

Q:支持哪些 GPU?

A:README 提到可在官方云上使用 4090s、H100s 等型号,也可以自带 GPU;示例代码中使用的是 A10G。

Q:后台任务怎么触发?

A:在 __main__ 中直接调用 my_background_task.put(...) 即可在未部署的情况下触发任务,也可部署为端点后调用。

注意事项

  • README 未提供自托管(Self-Hosting)的具体安装步骤,如需自建请以 docs.beam.cloud 官方文档为准。
  • 示例中的 gpu、cpu、memory、autoscaler 参数只是演示值,请按实际模型的资源需求调整。
  • 项目采用 AGPL-3.0 许可,商用前请确认许可条款。
  • 使用中遇到问题可加入官方 Slack 社区(README 中提供了邀请链接)。

核心亮点

  • 毫秒级冷启动,显著优于传统容器方案
  • 沙箱隔离兼顾安全性与轻量性
  • 同时支持同步推理和异步任务,场景覆盖广

不足之处

  • 项目仍处于早期,生态和文档待完善
  • 与主流云厂商的深度集成尚需验证

适用场景

  • AI 模型在线推理服务,要求低延迟
  • 数据科学实验环境,需要快速创建隔离环境
  • 批量数据处理和模型微调等后台任务

替代项目

RunPod、Modal、Replicate

上一篇:gollama

下一篇:ai

同类项目推荐

extractous 开源

一条命令提取所有文档内容,快如闪电

Fast and efficient unstructured data extraction. Written in Rust with bindings for m···

★ 1787 2026-08-09
ComputeLibrary 开源

Arm 平台上的 CV/ML 算子加速库,榨干 CPU 与 GPU 性能。

The Compute Library is a set of computer vision and machine learning functions optim···

★ 3205 2026-09-18
sie 开源

一个服务搞定所有模型,让智能体部署不再头疼

Open-source inference server and production cluster for all the models your agent ne···

★ 3479 2026-08-09
privacy-filter 开源

给 LLM 请求装个隐私过滤器,毫秒级脱敏,防数据泄露

LLM privacy gateway in Go — millisecond-latency PII and secret redaction. Used in p···

★ 339 2026-08-09
ReadyLLM 开源

图形界面一键部署本地大模型,还能顺手跑图生视频

Deploy, monitor, and tune LLM through a visual interface — plus image / video gener···

★ 101 2026-10-06
awesome-ai-gateway 开源

100+ AI 网关选型指南,成本安全合规一网打尽

⚡ Awesome AI Gateway — pick an AI gateway from 240+ (LiteLLM, OpenRouter, Portkey,···

★ 150 2026-08-09
ChatGPTReversed 开源

免费逆向 ChatGPT 网页版,一键转成标准 API 调用

Free ChatGPT API reversed and simplified

★ 86 2026-08-09
aio2024-mlops 开源

跟着Notebook动手玩转MLOps全流程工具链

This project serves as a hands-on introduction to essential MLOps tools

★ 61 2026-08-09
are-you-a-cat 开源

用ZenML搭建可复现的猫脸识别流水线,快速上手MLOps

An MLOps Project for the ZenML Month of MLOps Competition

★ 78 2026-08-09