chat.petals.dev

用志愿者算力跑大模型，聊天和 API 两不误

chat.petals.dev 是一个基于 Petals 分布式推理系统的聊天机器人 Web 应用，同时提供 HTTP 和 WebSocket 接口，用于大语言模型的推理服务。它解决了个人或小团队难以负担昂贵 GPU 资源来运行大型语言模型的问题，通过志愿者贡献的分布式算力，将模型（如 BLOOM、GPT、LLaMA 等）切分到多台设备上协同推理。核心能力包括：提供友好的 Web 聊天界面，支持通过 API 集成到其他应用，以及利用 Petals 客户端实现去中心化的模型推理。项目采用 Python 编写，技术栈涵盖 Transformer、分布式系统等，适合研究、原型验证和轻量级应用场景。

开源 free 对话助手

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 320

维护状态低维护

是否开源是

定价模式 free

项目预览

项目数据

分类对话助手

开发团队petals-infra

所属国家

官网地址https://chat.petals.dev

GitHubhttps://github.com/petals-infra/chat.petals.dev

定价模式free

价格说明免费提供聊天机器人网页应用及HTTP/Websocket端点，用于LLM推理，无付费版本。

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型api,bloom,chatbot,distributed-systems,gpt,guanaco,language-models,large-language-models,llama,llama2,transformer,volunteer-computing

GitHub 星标★ 320

30天Star增速

HF 下载量

上线时间2022-12-28 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

分布式推理：利用志愿者 GPU 资源，降低大模型运行门槛
双接口支持：同时提供 HTTP 和 WebSocket，便于集成
模型覆盖广：支持 BLOOM、GPT、LLaMA 等主流模型

不足之处

依赖志愿者网络，推理稳定性与速度受节点影响
文档/社区待观察

适用场景

个人开发者快速体验大模型对话能力
在资源受限环境下搭建轻量级聊天机器人
研究分布式推理或模型并行技术

替代项目

Hugging Face Chat UI、text-generation-webui、FastChat

项目介绍

chat.petals.dev 是对话助手领域的开源项目，由 petals-infra 开发，2022 年首次发布。

它收录于对话助手分类，该分类目前共有 917 个项目，GitHub 星标数为 320。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2024-04-22。免费提供聊天机器人网页应用及HTTP/Websocket端点，用于LLM推理，无付费版本。从国内网络环境看，可直接访问。

它主要面向的使用场景是：个人开发者快速体验大模型对话能力。同类可对比的替代方案包括 Hugging Face Chat UI、text-generation-webui、FastChat。

上一篇：AIVoiceChat

下一篇：rasa-chatbot-templates