chat.petals.dev

用志愿者算力跑大模型，聊天和 API 两不误

chat.petals.dev 是一个基于 Petals 分布式推理系统的聊天机器人 Web 应用，同时提供 HTTP 和 WebSocket 接口，用于大语言模型的推理服务。它解决了个人或小团队难以负担昂贵 GPU 资源来运行大型语言模型的问题，通过志愿者贡献的分布式算力，将模型（如 BLOOM、GPT、LLaMA 等）切分到多台设备上协同推理。核心能力包括：提供友好的 Web 聊天界面，支持通过 API 集成到其他应用，以及利用 Petals 客户端实现去中心化的模型推理。项目采用 Python 编写，技术栈涵盖 Transformer、分布式系统等，适合研究、原型验证和轻量级应用场景。

开源 free 对话助手

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 320

维护状态低维护

是否开源是

定价模式 free

项目数据

分类对话助手

开发团队petals-infra

所属国家

官网地址https://chat.petals.dev

GitHubhttps://github.com/petals-infra/chat.petals.dev

定价模式free

价格说明免费提供聊天机器人网页应用及HTTP/Websocket端点，用于LLM推理，无付费版本。

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型api,bloom,chatbot,distributed-systems,gpt,guanaco,language-models,large-language-models,llama,llama2,transformer,volunteer-computing

GitHub 星标★ 320

30天Star增速

HF 下载量

上线时间2022-12-28 00:00:00

最近更新2026-08-05 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数0

核心亮点

分布式推理：利用志愿者 GPU 资源，降低大模型运行门槛
双接口支持：同时提供 HTTP 和 WebSocket，便于集成
模型覆盖广：支持 BLOOM、GPT、LLaMA 等主流模型

不足之处

依赖志愿者网络，推理稳定性与速度受节点影响
文档/社区待观察

适用场景

个人开发者快速体验大模型对话能力
在资源受限环境下搭建轻量级聊天机器人
研究分布式推理或模型并行技术

替代项目

Hugging Face Chat UI、text-generation-webui、FastChat

项目介绍

chat.petals.dev 是一个对话助手领域的开源项目，官方简介：Chatbot web app + HTTP and Websocket endpoints for LLM inference with the Petals client。项目使用 Python 开发，在 GitHub 上获得 320 星标。

上一篇：AIVoiceChat

下一篇：rasa-chatbot-templates