chat.petals.dev

用志愿者算力跑大模型,聊天和 API 两不误

开源 🏷️完全免费 ✅ 目前可打开 对话助手 🍴 复刻 79 🐛 待处理 20 👀 关注 10
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 319
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 免费提供聊天机器人网页应用及HTTP/Websocket端点,用于LLM推理,无付费版本。

项目预览

chat.petals.dev 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队petals-infra
定价模式🏷️完全免费
价格说明免费提供聊天机器人网页应用及HTTP/Websocket端点,用于LLM推理,无付费版本。
访问状态✅ 目前可打开
是否开源是
主要语言Python
技术栈/模型api,bloom,chatbot,distributed-systems,gpt,guanaco,language-models,large-language-models,llama,llama2,transformer,volunteer-computing
GitHub 星标★ 319
上线时间2022-12-28 00:00:00
代码更新2024-04-22
仓库体积238 KB
本站数据更新2026-11-18
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

chat.petals.dev 是一个基于 Petals 分布式推理系统的聊天机器人 Web 应用,同时提供 HTTP 和 WebSocket 接口,用于大语言模型的推理服务。它解决了个人或小团队难以负担昂贵 GPU 资源来运行大型语言模型的问题,通过志愿者贡献的分布式算力,将模型(如 BLOOM、GPT、LLaMA 等)切分到多台设备上协同推理。核心能力包括:提供友好的 Web 聊天界面,支持通过 API 集成到其他应用,以及利用 Petals 客户端实现去中心化的模型推理。项目采用 Python 编写,技术栈涵盖 Transformer、分布式系统等,适合研究、原型验证和轻量级应用场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 319

核心亮点

  • 分布式推理:利用志愿者 GPU 资源,降低大模型运行门槛
  • 双接口支持:同时提供 HTTP 和 WebSocket,便于集成
  • 模型覆盖广:支持 BLOOM、GPT、LLaMA 等主流模型

不足之处

  • 依赖志愿者网络,推理稳定性与速度受节点影响
  • 文档/社区待观察

适用场景

  • 个人开发者快速体验大模型对话能力
  • 在资源受限环境下搭建轻量级聊天机器人
  • 研究分布式推理或模型并行技术

替代项目

Hugging Face Chat UI、text-generation-webui、FastChat

上一篇:AIVoiceChat

下一篇:rasa-chatbot-templates

同类项目推荐

Recluse-Bot 开源

200+命令的Discord机器人,开箱即用,轻松管理服务器

200+ commands free open source code of discord bot

★ 118 2026-08-09
pistoBot 开源

用你的聊天记录,训练一个说话像你的 AI 机器人

Create an AI that chats like you

★ 147 2026-08-09
ChatGPT-Siri 开源

让 Siri 秒变 ChatGPT,一句话搞定复杂问答

Shortcuts for Siri using ChatGPT API, supports continuous conversations, configure t···

★ 3658 2026-08-09
ovh-chatbot 开源

OVH 服务出问题?聊天机器人秒回解决方案

The goal of this tool is to help you to have fast responses when you have some probl···

★ 105 2026-08-09
raycast-g4f 开源

在 Raycast 里免费调用 GPT/Claude/Llama,一步直达 AI 对话

Raycast extension to use GPT, Claude, Llama, and more... all for FREE! + Full suppor···

★ 1088 2026-08-09
NeuralDialogPapers 开源

一张清单看懂对话AI发展脉络,从论文到代码快速上手

Summary of deep learning models for dialog systems (Tiancheng Zhao LTI, CMU)

★ 643 2026-08-09
Epoch 开源

让AI对话直接生成可交互界面,聊天即操作

Where conversations become interfaces.

★ 149 2026-08-09
YesImBot 开源

给机器人装上人类心,跨平台智能对话即刻拥有。

机械壳,人类心。

★ 194 2026-08-09