petals

环境要求

• Python 环境（示例代码为 Python）
• 可访问互联网，能连接公共 swarm 网络
• 如需运行 Llama 等受限模型，需有 Hugging Face 账号并申请权重访问权限
• 可选：桌面电脑或 Google Colab 环境

安装与启动步骤

1. 1安装 Petals 库

   通过 PyPI 安装 petals（README 徽章指向 pypi.org/project/petals），建议在虚拟环境中安装。

   pip install petals

   复制

2. 2登录 Hugging Face

   仅在加载 Llama 等需授权模型前执行，按要求在终端登录以获取权重访问权限。

   huggingface-cli login

   复制

3. 3编写推理脚本

   把 README 示例写成脚本：加载分词器与分布式模型，生成文本；模型名可换成 health.petals.dev 上任意可用模型。

   from transformers import AutoTokenizer
   from petals import AutoDistributedModelForCausalLM
   
   # Choose any model available at https://health.petals.dev
   model_name = "meta-llama/Meta-Llama-3.1-405B-Instruct"
   
   # Connect to a distributed network hosting model layers
   tokenizer = AutoTokenizer.from_pretrained(model_name)
   model = AutoDistributedModelForCausalLM.from_pretrained(model_name)
   
   # Run the model as if it were on your computer
   inputs = tokenizer("A cat sat", return_tensors="pt")["input_ids"]
   outputs = model.generate(inputs, max_new_tokens=5)
   print(tokenizer.decode(outputs[0]))  # A cat sat on a mat...

   复制

4. 4或用 Colab 试用

   README 提供在线 Colab 笔记本，不想本地配置环境时可先在这里跑通示例。

关键配置

如何确认成功

运行脚本后应打印出以 “A cat sat” 开头的句子（README 示例为 A cat sat on a mat...），说明已成功连接分布式网络并完成推理。

常见问题

注意事项

• 数据会经过公共 swarm 其他参与者协助处理，敏感数据请使用私有 swarm。
• 本地推理无需大显存，但生成速度取决于网络中可用节点状况。
• 遇到问题可前往项目 Discord 提问（README 中给出邀请链接）。