any-llm

环境要求

• 已安装 Python 与 pip 环境（README 未指明具体版本）
• 所选 LLM 提供商对应的 API Key（如 Mistral、OpenAI 等）
• 能访问 PyPI 以安装 any-llm-sdk 包

安装与启动步骤

1. 1安装 SDK 与提供商

   用 pip 安装 any-llm-sdk，并在方括号中指定需要的提供商；只装 OpenAI 就写 openai，装多个用逗号分隔。

   pip install 'any-llm-sdk[openai]'

   复制

2. 2安装多个提供商

   需要同时使用 Mistral 和 Ollama 时，可用逗号列出多个提供商；要支持全部提供商则用 [all]。

   pip install 'any-llm-sdk[mistral,ollama]'

   复制

3. 3配置 API Key

   把提供商的密钥导出为环境变量，变量名与提供商对应；README 示例用 MISTRAL_API_KEY，替换成自己的真实密钥。

   export MISTRAL_API_KEY="YOUR_KEY_HERE"

   复制

4. 4编写调用脚本

   新建 Python 文件，从 any_llm 导入 completion，指定 model、provider 和 messages 发起调用并打印结果。

   from any_llm import completion
   import os
   
   response = completion(
       model="mistral-small-latest",
       provider="mistral",
       messages=[{"role": "user", "content": "Hello!"}]
   )
   print(response.choices[0].message.content)

   复制

5. 5运行并查看输出

   执行脚本；若密钥未设置会报错，可先用 assert 检查环境变量是否存在。切换提供商只需改 provider 名和对应密钥。

   python your_script.py

   复制

关键配置

如何确认成功

运行脚本后成功打印出 response.choices[0].message.content 的内容，即模型返回的回复文本。

常见问题

注意事项

• README 未给出 Python 版本、端口或系统依赖要求，安装前请自行确认环境兼容。
• API Key 建议只用环境变量传入，不要硬编码进代码或提交到仓库。
• extras 按需安装，装全部提供商 [all] 会引入更多依赖。
• README 节选内容不完整，更多用法与提供商列表请查阅官方文档 https://docs.mozilla.ai/any-llm/。