runanywhere-sdks

环境要求

• Python 环境（Windows / macOS / Linux 均可），用于 Python SDK
• Node.js 与 npm，用于 Web 端 TypeScript + WASM SDK
• 支持 WebGPU 的浏览器（不可用时 SDK 自动回退到 WASM）
• Electron 端目前为 Windows x64 预览版，需要从源码构建
• 可选：RunAnywhere Console 的 API Key，不配置也能完全离线运行

安装与启动步骤

1. 1安装 Python SDK

   用 pip 安装官方 Python 包，装好后即可在本地加载并运行模型；onnx、mlx、qhexrt 等后端按需另行引入。

   pip install runanywhere

   复制

2. 2初始化 Python SDK

   导入 runanywhere 并调用 ra.initialize() 完成本地初始化，之后即可继续加载模型；LlmOptions 用于传入推理参数。

   import runanywhere as ra
   from runanywhere import LlmOptions
   
   ra.initialize()

   复制

3. 3安装 Web SDK

   在 Web/TypeScript 项目里安装 web 主包与 llamacpp 后端包，两个包版本号需保持一致。

   npm install @runanywhere/web@0.20.11 @runanywhere/web-llamacpp@0.20.11

   复制

4. 4Web 端初始化与生成

   先 initialize 再注册 LlamaCPP 后端（自动优选 WebGPU），完成服务初始化后加载模型并生成文本。

   import { RunAnywhere, SDKEnvironment } from '@runanywhere/web';
   import { LlamaCPP } from '@runanywhere/web-llamacpp';
   
   await RunAnywhere.initialize({ environment: SDKEnvironment.SDK_ENVIRONMENT_DEVELOPMENT });
   await LlamaCPP.register({ acceleration: 'auto' });
   await RunAnywhere.completeServicesInitialization();
   
   await RunAnywhere.loadModel({ modelId: 'qwen2.5-0.5b' });
   
   const result = await RunAnywhere.generate({
     prompt: 'What is the capital of France?',
   });
   console.log(result.text);

   复制

5. 5运行环境体检

   在已克隆的仓库根目录执行官方提供的 setup 与 doctor 助手脚本，检查本地依赖与环境是否就绪。

   ./run setup
   ./run doctor

   复制

6. 6接入 Console（可选）

   在 Console 生成 API Key，SDK 用它认证、上报设备硬件信息并按需拉取模型；不接入也完全可离线使用。

关键配置

如何确认成功

Python 脚本执行无报错即初始化成功；Web 端运行示例应打印出 “Paris is the capital of France.”；./run doctor 会输出环境检查结果。

常见问题

注意事项

• 所有推理都在设备本地完成，默认保护隐私、可完全离线，不需要把数据发到云端。
• Python 端的 @runanywhere/onnx、@runanywhere/mlx、@runanywhere/qhexrt 是可选后端，不装不影响基础 LLM 使用。
• Web 端两个 npm 包版本要一致（示例为 0.20.11），版本错配可能导致加载后端失败。
• ./run setup 与 ./run doctor 需在获取到仓库源码后的根目录执行，README 未给出克隆命令，请自行获取源码。