BrowserAI

环境要求

• 支持 WebGPU 的现代浏览器（BrowserAI 依赖 WebGPU 做本地推理加速）
• 已安装 Node.js 与 npm（或 yarn），用于安装 SDK 包
• 可正常访问 npm 源以安装 @browserai/browserai

安装与启动步骤

1. 1安装 BrowserAI 包

   在项目目录下用 npm 安装 @browserai/browserai，README 也给出 yarn 安装方式。

   npm install @browserai/browserai

   复制

2. 2引入并初始化

   从包中导入 BrowserAI 并创建实例，作为后续加载模型和生成文本的入口。

   import { BrowserAI } from '@browserai/browserai';
   
   const browserAI = new BrowserAI();

   复制

3. 3加载模型

   调用 loadModel 加载 llama-3.2-1b-instruct，可指定量化方式并用 onProgress 查看加载进度。

   await browserAI.loadModel('llama-3.2-1b-instruct', {
     quantization: 'q4f16_1',
     onProgress: (progress) => console.log('Loading:', progress.progress + '%')
   });

   复制

4. 4生成文本

   调用 generateText 传入提示词，从返回结果的 choices[0].message.content 读取回复。

   const response = await browserAI.generateText('Hello, how are you?');
   console.log(response.choices[0].message.content);

   复制

关键配置

如何确认成功

控制台进度打印到 100%，且 generateText 返回的 choices[0].message.content 有文本输出，即为成功。

常见问题

注意事项

• README 节选仅给出 npm/yarn 安装与基础用法，完整 API 请查看 docs.browserai.dev。
• 模型文件在首次加载时下载到浏览器，之后可离线使用，注意首次加载耗时。
• BrowserAI 完全在浏览器端运行，无需自建服务器，也不产生服务器费用。