tinylm

在浏览器里直接跑大模型，离线也能用，接口兼容 OpenAI。

tinylm 是一个基于浏览器的机器学习推理框架，采用 TypeScript 编写，提供 OpenAI 兼容的 API 接口，让开发者能在浏览器端直接运行 DeepSeek、Llama 3.2、NomicEmbed、KokoroTTS 等模型，无需后端服务器。它解决了传统 AI 应用依赖云端推理带来的延迟、隐私和成本问题，将模型推理能力下沉到用户设备，实现离线可用和低延迟响应。核心能力包括：浏览器内模型加载与推理、OpenAI 标准接口适配、多模态模型支持（文本、嵌入、语音合成），以及轻量级设计，适合前端集成。项目处于早期阶段（GitHub 星标 59），但技术方向明确，为 Web AI 应用提供了一种去中心化的新选择。