tinylm

在浏览器里直接跑大模型,离线也能用,接口兼容 OpenAI。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 9 🐛 待处理 1 👀 关注 4
GitHub ↗
GitHub 星标 ★ 60
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,全部功能免费。

项目预览

tinylm 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队0xnyn
定价模式🏷️完全免费
价格说明开源项目,本地部署,全部功能免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言TypeScript
技术栈/模型embeddings,generation,inference,inference-engine,transcrip,tts
GitHub 星标★ 60
上线时间2025-02-26 00:00:00
代码更新2025-03-04
仓库体积4.3 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

tinylm 是一个基于浏览器的机器学习推理框架,采用 TypeScript 编写,提供 OpenAI 兼容的 API 接口,让开发者能在浏览器端直接运行 DeepSeek、Llama 3.2、NomicEmbed、KokoroTTS 等模型,无需后端服务器。它解决了传统 AI 应用依赖云端推理带来的延迟、隐私和成本问题,将模型推理能力下沉到用户设备,实现离线可用和低延迟响应。核心能力包括:浏览器内模型加载与推理、OpenAI 标准接口适配、多模态模型支持(文本、嵌入、语音合成),以及轻量级设计,适合前端集成。项目处于早期阶段(GitHub 星标 59),但技术方向明确,为 Web AI 应用提供了一种去中心化的新选择。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 60

核心亮点

  • 浏览器端推理,无需服务器,降低部署成本和延迟
  • OpenAI 兼容 API,方便迁移现有应用
  • 支持多种模型类型,包括文本、嵌入和语音合成

不足之处

  • 项目处于早期,文档和社区生态待观察
  • 浏览器端性能受限,复杂模型推理可能较慢

适用场景

  • 隐私敏感的本地 AI 助手
  • 离线环境下的智能应用
  • 低成本的 Web 端模型演示与原型开发

替代项目

Transformers.js、WebLLM、ONNX Runtime Web

上一篇:MNNServer

下一篇:OpenToys

同类项目推荐

rushdb 开源

推送 JSON,秒得可搜索、带关系的 AI 记忆库

RushDB is a self-describing, graph-native database that helps AI agents reason over ···

★ 327 2026-08-09
copilot-api 开源

把 Copilot 订阅变成 OpenAI 兼容 API,一行代码接入现有应用

GitHub Copilot, OpenAI Codex, OpenCode Go, and third-party AI provider gateway with ···

★ 1116 2026-08-09
WebAI-to-API 开源

把网页版AI变成API,轻松接入你的应用

Webchat to API

★ 1404 2026-08-09
NoLlama 开源

让 Intel NPU 跑起 Ollama 风格本地大模型 API

NPU Ollama - An Ollama/OpenAI compatible API for Intel OpenVINO compatible computers

★ 133 2026-10-29
dud 开源

像管代码一样管数据,轻量级数据版本控制与管道工具

A lightweight CLI tool for versioning data alongside source code and building data p···

★ 220 2026-08-09
mlops.toys 开源

一站式逛遍 MLOps 工具,快速选型不迷路

A curated list of MLOps projects, tools and resources

★ 187 2026-08-09
destructive_command_guard 开源

给 AI 智能体装上安全锁,防止误删误推毁仓库。

A fast Rust safety hook that blocks destructive shell, git, and filesystem commands ···

★ 6309 2026-08-09
ai-gate 开源

一个应用搞定所有AI聊天,免密钥免切换

Why juggle 6 AI tools? AI Gate does it. No API keys. A single gateway to ChatGPT, Ge···

★ 222 2026-08-09
gpt-tokenizer 开源

纯 JS 实现 GPT 分词,前端也能算 token

The fastest JavaScript BPE Tokenizer Encoder Decoder for OpenAI's GPT models (gpt-5,···

★ 857 2026-10-31