FreeToken

在桌面端跑起数据中心级大模型，又快又省资源

开源 🏷️定价信息待确认 ⚠️ 链接可跳转，访问体验不确定基础设施 🍴 复刻 1609 🐛 待处理 472 👀 关注 101

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 16429

维护状态活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

项目数据

分类基础设施

开发团队FlashML-org

官网地址https://flashml.ai

GitHubhttps://github.com/FlashML-org/FreeToken

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态⚠️ 链接可跳转，访问体验不确定

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型deepseek-v4,edge,glm,inference,minimax,moe,qwen,transformer

GitHub 星标★ 16429

上线时间2026-07-20 00:00:00

代码更新2026-11-03

仓库体积4.3 MB

本站数据更新2026-11-03

维护状态活跃

收录时间2026-09-09

浏览次数8

项目介绍

FreeToken 是一个面向桌面的数据中心级模型推理引擎，旨在让个人电脑也能高效运行大规模模型。它解决了本地设备算力有限、无法流畅运行大模型的问题，通过优化的推理调度和内存管理，显著提升模型加载与生成速度。核心能力包括支持多种主流模型架构（如 DeepSeek、Qwen、GLM、MiniMax 等 MoE 模型），提供边缘计算场景下的低延迟推理，并具备与云端服务相媲美的吞吐性能。项目采用 Python 开发，技术栈覆盖 transformer 等标准工具，适合开发者在本地进行模型实验、原型验证或轻量级生产部署。其设计强调易用性与性能平衡，让普通用户也能轻松驾驭百亿级参数模型。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-09 · 当前星标 ★ 16429

技术标签

edge glm inference minimax moe

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 10 分钟部署方式：本地安装 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

可访问 github.com 与 flashml.ai 的网络环境
支持消费级/游戏 PC 硬件（GPU、CPU 与主机内存协同）
Python 运行环境（项目开发语言为 Python）

安装与启动步骤

1访问官网下载

打开 README 顶部提供的 Download 链接进入官网，按页面指引获取 FreeToken 桌面版本。
2克隆源码仓库

若需从源码使用，克隆官方仓库到本地；README 未给出后续安装命令，请以仓库文档为准。
```
git clone https://github.com/FlashML-org/FreeToken.git
```
3进入项目目录

切换进克隆下来的目录，后续操作都在该目录内进行。
```
cd FreeToken
```
4加入社区求助

README 未提供安装细节，遇到问题可通过顶部 Slack 或 Discord 邀请链接向社区提问。