ModernBERT

Q: 安装 flash_attn 编译很慢或爆内存怎么办？

README 注释中给出了 MAX_JOBS=8 pip install ＂flash_attn==2.6.3＂ --no-build-isolation，用该方式限制编译并行度。

让老牌 BERT 重获新生，长文本更快更准

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 148 🐛 待处理 66 👀 关注 26

GitHub ↗

GitHub 星标 ★ 1780

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源模型，Apache-2.0许可证，可免费使用和部署。

项目预览

项目数据

分类开源模型

开发团队AnswerDotAI

GitHubhttps://github.com/AnswerDotAI/ModernBERT

定价模式🏷️完全免费

价格说明开源模型，Apache-2.0许可证，可免费使用和部署。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型bert,embeddings,llm,nlp

GitHub 星标★ 1780

上线时间2024-05-13 00:00:00

代码更新2026-03-01

仓库体积29.2 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

ModernBERT 是一个旨在将经典 BERT 模型现代化升级的开源项目，通过架构改进和规模扩展，让 BERT 在当今硬件和任务上表现更优。它解决了原始 BERT 训练效率低、序列长度受限、推理速度慢等痛点，核心能力包括支持长达 8192 的上下文长度、采用旋转位置编码和局部注意力等现代技术，以及在大规模数据上预训练，从而在多项 NLP 基准上超越同等规模的旧模型。项目提供 PyTorch 实现，便于研究者直接使用或微调。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1780

技术标签

bert embeddings llm nlp

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 30 分钟部署方式：本地安装 5 步

环境要求

一台带 GPU 的机器（README 明确说明环境需安装在 GPU-equipped machine 上）
已安装 conda，用于通过 environment.yaml 创建环境
CUDA 编译工具链，用于安装 flash_attn（README 要求本地编译安装）
Python 环境由 environment.yaml 定义（README 未列出具体 Python 版本）

安装与启动步骤

1克隆仓库

获取 ModernBERT 源码。README 未给出克隆命令，此处使用项目 GitHub 地址，仅作获取代码的通用准备动作。
```
git clone https://github.com/AnswerDotAI/ModernBERT.git
```
2进入项目目录

后续的 conda 与 pip 命令需在仓库根目录执行，因为 environment.yaml 位于仓库中。
```
cd ModernBERT
```
3创建 conda 环境

README 给出的第一步，用仓库内的 environment.yaml 还原官方训练环境，依赖较多、耗时较长。
```
conda env create -f environment.yaml
```
4安装 Flash Attention 2

模型使用 FA3+FA2，若硬件不支持 FA3 则只用 FA2。README 要求固定版本 2.6.3 并关闭构建隔离。
```
pip install "flash_attn==2.6.3" --no-build-isolation
```
5下载模型权重

README 未给出下载命令，只指向 Hugging Face 上的 ModernBERT checkpoint 集合，可在页面自行下载或直接用库加载。

关键配置

配置项	必填	说明	示例
`environment.yaml`	是	conda 环境定义文件，README 用它创建 ModernBERT 训练环境	`environment.yaml`
`flash_attn`	是	README 指定固定版本 2.6.3，模型依赖 FA2/FA3 注意力实现	`flash_attn==2.6.3`
`MAX_JOBS`	否	README 注释中给出的编译并行度控制，用于限制 flash_attn 编译占用	`8`

如何确认成功

README 未提供启动或验证命令；可执行 python -c "import flash_attn" 并确认 conda 环境创建成功。

常见问题

Q：没有 GPU 可以安装吗？

A：README 明确说明该环境面向带 GPU 的机器，且 flash_attn 需要本地编译，CPU 机器基本无法按官方步骤完成安装。

Q：需要执行 python setup.py install 吗？

A：README 中该行是被注释掉的，并未明确要求执行，官方给出的步骤只有创建 conda 环境和安装 flash_attn。

Q：如何拿到 ModernBERT 模型权重？

A：README 指向 Hugging Face 上 AnswerDotAI 的 modernbert checkpoint 集合页面，仓库本身未提供权重下载命令。

Q：安装 flash_attn 编译很慢或爆内存怎么办？

A：README 注释中给出了 MAX_JOBS=8 pip install "flash_attn==2.6.3" --no-build-isolation，用该方式限制编译并行度。

注意事项

README 自述非常 barebones 且仍在完善中，缺少完整复现步骤与文档
仓库代码用于预训练与 GLUE 评估实验，基于 MosaicBERT 及引入 Flash Attention 2 的未合并 fork，遵循 Apache 2.0 许可
模型通过 .yaml 配置文件构建（FlexBERT 模块化编码器构建方式），具体配置项 README 未展开
README 只给出安装依赖的命令，启动训练/评估的命令未在节选中提供，切勿照搬臆测参数