unilm

一个模型搞定理解和生成，预训练即插即用

UniLM是微软开源的大规模自监督预训练模型系列，旨在统一处理自然语言理解与生成任务。它基于Transformer架构，通过掩码语言建模、序列到序列建模等预训练目标，使模型能够同时学习双向上下文编码和自回归生成能力。UniLM系列包括UniLM、UniLMv2和UniLMv3，其中v3采用更先进的预训练策略，在摘要、问答、翻译等任务上表现优异。项目解决了传统模型需针对不同任务单独微调的问题，提供统一的预训练框架，支持跨任务、跨语言和跨模态的迁移学习。核心能力包括文本生成、理解、摘要、对话系统等，并提供了与BERT兼容的接口，便于集成到现有NLP流水线中。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 22227

维护状态活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队microsoft

所属国家

官网地址https://aka.ms/GeneralAI

GitHubhttps://github.com/microsoft/unilm

定价模式free

价格说明开源模型，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型beit,beit-3,bitnet,deepnet,document-ai,foundation-models,kosmos,kosmos-1,layoutlm,layoutxlm,llm,minilm,mllm,multimodal,nlp,pre-trained-model,textdiffuser,trocr,unilm,xlm-e

GitHub 星标★ 22227

30天Star增速

HF 下载量

上线时间2019-07-23 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：入门约 10 分钟部署方式：库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（项目主要开发语言为 Python）
Git（用于克隆 GitHub 仓库）
可访问 GitHub 的网络
各子项目所需的深度学习依赖（README 未统一说明，需按子项目文档安装）

安装与启动步骤

1克隆 unilm 仓库

从微软官方 GitHub 仓库拉取全部子项目代码，仓库较大，建议保证网络稳定。
```
git clone https://github.com/microsoft/unilm.git
```
2进入项目目录

切换到克隆下来的 unilm 根目录，后续所有操作都在此目录下进行。
```
cd unilm
```
3查看子项目列表

unilm 是多个子项目的集合，先列出根目录内容，确认包含哪些子项目文件夹。
```
ls
```
4阅读子项目说明

README 未提供统一安装命令，需进入具体子项目（如 deepnet、xmoe）查看其自身 README。
```
cd deepnet
```

如何确认成功

README 未给出运行验证方式；执行 ls 后能看到 deepnet、xmoe 等子项目目录，即说明代码克隆完整。

常见问题

Q：怎么安装依赖并运行模型？

A：README 没有统一安装命令。unilm 下各子项目（如 deepnet、xmoe）独立维护，需进入对应子项目目录按其 README 安装依赖和运行。

Q：这个仓库包含哪些模型？

A：README 提及 UniLM 系列，以及 DeepNet、Foundation Transformers (Magneto)、长度外推 Transformer、X-MoE、BitNet 等基础架构成果。

Q：有没有可直接使用的模型权重？

A：README 节选未说明权重下载方式，请参考官网 aka.ms/GeneralAI 或对应子项目文档获取。

Q：想了解最新进展去哪里看？

A：可访问 README 给出的官网 aka.ms/GeneralAI，或进入具体子项目的 GitHub 目录和论文链接查看。

注意事项

unilm 是多个独立子项目的集合仓库，没有统一的安装和使用入口。
本教程仅覆盖 README 中出现的克隆与浏览操作，未包含任何未经 README 确认的命令。
子项目的依赖、模型权重和运行方式各不相同，请以其自身 README 为准。
README 中提到招聘信息，可发邮件至 fuwei@microsoft.com 咨询。

核心亮点

统一了NLU和NLG任务，减少多模型切换成本
预训练模型在GLUE、SQuAD等基准上表现强劲
与BERT架构兼容，易于迁移和微调

不足之处

模型体积大，推理资源消耗高
文档和示例相对较少，上手门槛较高

适用场景

文本摘要生成
问答系统（抽取式/生成式）
对话响应生成

替代项目

T5、BART、GPT-3

项目介绍

unilm 是开源模型领域的开源项目，由 microsoft 开发，2019 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（22,227）位列前 3%，在开源模型分类的 424 个项目里位列前 2%。

近 41 天，它的 GitHub 星标从 22,186 增加到 22,227，净增 41。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：文本摘要生成。同类可对比的替代方案包括 T5、BART、GPT-3。

上一篇：Awesome-Chinese-LLM

下一篇：Qwen