
nucleotide-transformer
用大模型读懂DNA序列,一键提取基因组特征
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 940
使用教程
环境要求
- Python 3.9+
- PyTorch + CUDA(GPU 推理)
- transformers
安装与启动步骤
-
1安装
带 gpu 额外依赖一次装齐。
pip install 'nucleotide-transformer[gpu]' -
2或从源码装
要改模型实现时克隆后本地安装。
git clone https://github.com/instadeepai/nucleotide-transformer.git && cd nucleotide-transformer python -m venv .venv && source .venv/bin/activate pip install . -
3加载模型
用 transformers 的 AutoModelForMaskedLM 直接按名称加载。
from transformers import AutoTokenizer, AutoModelForMaskedLM tok = AutoTokenizer.from_pretrained('InstaDeepAI/nucleotide-transformer-500m-human-ref') model = AutoModelForMaskedLM.from_pretrained('InstaDeepAI/nucleotide-transformer-500m-human-ref') -
4取嵌入做下游任务
把序列切成 6-mer token 后取隐层表示,接分类或回归头。
如何确认成功
对示例 DNA 序列能产出隐藏状态张量,形状与文档一致。
注意事项
- 输入必须是 ACGT 核酸序列,含 N 或其它字符会被 tokenizer 处理成未知标记。
核心亮点
- 提供从500M到2.5B的多尺寸预训练模型,覆盖不同算力需求
- 自监督预训练,无需标注数据即可学习DNA通用表征
- 附带微调示例,可轻松适配基因表达、剪接位点等下游任务
不足之处
- 文档偏学术,缺少面向初学者的快速上手指南
- 模型体积大,推理和微调对硬件要求较高
适用场景
- 基因组序列的特征提取与嵌入表示
- 基因表达调控元件的预测与注释
- 疾病相关突变影响的初步筛查
替代项目
DNABERT、Enformer、HyenaDNA
同类项目推荐
QuantHarness
开源
一套工具,搞定量化模型标准化评测与对比
Official Repository for QuantHarness
pytorch-stable-diffusion
开源
手写 Stable Diffusion 源码,从论文到图像生成一步到位
Stable Diffusion implemented from scratch in PyTorch
Awesome-Controllable-T2I-Diffusi···
开源
一网打尽扩散模型可控生成资源,快速上手精准出图
A collection of resources on controllable generation with text-to-image diffusion mo···
titania
开源
一人读懂从大模型到晶体管的完整链路
Project Titania is a complete large language model system, from transformer to trans···
Differential-Transformer-PyTorch
开源
用差分注意力降低噪声,让模型更聚焦关键信息
PyTorch implementation of the Differential-Transformer architecture for sequence mod···
awesome-open-llms
开源
每月一份清单,快速看清当下热门开源大模型
开源模型汇总,每月更新现在主流的开源模型。A monthly tracker for the latest and most ···
Wuerstchen
开源
用更少算力训练出高质量文生图模型
Official implementation of Würstchen: Efficient Pretraining of Text-to-Image Models
GraphCLIP
开源
让图模型像CLIP一样能迁移,文本图任务零样本也能用
Official implementation of GraphCLIP: Enhancing Transferability in Graph Foundation ···
awesome-opensource-ai
开源
每日更新,帮你精选最值得关注的真正开源AI项目。
Curated list of the best truly open-source AI projects, models, tools, and infrastru···