nucleotide-transformer

用大模型读懂DNA序列，一键提取基因组特征

Nucleotide Transformer 是一个面向基因组学和转录组学的开源基础模型项目，旨在利用大规模预训练 Transformer 架构来学习 DNA 序列的通用表示。它解决了传统生物信息学方法依赖人工设计特征、难以捕捉长程依赖关系的问题，能够直接从未标注的基因组序列中自监督学习，从而为下游任务（如基因表达预测、剪接位点识别、调控元件注释等）提供强大的序列嵌入。核心能力包括：提供多个不同参数规模（如 500M、2.5B）的预训练模型，支持自定义微调，并附带完整的训练和推理代码。该项目基于 Jupyter Notebook 和 PyTorch 实现，适合研究人员快速上手，推动 AI 在精准医学和基因组研究中的应用。