pre-training
本站收录 18 个带「pre-training」标签的 AI 开源项目
LLMSurveyLLMSurvey 是《A Survey of Large Language Models》论文的官方 GitHub 页面，旨在系统梳理大语言模型领域的发展脉络★ 12,224
data-juicerData-Juicer 是一个面向大模型的数据处理与分析工具，旨在解决模型训练数据质量参差不齐、处理流程繁琐低效的问题。它提供了一套系统化的数据加工流水线，包含★ 7,105
prompt-in-context-learning这是一个关于上下文学习（In-Context Learning）和提示工程（Prompt Engineering）的资源集合项目，旨在帮助开发者系统掌握Chat★ 2,247
KnowLMKnowLM 是一个开源的知识增强大语言模型框架，旨在提升大模型在知识密集型任务上的表现。它通过整合外部知识库、知识图谱和结构化数据，在预训练、微调和推理阶段注★ 1,386
Awesome-TimeSeries-SpatioTemporal-LM-LLM这是一个精选列表，收录了用于时间序列、时空数据和事件数据的大语言模型（LLM）与基础模型（FM）的相关论文、代码和资源。它解决了该领域研究资料分散、难以追踪的问★ 1,233
Awesome-LLM4RS-PapersAwesome-LLM4RS-Papers 是一个精选论文列表，聚焦于大语言模型增强的推荐系统（LLM4RS）。该项目系统整理了该方向的最新研究成果，涵盖从基础★ 767
Craw4LLMCraw4LLM 是一个面向大语言模型预训练的高效网页爬取工具，源自同名学术论文。它解决的是传统爬虫抓取网页时内容冗余、噪声大、与训练目标不匹配的问题，通过将爬★ 665
MathPileMathPile 是一个面向数学领域的大规模高质量预训练语料库，由 CAMEL-AI 团队构建，相关论文发表于 NeurIPS 2024 Datasets & ★ 418
HyperSIGMAHyperSIGMA 是发表在 TPAMI'25 上的高光谱智能理解基础模型官方实现。高光谱图像包含数十至数百个连续光谱波段，传统方法难以有效处理其高维性和冗余★ 392
MTPMTP 是 JSTARS'24 论文的官方实现，提出了一种面向遥感基础模型的多任务预训练方法。它通过同时学习多个遥感任务（如场景分类、语义分割、目标检测等）来训★ 253
Medical_Image_AnalysisMedical_Image_Analysis 是一个专注于医学图像分析的开源项目，旨在利用基础模型（Foundation Models）解决医学影像领域的核心问★ 242
helicalhelical 是一个专注于基因组学和转录组学模态的预训练生物基础模型框架，旨在为研究人员提供开箱即用的先进生物模型。它解决了生物信息学领域模型复用难、标准化缺★ 231
time-series-ptms这是一个时间序列预训练模型（PTMs）的官方实现代码库，对应TKDE-24论文《A Survey on Time-Series Pre-Trained Mode★ 230
Awesome-Foundation-Models-on-Graphs这是一个关于图基础模型的精选资源列表，汇集了图基础模型领域的论文、代码和数据集。它旨在解决图基础模型研究资料分散、难以系统获取的问题，为研究人员和开发者提供一站★ 226
FrozenBiLMFrozenBiLM 是一个用于零样本视频问答（VideoQA）的开源模型，来自 NeurIPS 2022 论文。它解决的是在没有任何视频标注数据的情况下，直接★ 159
RSPRSP是《An Empirical Study of Remote Sensing Pretraining》论文的官方代码库，专注于遥感图像预训练模型的实证研究★ 159
Pair-VPRPair-VPR 是一个基于视觉 Transformer 的视觉地点识别（VPR）开源模型，发表于 IEEE RA-L 2025。它解决的是在环境变化（如光照、★ 66
voc2vecvoc2vec 是一个针对非语言发声（如笑声、哭泣、叹息等）的基础模型，论文发表于 ICASSP 2025。它解决的是传统语音模型主要处理语言内容、而忽略副语言★ 59