在预训练权重附近挖出多个专家模型，提升泛化与集成效果
RandOpt 是 ICML 2026 Spotlight 论文《Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights》的官方代码库。该项目提出一种基于预训练权重的神经网络优化方法，核心思想是在预训练模型权重附近寻找多样化的任务专家（即多个性能优异的模型解），而非仅微调出单一模型。它解决了传统微调容易陷入局部最优、泛化能力受限的问题，通过探索权重空间中的密集区域，生成一组多样且互补的模型，可集成使用或按需选择。代码库提供完整的训练、评估和可视化工具，支持主流深度学习框架，便于研究者复现论文结果并应用于新任务。
Model Soups、Weight Averaging、Neural Network Reparametrization
RandOpt 是模型训练领域的开源项目，由 sunrainyg 开发，是 2026 年新上线的项目。
它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 647。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-21。开源代码库，无在线服务，需自行部署，完全免费。
它主要面向的使用场景是：多任务学习场景下需要多个专用模型。同类可对比的替代方案包括 Model Soups、Weight Averaging、Neural Network Reparametrization。
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
