RandOpt

在预训练权重附近挖出多个专家模型，提升泛化与集成效果

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 74 🐛 待处理 6 👀 关注 25

GitHub ↗

GitHub 星标 ★ 658

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源代码库，无在线服务，需自行部署，完全免费。

项目预览

项目数据

分类开源模型

开发团队sunrainyg

GitHubhttps://github.com/sunrainyg/RandOpt

定价模式🏷️完全免费

价格说明开源代码库，无在线服务，需自行部署，完全免费。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

主要语言Python

技术栈/模型black-box-optimization,ensemble-learning,large-language-models,llm,lora,neuroevolution,post-training,reasoning,transformers

GitHub 星标★ 658

上线时间2026-02-18 00:00:00

代码更新2026-09-21

仓库体积10.8 MB

本站数据更新2026-11-09

维护状态维护中

收录时间2026-08-09

浏览次数9

项目介绍

RandOpt 是 ICML 2026 Spotlight 论文《Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights》的官方代码库。该项目提出一种基于预训练权重的神经网络优化方法，核心思想是在预训练模型权重附近寻找多样化的任务专家（即多个性能优异的模型解），而非仅微调出单一模型。它解决了传统微调容易陷入局部最优、泛化能力受限的问题，通过探索权重空间中的密集区域，生成一组多样且互补的模型，可集成使用或按需选择。代码库提供完整的训练、评估和可视化工具，支持主流深度学习框架，便于研究者复现论文结果并应用于新任务。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 658

技术标签

large-language-models llm lora post-training reasoning

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 40 分钟部署方式：本地安装 4 步

环境要求

Python 3.9+
NumPy / SciPy
CPU 可跑，GPU 更快

安装与启动步骤

1确认环境已激活

README 第一步就是提醒先激活虚拟环境，装错到系统 Python 后面全乱。
```
conda activate your_env
```
2装依赖

只给了一条 requirements，说明依赖不多，但没有锁定版本，遇到问题先降 torch。
```
pip install -r requirements.txt
```
3替换目标函数

它的用法是把你的优化目标包成函数交给框架，先跑自带示例看清接口签名。
4调参跑一轮

搜索预算和采样策略是主要旋钮，小预算先验证方向再放大。