ParScale

并行跑多个模型，不堆参数也能提升性能

ParScale 是一个研究并行扩展定律（Parallel Scaling Law）的开源项目，旨在突破传统语言模型仅依赖参数规模（Parameter Scaling）和推理时间（Inference Time Scaling）的扩展瓶颈。它提出了一种新的扩展维度——并行扩展，通过同时运行多个模型实例或并行推理路径，以更低的单模型成本获得更强的整体性能。该项目提供了完整的实验框架、训练脚本和评估工具，支持用户复现论文中的核心结果，并在此基础上探索并行扩展的潜力。核心能力包括：并行采样策略的配置与调度、多模型协同推理的基准测试、以及与传统扩展方法的对比分析。ParScale 适合研究者和高级工程师用于探索模型扩展的新范式，尤其关注推理效率与性能平衡的场景。