2024年09月08日 星期日 登录 EN
受到大模型领域中Mixture of Experts的启发,我们提出了一种新颖的最小值之和(Sum-of-Minimum)模型,特点能够一边训练多个专家模型一边优化问题与专家模型之间的匹配。我们将展示这个模型在多种机器学习任务和优化算法配置上的有效性,以及优于传统方法的性能表现。尽管最小值之和模型的目标函数为非凸且非光滑,有一种初始化方式可以得到Log倍的最优性保证,此外一种交替方向算法也具备O(1/t)的收敛率。我们认为最小值之和模型可以扩展到随机优化并应用于大规模、现实世界的问题。