Hyperball, effective lr, and peak plus attenuation shape | Jiaxuan Zou
jiaxuanzou0714.github.io · saved by 1 readers
探讨预训练学习率调度的两个核心问题：优化器实际调节的有效学习率由权重范数动态决定，Hyperball 通过约束权重范数消除该隐式调度；峰值加衰减形状对应偏差与方差权衡的最优解，满足该平衡的形状构成一个集合，不限于特定的解析形式。
探讨预训练学习率调度的两个核心问题：优化器实际调节的有效学习率由权重范数动态决定，Hyperball 通过约束权重范数消除该隐式调度；峰值加衰减形状对应偏差与方差权衡的最优解，满足该平衡的形状构成一个集合，不限于特定的解析形式。