pytorch——自动更新学习速率

发表于 2019-11-14 更新于 2021-02-19 阅读次数： Valine：
本文字数： 158 阅读时长 ≈ 1 分钟

在深度学习模型的梯度下降过程中，前期的梯度通常较大，因此一可以使参数的更新更快一些，参数更新的后去，梯度较小，因此可以让更新的速率慢一些进行精确的下降，而直接使用optimizer只能直接将lr(学习速率)设置为固定值，因此常常会遇到需要手动进行学习速率调节的情况，本文重点讲解如何自己编写动态调节模型学习速率。

本文作者： AnchoretY
本文链接： https://anchorety.github.io/2019/11/14/pytorch——自动更新学习速率/
版权声明： 本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！