learning-rate-free
[Paper Note] Prodigy: An Expeditiously Adaptive Parameter-Free Learner, Konstantin Mishchenko+, arXiv'23, 2023.06
Paper/Blog Link My Issue
#MachineLearning #Pocket #Optimizer Issue Date: 2025-10-26 GPT Summary- 学習率の推定問題に対処するため、Prodigyというアルゴリズムを提案。これはD-Adaptation手法を修正し、収束率を改善。12のベンチマークデータセットでテストした結果、ProdigyはD-Adaptationを上回り、手動調整されたAdamに近い精度を達成。 Comment
openreview: https://openreview.net/forum?id=WpQbM1kBuy