WeightNormalization (5) — 1/1


Paper/Blog Link My Issue
#Pretraining #NLP #LanguageModel #MoE(Mixture-of-Experts) #Scheduler Issue Date: 2026-10-31 GPT Summary- WNの性能向上は正規化そのものではなく、主に実効学習率(ELR)の軌跡によって生じることを示す。 ELRを一致させると、WNとWDの学習ダイナミクスはほぼ同一となるため、ELRに基づくスケジューリングが重要である。 理論的な \(1/\sqrt{t}\) 減衰とアフィン調整を組み合わせたAIRを提案し、指定したピークLRと終端LRを実現する。 1280億トークンのMoE事前学習で、AIRはコサインスケジュールを上回り、学習損失、下流性能、ハイパーパラメータ頑健性を改善した。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization, Kaiyue Wen+, arXiv'26, 2026.06
- [Paper Note] Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks, Tim Salimans+, NIPS'16, 2016.02




Paper/Blog Link My Issue
#Pretraining #NLP #LanguageModel #Optimizer #Selected Papers/Blogs Issue Date: 2026-08-14 GPT Summary- Hyperballは、行列ベースのオプティマイザMuonに対するシンプルなラッパーで、固定定数に重み行列のフロベニウスノルムを設定することで、言語モデルの事前学習を高速化する。Qwen3スタイルのモデルでは、Muon Hyperballが20〜30%の速度向上を実現し、デカップリングウェイトデケイと比べて学習率の伝達を改善する。これにより、訓練中のウェイトデケイがハイパーパラメータに依存する状態を促進する。 Comment

元ポスト:

Loading…

関連:
- Fantastic Pretraining Optimizers and Where to Find Them 2.1: Hyperball Optimization, Wen+, 2026.01




Paper/Blog Link My Issue
#NeuralNetwork #EfficiencyImprovement #Pretraining #MachineLearning #NLP #LanguageModel #Optimizer #Stability Issue Date: 2026-01-23 GPT Summary- 大規模モデルの最適化には、安定性と迅速な収束を保証する戦略が不可欠。新たに導入したスペクトルスフィアオプティマイザー(SSO)は、重みと更新に厳密なスペクトル制約を適用し、完全に安定した最適化プロセスを実現。多様なモデルアーキテクチャでの事前トレーニングにより、SSOはAdamWやMuonよりも一貫して高い性能を示し、安定性の向上も確認された。

Paper/Blog Link My Issue
#NeuralNetwork #MachineLearning #NeurIPS Issue Date: 2026-11-06 GPT Summary- weight vectorを長さと方向に分離して再パラメータ化するweight normalizationを提案。最適化問題の条件付けを改善し、SGDの収束を高速化する。batch間の依存関係を導入しないため、LSTM・深層強化学習・生成モデルにも適用可能。小さな計算オーバーヘッドで、batch normalizationに匹敵する高速化を実現。

Paper/Blog Link My Issue
#Article #NeuralNetwork #EfficiencyImprovement #Pretraining #NLP #LanguageModel #Optimizer #read-later #Selected Papers/Blogs #One-Line Notes Issue Date: 2026-01-22 Comment

元ポスト:

Loading…

シンプルな手法で、先行研究によってモデルのパラメータサイズやデータのスケールが大きくなるとMuonのような行列ベースのoptimiserの高速化の恩恵が小さくなる現象を改善しているとのこと。

具体的には、重みを更新する際にweight decayのようなソフトにweightのノルムをコントロールするような仕組みを入れるのではなく、optimiserの重みに対する更新量と、更新後のネットワークの重みをフロベニウスノルムで正規化し、最適化の軌跡を半径Rの超球面の表面上に位置するように明示的に制約する(ここで、Rは最初の重み行列のフロベニウスノルム)。Muonを含む様々なoptimiserでも機能して学習効率を高めるため、インパクトの大きな重要研究に見える。

関連(concurrent works):
- [Paper Note] Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models, Yonggan Fu+, arXiv'25, 2025.11
- [Paper Note] Controlled LLM Training on Spectral Sphere, Tian Xie+, arXiv'26, 2026.01

関連:
- [Paper Note] Fantastic Pretraining Optimizers and Where to Find Them, Kaiyue Wen+, ICLR'26, 2025.09