DyingReLU
[Paper Note] Stochastic activations, Maria Lomeli+, arXiv'25, 2025.09
Paper/Blog Link My Issue
#NeuralNetwork #NLP #LanguageModel #ActivationFunction Issue Date: 2025-09-29 GPT Summary- 確率的活性化を導入し、フィードフォワード層で非線形関数をランダムに選択。特に、ベルヌーイ分布に基づきSILUまたはRELUを選択し、最適化問題を回避。プレトレーニング中に確率的活性化を使用し、推論時にRELUでファインチューニングすることでFLOPsを削減し、速度向上を実現。また、生成においても確率的活性化を評価し、テキストの多様性を制御する代替手段を提供。 Comment
元ポスト:
[Paper Note] Dying ReLU and Initialization: Theory and Numerical Examples, Lu Lu+, arXiv'19, 2019.03
Paper/Blog Link My Issue
#NeuralNetwork #MachineLearning Issue Date: 2026-07-03 GPT Summary- ReLUニューロンが出力ゼロになる「死にかけるReLU」の問題を理論的に分析し、深いネットワークが無限大の深さに向かうと確率的に死ぬことを証明する。対処法として、ランダム化された非対称初期化を提案し、これが死にかけるReLUを効果的に防ぐことを証明。新しい初期化手順の有効性を数値例で示す。