Bug (3) — 1/1
[Paper Note] Broken Symmetry in BF16 Attention: Why FlashAttention Gradients Blow Up Late in Training, Junlin Chen+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #Attention #SoftwareEngineering #Selected Papers/Blogs #One-Line Notes #GPUKernel #LowPrecision Issue Date: 2026-10-09 GPT Summary- BF16のFlashAttention-3を用いた事前学習で、後半に勾配ノルムが急増し、損失がFP32より悪化する問題を発見。softmaxの融合積和演算と、BF16丸めによるスコア勾配の総和ゼロの破れが原因で、平均キーの情報がクエリ・キー勾配に漏れ込む。キャスト後にランク1補正を加えて保存則を復元するGProjを提案し、勾配誤差を大幅に削減。計算時間の増加を4.7%に抑えつつ、FP32アテンションと同等の損失で学習可能であることを示した。 Comment
元ポスト:
低精度の学習でFlashAttention3を用いると、実装のバグにより勾配が爆発する場合があり、このような状況が引き起こされる状態（KeyのNormが大きくなる）は、学習の後期に入らないと生じない、という丸め誤差に起因するバグのようである。
Appendix I 1.3節、式20を見ると、FMAを用いたsoftmax演算でなぜ丸め誤差が生じるかが（わりとわかりやすく？）記述されている。
関連:
- KohakuFA: Flash attention for Blackwell, with gradients you can trust
KohakuFA: Flash attention for Blackwell, with gradients you can trust
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #Attention #Blog #Stability #GPUKernel #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
cuDNN, FA4, flex attentionに、attentionのlogitが大きくなると、backwardでの勾配が本来よりも10--1000倍、最悪の場合はinfとなるバグが見つかった報告のようである。forwardは正常に動作していふように見え、学習の後半にならないと気づけないとのこと。
SWE-sweep: Can Agents Autonomously Find and Fix Bugs, Lieret+, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Selected Papers/Blogs #reading #Security #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
モデルに「コードベースに存在するバグを可能な限り多く修正すること」のみを指示し、他の具体的な情報を一歳与えない時にどの程度潜在的なバグを修正できるかを測定するためのベンチマーク。GPT-5.6-Solが最も性能が良かったが、修正できたバグは全体の5%未満だったとのこと。ベンチマークはgithub上のリポジトリの特定コミット（バグが最も多く含まれているもの）を切り出し、バグが解決されたか否の検証にはリポジトリ中のユニットテストを利用する。また、これらインスタンスは、多くの品質フィルタリングを（正当なバグか、ヒントなしで解決できるか、バグが再現するか、ゴールドとなる修正が機能しているか、テストが適切か、期待される動作が推論可能か、等）かけた上で構築される。100種類のリポジトリ、22言語、4k程度のバグで構成され、最大では一つのコードベース239個のバグが存在する。