Flow-basedGenerativeModels (1) — 1/1
[Paper Note] Large Flow Language Models, Arnav Chavan+, arXiv'26, 2026.10
Paper/Blog Link My Issue
#NLP #LanguageModel Issue Date: 2026-10-28 GPT Summary- 連続フロー言語モデルLafaを提案し、データ効率よく80億パラメータへ拡張。プレフィックスに因果的アテンション、ブロック内に双方向・非同期フローを用い、事前学習済みARモデルから効率的に学習する。プレフィックスキャッシュとブロック並列デコーディングにより高速推論を実現し、ARモデルと同等以上の性能を達成。さらに、フローベースのドラフトを同一モデル内で検証する自己投機的デコーディングにより、品質を維持したままARモデルの2.54倍のスループットを実現。 Comment
元ポスト: