FlowMatching
#Pocket
#ICML
Issue Date: 2025-07-13 [Paper Note] Temporal Difference Flows, Jesse Farebrother+, ICML'25 Summary未来予測モデルの精度向上のため、幾何学的ホライズンモデル（GHMs）を用いた新手法「時間差フロー（TD-Flow）」を提案。TD-Flowは新しいベルマン方程式とフローマッチング技術を活用し、従来手法の5倍以上のホライズンで正確な予測を実現。理論的には勾配分散の低減が効果の主因であることを示し、実証的には様々なドメインでの下流タスクにおいて性能向上を確認。行動基盤モデルとの統合により、長期的な意思決定の改善も示唆。 Comment元ポスト:https://x.com/jessefarebro/status/1944056563053793428?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QICML2025のベストペーパーとのこと #Pocket
Issue Date: 2025-07-09 [Paper Note] Mean Flows for One-step Generative Modeling, Zhengyang Geng+, arXiv'25 Summaryワンステップ生成モデリングのための新しいフレームワーク「MeanFlow」を提案。平均速度の概念を導入し、瞬間速度と対比させることで、神経ネットワークのトレーニングを導く。MeanFlowは自己完結型で、事前トレーニングを必要とせず、ImageNet 256x256でFID 3.43を達成し、従来のモデルを上回る性能を示す。研究はワンステップモデルとマルチステップモデルのギャップを縮小し、今後の研究の基礎を再考することを促す。 Comment元ポスト:https://x.com/tongzhou_mu/status/1942630257582080426?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q #Pocket #ICLR
Issue Date: 2025-07-09 [Paper Note] Building Normalizing Flows with Stochastic Interpolants, Michael S. Albergo+, ICLR'23 Summary基準確率密度とターゲット確率密度の間の連続時間正規化フローに基づく生成モデルを提案。従来の手法と異なり、逆伝播を必要とせず、速度に対する単純な二次損失を導出。フローはサンプリングや尤度推定に使用可能で、経路長の最小化も最適化できる。ガウス密度の場合、ターゲットをサンプリングする拡散モデルを構築可能だが、よりシンプルな確率流のアプローチを示す。密度推定タスクでは、従来の手法と同等以上の性能を低コストで達成し、画像生成においても良好な結果を示す。最大$128\times128$の解像度までスケールアップ可能。
Issue Date: 2025-07-13 [Paper Note] Temporal Difference Flows, Jesse Farebrother+, ICML'25 Summary未来予測モデルの精度向上のため、幾何学的ホライズンモデル（GHMs）を用いた新手法「時間差フロー（TD-Flow）」を提案。TD-Flowは新しいベルマン方程式とフローマッチング技術を活用し、従来手法の5倍以上のホライズンで正確な予測を実現。理論的には勾配分散の低減が効果の主因であることを示し、実証的には様々なドメインでの下流タスクにおいて性能向上を確認。行動基盤モデルとの統合により、長期的な意思決定の改善も示唆。 Comment元ポスト:https://x.com/jessefarebro/status/1944056563053793428?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-QICML2025のベストペーパーとのこと #Pocket
Issue Date: 2025-07-09 [Paper Note] Mean Flows for One-step Generative Modeling, Zhengyang Geng+, arXiv'25 Summaryワンステップ生成モデリングのための新しいフレームワーク「MeanFlow」を提案。平均速度の概念を導入し、瞬間速度と対比させることで、神経ネットワークのトレーニングを導く。MeanFlowは自己完結型で、事前トレーニングを必要とせず、ImageNet 256x256でFID 3.43を達成し、従来のモデルを上回る性能を示す。研究はワンステップモデルとマルチステップモデルのギャップを縮小し、今後の研究の基礎を再考することを促す。 Comment元ポスト:https://x.com/tongzhou_mu/status/1942630257582080426?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q #Pocket #ICLR
Issue Date: 2025-07-09 [Paper Note] Building Normalizing Flows with Stochastic Interpolants, Michael S. Albergo+, ICLR'23 Summary基準確率密度とターゲット確率密度の間の連続時間正規化フローに基づく生成モデルを提案。従来の手法と異なり、逆伝播を必要とせず、速度に対する単純な二次損失を導出。フローはサンプリングや尤度推定に使用可能で、経路長の最小化も最適化できる。ガウス密度の場合、ターゲットをサンプリングする拡散モデルを構築可能だが、よりシンプルな確率流のアプローチを示す。密度推定タスクでは、従来の手法と同等以上の性能を低コストで達成し、画像生成においても良好な結果を示す。最大$128\times128$の解像度までスケールアップ可能。
#Pocket
#ICLR
Issue Date: 2025-07-09
[Paper Note] Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow, Xingchao Liu+, ICLR'23
Summaryrectified flowという新しいアプローチを提案し、2つの分布間の輸送を学習するためのODEモデルを用いる。これは、直線的な経路を学習することで計算効率を高め、生成モデルやドメイン転送に統一的な解決策を提供する。rectificationを通じて、非増加の輸送コストを持つ新しい結合を生成し、再帰的に適用することで直線的なフローを得る。実証研究では、画像生成や翻訳において優れた性能を示し、高品質な結果を得ることが確認された。
#Pocket
#ICLR
Issue Date: 2025-07-09
[Paper Note] Flow Matching for Generative Modeling, Yaron Lipman+, ICLR'23
SummaryContinuous Normalizing Flows（CNFs）に基づく新しい生成モデルの訓練手法Flow Matching（FM）を提案。FMは固定された条件付き確率経路のベクトル場を回帰し、シミュレーション不要で訓練可能。拡散経路と併用することで、より堅牢な訓練が実現。最適輸送を用いた条件付き確率経路は効率的で、訓練とサンプリングが速く、一般化性能も向上。ImageNetでの実験により、FMは拡散ベース手法よりも優れた性能を示し、迅速なサンプル生成を可能にする。