Energy-based (2) — 1/1
[Paper Note] Scaling Transformer Energy-based Models For High Quality Image Synthesis, Jungsoo Lee+, arXiv'26, 2026.10
Paper/Blog Link My Issue
#ImageSynthesis Issue Date: 2026-10-31 GPT Summary- EBMをTransformerで潜在空間上に拡張したTEMを提案し、複数層のエネルギーを統合して局所的なテクスチャから大域的な意味までを捉える。 視覚基盤モデルによるPositive Representation Alignmentと高度なサンプリング戦略により、高品質かつ大規模な画像生成を実現。 TEM-XLはclassifier-free guidanceなしでImageNet 256×256においてFID 3.82を達成し、512×512でもFID 8.24を記録。 さらに、合成的生成、ゼロショット画像インペインティング、分布外検出におけるEBMの利点も示した。 Comment
pj page: https://int-lee.github.io/scalable-ebm/
元ポスト:
[Paper Note] Energy-Based Transformers are Scalable Learners and Thinkers, Alexi Gladstone+, arXiv'25, 2025.07
Paper/Blog Link My Issue
#ComputerVision #MachineLearning #NLP #LanguageModel #Transformer #MultiModal #Architecture #VideoGeneration/Understandings #VisionLanguageModel #Author Thread-Post Issue Date: 2025-07-06 GPT Summary- 入力と候補予測の適合性を検証するEnergy-Based Transformer(EBT)を訓練し、エネルギー最小化によって推論を行う。離散的なテキストと連続的な視覚の両方に対応し、教師なし学習のみでシステム2思考を実現。訓練時のスケーリングと推論時の性能で既存モデルを上回り、下流タスクでも優れた一般化能力を示した。 Comment
元ポスト:
Project Page: https://energy-based-transformers.github.io
First Authorの方による解説ポスト:
