Model-Based Reinforcement Learining (MBRL) (1) — 1/1
[Paper Note] SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model, Qiayuan Liao+, arXiv'26, 2026.10
Paper/Blog Link My Issue
#ComputerVision #ReinforcementLearning #PostTraining #read-later #Selected Papers/Blogs #Robotics #WorldModels #EmbodiedAI #Initial Impression Notes Issue Date: 2026-10-25 GPT Summary- 大規模な動作データセットに対し、微分可能な世界モデルを用いて動作間で共通するダイナミクスを学習し、単一の追跡方策を効率的に訓練。短い想像ロールアウトへの時間方向の逆伝播により解析的勾配を計算し、従来のモデルフリー強化学習と比べて計算コストを大幅に削減。129,514動作中の失敗を25件まで抑え、2 GPUでは失敗ゼロを達成するとともに、アクロバティックな動作をUnitree G1へ転移。 Comment
demo: https://supermimic.github.io/demo/
元ポスト:
World Modelをシミュレータ等のデータから学習し（今回はヒューマノイドロボット）、ポリシーが予測したアクションによってstateがどのように変化するかを予測可能にし、到達したstateから得られた累積割引報酬和に対して、BPTTでポリシーを学習することで学習を大幅に効率、という話に見える。
↑は手法の手続をざっくり述べているだけで、論文の気持ちを全く捉えられていないので、ちゃんと元論文を読んだ方がいい。高速化の度合いが非常に大きく、インパクトが大きそうな研究に見える。
解説:
気になっていたのでありがたや〜〜🙏