EgocentricView (12) — 1/1


Paper/Blog Link My Issue
#ComputerVision #Evaluation #VisionLanguageModel #Encoder #WorldModels #SpatialUnderstanding #Author Thread-Post Issue Date: 2026-11-02 GPT Summary- 一人称視点のストリーミング観測に対し、10種類の視覚表現を固定特徴量プローブで評価し、空間構造・物体追跡・予測的更新・行動可能性の4水準を分析。目に見えるシーンの読み出し性能は、物体の持続的追跡や将来特徴の予測、目標に応じた行動有用性を保証しない。物体追跡と行動可能性はカメラ姿勢の表現、特徴予測は可視シーンの表現を基盤としており、空間表現は復号可能性だけでなく、観測後の維持・予測的更新・行動への利用まで評価する必要がある。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Dataset #Annotation #3D Reconstruction #Robotics #Locomotion #Manipulation #Data #Author Thread-Post Issue Date: 2026-10-23 GPT Summary- 一人称視点映像から、カメラ・シーン・手・物体を共有世界座標系で関節的に再構成するため、データ収集から自動アノテーション、モデリング、評価までを統合したEgoXperienceを提案。 EgoX-Engineは物体追跡とSLAMを用いて一貫した教師信号を生成し、50時間のEgoX-Data-6Mと1時間の評価用EgoX-Benchを構築。 単眼映像と初期物体マスクから単一フォワードパスで各要素を再構成するEgoXにより、カメラ・手・深度の誤差を最大68.9%削減し、物体姿勢の性能を28.0%向上。 Comment

元ポスト:

Loading…

pj page: https://ropedia.github.io/EgoXperience/




Paper/Blog Link My Issue
#Dataset #MultiModal #Annotation #Robotics #ObjectDetection #Data #Author Thread-Post Issue Date: 2026-10-23 GPT Summary- 人間の一人称視点の経験から、シーン構造・物体状態・相互作用履歴を結び付けた学習資源を構築する統合エコシステムHOLI-WORLDを提案。静的・動的知覚を組み合わせてワールドレコードを自動構築し、約100シーンと約8万組の質問応答ペアからなるHOLI-WORLD-Dataを整備。独立した人手アノテーションによるHOLI-WORLD-Benchで品質と空間・時間理解を評価し、HOLI-WORLD-Dataによる学習でVL-4Bの推論性能が大幅に向上。 Comment

pj page: https://ropedia.github.io/holi-world/

元ポスト:

Loading…

関連:
- Flora: An Open Model Suite for Scaling Robotics Data Engines, Leng+, 2026.10

dataset: https://huggingface.co/datasets/ropedia-ai/holiworld-data
model: https://huggingface.co/ropedia-ai/holiworld-vl
github: https://github.com/Ropedia/holi-world




Paper/Blog Link My Issue
#ComputerVision #Dataset #Evaluation #VideoGeneration/Understandings #Robotics #EmbodiedAI #ToolUse #Author Thread-Post Issue Date: 2026-10-09 GPT Summary- 一人称視点のツール使用理解のために、100時間の動画コーパスEgoTools-Dataと、知覚・幾何学・手順理解・因果推論を評価するEgoTools-Benchを構築。 現行のマルチモーダル動画モデルは、視覚的証拠に基づくツール使用の定位や身体的推論に苦戦し、Gemini-3.1-Proも知覚・グラウンディングで51.7%にとどまる。 EgoTools-DataによるファインチューニングでQwen3-VL-8B-Instructの性能を50.0%から60.9%に改善し、学習と診断評価の両方に有効であることを示した。 Comment

元ポスト:

Loading…

論文中のデータセットのリンクが本コメント投稿時点で404となっている

pj pageのリンクからなら飛べた。データセットは以下:
https://huggingface.co/datasets/ropedia-ai/egotools-data




Paper/Blog Link My Issue
#ComputerVision #Dataset #MultiModal #Robotics #EmbodiedAI #Author Thread-Post #MultiView Issue Date: 2026-08-09 GPT Summary- 身体性を伴う知能は、知覚と行動の全体ループを捉えるためのデータのボトルネックに直面している。既存のデータセットはこれを分断しているため、全体像を捉えられない。そこで、Ambient Capture Engine(ACE)を導入し、実在の家庭環境を空間的に較正された録画スタジオに変換。ACEは、手と物体の操作や全身の運動を二つのスケールで捉え、統合された多感覚ストリームとして記録する。ACE-Data-0は150時間、1700万フレームの映像を収集し、75,000の相互作用エピソードを網羅。さらに、相互作用における自然な行動のばらつきを保持し、階層的なベンチマークを導入。ACE-Data-0は知覚、運動学、接触の同期を示し、身体性AIのスケーラブルな基盤を提供する。 Comment

pj page: https://ace-data-engine.github.io/ACE-Data-0/

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #Pretraining #DiffusionModel #OpenWeight #Robotics #WorldModels #3D (Video) #Realtime #Physics #Author Thread-Post Issue Date: 2026-02-09 GPT Summary- DreamDojoは、エゴセントリックな人間のビデオから学習した世界モデルで、巧妙なロボットタスクのシミュレーションを可能にします。44,000時間のデータを使用し、多様なシナリオとオブジェクトをカバーしており、アクションラベルの不足を連続的な潜在アクションで解決。物理理解とアクション制御能力を向上させるポストトレーニング後、10.81 FPSでのリアルタイム処理を実現。これにより、生成的世界モデルを基にした新しいアプリケーションを実現し、オープンワールドでのタスクシミュレーションの可能性を示します。 Comment

pj page: https://dreamdojo-world.github.io/

元ポスト:

Loading…

著者ポスト:

Loading…

著者ポスト:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#ComputerVision #DiffusionModel #ICLR #VideoGeneration/Understandings #Robotics #One-Line Notes Issue Date: 2026-04-25 GPT Summary- 第一人称視点の動画生成は未解決の課題が多い中、私たちは動画と人間の動作を同時に生成する新しいタスクを提案します。主な課題は、視点の整合性と因果的相互作用です。これに対処するために、拡散トランスフォーマーに基づくEgoTwinフレームワークを導入し、頭部中心の動作表現を使って因果関係を明示的に捉えます。また、同期したテキスト-動画-動作の大規模データセットを作成し、新たな評価指標で一貫性を検証しました。実験により、EgoTwinの有効性が確認されました。 Comment

openreview: https://openreview.net/forum?id=QFJkvv3zMi

pj page: https://egotwin.pages.dev/

元ポスト:

Loading…

egocentric view(一人称視点)動画と、human motionを同時生成するタスクを提案。これにはviewとmotionの視点のalignmentと、生成された動画と人間のアクションが交互作用しなければならないという二つの課題に対処しなければならない。




Paper/Blog Link My Issue
#ComputerVision #Dataset #Evaluation #Editing #3D (Video) #Initial Impression Notes Issue Date: 2026-03-17 GPT Summary- 自己視点動画編集のためのエコシステムを提案。EgoEditDataを構築し、手と物体の相互作用に特化したデータセットを提供。リアルタイム推論を可能にするEgoEditを開発し、指示に従いながら高品質の編集を実現。評価スイートEgoEditBenchを導入し、自己視点編集での進歩を示しつつ、一般編集タスクでも強力な性能を維持。EgoEditDataとEgoEditBenchは研究コミュニティに公開予定。 Comment

pj page: https://snap-research.github.io/EgoEdit/

元ポスト:

Loading…

完全にARの上位互換




Paper/Blog Link My Issue
#Article #ComputerVision #Dataset #Robotics #3D (Video) #EmbodiedAI #Author Thread-Post Issue Date: 2026-08-22 Comment

pj page: https://egosuite100k.lightwheel.ai/

元ポスト:

Loading…

LeRobotフォーマットとのこと

Loading…


- [Paper Note] LeRobot: An Open-Source Library for End-to-End Robot Learning, Remi Cadene+, ICLR'26, 2026.02
- LeRobot Humanoid: An Open, Low-Cost, 3D-Printed Humanoid for Robot Learning, LeRobot, 2026.05




Paper/Blog Link My Issue
#Article #Pretraining #FoundationModel #Selected Papers/Blogs #DataMixture #Robotics #VisionLanguageActionModel #3D (Video) #EmbodiedAI #KeyPoint Notes #EmergentAbilities #DomainGap #Author Thread-Post Issue Date: 2025-12-18 Comment

元ポスト:

Loading…

pi_0.5と呼ばれる基盤モデルのfinetuningにおいてロボット用の学習データに追加して人間のegocentricなvideoをmixtureするだけで創発現象が生じ、人間の動画側にしか存在しない4種類のgeneralizationが必要なシナリオにおいて2倍の性能を示した。そしてこの傾向は、事前学習における基盤モデルのサイズをスケールさせる、ロボットのデータをより多く投入することでより顕著となった。
image

人間とロボットの特徴量を2D plotした散布図を見ると、事前学習で利用するロボットの学習データ(事前学習時点では人間の動画は含まれないことに注意)をスケールさせると、両者の特徴量が重なるようになったので、human-robotのalignmentをモデルが獲得していることが示唆される。
これにより、今後VLAを学習する際に、domain gapを埋めるための特別な処理が不要となる可能性がある、といった話らしい。

これが真だとすると、たとえば以下のように、人間のegocentric viewデータを大量に保有したところが有利にはなりそうではある。
- Interactive Intelligence from Human Xperience, Ropedia, 2025.12




Paper/Blog Link My Issue
#Article #Dataset #Blog #Robotics #WorldModels #VisionLanguageActionModel #EmbodiedAI #One-Line Notes #Real-to-Sim Issue Date: 2025-12-17 Comment

pj page: https://ropedia.com/

元ポスト:

Loading…

頭に装着するデバイスでegocentric viewのデータセットを収集し、実際の人間の様々な状況での経験を収集されたegocentric viewデータに基づいて活用し、より強力なworld model, Real-to-Sim, Vision Action Langauge Modelsを作ることをミッションとする新たなプロジェクト(?)な模様。