TreeSearch (9) — 1/1


Paper/Blog Link My Issue
#Distillation #Robotics #CoRL #EmbodiedAI #One-Line Notes #LongHorizon #Manipulation #Simulation Issue Date: 2026-11-07 GPT Summary- 長期ホライズンのマニピュレーションに対して、MCTSで生成した計画を方策・価値モデルに蒸留。連続行動は方策が提案し、価値関数が評価することで、探索と学習を反復。最終的に、テスト時の探索なしで実行可能な方策を獲得し、シミュレーションおよび実世界の再配置タスクで既存手法を上回った。 Comment

元ポスト:

Loading…

MCTSによって長期タスクの実行をシミュレーションし、得られた探索木の情報に基づいてポリシーとQ関数を蒸留することを繰り返す。これにより、ポリシーに長期タスクにおいて実行可能なアクションを出力させる能力を身につけさせ、Q関数によって適切に選択できるようにする、という感じだろうか。




Paper/Blog Link My Issue
#NLP #LanguageModel #Transformer #Attention #One-Line Notes #Author Thread-Post Issue Date: 2026-11-05 GPT Summary- 長文脈LLMにおけるattentionの二次計算量を削減するため、KVキャッシュ上に階層的な木構造インデクサを構築し、クエリごとに関連キーの疎な部分集合を取得するZyphra Hierarchical Attention(ZHA)を提案。木を再帰的に深くすることで、ルーティングとattention計算を含む計算量を二次未満(超線形)に抑え、短いKL蒸留で既存の事前学習モデルへ適用できる。長文脈検索や推論・数学・エージェント型コーディングで性能を維持し、100万トークン超の文脈では既存手法を大幅に上回る可能性を示した。 Comment

blog: https://zyphra.com/our-work/zyphra-hierarchical-attention

元ポスト:

Loading…

軽量indexerを用いるが以前として二次的(quadratic)なコストを要するSparse Attention(Indexingのために結局全トークンの走査が必要)とは異なり、キーの要約を(木構造によって)階層的に保持したIndexerを構築することで検索そのものをsparseにした、subquadraticなコストで実現可能な階層的indexerに基づくattentionとのことである。




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #LanguageModel #Test-Time Scaling #read-later Issue Date: 2026-08-04 GPT Summary- TTEL(Test-Time Scaling via Error Localization)アルゴリズムを提案し、トークン単位の誤りを特定して推論効率を向上。固定的フィードバックを利用し、妥当なプレフィックスを再利用することで、生成トークン数を削減。広範な評価で優れたパフォーマンスを示し、特にLiveCodeBenchおいて71.0%のpass@64を達成。数学ベンチマークでも競合を上回る結果を披露。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #LanguageModel #ICML #Test-Time Scaling #Author Thread-Post Issue Date: 2026-05-06 GPT Summary- BG-MCTSは、残りのトークン予算に応じて探索方針を調整するツリー探索デコーディングアルゴリズムを提案。予算が残る間は広範囲に探索し、枯渇するにつれて洗練された回答を優先して浅いノードの分岐を抑制する。MATH500およびAIME24/25の多様な予算設定において、予算を考慮しない方法を一貫して上回る性能を示す。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #ScientificDiscovery #Physics #Initial Impression Notes Issue Date: 2026-03-07 GPT Summary- 本論文では、AIが理論物理学の未解決問題を解決することで数学的発見を加速できることを示す。Gemini Deep Thinkを用いたニューロ-シンボリックシステムが、宇宙ひもによる重力放射のパワースペクトルについて新しい解析解を導出。エージェントはコア積分の評価を通じて、従来の部分的な漸近解を改善。探索制約とフィードバックループを詳細に説明し、最も効果的な解析法としてGegenbauer多項式を特定。これにより、漸近解が数値結果と整合し、量子場理論とも関連づけられることを示した。 Comment

元ポスト:

Loading…

Gemini Deep Thinkが今度は理論物理に関する未解決問題を解決したらしい?




Paper/Blog Link My Issue
#NLP #Search #LanguageModel #Reasoning #Test-Time Scaling #Decoding Issue Date: 2025-10-08 GPT Summary- 相互情報量ツリー探索(MITS)を提案し、推論経路の評価と探索を効率化。PMIに基づくスコアリング関数を用い、計算コストを抑えつつ優れた推論性能を実現。エントロピーに基づく動的サンプリング戦略でリソースを最適配分し、重み付き投票方式で最終予測を行う。MITSは多様なベンチマークでベースラインを上回る結果を示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Search #LanguageModel #ReinforcementLearning #read-later #RLVR #On-Policy #One-Line Notes #ReplayBuffer Issue Date: 2025-10-04 GPT Summary- DeepSearchは、RLVRトレーニングにMonte Carlo Tree Searchを統合し、体系的な探索を可能にするフレームワーク。これにより、限られたロールアウトに依存せず、重要な推論経路を見逃さない。実験では、62.95%の平均精度を達成し、1.5B推論モデルで新たな最先端を確立。戦略的な探索の重要性を示し、RLVR手法の進展に向けた新たな方向性を提供。 Comment

元ポスト:

Loading…

最近はRL時の探索空間を増やす取り組みが増えてきているように感じる。

- Replay BufferがPolicy Gradientで使えない理由, piqcy, 2019.03

にもあるように基本的にオンポリシーRLではリプレイバッファを使えないので何らかの工夫が必要、といった話があるが、この研究ではGRPOを前提としつつリプレイバッファを活用する枠組みとなっているようなので、どのような工夫が行われているのだろうか。勉強したい。

所見と解説:

Loading…




Paper/Blog Link My Issue
#NLP #Search #LanguageModel #AIAgents #ScientificDiscovery #read-later Issue Date: 2025-09-10 GPT Summary- AIシステムを用いて質の指標を最大化する専門的な科学ソフトウェアを生成。大規模言語モデルと木探索を活用し、複雑な研究アイデアを統合。バイオインフォマティクスや疫学の分野で新しい手法を発見し、既存のモデルを上回る成果を達成。多様なタスクに対する新しい解決策を提供し、科学的進歩を加速することを目指す。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #NLP #Dataset #Supervised-FineTuning (SFT) #MultiModal #Reasoning #NeurIPS #VisionLanguageModel Issue Date: 2024-12-31 GPT Summary- 本研究では、MLLMを用いて質問解決のための推論ステップを学習する新手法CoMCTSを提案。集団学習を活用し、複数モデルの知識で効果的な推論経路を探索。マルチモーダルデータセットMulberry-260kを構築し、モデルMulberryを訓練。実験により提案手法の優位性を確認。