Hierarchical


Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #memory #Initial Impression Notes #Author Thread-Post Issue Date: 2026-04-17 GPT Summary- エージェント型科学における超長期自律性の課題に対し、ML-Master 2.0という自律エージェントを提案。階層型認知キャッシュ（HCC）を導入し、瞬時の実行と長期的戦略を切り離して一貫性を持たせる。評価では、最先端のメダル獲得率56.44%を達成し、AIの自律的探索の可能性を示唆。 Comment

元ポスト:

Loading…

contextを
- experience (short-term)
- knowledge (mid-term)
- wisdom (long-term)

の3つの階層に分類し管理するmemory機構を提案しているようである。
階層ごとに異なる記憶容量とアクセス速度で実装し、必要に応じて階層間でデータが昇格（experience->knowledge等）、あるいは削除される、といった機構によってmemory cacheを管理するような手法のようである。

image

MLE-BenchでSoTA




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #LanguageModel #Architecture #ACL Issue Date: 2026-04-08 GPT Summary- PHOTONは、トランスフォーマーの水平スキャンを垂直で多解像度の文脈スキャンに置き換える階層型自己回帰モデルである。ボトムアップエンコーダがトークンを低レートの文脈に圧縮し、軽量なトップダウンデコーダが高精細なトークンを再構築。再帰的生成により最も粗いストリームのみを更新し、ボトムアップの再エンコードを排除。実験では、PHOTONが長いコンテキストやマルチクエリタスクで優れたスループットと品質を示し、KV-cacheトラフィックを削減して最大1000倍のスループットを実現。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #NLP #LanguageModel #Reasoning #Author Thread-Post Issue Date: 2026-01-19 GPT Summary- HRMは推論タスクで優れた性能を示すが、単純なパズルでの失敗やグロッキングダイナミクス、複数の不動点の存在を通じて推測の側面が浮き彫りになった。これを踏まえ、データ拡張、入力摂動、モデルブートストラッピングの3つの戦略を提案し、合成HRMを開発。数独エクストリームの精度を54.5％から96.9％に向上させた。分析は推論モデルのメカニズムに新しい視点を提供する。 Comment

元ポスト:

Loading…

Does anyone have a link to the source code for this paper?

I found the code:
code: https://github.com/renrua52/hrm-mechanistic-analysis




Paper/Blog Link My Issue
#Multi #DocumentSummarization #NLP #Extractive #ACL #Selected Papers/Blogs #interactive #KeyPoint Notes Issue Date: 2017-12-28 Comment

## 概要

だいぶ前に読んだ。好きな研究。

テキストのsentenceを階層的にクラスタリングすることで、抽象度が高い情報から、関連する具体度の高いsentenceにdrill downしていけるInteractiveな要約を提案している。



## 手法

通常のMDSでのデータセットの規模よりも、実際にMDSを使う際にはさらに大きな規模のデータを扱わなければならないことを指摘し（たとえばNew York Timesで特定のワードでイベントを検索すると数千、数万件の記事がヒットしたりする）そのために必要な事項を検討。

これを実現するために、階層的なクラスタリングベースのアプローチを提案。

提案手法では、テキストのsentenceを階層的にクラスタリングし、下位の層に行くほどより具体的な情報になるようにsentenceを表現。さらに、上位、下位のsentence間にはエッジが張られており、下位に紐付けられたsentence

は上位に紐付けられたsentenceの情報をより具体的に述べたものとなっている。

これを活用することで、drill down型のInteractiveな要約を実現。