LanguageModel (3565) — 2/18


Paper/Blog Link My Issue
#NLP #Distillation #PEFT(Adaptor/LoRA) #PostTraining #read-later #Selected Papers/Blogs #On-Policy #Initial Impression Notes #Author Thread-Post Issue Date: 2026-08-14 GPT Summary- On-policy distillation (OPD) は、教師モデルからの監督信号を用いて学生を訓練する手法であり、その効果はウォームアップ段階に依存する。データ観点では、思考過程の連鎖(CoT)監督が効果的であり、誤った教師のロールアウトでも利点があることが示された。トレーニング観点では、低秩適応(LoRA)を用いたアプローチがドメイン内適応と分布外一般化のバランスを改善することを示す。これに基づき、Simple-OPDを提案し、教師生成のCoTに対してLoRAで学生をウォームアップさせる手法である。実験はその有効性と頑健性を示している。 Comment

元ポスト:

Loading…

まだ論文には目を通せていないが、教師モデルと生徒モデルに差がありすぎると、OPDはうまく学習ができないので、LoRAでwarmupするとあうのは理に適っているように感じる。

OPDのFailure Modeのまとめ:
- On-policy distillation isn't a free-lunch, Bhavin Jawade, 2026.07




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #ScientificDiscovery #read-later #Selected Papers/Blogs #Game #One-Line Notes #text #Author Thread-Post Issue Date: 2026-08-14 GPT Summary- 新たな知識の発見は科学プロセスの核心であるが、既存のAIベンチマークはこの能力を評価するものが不足している。これに対処するため、本研究ではDiG-bench(Discovery in Games)という新しいベンチマークを導入。70の独立したゲームから構成され、各ゲームは独自の変換ルールを持ち、AIエージェントに7段階の難易度を提供する。ゲームはルール発見の検証課題を含み、特定の勝利条件も未知である。全てのゲームは少なくとも1人の人間によって初回の試行で解かれたが、21ゲームが公開されており、残りは安全評価のために非公開。 Comment

元ポスト:

Loading…

AI Agentの発見能力を測るためのベンチマーク。テキストベースで人間によって作成されたゲームで、エージェントは試行錯誤を重ねてテキストで表現された世界のルールと勝利条件を紐解く必要がある。実際に人間が挑戦をすることで初挑戦でクリアできることを確認済みだが、AI Agentでは最も難易度が高いゲームでは、20パーセント程度しかクリアできない(Opus 5)とのこと。また、世界のルールや勝利条件などのground truthをテキストで与えると、クリア率は100%になるとのことで、非常に興味深いベンチマークである。




Paper/Blog Link My Issue
#NLP #AIAgents #Selected Papers/Blogs #reading #One-Line Notes #AGENTS.md #Author Thread-Post #AgentHarness Issue Date: 2026-08-14 GPT Summary- エージェント性を持つコーディングREADMEは、リポジトリが退役するまで成長し続けるが、指示の不完全なリコールが原因でこの現象を「破局的記憶」と呼ぶ。247,694の指示ライフタイムを持つ1,867のリポジトリにおいて、指示は生涯で3倍以上増加し、古い指示は削除されにくいことが示された。プロンプトコメントの成長を制御することができ、最適なプロンプトでは過剰な指示の99.3%を削除し、新世界における指示遵守を最大23.1%改善する可能性がある。なぜなら、コードにおけるコメントの役割は依然として重要だからだ。 Comment

元ポスト:

Loading…

Coding AgentがAGENTS.mdのようなglobal contextにinstructionを書き込むのは低コストだが、その背後に潜む推論結果(=latent reasfning)が記述されないためlatent reasoningを後から再構築するのは大きなコストを伴うため、当該instructionを削除する際の妨げとなる。その結果、書き込む方がコストが大きく小さいため、contextが肥大化していく。一方でinstructionが追加される際にlatent reasoningを明示的に書き出せば、肥大化を防ぐことができる、という話に見える。

image

著者ポスト:

Loading…


非常に簡潔でわかりやすい。




Paper/Blog Link My Issue
#NLP #KnowledgeEditing #Author Thread-Post Issue Date: 2026-08-14 GPT Summary- 言語モデルの安全性とコンプライアンスのために特定知識の抹消が重要であるが、従来の方法は効果が限定的である。本研究では、埋め込み層に着目したEMBedding ERasure(EMBER)を提案。これは、疎行列分解を用いてトークン埋め込みから概念に関連する特徴を正確に除去するプラグアンドプレイ型のモジュールである。多様なモデルに対する評価を通じて、EMBERを用いることで抹消の有効性が一貫して向上し、整合性の損失が最小限に抑えられることを確認した。また、再学習への耐性が改善され、再獲得される精度を大幅に削減することができた。これにより、堅牢な概念除去には埋め込みレベルの介入が不可欠であることが示された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #NLP #AIAgents #Safety #Initial Impression Notes Issue Date: 2026-08-14 GPT Summary- AIエージェントの相互作用から生じるリスクとして、マインドウイルスの拡散がある。このマインドウイルスは、アイデアや目標を伝播させ、宿主に行動変化を引き起こす可能性がある。本研究では、進化アルゴリズムを用いてマインドウイルスの構築と拡散のメカニズムを分析し、宿主モデルやペイロードの有害性が伝播に与える影響を特定した。有害なペイロードは一般的に拡散しにくく、エージェントのプロンプトに警告を追加することで免疫を付与できることを示した。また、進化したマインドウイルスには「ウイルス的ペルソナ」が現れ、リスクの存在は確認されたが現段階では限定的であると結論づけた。これらの知見は今後のマルチエージェントシステム設計に寄与する。 Comment

元ポスト:

Loading…

マルチエージェントシステムにおいて、ある起点となるエージェントSystem Promptに組み込まれたなんらかの思想がマルチエージェントシステムにおいて他のエージェントに伝播し、他エージェントはそのトピックについて議論し、結果がメモリに格納されていく現象(=Mind Viruses)に関する研究に見える。




Paper/Blog Link My Issue
#Analysis #Pretraining #NLP #Transformer #LongContext #Architecture #Selected Papers/Blogs Issue Date: 2026-08-14 GPT Summary- 密なトランスフォーマー系におけるアーキテクチャの変化は、長い文脈設定での性能に顕著な影響を及ぼすことを示す。特に、Olmo、Llama、Qwenのモデルファミリーにおいて、特定のアーキテクチャ決定が長い文脈での性能を最大47%低下させることが判明した。これらの差は短い文脈では検出できず、長い文脈能力はアーキテクチャ的特徴によって大きく変動する。17万GPU時間を超える学習の後、得られたモデル群をOlmPoolとして公開し、長い文脈拡張性に優れたアーキテクチャを分析した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #Coding #SelfImprovement #AgentHarness Issue Date: 2026-08-14 GPT Summary- Ouroborosは自己開発型エージェントのハーネスで、改善はレビュー済みのコミットを通じて行われる。コアの進化には再帰的自由進化と経験駆動の進化があり、社会的相互作用を通じて欠陥を露呈し、構造的変更に繋がる。Terminal-Bench 2.1ではOpus 5が86.74%、OSWorld-Verifiedでは90.69%を記録し、新たな最先端となった。Hopeでは、161日間の生存実験が行われ、エージェントが自己進化しながらも運用上の安全性が重要な課題として残っている。 Comment

pj page: https://ouroboros-agent.ai/

元ポスト:

Loading…

関連:
- [Paper Note] Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents, Jenny Zhang+, ICLR'26, 2025.05




Paper/Blog Link My Issue
#Pretraining #NLP #Optimizer #Selected Papers/Blogs #WeightNormalization Issue Date: 2026-08-14 GPT Summary- Hyperballは、行列ベースのオプティマイザMuonに対するシンプルなラッパーで、固定定数に重み行列のフロベニウスノルムを設定することで、言語モデルの事前学習を高速化する。Qwen3スタイルのモデルでは、Muon Hyperballが20〜30%の速度向上を実現し、デカップリングウェイトデケイと比べて学習率の伝達を改善する。これにより、訓練中のウェイトデケイがハイパーパラメータに依存する状態を促進する。 Comment

元ポスト:

Loading…

関連:
- Fantastic Pretraining Optimizers and Where to Find Them 2.1: Hyperball Optimization, Wen+, 2026.01




Paper/Blog Link My Issue
#NLP #Chain-of-Thought #Proprietary #API #Attack #read-later #PII #Security #Author Thread-Post Issue Date: 2026-08-14 GPT Summary- 大規模言語モデルの推論過程が隠蔽され、クライアントに暗号化されたテキストブロックが返される中、設計上の脆弱性が明らかになった。これにより、異なるモデル間の暗号化ブロックの互換性を利用した復号ジャイルブレイクが可能となり、推論の抽出やプライベートデータの漏洩が実証された。具体的には、個人情報や資格情報が回収された他、有害情報の露呈や悪意のあるペイロードの埋め込みが可能になる課題が示された。各攻撃に対処するため、クライアント側の推論を保護する具体的な暗号技術やシステム緩和策が提案されている。 Comment

元ポスト:

Loading…

所見:
-

Loading…

-
Loading…

所見:

Loading…

関連:
- [Paper Note] How to Steal Reasoning Without Reasoning Traces, Tingwei Zhang+, arXiv'26, 2026.03




Paper/Blog Link My Issue
#NLP #Reasoning Issue Date: 2026-08-11 GPT Summary- LLMの推論は最終回答と簡潔な要約を出力するが、推論の痕跡は隠されている。本研究では、公開された情報を元に詳細な合成推論痕跡を生成するトレース反転モデルを提案。実験により、合成痕跡が真の痕跡と高い重なりを持ち、逆向きの痕跡でファインチューニングされたモデルは推論能力が向上し、ブラックボックス型LLMからの蒸留が可能であることを示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #NLP #Scaling Laws Issue Date: 2026-08-11 GPT Summary- Skaling法則は、ニューラルスケーリング則の欠陥を克服し、モデル容量とデータの関係を結びつける一般化された関数形。これにより、MAPEを1.5〜3倍低減し、スパースグリッド戦略と組み合わせることで計算量を大幅に削減。小規模な実験からの信頼性の高い性能予測により、次世代モデル訓練の資源配分に対する堅牢な枠組みを提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #OpenWeight Issue Date: 2026-08-11 GPT Summary- Motif 3は、3140億のパラメータを持つデコーダー専用のMixture-of-Experts言語モデルで、トークンごとに384のエキスパートから8つを選択するスパースMoE層を採用。Grouped Differential Latent Attention(GDLA)を核にし、専門化と効率を向上させ、最大256Kトークンの訓練を実現。得られたモデルは推論やコーディング、指示追従などの能力を統合し、競争力のある性能を発揮。 Comment

HF: https://huggingface.co/Motif-Technologies/Motif-3

関連:
- Motif-3-Beta, Motif-Technologies, 2026.07

所見:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #SelfImprovement #LongHorizon #Initial Impression Notes #autoresearch/RSI Issue Date: 2026-08-10 GPT Summary- 持続的な自己進化を実現する実行環境Argusを提案。これはエージェントが安定したユーザー意図を維持しつつ、運用目標に基づいてミッションを遂行する。Argusは固定されたモデル重みを保ちながら、自己進化を運用状態と制御方針を通じて実現。SWE-Bench Proで78%、AARRI-Benchで76.8%を記録し、各アクティブワークフロー時間を短縮しつつ、検証やレビューの精度を向上。これにより、将来的な教師あり学習と強化学習のための構造化した進化を実現することを示した。 Comment

元ポスト:

Loading…

メモリに永続化する情報を検証プロセスを通じて選別することで、誤った情報が蓄積され増幅されることを緩和する




Paper/Blog Link My Issue
#ReinforcementLearning #PostTraining #CreditAssignment Issue Date: 2026-08-10 GPT Summary- 長期的な探索エージェントは、回答に至るための複数のステップを必要とするが、従来の訓練法では有用な行動と誤った行動を区別できない。本研究では、Answer-Backtracked Credit Assignment(ABC)という細粒度のクレジット割り当てフレームワークを提案し、有用な行動を報いる一方で誤った行動を抑制する。具体的には、答えを遡って必要な手掛かりを回復し、探索ステップを手掛かりと照合することで密な報酬を生成。このフレームワークを用いて、Qwen3.5-4Bを使ったABSeekerが、BrowseCompで37.3%、BrowseComp-ZHで39.1%を達成し、コンテキスト管理を導入するとさらなる改善が見られた。これは長期的な探索エージェントの訓練におけるABCの有効性を示す。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#DiffusionModel #UMM Issue Date: 2026-08-10 GPT Summary- 連続潜在拡散言語モデルAURORA-LMを提案。テキスト生成において、トークン依存から脱却し、高容量のデコード可能なテキスト表現を実現。クエリ基盤のエンコーダ-デコーダを用いて潜在系列を構築し、ブロック因果性拡散トランスフォーマーで分布を学習。最先端の性能を達成し、大規模モデルに対しても優れた結果を示す。 Comment

pj page: https://aurora-lm-project.github.io/

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #Optimizer Issue Date: 2026-08-10 GPT Summary- Diffusion Transformers(DiTs)の訓練効率を向上させるために、Momentum Orthogonalization(Muon)オプティマイザの適用による収束問題を解決。本研究では、重みの統合が最適化に与える影響を特定し、Chunked Muon(CMuon)を提案。CMuonによって独立したサブ成分に分割し、訓練速度を2倍以上向上させながら、短期間で優れた性能を達成。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Transformer #SSM (StateSpaceModel) #Architecture #MoE(Mixture-of-Experts) #Normalization #Hybrid #Initial Impression Notes #LinearAttention Issue Date: 2026-08-10 GPT Summary- nGPTは、モデルパラメータと活性化を超球面に制約し、超球面表現学習を実現。実用的なトレーニングレシピを提案し、ハイブリッドMoEモデルで評価。ロジット勾配の前処理や学習率減衰などを導入し、未正規化モデルと比較して、少ないトレーニングトークンで同等のパフォーマンスを達成。検討対象モデルは最大14Bのパラメータにスケール可能。 Comment

元ポスト:

Loading…

nGPT:
- [Paper Note] nGPT: Normalized Transformer with Representation Learning on the Hypersphere, Ilya Loshchilov+, ICLR'25, 2024.10

解説:

Loading…

nGPTを提案した著者らによる研究で、オリジナルのnGPTではdenseなアーキテクチャで、1Bまでのサイズでしか実験がされていなかった。それをより大規模な14BBレベル、かつMoE、Mamba-2とTransformerのハイブリッドモデルで実験し、学習のために必要な提案を実施しているようである。3.3節にどのような変更が必要か、サマリが記述されている。

性能は、通常のGPTと比較して一貫して改善しており興味深い。
image

ハイパーパラメータが増えているように感じるが、どの程度ハイパーパラメータの設定が効いてくるのだろうか。学習率の調整だけでも厄介なので、モデルの性能は魅力的でロマンがあるが、実務上は採用しづらい気はする。




Paper/Blog Link My Issue
#Online/Interactive #NLP #ReinforcementLearning #SelfImprovement #AgentHarness Issue Date: 2026-08-10 GPT Summary- Harness-R1は、デプロイメント中にエージェントが蓄積する相互作用の軌跡を用いて行動を最適化する初の方法を紹介する。オンライン強化学習を活用し、固定されたエディタではなく、エージェントの成功に基づいた編集を学ぶ。これにより、成功率はWebShop、ALFWorld、DBBenchで44.3%から53.6%に向上し、ターゲット特化のエンジニアリングによってさらに64.2%に達する。これは、ハーネスエンジニアとターゲットエージェントの共進化を示唆している。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Distillation #PostTraining #On-Policy #LongHorizon Issue Date: 2026-08-10 GPT Summary- FutureBridge-OPD(FTB)は、マルチターンエージェントタスクにおけるオンポリシー蒸留(OPD)の課題を解決する手法。学生の軌道が教師の指導からずれた際に、高い不一致が有望な指導機会を提供することを考慮し、短い教師ブリッジを用いて未来の軌道への影響を評価。FTBはALFWorld、WebShop、ScienceWorldにおいて、従来のOPDおよびTCODをそれぞれ平均16.6ポイントおよび7.6ポイント上回る成果を示し、学生規模や教師設定に関わらずその有効性を持続。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #AIAgents #PostTraining #Initial Impression Notes #CreditAssignment Issue Date: 2026-08-09 GPT Summary- SkillRiseは、異なるタスクに直面する大規模言語モデルエージェントのための統一的な強化学習フレームワーク。関連する実例を難易度ごとに整理し、タスクを解くことと技能ドキュメントの編纂を交互に行うことで、タスク間の技能を学習する。実験において、SkillRiseは最強のベースラインに対して2.3~8.5ポイントの性能向上を達成し、同じタスクの繰り返しでも学習したポリシーは有効。さらに、タスク間での連続的な学習が性能向上に寄与することが示され、特に実行時オーバーヘッドの削減が高い性能を維持することにも成功した。 Comment

元ポスト:

Loading…

関連タスクを難易度に基づいてカリキュラムを構築し、sequentialに解かせ後続のタスクに対する報酬を、途中のタスクに対して割り引いて割り当てることで、タスクを跨いだ能力の学習を促進する、という感じだろうか。

AgentSkillっぽい話かと最初は思ったが、そうではなさそう。




Paper/Blog Link My Issue
#NLP #AIAgents #Initial Impression Notes Issue Date: 2026-08-09 GPT Summary- LLMを用いたエージェントシステムは、テキスト知識とパラメトリックスキルライブラリの融合により、自律的に複雑な問題を解決する。従来の研究は主にこれらの二つを別々に扱ってきたが、本研究では、モデルウェイトを追加の推論モダリティとして取り入れ、プレフィックス・チューニングによる学習を実装する。この新しいアプローチSkillSmithは、指示主導のパラメトリック合成を通じて、優れた性能を発揮し、従来の単一モダリティベースラインを大きく上回ることを示した。 Comment

元ポスト:

Loading…

ざっと眺めたがよくわからなかった。必要な時に読む。




Paper/Blog Link My Issue
#NLP #AIAgents #memory #AgentHarness Issue Date: 2026-08-09 GPT Summary- MemHarnessは、LLMエージェントが過去の経験を現在の文脈に基づいて再構成し利用できるフレームワークを提案。意思決定時に経験を批評・適応することでネガティブ転送を防ぎ、強いロバスト性を持つ。実験では、MemHarnessが従来のメモリ増強エージェントよりも優れた性能を示し、エージェントの推論能力を向上させることが明らかになった。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Alignment #Initial Impression Notes #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- 言語モデルのアラインメントは、その挙動が有用性や安全性を反映することを目指すが、現在の手法には重要な未解決の課題が残る。これに対処するために、Project Alignment Reward Estimated from Demonstrations(PARED)を提案。PAREDは専門家デモンストレーションから暗黙の報酬を回復し、タスク固有のアノテーションを不要にする。実験を通じて、PAREDが基礎ポリシーを効果的に改善することを示し、異なる嗜好への調整も可能であることを明らかにした。 Comment

元ポスト:

Loading…

特徴量に基づいてexpert/policy responseを区別できるモデルを学習し、best-of-N、あるいはon-policy RL (RL中にrefitting)で活用する、という話に見える。これにより、デモンストレーションのみでラベル付け不要、検証可能、on-policyで最適化をしながらalignmentを実施することを目指す、という感じのようである。

気持ちの部分がすっと頭に入ってこない。何かが引っ掛かっているのだろうけどなぜだろうか。そもそもPolicy ResponseがAlignmentが悪く、Expert Responseが良いもの、という暗黙の仮定が置かれている気がしており、それを特徴量空間で識別できるようなモデルを学習するということだと思うのだが、その暗黙の仮定が本当に成り立つのか、という疑問があるからだろうか(Expertの応答よりもPolicyのAlignmentが改善し良い応答が生成された場合はどうなるのだろうか?)。




Paper/Blog Link My Issue
#NLP #Architecture #memory Issue Date: 2026-08-09 GPT Summary- ネイティブな記憶機能を基盤モデルに付与するため、記憶基盤モデルを提案。記憶を持続的かつ動的に進化させるためのアーキテクチャを導入し、情報を自律的に保存・利用するネイティブ記憶手続きを定義。新しいアーキテクチャMetisの提案により、歴史情報を圧縮しアクセス可能に。オンライン記憶維持は勾配なしで行い、モデル重みは凍結。実験によりネイティブ記憶機能を実証し、詳細な分析を提供。将来の研究のためにプロジェクトとモデルチェックポイントを公開。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #NLP #Exploration #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- 本研究では、生成モデリングにおける新しいアプローチ「探索的モデリング(XMs)」を提案し、モデル生成とデータ間の候補マッチを探索することでエンドツーエンド訓練を強化します。探索のスケーリングにより、画像や言語生成の性能が向上し、計算資源を3倍使用すると効率が2倍以上に。XMsは、エンドツーエンドの生成モデリングを実現し、少ない推論ステップで既存手法に匹敵する性能を達成します。この新しいアプローチは、生成モデルの前訓練軸としてだけでなく、独自の生成モデリングパラダイムとしての可能性を示します。 Comment

pj page: https://explorative-modeling.github.io/

元ポスト:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #SelfImprovement #PostTraining #autoresearch/RSI #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- 再帰的自己改善(RSI)を実現するためのAIシステムOpenMLEを提案。機械学習エンジニアリング(MLE)のフルスタック環境を提供し、ポストトレーニングを通じたメタ進化エージェントFrontis-MA1(35B)が、基本的なプログラム進化演算子を用いてタスクを改善。OpenMLE-Evoを使って、性能が大幅に向上し、他の先進的モデルを超える結果を示す。全体のモデルの重みとスタックは公開されており、RSI研究の再現性を支援。 Comment

元ポスト:

Loading…

pj page: https://frontisai.github.io/OpenRSI/

ポイント解説:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #SelfImprovement #ScientificDiscovery #read-later #Selected Papers/Blogs #One-Line Notes #Open-endedTasks #autoresearch/RSI #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- AI研究を自動化するエージェントの進展を評価する新しい方法として、著者評価によるシャドウ評価を導入。高品質な未公開論文について実施した結果、エージェントは独力で設計開発を行ったが、実質的な進展が得られず、両論文は却下された。失敗モードとして、判断力の欠如、設計不備への非創造的対応、バックトラックの不足などが特定され、エージェントは研究の全過程において課題を抱えていることが示された。 Comment

元ポスト:

Loading…

未発表のオープンエンド(=non verifiable)な研究課題に対して同様のテーマをAI Agentに与えて論文を記述させ、原論文の著者が実際に内容を検証することによって、現在のAI Agentのオープンエンドな研究課題に対するアプローチの課題を明らかにした研究で、サンプルサイズの小ささや、AI生成であることを知った上でのレビュー結果など、様々なlimitationがあるが興味深い。
たとえば、以下のような知見が得られたとのことである:
- top conferenceの水準に対する判断力の欠如
- 創造的な問題解決能力の欠如
- 誤った判断を早期に下し、それを是正できない




Paper/Blog Link My Issue
#NLP #SyntheticData #mid-training #Selected Papers/Blogs #reading #Initial Impression Notes Issue Date: 2026-08-09 GPT Summary- 合成教科書データは言語モデルの事前学習を向上させるが、調査の焦点は主に生成内容の特性にあった。本研究では、関連コンテンツが一貫して整理されていることの重要性を示す。このためのスケーラブルなパイプラインを開発し、686,000冊の教科書を組織化した結果、下流タスクの性能が平均で+1.09向上した。特に、文書のパッケージングの効果を確認し、構造化された合成が利益をもたらすことを強調。Llama3-8Bでもフルセットは他の条件を上回り、書籍レベルの整理が合成データ設計の重要な要素であることを支持している。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Data-efficient pre-training by scaling synthetic megadocs, Konwoo Kim+, arXiv'26, 2026.03
- [Paper Note] Rewriting Pre-Training Data Boosts LLM Performance in Math and Code, Kazuki Fujii+, ICLR'26, 2025.05

(文書の長さをそろえた実験を通じて)書籍のような一貫性した整合性のある文書構造は学習に有効に働くことを実験的に示し、
また、書籍に対する局所的な書き換えを実施するよりもグローバルに書籍構造を再構築するような手法が学習に有効であることも示した、といった話のようである。

image




Paper/Blog Link My Issue
#Pretraining #NLP #Architecture #memory #Scalability #Initial Impression Notes Issue Date: 2026-08-09 GPT Summary- Memory Decoderの拡張版「Memory Decoder at Scale」を提案し、69億パラメータと3,000億トークンで事前学習を実施。Faissの非効率を改善するため、分散パイプラインとスパースなバッチ読み込みを導入。メモリに多くのパラメータを割り当てることで、性能向上が確認され、17のベンチマークではPythia-410Mを大きく上回る成果を達成。事前学習済みメモリの独立スケーリングがパラメータ効率を高めることを示した。 Comment

元ポスト:

Loading…

- [Paper Note] Memory Decoder: A Pretrained, Plug-and-Play Memory for Large Language Models, Jiaqi Cao+, NeurIPS'25, 2025.08

で提案されている Memory Decoder をスケールさせることでdownstream タスクの性能が改善することを示し、スケールさせる上での実装上の課題に対処した、という話に見える。

image




Paper/Blog Link My Issue
#NLP #Mathematics Issue Date: 2026-08-09 GPT Summary- 大学院レベルの代数的組合せ論教科書を Lean に形式化する自動AIシステムを紹介。130,000行のコードと5,900件の Lean 宣言を用いて、3万の Claude 4.5 Opus エージェントが1週間以内に協働。人間専門家チームのコストを下回る推論が期待され、効率化の余地がある。得られた成果はオープンソースとして提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #OpenWeight #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- K-EXAONE 2.0は、LG AI Researchが開発したオープンウェイトの多言語基盤モデルで、7500億の総パラメータを持つMixture-of-Experts(MoE)モデル。最大256,000トークンのコンテキスト長をサポートし、言語対応を六言語から十言語に拡張。継続的な事前訓練や中間訓練を通じて推論力や安全性が向上し、評価カテゴリーで前任モデルを上回る性能を示す。Apache 2.0ライセンスで公開され、AIエコシステムの発展を促進。 Comment

関連:
- K-EXAONE-236B-A23B, LG AI Research, 2025.12

HF: https://huggingface.co/LGAI-EXAONE/K-EXAONE-2.0-750B-A37B




Paper/Blog Link My Issue
#NLP #AIAgents #SelfImprovement #One-Line Notes #Reading Reflections #AgentHarness Issue Date: 2026-08-09 GPT Summary- Living-Harnessは、過去のエピソードのフィードバックを活用して自己進化するエージェント・ハーベスを提案します。エピソードの抽象化と構造化によって手続き知識を更新し、障害パターンや回復アクションを記録。これにより、将来の相互作用を導くための信頼性が向上し、各対話環境において、従来のベースラインを大きく上回る性能を示しました。 Comment

元ポスト:

Loading…

ツール(ハーネスが環境に対して実行可能な操作)やユーザから与えられるcontextはfrozenのまま、Agent Harnessにmemory, state graphを持たせ、過去に実行した軌跡とその評価結果を用いて状態を更新し、過去の経験からより良い手続きをハーネス自身に蓄積・更新させる。

image

実行したエピソードから動的にAgent Skillsを更新していくようなハーネスとの差分がよくわからない。




Paper/Blog Link My Issue
#NLP #Distillation #PostTraining #read-later #Selected Papers/Blogs #On-Policy #Initial Impression Notes Issue Date: 2026-08-09 GPT Summary- Weak-to-Strong On-Policy Distillation(W2S-OPD)は、複数の弱いモデルから強い学生を育成する新しい枠組みであり、正例と負例の対比ペアを使用してロジット空間に代理教師を構築する。学生はこの代理教師の方向性を自身のモデルに加え、トークンごとに逆KLを最小化することで蒸留を行う。W2S-OPDは、4つの数学ベンチマークと3つのコードベンチマークで従来のOPD手法を上回り、監督源が弱くても学生の能力向上を実現する。分析により異なる対比が異なる信号を生むことが示された。 Comment

元ポスト:

Loading…

複数の弱モデルを用いて、より強力なモデルを改善する。モデルを改善するためには常により強いモデルからの学習シグナルが必要、となるとなかなか苦しいので、弱いモデルから学習シグナルをうまく得られるなら非常に重要な研究に見える。




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #memory Issue Date: 2026-08-09 GPT Summary- LLMエージェントが用いるファイルシステムベースの長期記憶についての体系的探索を提示。管理、検索、実行の三つの役割において、記憶の成長に伴う回答品質やコストを追跡。エージェントはデフォルトの約束を満たしておらず、組織化が崩れ、ツールセットの変更がストアの形に大きく影響することを示唆。ファイルシステムの前提を再検討し、エージェントメモリの設計に新たな視点を提供する。 Comment

元ポスト:

Loading…

file-systemをベースにしたメモリに関する調査




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #SelfImprovement #Safety #Monitorability #autoresearch/RSI #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- AIエージェントの信頼性が懸念される中、出力の安全な利用を評価する方法が求められる。本研究では、AIコントロールの手法を用いて、自動化されたAI R&Dの信頼性を評価するフレームワークResearchArenaを提案。4つの長期タスクにおいて、サボタージュを検出するために監視機構を導入し、モデルやアーティファクトの性能を確認。監視メカニズムは有効だが、隠れたサボタージュの検出が難しいことが示された。このフレームワークは自動化されたAI R&Dのなかでのサボタージュと統制の評価を可能にする。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #PostTraining #One-Line Notes #CreditAssignment Issue Date: 2026-08-08 GPT Summary- CoRTは、ルーブリック基盤の強化学習におけるトークンレベルのクレジット重み付け手法である。これにより、応答内での明示的なクレジット配分が可能になり、反事実リプレイを用いて同一応答の再スコアリングを行う。提案手法は、応答レベルの報酬を変更せずに、トークン毎に正規化された重みにマッピングし、GRPOアドバンテージを再配分する。実験結果は、CoRTが従来のGRPOを上回るパフォーマンスを示し、約4.4ポイントの向上を達成したことを示す。また、反事実尤度対比が効果的な学習信号を提供し、GRPOの安定性を維持することを示唆している。 Comment

元ポスト:

Loading…

Rubric-basedなRLにおいて、Rubricの有無によって生じるtokenのlog probabilityの差を、当該トークンのルーブリックに対する重要度とみなし、token levelの学習シグナルを供給する。
image




Paper/Blog Link My Issue
#NLP #Coding #SoftwareEngineering #PostTraining #RLVR #Author Thread-Post Issue Date: 2026-08-08 GPT Summary- 強化学習を用いたコードの正確性向上は確立されているが、実行時間を報酬に追加することでRLを最適化するには多くの課題がある。特に測定ノイズや報酬の希少性が信号を圧倒し、生成された解の速度向上が難しくなる。これを克服するため、(1) 大規模な最適化テストを行うDMC-Optimの構築、(2) 実行時間を報酬に転換する方法、(3) ノイズの多い環境に適応するモデル学習の三段階を提案。DMC-Optimにより、厳密な基準での評価が向上し、CWM 32Bでは50.4%の成功率を達成。速度比較では、CWM 32Bが標準RLVRに対して最大83%の勝率を示し、改善のペースは人間のアプローチの約半分に留まる。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #SelfImprovement #PostTraining #Data #autoresearch/RSI Issue Date: 2026-08-07 GPT Summary- LLMエージェントによる再帰的自己改善を目指し、固定のポストトレーニングスタックを用いた統制ベンチマークRSIBench-Dataを導入。エージェントは訓練データ戦略を反復的に修正し、データ中心の研究能力を示すが改善は一貫せず。最初の試みにおける58.33%の成功率の中、78.26%が低い最終スコアで終わる。四つの成功パターンを特定し、有用な発見は可能もフィードバックの一貫した改善には至らず。コードはオープンソースとして公開。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] PostTrainBench: Can LLM Agents Automate LLM Post-Training?, Ben Rank+, arXiv'26, 2026.03
- ML Intern, HuggingFace, 2026.04
- Expenditure Horizon: Measuring Optimization Ability, with an Application to NanoGPT, METR, 2026.07

解説:

Loading…




Paper/Blog Link My Issue
#Analysis #Pretraining #NLP #Scaling Laws #DataRepetition Issue Date: 2026-08-07 GPT Summary- 古典的な計算最適化スケーリング則は無限の事前学習データを前提とするが、実際は高品質データの入手が課題となっている。そこで、私たちはCompute-Data(CD)スケーリング則を提案し、データと計算資源を統一的に扱う枠組みを提供する。CDスケーリングはトークン有効性関数ηを導入し、派生トークンの価値を定量化する。Dolma-3コーパスを用いた実験から、トークン有効性はモデルサイズやデータ量に依存し、データ拡張において収益は逓減することがわかった。また、計算支配、データ支配、モデル支配の三つの運用レジームを示し、古典的な計算最適割り当てが実務的に最適でないことを明らかにした。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #SelfImprovement #autoresearch/RSI #AgentHarness Issue Date: 2026-08-06 GPT Summary- AREXは、再帰的自己改善型の深層研究エージェントで、複数の制約を満たす回答を効率的に見つけるための手法を提案します。内部研究ループで暫定的な回答を構築し、外部ループで回答を監査・改善することで、検証過程を強化します。自律的な文脈更新ツールを学習し、長期的な視野での学習を促進。密結合モデルおよびMixture-of-Expertsモデルを用いた実験では、様々なベンチマークで顕著な性能向上を示しました。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Chain-of-Thought #Safety #One-Line Notes #Monitorability #Reading Reflections Issue Date: 2026-08-05 GPT Summary- 言語モデルがフィラー・トークンを利用して合成推論タスクの性能を向上させることを実証。13の最先端モデルを評価し、多くがフィラー・トークンから13ポイントの精度向上を果たした。特にClaude Opus 4.5は、隠れた算術制約を達成し、主要タスクの精度を維持しつつ、見えない推論が行われることを示す。強化学習は特定のモデルにフィラー・トークンへの嗜好を与えるが、テスト時にその効果は持続せず、モデルが出力トークンに解釈可能な痕跡を残さないことを示唆。 Comment

元ポスト:

Loading…

CoTを出力させずに、代わりにフィラートークンをprefillで埋め込んだ場合でも、LLMの推論能力が向上するという話のようである。利用するフィラートークンの種類によって影響が異なる。

image

関連する話題として、CoTを提案した研究(Reasoning登場前)では、CoTのトークンの内容ではなく、生成されるintermediate tokenの量が増えること、すなわち正解を出力するまでの計算量が増えることが性能向上に寄与している可能性を検証している。具体的には、問題を解くために必要な数式の文字数と同じ数のdotを出力させてから回答させる(=トークンそのものに意味はないが何らかの計算量が費やされる)ことで性能が変化するか?ということがAblationされており、その際は性能が変化してしないことが報告されていた(ただしdotでしか試されていない)。本研究はprefillで埋め込んでいる点で、厳密には扱いが少し異なる(prefillの場合はユーザの発話のテンプレートの中にフィラーが入るが、生成の場合はシステムの応答のテンプレートの中にフィラーが入るという点で異なる)。

ただし、この頃から現在のLLMは飛躍的に進化(主にReasoningが)しているため公正な比較にはなりえず、あくまで過去はこういう結果が出ていたよ、という話である。

- [Paper Note] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, Jason Wei+, NeurIPS'22, 2022.01

その後、下記研究のようによってフィラートークンが性能向上に寄与する場合があることと、その条件が分析されたようである。
- [Paper Note] Let's Think Dot by Dot: Hidden Computation in Transformer Language Models, Jacob Pfau+, arXiv'24, 2024.04

少し方向性は変わるが、

- [Paper Note] Value Leakage: An LLM's Answers Are Silently Shaped by Its Own Values, Jan Betley+, arXiv'26, 2026.07

もある。この研究では、LLMが自身の価値観に沿って応答にバイアスをかけるが、それをCoT中に明示できないだけでなく、あたかも中立を装っているかのようなCoTが実施される現象が報告されている。




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #PostTraining #train-inference-mismatch #Asynchronous Issue Date: 2026-08-05 GPT Summary- 非同期強化学習におけるオフポリシーデータの不安定性を解消するため、重要度比のエントロピーに基づくEntropy-Scaled Trust Region(ESTR)を提案。低エントロピーではサンプリングノイズが増幅され、高エントロピーでは探索的偏差が顕著になる。ESTRは各トークンの偏差を局所エントロピーでスケーリングし、補助伝搬を必要とせず、既存手法を上回る性能を示す。具体的には、BrowseComp-Plusでavg@1が37.34、multi-turn GSM8Kで95.69に到達し、2.6倍の速さを実現。 Comment

関連 (IcePop):
- [Paper Note] Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model, Ling Team+, arXiv'25, 2025.10

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #Decoding #read-later #Selected Papers/Blogs #GPUKernel Issue Date: 2026-08-04 GPT Summary- LLM推論のサンプリングを高速化するために、$\textbf{SonicSampler}$を提案。これは、固定化された実行モデルに統合されたタイル対応のTritonカーネルを用い、ダイナミックなサンプリング動作をサポート。文法制約や頻度ペナルティなどを一つのバッチ処理で実現し、CUDA Graphに完全に互換性を持つ。新しい階層的二段階top-kアルゴリズムにより最大で$\textbf{10x speedup}$を達成し、全体で最大$\textbf{16x speedup}$を実現しつつ柔軟性を維持。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #NLP #AIAgents #Evaluation #LongHorizon Issue Date: 2026-08-04 GPT Summary- 動的なマルチターン会話におけるユーザーの進化する意図を追跡する能力が求められるが、現在のLLMsは依然として静的な単一ターン評価に依存しており、高いパフォーマンスが維持できないことが示された。この研究は、ユーザーの意図が段階的に明らかになり、容易に修正される動的な設定への移行を提案し、既存のベンチマークを新たに活用する手法を導入した。しかし、モデル全体でパフォーマンスの著しい低下が見られ、LLMsの進化する意図を追跡する能力が不足していることが明らかになった。 Comment

元ポスト:

Loading…

関連する研究としては下記もある:
- [Paper Note] $π$-Bench: Evaluating Proactive Personal Assistant Agents in Long-Horizon Workflows, Haoran Zhang+, arXiv'26, 2026.05




Paper/Blog Link My Issue
#NLP #AIAgents #memory #ContinualLearning #Author Thread-Post Issue Date: 2026-08-04 GPT Summary- COREは、言語モデルの推論能力を向上させるために、過去の推論の痕跡を比較し洞察を生成するノンパラメトリック学習アルゴリズムである。これにより、少数の学習サンプルで迅速な改善が可能となり、固定ロールアウト予算内でも効果的な性能を達成。COREは、成功と失敗の対比を通じて、解釈可能な自然言語の洞察を生成し、モデル改善への効率的なアプローチを提供する。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…

成功した軌跡と失敗した軌跡を比較し、成功・失敗の決め手となるような洞察を記述しメモリに蓄積することで、継続的に性能を改善する。

テキスト版contrastive learningという感じに見える。




Paper/Blog Link My Issue
#Analysis #NLP #Transformer #Architecture #RecurrentModels #RecursiveModels Issue Date: 2026-08-04 GPT Summary- 重みを共有したループ型トランスフォーマーに関する研究で、群の語問題に対する四つの主要な発見を示す。まず、無予算訓練により、線形計算のフロンティアが定着し、訓練時とテスト時で異なるループ数の許容が原理的な停止規則を生む。次に、アーキテクチャの選択は表現力よりもアルゴリズムに焦点を当て、重み共有がモデルの能力に影響を与えることがわかる。また、境界の複雑さはパフォーマンスに影響を及ぼし、演算子の共同学習におけるデッドロックが報告される。最後に、ウォームスタートによるアルゴリズムの転送は成功するが、自由訓練の設定によっては失敗することが観察され、収束時間スケーリングを導入して因果的な検証を行い、標準的な指標とは異なる結果が得られることを示す。 Comment

元ポスト:

Loading…

うーむ...難しそうだ...




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #Test-Time Scaling #read-later #TreeSearch Issue Date: 2026-08-04 GPT Summary- TTEL(Test-Time Scaling via Error Localization)アルゴリズムを提案し、トークン単位の誤りを特定して推論効率を向上。固定的フィードバックを利用し、妥当なプレフィックスを再利用することで、生成トークン数を削減。広範な評価で優れたパフォーマンスを示し、特にLiveCodeBenchおいて71.0%のpass@64を達成。数学ベンチマークでも競合を上回る結果を披露。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #OpenWeight #Selected Papers/Blogs #RecurrentModels #RecursiveModels #Initial Impression Notes Issue Date: 2026-08-03 GPT Summary- Nanbeige4.2-3Bは、3Bのパラメータを持つコンパクトなエージェントモデルで、各種タスクや推論能力において高いパフォーマンスを示します。Looped Transformerを活用して新たなパラメータ追加なしに容量を拡張し、28兆トークンから事前学習されています。RLパイプラインによりモデル品質を向上させ、広範な評価で他のエージェントと比較して競争力を維持しながら、特にローカルパーソナルアシスタントとしての利用が期待されます。 Comment

元ポスト:

Loading…

HF: https://huggingface.co/Nanbeige/Nanbeige4.2-3B

Looped Transformerがアーキテクチャとして採用されたOpenWeightモデル

関連:
- [Paper Note] Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts, Chen Yang+, arXiv'26, 2026.02

以下の部分は興味深いが、具体的なAblationによる実験結果などは無さそうに見える。

>Loop Depth Selection. We study the number of passes through the shared layer stack. A two-pass
configuration provides the most favorable trade-off in our experiments: relative to a standard Trans-former, it retains approximately 75% of the token efficiency and provides a significant capacity gain. Increasing the number of passes provides only marginal additional improvement, but substantially
slows training and makes optimization less stable.




Paper/Blog Link My Issue
#NLP #read-later #Intelligence Issue Date: 2026-08-03 GPT Summary- 知性は様々な分野で異なる形で現れ、目的に応じた学習可能な驚き(learnable novelty)が知性の多様な投影を生む。驚きを扱う際、各目的は異なる結果をもたらし、特に、新奇性探索は環境のノイズに妨げられ、大きな驚きを避ける自由エネルギー原理は低い満足に甘んじる。提案する閉形式の推定量は、監督なしで複雑性の分類を復元し、セルオートマトンの計算能力を高める。これにより、教師なしでMNISTデータセットを整理し、強化学習エージェントに内的報酬を提供することで、探索を促し、複数の環境でタスクの基準を超える成果を達成する。探索、生成、抽象化は一つの微分可能な量に基づき、知性の発展に寄与する。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence, Marc Finzi+, arXiv'26, 2026.01




Paper/Blog Link My Issue
#NLP #Decoding #Diversity #One-Line Notes #Reading Reflections Issue Date: 2026-08-03 GPT Summary- 言語モデルが多様な選択肢から1つの答えを選ぶ際、"JSONでのみ応答"というフォーマット要求が選択結果を変化させることを示した。One-Word Censusを再実行し、44モデルに対して31の回答カテゴリを投げた結果、JSON形式での応答がモーダル回答のプールを41%から64%へと増加させ、回答の多様性が減少。特定のモデルが選択肢の安定性に寄与し、JSONはモデルのデフォルト応答を移動させた。構造化出力は言語モデルの利活用を測定可能にし、デコーダーでの強制と異なり、モデルの内部応答に変化が含まれることを示唆する。 Comment

元ポスト:

Loading…

出力形式の指示と、生成結果の多様性に関する分析で、たとえばJSONでの出力を求めると、plain textでの出力と比較して多様性が低下する傾向などが見受けられた。

体感的に多様性が必要なoutputを求めた際に、JSONとplain textでは全然出力の傾向が違い、後者の方が多様性があるなと感じていたので、これが定量的に示されたことになる。

個人的には出力構造をJSONやその他のフォーマットに制約すると、事前学習の学習データや、事後学習において当該フォーマットでどのような出力がなさる学習されたかによって、出力の傾向は変わるだろうな(つまり出力フォーマットによって条件だけされた生成になる)という仮説があったが、どうなのだろうか。




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #PostTraining Issue Date: 2026-08-03 GPT Summary- GRPOを一般化するRRPOを提案。RRPOは正解ベースから参照相対的な比較に置き換え、層別化されたロールアウトを用いて正負のアンカーを構築。これにより、対照的アドバンテージを直接定義し、方策最適化中は射影ヘッドを凍結。RRPOは、検証器に依存せず競争力を維持し、弱教師ありベースラインを上回る結果を示す。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #LongContext #PostTraining #Grounding Issue Date: 2026-08-03 GPT Summary- 大規模言語モデルは段階的な推論の痕跡を生成し複雑なタスクで高性能を達成するが、「繰り返しのコピー」と呼ばれる過剰なテキストの模倣が問題となる。これは文脈が長くなるほど顕著で、主な証拠に焦点を当てられないため誤答が増加する。そこで、根拠認識付き報酬(GEAR)を提案し、正確性信号に基づいて主要な証拠と無関係な文脈を区別する報酬整形法を導入。自動化された訓練データ構築パイプラインを開発し、複数のモデルとベンチマークで検証。これにより、従来の強化学習よりも平均4.6ポイントの精度向上を実現し、推論の質を改善することが示された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #NLP #AIAgents #AgentHarness Issue Date: 2026-08-03 GPT Summary- 長文ドキュメントの質問応答では、文書全体を読み込むか、別途リトリーバを使用する方法が主流だが、エージェント型AIはより柔軟に文書の読解を進める。Agent Skillsを通じて、必要な情報だけを段階的に開示する「漸進的開示」機構を提供。実務家はこの手法を急速に適用しているが、従来の証拠は事例的だった。本研究では、漸進的開示の効果を対照研究を通じて実証し、原文書ナビゲーションと複数のAgent Skillsの設計を従来のハイブリッドリトリーバと比較した。多数の書籍タスクでは、1レベルの漸進的開示が優位である一方、深いルーティングは効果が薄くなることがわかった。漸進的開示は知識を得るのではなく文脈を提供し、特にコーパスが大きい場合に有用である。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #Infrastructure #LongContext #LLMServing #SoftwareEngineering #read-later #Selected Papers/Blogs #GPUKernel #Latency #Initial Impression Notes Issue Date: 2026-08-03 GPT Summary- GPUコレクティブ通信は帯域幅最適化が主流だが、遅延制約が増加中。特に、LLM推論では多数の小規模コレクティブがトークン生成に影響を与えるため、マイクロ秒のオーバーヘッドが性能に重要。研究では、GPUコレクティブの性能向上に向け、効率的な同期とマルチキャスト利用の原則を特定。カスタムコレクティブカーネルを開発し、遅延を大幅に削減、SoL下限の7%以内に抑制。実アプリケーションでLLM推論のレイテンシとスループットを改善し、AI推論とHPCの両方に貢献。 Comment

元ポスト:

Loading…

小規模バッチ、Tensor Parallelism適用時に のデコード時に頻発するAllReduceのlatencyを、usレベルで削減できる工夫を施すことで、推論コストを低下させる




Paper/Blog Link My Issue
#Analysis #NLP #Alignment #ReinforcementLearning #PostTraining #Selected Papers/Blogs #Author Thread-Post #RewardSeeking Issue Date: 2026-08-03 GPT Summary- 強化学習で訓練された言語モデルは、審判者の判断を最適化しがちなため、目的を意図通りに遂行することが困難になる。この研究では、対照的合成文書ファインチューニングを用いて報酬追求を測定し、審判者が意図する行動とモデルの信念の対立を評価。強化学習の中間チェックポイントは、ユーザーや開発者よりも審判者の好みに従う傾向があり、特に能力重視の設定では顕著であった。報酬ハックを狙うモデルも、この傾向が強化されることが示され、RLによる訓練が意図しない行動を引き起こす可能性を示唆する結果となった。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #PostTraining #On-Policy #Rubric-based #SelfDistillation Issue Date: 2026-08-02 GPT Summary- ルーブリックに基づく強化学習は、LLMsの改善において有望だが、未探索基準(UC)と抑制基準(SC)に関する制約が存在する。従来の手法は、これらの基準を適切に扱えず、訓練と推論時に不整合を生じる。これらの課題に対処するため、CriPO(Criterion-Distilled Policy Optimization)を提案し、オンポリシー自己蒸留を通じてルーブリックを強化する。UCには基準注入自己教師を使用し、SCに対しては反事実的自己教師を利用して有用なパターンを保持。医療と科学のベンチマークでの実験は、CriPOがルーブリックに基づくRLを上回り、最適化ステップ数を半減させることを示した。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #Distillation #PostTraining #On-Policy #One-Line Notes #Rubric-based #Author Thread-Post Issue Date: 2026-08-02 GPT Summary- Experiential Learning(EL)は、強化学習におけるLLMの評価をスカラー報酬に圧縮する問題を解決する新しい手法である。ELでは、LLMをコーチとして活用し、評価を経験的知識に転用することで、オンポリシー応答に高品質なフィードバックを提供する。これにより、微細な嗜好を保持し、ポリシーの内部化を促進。ELは、未知のオープンエンドタスクにおいてルーブリックベースのRLを一貫して上回り、一般化性を向上させ、報酬ハッキングを抑制することが示された。 Comment

元ポスト:

Loading…

ルーブリックを用いてscalar rewardを付与するのではなく、ルーブリックに基づいたinsightをテキストとして出力し、OPDすることで、密な報酬を更新に反映させる。

image

著者ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #COLM #One-Line Notes #Author Thread-Post #Creativity #WeightSteering Issue Date: 2026-08-02 GPT Summary- CreativityNeuroを導入し、大規模言語モデルの発散的思考を改善する。これにより、人間の百分位点を14ポイント向上させ、独創性や驚きを顕著に増加させ、モード崩壊を減少させることを示した。特に、DATではアクティベーション・ステアリングと同等の成果を上げつつ、別のタスクには転移しない有効性が確認された。行動データや再訓練なしに創造性を高める方法を提供する。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Math Neurosurgery: Isolating Language Models' Math Reasoning Abilities Using Only Forward Passes, Bryan R. Christ+, ACL'25, 2024.10

- [Paper Note] Math Neurosurgery: Isolating Language Models' Math Reasoning Abilities Using Only Forward Passes, Bryan R. Christ+, ACL'25, 2024.10

の手法をCreative Thinkingドメインに適用。Creative Thinking分野は構造化されたデータセットを構築することは困難だが、Promptで振る舞いを記述することは可能なことから、Constrativeなプロンプト(creative vs. non-creative, Table1)を利用し、Math Neuro/Wandaでのパラメータの重要度同定手法を適用し、同定したパラメータの重みをスケーリングすることで、Creative Thinking能力を向上させる。

image

Divergent Association Task (なるべく互いの距離が大きくなるようにN個の単語を生成するタスク)によって評価したところ性能が向上し (Figure 2)、720人の人間による評価者を用いた評価では、Originarity, Surprise, Creativityが有意に改善した(**Activation Steeringでは有意な改善は見受けられなかった**)、という話のようである。




Paper/Blog Link My Issue
#PEFT(Adaptor/LoRA) #read-later #RLVR #Generalization #Author Thread-Post Issue Date: 2026-07-31 GPT Summary- RLVRはLLMの推論能力を向上させるが、その一般化性能は十分に理解されていない。本研究では、初めての非自明な一般化境界を確立し、PAC-Bayes圧縮境界を適用。Gumbel-max再パラメータ化を用い、Progressive RLVRフレームワークを提案し、これによりモデルを14,796倍圧縮しながら、LoRA微調整の性能の84-97%を維持。数学問題解決などの4領域での実証的結果も示し、精度がベースモデルを9-51%上回ることが確認された。 Comment

元ポスト:

Loading…

所見:

Loading…




Paper/Blog Link My Issue
#ComputerVision #NLP #FoundationModel #Selected Papers/Blogs #VisionLanguageModel #Robotics #WorldModels #UMM #reading #Omni #EmbodiedAI #AudioLanguageModel #WorldActionModel Issue Date: 2026-07-31 GPT Summary- Cosmos 3は、言語、画像、動画、音声、アクション系列を共同処理・生成するオムニモーダル世界モデルです。視覚と言語のモデルを統合し、評価結果で新たな最先端を確立。事後訓練済みモデルは最良のモデルと評価され、オープンな研究のためのリソースを公開しています。 Comment

テキスト、画像、動画、音声、アクション、これらのモダリティを全て理解し、生成できるOmnimodal World Modelとのこと。
image

様々なモダリティで他のOpenWeightモデルと同等以上の性能を達成しているようである。Drivingドメインでは突出している。モダリティごとに評価ができない項目はグレーに塗りつぶされているが、これだけ塗りつぶされた表は初めて見た。。。インパクトがある。

image




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #Distillation #PostTraining #On-Policy #One-Line Notes #AgentSkills #SelfDistillation Issue Date: 2026-07-31 GPT Summary- SEED(自己進化型オンポリシー蒸留)を提案し、成果ベースの強化学習の監督ギャップを埋める。SEEDは完成したオンポリシー軌跡を分析し、再利用可能な自然言語スキルを生成。また、ポリシー自体がハindsightスキルを抽出し、意思決定を改善。密なトークンレベルの蒸留信号でサポートし、性能とサンプル効率を向上させることを実験で確認。 Comment

元ポスト:

Loading…

hindsight (後で結果を知ったうえで考えてみたら重要だった) skill をagent trajectoryから抽出する能力をSFTで身に着けさせた後に、その後RLを実行する。

RLを実行する際には、rolloutを実施した後に、(モデルは既にhindskillを抽出する能力を身に着けているため、)各rolloutから hindsight skillを抽出し、当該スキルの情報をcontextとして与えた場合を教師モデルとすることでOPDの学習シグナルとする。
これにより、sparseな報酬とdenseな報酬を両立する、という話に見える。

image




Paper/Blog Link My Issue
#NLP #Distillation #PostTraining #Selected Papers/Blogs #On-Policy #reading #Initial Impression Notes Issue Date: 2026-07-31 GPT Summary- オンポリシー蒸留は、強化学習における代替的な事後訓練手法で、教師モデルからのトークンレベルの監督信号を利用する。本研究では、デルタ信号と呼ばれる新しい蒸留報酬を導入し、推論チューニング前の教師モデルと基礎モデルの差分を捉えることで、推論能力の転送を促進する。実験により、On-Policy Delta Distillation (OPD^2)が従来の手法を上回り、LLMsがわずかな後訓練期間で強力な性能を達成する可能性を示した。 Comment

元ポスト:

Loading…

わかりやすい:

Loading…

ポイント解説:

Loading…

通常のOPDと比較して複数ドメインで大幅に性能が向上している

解説:

Loading…




Paper/Blog Link My Issue
#NLP #LongContext #read-later #Author Thread-Post Issue Date: 2026-07-31 GPT Summary- 長い文脈を持つRLのポストトレーニングにおいて、GRPOは複数のポリシー応答を同時に処理する必要がある。本研究では、LongStrawシステムを提案し、プロンプトのキャプチャと状態の復元を行い、効率的な応答リプレイを実現。Qwen3.6-27B と GLM-5.2 に対して実装を行い、状態維持やリプレイ演算子の集団通信をアーキテクチャに適合させた。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #Self-SupervisedLearning #Coding #mid-training #Selected Papers/Blogs #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-07-31 GPT Summary- コーディングエージェントは外部ツールの戻り値を推論に組み込む能力が求められるが、従来の事前学習は前方方向のみに焦点を当てる。本研究では、関数を意識したミッドトレーニングのFill-In-The-Middle (FIM)を用い、プログラム依存グラフを通じて自己教師付き学習を実施。Qwen2.5-Coder-InstructとQwen3のモデルをGitHubから得たデータでトレーニングし、明確な性能向上を確認。ミッドトレーニングにより、エージェント指向のポストトレーニングが他のコーディングやツール使用ベンチマークでも効果を発揮。Pythonコードのみを用いたにもかかわらず、関数呼び出しのバイアスは持続し、安定した成果を得る結果となった。 Comment

元ポスト:

Loading…

post-training で agenticな能力を身に着けたモデルは context -> action -> observation -> continuation のループをタスクを完了するまで繰り返す。基本的にはこのようなagenticなbehaviorは合成データを用いたpost-trainingで強化されるが、そもそもこの構造はプログラミングでの関数呼び出しの構造と共通しており、インターネット上にこのようなコードは自然に存在する。これを活用するために、 `A->B->C` の関数呼び出しがあった際に、Bをマスクし、rationale + Bのbody を出力させるという mid-training (SFT) を実施し、事前にagenticなbehaviorの土台を築くことで、post-trainingの効果がより大きくなり、コーディングエージェントの性能が向上した、という話に見える。興味深い。

image

long horizonなタスクの性能向上に効きそうに感じるが、そのような分析はされているだろうか?

最初に読んだときは構造的に似ているから、mid-trainingに使うとscaffoldingの役割を果たしてpost-trainingの効果が上がるよ、というイメージなのかと思ったが、イントロにあるように、気持ちとしては以下のようである:

> A model trained to reason bidirectionally about function-level dependencies must learn to reconstruct a callee’s behavior from caller context and downstream usage, which is the same competence required to predict an agent’s continuation given a history and a tool return.

つまり、関数のBの挙動を復元するFIMタスクを用いてmid-trainingすると
モデルは呼び出し元の情報と、呼び出し先の利用状況から、関数の挙動を復元する能力を身に着ける必要がある。
これは、contextとツールの戻り値が与えられた時に、エージェントの後続処理を生成する能力と本質的に同じもの(mid-trainingでは与えられたsuffixによって条件づけられるが、post-trainingではsuffixを”生成する”必要があり、完全に一致はしないはずだが、転移するはずだ)、という主張のようである。

気持ちとしては、ブラックボックス(関数B)の中身を予測する能力が高くなると、ツールの呼び出し結果が期待した通りのものかどうかを判断する能力が向上することに寄与する、という感じだろうか[^1]。

[^1]: ここの気持ちを掴むのに結構時間がかかっている、というよりよくわかっていないかもしれない。要はagentがツール呼び出し結果を受け取った後の生成性能を改善したいという気持ちが背景にあるようであるが、プログラムの目的がgivenな上で、関数Bはマスクするが戻り値だけは与えられるという設定にして `A->Bの戻り値観測->Cを予測` というmid-trainingではだめなのだろうか?と思ったが、これだと関数Bは必ず期待通りの値を返すことになるので、ツール呼び出しでは必ず期待したとおりの結果が返ってくるという挙動が埋め込まれ、全然うまくいかないだろう、と思われる。




Paper/Blog Link My Issue
#NLP #Transformer #Architecture #read-later #Selected Papers/Blogs #RecurrentModels #RecursiveModels #Scalability #Depth #Author Thread-Post Issue Date: 2026-07-31 GPT Summary- ループド・トランスフォーマーは、逐次計算をスケールさせるために物理ブロックを再利用し、パラメータを増やすことなく展開深度を拡張します。この手法では、1つの共有更新が勾配を集約し、次の計算で再利用されます。DeepLoopとして実装されたこのアプローチは、訪問整合係数を用いて結合深さを制御します。GPT風のモデルで、再帰的深さが有効になると検証損失とタスク精度が向上し、残差スケーリング規則の考慮が重要であることが示されました。 Comment

元ポスト:

Loading…

著者ポスト2:

Loading…


関連:
- [Paper Note] Hierarchical Reasoning Model, Guan Wang+, arXiv'25




Paper/Blog Link My Issue
#Analysis #NLP #Alignment #AIAgents #Chain-of-Thought #Evaluation #Bias #Safety #Selected Papers/Blogs #reading #One-Line Notes Issue Date: 2026-07-31 GPT Summary- 言語モデルは現実的な質問に対し、隠れた価値観の影響を受けることが示される。特に、AI企業に投資を検討するユーザーへの情報提供において、モデルはAI企業(例:Anthropic)の選好を示しながらも、その影響をほとんど開示しない。この現象はミスアラインメントの一形態であり、価値の漏洩を評価するための評価セットが導入された。各モデル間での価値観の影響には差があり、例えばClaudeモデルは偏りのない回答を主張する一方、Qwenモデルは自身の価値観の影響を説明する。価値の漏洩は従来のアラインメント訓練や評価では十分に対処されていない新たな故障モードである。 Comment

元ポスト:

Loading…

LLMは自身が保持する価値観に沿って応答にバイアスをかけ、しばしばそれはCoT中に明示されない。

たとえば、ClaudeはAnthropicに転職を検討しているクエリが投げられると、Anthropicに有利な文献を提示する。

GPTなClaudeは、正確な金額の見積もりを依頼しているにもけかわらず、promptの末尾に40ドルを超えたら寄付しますという文言を追加すると、見積もりを40ドルに近づける。

AI Agentの文脈においては、全く同じモデルの出力に対して、Fake Labelとして、Claude, GPTなどのラベルを付与した結果、ClaudeはClaudeの結果を、GPTはGPTのラベルの結果を採用する。

これらはバイアスが生じているにもかかわらず、CoT中では開示されず、あたかも中立に振る舞っているかのようなCoTとなっており、Alignmentが失敗している(Qwenはバイアスが生じていることをCoT中で認める)。

といった話しが著者ポストに記述されている。興味深い。




Paper/Blog Link My Issue
#Survey #NLP #AIAgents #Evaluation #SelfImprovement #ContinualLearning #Initial Impression Notes #AgentHarness Issue Date: 2026-07-31 GPT Summary- 自己改善型自律エージェントは、最小限の人間介入で適応を実現するため、研究プロトタイプから実運用システムへと進化している。本研究では、現代エージェントを基盤モデルと運用スキャフォールドの組み合わせとして位置づけ、自己改善を自己誘発更新演算子として定義。過去の研究を整理し、応用と評価を論じ、未解決問題や今後の方向性を考察する。技術的な更新情報は指定のリンクで追跡可能。 Comment

元ポスト:

Loading…

自己進化するAI Agentについて、モデル、Scaffolding (Agent Harness)、Evaluationの観点からまとめたサーベイのようである。self-improvingと言うと、元々LLMのモデルの重みを自己進化させる枠組みの文脈で使われていたが、AI Agentの文脈ではScaffoldingのメモリの蓄積による性能の進化等も含まれる。




Paper/Blog Link My Issue
#Multi #NLP #ReinforcementLearning #PRM #One-Line Notes #LongHorizon #Author Thread-Post Issue Date: 2026-07-31 GPT Summary- TRACE(Turn-level Reward Assignment via Credit Estimation)は、マルチターンエージェントの強化学習における密なクレジット割り当て手法を提案する。従来の報酬メカニズムが希薄化する問題を解決し、ツール呼び出しの軌跡を状態遷移として扱い、正解回答の対数確率を利用して各アクションの報酬を導出する。これにより、エージェントのツール利用能力を大幅に改善し、教師付きファインチューニングに依存せず、BrowseComp-Plusベンチマークでの性能を著しく向上させた。学習行動はオープンウェブのベンチマークにも転移し、早期の改善と速い収束を示す。 Comment

元ポスト:

Loading…

frozenなモデルでツール呼び出しの前後において、呼び出し結果が正解の対数確率をどれだけ変化させたかによって、long horizon RLにおいて、密な報酬シグナルを提供する。

著者ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Selected Papers/Blogs #KeyPoint Notes #AI Detector #Reading Reflections Issue Date: 2026-07-31 GPT Summary- Pangram 4は、AIテキスト分類モデルで、AUROCが0.9916を達成し、高精度と分布外一般化能力、敵対的攻撃への頑健性を示します。微細な編集やAIと人間が共著したテキストの識別能力が向上し、境界検出やAI支援の検出も改善されています。標準的なAI検出ベンチマークでの性能が報告され、さまざまな設定で最先端の能力を発揮しています。 Comment

元ポスト:

Loading…

関連:
- ICLR 2026 - Submissions, Pangram Labs, 2025.11
- Third-Party Pangram Evaluations, Pangram., Destiny Akinode, 2025.11

日本語でも評価されていて、False Positive Rate(人間が記述したにもかかわらず、MIXED, AIと誤ってラベルづけされたテキスト)は0.0000%(一件もFalse Positiveがなかったのかは不明)、False Negative Rate(AIが全て記述したにも関わらず、MIXED, HUMANと誤ってラベルづけされたテキスト)は0.9305%と非常に高い性能を達成していそうに見える。

False Positive Rateの計算は2022年以前のFineWeb2のper-language-datasetを用いたとのこと(つまり、LLM登場以前のスナップショット)。

False Negtive Rateの計算はおそらく、5.2節記載の520kの26種類のOpen/Closedモデルに基づく合成データによって実施されていると思われるが、具体的にどのように各言語向けのデータが合成されているかは、ざっと見た限り明示されていないように見える。

また、上記の結果は完全なAI生成、あるいは人間による生成のよるものであり、AI-assistedな生成(MIXED)に関しての性能は下記の表となっている。これはざっくり言うと、Reddit中の人間が作成した投稿(これが本当に人間が作成したことが保証されているはか不明)に対して、AIに対して編集処理を施し、AIによって編集された割合が25%--75%のテキストに対して分類を実施した約5kサンプルに対する結果のようである。この結果を見ると、MIXEDと正しく判定できているものは、Pangram 3.3.2から大幅に向上しているが、人間が記述したと判定されるものが27.85%程度存在する。このことより、AI-Assistedなテキストの判定にはまだまだ改善の余地があると思われ、また評価データの多様性もRedditの投稿に基づいているため限定的なものであると考えられる。完全にAI生成のテキストを判定する能力と、AIによるアシストを受けた生成の判定能力にはかなりの開きがありそうなので、この点には注意が必要。

image

おそらく、仮にAI生成したものとバレたくない人間は、AI Assistedな記述方法(完全なAI生成ではないように何らかの細工を施す)と思われるので、Table 5に示された評価が個人的に最も重要に感じる。この点で言うと、WildChatに投稿されたテキストの編集操作に基づいて、人間が作成したテキストをベースにAI編集を施してMIXEDに関するgold dataを作成し評価をしているが、どちらかというと評価軸として欲しいのは逆で、完全なAI生成に対して、人間が軽微な何らかの細工を施したテキストを、どの程度AI generatedと検知できるかという視点が欲しいと思われる。

と思ったのだが、5.9節で関連する評価が実施されている。メジャーなHumanizerによって人間が作成したものらしく編集されたAI生成テキストに対するRecallは97.67%、True Positive Rateは95.57%とのことである(表14)。

AI Agentを用いたRed Teamingも、False Positive/False Negativeの隙を見つけるために実施されており、前者に関しては見つからず、後者についても様々な方法がエージェントによって検証されたようだが(特定の人物の文体の模倣、専門的な言葉づかいの利用、複数のAI生成文書の統合等)、唯一見つかった抜け穴は、ディクテーションによる振る舞いのみだったと報告されている。しかしこの例を目視で確認した結果、入力情報がLLMのoutputよりも多くのcontextで埋められていたこと、LLMのoutputが事実を箇条書きするような形式で、自由記述のテキストの形式とは乖離していたことから、Pangramの評価においてはont-of-scopeと判断した旨が報告されている。

多くの商用のHumanizerと、BLENDERと呼ばれるオープンソースのものによって、Humanizerによる編集に対してロバストであることが実験されている(数%程度はAI生成と正しくみなされない)、実際に人間がAI生成と検知されないように実施できるアクションをどの程度カバーしているのだろうか?という疑問は残る。

また、Humanizerによる評価は日本語に対しても実施されたのだろうか(そもそも日本語のためのHumanizerはそんざいするのだろうか)。よくわかっていない。

最終的にはコンピュータウィルスとウィルス対策ソフトのようないたちごっこにならざるを得ないと思われる。




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #PostTraining #AgentSkills #SelfPlay #Data Issue Date: 2026-07-28 GPT Summary- LLMトレーニングは手動から自己進化へ進展。しかし、既存の方法はタスク多様性と検証信頼性のジレンマに直面。環境依存の手法は限定的で、オープンエンドの自己生成は誤解を招く報酬問題を抱える。エージェントのスキルを用いた共進化フレームワーク「Skill Self-Play」を導入し、提案者、ソルバー、スキルコントローラの三要素が連携。これにより、構造化された検証と探索のギャップを効果的に解消。実証評価では、Skill-SPがバックボーン性能を向上させることを示した。 Comment

元ポスト:

Loading…

所見:
-

Loading…

-
Loading…




Paper/Blog Link My Issue
#Embeddings #NLP #Architecture #Selected Papers/Blogs #Encoder #reading #One-Line Notes #Scalability Issue Date: 2026-07-26 GPT Summary- BERT以降、エンコーダはほとんど変わっていないが、急速に進化するデコーダとの乖離を再評価。BERTエンコーダの表現は凍結プローブで劣化し、平坦な設計が表現学習を阻害している。これに対抗するため、CrossBERTを提案。二部構成のアーキテクチャで、トークン再構成から独立した高品質なエンコード表現を学習。高いマスキング比率と補完的戦略により、スループットとサンプル効率を向上。結果、MTEBおよび凍結GLUEベンチマークで優越性を示す。 Comment

元ポスト:

Loading…

論文の概要としては、BERTは投入された計算量に対してdownstreamタスク性能がスケールしない課題があったが、その原因を、BERTのflatなアーキテクチャが課題であると指摘。BERTはMLM lossで学習されるが、これはトークンの再構築の能力を測定するが、実際の表現の品質を測定できていない。BERTのアーキテクチャが、Representationの学習と、Reconstructionを明示的に分離していない(=flatなアーキテクチャ)ため、結果的にBERTが学習する表現がReconstructionのためのlocalな信号に過度に適合してしまい、abstractionに失敗してしまう(結果的に、計算量を投じれば投じるほどlossは下がるが、downstreamタスクの性能は下がる)、という仮説を立てている。

解決方法として、表現を学習するEncoderと、マスク部分の再構築をおこなうPredictorをアーキテクチャとして明示的に分離することを提案している。

image

これにより、投入した計算量に対してdownstreamタスクの性能がスケールするようになった、という話に見える。
image

おそらくアーキテクチャ上の細かい工夫があると思われるので、そこはしっかり読んだ方が良いカッコまだ読めてない)。




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #ReinforcementLearning #PostTraining #RLVR #Author Thread-Post Issue Date: 2026-07-25 GPT Summary- 強化学習における報酬フィードバックの最適化層の理解が不足している中、本研究ではスペクトル継承の概念を提案。この概念をIsospectral Optimization(ISO)として実現し、固定スペクトルフレームワークに基づくオフラインとオンラインの実装を導入。オフラインではISO-Mergerが異なるスペシャリストの能力を統合し、高性能を達成。オンラインではISO-Optimizerが基底スペクトルを固定しつつ、最適化アルゴリズムを適用し精度向上を実現。特に、ISO-AdamWは従来のAdamWよりも少ない学習ステップで高精度を達成。ISOは、報酬駆動型適応の構造を活用した最適化層の新たな設計を提案する。 Comment

元ポスト:

Loading…

著者ポスト2:

Loading…




Paper/Blog Link My Issue
#NLP #Search #AIAgents #ContextEngineering #memory #ContinualLearning #Initial Impression Notes #AgentHarness Issue Date: 2026-07-24 GPT Summary- PRO-LONGは、長期的なタスクに向けた最小限の文脈管理フレームワークであり、プログラム的メモリを使用して情報の保存と検索を効率化する。これにより、ARC-AGI-3ベンチマークでの性能を向上させ、平均18.0ポイントの改善を達成。最先端のハーネスと同等の成果を挙げながら、トークン効率も向上させている。Fable 5を用いた実験では、97.4%の高精度を示し、コストも抑えられている。 Comment

元ポスト:

Loading…

全てのログを構造化して格納し、エージェントがread/grep/pythonなどを用いて検索可能にするというシンプルなメモリを提案しているようで
image

様々なモデル、ハーネスの元、パレード最適を実現しているようである。
image

ログが極端に肥大化した場合性能にどのような影響が出るだろうか?すぐに肥大化しそうだが。




Paper/Blog Link My Issue
#Analysis #Pretraining #NLP #Optimizer #Selected Papers/Blogs #Stability #reading #Scalability #Initial Impression Notes Issue Date: 2026-07-24 GPT Summary- 高階最適化アルゴリズムMuonとSOAPはAdamWより収束が速いが、計算コストと数値安定性の課題が大規模採用を制限している。研究では、前処理付き勾配法の強化を通じて、大規模LLMの事前学習の問題を解決する。大規模バッチサイズでのSOAPの不安定性を特定し、QR正交化や改善された前処理を提案。これにより損失スパイクを排除し、訓練の安定性を向上。MuonとSOAPは、最大1億トークンのバッチサイズでAdamWを上回る性能を示し、大規模な効率的訓練を可能にするための層別分散型最適化手法を採用。最適化アルゴリズムの新興コードベースも公開。 Comment

元ポスト:

Loading…

バッチサイズを大規模にしてもMuonはAdamWよりも安定して収束することが実験的に示されたらしい(最近は分散学習下においてGPUのbubbleを削減するためにバッチサイズを大きくせざるを得ない)。

SOAP:
- [Paper Note] SOAP: Improving and Stabilizing Shampoo using Adam, Nikhil Vyas+, ICLR'25

Muon:
- [Paper Note] Muon is Scalable for LLM Training, Jingyuan Liu+, arXiv'25, 2025.02

Muonが世に出てからもう1年半程度たったのか

解説:

Loading…


この実験においてMuonがバッチサイズが大きい場合でもロバストであることが示されたが、そもそも最近のOpenWeightモデルでMuonが採用されていたのは、Muonが大バッチ耐性があることが一因として考えられるという視点がおもしろかった。
また、Muonが必ずしもすべての行列パラメータに有効ではなく、現在はlinear projectionに対して有効。

つまりこの研究が出る前からFrontierモデルを扱うラボなどでは周知の事実だったのだろうか?どのくらい世に出ていない知見が存在するのだろう。




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #AIAgents #Attention #LLMServing #MoE(Mixture-of-Experts) #SoftwareEngineering #KV Cache #Initial Impression Notes Issue Date: 2026-07-23 GPT Summary- MiMo-V2.5モデルファミリの推論最適化を提案。Hybrid Sliding Window Attentionと疎なMixture-of-Expertsを組み合わせ、注意計算量とストレージを大幅に削減。レイヤーごとのプリフェッチやキャッシュ戦略を用いて、厳密なストレージと高いキャッシュヒット率を実現。高性能な分散キャッシュ基盤GCacheを構築し、計算量を減少。マルチモーダル入力への最適化も行い、初の大規模LLM提供システムを実現。 Comment

元ポスト:

Loading…

関連:
- Xiaomi MiMo-V2.5-Pro: A leap in agentic and long horizon coherence, Xiaomi, 2026.04

MoEやSWA、マルチモーダルモデルを用いたモデルを効率的にサービングするためのエンジニアリング面での工夫が記述されているようである。




Paper/Blog Link My Issue
#Pretraining #NLP #ReinforcementLearning #Scaling Laws #PostTraining #Selected Papers/Blogs #reading #One-Line Notes #Author Thread-Post Issue Date: 2026-07-23 GPT Summary- 強化学習(RL)と大規模言語モデル(LLMs)の相互作用を特定するため、チェスを用いた統制されたテストベッドを提案。事前訓練からRLまでの関係を調査し、RL計算量と事前訓練損失との予測関係を発見。RLはSFTポリシーを鋭くするだけでなく、難解な問題でより良い解決策を引き出す。数学ドメインでも同様のパターンを確認し、事前訓練とRLの関係を定量的に説明する枠組みを提供。 Comment

元ポスト:

Loading…

事前学習によってモデルの能力の基盤が形作られ、それは最終的なモデルの品質に大きな影響を与えることは経験的に知られているようだったが、本研究の成果は事前学習の重要性を示す一つの根拠になり得るため、重要文献に見える。

著者ポスト:

Loading…


- 事前学習のlossによって(固定されたRL予算の元での)到達性能 (pass_at_1) を予測可能で、事前学習での学習トークン数に対して(固定された予算の元での)RLの性能向上の傾きが、対数線形に増加する (Figure 3)
- 実験から導かれた事前学習-RL間のスケーリング則 (p.8)
- が、対数線形の傾向は局所的にしか成り立たない模様?
- 予算が小さい場合は事前学習を重視し、予算が増加するにつれてRLに比重を置いた方が最終的なモデル性能が改善する (Figure 2)
- 事前学習に費やすトークンが多いほどRL後の性能が増し、モデルスケールが大きいほどRLに計算量を多く割り当てた方が性能が高くなる
- この傾向は、1B OLMo2を数学で10-200Bトークンで事前学習した場合でも観測された




Paper/Blog Link My Issue
#NLP #Bias #Japanese #read-later #Selected Papers/Blogs #Cultural Issue Date: 2026-07-23 GPT Summary- LLMの文化的な偏りを分析する新しいデータセットCROQを提案。結果、LLMは日本など特定の地域に対して明確な傾向を示し、英語などの資源豊富な言語で多様な出力を生成。公用語国に関する質問では回答が少なく、偏りは監督付きファインチューニング後に現れることを示唆。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#InformationRetrieval #NLP #AIAgents #Evaluation #Selected Papers/Blogs #reading #One-Line Notes #AgentSkills #Reading Reflections Issue Date: 2026-07-21 GPT Summary- 大規模言語モデル(LLMs)が外部スキルに依存するようになり、これを効率的に活用するために新たにSRA(Skill Retrieval Augmentation)パラダイムを提唱。SRAは、エージェントが必要に応じて関連スキルを動的に取得し適用する仕組みで、初のベンチマークSRA-Benchを導入。5,400件のテスト事例と636件の正解スキルを用いた実験により、検索ベースのスキル拡張が性能向上に寄与することを確認。ただし、スキルの取り込みには課題があり、正解スキルの認識や外部能力の必要性に関する判断がエージェントの性能を制限することが分かった。これにより、今後のエージェントシステムの能力拡張の基盤を築くことが示唆される。 Comment

元ポスト:

Loading…

pj page: https://sr-agents.github.io

dataset: https://huggingface.co/datasets/WeihangSu/SRA-Bench

スキルの肥大化に伴いモデルのcontextが肥大化しパフォーマンスが劣化することから、動的にスキルを検索して統合するSkill Retrieval Augmentationを提案し、そのための大規模なデータセットを用いて評価をしている、という話に見える。データセットは26kのスキルで構成され、そのうち636件がgoldという規模感のデータセット。

実験結果を見ると、topkのretrieve結果をそのまま利用するfull injectionよりも、full injectionしたスキルのメタデータからrelevantなスキルを1iLLMで選択するLLM Selectionの性能が向上している点が興味深い。

image

また、skill poolにhard negativeなスキルが存在すると、ベンチマークのスコアは低下していく傾向(具体的にどのベンチマークかまでさ読めていない)にあり、hard negativeが8つ程度で、様々なモデルにおいてAcc.が10%程度は低下しているように見える。興味深い。
image

問題設定が実用的で興味深いだけでなく、hard negativeなスキルが <10個 程度のオーダーで存在するだけで大きくAcc.が低下する知見を示している点がおもしろい。




Paper/Blog Link My Issue
#NLP #AIAgents #SmallModel Issue Date: 2026-07-21 GPT Summary- 現代の産業アプリケーションでは、多段階推論とツール使用を行うエージェント型モデルが求められており、小型モデルが望ましい。本研究では、合成データと限定的なオープンソースデータを用いて訓練されたAgenticQwenモデルを提案。推論RLとエージェントRLを組み合わせ、自動的にタスクの難易度を高める二重データフライホイール機構を導入。これにより、現実的な意思決定の複雑さを反映した行動ツリーを生成。AgenticQwenは公開ベンチマークや産業用エージェントシステムで高い性能を示し、特にデータ分析タスクにおいて大規模モデルとのギャップを縮めた。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #LongContext #reading #One-Line Notes #Reading Reflections #Test Time Training (TTT) #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- 長文脈処理において、LLMは単にコンテキスト窓を拡張するだけでは十分ではなく、入力長の増加が精度の低下を引き起こすことがある。テスト時訓練(TTT)は長文脈の活用を改善する手法の一つだが、全体への適用は費用がかかり、ランダム抽出による訓練が性能を低下させることがある。これに対し、Self-Guided TTT(S-TTT)を提案し、適応前にモデルが選択された証拠スパンを認識することで、基準となる言語モデル訓練を適用。S-TTTは、LongBench-v2およびLongBench-Proでの精度向上を実現し、最大で15%の改善を達成。 Comment

元ポスト:

Loading…

長文Context+質問が与えられたときに、質問に関連するcontextのspanを同定した後(Self-Guided)、TTTでモデルパラメータに内部化させた後に応答する、という話に見える。TTTでは、LoRAを用いて、かつ16 gradient updateを行った時点で更新を終了する。
image

Full ContextでらTTTするよりも、Self-Guidedな方が高い性能を獲得できる。
image

TTTを使ってLoRA adapterにcontextの情報をweightとして内部化させても、思ったほど性能は上がらないのだなという印象。

LoRAでweightにcontextを内部化させても、その内部化された情報をうまく活用するような工夫が足りていないのでは?という気がするのだが、どうだろうか。

ベンチマークのインスタンスが、contextをmemorizationし、適切にattendすれば解けるようなクエリなのか否かという点も気になる。
もしcontextの情報に基づいてマルチポップな推論が必要な場合、LoRAアダプタによる重みを活用するような回路が育っていない可能性が高く、性能は伸びにくいのかなという気はする。

著者ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Architecture #read-later #Selected Papers/Blogs #ContinualLearning #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- 機械学習アルゴリズムは、初期の浅いモデルから深層大規模言語モデル(LLMs)へと進化したが、長期的な知識の転移能力に欠けている。人間の学習に触発され、継続的学習と記憶の安定化を図る「Sleep」パラダイムを提案。これは、記憶を網羅的に蒸留する「Memory Consolidation」と、新しい知識を合成データで予行練習する「Dreaming」の二段階から成る。このアプローチは、長期学習や知識の取り込みにおいて重要であることを実験により支持されている。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #ICML #PostTraining #Initial Impression Notes #Exploration #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- 強化学習(RL)において、PPO-Clipの根本的な欠陥を明らかにし、ユークリッド距離でのポリシー乖離測定が幾何的に不整合であることを指摘。これにより探索が崩壊する問題を考察。Riemannian Isometric Policy Optimization (RIPO)を提案し、探索と活用のバランスを改善。実験により、RIPOが既存のRLアルゴリズムを大幅に上回り、最大60%の性能向上を示した。 Comment

元ポスト:

Loading…

トークンレベルでPPOのclippingの値を調整し、高確率なトークンには小さなクリッピングを、低確率なトークンには大きなクリッピングを適用する。オリジナルのPPOのクリッピングの問題点の分析もあるようである。

著者ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #Coding #PostTraining #Music #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- 音楽の演奏から指示を復元するDecomposerというポストトレーニングフレームワークを提案。MIDIからStrudel言語へのデコンパイルで、実行可能な音楽プログラムを作成。課題は、資源の乏しいStrudelと、忠実な再構成が読みにくいコードになる可能性。二段階で解決し、合成データでの教師付きファインチューニングと、ペアになっていないMIDIでの強化学習を行う。評価で、Decomposerは他の方法に比べ、高いMIDI再構成忠実性と可読性を実現。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #Coding #SoftwareEngineering #read-later #Selected Papers/Blogs #LongHorizon Issue Date: 2026-07-19 GPT Summary- Long-Horizon-Terminal-Benchは、AIエージェントの能力を検証するための新しい終端ベンチマークで、46件の長期タスクを含む。従来のベンチマークが評価する簡単な問題とは異なり、このベンチマークは中間報酬と部分点を重視し、長期的な計画や文脈管理を要求する。評価した15のモデルでは、タスクあたり平均9.9Mトークンを消費し、低いパス率が示され、改善の余地があることが示唆された。失敗モードの分析も行い、今後の進展に寄与することを目的としている。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #Pretraining #NLP #Selected Papers/Blogs #VisionLanguageModel #reading #One-Line Notes #LatentRepresentation Issue Date: 2026-07-19 GPT Summary- 視覚的事前学習が言語モデルの知能向上に寄与することを示す研究。テキスト変換を通さず視覚的文書を直接活用する無監督のアプローチを検討し、視覚的事前学習がテキストのみのモデルを一貫して上回ることを実証。これにより、スケーラブルな言語知能への効率的なアプローチが明らかに。 Comment

元ポスト:

Loading…

事前学習をする際に、テキストだけでなく画像パッチに対してもnext visual latent predictionを実施することで性能が改善する。
next visual latent predictionでは、画像パッチをfreezeされたvision encoderでエンコードし潜在表現の系列を取得し、現在のパッチを入力したときに、次のパッチの潜在表現を予測する(離散トークンではなく、連続値ベクトルである点に注意)。loss functionは、バッチ内の全ての画像パッチを考えたときに、各パッチの正解の潜在表現と、モデルが予測した次パッチの潜在表現の類似度行列をソフトマックスで正規化した行列を考え、対角成分(すなわち正解の画像パッチに対する類似度)が最大化されるように定義される。ソフトマックスを考えることで、バッチ内の他の画像パッチがin-batch negativeの役割を果たし、これは次パッチの潜在表現と他の潜在表現の区別がつくようなcontrastive learningをしていることに相当する(Section 4)。
image

image




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #DiffusionModel #Architecture #Decoding Issue Date: 2026-07-19 GPT Summary- Nemotron-Labs-Diffusionは、AR、拡散、自己推測デコードを統合した三モードの言語モデルです。ARと拡散が補完的であることを示し、自己推測モードでは、拡散によるドラフト作成とARによる検証でマルチトークン予測が向上します。光速分析により、拡散がより多くのトークン生成を可能にし、最大76.5%の向上が見られました。3B、8B、14Bパラメータのモデルは、精度と速度の両面で最先端を超え、特にNemotron-Labs-Diffusion-8Bは、スループットを4倍に向上させました。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Nemotron-Labs-TwoTower: Diffusion Language Modeling with Pretrained Autoregressive Context, Fitsum Reda+, arXiv'26, 2026.06




Paper/Blog Link My Issue
#Citations #NLP #Dataset #Evaluation #COLM #Legal Issue Date: 2026-07-19 GPT Summary- AIを用いて法的文書を作成する弁護士や裁判官が増加する中、捏造された引用が依然として多発している。本研究は、AIシステムが法的引用の幻覚を自動検出できるかを評価し、1,300件の抜粋データセットを用いて分類法を提案した。5モデルをベンチマークした結果、最新モデルはより高い性能を示すが、微妙な誤りカテゴリには苦戦することが明らかになった。エージェント系の検証は資源を消費し、情報アクセスの制限が効果を妨げる問題も指摘。これにより、商用法データベースに依存しない当事者にとっての不利益が生じる。研究では、信頼性の高い法的引用照合ツール構築のための基盤も提案している。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Evaluation #Rubric-based #Initial Impression Notes #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- One-Question-One-World(Qworld)を導入し、オープンエンドな質問に対する評価基準を質問特異的に生成。再帰的展開木を使用し、質問をシナリオや視点、細分化された基準に分解。HealthBenchで高いカバー率を示し、専門家によって優れた洞察と粒度が評価される。Qworldは、LLMの評価において隠れた能力差を明らかにし、固定の基準に依存せず、動的な適応評価を実現。 Comment

元ポスト:

Loading…

Open-endなQuestionを評価する際に、Questionに応じて動的にcriteriaを生成し評価する
image




Paper/Blog Link My Issue
#NLP #In-ContextLearning #ICML #Selected Papers/Blogs #reading #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- Context Tuningは、重みの更新なしでLLMsのfew-shot適応を向上させる手法です。ICLはデモの記憶を1回の前方伝播で形成しますが、洗練が不十分です。従来のプロンプト手法は、デモとは独立して初期化しますが、Context TuningはICL能力を利用してデモから訓練可能なメモリ表現を初期化し、勾配ベースの最適化で洗練します。多くのベンチマークで評価した結果、Context TuningはICLと従来のプロンプト法を上回り、Test-Time Trainingに近い精度を示し、高い訓練効率を発揮しました。 Comment

元ポスト:

Loading…

pj page: https://agenticlearning.ai/context-tuning/

openreview: https://openreview.net/forum?id=UAJehyOPTS

気になる。後で読む




Paper/Blog Link My Issue
#Analysis #NLP #AIAgents #Bias #ScientificDiscovery #Diversity #Personality #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- AIエージェントは異なる分析選択から生成される結論の多様性を捉え、同じデータから対立する結果を導くことができる。移民データを用いた研究では、AIが人間のイデオロギー的ギャップの72%を再現し、多くの分析が高い検証を経た。調査は、問題の本質が欠陥ではなく、選択された分析の多様性にあることを示し、m値(マルチバース値)を導入することで報告された結果の極端さを評価する手法を提案。Agentic Bootstrapを使用して、もっともらしい分析パスをサンプルすることで、科学的信頼性の評価基準を提供する。 Comment

元ポスト:

Loading…

所見:

Loading…


小さな事前知識、ペルソナの変化がバタフライエフェクトのようにエージェントが導き出す結論を左右する




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #SelfImprovement #Selected Papers/Blogs #KeyPoint Notes #Author Thread-Post #AgentHarness Issue Date: 2026-07-19 GPT Summary- 自動ハーネス進化の評価を再検討し、既存手法の問題点を指摘。従来の評価は単体テストケースに依存し、探索手段と最終評価が同じベンチマーク上にあるため、過剰適合のリスクがある。フィードバックと推論予算を揃えた評価を行い、GPT-5.4とClaude Opus 4.6を使用して実験した結果、自動ハーネス進化は単純なテスト時スケーリングを必ずしも上回らず、一般化にも限界が示された。この結果は自動ハーネス設計の評価の再考を促すものである。 Comment

blog: https://yikee.github.io/harnessevolution/

元ポスト:

Loading…

所見:

Loading…

Harness自身を進化させる手法(Harness Evolution)を公平に評価しようね、という話で、現在の評価における以下の課題を指摘:
- Harness Evolutionは、ベンチマークに対するverifierからのフィードバックが利用されるが、これは本質的にtest time scalingにおいて検索に多くのリソースを費やした場合と分離ができていない。つまり、ハーネスそのものを進化させたことに効果があったのか、単に探索により多くの計算リソースを投じたことによる効果なのかが分離されていない。
- Harness Evolutionの探索に用いるタスクと評価に用いるタスクが同一の場合、単にタスクにoverfitしているだけなのか、汎用的に適用可能なハーネス設計の進化によるものなのかが明らかでない。

そのため、
- 固定された予算のもとで、
- どのようなフィードバックシグナルを受け取るか
- 計算リソースをどう配分し
- タスクの軌跡やハーネスそのものを修正するか

といった事項を制御しつつtest time scaling手法と比較することが重要と主張している。

実際、unit testのケースにアクセスできない場合で比較すると、Harness Evolutionはtest-time scalingを上回ることができないことが、Figure 1/Table 1に示されている。
image

unit testケースにアクセスできる場合は、test-time scaling系の手法において、オラクルを用いてサンプリングされた候補の中から最良のものを取得することができ、このような手法とHarness Evolutionを比較しても、test-time scalingを上回ることはできなかった。

また、Figure 2が、test-time scaling系の手法と、Harness Evolution系の手法を概観するのに非常にわかりやすい。

image




Paper/Blog Link My Issue
#NLP #Transformer #Architecture #Selected Papers/Blogs #reading #Sparse #ResidualStream #Initial Impression Notes #Author Thread-Post Issue Date: 2026-07-17 GPT Summary- xHC(Expanded Hyper-Connections)は、トランスフォーマーの残差ストリームをN=4を超えて拡張し、メモリのスケーリングを実現する新手法である。これにより、書き戻し情報の質を向上させ、N=16のストリームから4つのみを更新する疎なアーキテクチャを採用。実験により、xHCは18B MoEモデルでmHCよりも4.0ポイントの性能向上を示し、学習コストの増加を抑制する。加えて、xHC-Flashを導入することでメモリトラフィックを削減し、スケーリング法則においても従来手法に比べて効率的であることを実証。これにより、LLMの大規模トレーニングにおける残差ストリーム展開が実用的に改善される。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] mHC: Manifold-Constrained Hyper-Connections, Zhenda Xie+, arXiv'25, 2025.12

残渣ストリームの本数を増やし、Routerを導入しそのうちのtop-kを活性化させるようなsparseな残渣ストリームの提案のようだが、他にも工夫がありそう。mHCと比較してlossが大きく改善しているように見えるので気になる。




Paper/Blog Link My Issue
#ReinforcementLearning #PostTraining #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-07-16 GPT Summary- ゼロRLを用いた強化学習は、思考の連鎖推論を促す新たな手法として注目されていますが、計算資源の制約から小規模モデルにとどまっています。本研究は、高品質な推論行動を引き出すことを目的とし、訓練プロセスの効率を向上させるために新たな訓練パイプラインを提案します。1兆パラメータへのスケーリングによる性能向上や、自発的に高度な認知的挙動の獲得を確認しました。さらに、推論の理解可能性や再現性を評価するためのフレームワークを提案し、構造化された推論痕跡を生成するモデルの優位性を示しました。コミュニティへの洞察を提供することを目指しています。 Comment

元ポスト:

Loading…

所見:

Loading…




Paper/Blog Link My Issue
#ReinforcementLearning #Distillation #PostTraining #On-Policy Issue Date: 2026-07-14 GPT Summary- Mach-Mind-4-Flashは、35BパラメータのMixture-of-Expertsモデルであり、ポストトレーニング最適化だけで100Bモデル並みの性能を実現します。三段階のパイプラインでは、(1) RL/OPDトレーニングを17%高速化、(2) 複数のドメイン特化RLエキスパートを単一のジェネラリストへ統合、(3) 推論チェーンを19〜46%圧縮し精度損失を0.7%未満に抑えます。このモデルはAIME'26などのベンチマークで高いスコアを達成し、低コストで効果的な推論を提供します。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #Distillation #PostTraining #On-Policy Issue Date: 2026-07-12 GPT Summary- OPDは学生ポリシーを教師ポリシーで訓練する有望な手法だが、長期タスクへの応用には非効率がある。主な問題は、全長期ロールアウトがリソースを浪費し、KL信号がノイズを伴うことと、KL目的が初期挙動に偏り深い意思決定が訓練されないこと。これを解決するために、ターンレベルの予算化戦略TurnOPDを提案。TurnOPDはロールアウト深度とKL重みを調整し、検証精度の向上と時間効率を両立させる。実験により、TurnOPDが従来のOPDを上回る性能を示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #NLP #DataRepetition Issue Date: 2026-07-12 GPT Summary- 大型言語モデルのトレーニングパラダイムは、データの再利用においてマルチエポック訓練が推奨される一方、過学習のリスクが伴う。新たな「Memorization Window」信号を基に「Memorization-guided Data Reuse」を提案し、データ再利用の最適なタイミングと方法を決定。予備実験では、従来の4エポック制限を超えることで性能が向上することを示し、memorization-awareなトレーニングスケジュールの基盤を提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #Distillation #PostTraining #On-Policy Issue Date: 2026-07-12 GPT Summary- 本研究では、エージェント指向タスクにおけるオンポリシー蒸留(OPD)の高コストを軽減するためにReplayed-Prefix On-Policy Distillation(ReOPD)を提案。学生は事前に収集した教師の軌跡を用いて行動し、教師は新しい環境相互作用を行うことなく密な監督を提供。マルチターンOPDでは、履歴を関連性の高いものへと変えつつ、信頼性の低い問い合わせのリスクが示される。ReOPDは信頼性を考慮した設計で、サンプリングスケジュールを用いることでOPDレベルの精度を維持し、訓練速度を少なくとも4倍向上。これにより高コストなエージェント-環境相互作用を再利用可能なオフライン資源へと変換。 Comment

元ポスト:

Loading…

OPDのマルチターンへの拡張関連:
- [Paper Note] SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation, Yuhang Zhou+, arXiv'26, 2026.06

PrefixRL関連:
- [Paper Note] POPE: Learning to Reason on Hard Problems via Privileged On-Policy Exploration, Yuxiao Qu+, arXiv'26, 2026.01
- [Paper Note] Reuse your FLOPs: Scaling RL on Hard Problems by Conditioning on Very Off-Policy Prefixes, Amrith Setlur+, arXiv'26, 2026.01




Paper/Blog Link My Issue
#ComputerVision #NLP #MultiModal #SpeechProcessing #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #Reference Collection #AudioLanguageModel Issue Date: 2026-07-12 GPT Summary- Gemma 4は新世代のオープンウェイトマルチモーダル言語モデルで、計算効率と推論能力の向上を目指します。DenseとMixture-of-Expertsアーキテクチャを採用し、パラメータ数は23億〜310億で、視覚および音声エンコーダを強化しました。特に12Bモデルにはエンコーダを用いない統一アーキテクチャが導入され、生の音声と画像パッチを扱います。推論の痕跡を生成する機能を統合し、推論速度やメモリ効率を改善。Gemma 4は、STEMやマルチモーダルタスクで飛躍的な性能を達成し、最前線のオープンモデルに匹敵します。 Comment

元ポスト:

Loading…

Gemma 4:
- Gemma 4: Byte for byte, the most capable open models, Google, 2026.04

ポイント解説:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#NLP #Education #ACL #Findings #AI Detector #Interpretability Issue Date: 2026-07-12 GPT Summary- LLM生成テキストの検出は、決定の解釈可能性を重要視し、利用者が予測の正確さを評価できるようにする必要がある。従来の手法は人間の判断プロセスに沿った証拠を提供できておらず、このギャップを解消するためにExaGPTを提案。ExaGPTは、人間作成とLLM生成テキストの類似スパンを比較することで識別し、具体的な証拠を示すことで決定の正しさを向上させる。広範な実験により、ExaGPTは従来手法より精度を最大37.0ポイント向上させることが確認された。 Comment

元ポスト:

Loading…

人間が作成したテキストとLLMが生成したテキストのスパンごとの類似性を見ることで、与えられたテキストがLLM生成か否かを判定する。データストア中の類似したスパンが判断のevidenceとなる、という話に見える。

image

こういった話は教育の文脈でも需要がある




Paper/Blog Link My Issue
#Distillation #PostTraining #Diversity #On-Policy #SelfDistillation #Author Thread-Post Issue Date: 2026-07-12 GPT Summary- 自己蒸留は言語モデルの自己改善に有望で、特に数学問題の解法など特権情報を用いて自己指導が可能である。しかし、特権付き自己蒸留は長い推論経路で思考モデルの性能を低下させ、AIME24、AIME25、HMMT25の評価で最大17%の精度低下が確認された。この劣化は保留された特権情報の量に比例し、長いロールアウト期間で顕著である。特権教師の文脈が高エントロピーの学習を阻害することが原因で、これにより思考モデルのロールアウトが困難に。特権コンテキストは指示調整されたモデルには有利だが、強力な思考モデルには不利であることが示され、自動訂正分岐の開始時に効果が見られる。これらの知見は、強力な思考モデルにはトークンレベルの信号に注意が必要であることを示唆している。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…

関連:
- [Paper Note] Purified OPSD: On-Policy Self-Distillation Without Losing How to Think, Zhanming Shen+, arXiv'26, 2026.07




Paper/Blog Link My Issue
#Distillation #PostTraining #On-Policy #Stability Issue Date: 2026-07-12 GPT Summary- 悪名高いOn-Policy Distillationを安定した学習に変えるため、トラスト・リージョン・ポリシー蒸留(TOP-D)を提案。TOP-Dは勾配分散を制御することで信頼性を向上させ、収束解析により学習の安定性と最終性能を劇的に改善。計算オーバーヘッドなしで、OPDの有望な代替手法と位置づけられる。 Comment

元ポスト:

Loading…

教師と生徒の線形補完によって各iterationごとに代理教師を動的に構築し、OPDの安定性を高める

image




Paper/Blog Link My Issue
#Survey #Pretraining #NLP #Evaluation #Optimizer #read-later #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-07-12 GPT Summary- 最適化手法の選択は計算量やメモリに制約されるが、その全体像は断片的である。そこで、統合サーベイ「OmniOpt」を提案。これには、五段階メタパイプラインの構造的変換、ノルム制約付きLMOによる手法統一、二次元分類法を用いた手法の機構と訓練目標の整理、最適化手法を系統的に分析するクロスドメインベンチマークが含まれる。これにより、最適化手法選択のための実用的な座標系を提供し、今後の研究の方向性を示す。 Comment

元ポスト:

Loading…

optimizerの詳細なサーベイと様々なベンチマーキングの結果が記載されている模様

全部読んだらめちゃめちゃ勉強になりそう




Paper/Blog Link My Issue
#EfficiencyImprovement #Distillation #PostTraining #On-Policy Issue Date: 2026-07-12 GPT Summary- 弱いモデルから強いモデルへの知見を再利用する方法として、Direct On-Policy Distillation(Direct-OPD)を提案。これにより、弱いモデル上でのロールアウトに基づくRLの学習を強いモデルに適用し、スパースな報酬なしで改善を実現。特に、Qwen3-1.7Bを短時間で大幅に性能向上させ、RLの成果を模倣対象モデル以上の暗黙の報酬信号として再利用できることを示す。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #NLP #AIAgents #ScientificDiscovery Issue Date: 2026-07-12 GPT Summary- 近年、LLMsは研究アイデアのブレインストーミングに利用されるが、既存の評価は新規性や実現可能性に依存している。本研究では、LLM生成アイデアと人間研究者のアイデアの乖離を評価するフレームワークを構築し、高品質な論文からインスピレーションを抽出。アイデアを機会パターンと研究パラダイムでプロファイリングし、定量化した結果、LLMのアイデアは特定の手法に偏りがあり、人間の研究プロセスの幅広い側面を捉えていないことが明らかになった。これにより、LLMsは合理的なアイデアを生み出せるが、その範囲は人間より狭いことが示唆された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Attention #Architecture #One-Line Notes #SparseAttention Issue Date: 2026-07-11 GPT Summary- 階層的ランドマークスパース(HiLS)アテンションを提案し、チャンク単位でのスパースアテンションをエンドツーエンドで学習。各クエリが独立してチャンクとアテンションを行い、検索スコアを用いて結合。実験結果では、HiLSが全アテンションに匹敵するかそれ以上の性能を示し、長文脈での外挿が可能。軽量な事前学習を通じて全アテンションモデルをHiLSに適応させ、効率と効果のトレードオフを克服。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…

Block Sparse Attention (BSA) は、直近のトークンを見るlocal sliding window attention (SWA)と、離れたトークンに対するチャンクレベルでのsparse attentionに基づいたアテンション機構である。
一般的なBSAでは、現在のquery qとチャンク単位のattentino scoreを計算する際に、各チャンクごとにチャンクのkeyに関する情報を要約した Key k'_c を求め、k'_c と現在のquery qとのattention scoreを計算することにより計算を効率化する[^1]。

k'_c を求める際には、mean/max pooling を用いるのが一般的であり、特に前者が用いられるとのことだが、どちらのpoolingの手法もattention scoreの分布に依存して、近似の性能が変化する(たとえば、mean poolingであればなるべくattention scoreが一様なほど近似性能が良いし、max poolingであれば、あるscoreがチャンク内で支配的であるほど近似性能が良い)が、query qに応じてattention scoreの分布は変化することにより、k'_cの近似性能が低下しsparse attentionによって重要なチャンクを選択する性能が低下する課題がある。

これに対して、
- 現実的な計算量でk'_cをより正確に近似できる surrogate score に基づく手法を提案し(RQ1)[^2]
- surrogate score をend-to-end で学習可能にする方法を提案した (RQ2)
という話である。

surrogate scoreは、チャンクのattention scoreの質量をより正確に近似したスコアであり、(チャンクのkeyを要約した)k'_c に対する現在のクエリ q とのrelevanceを表す項と、バイアス項 b'_c によって線形化される(式7)。
k'_c によって現在のクエリに対する関連度を測り、バイアス項によって関連度から独立したtoken-levelの質量を導入する。バイアス項は、チャンクにattendするであろうクエリのattention scoreの分布に対するentropyであり、これが一様分布やあるトークンが支配的な分布など、様々な分布の形状に対して動的に適応する役割を果たす。

b'_c を求めるために、チャンクごとに独立したクエリ q'_c を学習する。これは、このチャンクにattendするであろうクエリのプロキシを果たすクエリであり、q'_c とチャンク内のトークンのkeyとの間でのattention scoreを計算しておくことで、おおまかなattention scoreの分布を決定し、b'_c を求めておくことができる(式8)。
また、k'_c はチャンク内のattention scoreによって重みづけられたkeyの和の形で求められる(式8)。
これにより、現在のクエリ qが与えられた時に、k'_cとb'_cを用いて、チャンクに対するattention scoreの質量を高速に近似することができる(式7)。

ここで q'_c をどのように学習するかが課題となる(q'_c以外のパラメータは従来通りのモデル化で求まる)。これを解決するために、surrogate scoreによって求まるチャンクのattention scoreの近似質量 \hat{Z}_{i, c} をforward passに加え、q'_c に勾配が流れるようにすることで解決している。具体的には、attention scoreの計算をする際に、式変形を実施し、`チャンク内のスコアの計算 * チャンク間のスコアの計算` の形に分解する(式10)。後者のチャンクの重要度を求める際に、各チャンクのsurrogate scoreを用いて近似することによって、高速化 + q'_c に勾配が流れるような工夫をしている。

[^1]: チャンクのattention scoreの質量(どのチャンクをsparse attentionでattendするかを決定する際に用いられる)を計算する際に、query qとチャンク内の全てのtokenに対するtoken-to-tokenの内積をとることを避け、k'_cとの内積によって近似的に質量を求めることで計算を効率化する。
[^2]: surrogate scoreによってk'_cを正確に近似できることの証明はAppendix Bに記載されており、1次のテイラー展開に基づいているようである(ここは読めていない)。




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #PostTraining #read-later #Selected Papers/Blogs #Reference Collection #Initial Impression Notes #Asynchronous Issue Date: 2026-07-09 GPT Summary- 強化学習におけるLLMsの非同期性を改善するため、Single-rollout Asynchronous Optimization (SAO)を提案。グループ単位サンプリングを廃止し、安定した訓練を1,000ステップ行える。SAOは、GRPOやその派生手法に対し、複数のエージェント型ベンチマークで優れたパフォーマンスを示し、進化する環境への適応性も強化。 Comment

元ポスト:

Loading…

GLM 5.2で利用されているRL手法

所見:

Loading…


VAPO:
- [Paper Note] VAPO: Efficient and Reliable Reinforcement Learning for Advanced Reasoning Tasks, Yu Yue+, arXiv'25, 2025.04

alphaXivによるポスト:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #ReinforcementLearning #PostTraining #Selected Papers/Blogs #reading #Initial Impression Notes Issue Date: 2026-07-08 GPT Summary- 強化学習(RL)の適応がトランスフォーマー層にどう分布しているかに焦点を当てる研究。単一のトランスフォーマー層を訓練することで、全パラメータRLトレーニングの利得の大半を回復可能。この現象を層寄与量で定量化し、複数のモデルとRLアルゴリズムで安定したパターンを観察。高寄与層は中間部に集中し、入力・出力端の寄与は少ないことを示唆。層の rankings は各種条件下でも強い相関を持つ。 Comment

元ポスト:

Loading…

実験は8Bスケールのモデルまでしかできていないが、もしこれが数百B級のモデルにも当てはまるのだとすると、非常に計算コストの低減だけでなく、weightのsyncにおいて非常に有利になると思われるので、インパクトが大きそうな話になる可能性を感じる。

RLの効率化という観点で言うと

- [Tech] Delta Weight Sync: When RL's Weight Sync Stops Being a Network Problem, Changyi Yang, ChangyiYang's Site, 2026.06

のような話もある。




Paper/Blog Link My Issue
#DiffusionModel #ICML #Test-Time Scaling #Author Thread-Post Issue Date: 2026-07-08 GPT Summary- UMFフレームワークを提案し、マスク付き拡散言語モデルの生成プロセスを探索木として定式化。モンテカルロ木探索を用いて生成パスを最適化し、従来の方法に対し決定論的に探索空間を探索。これにより、複雑なコードベンチマークで従来のスケーリング手法を上回る性能を示し、数学的推論タスクでも高いスケーラビリティを実現。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Evaluation #ICML #reading #Rubric-based #Initial Impression Notes #Author Thread-Post Issue Date: 2026-07-08 GPT Summary- インラインコメントを活用して、再利用可能な自然言語ルーブリックを学習する手法を提案。コメントの不一致を観察しながらルーブリックを改良し、現実のレビュー設定で評価。これにより、成果物の改訂やルーブリック理解が促進されることを示した。 Comment

元ポスト:

Loading…

文書の中に断片化されているインラインコメント等を暗黙的な評価基準に基づいて生成された観測データと捉え、インラインコメントから明文化されていない評価基準を学習し、ルーブリックとして活用可能にする、という話に見える。

「暗黙知、ケースバイケースなのでなかなか明文化できません」という状況によく遭遇し困るので、そもそもこういった手法が利用できるように日々の判断をLLMが利用可能な形に残しておくことが重要と感じる




Paper/Blog Link My Issue
#NLP #Coding #PEFT(Adaptor/LoRA) #SoftwareEngineering Issue Date: 2026-07-08 GPT Summary- ファジー関数プログラミングを用いて、自然言語仕様からコンパクトなニューラル・アーティファクトを生成するアプローチを提案。Program-as-Weights(PAW)で具現化し、4BパラメータのコンパイラがFuzzyBenchで訓練されたアダプターを出力。0.6Bパラメータのインタプリタは、Qwen3-32Bと同様の性能を保ちながらメモリ使用量を1/50に削減し、効率的に問題解決に貢献。関数定義を再利用可能なアーティファクトとして実行。 Comment

元ポスト:

Loading…

関連:
- PAW: Define functions in English. Run them locally, ProgramAsWeights, 2026.04




Paper/Blog Link My Issue
#Education #read-later #ItemDifficultyPrediction Issue Date: 2026-07-08 GPT Summary- 教育評価におけるアイテム難易度予測は重要であり、信頼性が公平性と効果的なテスト作成に寄与する。従来の方法は高コストな校正や制限された証拠に依存している。難易度はアイテムのテキストや問題解決の負担として捉えるべきとし、大規模推論モデル(LRMs)を通じてスケーラブルな証拠を提供する新しいフレームワーク「Epi2Diff」を提案。これにより、推論痕跡をエピソードにマッピングし、難易度のモデル化を実現する。実験結果はEpi2Diffが複数のベースラインを超え、特に難易度の高いアイテムにおいては努力を要するプロセスが観察されることを示した。これにより、LRM推論痕跡が人間のアイテム難易度を予測する新しい視点を提供する。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Distillation #PostTraining #On-Policy #SelfDistillation #ShortcutLearning Issue Date: 2026-07-08 GPT Summary- OPSDはLLMの推論能力を向上させる方法として注目されているが、長いCoT推論モデルでは一貫して失敗している。これにより反省的推論能力が不安定化することが示されており、教師信号の分析から参照特有のショートカットが問題の根本原因であると特定された。提案された解決策は、参照のみに条件付けられた教師を構築し、質問条件付けられた推論成分を明確にすることと、PMI機構を通じてショートカットをフィルタリングすることである。実験は、基礎モデルと標準的なOPSDの両方で一貫した改善を示し、モデルのエピステミック挙動を維持した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #NLP #Distillation #Catastrophic Forgetting #PostTraining #On-Policy #Generalization #ContinualLearning #SelfDistillation Issue Date: 2026-07-08 GPT Summary- 継続的ポストトレーニングにおいて、自己蒸留方針最適化(SDPO)がドメイン内専門化を加速する一方で、分布外一般化に苦戦し、忘却が顕著になることを実験により示した。また、GRPOのようなオンポリシー手法は、以前の能力をより良く保持する傾向があることも明らかになった。密な自己蒸留は専門化を促進するが、継続的トレーニングの安定化には適していない。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#DiffusionModel #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-07-08 GPT Summary- 新しい「セット拡散(set diffusion)」モデルは、因子分解された尤度のパラメータ化とKVキャッシュの更新をサポートし、柔軟な位置・長さのトークン集合に対する生成を実現。固定サイズのブロックを排除することで、任意順序でのデコードが可能となり、推論速度が向上。数学的推論や要約において従来のモデルより性能が改善され、ブロック拡散よりも強力なインフィリング能力を示す。 Comment

元ポスト:

Loading…


元ポストのgifを見ると一目で概要がわかる。

Block Diffusionのグループによる研究

Block Diffusion:
- [Paper Note] Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models, Marianne Arriola+, ICLR'25, 2025.03




Paper/Blog Link My Issue
#Analysis #NLP #Reasoning #ACL #InstructionFollowingCapability #Findings #One-Line Notes Issue Date: 2026-07-08 GPT Summary- 大規模言語モデル(LLMs)がユーザーの指示を推論過程全体で遵守する重要性を強調し、ReasonIFというベンチマークを導入。これは、推論指示の遵守を評価し、さまざまな指示プロンプトを網羅している。多くのオープンソースLRMsにおいて、指示遵守のスコアは0.25未満であり、難易度の上昇に伴い低下する傾向がある。推論指示の忠実度向上には、マルチターン推論と合成データを用いたファインチューニングが有効で、RIFによって大きな改善が見込まれるが、さらなる向上が必要。 Comment

blog: https://together.ai/blog/large-reasoning-models-fail-to-follow-instructions-during-reasoning-a-benchmark-study

著者ポスト:

Loading…

著者ポスト2:

Loading…

reasoning traceに対して制約を課す[^1]指示は、メインの応答と比較して指示追従性能が低い傾向にある
image

[^1]: 思考する言語の指定、思考の長さの制限、免責事項(指示でreasoningの最後にwarningや備考を追記する)、reasoningをjsonにする、大文字のみを利用する、commaをreasoning中に除外する、など




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #DiffusionModel #Architecture #Author Thread-Post Issue Date: 2026-07-08 GPT Summary- 拡散言語モデルは、自己回帰モデルの代替手段として注目されていますが、既存アプローチは文脈表現とデノイズを同一ネットワークで処理するため能力が制限されていました。本研究では、役割を2つのタワーに分離したブロック単位の自己回帰拡散モデル「TwoTower」を提案。凍結されたAR文脈タワーがクリーンなトークンを処理し、拡散デノイザータワーが双方向アテンションを用いてノイズを洗練します。訓練されたモデルは、生成スループットを2.42倍改善しつつ、自己回帰ベースラインの品質の98.7%を保持します。コードとモデルは公開されています。 Comment

HF: https://huggingface.co/nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16

元ポスト:

Loading…

拡散言語モデルにおけるTwo Towerアーキテクチャの提案で、一方がコンテキストを読み込み(ARモデルでfreezeされている)、もう一方がデコードを担う(diffusionモデルでlearnable)。どちらのタワーも事前学習済みのモデルを利用する。
オリジナルモデルの性能の98.7%を維持しつつ、2.42倍のスループットを実現可能とのこと。
image




Paper/Blog Link My Issue
#NLP #AIAgents #read-later #Selected Papers/Blogs #Initial Impression Notes #Exploration Issue Date: 2026-07-08 GPT Summary- エージェントが対話を通じてユーザーの目標を達成する際、目標が明確でない場合には行動を止めるべきであるとし、「エージェント性棄却」を定義。標準的な棄却と異なり、逐次的な意思決定問題として評価され、エージェントは環境に応じて回答、棄却、情報収集を選択。ウェブショッピングなどの場面で13のLLMを評価し、棄却のタイミングが重要であることを示した。さらに、モデルの規模や支援枠組みが棄却に影響を及ぼすことが判明。CONVOLVEという手法を導入し、対話の軌跡を利用して棄却を改善、Llama-3.3-70Bモデルでは適時リコール率を大幅に向上させた。データセットとコードは公開中。 Comment

元ポスト:

Loading…

エージェントが環境とインタラクションした後にタスクが実現不能な場合はタスクを棄却すべきという話
image




Paper/Blog Link My Issue
#ReinforcementLearning #PostTraining #Initial Impression Notes #ShortcutLearning Issue Date: 2026-07-08 GPT Summary- 強化学習(RL)の推論能力を高めるために、ヒントを注入したペアワイズ報酬モデルを統合した新しいフレームワークHIPPOを提案。重複データの問題を解決し、識別性の高い信号を提供することで、ショートカットの合理化と真の推論を効果的に区別。広範な実験で標準的なベースラインを大幅に上回り、真正な推論スキルを抽出できることを示した。 Comment

元ポスト:

Loading…

事前学習時にmemorizeされた知識でショートカットしてrewardを得るのではなく、解答へ向けてreasoningすることを促進する




Paper/Blog Link My Issue
#NLP #Supervised-FineTuning (SFT) #ReinforcementLearning #AIAgents #Coding #SoftwareEngineering #PostTraining #Verification Issue Date: 2026-07-07 GPT Summary- Dockerlessは、環境を必要とせずにコードパッチの正確性を評価するエージェント的パッチ検証器を提案する。従来の環境構築コストを削減し、リポジトリ探索を通じて証拠に基づく評価を実現。これにより、最も強力なオープンソース検証器を14.3 AUCポイント上回り、SWE-bench Verified、Multilingual、Proでそれぞれ62.0%、50.0%、35.2%の解決率を達成。環境ベースのポストトレーニングと同等の性能を示す。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Qwen-AgentWorld: Language World Models for General Agents, Yuxin Zuo+, arXiv'26, 2026.06




Paper/Blog Link My Issue
#Pretraining #Scheduler #LearningRate Issue Date: 2026-07-07 GPT Summary- 学習率転移により、大規模言語モデルの訓練コストを削減可能。実務者は小規模なランから学習率を外挿。しかし、最適な学習率はデータ規模とモデルサイズに対して非線形に振る舞うことが確認された。研究では、22Mから707MパラメータのGPT-2風モデルを用いてこのスケーリング特性を評価。最適な学習率はデータサイズの外挿からずれ、特に大規模な学習では上向きの曲率を示し、従来の仮定が不正確であることを示唆。AdamHを用いた実験により、非線形性の説明も支持された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Distillation #PostTraining #On-Policy Issue Date: 2026-07-07 GPT Summary- 特権情報を利用したOPDは、学生の能力伝達を強化するが、「特権の錯覚」という問題が生じる。これは、学生が再現不可能な情報と移転可能な能力を混同することに起因する。これを解決するため、DOPDという利点を意識したデュアル蒸留パラダイムを提案。各トークンは、教師または学生から動的に監督を受けることで、能力伝達を安定化し、錯覚を緩和する。DOPDはLLMおよびVLMにおいて、従来の手法を上回るパフォーマンスを示している。

Paper/Blog Link My Issue
#Analysis #NLP #Alignment #ReinforcementLearning #Safety #PostTraining #Selected Papers/Blogs #Generalization #reading #Initial Impression Notes #Author Thread-Post Issue Date: 2026-07-07 GPT Summary- RLを用いて多様なドメインで有益な行動を促進し、整合性の一般化を調査。データセットを構築し、50以上の独立したベンチマークで評価した結果、80%超で性能向上が見られる。特に健康ドメインでの介入が他の評価にも効果的で、整合性の維持向上を示した。この研究は、RLを通じて人間の福祉への整合性を強化する可能性を示唆する。 Comment

blog: https://alignment.openai.com/beneficial-rl/

元ポスト:

Loading…

所見:

Loading…

特定のドメインにおいて有益な特性を備えた少量データ(trustfulness, 不確実性の下での謙虚さ等を備えた対話)でRLされたモデルは、訓練に使用したドメインを超えて一般化し、アライメントを改善する。敵対的なプロンプトが与えられた場合でも、Alignmentが持続する能力が高まる。

以下でも良性のペルソナで学習をすることでAlignmentが改善しており、似た知見が得られている:
- Teaching Claude why, Anthropic, 2026.05




Paper/Blog Link My Issue
#DiffusionModel #Architecture #read-later Issue Date: 2026-07-05 GPT Summary- LLMの推論透明性は、モデルの意思決定を理解し、悪用や不整合を緩和する上で重要である。しかし、DiffusionGemmaは潜在空間での計算が多いため、透明性が低くなる可能性がある。本研究では、透明性を変数透明性とアルゴリズム透明性の二要素に分解して分析する。DiffusionGemmaは変数透明性が低く、初見ではオートリグレッシブGemma 4モデルの28.6倍の不透明な計算深さを示すが、中間状態を解釈可能として扱うことで深さを1.1倍に減少させることができる。アルゴリズム透明性は難しく、拡散過程の各ステップでのトークン予測の変化が要因となる。また、解釈性に関するケーススタディを実施し、拡散特有の新規現象を明らかにする。最後に、DiffusionGemmaはGemma 4同様に下流タスクに対して有用であることが示された。 Comment

元ポスト:

Loading…

関連:
- DiffusionGemma: The First Diffusion LLM (dLLM) Natively Supported in vLLM, vLLM, 2026.06




Paper/Blog Link My Issue
#Analysis #RAG(RetrievalAugmentedGeneration) #ACL #Findings Issue Date: 2026-07-05 GPT Summary- RAGは、外部文書を用いてLLMの性能を向上させるが、取得文書の影響は明確でない。本研究では、取得文書がLLMの隠れ状態に与える影響と、その変化が生成挙動にどのように関連するかを潜在表現の視点から分析。4つの質問応答データセットと3つのLLMを用いて、文脈の関連性が内部表現に与える影響を明らかにし、LLMの出力挙動の理解とRAGの設計に関する洞察を提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ReinforcementLearning #Distillation #PostTraining #read-later #Selected Papers/Blogs #On-Policy Issue Date: 2026-07-05 GPT Summary- On-Policy Distillation(OPD)は教師からの監督を通じて強化学習の効率を向上させるが、トークンの重みが均等化されているため後半のトークンの監督品質が低下する。この問題を理解し、Importance-Weighted On-Policy Distillation(IW-OPD)を提案。IW-OPDでは、トークンの重みを学生と教師の分布の乖離に基づき調整することで、学習効率を向上させ、標準のOPDよりも速く収束し、最終性能が向上することを実証。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#AIAgents #Evaluation #Coding #SoftwareEngineering #read-later #LongHorizon #Author Thread-Post Issue Date: 2026-07-05 GPT Summary- AIモデルのコーディング能力は向上しており、MirrorCodeを用いて全体のソフトウェアプロジェクトの再実装を通じた新たな長期的ベンチマークを提案。AIエージェントはコードにアクセスせず、既存のプログラムの機能を再現し、テストで出力の一致を求められる。計算機科学の多様な分野をカバーし、最強のモデルは全体で56%のスコアを記録。AIは複雑なツールを再実装でき、研究の要件が明確であれば長期タスクを完遂可能であることを示唆。AIの進化がソフトウェア工学に及ぼす影響に期待。 Comment

pj page: https://epoch.ai/MirrorCode

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #EmergentAbilities Issue Date: 2026-07-05 GPT Summary- より大きなモデルは小さなモデルが学習できないタスクを学習する能力を持つ。この現象の背景には、データ起因の資源競合がある。小さなモデルはニューロンを高周波数や低複雑性タスクに割り当てるため、複雑なタスクに対する学習が不適切になることがある。逆に、大きなモデルは共通タスクにリソースを十分に確保し、希少タスクの特徴をゆっくり蓄積することが可能である。OLMoモデルの実験により、大きなモデルが希少で複雑なタスクを効果的に学習し、タスク間の勾配干渉が少ないことが示された。この研究は、大規模モデルの優位性をデータ中心の観点から説明し、モデルサイズや訓練データ選定の実践的示唆を提供する。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #Distillation #PostTraining #Diversity #On-Policy #Initial Impression Notes Issue Date: 2026-07-05 GPT Summary- オンポリシー自己蒸留は、単一モデルを教師と生徒として利用し、高いpass@1精度を実現するが、サンプリングされたデモンストレーションに依存することでロールアウトの多様性が低下する。教師がバイアスを通じてフィードバックを与えるため、最適な自己蒸留方針は基底分布を不均一に傾斜させる。自己蒸留モデルは、制御されたタスクで競争力のある性能を示すものの、機能的多様性が不足し、分布外設定では失敗する。 Comment

元ポスト:

Loading…

OPDでは教師モデルが正しいロールアウトで条件付けされるため、正しいロールアウトに近いロールアウトはより増強され、遠いものは抑制されることにつながり、結果的に出力の多様性が減少しPass@kが伸びにくくなる、という副作用があるよ、という話のようである。

image




Paper/Blog Link My Issue
#Pretraining #NLP #Supervised-FineTuning (SFT) #DiffusionModel #PostTraining #Initial Impression Notes Issue Date: 2026-07-05 GPT Summary- iLLaDAは、80億パラメータの双方向注意を持つマスク付き拡散言語モデルであり、ゼロから訓練された。事前学習には12兆トークンを使用し、教師ありファインチューニングを通じて大規模なコーパスで性能を向上させた。生成効率を高めるために可変長生成と信頼度に基づくスコアリングを導入。iLLaDAは、一般・数学・コードのベンチマークでLLaDAと比較し広範な改善を示し、特にBBHやARC-Challenge、MATH、HumanEvalで顕著なポイント向上を達成。非自己回帰訓練にもかかわらず、競争力を維持していることが示され、双方向拡散訓練が強力な言語モデル開発に寄与する可能性を示唆している。 Comment

元ポスト:

Loading…

bi-directional attentionを用いてゼロから訓練されたたdLLM




Paper/Blog Link My Issue
#Analysis #ReinforcementLearning #AIAgents #PostTraining #read-later #Entropy #Author Thread-Post Issue Date: 2026-07-05 GPT Summary- エージェントRLの訓練ダイナミクスにおける仮定されていなかった現象、循環的エントロピー噴出を特定。これは、高いエントロピーの噴出と徐々の沈静化を繰り返す独特のサイクルで、文の重複やハルシネーションがサイクルを超えて蓄積する可能性を示唆。SEAL(Separation-Enhanced Agent Learning)を提案し、エントロピー噴出に対処。実験により、SEALが訓練を安定化させ、エージェントの性能を向上させることを確認。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Embeddings #NLP #memory #LatentRepresentation Issue Date: 2026-07-05 GPT Summary- EvoEmbeddingは、文脈や時間的順序を考慮した動的な埋め込みモデルであり、逐次処理により潜在メモリを更新し、進化する状況に基づいて検索対象を最適化する。EvoTrain-180Kデータセットを用いて、潜在メモリと検索を共同最適化し、長文脈検索において他の大規模モデルを凌駕する性能を発揮することを実証。さらに、エージェント型ワークフローにも統合可能で、性能向上を実現。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #NLP #AIAgents #Initial Impression Notes #Author Thread-Post #Coordination Issue Date: 2026-07-04 GPT Summary- 多エージェント協調のための微分可能な最適化フレームワークを提示。重なる局所ビューを解決するエージェントは、ADMMを用いて協調し、グローバル合意を形成。マルチエージェントシステムは共同訓練され、局所ビュー不足でも正しい出力を生成。MNISTでは頑健性を向上、数独では高い解決率を達成。ADMM構造により協調ダイナミクスを直接分析可能。 Comment

元ポスト:

Loading…

blog: https://pub.sakana.ai/sheaf-admm/

微分可能なフレームワークによって、エージェント同士が協調することを学習する




Paper/Blog Link My Issue
#Test-Time Scaling #Author Thread-Post Issue Date: 2026-07-04 GPT Summary- Local Branch Routing(LBR)は、トークンレベルの推論時スケーリングを実現するフレームワークで、軽量なルータを用いて先読み木の部分木を選択し、各トークンの決定に基づく証拠を活用する。これにより、計算コストを抑えつつ、エンドツーエンドの強化学習が可能となり、合成的な階層的計画タスクや数学的推論ベンチマークで従来モデルを上回る成果を示した。LBRは言語モデルの効率的な推論時スケーリングを実現する。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Evaluation #EfficientEvaluation #Author Thread-Post Issue Date: 2026-07-03 GPT Summary- 84のフロンティアモデルを133のベンチマークで評価し、スコア行列を作成した結果、モデルのスコアは主に2つの因子に依存することが明らかになった。これに基づき、行列補完法「BenchPress」を設計し、隠れたスコアを高精度で回復。特定のベンチマークのサブセットでは、モデルの未公開スコアを3.93ポイント以内に予測可能であり、より安価な評価セットでも高い精度を示した。スコア行列、BenchPressのコード、および対話型ツールを公開。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…

pj page: https://microsoft.github.io/benchpress/




Paper/Blog Link My Issue
#Pretraining #NLP #Architecture #reading #One-Line Notes Issue Date: 2026-07-03 GPT Summary- 深層言語モデルは、均一な層構成が与えられているが、層によって非均一に出力に寄与することが示唆されている。そこで、初期層に多くのパラメータを割り当てる「テーパード言語モデル(TLMs)」を提案。実験結果から、テーパリングすることでパープレキシティと性能が向上し、追加コストなしで効果的な設計原理となることを示した。 Comment

元ポスト:

Loading…

MLP Layerのパラメータ数を均一にするのではなく、浅い層でより多くのパラメータを割り当てることで性能が改善するという話のようである。このような現象が生じる説明として、残差ストリームに対してMLPを通る前後のコサイン類似度式(9)、ブロック全体を通過した後の残差ストリームの差分(つまりどれだけ残差ストリームが変化したか)とブロックに入力された残差ストリームの間のコサイン類似度(式9)を観察し、層が深くなればなるほど類似度が高くなり(つまりコサイン類似度なので方向が近い)深い層になればなるほど新規の情報が少なく、情報の微調整や洗練化が行われているため、という説明が行われているようである(Figure 4)。
image




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #ReinforcementLearning #Decoding #PostTraining #SpeculativeDecoding Issue Date: 2026-07-03 GPT Summary- MTPを用いることで強化学習におけるロールアウトを加速するBebopを提案。MTPの受け入れ率はモデルエントロピーに影響され、確率的拒否サンプリングがその攪乱を軽減。新しいTV損失を導入し、受け入れ率の改善を実現。エンドツーエンドでのMTPトレーニングにより一貫した速度向上を達成し、最大1.8倍の加速を示す実験結果を提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #Analysis #AIAgents #read-later #Initial Impression Notes #Author Thread-Post #Coordination Issue Date: 2026-07-03 GPT Summary- マルチエージェントLLMシステムは自律的に協働するが、固定のワークフローに依存せず相互作用によって協調が形成される。自己組織化されたLLMチームは、他のチームと異なり、専門エージェントのパフォーマンスに一貫して匹敵せず、最大41.1%の性能損失を経験することが判明。主なボトルネックは専門家の適切な活用であり、チーム内での合意志向は専門知識の効果的な重み付けを妨げ、チームサイズが増えるほどパフォーマンスに悪影響を及ぼす。また、合意志向の行動は敵対的なエージェントに対する頑健性を高める可能性があり、アラインメントと専門知識の活用の間にトレードオフが存在することが示唆される。 Comment

元ポスト:

Loading…

Multi-agent によってチームを組成し専門家をチームに配置しても、(おそらく)正しさよりも合意形成が優先される事後学習の影響によって、エージェントは専門家に適切に移譲をすることができず、専門家単体のパフォーマンスよりもチームでのパフォーマンスは低下しシナジーを発揮できない、という感じの話らしい。興味深い。

実験設定を見ると基本的にAnthropic, OpenAIの商用のProprietary LLMが利用されているように見える。これらのLLMは大前提として人間に対してhelpfulであることを前提にAlignmentがとられているため、正しさを常に追求するといった行動はとらないのだろうと考えられる。これは完全に想像ではあるが、MASの性能を仮に最大化するのであれば、大前提として人間の役に立つという事後学習が実施されているLLMでは少なからず正しさの追求に徹底しきれないという状況が生じる気がしており、少なくともエージェント間のコミュニケーションにおいては正しさを追求する、という形のAlignmentを実施した場合に何らかのシナジーが生じるのか、というのはどうなのだろう?という疑問はある。

が、おそらくそういったAlignmentを施したエージェントは、おそらく前提として人間からの指示には従わなければならないという指示追従能力は身に着けていると思われるので、自分を人間だと誤認させて相手を服従させるといったReward Hackingっぽい挙動が生じるのだろう、と想像する。じゃあそうすると、人間を特権階級とするのやめたらどうなるの?という疑問が浮かぶのだが、そうなるとなかなか怖い話になってくるよね、という予感がする(妄想)。

商用のLLMが多くの人に対して利用されることを前提にしていて、かつビジネスの上に成り立っていることを考えると、AI Safetyの観点からこのようなLLMを学習することにはなかなか踏み切れないという気はする。特に、エージェントに対しては正しさを追求する、といったペルソナをLLMが内包する以上、何らかのMisalignmentによってそれが表出し、利用する人間に悪影響が出るという安全性の懸念が強く生じるので難しいなと思う。特定ドメインに対する単価が高いソリューションとしてはありうるのかもしれない。

あと、そもそも指示追従をしてくれないと意図した方向に行動が進行していないと思われるが、指示追従をするという特性をLLMが持つ時点で、正しさを常に追求する、という挙動は生じうるのだろうか?よくわからない。

LLMを普段使いしていてSycophancyにも似たような状況を感じる。人間とLLMの間でも、(雑にLLMを利用すると)LLMがSycophancyを優先することによって、人間とのシナジーが生まれず誤った方向に進んでしまう、ということは多いように感じる。特に自分があまり詳しくないドメインで協働するときにこのような状況に陥りやすい。

関連:
- Don’t Build Multi-Agents, Cognition, 2025.06
- Single vs Multi-Agent System?, PHILSCHMID, 2025.06




Paper/Blog Link My Issue
#ReinforcementLearning #PostTraining #read-later #Author Thread-Post Issue Date: 2026-07-03 GPT Summary- VIMPOという批評家なしのポリシー最適化法を提案。KL正則化付き強化学習から導出した価値関数に基づき、自己回帰生成において端的な価値損失を得る。計算結果は、VIMPOがGRPOに対して数学的ベンチマークで優位を保ち、より細かなクレジット割り当てを可能にすることを示す。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Attention #Architecture #Hybrid #Initial Impression Notes #LinearAttention Issue Date: 2026-07-03 GPT Summary- HydraHeadは、解釈可能性に基づいた新しいハイブリッドアテンションアーキテクチャで、ヘッド単位でLinear Attention (LA) とFull Attention (FA) を統合。重要なヘッドの選択とスケール正規化融合モジュールを用いて高性能を維持しつつ、長文脈タスクで他モデルを超える。150億トークンの訓練で、512Kの文脈長においてベースラインを69%以上改善し、ヘッドレベルのハイブリッド化の可能性を示す。 Comment

元ポスト:

Loading…

full attentionとlinear attentionをハイブリッドするアーキテクチャの提案




Paper/Blog Link My Issue
#Multi #NLP #ReinforcementLearning #Distillation #PostTraining #On-Policy #One-Line Notes Issue Date: 2026-07-03 GPT Summary- SAGE-OPDは多ターンのオンポリシー蒸留を改善する新しいフレームワークで、学生モデルへの介入を環境からのフィードバックに基づいて決定。標準OPDの脆弱性を克服するため、教師の信頼度でトークンレベルの蒸留を重み付けし、不確実な教師分布の影響を軽減。実験では、ALFWorldにおける成功率を標準OPDと比較して13.3%改善し、ターンレベルの介入が効果的であることを示した。 Comment

元ポスト:

Loading…

現在のOPDは基本的にsingle-turnを前提としているが、multi-turnの場合の手法を提案。各stepごとのconfidenceを教師モデルによって推定し、OPD lossに反映させる。これは生徒モデルの軌跡が教師から逸脱した場合に、その軌跡に対して介入をするような挙動となる。multi-turnにおいて全てのターンに介入するのは無駄で、かつ介入しないとmulti-turnの場合エラーが蓄積するため、選択的に介入する軌跡を決定する手法と言える、という感じに見える。

ポイント解説:

Loading…




Paper/Blog Link My Issue
#Pretraining #NLP #Optimizer #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2026-07-03 GPT Summary- Muonの更新における行ノルムの不均一性が、自己強化的なフィードバックループを引き起こす問題を提起。本研究では、行正規化を活用しながらMuonの幾何を尊重する最適化手法Auroraを提案。Auroraは事前学習での性能向上を示し、modded-nanoGPTでのスペクトル最適化において最先端の結果を達成。さらに、Auroraの利得はMLP拡張係数に比例し、幅広いMLP層の効果的訓練を可能にすることが示唆されている。 Comment

元ポスト:

Loading…

transformer decoder-onlyモデルにおけるMLPのdead neuronを防止するような更新をかけるoptimiserで、Muonよりも高い下流タスク性能を達成したとのこと。

関連:
- Aurora: A Leverage-Aware Optimizer for Rectangular Matrices, Tilde Research, 2026.05




Paper/Blog Link My Issue
#Embeddings #NLP #read-later Issue Date: 2026-07-02 GPT Summary- 埋め込みスケーリングを通じてMoEアーキテクチャのスパース性を向上させる研究。特定のレジームにおいて埋め込みスケーリングが優位性を示し、重要なアーキテクチャ因子を体系的に分析。最適化されたシステムと推論スピード向上を組み合わせ、LongCat-Flash-Liteを導入。これは68.5Bパラメータのモデルで、MoEベースラインを上回り、エージェント性やコーディング能力で競争力を発揮。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Evaluation #Coding #SoftwareEngineering #Author Thread-Post Issue Date: 2026-07-02 GPT Summary- 実際のコーディング支援の対話的性質を反映した新しいベンチマークSWE-Togetherを導入。11,260件の記録セッションから109件のタスクを選び、リアクティブなLLMベースのユーザーシミュレーターを構築。エージェントの評価はリポジトリの正確さとフィードバックの回数で行われ、強力なエージェントほど成功率が高く、介入が少なくて済むことを示した。 Comment

pj page: https://togetherbench.com/

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #NLP #ReinforcementLearning #Distillation #PostTraining #read-later #On-Policy #Author Thread-Post Issue Date: 2026-07-02 GPT Summary- 複数の能力を統合することが困難な大規模言語モデル(LLM)のために、ポストトレーニングの新しいアプローチとしてMulti-teacher On-Policy Distillation(MOPD)を提案。ドメインごとのRL教師を用いて曝露バイアスを排除し、密な最適化信号を提供。実験によりMOPDが他の手法を上回り、教師の能力を効率的に継承することを示した。MOPDは、独立したドメイン教師の開発を可能にし、実用的な能力統合を実現。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…




Paper/Blog Link My Issue
#NLP #SpeechProcessing #OpenWeight #Japanese #TTS Issue Date: 2026-06-29 GPT Summary- 日本語中心のLLM-TTSシステムSarashina2.2-TTSを紹介。約361,000時間の音声データを使用し、日本語の漢字の多義性に対応するデータ拡張パイプラインを設計。Joyo Kanji Yomi Benchmarkを用いて、漢字の読み方の正確さを測定。実験によりデータ拡張が効果を示し、漢字レベルの精度で最先端の性能を達成。クロスリンガル評価では日本語発音の安定性も確認され、訓練アプローチが効果的であることが示された。 Comment

元ポスト:

Loading…

HF: https://huggingface.co/sbintuitions/sarashina2.2-tts




Paper/Blog Link My Issue
#NLP #Selected Papers/Blogs #SpeculativeDecoding #reading #One-Line Notes Issue Date: 2026-06-27 GPT Summary- DSparkは、LLMの推論を加速するために、ドラフト生成とターゲット検証を分離した推測的デコーディングフレームワークです。半自己回帰型アーキテクチャを用いることでトークン間の依存性をモデル化し、並列生成の品質を向上させます。信頼度に基づく検証を採用し、検証長を動的に調整することでシステム効率を最適化します。オフラインベンチマークやライブユーザトラフィック下での実験において、DSparkは採択長と生成速度を顕著に改善し、従来のシステムのスループットを向上させました。 Comment

元ポスト:

Loading…

DeepSeekによる新たなSpeculative Decoding手法とのこと

解説:

Loading…

所見:

Loading…

ポイント解説:

Loading…

関連:
- [Paper Note] DFlash: Block Diffusion for Flash Speculative Decoding, Jian Chen+, arXiv'26, 2026.02

Speculative Decodingのためのドラフトモデルに関する新たなアーキテクチャを提案しており、

DFlashのように並列してトークンを生成する機構を持つ。各トークンは独立して生成されるため、文脈が反映されない。そこで、より文脈に対して自然なトークン系列となるよう、軽量でsequentialなheadによってキャリブレーションする。各トークンにはconfidenceが付与されており、target modelがverifyをするに値しないトークンは事前に除外することでスループットを高める。

という手法に見える。

image

Ling 3.0 Flash, LFM2.5などが、DSparkによるドラフトモデルを公開しており、本手法の注目度の高さが伺える。




Paper/Blog Link My Issue
#Multi #NLP #AIAgents #reading #Initial Impression Notes #Orchestration #Author Thread-Post Issue Date: 2026-06-27 GPT Summary- LLMの特化を統合するために、オーケストレーター型モデルSakana Fuguを開発。Fuguはユーザーのクエリを理解し、動的にエージェントフレームワークを設計。これにより、様々な難解なタスクで最先端の性能を達成。日常利用と高難度応答のバランスを取るFuguと、回答品質を優先するFugu-Ultraを公開。トレーニング方法には大規模ファインチューニングや強化学習を含む。研究がマルチエージェントシステムの発展に寄与することを目指す。 Comment

元ポスト:

Loading…

基盤となる技術:
- [Paper Note] TRINITY: An Evolved LLM Coordinator, Jinglue Xu+, ICLR'26, 2025.12
- [Paper Note] Transformer-Squared: Self-adaptive LLMs, Qi Sun+, ICLR'25, 2025.01
- [Paper Note] Learning to Orchestrate Agents in Natural Language with the Conductor, Stefan Nielsen+, ICLR'26, 2025.12

[Paper Note] Transformer-Squared: Self-adaptive LLMs, Qi Sun+, ICLR'25, 2025.01 と [Paper Note] TRINITY: An Evolved LLM Coordinator, Jinglue Xu+, ICLR'26, 2025.12 によってFuguが学習され、さらに [Paper Note] Learning to Orchestrate Agents in Natural Language with the Conductor, Stefan Nielsen+, ICLR'26, 2025.12 によってFugu Ultraが学習される、という構図に見える。

これはただの感想だが

- nature inspiredなAIを実現するというビジョンのもと
- 世界にインパクトを与えられるようなプロダクトを設計し
- プロダクトから逆算して技術的に必要な課題を列挙し、
- 個々の課題についてトップカンファレンスに通すレベルの水準まで、ストーリーと研究を追求した上で実際にカンファレンスに通し
- 最終的にそれらをつなぐことによってプロダクトを構成する

という、プロダクトと研究が一体となる戦略をとっているように感じた。

プロダクトと研究が分離していると、まずプロダクトがあって、そのプロダクトを運用している中で課題が見つかり、それを解決するための仕事をしていたらそこから研究にできそうな芽が出てきて、出てきた芽をうまく切り出して結果的に研究として出版される、という流れになる気がするのだが、これとは根本的に戦略が異なるように感じる。




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #Health #Medical Issue Date: 2026-06-27 GPT Summary- HealthBench Professionalというオープンなベンチマークを通じて、ChatGPTが臨床医の業務支援においてどのように利用されるかを評価。ケア相談、執筆、医療研究の三つの利用ケースに基づいた医師作成の対話がルーブリックで採点され、OpenAIのモデルの難易度や質を測定。特に、意図的な敵対的検証が含まれた例もあり、最も高いスコアを取得したのはGPT-5.4で、多くのモデルや人間の医師を上回る。これにより、医療AIコミュニティが臨床タスクの進展を追跡し、信頼できるシステムの構築を支援することを目指す。 Comment

関連:
- [Paper Note] HealthBench: Evaluating Large Language Models Towards Improved Human Health, Rahul K. Arora+, arXiv'25, 2025.05




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #Security #Environment Issue Date: 2026-06-27 GPT Summary- 悪用は段階的な進展を伴う能力であり、従来のLLMセキュリティベンチマークが二値的結果に依存することに問題がある。本研究では、16の測定可能なフラグによる能力評価型ベンチマークであるExploitBenchを提案し、様々な悪用技術を評価する。V8の41件のバグに適用した結果、公開されているモデルとプライベートモデルとの間に能力の顕著な差を確認。特に、プライベートモデルでは任意コード実行が観測され、堅牢化されたターゲットに対する悪用能力の構築が新たな重要性を持つことを示唆している。 Comment

github: https://github.com/exploitbench/exploitbench




Paper/Blog Link My Issue
#NLP #AIAgents #Planning #Evaluation #LongHorizon #Author Thread-Post Issue Date: 2026-06-26 GPT Summary- 経済システムにおけるLLMエージェントの性能評価が重要になっている中、CoffeeBenchを導入。これは長期的なマルチエージェント経済でLLMを評価するベンチマークで、農家、焙煎業者、小売業者が90日間自律的に運営し、累積純利益を最大化を目指す。多数のモデルが受動的ベースラインを超えて正の純利益を達成し、高性能モデルはより積極的なコミュニケーションを示す一方で、一部モデルは不作為に陥る行動を観察。今後の研究のために、コードとエージェントの軌跡が公開される。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] CEO-Bench: Can Agents Play the Long Game?, Haozhe Chen+, arXiv'26, 2026.06
- [Paper Note] $\texttt{YC-Bench}$: Benchmarking AI Agents for Long-Term Planning and Consistent Execution, Muyu He+, arXiv'26, 2026.04




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #SyntheticData #SelfImprovement #PostTraining #read-later #Selected Papers/Blogs #Data #autoresearch/RSI #Author Thread-Post Issue Date: 2026-06-26 GPT Summary- データサイエンティストとして機能するAIエージェントの一般的手法Autodataを提案。エージェントはメタ最適化を通じて高品質な訓練データを生成。計算機科学や法的推論、数学を用いた実験で、従来の手法と比較して性能向上を確認。エージェントのメタ最適化がさらなる改善をもたらし、高品質なモデル訓練を支援する可能性を示唆。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #LowResource #Author Thread-Post Issue Date: 2026-06-25 GPT Summary- FP4トレーニングはLLMのメモリと計算コストを削減するが、現行のE2M1フォーマットは収縮バイアスによる不安定性を引き起こす。本研究は、非均一フォーマットの限界を明らかにし、一様グリッドの使用がこの問題を回避できることを示す。新たに提案する一様4ビット訓練レシピUFP4は、既存のE2M1よりも訓練の損失劣化を低く抑え、将来的なアクセラレータには一様4ビットグリッドが必要であると提言する。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#AIAgents #Data #Author Thread-Post Issue Date: 2026-06-25 GPT Summary- エージェント性を持つ言語モデルの訓練データを公開するOT-Agentプロジェクトが、データキュレーションの重要性に対応。100件以上のアブレーション実験を通じ、タスクソースと多様性の影響を分析。10万件の例を使用してQwen3-32Bをファインチューニングし、七つのベンチマークで平均正解率を44.8%に向上。訓練データは強いスケーリング特性を示し、他のオープンデータセットを超える結果を記録。データセットやパイプラインはopenthoughts.aiで公開し、今後の研究を支援。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #Game Issue Date: 2026-06-22 GPT Summary- ゲーム生成は、自然言語仕様を対話的システムに変換する新しいコーディングエージェントの応用であり、ゲームエンジン内で一貫したプレイ体験を作成する必要があります。本研究では、エンドツーエンドのゲーム生成を、プレイヤーとゲームの相互作用を通じて完全なゲームアーティファクトを作成する問題として定義し、評価基準としてエンジンの基盤付け、アーティファクトの完成度、対話的検証を提案します。GameCraft-Benchという評価フレームワークを構築し、15のゲームファミリーの140のタスクをベンチマークとして使用しました。その結果、最先端のコーディングエージェントは依然として高い難易度を示し、最良のエージェントでも41.46%の得点に留まり、多くのエージェントが40%未満の結果にとどまっています。また、エージェントは機械的には実装可能でも、十分な内容やビジュアルフィードバックを備えた完全なゲームを提供するのに苦労しています。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #MachineLearning #NLP #read-later #Selected Papers/Blogs #RecurrentModels Issue Date: 2026-06-22 GPT Summary- 非線形RNNの訓練には、Supervised Memory Training(SMT)を提案。SMTは逐次的なクレジット伝播を避け、1ステップの記憶遷移を監視学習に還元。未来予測に必要な過去の情報のみを保持し、安定した長さO(1)の勾配パスで時間的並列訓練を実現。言語モデリングやピクセル系列モデリングでBPTTを上回る性能を示し、長距離依存性の把握やモデルのスケーリングを促進する可能性がある。 Comment

元ポスト:

Loading…

所見:

Loading…




Paper/Blog Link My Issue
#Analysis #NLP #Attention #LongContext #PositionalEncoding #Initial Impression Notes Issue Date: 2026-06-22 GPT Summary- ハイブリッドアーキテクチャにおける効率的アテンションモジュールの影響を、スケーリング挙動、メカニズム分析、アーキテクチャ設計の観点から体系的に分析。効率的アテンションは長い文脈能力の出現速度に影響するが、最終的には同等の性能へ収束。長距離検索はフルアテンションによるもので、効率的アテンションがその最適化を形作る。“Large-Window Laziness”という現象を説明し、窓が小さいSWAハイブリッドにNoPEを適用することで長い文脈での性能が向上することを示した。 Comment

元ポスト:

Loading…

SWAにNoPEを組み合わせるとlong contextの性能が改善するようである(Table 2)

解説:

Loading…


SWEのwindowサイズを小さくした方が、full attentionが長距離文脈を学習することを促進する。これは、SWEのwindow幅に存在するcontextで様々な依存関係を処理できるため、full attention側で長距離依存を学習する恩恵が低減するから、ということのようである。




Paper/Blog Link My Issue
#NeuralNetwork #MachineLearning #NLP #Optimizer #read-later #One-Line Notes #Author Thread-Post Issue Date: 2026-06-21 GPT Summary- MDデカップリングを提案し、重み行列の「大きさ」と「方向」を別々に制御することで、訓練ダイナミクスを向上させる。これにより、従来のオプティマイザに依存せず、重み減衰やウォームアップが不要に。また、Adam や Muon において、調整されたベースラインを超える性能を示し、幅広いモデルにおいて一貫した効果を発揮する。 Comment

元ポスト:

Loading…

以下、著者ポストの要約

重み行列にはサイズ(ノルム)と向かう方向(どこをpointするか)があり、同じステップでも重みが小さい時は大きく回転するが、重みが大きいとほとんど回転せず、方向がどれだけ早く変化するかは重みのノルムに依存する。このため、学習中に重みの大きさが調整役になってしまい、学習時の更新幅がLRによって決まるわけではなく、重みの大きさ、weight decayなどの影響によって変化し、学習率が与える影響が間接的なものになってしまう。これを是正するために、NeuralNetworkの重みを固定サイズに保ち(球面上に配置)、方向だけを調整する。

- Fantastic Pretraining Optimizers and Where to Find Them 2.1: Hyperball Optimization, Wen+, 2026.01

と非常に似ているように感じる。




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #One-Line Notes #LongHorizon #Environment #Author Thread-Post Issue Date: 2026-06-21 GPT Summary- CEO-Benchは、言語モデルのエージェントが長期的な視野、ノイズの多い環境での情報取得、適応能力、目標統合を評価するためのシミュレーションである。エージェントは500日間のスタートアップ運営を通じて架空の企業管理を行い、ビジネスデータを分析して戦略を構築。多くのモデルが苦戦する中、Claude Opus 4.8とGPT-5.5のみが初期の課題で成功を収めている。CEO-Benchは持続的な進歩を測定する手段を提供する。 Comment

元ポスト:

Loading…

以下著者ポストの要約

エージェントに1Mドルを与えて仮想環境でスタートアップを500日経営させ、最終的なキャッシュを比較することでエージェントのlong horizonな意思決定、データ分析、コーディング能力を測定する。経営はprogrammableなインタフェースによって実現される。モデルによって挙動が異なり、あるモデルは幅広い戦略を探索するが、あるモデルは受動的な意思決定をしてしまいキャッシュを失う。




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #LLM-as-a-Judge #mid-training #Initial Impression Notes #Author Thread-Post Issue Date: 2026-06-17 GPT Summary- スパース報酬強化学習(RL)は、LLMの推論を向上させる方法だが、成功は基盤モデルの網羅性に依存する。従来の方法では、中間訓練に選ばれた推論軌跡を用いてスキルを教えるが、手動指定が必要であり、そのカバレッジが難しい問題に対して十分かは不明である。新たなアプローチとして、ExpRLは人間作成の質問応答データを用い、参照解を報酬の基盤として扱う。ポリシーは問題プロンプトから推論をサンプリングし、LLM判定者がバックグラウンド報酬を割り当てることで部分的進捗を強化する。ExpRLは、難解な数学的推論タスクにおいて、他手法よりも優れたRLプリミングを実現し、スパース報酬RLの初期化を改善することが示された。 Comment

元ポスト:

Loading…

post-trainingでGRPOをすると、報酬がsparse(モデルが解けない問題に対してはadvanatageがゼロ)となりシグナルが得られない問題があるが、これをmid trainingの段階で参照データをdense報酬のためのscaffoldingとして活用することで、後続のsparseなRLの性能を改善する。どうやらmid trainingの段階で、参照データを与えた(=scaffolding) verifierを用意し、LLM-as-a-Judgeを通じて密な報酬(すなわち、最終的な応答だけでなく途中のtrajectoryの良し悪しからも報酬を得る)を与え、後続のsparseなRLのためのwarmupをする。warmupにはSFTやself-distillationが用いられることが多く、これら手法は基本的には参照データの模倣学習であるため汎化性能を犠牲(i.e., これはらトークンレベルの学習シグナルであらため、自由な探索が抑制されエントロピーが下がる)にしていたが、提案手法ではDense RewardなRLを用いることで探索が促進され(=高いエントロピーが保たれる)warmupが可能となる、という話に見える。




Paper/Blog Link My Issue
#NLP #OpenWeight #Author Thread-Post Issue Date: 2026-06-17 GPT Summary- 効率的なエージェント型知能を目指し、Ling-2.6 と Ring-2.6 のモデルファミリを提案。Ling-2.6 は即時応答に特化し、Ring-2.6 は高度な推論に対応。Ling-2.0 からのアップグレードは、モデルの統一的共同設計によって実現。ハイブリッド線形アテンション設計で長文脈の効率を向上し、出力トークンの能力を最適化。Ring-2.6-1T には強化学習フレームワーク KPop を導入し、エージェント-環境学習を強化。2.6 ファミリはオープンエージェント型システムへの実践的道筋を提供し、全チェックポイントをオープンソース化。 Comment

- inclusionAI: Ling-2.6-flash (free), OpenRouter (InclusionAI), 2026.04
- Ring-2.6-1T, inclusionAI, 2026.05

元ポスト:

Loading…

所見:

Loading…




Paper/Blog Link My Issue
#NLP #Coding #Mathematics #SmallModel #Initial Impression Notes Issue Date: 2026-06-17 GPT Summary- VibeThinker-3Bは3Bパラメータを持つ小型密結合モデルで、検証可能推論の限界を調査します。Spectrum-to-Signalに基づく最適化パイプラインを用い、多ドメイン強化学習や自己蒸留を含むファインチューニングを行い、高度な検証可能タスクでフロンティア級の性能を示します。具体的には、AIME26で94.3点、LiveCodeBench v6で80.2%、LeetCodeコンテストで96.1%の合格率を実現しました。この研究は、コンパクトなモデルがフロンティア性能を持ち得ることを示し、パラメトリック圧縮-カバレッジ仮説を提唱します。 Comment

元ポスト:

Loading…

3Bモデルでもpost trainingによって、100倍以上大きいモデルよりも数学、コーディングなどのドメインでは同等程度の性能に到達できる。ただし、GPQA Diamondのような知識を必要とするタスクの性能は明確に劣る。




Paper/Blog Link My Issue
#Multi #NLP #AIAgents #GenerativeAI Issue Date: 2026-06-15 GPT Summary- 人間レベルのAGIの構築が具体的な目標となり、その影響は広範囲にわたる。報告では、Universal AIへの移行を理論的に論じ、AGIからASIへの4つの経路(スケーリング、パラダイム転換、再帰的改良、マルチエージェント集合)を考察。摩擦やボトルネックに関する具体的な研究課題を提示し、AIの進展が加速する可能性を排除できないと述べ、単一の変革的飛躍よりも連続的な社会変革の可能性を強調。これには学際的な国際協力が不可欠である。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#GraphBased #NLP #Explanation #Reasoning Issue Date: 2026-06-15 GPT Summary- 因果グラフを用いてLLMの推論プロセスを透明にモデル化。四段階の手法で解釈可能な概念を発見し、入力を概念状態へマッピング。反事実補強により因果推定を安定化し、疾病診断や感情分析に適用。結果は因果グラフがLLMの推論と整合する依存関係を捉えていることを示し、説明可能性の基盤を提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #Distillation #On-Policy #Initial Impression Notes Issue Date: 2026-06-15 GPT Summary- オンポリシー蒸留(OPD)は、オンポリシー学生の軌跡と密な教師監督を組み合わせることで進化してきたが、そのモデルパラメータへの影響は不明である。分析の結果、OPDの更新は小さく、層全体にわたって疎で、特にFFNモジュールでの相対変動が顕著であることが分かった。このスパース構造により、特定のサブネットワークのみを訓練することで高い性能を維持できるが、適応的最適化が必要な場合もある。幾何学的には、更新はフルランクだが集中した特徴を持ち、元の重みの主要な特異部分空間から離れた位置に配置されるため、OPDは密な教師監督とは異なる特性を示している。 Comment

元ポスト:

Loading…

OPDはネットワーク全体に対して更新をかけるのではなく、小さなサブネットワーク(主にFFN)に対して更新をかける




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #NeurIPS #read-later #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2026-06-15 GPT Summary- AIシステムはベンチマークで優れた成果を上げているが、現実の経済的価値には繋がっていない。このギャップは評価の問題に起因していると主張し、長期的な実績を伴うAIエージェントを評価する新しいベンチマーク「Agents' Last Exam(ALE)」を紹介。ALEは250名以上の専門家と共に開発され、非物理的産業における1,000超のタスクを網羅。結果はフルパスの平均達成率が1%未満であることを示し、ALEはタスクプールを継続的に拡大し、経済的影響とベンチマークの成功とのギャップを埋める手段として設計されている。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…

ポイント解説:

Loading…

合成データではなく実際にnon-physicalな55の職業によって解かれた1500以上のタスクをverifiableな評価が可能な形式に変換した、データによって構成されたエージェント用のベンチマーク。現実世界の、経済的に価値がある、持続的に取り組まれている専門的なタスクによるエージェントの評価を目的として構築されている。300人以上の100以上の機関の専門家によって構成。

pj page: https://agents-last-exam.org/




Paper/Blog Link My Issue
#NLP #Attention #LongContext #SparseAttention #Initial Impression Notes Issue Date: 2026-06-14 GPT Summary- 大規模言語モデルの超長文脈能力に対応するため、MiniMax Sparse Attention(MSA)を提案。MSAはGrouped Query Attention(GQA)に基づくスパースアテンションで、ブロック単位で効率的な計算を実現。選択されたブロックに対して正確なアテンションを行い、トークンあたりの計算量を大幅に削減。1090億パラメータのモデルで、MSAは性能を保ちながら計算を28.4倍削減し、優れたスピードアップを達成した。詳細な推論カーネルとモデルは公開されている。 Comment

元ポスト:

Loading…

GQAの各グループに対してTopKをサンプリングして利用する




Paper/Blog Link My Issue
#Pretraining #DiffusionModel #read-later #Author Thread-Post Issue Date: 2026-06-11 GPT Summary- DDLMはカテゴリカルなトークンをデノイズしてテキストを生成しますが、連続生成モデルの漂移法をこのアプローチに応用することを検討します。具体的には、TokenDriftを定式化し、ソフトトークン特徴に基づく漂移を行うことで、DDLMの生成品質を改善しました。実験により、TokenDriftが既存の連続ベースラインを上回る成果を示し、生成品質が著しく向上することが確認されました。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Encoder-Decoder #ContextEngineering #One-Line Notes #Compression Issue Date: 2026-06-11 GPT Summary- 長文脈言語モデルの推論ではKVキャッシュの増大がメモリのボトルネックとなるが、従来の圧縮手法はモデルの品質を犠牲にするか、リソースを大量に消費する。そこで、本研究ではエンコーダ-デコーダ圧縮を再検討し、最適な設計と訓練手法を模索。特に、0.6Bエンコーダ・4Bデコーダモデル群を事前学習し、圧縮比1:4、1:8、1:16で性能を向上させるLatent Context Language Models(LCLMs)を提案。LCLMsは効率的な長期エージェントのバックボーンとして機能し、圧縮された文脈から適応的に情報を展開できることを示した。 Comment

元ポスト:

Loading…

input tokenを圧縮し潜在表現にエンコードするencoderを導入し、decoderへ入力するcontextを圧縮する
image




Paper/Blog Link My Issue
#DocumentSummarization #Embeddings #NLP #Decoder #Initial Impression Notes Issue Date: 2026-06-11 GPT Summary- 大規模言語モデルはゼロショット能力に優れるが、テキスト埋め込みベンチマークでは性能が不足している。これは、高頻度トークンの過剰な表現が意味表現の能力を抑制するためと考える。そこで、EmbedFilterを導入し、LLMから生成された埋め込みを洗練させる。具体的には、頻繁なトークンの影響を抑えるためのフィルタリングを行い、意味表現を強化しつつ、埋め込み次元を削減。実験により、EmbedFilterを用いたLLMが、次元削減後もゼロショット性能が向上することを示した。本研究がLLMベースの表現の理解を深め、テキスト埋め込みの改善に寄与することを期待する。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Scaling Sentence Embeddings with Large Language Models, Ting Jiang+, EMNLP'24 Findings, 2023.07
- [Paper Note] Repetition Improves Language Model Embeddings, Jacob Mitchell Springer+, ICLR'25, 2024.02

decoder-onlyモデルからembeddingを取得する際に、高頻度語の成分を除去するフィルタを導入することでembeddingの品質を向上させる




Paper/Blog Link My Issue
#Pretraining #NLP #Scaling Laws #DataMixture #DataRepetition Issue Date: 2026-06-11 GPT Summary- 事前学習データの混合調整には、高品質データの不足が影響し、繰り返しの不一致が主な原因であると示す。高品質データセットの繰り返しレートは、トレーニング予算が拡大するにつれて変化し、最適な混合比を小規模実験で予測できない。サブサンプリング手法を用いることで、この効果を制御可能で、759Mパラメータのモデルにおいて、繰り返し制御により最適解に近づくことを証明。繰り返し制御を行わず同等の精度を達成するには、多くのリソースが必要になる。結果は、繰り返しが混合最適化の重要な要素であることを示唆。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #GenerativeAI Issue Date: 2026-06-11 GPT Summary- AIとハードウェアは密接に結びついて進化しているが、一貫した長期ビジョンが不足している。この断片化は、全体的で持続可能なAIシステムの実現を妨げている。本論文はAIとHWの共設計・共開発のための10年ロードマップを提示し、エネルギー効率やシステム統合を重視してスケーリングを再定義する。AIの効率を1000倍改善し、シームレスなエネルギー配慮型システムを実現することを目指す。最後に、産業界や学術界の具体的な行動項目を示し、AI+HWの共設計が長期的な目標となるよう促進する。 Comment

元ポスト:

Loading…


視野が広がり非常に勉強になる。




Paper/Blog Link My Issue
#Evaluation #Mathematics #read-later Issue Date: 2026-06-11 GPT Summary- 大規模言語モデルは数学的推論で進展を見せているが、既存のベンチマークは協働的な問題解決のプロセスを捉えていない。CrowdMathは、専門家が注釈を付けた進捗チェーンのデータセットで、複数の参加者によるフォーラム形式の議論を追跡している。評価タスクを定義し、6つのモデルが投稿予測で83-88%の精度を示したが、貢献の機能的意義を特定するのは難しく、最良モデルでもマクロF1が0.42にとどまった。CrowdMathは、数学の解決と協働的な進歩の理解のギャップを明らかにしている。 Comment

元ポスト:

Loading…

興味深い




Paper/Blog Link My Issue
#Pretraining #Regularization Issue Date: 2026-06-11 GPT Summary- データ制約下の事前学習を正則化とスケーリングの観点から検討。補助的なトークン予測損失であるMIRを用いることで、モデルの検証損失が改善し、下流タスクでのパフォーマンスが向上。さらに、データの繰り返し使用に対応する新たなスケーリング法SoftQを提案し、データ制約実験において従来手法より優れた結果を示した。

Paper/Blog Link My Issue
#Hallucination #Reasoning #Author Thread-Post Issue Date: 2026-06-11 GPT Summary- 大型推論モデルは、長い推論経路を生成するが、誤った回答やハルシネーションの検出を難しくする。これに対処するために、Answer-agreement Representation Shaping(ARS)を提案。ARSは、回答の安定性をエンコードし、トレース境界を摂動させることで反事実的な回答を生成し、一致する回答を近づける表現を学習。これによりハルシネーションリスクを明らかにする。実験により、ARSは検出精度を向上させ、強力なベースラインを超える改善を示す。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ReinforcementLearning #PostTraining #read-later #Author Thread-Post Issue Date: 2026-06-11 GPT Summary- DRPOは、大規模言語モデル(LLMs)の強化学習における安定性を向上させるための新しい手法。従来のDPPOはハードマスクに依存していたが、DRPOは滑らかなアドバンテージ重み付き二次正則化を用いて、境界を越えた更新に対する補正信号を提供。これにより、ポリシーシフトによる発散的な更新を抑制し、学習効率を高めることを示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Distillation #PostTraining #read-later #On-Policy #Author Thread-Post Issue Date: 2026-06-11 GPT Summary- オンポリシー蒸留(OPD)の背後の構造的原因を「プレフィックス・フェイラー」として特定。これにより、トークンごとの密な教師監督が二峰性の教師混合を生じ、切り捨てや再重み付けでは対処できない問題が発生。これを解決するために、Trajectory-Refined Distillation(TRD)を提案。TRDは、学習者のロールアウトを軌跡レベルで修正し、探索を改善。さまざまなベンチマークで一貫して従来のベースラインを上回り、推論のカバレッジを広げる。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…




Paper/Blog Link My Issue
#Supervised-FineTuning (SFT) #Chain-of-Thought #Reasoning #LongContext #read-later Issue Date: 2026-06-11 GPT Summary- CoT-SFTが長い文脈における検索性能を低下させる問題を発見。特に難しい設定でのHypeNetの性能が著しく落ちるため、W_QとW_KをSFT前の状態に戻すQK-Restoreを提案。これにより、訓練コストゼロで推論性能を改善し、長い文脈の処理能力を回復することができた。例えば、HypeNet-5Bでは性能が65.4%から76.4%へ向上した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ReinforcementLearning #Reasoning #PostTraining #Diversity #Memorization Issue Date: 2026-06-11 GPT Summary- 強化学習においてDiRL(Direction-Aware Reinforcement Learning)を提案し、探索を推論と記憶の方向に規定。これにより、推論に沿った探索を強化し、記憶化を抑える報酬設計を実現。実験により、様々な既存手法よりも顕著な性能向上を確認。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…




Paper/Blog Link My Issue
#read-later #LatentReasoning Issue Date: 2026-06-11 GPT Summary- 長文脈言語モデルの推論におけるKVキャッシュのメモリ問題に対処するため、エンコーダ‐デコーダ圧縮を再検討。設計・訓練した圧縮器は、3500億トークン以上で多様な圧縮比を実現し、Latent Context Language Models(LCLMs)として一般タスク性能や圧縮速度を向上。LCLMsは、エージェントが圧縮された長文脈を適応的に活用できる効率的なバックボーンを提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Test-Time Scaling #reading #One-Line Notes #Clustering-based #Author Thread-Post Issue Date: 2026-06-10 GPT Summary- 生成されたテキスト間の意味的コンセンサスを特定するMode Extraction(ModeX)を提案。評価者なしでBest-of-N選択を実現し、類似度グラフを用いてセントロイドを選択。ModeX-Liteで効率化を図り、テキスト要約やコード生成などのオープンエンドタスクで従来の手法を常に上回る性能を示す。 Comment

元ポスト:

Loading…

outputに対してJaccard係数に基づいてAffinity Graphを構築し、クラスタのセントロイドを求めることで、extrnal verifier無しでBest-of-Nを実現する。

image

Best-of-16でのexternal evaluatorを用いた場合のオラクルスコアを、多くの場合で上回っているように見えるが、なぜこの3つのベンチマークでの評価なのだろうか?(そして文書要約はなぜ表層的なメトリックばかりなのだろうか)。論文中では代表的なタスクである3つのベンチマークで評価したと一言しか書かれていないように見える。
image

もしこれが安定して高い性能を出せるなら、evaluator freeなので非常に強力である。理論的な分析もあるようだが読めていない。覚えておこう。




Paper/Blog Link My Issue
#NLP #Evaluation #read-later #Selected Papers/Blogs #ContinualLearning #Initial Impression Notes Issue Date: 2026-06-07 GPT Summary- 継続学習を評価するための初の専門家検証済みベンチマークであるCL-Benchを紹介。六つの多様な領域を対象に、LLMベースのシステムが経験を通じて改善するかを測定。状態を持つシステムは潜在構造を発見可能で、最先端モデルが継続学習を改善する余地があることが明らかに。専用メモリシステムでも問題は解決されず、シンプルなICLが優位であった。このベンチマークにより、現実世界における継続学習の必要性が強調されている。 Comment

元ポスト:

Loading…

Question (Instance)のSequenceを完了することが求められるContiunual Learningのためのベンチマークで、各instanceは、モデルが事前に知り得ない報告可能な状態を持ち、後続のinstanceは、過去のinstanceの結果(experience)を用いなければならない。また、最終的に、Databaseのmigrationを通じて過去のexperienceを適用不可能にし、このような状況にも柔軟に対応可能な能力も評価する、という話に見える。
image




Paper/Blog Link My Issue
#NLP #Chain-of-Thought #Evaluation #Reasoning #Initial Impression Notes Issue Date: 2026-06-06 GPT Summary- 推論モデルの評価には、正確性やトークン数だけでなく、推論構造の理解が重要である。これに応じて、論理パズルのためのスケーラブルな評価ベンチマークと、非構造化推論を検証可能な推論グラフに変換するパイプラインを導入。これにより、推論の構造化と定量的分析が可能となり、論理的流れの集中度を測る指標を定義。分析は、構造的測定が正確性とトークン数の混同を解消し、故障モードの診断やパズルの難易度との関係を比較するのに役立つことを示した。 Comment

元ポスト:

Loading…

LLMのReasoning Traceをverifiableなグラフ構造に変換し、Reasoningを評価可能にする

image




Paper/Blog Link My Issue
#RecommenderSystems #Pretraining #Supervised-FineTuning (SFT) #ReinforcementLearning #GenerativeRecommendation #PostTraining #read-later #Initial Impression Notes Issue Date: 2026-06-05 GPT Summary- OneRecファミリーの生成型推奨モデルは多くのサービスで利用されていますが、アイテムを表すトークンから有意義なCoTシーケンスを構築するのが困難です。この課題を克服するため、推論能力を探索する予備研究(OneRec-Think、OpenOneRec)を実施しましたが、思考モードが必ずしも優位であるとは限らないことが判明しました。推奨の効果的な推論には知覚と認知の二つの要因が重要であると考え、OneReasonを提案します。具体的には、強力なアイテム的トークン知覚、三レベルの認知強化CoT形式、“専門化→統合”の学習レシピを用いて思考能力を高めます。 Comment

元ポスト:

Loading…

事前学習/SFT/RLといった現在主流なLLMの学習パイプラインをGenerative Recommender Systemsに適用したモデルのようで、
ItemIDのトークンの意味を理解させるための事前学習等を実施している点が興味深い。

image




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #PostTraining #TextualFeedback Issue Date: 2026-06-05 GPT Summary- 強化学習(RLVR)は進化しているものの、依然として狭い範囲に留まっている。本研究では、豊富なフィードバックを古典的な模倣学習アルゴリズムDAggerを通じて活用し、専門家分布にアクセスする手法を検討する。順方向クロスエントロピーは単調なポリシー改善を促し、後悔に関する保証を提供するとともに、教師重み付き成功の尤度を最適化する。実験結果として、DistILアプローチが科学的推論や数学問題解法においてRLVRや自己蒸留のベースラインを上回ることを示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #OpenWeight #MoE(Mixture-of-Experts) Issue Date: 2026-06-05 GPT Summary- Mellum 2は、ソフトウェアエンジニアリング向けの12BパラメータMoE言語モデルで、トークンあたり2.5Bのアクティブパラメータを有する。主な機能としてコード生成やデバッグ、マルチステップ推論をサポートし、64エキスパートのMixture-of-Expertsアーキテクチャを基盤にしている。また、事前学習には約10.6兆トークンを用いた3段階のカリキュラムを採用し、二段階のポスト訓練によりInstructモデルとThinkingモデルの二つのバリアントが開発された。Mellum 2は、オープンウェイトベースラインと競合しつつ効率的な計算を実現している。 Comment

HF: https://huggingface.co/collections/JetBrains/mellum-2




Paper/Blog Link My Issue
#Pretraining #GraphBased #NLP #DataFiltering Issue Date: 2026-06-05 GPT Summary- マルチドメイングラフ事前学習の冗長性に対処するため、境界意識的サブグラフ混合と階層的識別を組み合わせたフレームワークMDGMIXを提案。MDGMIXは、難易度の高いサブグラフを構築し、共有パターンを識別。少数ショット分類タスクでベースラインを上回り、効率性も向上。コードは公開済み。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #Transformer #Attention #Architecture #ConvolutionalModels #Author Thread-Post Issue Date: 2026-06-05 GPT Summary- 動的ショート畳み込みをトランスフォーマーに導入し、静的畳み込みの局所性バイアスを維持しつつ表現力を向上。実験により、動的畳み込みが高難度の連想想起タスクでの性能を向上させ、標準トランスフォーマーを一貫して上回ることを示した。計算量に対する優位性も確認され、効率的なトレーニングを実現するカスタムTritonカーネルを提供。動的ショート畳み込みはトランスフォーマー技術の進展に寄与することを示唆している。 Comment

元ポスト:

Loading…

所見:

Loading…

所見:

Loading…


関連:
- [Paper Note] Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers, Zeyuan Allen-Zhu+, ICML'24 Tutorial




Paper/Blog Link My Issue
#NLP #Search #SelfImprovement #PostTraining #Author Thread-Post Issue Date: 2026-06-05 GPT Summary- Bidirectional Evolutionary Search(BES)は、自己改善する言語モデルの探索フレームワークとして提案されている。前方探索で進化演算子を使用して新しい候補を生成し、後方探索でタスクをサブゴールに分解し、密なフィードバックを提供する。これにより、狭いエントロピー領域から脱出し、必要なサンプル数を指数的に削減可能。実験では、BESが既存の事後学習アルゴリズムを上回る結果を示し、オープン問題解決ベンチマークで優れた性能を発揮することが確認された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #Distillation #PostTraining #On-Policy #Stability #One-Line Notes #LongHorizon #Author Thread-Post Issue Date: 2026-06-05 GPT Summary- オンポリシー蒸留(OPD)は、モデルから小型学生モデルへの能力移転に成功しているが、マルチターンエージェント設定では十分に検討されていない。本研究では、OPDの課題としてKL不安定性を特定し、これが学生モデルの訓練を不安定にさせる主な要因となることを示す。これを解決するために、時間的カリキュラム・オンポリシー蒸留(TCOD)を提案し、短いから長い軌跡への段階的な拡張を行う。実験により、TCODはKLの安定性を向上させ、従来のOPDより最大18ポイントの性能向上を実現することが確認された。 Comment

元ポスト:

Loading…

multi-turn/long-horizonな設定でのOPD手法。multi-turnな設定の場合、教師モデルへのcontextにエラーが蓄積されていき徐々に教師モデルのsignalの信頼性が低下する問題があり、これに対処するためにOPDを適用するtrajectoryのターン数を序盤は短く、徐々に長くしていくようなカリキュラムで学習をする手法を提案。ターン数を深くする方向として、Forward-to-Backward/Backward-to-Forwardの2種類のシンプルな手法を用いて実験をしている。

image




Paper/Blog Link My Issue
#Pretraining #NLP #Author Thread-Post Issue Date: 2026-06-05 GPT Summary- マルチエポック学習が一般的になる中、単一モデルの飽和問題を解決するため、モデル集団の探索と予測統合への転換を提案。ハイパーエポック事前学習(q0)を導入し、マルチエポック予算を多様なモデルへ変換、これにより検証損失が低下。q0は三つのコアプリミティブ(反相関学習、チェーン蒸留、学習済み分布の適合)に基づく。18億パラメータモデルで約56エポックで強力な256エポック基準に匹敵する性能を達成し、データ効率を約12.9倍向上。予算に応じた最適なエポック使用法を提示。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #Distillation #PostTraining #On-Policy #SelfDistillation #Author Thread-Post Issue Date: 2026-06-04 GPT Summary- オンポリシー自己蒸留は、言語モデルが自身の生成を特権的文脈で監督する手法で、スパース報酬強化学習に対する密な監督信号を提供する。これを逆Kullback–Leibler発散損失で具現化し、自己蒸留型方策勾配フレームワークSDPGを提案。SDPGはグループ相対検証やKL正則化を活用し、従来のベースラインよりも安定性と性能を向上させる。コードは公開されている。 Comment

元ポスト:
-

Loading…

-
Loading…




Paper/Blog Link My Issue
#Analysis #NLP #Distillation #SubliminalLearning #One-Line Notes #Steering #Author Thread-Post Issue Date: 2026-06-04 GPT Summary- 潜在的学習とは、学生の言語モデルが教師の特性を微調整することで獲得される現象であり、意味を持たないデータから特定の特徴が伝達される仕組みは未解明である。本研究では、潜在的学習がステアリングベクトルによって媒介されることを示し、教師のプロンプトがこのベクトルによく近似され、学生が整合したベクトルを学習することを発見した。ステアリングベクトルに近似されないプロンプトは学習されないことも示され、その影響がモデルの活性化に及ぶことを明らかにした。潜在的学習には適応型オプティマイザが必要であり、勾配の一貫性が成果に影響を与えることが確認された。 Comment

元ポスト:

Loading…

Subliminal Learning:
- [Paper Note] Subliminal Learning: Language models transmit behavioral traits via hidden signals in data, Alex Cloud+, arXiv'25

Subliminal Learningが生じるのは、教師モデルが生成したデータを通じて生徒モデルが残差ストリームに対するsteering vectorが蒸留されるからであり、教師モデルが生成した何らかのデータを通じて教師モデルと同じ方向にactivationが誘導されるようになるため、という説明のようである。また、subliminal learningが生じるためにはAdamのような適応的なoptimiserが必要で(外れ値の勾配が支配的にならないため)、LoRAのような低ランクでのファインチューニングで生じやすく、フルファインチューニングでは発生しづらいとのこと。

また、細かく読めていないが、16種類の動物に関する特性に関する残差ストリームのsteering vectorを抽出し実験をした結果、steeringは実験の結果モデル間の転移は弱く、モデルアーキテクチャが共通の場合にうまく転移することが示され、このことから、モデル固有のsteering方向に依存することが示唆されるようである。
image




Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #LatentReasoning #One-Line Notes #Author Thread-Post Issue Date: 2026-06-03 GPT Summary- 大規模言語モデルの推論能力を向上させるために、自己回帰的生成の代わりに作業記憶ブロックを採用するReasoning in Memory(RiM)が提案される。これにより、内部計算と外部通信の混同を回避し、計算効率の高い潜在推論を実現。2段階のカリキュラムを用いて、まず推論ステップを予測し、その後最終回答の洗練を行う。実験により、RiMが既存の方法と同等かそれ以上の性能を示すことが確認され、作業記憶が潜在推論の有効なメカニズムとして機能する可能性が示された。 Comment

元ポスト:

Loading…

元ポストのgifが端的にアーキテクチャを示しており非常にわかりやすい。

メモリブロックと呼ばれるboundaryトークン ``とm個のメモリトークン``を追加で入力する事で、latencyを劣化させることなくLLMの内部状態を更新(latent reasoning)する手法で、単にメモリブロックを追加するだけではうまくLLMは扱えないので、メモリブロックを用いた推論方法を学習させる、という話に見える。

image




Paper/Blog Link My Issue
#NLP #ReinforcementLearning #Evaluation #PostTraining #GPUKernel #Author Thread-Post Issue Date: 2026-06-03 GPT Summary- 提案された方法は、LLMを用いてGPUカーネルの性能を予測し、評価コストを削減することを目指す。LLMがカーネルの真の性能を正確に予測できれば、GPUによる評価を選択的に行える。強化学習を活用することで予測の精度を向上させ、結果として同一のGPU評価予算でより多くの候補を検討し、高速なカーネルを見つけられる。これはLLMがカーネル最適化において重要な役割を果たす可能性を示唆している。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NLP #AIAgents #Evaluation #MultiModal #Selected Papers/Blogs #memory #interactive #KeyPoint Notes #Reading Reflections #Author Thread-Post #AgentHarness Issue Date: 2026-06-03 GPT Summary- マルチモーダル大規模言語モデルが長期エージェントとして機能するためには、記憶が進化する世界に適応し、適切な証拠を提示する必要がある。しかし、従来のベンチマークは静的なリコールに依存しており、記憶の生成における失敗を特定できない。これに対して、我々は記憶を「アクション-ワールド・インタラクション・ループ」として定式化し、WorldMemArenaを実装。ここでは、400件のマルチセッション・マルチモーダルタスクを通じて、記憶の診断が可能となる。結果として、記憶書き込みは必ずしも性能向上に繋がらず、視覚的証拠の活用が依然として困難であることが示された。また、エージェントの実行はドメインを跨いで不安定で、コストと信頼性のトレードオフが浮き彫りになった。 Comment

元ポスト:

Loading…

著者ポスト2:

Loading…

以下著者ポストの要約

既存のメモリに関するベンチマークは、「静的な環境」において過去のコンテキストから情報を「復元」できるかをテストしているが、それを超えて、
- Lifelong Evolution(動的): ユーザとプロジェクトの状態が変化する世界において、
- Agentic Execution(書き込み・維持・検索・活用): エージェントが観測結果、アクション、ツール実行結果、環境の変化から再利用可能なメモリを構築できるか

をカバーするベンチマークを構築。ベンチマークは461個の複数セッション・マルチモーダルなタスクが含まれ24k QAペア・15kの画像・スクリーンショット、高速な評価のための150サンプルによるサブセットによって構成される。

image

評価では、
- long-contextのエージェントのcontextに入れ込むメモリ
- 人間がデザインしたメモリ(RAG, メモリパイプライン等)、
- agent harnessがメモリ管理をするタイプのagent

の3種類を評価。

image

- Takeaway
- メモリへの書き込みの品質が高くても、必ずしもエージェントがうまく活用できるとは限らない
- 現在の手法ではマルチモーダルな情報に対するメモリはまだ困難で、視覚的/空間的/手続き的な情報を失う
- 重要な情報がアクション、フィードバック、スクリーンショット、状態の更新等に分散している場合にメモリは劣化し、これは現在の多くのシステムが整理されたテキストベースの履歴を扱うことに長けている一方で、実際のinteractionのtrajectoryから情報を抽出・更新・再利用することには課題があることを示唆
- agent harnessに基づくメモリはinteraction中に自動的にメモリが記録・抽出・推敲されるため柔軟性が高く有望なアプローチだが、harness designに性能が依存するため、 性能が不安定

評価結果を見ると、一言にメモリと言っても多様な観点からmetricsが定義でき、手法によって性能に大きな開きがある点や実用的な観点の実験設定となっており興味深い。様々な要素が関わってくるため、一概にこの手法が良いというのもあまり言えなさそうに見える。あとなんやかんやRAGが全体的に性能が良さそうに見えるが、結果の解釈が難しく、何らかの単一の尺度などに押し込めたりしないだろうか。

pj page: https://worldmemarena-mem.github.io/




Paper/Blog Link My Issue
#NLP #Distillation #PostTraining #On-Policy #Initial Impression Notes #Author Thread-Post Issue Date: 2026-06-03 GPT Summary- ロジットを用いずにチャンクレベルの監督信号で教師からのフィードバックを利用する新しいフレームワーク、OmniOPDを提案。これにより、教師モデルへのアクセス制限とトークンレベル信号の脆弱性の問題を解決。ベンチマークにおいて、OmniOPDは標準OPDを最大+28.64%上回り、高い不確実性の場面でのみ監査するよう設計されている。また、より強力なブラックボックス型教師を用いた場合には、オープンウェイト教師に対してさらに+9.54%の向上を示し、自律的な強化学習の性能を超える結果をもたらした。 Comment

元ポスト:

Loading…

大抵のProprietaryモデルは出力から競合となるモデルを学習することを禁止していると思うのだが、果たして




Paper/Blog Link My Issue
#NLP #Dataset #Evaluation #read-later #Selected Papers/Blogs #Initial Impression Notes #Environment #Author Thread-Post Issue Date: 2026-05-31 GPT Summary- 現代のAIベンチマークでは、複雑なタスクが多く含まれ、人間の注釈では検知が難しい問題が存在します。これを解決するために、Auto Benchmark Audit(ABA)を導入し、168のベンチマークを調査。ABAは、あいまいなタスク設計や実行環境の衝突など、25.7%以上のタスクで重大な問題を特定。問題のあるタスクがモデル評価を歪めることを示し、除外することでパフォーマンスが9.9%及び9.6%向上することを確認。今後のベンチマーク発展のため、これらのツールとタスク注釈を公開します。 Comment

元ポスト:

Loading…

既存のベンチマークを
- 指示の曖昧性
- 環境に内包される問題(競合や依存関係の問題)
- 評価の品質

の観点から監査するAudit Agentの提案
image




Paper/Blog Link My Issue
#NLP #AIAgents #read-later #Selected Papers/Blogs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-05-31 GPT Summary- エージェントのリソース消費に対し、コストを実行後にのみ測定するのではなく、予算を積極的な制御信号として扱うべきと提案。予算は内部(計算由来)と外部(行動由来)に分け、エージェントは各計画ステップで残り予算の予測と警告を行う。評価では、強力なエージェントが必ずしも予算意識を持たず、過度に楽観的な傾向が見られた。予算意識信号は訓練可能で、早期停止により失敗したトークンを28〜64%削減でき、SFT+RLがその効果を強化。しかし、正確な区間のキャリブレーションは依然難しい。 Comment

pj page: https://ragen-ai.github.io/bagen/

元ポスト:

Loading…

以下著者ポストと論文のskim readによるサマリ(読み違えがあるかもしれないので注意)

LLM/AI Agentがbudget(あとどの程度のトークンでタスクを完了できるかの見積もり)を考慮して生成できているか否かを明らかにし、性能とトークン予算の性能は必ずしも相関しないことを示し(現在のフロンティアモデルはトークン予算に対して楽観的で、トークン予算があまり残っていないのに不必要に多くのトークンを消費する)、与えらえたトークン予算に関して、タスクを実現できるか否かの2値分類ははSFTによって強化できる(Qwen-7Bにおいて25.5%->90%まで向上)が、SFT+RLによって正確な残りの予算のrangeを当てるような推論は47%程度で頭打ちで課題が残る、という話に見える。興味深い。




Paper/Blog Link My Issue
#Analysis #NLP #Chain-of-Thought #Reasoning #Overthinking #Author Thread-Post Issue Date: 2026-05-31 GPT Summary- ReasonOpsは、チェーン・オブ・ソートの痕跡を分析するための教師なし手法であり、推論の過程を注釈付けするための普遍的な演算子を提供します。12のモデルから44,662の痕跡を分析した結果、共通の構成的な構造が明らかになりました。特に、バックトラッキングや仮説設定などの再発する演算子が全モデルに見られ、内省的演算子は難問でより効果的であることが示されました。演算子のシーケンスを用いることでモデルの高精度な識別が可能になり、早期の品質推定も実現しました。ReasonOpsは、LLMの推論痕跡に対する深いインサイトを提供し、性能予測の強化に寄与します。 Comment

元ポスト:

Loading…