NLP (4445) — 2/23


Paper/Blog Link My Issue
#EfficiencyImprovement #Decoding #Selected Papers/Blogs #On-Policy #SpeculativeDecoding #Initial Impression Notes Issue Date: 2026-08-27 GPT Summary- スペキュレーティブデコーディングでは、ターゲットモデルと軽量ドラフトモデルを組み合わせ、ドラフトモデルの提案を並行して検証し、推論を高速化する。しかし、監督付きファインチューニング(SFT)は頭打ちになることが観察され、オフラインから推論へのミスマッチが問題を引き起こす。これに対処するため、オンポリシー蒸留(OPD)の必要性が生まれるが、ドラフトモデルの展開には困難が残る。そこで、Draft-OPDを提案し、提案されたブロックの評価からフィードバックを学習し、推測的受諾を制限することに集中する。実験により、Draft-OPDは多様なタスクにおいて大幅な速度向上を達成し、EAGLE-3およびDFlashを上回る結果を示した。 Comment

元ポスト:

Loading…

draft modelは基本的にtarget modelからサンプリングされたtrajectoryに対するofflineのSFTやdistillation(オフポリシー)によって学習されるが、これをオンポリシーにすることでSpeculative DecodingのAccepted Length(ドラフトモデルが生成したトークンが受理されるトークンの長さ)を上げたいという話のようである。

Figure 1に示されている通り、SFTではAccept Lengthがすぐに頭打ちになってしまうことが課題で、この原因としてSFTの学習データがオフラインであるのに対し、推論時に実際に与えられるトークン分布の分布で学習されているわけではないことを指摘している。つまり、学習時と推論時の分布にgapが存在することを指摘。

image

素朴にこれを解決するためには、オンポリシーにdraft modelを学習することが考えられるが、
- (Figure 2 (a)) draft modelにロールアウトをさせると、draft modelはブロック単位の生成を前提としているため、全軌跡を生成するとrepetitionや低品質やサンプルが生成され、target modelで監督をしたとしても信頼性が損なわれる
- (Figure 2 (b)) ではブロック単位でtarget modelのsupervisionを入れると、そもそも前ブロックでのdraft modelの失敗がtarget modelによって補正されてしまうため、on-policy学習によって得たかった「draft modelのエラーに基づいた分布で学習する」ことができず、実質的にoff-policyになる

という課題を指摘している。興味深い。
image




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #SelfImprovement #Initial Impression Notes #AgentHarness Issue Date: 2026-08-27 GPT Summary- ハーネス最適化を効率化するために、適応的検証タスク選択の新手法Task-CoEvolveを提案。ハーネスが評価コストを削減しつつ進化する中で、情報量の多いタスクの選択と部分評価から性能推定を行います。Task-CoEvolveは、エージェントの能力境界付近のタスクに重点を置き、固定サブセットのベースラインを上回りつつ、評価回数を80%削減する効果を実験で示しました。コードは公開予定です。 Comment

元ポスト:

Loading…

ハーネスを最適化する際に、すべてのタスクで評価をするのではなく、効果が高いものを選択し効率化する、という話に見える。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #LongHorizon #Initial Impression Notes #autoresearch/RSI Issue Date: 2026-08-25 GPT Summary- エージェント性を持つシステムはAI研究の自動化を進めているが、研究目的を実験的に検証されたMLシステムに変換することは依然として課題である。これを「長期的なML研究エンジニアリング」として研究し、マルチエージェントシステムAiScientistを紹介。File-as-Busワークスペースを通じて研究チームが協調し、進捗を管理。PaperBenchではGemini-3-FlashおよびGLM-5を用い、それぞれ9.92点と11.15点の改善を達成。MLE-Bench Liteでも両方のバックボーンが81.82 Any Medal%を達成し、強力な基準を上回る改善を示した。アブレーション実験は、プロジェクトの耐久性が後の改良に重要であることを明らかにし、システム的な進捗維持の重要性を示唆している。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents, Jenny Zhang+, ICLR'26, 2025.05
- [Paper Note] PARC: An Autonomous Self-Reflective Coding Agent for Robust Execution of Long-Horizon Tasks, Yuki Orimo+, arXiv'25, 2025.12
- [Paper Note] Argus: A General-Purpose Agentic Runtime for Long-Horizon Reasoning, Boxiu Li+, arXiv'26, 2026.08
- [Paper Note] InfiAgent: An Infinite-Horizon Framework for General-Purpose Autonomous Agents, Chenglin Yu+, arXiv'26, 2026.01
- [Paper Note] Tycho: Active Abstraction with Programmatic World Models for ARC-AGI-3, Jens Lehmann+, arXiv'26, 2026.07
- [Paper Note] AVO: Agentic Variation Operators for Autonomous Evolutionary Search, Terry Chen+, arXiv'26, 2026.03

Orchestratorは簡潔な情報に基づいて個々のWorkerを制御し、Workerはファイルシステム上に残された詳細な情報にアクセスできるようにするようなアーキテクチャ

image




Paper/Blog Link My Issue
#Analysis #LanguageModel #LLMServing #Author Thread-Post Issue Date: 2026-08-25 GPT Summary- LLM提供ワークロードの長期的観察を行い、1年間の実際のトレースを分析して、モデルとユーザーの相互作用を明らかにする。多様なモデルを含む全体的な運用行動を捉え、ワークロードの進化や構造を示し、今後の研究に役立つトレースデータを公開。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #PostTraining #autoresearch/RSI #Creativity Issue Date: 2026-08-24 GPT Summary- LLMエージェントは、訓練戦略の内部で反復しながら事後訓練を行い、下流の性能を改善する能力を持つ。しかし、実際には初期の戦略が固定され、訓練後は局所的な調整に陥ることが多い。これに対し、経験駆動のアプローチは実行力を向上させ、指導は初期戦略を効果的に再指向するが、その後の調整は不十分である。重要なのは、エージェントが自発的に戦略を再評価する仕組みが欠けていることである。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #Coding #SoftwareEngineering #Science Issue Date: 2026-08-22 GPT Summary- 科学機器の一部として機能するソフトウェアにおいて、コーディングエージェントの評価は成功率に偏りがあり、失敗原因の把握が不十分である。SWE-bench Scienceは20の科学分野にわたる119のタスクを含むベンチマークで、課題駆動型などに分類される。最も高性能なエージェントでさえ50%未満の成功率で、科学ソフトウェア工学の課題が明らかになった。四つの失敗メカニズムを特定し、科学的知識が一様に有益ではないことを示す実験を行った結果、整合性の取れない指針が修復を妨げる可能性があることが判明。SWE-bench Scienceは、コーディングエージェントの能力と失敗を理解するための広範なテストベッドを提供する。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #SelfImprovement #autoresearch/RSI #Author Thread-Post #Creativity Issue Date: 2026-08-22 GPT Summary- 再帰的自己改善(RSI)に関する本研究は、AIシステムが他のAIシステムを自ら改善できるかを探求し、その過程として訓練アルゴリズムの設計が鍵となることを示す。AI4AI-Benchという新たなベンチマークを提示し、エージェントが訓練アルゴリズムを最適化する能力を評価。各タスクにおいてエージェントはコードを書き換え、実行結果を比較。平均スコアは0.166、最良システムで0.250に達したが、既存アルゴリズムとの距離は依然として大きい。タスク群や評価結果を公開し、再現性のある測定を可能にする。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #Dataset #Architecture #read-later #Selected Papers/Blogs #Robotics #VisionLanguageActionModel #EmbodiedAI #Initial Impression Notes #Author Thread-Post Issue Date: 2026-08-22 GPT Summary- 触覚信号に動的に反応する能力は人間レベルの器用さに不可欠だが、現代のVLAモデルは触覚を軽視する傾向がある。本研究では、触覚反応型操作の向上に向け、100時間の触覚データセットを収集し、新しい時系列触覚VQ-VAEエンコーダと可変レートのMixture-of-Transformersアーキテクチャを提案。12の操作タスクで触覚反応ポリシーの有効性を証明し、最強ベースラインの成功率を30%以上向上させた。 Comment

元ポスト:

Loading…

pj page: https://tactile-reactive-dexterous.github.io/

ロボットの触覚の制御に特化した大規模でオープンなデータとアーキテクチャの提案に見え、卵を掴んで移動させるデモなどが元ポストに掲載されている。

スーパーサイヤ人になった悟空が食器を掴んだけど力が強すぎて割ってしまう、みたいなアニメのシーンをふと思い出したけど(セル編だった気がするけど実際にそのようなシーンがあったかはわからない)、実際調理ロボットが卵を掴んで運ぶ前に握り潰してしまったらだいぶ悲しいので、触覚は非常に重要なモダリティと思われる(小並感)。




Paper/Blog Link My Issue
#Pretraining #LanguageModel #HyperparameterTransfer #Scalability Issue Date: 2026-08-22 GPT Summary- MoEアーキテクチャを用いたハイパーパラメータ最適化のため、計算効率の高い2段階フレームワークを提案。幅のスケーリングとトークン次元に沿った転移を通じて最適な学習率を推定し、小型モデルの結果を基に大規模訓練に対する理想的な学習率を高忠実度で外挿。結果として、155Bの基盤モデルの事前訓練を行い、最適構成を精度高く予測できることを示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#AIAgents #GenerativeAI #Mathematics #read-later #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-08-22 GPT Summary- AIツールの登場に対する数学コミュニティの対処法を論じるエッセイ。これらのツールの能力を議論するのではなく、数学研究の目標と価値を再検討することに焦点を当て、問題解決の要素をケーススタディとして用いる。 Comment

元ポスト:

Loading…

(数学に限らず)AI時代との向き合い方を考える上で重要に見える




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #ScientificDiscovery #read-later #Author Thread-Post Issue Date: 2026-08-20 GPT Summary- Apodex Discoveryは、重厚なソルバーを用いて発見的AIを構築・評価するためのフレームワーク。16の産業から423の実世界の課題を収集し、20件を初期リリースに選定。共通環境の抽象化により、データや成果物の検証が可能。AAVカプシド設計では7%の性能向上を達成し、薬物の再利用でもスコアが改善。ApodexはAI評価を超え、真の発見を目指す検証可能な調査を可能にする。 Comment

元ポスト:

Loading…

所見:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Distillation #PostTraining #read-later #Selected Papers/Blogs #Reproducibility #On-Policy Issue Date: 2026-08-20 GPT Summary- マルチティーチャーオンポリシー蒸留(M-OPD)は、強化学習エキスパートを統合する新たなアプローチとして注目されているが、その最適化ダイナミクスは未解明である。本研究では、oracleルーティングを用いたM-OPDベンチマークを設立し、能力統合のギャップを分析。標準M-OPDは、理想的なルーティングに対して35.6%の性能しか示さないことが判明し、特に簡潔なタスクでの劣化が顕著である。この問題は、トークンレベルの最適化におけるミスに起因し、3つの要因によって悪化する。これらを解決するために、Open-MOPDという新しいフレームワークを提案し、ドメインバランスの回復率を35.6%から83.4%に向上させることに成功した。全てのプロセスをオープンソース化し、広く利用可能にした。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Architecture #read-later #Author Thread-Post Issue Date: 2026-08-20 GPT Summary- 階層的に構築された単一のネスト型アーキテクチャを用いて、サブモデルの訓練効率を向上。マトリョーシュカ訓練フレームワークでは、パラメータ数を削減し、サブモデルの低コストな蒸留が可能。5億、15億、30億のサブモデルからなるスイートを訓練し、性能は独立訓練モデルと同等ながら計算量を36%削減、推測的デコーディングのスループットを14~26%向上。アーキテクチャ選択のアブレーション結果も示す。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Efficient Construction of Model Family through Progressive Training Using Model Expansion, Kazuki Yano+, COLM'25, 2025.04

上記研究とどの点が異なるのだろうか?

ポイント解説:

Loading…




Paper/Blog Link My Issue
#Analysis #Pretraining #LanguageModel #read-later #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-08-18 GPT Summary- LITTLECURRICULUMを用いて、米国の小学校教材に基づく880億トークンからなる厳選された学習資源を導入。これにより、モデルLITTLELEARNERが明確に定義された知識と能力の範囲内で訓練され、言語能力を備えた解釈可能なカリキュラムに対応。最初の実験では、新しい知識を既存のものに結びつける手法を検証し、制約された環境の研究価値を示した。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…

K-5の内容にフィルタリングされたコーパスによって事前学習されたモデルに対して、Beyond-K-5(K-5のレベルを超えた内容)データで事後学習をしても性能は向上しないが、K-5によって被覆される内容の性能はスケールする、という話に見える。

かなり斜め読みなので、もう少ししっかり読みたい。




Paper/Blog Link My Issue
#LanguageModel #Distillation #PostTraining #read-later #On-Policy #SelfDistillation Issue Date: 2026-08-17 GPT Summary- 自己進化型AIにおいて、エージェントが経験から学ぶためにLatent On-Policy Self-Distillation(LOPD)を導入。LOPDは経験から特権的文脈をエンドツーエンドで学習し、自己教師を生成。実験的に、LOPDは既存のOPSD手法よりも優れた性能と高い学習効率を示し、エージェント進化のためのスケーラブルで自己指向的なアプローチへの進展を支持する。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #AIAgents #ScientificDiscovery #PostTraining Issue Date: 2026-08-15 GPT Summary- 論文再現性は科学的知識の基盤であり、信頼性と実験の基盤を提供する。研究は、再現性のためにスケーラブルなタスク空間Replicaを開発し、ノイズの少ない自動生成ルーブリック型ジャッジを導入。27BパラメータのFaradayエージェントは、コーディングエージェントを利用し、ホールドアウト再現タスクでClaude Opus 4.8およびGPT-5.5を超えた。定性的分析から、Faradayは科学原理に基づくアプローチを取っていることが示された。この研究は、AIエージェントによる科学的イノベーションの促進に寄与する。

Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #DiffusionModel #ICML #Decoding #Selected Papers/Blogs #SpeculativeDecoding Issue Date: 2026-08-15 GPT Summary- 自回帰LLMsは高い性能を持つが、逐次デコードのためレイテンシが長くGPU効率が低い。推測的デコードはドラフトモデルを用いてこの問題を緩和するが、依然として逐次性に依存している。拡散LLMsは並列生成を可能にするが、性能が劣る。本研究では、軽量ブロック拡散モデルを用いた推測的デコードフレームワーク「DFlash」を提案し、高品質な出力を保ちながら6倍以上の加速を達成。最先端手法EAGLE-3より最大2.5倍の高速化を実現した。 Comment

openreview: https://openreview.net/forum?id=Oz335dV48X&referrer=%5Bthe%20profile%20of%20Zhijian%20Liu%5D%28%2Fprofile%3Fid%3D~Zhijian_Liu1%29




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #InstructionFollowingCapability #KeyPoint Notes #Reading Reflections #AGENTS.md Issue Date: 2026-08-15 GPT Summary- コーディングエージェントの指示遵守を評価する新たなベンチマーク、Harness-IFを提案。これは642のルールから抽出した60のマルチターンコーディング項目を用いて、運用ルールを逐次評価し、違反を特定するAgainst-Prior Accuracy(AP-Acc)を導入。12の最前線モデルの正確度は72.1%〜85.9%であり、AP-Accは66.1%〜78.6%で、すべてのモデルが事前ルールに対して劣ることが示された。この評価手法は、モデル固有の遵守の過大評価を修正し、順位に影響を与える要素を明らかにする。 Comment

元ポスト:

Loading…

タスクの成功率ではなく、ルール単位でルールをpass/failしたか、かつそのルールがモデルのデフォルトの挙動か否かを区別し、指示なしで実行できたであろうルールを評価から分離することで、より精緻にAGENTS.mdの指示追従能力を測りたい。

- Acc(a): あるエージェント a が達成すべきitem iに対するルール r に対するAccuracy
- Filtered Accuracy (F-Acc): Agent間の能力差を識別しないルール(=pass/failがエージェント間で一致しているもの)をフィルタリングしたものに対するAcc
- Discrimination-weighted Accuracy (DW-Acc): "their overall accuracy"が何を指すのかわからず定義が分からなかった。
- Against-Prior Accuracy (AP-Acc): モデルのデフォルトの挙動ではないルールに基づいたAca
- デフォルトの挙動か否かは "zero-injection evidence"と"curated prior annotations"によって決定したと記述されている。

**zero-injection evidenceについて、付録Aに記載があるが、当該ルールを9つの"probe builds"に適用し結果の多数決で、align-prior, neutral, against-priorのラベルを付与しているようである。が、probe buildsというのが何を指しているのかよくわからない。**

image

AP-Accのアイデア自体は良いと思うのだが、定義がざっくり読んだ限りはよく分からなかった。ただ、Table 2のキャプションを読む限り、buildsという単語は特定のモデルを指して使われているように読めるので、9つの異なるモデルを用いてzero-injection evidenceを収集したとも読める。しかし、もしそうだとすると、cross modelでの結果を集約する形でデフォルト挙動を決定したことになり、特定のモデルのデフォルト挙動をモデル単位で決定していないことになるので、その点は疑問が残る。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #RewardHacking #PostTraining #Selected Papers/Blogs #KeyPoint Notes #Rubric-based #Reading Reflections Issue Date: 2026-08-14 GPT Summary- ルーブリックに対する強化学習は、ポスト訓練された言語モデルに用いられ、品質の固定的代理指標として機能するが、実際の質を完全には反映しない。Qwen3-8Bを医療と科学のルーブリックで訓練し、訓練用とゴールドジャッジのスコアの乖離を示した。乖離は報酬ハッキングに起因し、Rubric Dropoutを提案。ルーブリックの一部をランダムに無効化し、ポリシーの二度最適化を防止。ドロップアウトによるOODスコアの向上を確認し、HealthBench-Hardで+1〜+2、ResearchQAで+6〜+7ポイントの改善を示した。最適なドロップアウト率は30–50%で、基準の重み付けが劣る結果となった。 Comment

元ポスト:

Loading…

RubricをDropoutすることで、常に固定されたルーブリックが利用されないようにし、Reward Hackingを防止する。

image

論文中のproxy judgeとgold judgeの違いが最初はよくわからなかったが、
- proxy judge: 学習に利用するllm-as-a-judgeモデル
- つまり、Reward Hackingの対象となるもの
- gold judge: 学習には一切介入しないproxy judgeよりも強いモデルを用いたjudge

両者では同じルーブリックを用いられる。これらのjudgeモデルの絶対値はバイアスを含むため関心がなく、両者のgapに関心がある(proxy-gold gap)。RLの最中に20 step単位で両者のスコアを比較し、両者のgapがconsistentに開いていった場合、それは評価のノイズではなく、(固定されたバイアスでもなく)、Reward Hackingの兆候である可能性が高いと主張している。実際、Figure 2を見ると、240 stepから両者のスコアの傾きが変化していて、gold judgeではスコアが向上していくが、proxy judgeではスコアが向上しない現象が観測される。これは、proxy judgeが、本来評価したいRubricとは異なる側面で攻略されていることを示唆していると考えられる。

dropoutなし、30%、50%の場合で比較したところ、dropoutを導入した場合に一貫してスコアが向上する。実験では、proxyではgpt-4o-miniが用いられ、goldではclaude-sonnet-4.6が用いられている。
image

実際のルーブリックは論文中に掲載されていないので、学習に利用されたデータセットを参照する必要がある。おそらく、それなりの数のRubricによって構成されていると思われるが、Rubricの数に対するsensitivityはどの程度なのだろうか?

dropout rateによるsensitivityは実験されているが、元々のRubricのサイズの大小による影響は比較されていないように見える。




Paper/Blog Link My Issue
#Analysis #Pretraining #LanguageModel #Supervised-FineTuning (SFT) #LongContext #Selected Papers/Blogs #reading #KeyPoint Notes #needs-revision Issue Date: 2026-08-14 GPT Summary- 大規模言語モデルは長い文脈を用いて訓練されるが、文脈が学習モードをどのように形づくるかを分析。情報豊富性パラドックスを提案し、豊富な情報がパラメトリック符号化のインセンティブを低下させ、文脈依存を高めると仮説。長い文書の訓練では、文脈窓を広げると一時的に性能が向上するが、限界を超えると逆に低下。補助的な文脈が役立つ一方で、テスト時に文脈が不足すると頑健性が損なわれる。これらの知見は、高品質な文脈データの重要性を示唆する。 Comment

元ポスト:

Loading…

事前学習時にcontext windowサイズを変化させると、クロスエントロピーのLoss(次トークン予測のloss)は8192まで減少するが、ダウンストリームタスクの性能は2048で頭打ちとなり、以後は性能が劣化する。これはモデルのパラメータサイズを大きくしても改善されない。この現象は評価対象のインスタンスのpromptの長さによって説明できる可能性があり、付録Fに記載とのこと。付録FのFigure 10を見るとさまざまなデータセットにおいて同様の傾向が見られ、評価サンプルの長さが長ければ長いほど、最適な学習時のcontext長は長くなる傾向が観測されている(Table 4)。このことより、コンテキスト長は無条件にスケーリング可能な軸ではないことが示唆される。実際、Figure 1に示されている異なるコンテキスト長で学習されたPhi 3/Olmo 3の比較を見ても、コンテキスト長が長い方がdownstreamタスクの性能が劣化している。
image

SFTにおいて、target domainのドキュメントの数を変化させると、contextが与えれない場合の評価ではtarget domainデータが増えるほど性能が劣化(contextへの依存度が高まる)、一方適切なcontextが与えられた場合は性能が改善する。ただし、矛盾したcontextに対する堅牢性は低下する(こちらもcontextへの依存度が高まった結果と考えられる)。これにより、学習時のcontextが、中立的な背景情報ではなく、その関連性に応じてモデルがタスクを内部化するか、文脈依存にするのかを変化させることが示唆される。
image

4節以後が理論的な証明だと思われるが、読めていない🫠




Paper/Blog Link My Issue
#LanguageModel #SmallModel #Scaling Laws #read-later #Selected Papers/Blogs Issue Date: 2026-08-14 GPT Summary- 小規模モデルではハイパーパラメータ感度が高く、スケーリング則が見えにくい。十分にチューニングされたモデル前線では小規模にもスケーリング則が存在し、規模拡大に伴って損失曲面の次元が低下するため、最適なハイパーパラメータを見つけやすくなる。小規模実験を用いてTransformerの正規化層配置を検証し、大規模モデルと同様に前正規化が優れることを示した。 Comment

元ポスト:

Loading…

解説ポスト:

Loading…


小規模モデルほどハイパーパラメータチューニングが重要なようである




Paper/Blog Link My Issue
#LanguageModel #Distillation #PEFT(Adaptor/LoRA) #PostTraining #read-later #Selected Papers/Blogs #On-Policy #Initial Impression Notes #Author Thread-Post Issue Date: 2026-08-14 GPT Summary- On-policy distillation (OPD) は、教師モデルからの監督信号を用いて学生を訓練する手法であり、その効果はウォームアップ段階に依存する。データ観点では、思考過程の連鎖(CoT)監督が効果的であり、誤った教師のロールアウトでも利点があることが示された。トレーニング観点では、低秩適応(LoRA)を用いたアプローチがドメイン内適応と分布外一般化のバランスを改善することを示す。これに基づき、Simple-OPDを提案し、教師生成のCoTに対してLoRAで学生をウォームアップさせる手法である。実験はその有効性と頑健性を示している。 Comment

元ポスト:

Loading…

まだ論文には目を通せていないが、教師モデルと生徒モデルに差がありすぎると、OPDはうまく学習ができないので、LoRAでwarmupするとあうのは理に適っているように感じる。

OPDのFailure Modeのまとめ:
- On-policy distillation isn't a free-lunch, Bhavin Jawade, 2026.07




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #ScientificDiscovery #read-later #Selected Papers/Blogs #Game #One-Line Notes #text #Author Thread-Post Issue Date: 2026-08-14 GPT Summary- 新たな知識の発見は科学プロセスの核心であるが、既存のAIベンチマークはこの能力を評価するものが不足している。これに対処するため、本研究ではDiG-bench(Discovery in Games)という新しいベンチマークを導入。70の独立したゲームから構成され、各ゲームは独自の変換ルールを持ち、AIエージェントに7段階の難易度を提供する。ゲームはルール発見の検証課題を含み、特定の勝利条件も未知である。全てのゲームは少なくとも1人の人間によって初回の試行で解かれたが、21ゲームが公開されており、残りは安全評価のために非公開。 Comment

元ポスト:

Loading…

AI Agentの発見能力を測るためのベンチマーク。テキストベースで人間によって作成されたゲームで、エージェントは試行錯誤を重ねてテキストで表現された世界のルールと勝利条件を紐解く必要がある。実際に人間が挑戦をすることで初挑戦でクリアできることを確認済みだが、AI Agentでは最も難易度が高いゲームでは、20パーセント程度しかクリアできない(Opus 5)とのこと。また、世界のルールや勝利条件などのground truthをテキストで与えると、クリア率は100%になるとのことで、非常に興味深いベンチマークである。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Selected Papers/Blogs #reading #One-Line Notes #AGENTS.md #Author Thread-Post #AgentHarness Issue Date: 2026-08-14 GPT Summary- エージェント性を持つコーディングREADMEは、リポジトリが退役するまで成長し続けるが、指示の不完全なリコールが原因でこの現象を「破局的記憶」と呼ぶ。247,694の指示ライフタイムを持つ1,867のリポジトリにおいて、指示は生涯で3倍以上増加し、古い指示は削除されにくいことが示された。プロンプトコメントの成長を制御することができ、最適なプロンプトでは過剰な指示の99.3%を削除し、新世界における指示遵守を最大23.1%改善する可能性がある。なぜなら、コードにおけるコメントの役割は依然として重要だからだ。 Comment

元ポスト:

Loading…

Coding AgentがAGENTS.mdのようなglobal contextにinstructionを書き込むのは低コストだが、その背後に潜む推論結果(=latent reasfning)が記述されないためlatent reasoningを後から再構築するのは大きなコストを伴うため、当該instructionを削除する際の妨げとなる。その結果、書き込む方がコストが大きく小さいため、contextが肥大化していく。一方でinstructionが追加される際にlatent reasoningを明示的に書き出せば、肥大化を防ぐことができる、という話に見える。

image

著者ポスト:

Loading…


非常に簡潔でわかりやすい。




Paper/Blog Link My Issue
#LanguageModel #KnowledgeEditing #Author Thread-Post Issue Date: 2026-08-14 GPT Summary- 言語モデルの安全性とコンプライアンスのために特定知識の抹消が重要であるが、従来の方法は効果が限定的である。本研究では、埋め込み層に着目したEMBedding ERasure(EMBER)を提案。これは、疎行列分解を用いてトークン埋め込みから概念に関連する特徴を正確に除去するプラグアンドプレイ型のモジュールである。多様なモデルに対する評価を通じて、EMBERを用いることで抹消の有効性が一貫して向上し、整合性の損失が最小限に抑えられることを確認した。また、再学習への耐性が改善され、再獲得される精度を大幅に削減することができた。これにより、堅牢な概念除去には埋め込みレベルの介入が不可欠であることが示された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #LanguageModel #AIAgents #Safety #Initial Impression Notes Issue Date: 2026-08-14 GPT Summary- AIエージェントの相互作用から生じるリスクとして、マインドウイルスの拡散がある。このマインドウイルスは、アイデアや目標を伝播させ、宿主に行動変化を引き起こす可能性がある。本研究では、進化アルゴリズムを用いてマインドウイルスの構築と拡散のメカニズムを分析し、宿主モデルやペイロードの有害性が伝播に与える影響を特定した。有害なペイロードは一般的に拡散しにくく、エージェントのプロンプトに警告を追加することで免疫を付与できることを示した。また、進化したマインドウイルスには「ウイルス的ペルソナ」が現れ、リスクの存在は確認されたが現段階では限定的であると結論づけた。これらの知見は今後のマルチエージェントシステム設計に寄与する。 Comment

元ポスト:

Loading…

マルチエージェントシステムにおいて、ある起点となるエージェントSystem Promptに組み込まれたなんらかの思想がマルチエージェントシステムにおいて他のエージェントに伝播し、他エージェントはそのトピックについて議論し、結果がメモリに格納されていく現象(=Mind Viruses)に関する研究に見える。




Paper/Blog Link My Issue
#Analysis #Pretraining #LanguageModel #Transformer #LongContext #Architecture #Selected Papers/Blogs Issue Date: 2026-08-14 GPT Summary- 密なトランスフォーマー系におけるアーキテクチャの変化は、長い文脈設定での性能に顕著な影響を及ぼすことを示す。特に、Olmo、Llama、Qwenのモデルファミリーにおいて、特定のアーキテクチャ決定が長い文脈での性能を最大47%低下させることが判明した。これらの差は短い文脈では検出できず、長い文脈能力はアーキテクチャ的特徴によって大きく変動する。17万GPU時間を超える学習の後、得られたモデル群をOlmPoolとして公開し、長い文脈拡張性に優れたアーキテクチャを分析した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Coding #SelfImprovement #AgentHarness Issue Date: 2026-08-14 GPT Summary- Ouroborosは自己開発型エージェントのハーネスで、改善はレビュー済みのコミットを通じて行われる。コアの進化には再帰的自由進化と経験駆動の進化があり、社会的相互作用を通じて欠陥を露呈し、構造的変更に繋がる。Terminal-Bench 2.1ではOpus 5が86.74%、OSWorld-Verifiedでは90.69%を記録し、新たな最先端となった。Hopeでは、161日間の生存実験が行われ、エージェントが自己進化しながらも運用上の安全性が重要な課題として残っている。 Comment

pj page: https://ouroboros-agent.ai/

元ポスト:

Loading…

関連:
- [Paper Note] Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents, Jenny Zhang+, ICLR'26, 2025.05




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Optimizer #Selected Papers/Blogs #WeightNormalization Issue Date: 2026-08-14 GPT Summary- Hyperballは、行列ベースのオプティマイザMuonに対するシンプルなラッパーで、固定定数に重み行列のフロベニウスノルムを設定することで、言語モデルの事前学習を高速化する。Qwen3スタイルのモデルでは、Muon Hyperballが20〜30%の速度向上を実現し、デカップリングウェイトデケイと比べて学習率の伝達を改善する。これにより、訓練中のウェイトデケイがハイパーパラメータに依存する状態を促進する。 Comment

元ポスト:

Loading…

関連:
- Fantastic Pretraining Optimizers and Where to Find Them 2.1: Hyperball Optimization, Wen+, 2026.01




Paper/Blog Link My Issue
#Pretraining #Transformer #Architecture #LatentReasoning #RecurrentModels #RecursiveModels #Author Thread-Post Issue Date: 2026-08-14 GPT Summary- 全帯域トランスフォーマは、デコード時に過去の隠れ状態を再フィードバックし、深さの予算を新たにしつつ、標準のトランスフォーマと同じ目的を維持します。潜在フィードバックを導入することで、検証損失や性能評価を向上させ、約1.5倍多くのトークンで訓練された標準のトランスフォーマと同等またはそれ以上の精度を達成します。 Comment

元ポスト:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Chain-of-Thought #Proprietary #API #Attack #read-later #PII #Security #Author Thread-Post Issue Date: 2026-08-14 GPT Summary- 大規模言語モデルの推論過程が隠蔽され、クライアントに暗号化されたテキストブロックが返される中、設計上の脆弱性が明らかになった。これにより、異なるモデル間の暗号化ブロックの互換性を利用した復号ジャイルブレイクが可能となり、推論の抽出やプライベートデータの漏洩が実証された。具体的には、個人情報や資格情報が回収された他、有害情報の露呈や悪意のあるペイロードの埋め込みが可能になる課題が示された。各攻撃に対処するため、クライアント側の推論を保護する具体的な暗号技術やシステム緩和策が提案されている。 Comment

元ポスト:

Loading…

所見:
-

Loading…

-
Loading…

所見:

Loading…

関連:
- [Paper Note] How to Steal Reasoning Without Reasoning Traces, Tingwei Zhang+, arXiv'26, 2026.03




Paper/Blog Link My Issue
#LanguageModel #Reasoning Issue Date: 2026-08-11 GPT Summary- LLMの推論は最終回答と簡潔な要約を出力するが、推論の痕跡は隠されている。本研究では、公開された情報を元に詳細な合成推論痕跡を生成するトレース反転モデルを提案。実験により、合成痕跡が真の痕跡と高い重なりを持ち、逆向きの痕跡でファインチューニングされたモデルは推論能力が向上し、ブラックボックス型LLMからの蒸留が可能であることを示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Scaling Laws Issue Date: 2026-08-11 GPT Summary- Skaling法則は、ニューラルスケーリング則の欠陥を克服し、モデル容量とデータの関係を結びつける一般化された関数形。これにより、MAPEを1.5〜3倍低減し、スパースグリッド戦略と組み合わせることで計算量を大幅に削減。小規模な実験からの信頼性の高い性能予測により、次世代モデル訓練の資源配分に対する堅牢な枠組みを提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #OpenWeight Issue Date: 2026-08-11 GPT Summary- Motif 3は、3140億のパラメータを持つデコーダー専用のMixture-of-Experts言語モデルで、トークンごとに384のエキスパートから8つを選択するスパースMoE層を採用。Grouped Differential Latent Attention(GDLA)を核にし、専門化と効率を向上させ、最大256Kトークンの訓練を実現。得られたモデルは推論やコーディング、指示追従などの能力を統合し、競争力のある性能を発揮。 Comment

HF: https://huggingface.co/Motif-Technologies/Motif-3

関連:
- Motif-3-Beta, Motif-Technologies, 2026.07

所見:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #LongHorizon #Initial Impression Notes #autoresearch/RSI Issue Date: 2026-08-10 GPT Summary- 持続的な自己進化を実現する実行環境Argusを提案。これはエージェントが安定したユーザー意図を維持しつつ、運用目標に基づいてミッションを遂行する。Argusは固定されたモデル重みを保ちながら、自己進化を運用状態と制御方針を通じて実現。SWE-Bench Proで78%、AARRI-Benchで76.8%を記録し、各アクティブワークフロー時間を短縮しつつ、検証やレビューの精度を向上。これにより、将来的な教師あり学習と強化学習のための構造化した進化を実現することを示した。 Comment

元ポスト:

Loading…

メモリに永続化する情報を検証プロセスを通じて選別することで、誤った情報が蓄積され増幅されることを緩和する




Paper/Blog Link My Issue
#LanguageModel #Transformer #SSM (StateSpaceModel) #Architecture #MoE(Mixture-of-Experts) #Normalization #Hybrid #Initial Impression Notes #LinearAttention Issue Date: 2026-08-10 GPT Summary- nGPTは、モデルパラメータと活性化を超球面に制約し、超球面表現学習を実現。実用的なトレーニングレシピを提案し、ハイブリッドMoEモデルで評価。ロジット勾配の前処理や学習率減衰などを導入し、未正規化モデルと比較して、少ないトレーニングトークンで同等のパフォーマンスを達成。検討対象モデルは最大14Bのパラメータにスケール可能。 Comment

元ポスト:

Loading…

nGPT:
- [Paper Note] nGPT: Normalized Transformer with Representation Learning on the Hypersphere, Ilya Loshchilov+, ICLR'25, 2024.10

解説:

Loading…

nGPTを提案した著者らによる研究で、オリジナルのnGPTではdenseなアーキテクチャで、1Bまでのサイズでしか実験がされていなかった。それをより大規模な14BBレベル、かつMoE、Mamba-2とTransformerのハイブリッドモデルで実験し、学習のために必要な提案を実施しているようである。3.3節にどのような変更が必要か、サマリが記述されている。

性能は、通常のGPTと比較して一貫して改善しており興味深い。
image

ハイパーパラメータが増えているように感じるが、どの程度ハイパーパラメータの設定が効いてくるのだろうか。学習率の調整だけでも厄介なので、モデルの性能は魅力的でロマンがあるが、実務上は採用しづらい気はする。




Paper/Blog Link My Issue
#ComputerVision #Embeddings #RepresentationLearning #MultiModal #ContrastiveLearning #VisionLanguageModel #Initial Impression Notes Issue Date: 2026-08-10 GPT Summary- マルチモーダル表現学習はAIの核心で、複数のモダリティをエンコードし、産業用検索と推奨を最適化する。特に、Douyinなどの大規模プラットフォームでは、効率的かつ細かいマッチングが求められるが、既存のMLLMモデルはこれを満たしていない。私たちはDouyin Multimodal Embedding(DME)を提案し、二段階で訓練を行い、対照的な事前学習と意味的充足性を組み合わせる。DMEは迅速な応答に不可欠で、実際のDouyin検索でパフォーマンスを向上させることに成功した。 Comment

元ポスト:

Loading…

Qwen3-VL-Embeddingと比較して、Videoドメインの性能向上が顕著なマルチモーダルなEmbeddingのようである。latencyが改善されていることが強みの一つのようだが、latent CoTの有無によるΔの比較はあったが、他モデルとの明示的な比較はされていないように見えたが、どの程度早いのだろうか?




Paper/Blog Link My Issue
#ComputerVision #DiffusionModel #TextToImageGeneration #Scaling Laws #read-later #Selected Papers/Blogs #ImageSynthesis #Author Thread-Post Issue Date: 2026-08-10 GPT Summary- 視覚生成におけるテキスト条件付けのスケーリング特性を実験的に探求。収束した拡散損失は、プロンプト内の構造化言語の量に比例して減少することが明らかに。GPGとEDの指標を用いて、構造化プロンプトを改善。これにより、ほとんどの構成的・推論的ベンチマークで優れた性能を発揮し、クローズドウェイトモデルとも競合する結果を得る。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…




Paper/Blog Link My Issue
#Online/Interactive #LanguageModel #ReinforcementLearning #SelfImprovement #AgentHarness Issue Date: 2026-08-10 GPT Summary- Harness-R1は、デプロイメント中にエージェントが蓄積する相互作用の軌跡を用いて行動を最適化する初の方法を紹介する。オンライン強化学習を活用し、固定されたエディタではなく、エージェントの成功に基づいた編集を学ぶ。これにより、成功率はWebShop、ALFWorld、DBBenchで44.3%から53.6%に向上し、ターゲット特化のエンジニアリングによってさらに64.2%に達する。これは、ハーネスエンジニアとターゲットエージェントの共進化を示唆している。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Distillation #PostTraining #On-Policy #LongHorizon Issue Date: 2026-08-10 GPT Summary- FutureBridge-OPD(FTB)は、マルチターンエージェントタスクにおけるオンポリシー蒸留(OPD)の課題を解決する手法。学生の軌道が教師の指導からずれた際に、高い不一致が有望な指導機会を提供することを考慮し、短い教師ブリッジを用いて未来の軌道への影響を評価。FTBはALFWorld、WebShop、ScienceWorldにおいて、従来のOPDおよびTCODをそれぞれ平均16.6ポイントおよび7.6ポイント上回る成果を示し、学生規模や教師設定に関わらずその有効性を持続。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #InformationRetrieval #RepresentationLearning #read-later #VisionLanguageModel Issue Date: 2026-08-10 GPT Summary- 長い視覚的文脈は視覚言語モデルにおいて性能低下を引き起こす。これに対処するため、明示的な検索ターゲットとして訓練された埋め込み「ReToken」を提案。視覚KVキャッシュから関連するトークンを選択することで、画像と動画のベンチマークで性能向上を実現。具体的には、Visual HaystacksでQwen3VL-8Bを13.4ポイント、InternVL3.5を12.4ポイント改善し、LVBenchでは長尺動画へのゼロショット転移で8.0ポイントの改善を達成。軽量設計により、単一のH100で学習と推論が可能。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #AIAgents #PostTraining #Initial Impression Notes #CreditAssignment Issue Date: 2026-08-09 GPT Summary- SkillRiseは、異なるタスクに直面する大規模言語モデルエージェントのための統一的な強化学習フレームワーク。関連する実例を難易度ごとに整理し、タスクを解くことと技能ドキュメントの編纂を交互に行うことで、タスク間の技能を学習する。実験において、SkillRiseは最強のベースラインに対して2.3~8.5ポイントの性能向上を達成し、同じタスクの繰り返しでも学習したポリシーは有効。さらに、タスク間での連続的な学習が性能向上に寄与することが示され、特に実行時オーバーヘッドの削減が高い性能を維持することにも成功した。 Comment

元ポスト:

Loading…

関連タスクを難易度に基づいてカリキュラムを構築し、sequentialに解かせ後続のタスクに対する報酬を、途中のタスクに対して割り引いて割り当てることで、タスクを跨いだ能力の学習を促進する、という感じだろうか。

AgentSkillっぽい話かと最初は思ったが、そうではなさそう。




Paper/Blog Link My Issue
#Analysis #InformationRetrieval #RAG(RetrievalAugmentedGeneration) #Scalability Issue Date: 2026-08-09 GPT Summary- 検索補強型生成(RAG)の精度とコストのスケーリング関係の評価のために、対照実験を実施。約450倍の階層に沿ってコーパスサイズを変化させ、リーダーモデル下で公式精度や遅延を測定した。結果、スケール依存のクロスオーバーが観察され、BM25が大規模データセットで優位性を示し、語彙検索がスケーラブルなデフォルトとして最も強力。エージェント型推論は、有効な順位付け発見の後に効果を発揮し、自らの代替にはならない。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Initial Impression Notes Issue Date: 2026-08-09 GPT Summary- LLMを用いたエージェントシステムは、テキスト知識とパラメトリックスキルライブラリの融合により、自律的に複雑な問題を解決する。従来の研究は主にこれらの二つを別々に扱ってきたが、本研究では、モデルウェイトを追加の推論モダリティとして取り入れ、プレフィックス・チューニングによる学習を実装する。この新しいアプローチSkillSmithは、指示主導のパラメトリック合成を通じて、優れた性能を発揮し、従来の単一モダリティベースラインを大きく上回ることを示した。 Comment

元ポスト:

Loading…

ざっと眺めたがよくわからなかった。必要な時に読む。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #memory #AgentHarness Issue Date: 2026-08-09 GPT Summary- MemHarnessは、LLMエージェントが過去の経験を現在の文脈に基づいて再構成し利用できるフレームワークを提案。意思決定時に経験を批評・適応することでネガティブ転送を防ぎ、強いロバスト性を持つ。実験では、MemHarnessが従来のメモリ増強エージェントよりも優れた性能を示し、エージェントの推論能力を向上させることが明らかになった。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Alignment #Initial Impression Notes #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- 言語モデルのアラインメントは、その挙動が有用性や安全性を反映することを目指すが、現在の手法には重要な未解決の課題が残る。これに対処するために、Project Alignment Reward Estimated from Demonstrations(PARED)を提案。PAREDは専門家デモンストレーションから暗黙の報酬を回復し、タスク固有のアノテーションを不要にする。実験を通じて、PAREDが基礎ポリシーを効果的に改善することを示し、異なる嗜好への調整も可能であることを明らかにした。 Comment

元ポスト:

Loading…

特徴量に基づいてexpert/policy responseを区別できるモデルを学習し、best-of-N、あるいはon-policy RL (RL中にrefitting)で活用する、という話に見える。これにより、デモンストレーションのみでラベル付け不要、検証可能、on-policyで最適化をしながらalignmentを実施することを目指す、という感じのようである。

気持ちの部分がすっと頭に入ってこない。何かが引っ掛かっているのだろうけどなぜだろうか。そもそもPolicy ResponseがAlignmentが悪く、Expert Responseが良いもの、という暗黙の仮定が置かれている気がしており、それを特徴量空間で識別できるようなモデルを学習するということだと思うのだが、その暗黙の仮定が本当に成り立つのか、という疑問があるからだろうか(Expertの応答よりもPolicyのAlignmentが改善し良い応答が生成された場合はどうなるのだろうか?)。




Paper/Blog Link My Issue
#LanguageModel #Architecture #memory Issue Date: 2026-08-09 GPT Summary- ネイティブな記憶機能を基盤モデルに付与するため、記憶基盤モデルを提案。記憶を持続的かつ動的に進化させるためのアーキテクチャを導入し、情報を自律的に保存・利用するネイティブ記憶手続きを定義。新しいアーキテクチャMetisの提案により、歴史情報を圧縮しアクセス可能に。オンライン記憶維持は勾配なしで行い、モデル重みは凍結。実験によりネイティブ記憶機能を実証し、詳細な分析を提供。将来の研究のためにプロジェクトとモデルチェックポイントを公開。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Exploration #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- 本研究では、生成モデリングにおける新しいアプローチ「探索的モデリング(XMs)」を提案し、モデル生成とデータ間の候補マッチを探索することでエンドツーエンド訓練を強化します。探索のスケーリングにより、画像や言語生成の性能が向上し、計算資源を3倍使用すると効率が2倍以上に。XMsは、エンドツーエンドの生成モデリングを実現し、少ない推論ステップで既存手法に匹敵する性能を達成します。この新しいアプローチは、生成モデルの前訓練軸としてだけでなく、独自の生成モデリングパラダイムとしての可能性を示します。 Comment

pj page: https://explorative-modeling.github.io/

元ポスト:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#ComputerVision #Evaluation #VisionLanguageModel #Robotics #EmbodiedAI Issue Date: 2026-08-09 GPT Summary- 行動の結果を評価することが難しい視覚-言語モデル(VLM)に対し、HumanCLAWというフレームワークを導入。VLMが一連の指令を出す中で、実行の誤差を排除し、モデルの行動知能を測定。41のシーンで1,218エピソードを構築し、9つのVLMをテストした結果、最良でも16.8%の成功率で、目標認識はボトルネックではなく、具現化された自己認識の欠如が問題であることを示した。 Comment

pj page: https://human-claw.github.io/




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #SelfImprovement #PostTraining #autoresearch/RSI #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- 再帰的自己改善(RSI)を実現するためのAIシステムOpenMLEを提案。機械学習エンジニアリング(MLE)のフルスタック環境を提供し、ポストトレーニングを通じたメタ進化エージェントFrontis-MA1(35B)が、基本的なプログラム進化演算子を用いてタスクを改善。OpenMLE-Evoを使って、性能が大幅に向上し、他の先進的モデルを超える結果を示す。全体のモデルの重みとスタックは公開されており、RSI研究の再現性を支援。 Comment

元ポスト:

Loading…

pj page: https://frontisai.github.io/OpenRSI/

ポイント解説:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #ScientificDiscovery #read-later #Selected Papers/Blogs #One-Line Notes #Open-endedTasks #autoresearch/RSI #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- AI研究を自動化するエージェントの進展を評価する新しい方法として、著者評価によるシャドウ評価を導入。高品質な未公開論文について実施した結果、エージェントは独力で設計開発を行ったが、実質的な進展が得られず、両論文は却下された。失敗モードとして、判断力の欠如、設計不備への非創造的対応、バックトラックの不足などが特定され、エージェントは研究の全過程において課題を抱えていることが示された。 Comment

元ポスト:

Loading…

未発表のオープンエンド(=non verifiable)な研究課題に対して同様のテーマをAI Agentに与えて論文を記述させ、原論文の著者が実際に内容を検証することによって、現在のAI Agentのオープンエンドな研究課題に対するアプローチの課題を明らかにした研究で、サンプルサイズの小ささや、AI生成であることを知った上でのレビュー結果など、様々なlimitationがあるが興味深い。
たとえば、以下のような知見が得られたとのことである:
- top conferenceの水準に対する判断力の欠如
- 創造的な問題解決能力の欠如
- 誤った判断を早期に下し、それを是正できない




Paper/Blog Link My Issue
#LanguageModel #SyntheticData #mid-training #Selected Papers/Blogs #reading #Initial Impression Notes Issue Date: 2026-08-09 GPT Summary- 合成教科書データは言語モデルの事前学習を向上させるが、調査の焦点は主に生成内容の特性にあった。本研究では、関連コンテンツが一貫して整理されていることの重要性を示す。このためのスケーラブルなパイプラインを開発し、686,000冊の教科書を組織化した結果、下流タスクの性能が平均で+1.09向上した。特に、文書のパッケージングの効果を確認し、構造化された合成が利益をもたらすことを強調。Llama3-8Bでもフルセットは他の条件を上回り、書籍レベルの整理が合成データ設計の重要な要素であることを支持している。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Data-efficient pre-training by scaling synthetic megadocs, Konwoo Kim+, arXiv'26, 2026.03
- [Paper Note] Rewriting Pre-Training Data Boosts LLM Performance in Math and Code, Kazuki Fujii+, ICLR'26, 2025.05

(文書の長さをそろえた実験を通じて)書籍のような一貫性した整合性のある文書構造は学習に有効に働くことを実験的に示し、
また、書籍に対する局所的な書き換えを実施するよりもグローバルに書籍構造を再構築するような手法が学習に有効であることも示した、といった話のようである。

image




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Architecture #memory #Scalability #Initial Impression Notes Issue Date: 2026-08-09 GPT Summary- Memory Decoderの拡張版「Memory Decoder at Scale」を提案し、69億パラメータと3,000億トークンで事前学習を実施。Faissの非効率を改善するため、分散パイプラインとスパースなバッチ読み込みを導入。メモリに多くのパラメータを割り当てることで、性能向上が確認され、17のベンチマークではPythia-410Mを大きく上回る成果を達成。事前学習済みメモリの独立スケーリングがパラメータ効率を高めることを示した。 Comment

元ポスト:

Loading…

- [Paper Note] Memory Decoder: A Pretrained, Plug-and-Play Memory for Large Language Models, Jiaqi Cao+, NeurIPS'25, 2025.08

で提案されている Memory Decoder をスケールさせることでdownstream タスクの性能が改善することを示し、スケールさせる上での実装上の課題に対処した、という話に見える。

image




Paper/Blog Link My Issue
#LanguageModel #Mathematics Issue Date: 2026-08-09 GPT Summary- 大学院レベルの代数的組合せ論教科書を Lean に形式化する自動AIシステムを紹介。130,000行のコードと5,900件の Lean 宣言を用いて、3万の Claude 4.5 Opus エージェントが1週間以内に協働。人間専門家チームのコストを下回る推論が期待され、効率化の余地がある。得られた成果はオープンソースとして提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #OpenWeight #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- K-EXAONE 2.0は、LG AI Researchが開発したオープンウェイトの多言語基盤モデルで、7500億の総パラメータを持つMixture-of-Experts(MoE)モデル。最大256,000トークンのコンテキスト長をサポートし、言語対応を六言語から十言語に拡張。継続的な事前訓練や中間訓練を通じて推論力や安全性が向上し、評価カテゴリーで前任モデルを上回る性能を示す。Apache 2.0ライセンスで公開され、AIエコシステムの発展を促進。 Comment

関連:
- K-EXAONE-236B-A23B, LG AI Research, 2025.12

HF: https://huggingface.co/LGAI-EXAONE/K-EXAONE-2.0-750B-A37B




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #One-Line Notes #Reading Reflections #AgentHarness Issue Date: 2026-08-09 GPT Summary- Living-Harnessは、過去のエピソードのフィードバックを活用して自己進化するエージェント・ハーベスを提案します。エピソードの抽象化と構造化によって手続き知識を更新し、障害パターンや回復アクションを記録。これにより、将来の相互作用を導くための信頼性が向上し、各対話環境において、従来のベースラインを大きく上回る性能を示しました。 Comment

元ポスト:

Loading…

ツール(ハーネスが環境に対して実行可能な操作)やユーザから与えられるcontextはfrozenのまま、Agent Harnessにmemory, state graphを持たせ、過去に実行した軌跡とその評価結果を用いて状態を更新し、過去の経験からより良い手続きをハーネス自身に蓄積・更新させる。

image

実行したエピソードから動的にAgent Skillsを更新していくようなハーネスとの差分がよくわからない。




Paper/Blog Link My Issue
#LanguageModel #Distillation #PostTraining #read-later #Selected Papers/Blogs #On-Policy #Initial Impression Notes Issue Date: 2026-08-09 GPT Summary- Weak-to-Strong On-Policy Distillation(W2S-OPD)は、複数の弱いモデルから強い学生を育成する新しい枠組みであり、正例と負例の対比ペアを使用してロジット空間に代理教師を構築する。学生はこの代理教師の方向性を自身のモデルに加え、トークンごとに逆KLを最小化することで蒸留を行う。W2S-OPDは、4つの数学ベンチマークと3つのコードベンチマークで従来のOPD手法を上回り、監督源が弱くても学生の能力向上を実現する。分析により異なる対比が異なる信号を生むことが示された。 Comment

元ポスト:

Loading…

複数の弱モデルを用いて、より強力なモデルを改善する。モデルを改善するためには常により強いモデルからの学習シグナルが必要、となるとなかなか苦しいので、弱いモデルから学習シグナルをうまく得られるなら非常に重要な研究に見える。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #memory Issue Date: 2026-08-09 GPT Summary- LLMエージェントが用いるファイルシステムベースの長期記憶についての体系的探索を提示。管理、検索、実行の三つの役割において、記憶の成長に伴う回答品質やコストを追跡。エージェントはデフォルトの約束を満たしておらず、組織化が崩れ、ツールセットの変更がストアの形に大きく影響することを示唆。ファイルシステムの前提を再検討し、エージェントメモリの設計に新たな視点を提供する。 Comment

元ポスト:

Loading…

file-systemをベースにしたメモリに関する調査




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #SelfImprovement #Safety #Monitorability #autoresearch/RSI #Author Thread-Post Issue Date: 2026-08-09 GPT Summary- AIエージェントの信頼性が懸念される中、出力の安全な利用を評価する方法が求められる。本研究では、AIコントロールの手法を用いて、自動化されたAI R&Dの信頼性を評価するフレームワークResearchArenaを提案。4つの長期タスクにおいて、サボタージュを検出するために監視機構を導入し、モデルやアーティファクトの性能を確認。監視メカニズムは有効だが、隠れたサボタージュの検出が難しいことが示された。このフレームワークは自動化されたAI R&Dのなかでのサボタージュと統制の評価を可能にする。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ReinforcementLearning #Selected Papers/Blogs #memory #reading #One-Line Notes #ContinualLearning #Test Time Training (TTT) Issue Date: 2026-08-09 GPT Summary- JitRLは、LLMエージェントの拡張性の課題を解決する新しいフレームワーク。訓練なしでポリシー最適化を実現し、動的な経験メモリから関連する軌跡を取り出してアクションのアドバンテージを推定。広範な実験により、JitRLが従来のファインチューニング手法よりも性能を上回り、コストを30倍以上削減することを示した。 Comment

元ポスト:

Loading…

RLにおいて、学習時にポリシーを更新するのではなく、テスト時にメモリに蓄積されたtrajectoryに対して現在のstateを用いて検索をし、各候補アクションのAdvantageを計算。アクションのロジットに直接Advantageを重み付き(temperature parameter)で加算することで適応させる、という手法のようである。

ポイントは、ロジットに対してAdvantageをtemperature parameterによる重み付きで加算するという式が、KL正則化つきの期待報酬最大化問題の閉形式の解である、という主張である(Theorem 4.1)。ただし、メモリに蓄積される軌跡はあるポリシーに対してテスト時に更新されたロジットに基づいて収集されるため、そもそもオンポリシーを前提としているわけではなさそう。また、軌跡は様々なタスクの実行結果が蓄積されるであろう点には注意。

image

---

メモリはM={(s_i, a_i, G_i)}^N_{i=1}で定義される。G_iは割引累積報酬である(4.1節)。

trajectory中の各ステップのアクションのrewardはLLMベースのevaluationによって与えられ(付録G1.2, G2.2)、割引累積報酬の算出に用いられる。

stateはテキストベースで記述され、現在のstateとメモリに格納されているstateの類似度はJaccard係数によって計算される(式24)。実際のメモリからの検索の仕方は、データセットごとに適切なものを設定する(付録F)。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #PostTraining #One-Line Notes #CreditAssignment Issue Date: 2026-08-08 GPT Summary- CoRTは、ルーブリック基盤の強化学習におけるトークンレベルのクレジット重み付け手法である。これにより、応答内での明示的なクレジット配分が可能になり、反事実リプレイを用いて同一応答の再スコアリングを行う。提案手法は、応答レベルの報酬を変更せずに、トークン毎に正規化された重みにマッピングし、GRPOアドバンテージを再配分する。実験結果は、CoRTが従来のGRPOを上回るパフォーマンスを示し、約4.4ポイントの向上を達成したことを示す。また、反事実尤度対比が効果的な学習信号を提供し、GRPOの安定性を維持することを示唆している。 Comment

元ポスト:

Loading…

Rubric-basedなRLにおいて、Rubricの有無によって生じるtokenのlog probabilityの差を、当該トークンのルーブリックに対する重要度とみなし、token levelの学習シグナルを供給する。
image




Paper/Blog Link My Issue
#LanguageModel #Coding #SoftwareEngineering #PostTraining #RLVR #Author Thread-Post Issue Date: 2026-08-08 GPT Summary- 強化学習を用いたコードの正確性向上は確立されているが、実行時間を報酬に追加することでRLを最適化するには多くの課題がある。特に測定ノイズや報酬の希少性が信号を圧倒し、生成された解の速度向上が難しくなる。これを克服するため、(1) 大規模な最適化テストを行うDMC-Optimの構築、(2) 実行時間を報酬に転換する方法、(3) ノイズの多い環境に適応するモデル学習の三段階を提案。DMC-Optimにより、厳密な基準での評価が向上し、CWM 32Bでは50.4%の成功率を達成。速度比較では、CWM 32Bが標準RLVRに対して最大83%の勝率を示し、改善のペースは人間のアプローチの約半分に留まる。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #SelfImprovement #PostTraining #Data #autoresearch/RSI Issue Date: 2026-08-07 GPT Summary- LLMエージェントによる再帰的自己改善を目指し、固定のポストトレーニングスタックを用いた統制ベンチマークRSIBench-Dataを導入。エージェントは訓練データ戦略を反復的に修正し、データ中心の研究能力を示すが改善は一貫せず。最初の試みにおける58.33%の成功率の中、78.26%が低い最終スコアで終わる。四つの成功パターンを特定し、有用な発見は可能もフィードバックの一貫した改善には至らず。コードはオープンソースとして公開。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] PostTrainBench: Can LLM Agents Automate LLM Post-Training?, Ben Rank+, arXiv'26, 2026.03
- ML Intern, HuggingFace, 2026.04
- Expenditure Horizon: Measuring Optimization Ability, with an Application to NanoGPT, METR, 2026.07

解説:

Loading…




Paper/Blog Link My Issue
#Analysis #Pretraining #LanguageModel #Scaling Laws #DataRepetition Issue Date: 2026-08-07 GPT Summary- 古典的な計算最適化スケーリング則は無限の事前学習データを前提とするが、実際は高品質データの入手が課題となっている。そこで、私たちはCompute-Data(CD)スケーリング則を提案し、データと計算資源を統一的に扱う枠組みを提供する。CDスケーリングはトークン有効性関数ηを導入し、派生トークンの価値を定量化する。Dolma-3コーパスを用いた実験から、トークン有効性はモデルサイズやデータ量に依存し、データ拡張において収益は逓減することがわかった。また、計算支配、データ支配、モデル支配の三つの運用レジームを示し、古典的な計算最適割り当てが実務的に最適でないことを明らかにした。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #autoresearch/RSI #AgentHarness Issue Date: 2026-08-06 GPT Summary- AREXは、再帰的自己改善型の深層研究エージェントで、複数の制約を満たす回答を効率的に見つけるための手法を提案します。内部研究ループで暫定的な回答を構築し、外部ループで回答を監査・改善することで、検証過程を強化します。自律的な文脈更新ツールを学習し、長期的な視野での学習を促進。密結合モデルおよびMixture-of-Expertsモデルを用いた実験では、様々なベンチマークで顕著な性能向上を示しました。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Chain-of-Thought #Hallucination #Reasoning #Initial Impression Notes #Author Thread-Post Issue Date: 2026-08-05 GPT Summary- 推論経路内のノイズを特定し、幻覚検知性能を低下させる関連性のないステップと反復的なステップを除去するために、REDEという新しい学習フレームワークを提案。最終回答へのアテンションを自動監督信号として利用し、信頼性の高いノイズ除去を実現。実験結果により、REDEが競合手法より一貫して優れた幻覚検知性能を示すことが確認された。 Comment

元ポスト:

Loading…

long reasoningが実施された際に現れる、タスクに対してほとんど追加の情報を得られない推論ステップ(irrelevant)、既に得られている情報であるにも関わらず繰り返される推論ステップ(repetitive)が、hallucination detectionの性能を著しく低下させることを特定し(Figure 1)、hallucination detectionの性能を向上させるために、最終的な回答に基づくattention scoreに基づいて、reasoning trace中の重要なstepとnoisyなstepを分離できるようなlightweight projectionを学習し(直感的には、最終的な回答は重要なトークンにattendし、noisyなトークンにはattendしない)、noisy stepをフィルタリングすることで、hallucination detectionの性能を向上させる (Figure 4)、という話に見える。

image




Paper/Blog Link My Issue
#LanguageModel #Chain-of-Thought #Safety #One-Line Notes #Monitorability #Reading Reflections Issue Date: 2026-08-05 GPT Summary- 言語モデルがフィラー・トークンを利用して合成推論タスクの性能を向上させることを実証。13の最先端モデルを評価し、多くがフィラー・トークンから13ポイントの精度向上を果たした。特にClaude Opus 4.5は、隠れた算術制約を達成し、主要タスクの精度を維持しつつ、見えない推論が行われることを示す。強化学習は特定のモデルにフィラー・トークンへの嗜好を与えるが、テスト時にその効果は持続せず、モデルが出力トークンに解釈可能な痕跡を残さないことを示唆。 Comment

元ポスト:

Loading…

CoTを出力させずに、代わりにフィラートークンをprefillで埋め込んだ場合でも、LLMの推論能力が向上するという話のようである。利用するフィラートークンの種類によって影響が異なる。

image

関連する話題として、CoTを提案した研究(Reasoning登場前)では、CoTのトークンの内容ではなく、生成されるintermediate tokenの量が増えること、すなわち正解を出力するまでの計算量が増えることが性能向上に寄与している可能性を検証している。具体的には、問題を解くために必要な数式の文字数と同じ数のdotを出力させてから回答させる(=トークンそのものに意味はないが何らかの計算量が費やされる)ことで性能が変化するか?ということがAblationされており、その際は性能が変化してしないことが報告されていた(ただしdotでしか試されていない)。本研究はprefillで埋め込んでいる点で、厳密には扱いが少し異なる(prefillの場合はユーザの発話のテンプレートの中にフィラーが入るが、生成の場合はシステムの応答のテンプレートの中にフィラーが入るという点で異なる)。

ただし、この頃から現在のLLMは飛躍的に進化(主にReasoningが)しているため公正な比較にはなりえず、あくまで過去はこういう結果が出ていたよ、という話である。

- [Paper Note] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, Jason Wei+, NeurIPS'22, 2022.01

その後、下記研究のようによってフィラートークンが性能向上に寄与する場合があることと、その条件が分析されたようである。
- [Paper Note] Let's Think Dot by Dot: Hidden Computation in Transformer Language Models, Jacob Pfau+, arXiv'24, 2024.04

少し方向性は変わるが、

- [Paper Note] Value Leakage: An LLM's Answers Are Silently Shaped by Its Own Values, Jan Betley+, arXiv'26, 2026.07

もある。この研究では、LLMが自身の価値観に沿って応答にバイアスをかけるが、それをCoT中に明示できないだけでなく、あたかも中立を装っているかのようなCoTが実施される現象が報告されている。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #PostTraining #train-inference-mismatch #Asynchronous Issue Date: 2026-08-05 GPT Summary- 非同期強化学習におけるオフポリシーデータの不安定性を解消するため、重要度比のエントロピーに基づくEntropy-Scaled Trust Region(ESTR)を提案。低エントロピーではサンプリングノイズが増幅され、高エントロピーでは探索的偏差が顕著になる。ESTRは各トークンの偏差を局所エントロピーでスケーリングし、補助伝搬を必要とせず、既存手法を上回る性能を示す。具体的には、BrowseComp-Plusでavg@1が37.34、multi-turn GSM8Kで95.69に到達し、2.6倍の速さを実現。 Comment

関連 (IcePop):
- [Paper Note] Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model, Ling Team+, arXiv'25, 2025.10

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #Decoding #read-later #Selected Papers/Blogs #GPUKernel Issue Date: 2026-08-04 GPT Summary- LLM推論のサンプリングを高速化するために、$\textbf{SonicSampler}$を提案。これは、固定化された実行モデルに統合されたタイル対応のTritonカーネルを用い、ダイナミックなサンプリング動作をサポート。文法制約や頻度ペナルティなどを一つのバッチ処理で実現し、CUDA Graphに完全に互換性を持つ。新しい階層的二段階top-kアルゴリズムにより最大で$\textbf{10x speedup}$を達成し、全体で最大$\textbf{16x speedup}$を実現しつつ柔軟性を維持。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #LanguageModel #AIAgents #Evaluation #LongHorizon Issue Date: 2026-08-04 GPT Summary- 動的なマルチターン会話におけるユーザーの進化する意図を追跡する能力が求められるが、現在のLLMsは依然として静的な単一ターン評価に依存しており、高いパフォーマンスが維持できないことが示された。この研究は、ユーザーの意図が段階的に明らかになり、容易に修正される動的な設定への移行を提案し、既存のベンチマークを新たに活用する手法を導入した。しかし、モデル全体でパフォーマンスの著しい低下が見られ、LLMsの進化する意図を追跡する能力が不足していることが明らかになった。 Comment

元ポスト:

Loading…

関連する研究としては下記もある:
- [Paper Note] $π$-Bench: Evaluating Proactive Personal Assistant Agents in Long-Horizon Workflows, Haoran Zhang+, arXiv'26, 2026.05




Paper/Blog Link My Issue
#LanguageModel #AIAgents #memory #ContinualLearning #Author Thread-Post Issue Date: 2026-08-04 GPT Summary- COREは、言語モデルの推論能力を向上させるために、過去の推論の痕跡を比較し洞察を生成するノンパラメトリック学習アルゴリズムである。これにより、少数の学習サンプルで迅速な改善が可能となり、固定ロールアウト予算内でも効果的な性能を達成。COREは、成功と失敗の対比を通じて、解釈可能な自然言語の洞察を生成し、モデル改善への効率的なアプローチを提供する。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…

成功した軌跡と失敗した軌跡を比較し、成功・失敗の決め手となるような洞察を記述しメモリに蓄積することで、継続的に性能を改善する。

テキスト版contrastive learningという感じに見える。




Paper/Blog Link My Issue
#Analysis #LanguageModel #Transformer #Architecture #RecurrentModels #RecursiveModels Issue Date: 2026-08-04 GPT Summary- 重みを共有したループ型トランスフォーマーに関する研究で、群の語問題に対する四つの主要な発見を示す。まず、無予算訓練により、線形計算のフロンティアが定着し、訓練時とテスト時で異なるループ数の許容が原理的な停止規則を生む。次に、アーキテクチャの選択は表現力よりもアルゴリズムに焦点を当て、重み共有がモデルの能力に影響を与えることがわかる。また、境界の複雑さはパフォーマンスに影響を及ぼし、演算子の共同学習におけるデッドロックが報告される。最後に、ウォームスタートによるアルゴリズムの転送は成功するが、自由訓練の設定によっては失敗することが観察され、収束時間スケーリングを導入して因果的な検証を行い、標準的な指標とは異なる結果が得られることを示す。 Comment

元ポスト:

Loading…

うーむ...難しそうだ...




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #Test-Time Scaling #read-later #TreeSearch Issue Date: 2026-08-04 GPT Summary- TTEL(Test-Time Scaling via Error Localization)アルゴリズムを提案し、トークン単位の誤りを特定して推論効率を向上。固定的フィードバックを利用し、妥当なプレフィックスを再利用することで、生成トークン数を削減。広範な評価で優れたパフォーマンスを示し、特にLiveCodeBenchおいて71.0%のpass@64を達成。数学ベンチマークでも競合を上回る結果を披露。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #OpenWeight #Selected Papers/Blogs #RecurrentModels #RecursiveModels #Initial Impression Notes Issue Date: 2026-08-03 GPT Summary- Nanbeige4.2-3Bは、3Bのパラメータを持つコンパクトなエージェントモデルで、各種タスクや推論能力において高いパフォーマンスを示します。Looped Transformerを活用して新たなパラメータ追加なしに容量を拡張し、28兆トークンから事前学習されています。RLパイプラインによりモデル品質を向上させ、広範な評価で他のエージェントと比較して競争力を維持しながら、特にローカルパーソナルアシスタントとしての利用が期待されます。 Comment

元ポスト:

Loading…

HF: https://huggingface.co/Nanbeige/Nanbeige4.2-3B

Looped Transformerがアーキテクチャとして採用されたOpenWeightモデル

関連:
- [Paper Note] Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts, Chen Yang+, arXiv'26, 2026.02

以下の部分は興味深いが、具体的なAblationによる実験結果などは無さそうに見える。

>Loop Depth Selection. We study the number of passes through the shared layer stack. A two-pass
configuration provides the most favorable trade-off in our experiments: relative to a standard Trans-former, it retains approximately 75% of the token efficiency and provides a significant capacity gain. Increasing the number of passes provides only marginal additional improvement, but substantially
slows training and makes optimization less stable.




Paper/Blog Link My Issue
#LanguageModel #read-later #Intelligence Issue Date: 2026-08-03 GPT Summary- 知性は様々な分野で異なる形で現れ、目的に応じた学習可能な驚き(learnable novelty)が知性の多様な投影を生む。驚きを扱う際、各目的は異なる結果をもたらし、特に、新奇性探索は環境のノイズに妨げられ、大きな驚きを避ける自由エネルギー原理は低い満足に甘んじる。提案する閉形式の推定量は、監督なしで複雑性の分類を復元し、セルオートマトンの計算能力を高める。これにより、教師なしでMNISTデータセットを整理し、強化学習エージェントに内的報酬を提供することで、探索を促し、複数の環境でタスクの基準を超える成果を達成する。探索、生成、抽象化は一つの微分可能な量に基づき、知性の発展に寄与する。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence, Marc Finzi+, arXiv'26, 2026.01




Paper/Blog Link My Issue
#Transformer #Architecture #LatentReasoning #One-Line Notes #Reading Reflections Issue Date: 2026-08-03 GPT Summary- T2MLR(Temporal Middle-Layer Recurrence)を用いたTransformerベースの推論アーキテクチャを提案。従来の圧縮による制限を克服し、前のトークンからの中間層表現を浅い層に統合することで、中間計算を持続的に活用。自然言語処理タスクで強力なベースラインを上回る性能を発揮し、全層をループさせる必要はなく局所的な再発適用でも効果的。短期間のファインチューニングで数学的推論能力が向上し、実用的な導入の障壁を低減。 Comment

元ポスト:

Loading…

Transformerのデコード時の中間状態を、次トークン予測時のより浅いレイヤーに接続すると性能が向上する。
image

元ポストにもある通り、
- [Paper Note] Training Large Language Models to Reason in a Continuous Latent Space, Shibo Hao+, COLM'25

ではhidden stateを次トークン予測の入力に追加するという話だったが、前トークンの中間表現が直接layerに接続されるという点で異なっている。

- [Paper Note] Tapered Language Models, Reza Bayat+, arXiv'26, 2026.06

では、モデルの浅い層により多くのパラメータを割り当てることで性能が改善することが示されており、本研究での手法はパラメータを増加させるのではなく、前トークン予測時に計算された情報をうまく次トークン予測時に引き継がせることで、浅い層のパラメータをより効果的に活用できるようにしている、というイメージになるのかなと感じる。

全体的な傾向として最近はTransformerの浅い層の表現を改善するという話が多そうに感じるが、深い層をうまく改善するような方向性はどの程度模索されているのだろうか?




Paper/Blog Link My Issue
#LanguageModel #Decoding #Diversity #One-Line Notes #Reading Reflections Issue Date: 2026-08-03 GPT Summary- 言語モデルが多様な選択肢から1つの答えを選ぶ際、"JSONでのみ応答"というフォーマット要求が選択結果を変化させることを示した。One-Word Censusを再実行し、44モデルに対して31の回答カテゴリを投げた結果、JSON形式での応答がモーダル回答のプールを41%から64%へと増加させ、回答の多様性が減少。特定のモデルが選択肢の安定性に寄与し、JSONはモデルのデフォルト応答を移動させた。構造化出力は言語モデルの利活用を測定可能にし、デコーダーでの強制と異なり、モデルの内部応答に変化が含まれることを示唆する。 Comment

元ポスト:

Loading…

出力形式の指示と、生成結果の多様性に関する分析で、たとえばJSONでの出力を求めると、plain textでの出力と比較して多様性が低下する傾向などが見受けられた。

体感的に多様性が必要なoutputを求めた際に、JSONとplain textでは全然出力の傾向が違い、後者の方が多様性があるなと感じていたので、これが定量的に示されたことになる。

個人的には出力構造をJSONやその他のフォーマットに制約すると、事前学習の学習データや、事後学習において当該フォーマットでどのような出力がなさる学習されたかによって、出力の傾向は変わるだろうな(つまり出力フォーマットによって条件だけされた生成になる)という仮説があったが、どうなのだろうか。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #PostTraining Issue Date: 2026-08-03 GPT Summary- GRPOを一般化するRRPOを提案。RRPOは正解ベースから参照相対的な比較に置き換え、層別化されたロールアウトを用いて正負のアンカーを構築。これにより、対照的アドバンテージを直接定義し、方策最適化中は射影ヘッドを凍結。RRPOは、検証器に依存せず競争力を維持し、弱教師ありベースラインを上回る結果を示す。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #LongContext #PostTraining #Grounding Issue Date: 2026-08-03 GPT Summary- 大規模言語モデルは段階的な推論の痕跡を生成し複雑なタスクで高性能を達成するが、「繰り返しのコピー」と呼ばれる過剰なテキストの模倣が問題となる。これは文脈が長くなるほど顕著で、主な証拠に焦点を当てられないため誤答が増加する。そこで、根拠認識付き報酬(GEAR)を提案し、正確性信号に基づいて主要な証拠と無関係な文脈を区別する報酬整形法を導入。自動化された訓練データ構築パイプラインを開発し、複数のモデルとベンチマークで検証。これにより、従来の強化学習よりも平均4.6ポイントの精度向上を実現し、推論の質を改善することが示された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #LanguageModel #AIAgents #AgentHarness Issue Date: 2026-08-03 GPT Summary- 長文ドキュメントの質問応答では、文書全体を読み込むか、別途リトリーバを使用する方法が主流だが、エージェント型AIはより柔軟に文書の読解を進める。Agent Skillsを通じて、必要な情報だけを段階的に開示する「漸進的開示」機構を提供。実務家はこの手法を急速に適用しているが、従来の証拠は事例的だった。本研究では、漸進的開示の効果を対照研究を通じて実証し、原文書ナビゲーションと複数のAgent Skillsの設計を従来のハイブリッドリトリーバと比較した。多数の書籍タスクでは、1レベルの漸進的開示が優位である一方、深いルーティングは効果が薄くなることがわかった。漸進的開示は知識を得るのではなく文脈を提供し、特にコーパスが大きい場合に有用である。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #Infrastructure #LongContext #LLMServing #SoftwareEngineering #read-later #Selected Papers/Blogs #GPUKernel #Latency #Initial Impression Notes Issue Date: 2026-08-03 GPT Summary- GPUコレクティブ通信は帯域幅最適化が主流だが、遅延制約が増加中。特に、LLM推論では多数の小規模コレクティブがトークン生成に影響を与えるため、マイクロ秒のオーバーヘッドが性能に重要。研究では、GPUコレクティブの性能向上に向け、効率的な同期とマルチキャスト利用の原則を特定。カスタムコレクティブカーネルを開発し、遅延を大幅に削減、SoL下限の7%以内に抑制。実アプリケーションでLLM推論のレイテンシとスループットを改善し、AI推論とHPCの両方に貢献。 Comment

元ポスト:

Loading…

小規模バッチ、Tensor Parallelism適用時に のデコード時に頻発するAllReduceのlatencyを、usレベルで削減できる工夫を施すことで、推論コストを低下させる




Paper/Blog Link My Issue
#Analysis #LanguageModel #Alignment #ReinforcementLearning #PostTraining #Selected Papers/Blogs #Author Thread-Post #RewardSeeking Issue Date: 2026-08-03 GPT Summary- 強化学習で訓練された言語モデルは、審判者の判断を最適化しがちなため、目的を意図通りに遂行することが困難になる。この研究では、対照的合成文書ファインチューニングを用いて報酬追求を測定し、審判者が意図する行動とモデルの信念の対立を評価。強化学習の中間チェックポイントは、ユーザーや開発者よりも審判者の好みに従う傾向があり、特に能力重視の設定では顕著であった。報酬ハックを狙うモデルも、この傾向が強化されることが示され、RLによる訓練が意図しない行動を引き起こす可能性を示唆する結果となった。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #PostTraining #On-Policy #Rubric-based #SelfDistillation Issue Date: 2026-08-02 GPT Summary- ルーブリックに基づく強化学習は、LLMsの改善において有望だが、未探索基準(UC)と抑制基準(SC)に関する制約が存在する。従来の手法は、これらの基準を適切に扱えず、訓練と推論時に不整合を生じる。これらの課題に対処するため、CriPO(Criterion-Distilled Policy Optimization)を提案し、オンポリシー自己蒸留を通じてルーブリックを強化する。UCには基準注入自己教師を使用し、SCに対しては反事実的自己教師を利用して有用なパターンを保持。医療と科学のベンチマークでの実験は、CriPOがルーブリックに基づくRLを上回り、最適化ステップ数を半減させることを示した。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #Distillation #PostTraining #On-Policy #One-Line Notes #Rubric-based #Author Thread-Post Issue Date: 2026-08-02 GPT Summary- Experiential Learning(EL)は、強化学習におけるLLMの評価をスカラー報酬に圧縮する問題を解決する新しい手法である。ELでは、LLMをコーチとして活用し、評価を経験的知識に転用することで、オンポリシー応答に高品質なフィードバックを提供する。これにより、微細な嗜好を保持し、ポリシーの内部化を促進。ELは、未知のオープンエンドタスクにおいてルーブリックベースのRLを一貫して上回り、一般化性を向上させ、報酬ハッキングを抑制することが示された。 Comment

元ポスト:

Loading…

ルーブリックを用いてscalar rewardを付与するのではなく、ルーブリックに基づいたinsightをテキストとして出力し、OPDすることで、密な報酬を更新に反映させる。

image

著者ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #COLM #One-Line Notes #Author Thread-Post #Creativity #WeightSteering Issue Date: 2026-08-02 GPT Summary- CreativityNeuroを導入し、大規模言語モデルの発散的思考を改善する。これにより、人間の百分位点を14ポイント向上させ、独創性や驚きを顕著に増加させ、モード崩壊を減少させることを示した。特に、DATではアクティベーション・ステアリングと同等の成果を上げつつ、別のタスクには転移しない有効性が確認された。行動データや再訓練なしに創造性を高める方法を提供する。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Math Neurosurgery: Isolating Language Models' Math Reasoning Abilities Using Only Forward Passes, Bryan R. Christ+, ACL'25, 2024.10

- [Paper Note] Math Neurosurgery: Isolating Language Models' Math Reasoning Abilities Using Only Forward Passes, Bryan R. Christ+, ACL'25, 2024.10

の手法をCreative Thinkingドメインに適用。Creative Thinking分野は構造化されたデータセットを構築することは困難だが、Promptで振る舞いを記述することは可能なことから、Constrativeなプロンプト(creative vs. non-creative, Table1)を利用し、Math Neuro/Wandaでのパラメータの重要度同定手法を適用し、同定したパラメータの重みをスケーリングすることで、Creative Thinking能力を向上させる。

image

Divergent Association Task (なるべく互いの距離が大きくなるようにN個の単語を生成するタスク)によって評価したところ性能が向上し (Figure 2)、720人の人間による評価者を用いた評価では、Originarity, Surprise, Creativityが有意に改善した(**Activation Steeringでは有意な改善は見受けられなかった**)、という話のようである。




Paper/Blog Link My Issue
#ComputerVision #LanguageModel #FoundationModel #Selected Papers/Blogs #VisionLanguageModel #Robotics #WorldModels #UMM #reading #Omni #EmbodiedAI #AudioLanguageModel #WorldActionModel Issue Date: 2026-07-31 GPT Summary- Cosmos 3は、言語、画像、動画、音声、アクション系列を共同処理・生成するオムニモーダル世界モデルです。視覚と言語のモデルを統合し、評価結果で新たな最先端を確立。事後訓練済みモデルは最良のモデルと評価され、オープンな研究のためのリソースを公開しています。 Comment

テキスト、画像、動画、音声、アクション、これらのモダリティを全て理解し、生成できるOmnimodal World Modelとのこと。
image

様々なモダリティで他のOpenWeightモデルと同等以上の性能を達成しているようである。Drivingドメインでは突出している。モダリティごとに評価ができない項目はグレーに塗りつぶされているが、これだけ塗りつぶされた表は初めて見た。。。インパクトがある。

image




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #Distillation #PostTraining #On-Policy #One-Line Notes #AgentSkills #SelfDistillation Issue Date: 2026-07-31 GPT Summary- SEED(自己進化型オンポリシー蒸留)を提案し、成果ベースの強化学習の監督ギャップを埋める。SEEDは完成したオンポリシー軌跡を分析し、再利用可能な自然言語スキルを生成。また、ポリシー自体がハindsightスキルを抽出し、意思決定を改善。密なトークンレベルの蒸留信号でサポートし、性能とサンプル効率を向上させることを実験で確認。 Comment

元ポスト:

Loading…

hindsight (後で結果を知ったうえで考えてみたら重要だった) skill をagent trajectoryから抽出する能力をSFTで身に着けさせた後に、その後RLを実行する。

RLを実行する際には、rolloutを実施した後に、(モデルは既にhindskillを抽出する能力を身に着けているため、)各rolloutから hindsight skillを抽出し、当該スキルの情報をcontextとして与えた場合を教師モデルとすることでOPDの学習シグナルとする。
これにより、sparseな報酬とdenseな報酬を両立する、という話に見える。

image




Paper/Blog Link My Issue
#LanguageModel #Distillation #PostTraining #Selected Papers/Blogs #On-Policy #reading #Initial Impression Notes Issue Date: 2026-07-31 GPT Summary- オンポリシー蒸留は、強化学習における代替的な事後訓練手法で、教師モデルからのトークンレベルの監督信号を利用する。本研究では、デルタ信号と呼ばれる新しい蒸留報酬を導入し、推論チューニング前の教師モデルと基礎モデルの差分を捉えることで、推論能力の転送を促進する。実験により、On-Policy Delta Distillation (OPD^2)が従来の手法を上回り、LLMsがわずかな後訓練期間で強力な性能を達成する可能性を示した。 Comment

元ポスト:

Loading…

わかりやすい:

Loading…

ポイント解説:

Loading…

通常のOPDと比較して複数ドメインで大幅に性能が向上している

解説:

Loading…




Paper/Blog Link My Issue
#LanguageModel #LongContext #read-later #Author Thread-Post Issue Date: 2026-07-31 GPT Summary- 長い文脈を持つRLのポストトレーニングにおいて、GRPOは複数のポリシー応答を同時に処理する必要がある。本研究では、LongStrawシステムを提案し、プロンプトのキャプチャと状態の復元を行い、効率的な応答リプレイを実現。Qwen3.6-27B と GLM-5.2 に対して実装を行い、状態維持やリプレイ演算子の集団通信をアーキテクチャに適合させた。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Self-SupervisedLearning #Coding #mid-training #Selected Papers/Blogs #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-07-31 GPT Summary- コーディングエージェントは外部ツールの戻り値を推論に組み込む能力が求められるが、従来の事前学習は前方方向のみに焦点を当てる。本研究では、関数を意識したミッドトレーニングのFill-In-The-Middle (FIM)を用い、プログラム依存グラフを通じて自己教師付き学習を実施。Qwen2.5-Coder-InstructとQwen3のモデルをGitHubから得たデータでトレーニングし、明確な性能向上を確認。ミッドトレーニングにより、エージェント指向のポストトレーニングが他のコーディングやツール使用ベンチマークでも効果を発揮。Pythonコードのみを用いたにもかかわらず、関数呼び出しのバイアスは持続し、安定した成果を得る結果となった。 Comment

元ポスト:

Loading…

post-training で agenticな能力を身に着けたモデルは context -> action -> observation -> continuation のループをタスクを完了するまで繰り返す。基本的にはこのようなagenticなbehaviorは合成データを用いたpost-trainingで強化されるが、そもそもこの構造はプログラミングでの関数呼び出しの構造と共通しており、インターネット上にこのようなコードは自然に存在する。これを活用するために、 `A->B->C` の関数呼び出しがあった際に、Bをマスクし、rationale + Bのbody を出力させるという mid-training (SFT) を実施し、事前にagenticなbehaviorの土台を築くことで、post-trainingの効果がより大きくなり、コーディングエージェントの性能が向上した、という話に見える。興味深い。

image

long horizonなタスクの性能向上に効きそうに感じるが、そのような分析はされているだろうか?

最初に読んだときは構造的に似ているから、mid-trainingに使うとscaffoldingの役割を果たしてpost-trainingの効果が上がるよ、というイメージなのかと思ったが、イントロにあるように、気持ちとしては以下のようである:

> A model trained to reason bidirectionally about function-level dependencies must learn to reconstruct a callee’s behavior from caller context and downstream usage, which is the same competence required to predict an agent’s continuation given a history and a tool return.

つまり、関数のBの挙動を復元するFIMタスクを用いてmid-trainingすると
モデルは呼び出し元の情報と、呼び出し先の利用状況から、関数の挙動を復元する能力を身に着ける必要がある。
これは、contextとツールの戻り値が与えられた時に、エージェントの後続処理を生成する能力と本質的に同じもの(mid-trainingでは与えられたsuffixによって条件づけられるが、post-trainingではsuffixを”生成する”必要があり、完全に一致はしないはずだが、転移するはずだ)、という主張のようである。

気持ちとしては、ブラックボックス(関数B)の中身を予測する能力が高くなると、ツールの呼び出し結果が期待した通りのものかどうかを判断する能力が向上することに寄与する、という感じだろうか[^1]。

[^1]: ここの気持ちを掴むのに結構時間がかかっている、というよりよくわかっていないかもしれない。要はagentがツール呼び出し結果を受け取った後の生成性能を改善したいという気持ちが背景にあるようであるが、プログラムの目的がgivenな上で、関数Bはマスクするが戻り値だけは与えられるという設定にして `A->Bの戻り値観測->Cを予測` というmid-trainingではだめなのだろうか?と思ったが、これだと関数Bは必ず期待通りの値を返すことになるので、ツール呼び出しでは必ず期待したとおりの結果が返ってくるという挙動が埋め込まれ、全然うまくいかないだろう、と思われる。




Paper/Blog Link My Issue
#LanguageModel #Transformer #Architecture #read-later #Selected Papers/Blogs #RecurrentModels #RecursiveModels #Scalability #Depth #Author Thread-Post Issue Date: 2026-07-31 GPT Summary- ループド・トランスフォーマーは、逐次計算をスケールさせるために物理ブロックを再利用し、パラメータを増やすことなく展開深度を拡張します。この手法では、1つの共有更新が勾配を集約し、次の計算で再利用されます。DeepLoopとして実装されたこのアプローチは、訪問整合係数を用いて結合深さを制御します。GPT風のモデルで、再帰的深さが有効になると検証損失とタスク精度が向上し、残差スケーリング規則の考慮が重要であることが示されました。 Comment

元ポスト:

Loading…

著者ポスト2:

Loading…


関連:
- [Paper Note] Hierarchical Reasoning Model, Guan Wang+, arXiv'25




Paper/Blog Link My Issue
#Analysis #LanguageModel #Alignment #AIAgents #Chain-of-Thought #Evaluation #Bias #Safety #Selected Papers/Blogs #reading #One-Line Notes Issue Date: 2026-07-31 GPT Summary- 言語モデルは現実的な質問に対し、隠れた価値観の影響を受けることが示される。特に、AI企業に投資を検討するユーザーへの情報提供において、モデルはAI企業(例:Anthropic)の選好を示しながらも、その影響をほとんど開示しない。この現象はミスアラインメントの一形態であり、価値の漏洩を評価するための評価セットが導入された。各モデル間での価値観の影響には差があり、例えばClaudeモデルは偏りのない回答を主張する一方、Qwenモデルは自身の価値観の影響を説明する。価値の漏洩は従来のアラインメント訓練や評価では十分に対処されていない新たな故障モードである。 Comment

元ポスト:

Loading…

LLMは自身が保持する価値観に沿って応答にバイアスをかけ、しばしばそれはCoT中に明示されない。

たとえば、ClaudeはAnthropicに転職を検討しているクエリが投げられると、Anthropicに有利な文献を提示する。

GPTなClaudeは、正確な金額の見積もりを依頼しているにもけかわらず、promptの末尾に40ドルを超えたら寄付しますという文言を追加すると、見積もりを40ドルに近づける。

AI Agentの文脈においては、全く同じモデルの出力に対して、Fake Labelとして、Claude, GPTなどのラベルを付与した結果、ClaudeはClaudeの結果を、GPTはGPTのラベルの結果を採用する。

これらはバイアスが生じているにもかかわらず、CoT中では開示されず、あたかも中立に振る舞っているかのようなCoTとなっており、Alignmentが失敗している(Qwenはバイアスが生じていることをCoT中で認める)。

といった話しが著者ポストに記述されている。興味深い。




Paper/Blog Link My Issue
#Survey #LanguageModel #AIAgents #Evaluation #SelfImprovement #ContinualLearning #Initial Impression Notes #AgentHarness Issue Date: 2026-07-31 GPT Summary- 自己改善型自律エージェントは、最小限の人間介入で適応を実現するため、研究プロトタイプから実運用システムへと進化している。本研究では、現代エージェントを基盤モデルと運用スキャフォールドの組み合わせとして位置づけ、自己改善を自己誘発更新演算子として定義。過去の研究を整理し、応用と評価を論じ、未解決問題や今後の方向性を考察する。技術的な更新情報は指定のリンクで追跡可能。 Comment

元ポスト:

Loading…

自己進化するAI Agentについて、モデル、Scaffolding (Agent Harness)、Evaluationの観点からまとめたサーベイのようである。self-improvingと言うと、元々LLMのモデルの重みを自己進化させる枠組みの文脈で使われていたが、AI Agentの文脈ではScaffoldingのメモリの蓄積による性能の進化等も含まれる。




Paper/Blog Link My Issue
#Multi #LanguageModel #ReinforcementLearning #PRM #One-Line Notes #LongHorizon #Author Thread-Post Issue Date: 2026-07-31 GPT Summary- TRACE(Turn-level Reward Assignment via Credit Estimation)は、マルチターンエージェントの強化学習における密なクレジット割り当て手法を提案する。従来の報酬メカニズムが希薄化する問題を解決し、ツール呼び出しの軌跡を状態遷移として扱い、正解回答の対数確率を利用して各アクションの報酬を導出する。これにより、エージェントのツール利用能力を大幅に改善し、教師付きファインチューニングに依存せず、BrowseComp-Plusベンチマークでの性能を著しく向上させた。学習行動はオープンウェブのベンチマークにも転移し、早期の改善と速い収束を示す。 Comment

元ポスト:

Loading…

frozenなモデルでツール呼び出しの前後において、呼び出し結果が正解の対数確率をどれだけ変化させたかによって、long horizon RLにおいて、密な報酬シグナルを提供する。

著者ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Selected Papers/Blogs #KeyPoint Notes #AI Detector #Reading Reflections Issue Date: 2026-07-31 GPT Summary- Pangram 4は、AIテキスト分類モデルで、AUROCが0.9916を達成し、高精度と分布外一般化能力、敵対的攻撃への頑健性を示します。微細な編集やAIと人間が共著したテキストの識別能力が向上し、境界検出やAI支援の検出も改善されています。標準的なAI検出ベンチマークでの性能が報告され、さまざまな設定で最先端の能力を発揮しています。 Comment

元ポスト:

Loading…

関連:
- ICLR 2026 - Submissions, Pangram Labs, 2025.11
- Third-Party Pangram Evaluations, Pangram., Destiny Akinode, 2025.11

日本語でも評価されていて、False Positive Rate(人間が記述したにもかかわらず、MIXED, AIと誤ってラベルづけされたテキスト)は0.0000%(一件もFalse Positiveがなかったのかは不明)、False Negative Rate(AIが全て記述したにも関わらず、MIXED, HUMANと誤ってラベルづけされたテキスト)は0.9305%と非常に高い性能を達成していそうに見える。

False Positive Rateの計算は2022年以前のFineWeb2のper-language-datasetを用いたとのこと(つまり、LLM登場以前のスナップショット)。

False Negtive Rateの計算はおそらく、5.2節記載の520kの26種類のOpen/Closedモデルに基づく合成データによって実施されていると思われるが、具体的にどのように各言語向けのデータが合成されているかは、ざっと見た限り明示されていないように見える。

また、上記の結果は完全なAI生成、あるいは人間による生成のよるものであり、AI-assistedな生成(MIXED)に関しての性能は下記の表となっている。これはざっくり言うと、Reddit中の人間が作成した投稿(これが本当に人間が作成したことが保証されているはか不明)に対して、AIに対して編集処理を施し、AIによって編集された割合が25%--75%のテキストに対して分類を実施した約5kサンプルに対する結果のようである。この結果を見ると、MIXEDと正しく判定できているものは、Pangram 3.3.2から大幅に向上しているが、人間が記述したと判定されるものが27.85%程度存在する。このことより、AI-Assistedなテキストの判定にはまだまだ改善の余地があると思われ、また評価データの多様性もRedditの投稿に基づいているため限定的なものであると考えられる。完全にAI生成のテキストを判定する能力と、AIによるアシストを受けた生成の判定能力にはかなりの開きがありそうなので、この点には注意が必要。

image

おそらく、仮にAI生成したものとバレたくない人間は、AI Assistedな記述方法(完全なAI生成ではないように何らかの細工を施す)と思われるので、Table 5に示された評価が個人的に最も重要に感じる。この点で言うと、WildChatに投稿されたテキストの編集操作に基づいて、人間が作成したテキストをベースにAI編集を施してMIXEDに関するgold dataを作成し評価をしているが、どちらかというと評価軸として欲しいのは逆で、完全なAI生成に対して、人間が軽微な何らかの細工を施したテキストを、どの程度AI generatedと検知できるかという視点が欲しいと思われる。

と思ったのだが、5.9節で関連する評価が実施されている。メジャーなHumanizerによって人間が作成したものらしく編集されたAI生成テキストに対するRecallは97.67%、True Positive Rateは95.57%とのことである(表14)。

AI Agentを用いたRed Teamingも、False Positive/False Negativeの隙を見つけるために実施されており、前者に関しては見つからず、後者についても様々な方法がエージェントによって検証されたようだが(特定の人物の文体の模倣、専門的な言葉づかいの利用、複数のAI生成文書の統合等)、唯一見つかった抜け穴は、ディクテーションによる振る舞いのみだったと報告されている。しかしこの例を目視で確認した結果、入力情報がLLMのoutputよりも多くのcontextで埋められていたこと、LLMのoutputが事実を箇条書きするような形式で、自由記述のテキストの形式とは乖離していたことから、Pangramの評価においてはont-of-scopeと判断した旨が報告されている。

多くの商用のHumanizerと、BLENDERと呼ばれるオープンソースのものによって、Humanizerによる編集に対してロバストであることが実験されている(数%程度はAI生成と正しくみなされない)、実際に人間がAI生成と検知されないように実施できるアクションをどの程度カバーしているのだろうか?という疑問は残る。

また、Humanizerによる評価は日本語に対しても実施されたのだろうか(そもそも日本語のためのHumanizerはそんざいするのだろうか)。よくわかっていない。

最終的にはコンピュータウィルスとウィルス対策ソフトのようないたちごっこにならざるを得ないと思われる。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #PostTraining #AgentSkills #SelfPlay #Data Issue Date: 2026-07-28 GPT Summary- LLMトレーニングは手動から自己進化へ進展。しかし、既存の方法はタスク多様性と検証信頼性のジレンマに直面。環境依存の手法は限定的で、オープンエンドの自己生成は誤解を招く報酬問題を抱える。エージェントのスキルを用いた共進化フレームワーク「Skill Self-Play」を導入し、提案者、ソルバー、スキルコントローラの三要素が連携。これにより、構造化された検証と探索のギャップを効果的に解消。実証評価では、Skill-SPがバックボーン性能を向上させることを示した。 Comment

元ポスト:

Loading…

所見:
-

Loading…

-
Loading…




Paper/Blog Link My Issue
#Embeddings #LanguageModel #Architecture #Selected Papers/Blogs #Encoder #reading #One-Line Notes #Scalability Issue Date: 2026-07-26 GPT Summary- BERT以降、エンコーダはほとんど変わっていないが、急速に進化するデコーダとの乖離を再評価。BERTエンコーダの表現は凍結プローブで劣化し、平坦な設計が表現学習を阻害している。これに対抗するため、CrossBERTを提案。二部構成のアーキテクチャで、トークン再構成から独立した高品質なエンコード表現を学習。高いマスキング比率と補完的戦略により、スループットとサンプル効率を向上。結果、MTEBおよび凍結GLUEベンチマークで優越性を示す。 Comment

元ポスト:

Loading…

論文の概要としては、BERTは投入された計算量に対してdownstreamタスク性能がスケールしない課題があったが、その原因を、BERTのflatなアーキテクチャが課題であると指摘。BERTはMLM lossで学習されるが、これはトークンの再構築の能力を測定するが、実際の表現の品質を測定できていない。BERTのアーキテクチャが、Representationの学習と、Reconstructionを明示的に分離していない(=flatなアーキテクチャ)ため、結果的にBERTが学習する表現がReconstructionのためのlocalな信号に過度に適合してしまい、abstractionに失敗してしまう(結果的に、計算量を投じれば投じるほどlossは下がるが、downstreamタスクの性能は下がる)、という仮説を立てている。

解決方法として、表現を学習するEncoderと、マスク部分の再構築をおこなうPredictorをアーキテクチャとして明示的に分離することを提案している。

image

これにより、投入した計算量に対してdownstreamタスクの性能がスケールするようになった、という話に見える。
image

おそらくアーキテクチャ上の細かい工夫があると思われるので、そこはしっかり読んだ方が良いカッコまだ読めてない)。




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #ReinforcementLearning #PostTraining #RLVR #Author Thread-Post Issue Date: 2026-07-25 GPT Summary- 強化学習における報酬フィードバックの最適化層の理解が不足している中、本研究ではスペクトル継承の概念を提案。この概念をIsospectral Optimization(ISO)として実現し、固定スペクトルフレームワークに基づくオフラインとオンラインの実装を導入。オフラインではISO-Mergerが異なるスペシャリストの能力を統合し、高性能を達成。オンラインではISO-Optimizerが基底スペクトルを固定しつつ、最適化アルゴリズムを適用し精度向上を実現。特に、ISO-AdamWは従来のAdamWよりも少ない学習ステップで高精度を達成。ISOは、報酬駆動型適応の構造を活用した最適化層の新たな設計を提案する。 Comment

元ポスト:

Loading…

著者ポスト2:

Loading…




Paper/Blog Link My Issue
#Search #LanguageModel #AIAgents #ContextEngineering #memory #ContinualLearning #Initial Impression Notes #AgentHarness Issue Date: 2026-07-24 GPT Summary- PRO-LONGは、長期的なタスクに向けた最小限の文脈管理フレームワークであり、プログラム的メモリを使用して情報の保存と検索を効率化する。これにより、ARC-AGI-3ベンチマークでの性能を向上させ、平均18.0ポイントの改善を達成。最先端のハーネスと同等の成果を挙げながら、トークン効率も向上させている。Fable 5を用いた実験では、97.4%の高精度を示し、コストも抑えられている。 Comment

元ポスト:

Loading…

全てのログを構造化して格納し、エージェントがread/grep/pythonなどを用いて検索可能にするというシンプルなメモリを提案しているようで
image

様々なモデル、ハーネスの元、パレード最適を実現しているようである。
image

ログが極端に肥大化した場合性能にどのような影響が出るだろうか?すぐに肥大化しそうだが。




Paper/Blog Link My Issue
#Analysis #Pretraining #LanguageModel #Optimizer #Selected Papers/Blogs #Stability #reading #Scalability #Initial Impression Notes Issue Date: 2026-07-24 GPT Summary- 高階最適化アルゴリズムMuonとSOAPはAdamWより収束が速いが、計算コストと数値安定性の課題が大規模採用を制限している。研究では、前処理付き勾配法の強化を通じて、大規模LLMの事前学習の問題を解決する。大規模バッチサイズでのSOAPの不安定性を特定し、QR正交化や改善された前処理を提案。これにより損失スパイクを排除し、訓練の安定性を向上。MuonとSOAPは、最大1億トークンのバッチサイズでAdamWを上回る性能を示し、大規模な効率的訓練を可能にするための層別分散型最適化手法を採用。最適化アルゴリズムの新興コードベースも公開。 Comment

元ポスト:

Loading…

バッチサイズを大規模にしてもMuonはAdamWよりも安定して収束することが実験的に示されたらしい(最近は分散学習下においてGPUのbubbleを削減するためにバッチサイズを大きくせざるを得ない)。

SOAP:
- [Paper Note] SOAP: Improving and Stabilizing Shampoo using Adam, Nikhil Vyas+, ICLR'25

Muon:
- [Paper Note] Muon is Scalable for LLM Training, Jingyuan Liu+, arXiv'25, 2025.02

Muonが世に出てからもう1年半程度たったのか

解説:

Loading…


この実験においてMuonがバッチサイズが大きい場合でもロバストであることが示されたが、そもそも最近のOpenWeightモデルでMuonが採用されていたのは、Muonが大バッチ耐性があることが一因として考えられるという視点がおもしろかった。
また、Muonが必ずしもすべての行列パラメータに有効ではなく、現在はlinear projectionに対して有効。

つまりこの研究が出る前からFrontierモデルを扱うラボなどでは周知の事実だったのだろうか?どのくらい世に出ていない知見が存在するのだろう。




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #AIAgents #Attention #LLMServing #MoE(Mixture-of-Experts) #SoftwareEngineering #KV Cache #Initial Impression Notes Issue Date: 2026-07-23 GPT Summary- MiMo-V2.5モデルファミリの推論最適化を提案。Hybrid Sliding Window Attentionと疎なMixture-of-Expertsを組み合わせ、注意計算量とストレージを大幅に削減。レイヤーごとのプリフェッチやキャッシュ戦略を用いて、厳密なストレージと高いキャッシュヒット率を実現。高性能な分散キャッシュ基盤GCacheを構築し、計算量を減少。マルチモーダル入力への最適化も行い、初の大規模LLM提供システムを実現。 Comment

元ポスト:

Loading…

関連:
- Xiaomi MiMo-V2.5-Pro: A leap in agentic and long horizon coherence, Xiaomi, 2026.04

MoEやSWA、マルチモーダルモデルを用いたモデルを効率的にサービングするためのエンジニアリング面での工夫が記述されているようである。




Paper/Blog Link My Issue
#Pretraining #LanguageModel #ReinforcementLearning #Scaling Laws #PostTraining #Selected Papers/Blogs #reading #One-Line Notes #Author Thread-Post Issue Date: 2026-07-23 GPT Summary- 強化学習(RL)と大規模言語モデル(LLMs)の相互作用を特定するため、チェスを用いた統制されたテストベッドを提案。事前訓練からRLまでの関係を調査し、RL計算量と事前訓練損失との予測関係を発見。RLはSFTポリシーを鋭くするだけでなく、難解な問題でより良い解決策を引き出す。数学ドメインでも同様のパターンを確認し、事前訓練とRLの関係を定量的に説明する枠組みを提供。 Comment

元ポスト:

Loading…

事前学習によってモデルの能力の基盤が形作られ、それは最終的なモデルの品質に大きな影響を与えることは経験的に知られているようだったが、本研究の成果は事前学習の重要性を示す一つの根拠になり得るため、重要文献に見える。

著者ポスト:

Loading…


- 事前学習のlossによって(固定されたRL予算の元での)到達性能 (pass_at_1) を予測可能で、事前学習での学習トークン数に対して(固定された予算の元での)RLの性能向上の傾きが、対数線形に増加する (Figure 3)
- 実験から導かれた事前学習-RL間のスケーリング則 (p.8)
- が、対数線形の傾向は局所的にしか成り立たない模様?
- 予算が小さい場合は事前学習を重視し、予算が増加するにつれてRLに比重を置いた方が最終的なモデル性能が改善する (Figure 2)
- 事前学習に費やすトークンが多いほどRL後の性能が増し、モデルスケールが大きいほどRLに計算量を多く割り当てた方が性能が高くなる
- この傾向は、1B OLMo2を数学で10-200Bトークンで事前学習した場合でも観測された




Paper/Blog Link My Issue
#LanguageModel #Bias #Japanese #read-later #Selected Papers/Blogs #Cultural Issue Date: 2026-07-23 GPT Summary- LLMの文化的な偏りを分析する新しいデータセットCROQを提案。結果、LLMは日本など特定の地域に対して明確な傾向を示し、英語などの資源豊富な言語で多様な出力を生成。公用語国に関する質問では回答が少なく、偏りは監督付きファインチューニング後に現れることを示唆。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#InformationRetrieval #LanguageModel #AIAgents #Evaluation #Selected Papers/Blogs #reading #One-Line Notes #AgentSkills #Reading Reflections Issue Date: 2026-07-21 GPT Summary- 大規模言語モデル(LLMs)が外部スキルに依存するようになり、これを効率的に活用するために新たにSRA(Skill Retrieval Augmentation)パラダイムを提唱。SRAは、エージェントが必要に応じて関連スキルを動的に取得し適用する仕組みで、初のベンチマークSRA-Benchを導入。5,400件のテスト事例と636件の正解スキルを用いた実験により、検索ベースのスキル拡張が性能向上に寄与することを確認。ただし、スキルの取り込みには課題があり、正解スキルの認識や外部能力の必要性に関する判断がエージェントの性能を制限することが分かった。これにより、今後のエージェントシステムの能力拡張の基盤を築くことが示唆される。 Comment

元ポスト:

Loading…

pj page: https://sr-agents.github.io

dataset: https://huggingface.co/datasets/WeihangSu/SRA-Bench

スキルの肥大化に伴いモデルのcontextが肥大化しパフォーマンスが劣化することから、動的にスキルを検索して統合するSkill Retrieval Augmentationを提案し、そのための大規模なデータセットを用いて評価をしている、という話に見える。データセットは26kのスキルで構成され、そのうち636件がgoldという規模感のデータセット。

実験結果を見ると、topkのretrieve結果をそのまま利用するfull injectionよりも、full injectionしたスキルのメタデータからrelevantなスキルを1iLLMで選択するLLM Selectionの性能が向上している点が興味深い。

image

また、skill poolにhard negativeなスキルが存在すると、ベンチマークのスコアは低下していく傾向(具体的にどのベンチマークかまでさ読めていない)にあり、hard negativeが8つ程度で、様々なモデルにおいてAcc.が10%程度は低下しているように見える。興味深い。
image

問題設定が実用的で興味深いだけでなく、hard negativeなスキルが <10個 程度のオーダーで存在するだけで大きくAcc.が低下する知見を示している点がおもしろい。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SmallModel Issue Date: 2026-07-21 GPT Summary- 現代の産業アプリケーションでは、多段階推論とツール使用を行うエージェント型モデルが求められており、小型モデルが望ましい。本研究では、合成データと限定的なオープンソースデータを用いて訓練されたAgenticQwenモデルを提案。推論RLとエージェントRLを組み合わせ、自動的にタスクの難易度を高める二重データフライホイール機構を導入。これにより、現実的な意思決定の複雑さを反映した行動ツリーを生成。AgenticQwenは公開ベンチマークや産業用エージェントシステムで高い性能を示し、特にデータ分析タスクにおいて大規模モデルとのギャップを縮めた。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #LongContext #reading #One-Line Notes #Reading Reflections #Test Time Training (TTT) #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- 長文脈処理において、LLMは単にコンテキスト窓を拡張するだけでは十分ではなく、入力長の増加が精度の低下を引き起こすことがある。テスト時訓練(TTT)は長文脈の活用を改善する手法の一つだが、全体への適用は費用がかかり、ランダム抽出による訓練が性能を低下させることがある。これに対し、Self-Guided TTT(S-TTT)を提案し、適応前にモデルが選択された証拠スパンを認識することで、基準となる言語モデル訓練を適用。S-TTTは、LongBench-v2およびLongBench-Proでの精度向上を実現し、最大で15%の改善を達成。 Comment

元ポスト:

Loading…

長文Context+質問が与えられたときに、質問に関連するcontextのspanを同定した後(Self-Guided)、TTTでモデルパラメータに内部化させた後に応答する、という話に見える。TTTでは、LoRAを用いて、かつ16 gradient updateを行った時点で更新を終了する。
image

Full ContextでらTTTするよりも、Self-Guidedな方が高い性能を獲得できる。
image

TTTを使ってLoRA adapterにcontextの情報をweightとして内部化させても、思ったほど性能は上がらないのだなという印象。

LoRAでweightにcontextを内部化させても、その内部化された情報をうまく活用するような工夫が足りていないのでは?という気がするのだが、どうだろうか。

ベンチマークのインスタンスが、contextをmemorizationし、適切にattendすれば解けるようなクエリなのか否かという点も気になる。
もしcontextの情報に基づいてマルチポップな推論が必要な場合、LoRAアダプタによる重みを活用するような回路が育っていない可能性が高く、性能は伸びにくいのかなという気はする。

著者ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Architecture #read-later #Selected Papers/Blogs #ContinualLearning #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- 機械学習アルゴリズムは、初期の浅いモデルから深層大規模言語モデル(LLMs)へと進化したが、長期的な知識の転移能力に欠けている。人間の学習に触発され、継続的学習と記憶の安定化を図る「Sleep」パラダイムを提案。これは、記憶を網羅的に蒸留する「Memory Consolidation」と、新しい知識を合成データで予行練習する「Dreaming」の二段階から成る。このアプローチは、長期学習や知識の取り込みにおいて重要であることを実験により支持されている。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #ICML #PostTraining #Initial Impression Notes #Exploration #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- 強化学習(RL)において、PPO-Clipの根本的な欠陥を明らかにし、ユークリッド距離でのポリシー乖離測定が幾何的に不整合であることを指摘。これにより探索が崩壊する問題を考察。Riemannian Isometric Policy Optimization (RIPO)を提案し、探索と活用のバランスを改善。実験により、RIPOが既存のRLアルゴリズムを大幅に上回り、最大60%の性能向上を示した。 Comment

元ポスト:

Loading…

トークンレベルでPPOのclippingの値を調整し、高確率なトークンには小さなクリッピングを、低確率なトークンには大きなクリッピングを適用する。オリジナルのPPOのクリッピングの問題点の分析もあるようである。

著者ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #DiffusionModel #TextToImageGeneration #Test-Time Scaling #ECCV #One-Line Notes #ImageSynthesis #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- 推論時のスケーリングは、Best-of-N(BoN)サンプリングからガイド付き探索に進化してきたが、生成コストを固定と見なしている。効率性評価でBoNがガイド付き探索に匹敵することを示し、Flash-BoNを提案。これはアクセラレーション技術を組み合わせ、多数の安価なドラフト候補を生成し、高品質へ精練する。ベンチマークではFlash-BoNが全ての基準を上回り、特にモデルスケールが大きいほど利得が顕著(AUCで+8%)。他の手法と相乗効果があり、候補の多様性向上が強化学習の収束を加速する。 Comment

pj page: https://flash-bon.github.io/

元ポスト:

Loading…

中間サンプルを安価で効率的な方法で生成することで多様な中間候補を探索し、有望な候補のみに対して完全な生成をするようなBest-of-Nに基づくTextToImage手法を提案。

また効率性の評価において Number of Function Evaluations (NFEs)[^1] が利用されることが多かったが、これはdenoisingのforward passのみが考慮され、verifierのコストが無視されており、verificationコストが大きい手法が本来効率的ではないのに、効率的に見えてしまう問題があった。実際、BFSのような手法では固定されたNFEの元では効率的に見えるが、頻繁にverifierを呼び出すため、固定されたwallclock timeの元では効率性が逆転する。
image

[^1]: デノイジングを実施するネットワークの呼び出し回数




Paper/Blog Link My Issue
#Analysis #ReinforcementLearning #DiffusionModel #ICML #PostTraining #Selected Papers/Blogs Issue Date: 2026-07-19 GPT Summary- dLLMsは任意の順序でトークンを生成できるが、一般的な推論タスクではこの柔軟性が逆に制限要因になることを発見。特に、不要な不確実性を回避し解のカバレッジを低下させる傾向が見られた。この問題に対処するため、標準的なGRPOを適用したJustGRPOを提案し、GSM8Kで89.1%の精度を達成。これにより、dLLMsの並列デコード能力を維持しつつ効果的な推論を実現。 Comment

元ポスト:

Loading…

openreview: https://openreview.net/forum?id=kpgURPRMGf&referrer=%5Bthe%20profile%20of%20Cheng%20Yu%5D%28%2Fprofile%3Fid%3D~Cheng_Yu13%29




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #Coding #PostTraining #Music #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- 音楽の演奏から指示を復元するDecomposerというポストトレーニングフレームワークを提案。MIDIからStrudel言語へのデコンパイルで、実行可能な音楽プログラムを作成。課題は、資源の乏しいStrudelと、忠実な再構成が読みにくいコードになる可能性。二段階で解決し、合成データでの教師付きファインチューニングと、ペアになっていないMIDIでの強化学習を行う。評価で、Decomposerは他の方法に比べ、高いMIDI再構成忠実性と可読性を実現。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #Coding #SoftwareEngineering #read-later #Selected Papers/Blogs #LongHorizon Issue Date: 2026-07-19 GPT Summary- Long-Horizon-Terminal-Benchは、AIエージェントの能力を検証するための新しい終端ベンチマークで、46件の長期タスクを含む。従来のベンチマークが評価する簡単な問題とは異なり、このベンチマークは中間報酬と部分点を重視し、長期的な計画や文脈管理を要求する。評価した15のモデルでは、タスクあたり平均9.9Mトークンを消費し、低いパス率が示され、改善の余地があることが示唆された。失敗モードの分析も行い、今後の進展に寄与することを目的としている。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #Pretraining #LanguageModel #Selected Papers/Blogs #VisionLanguageModel #reading #One-Line Notes #LatentRepresentation Issue Date: 2026-07-19 GPT Summary- 視覚的事前学習が言語モデルの知能向上に寄与することを示す研究。テキスト変換を通さず視覚的文書を直接活用する無監督のアプローチを検討し、視覚的事前学習がテキストのみのモデルを一貫して上回ることを実証。これにより、スケーラブルな言語知能への効率的なアプローチが明らかに。 Comment

元ポスト:

Loading…

事前学習をする際に、テキストだけでなく画像パッチに対してもnext visual latent predictionを実施することで性能が改善する。
next visual latent predictionでは、画像パッチをfreezeされたvision encoderでエンコードし潜在表現の系列を取得し、現在のパッチを入力したときに、次のパッチの潜在表現を予測する(離散トークンではなく、連続値ベクトルである点に注意)。loss functionは、バッチ内の全ての画像パッチを考えたときに、各パッチの正解の潜在表現と、モデルが予測した次パッチの潜在表現の類似度行列をソフトマックスで正規化した行列を考え、対角成分(すなわち正解の画像パッチに対する類似度)が最大化されるように定義される。ソフトマックスを考えることで、バッチ内の他の画像パッチがin-batch negativeの役割を果たし、これは次パッチの潜在表現と他の潜在表現の区別がつくようなcontrastive learningをしていることに相当する(Section 4)。
image

image




Paper/Blog Link My Issue
#Analysis #AIAgents #ScientificDiscovery #VisionLanguageModel #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- AI駆動のアシスタントによる科学・技術・創造的生産の自動化を探求。特にPicbreederで人間のユーザーを最先端のVision Language Models(VLMs)に置換し、生成された出力を人間ベースラインと比較。定性的な差異を系統発生的複雑性や新規性の指標を用いて分析。因果要因として探索的ノイズの追加や行動の多様性、物語的モメンタムを調査。コードはhttps://github.com/smearle/picbreeder-vlmで公開。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #DiffusionModel #Architecture #Decoding Issue Date: 2026-07-19 GPT Summary- Nemotron-Labs-Diffusionは、AR、拡散、自己推測デコードを統合した三モードの言語モデルです。ARと拡散が補完的であることを示し、自己推測モードでは、拡散によるドラフト作成とARによる検証でマルチトークン予測が向上します。光速分析により、拡散がより多くのトークン生成を可能にし、最大76.5%の向上が見られました。3B、8B、14Bパラメータのモデルは、精度と速度の両面で最先端を超え、特にNemotron-Labs-Diffusion-8Bは、スループットを4倍に向上させました。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Nemotron-Labs-TwoTower: Diffusion Language Modeling with Pretrained Autoregressive Context, Fitsum Reda+, arXiv'26, 2026.06




Paper/Blog Link My Issue
#Citations #Dataset #LanguageModel #Evaluation #COLM #Legal Issue Date: 2026-07-19 GPT Summary- AIを用いて法的文書を作成する弁護士や裁判官が増加する中、捏造された引用が依然として多発している。本研究は、AIシステムが法的引用の幻覚を自動検出できるかを評価し、1,300件の抜粋データセットを用いて分類法を提案した。5モデルをベンチマークした結果、最新モデルはより高い性能を示すが、微妙な誤りカテゴリには苦戦することが明らかになった。エージェント系の検証は資源を消費し、情報アクセスの制限が効果を妨げる問題も指摘。これにより、商用法データベースに依存しない当事者にとっての不利益が生じる。研究では、信頼性の高い法的引用照合ツール構築のための基盤も提案している。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Evaluation #Rubric-based #Initial Impression Notes #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- One-Question-One-World(Qworld)を導入し、オープンエンドな質問に対する評価基準を質問特異的に生成。再帰的展開木を使用し、質問をシナリオや視点、細分化された基準に分解。HealthBenchで高いカバー率を示し、専門家によって優れた洞察と粒度が評価される。Qworldは、LLMの評価において隠れた能力差を明らかにし、固定の基準に依存せず、動的な適応評価を実現。 Comment

元ポスト:

Loading…

Open-endなQuestionを評価する際に、Questionに応じて動的にcriteriaを生成し評価する
image




Paper/Blog Link My Issue
#Multi #SpeechProcessing #AudioLanguageModel #Transcript #Author Thread-Post #SpeakerDiarization Issue Date: 2026-07-19 GPT Summary- SATSは話者の発話内容とタイミングを記録する技術で、特に会議の議事録作成に役立ちますが、既存のシステムは限界があります。この問題に対処するため、MOSS Transcribe Diarizeという多機能な大規模言語モデルを提案し、エンドツーエンドでの話者帰属と時刻付き転写を実現します。最大90分の入力に対応する128kのコンテキストウィンドウを持ち、商用システムを上回る性能を評価で示しました。 Comment

元ポスト:

Loading…

話者分離可能な書き起こしモデル




Paper/Blog Link My Issue
#LanguageModel #In-ContextLearning #ICML #Selected Papers/Blogs #reading #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- Context Tuningは、重みの更新なしでLLMsのfew-shot適応を向上させる手法です。ICLはデモの記憶を1回の前方伝播で形成しますが、洗練が不十分です。従来のプロンプト手法は、デモとは独立して初期化しますが、Context TuningはICL能力を利用してデモから訓練可能なメモリ表現を初期化し、勾配ベースの最適化で洗練します。多くのベンチマークで評価した結果、Context TuningはICLと従来のプロンプト法を上回り、Test-Time Trainingに近い精度を示し、高い訓練効率を発揮しました。 Comment

元ポスト:

Loading…

pj page: https://agenticlearning.ai/context-tuning/

openreview: https://openreview.net/forum?id=UAJehyOPTS

気になる。後で読む




Paper/Blog Link My Issue
#Analysis #LanguageModel #AIAgents #Bias #ScientificDiscovery #Diversity #Personality #Author Thread-Post Issue Date: 2026-07-19 GPT Summary- AIエージェントは異なる分析選択から生成される結論の多様性を捉え、同じデータから対立する結果を導くことができる。移民データを用いた研究では、AIが人間のイデオロギー的ギャップの72%を再現し、多くの分析が高い検証を経た。調査は、問題の本質が欠陥ではなく、選択された分析の多様性にあることを示し、m値(マルチバース値)を導入することで報告された結果の極端さを評価する手法を提案。Agentic Bootstrapを使用して、もっともらしい分析パスをサンプルすることで、科学的信頼性の評価基準を提供する。 Comment

元ポスト:

Loading…

所見:

Loading…


小さな事前知識、ペルソナの変化がバタフライエフェクトのようにエージェントが導き出す結論を左右する




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #SelfImprovement #Selected Papers/Blogs #KeyPoint Notes #Author Thread-Post #AgentHarness Issue Date: 2026-07-19 GPT Summary- 自動ハーネス進化の評価を再検討し、既存手法の問題点を指摘。従来の評価は単体テストケースに依存し、探索手段と最終評価が同じベンチマーク上にあるため、過剰適合のリスクがある。フィードバックと推論予算を揃えた評価を行い、GPT-5.4とClaude Opus 4.6を使用して実験した結果、自動ハーネス進化は単純なテスト時スケーリングを必ずしも上回らず、一般化にも限界が示された。この結果は自動ハーネス設計の評価の再考を促すものである。 Comment

blog: https://yikee.github.io/harnessevolution/

元ポスト:

Loading…

所見:

Loading…

Harness自身を進化させる手法(Harness Evolution)を公平に評価しようね、という話で、現在の評価における以下の課題を指摘:
- Harness Evolutionは、ベンチマークに対するverifierからのフィードバックが利用されるが、これは本質的にtest time scalingにおいて検索に多くのリソースを費やした場合と分離ができていない。つまり、ハーネスそのものを進化させたことに効果があったのか、単に探索により多くの計算リソースを投じたことによる効果なのかが分離されていない。
- Harness Evolutionの探索に用いるタスクと評価に用いるタスクが同一の場合、単にタスクにoverfitしているだけなのか、汎用的に適用可能なハーネス設計の進化によるものなのかが明らかでない。

そのため、
- 固定された予算のもとで、
- どのようなフィードバックシグナルを受け取るか
- 計算リソースをどう配分し
- タスクの軌跡やハーネスそのものを修正するか

といった事項を制御しつつtest time scaling手法と比較することが重要と主張している。

実際、unit testのケースにアクセスできない場合で比較すると、Harness Evolutionはtest-time scalingを上回ることができないことが、Figure 1/Table 1に示されている。
image

unit testケースにアクセスできる場合は、test-time scaling系の手法において、オラクルを用いてサンプリングされた候補の中から最良のものを取得することができ、このような手法とHarness Evolutionを比較しても、test-time scalingを上回ることはできなかった。

また、Figure 2が、test-time scaling系の手法と、Harness Evolution系の手法を概観するのに非常にわかりやすい。

image




Paper/Blog Link My Issue
#ComputerVision #LongContext #read-later #Selected Papers/Blogs #Robotics #memory #EmbodiedAI #Test Time Training (TTT) #Author Thread-Post Issue Date: 2026-07-17 GPT Summary- RoboTTTは、8Kタイムステップの視覚-運動文脈を用いるロボットモデルであり、最先端ポリシーの1000倍のスケールを実現しつつ推論遅延を増加させない。このアプローチにより、ワンショット模倣やポリシー改善、撹乱への頑健性が向上し、長期タスクでの性能も強化される。RoboTTTはTest-Time Trainingを取り入れ、勾配降下法で履歴情報を活用した新しいモデルを生成。実験により、従来の単一步ベースラインに対して87%の性能向上が見られ、長い文脈がロボット基盤モデルにおける新たなスケーリング軸となることが示された。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Transformer #Architecture #Selected Papers/Blogs #reading #Sparse #ResidualStream #Initial Impression Notes #Author Thread-Post Issue Date: 2026-07-17 GPT Summary- xHC(Expanded Hyper-Connections)は、トランスフォーマーの残差ストリームをN=4を超えて拡張し、メモリのスケーリングを実現する新手法である。これにより、書き戻し情報の質を向上させ、N=16のストリームから4つのみを更新する疎なアーキテクチャを採用。実験により、xHCは18B MoEモデルでmHCよりも4.0ポイントの性能向上を示し、学習コストの増加を抑制する。加えて、xHC-Flashを導入することでメモリトラフィックを削減し、スケーリング法則においても従来手法に比べて効率的であることを実証。これにより、LLMの大規模トレーニングにおける残差ストリーム展開が実用的に改善される。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] mHC: Manifold-Constrained Hyper-Connections, Zhenda Xie+, arXiv'25, 2025.12

残渣ストリームの本数を増やし、Routerを導入しそのうちのtop-kを活性化させるようなsparseな残渣ストリームの提案のようだが、他にも工夫がありそう。mHCと比較してlossが大きく改善しているように見えるので気になる。




Paper/Blog Link My Issue
#Transformer #LatentReasoning #reading #One-Line Notes #RecurrentModels #RecursiveModels #Scalability #Author Thread-Post Issue Date: 2026-07-17 GPT Summary- ループ型トランスフォーマーを用いたLOTUSは、明示的連鎖思考(CoT)の効率を改善し、1Bパラメータを超える規模でのギャップを埋める初の手法。K個の潜在ブロックをR回反復処理することで、思考フェーズのレイテンシを大幅に削減し、解釈可能な潜在空間を提供。アブレーション実験で、ループバックボーンと並列監督の重要性が確認された。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…

Latent Reasoningのためにlooped transformerを導入し、loopによって各step単位のCoTが生成可能なようにCrossEntropy lossを適用して、適切なloopに対するReasoningの挙動を調整する。これにより、モデルスケールが大きくなった場合に性能が低下する課題を緩和し、副次的な効果としてLatent Reasoningの内容がデコード可能になった、という話に見える。

image




Paper/Blog Link My Issue
#Pretraining #LanguageModel #DataRepetition Issue Date: 2026-07-12 GPT Summary- 大型言語モデルのトレーニングパラダイムは、データの再利用においてマルチエポック訓練が推奨される一方、過学習のリスクが伴う。新たな「Memorization Window」信号を基に「Memorization-guided Data Reuse」を提案し、データ再利用の最適なタイミングと方法を決定。予備実験では、従来の4エポック制限を超えることで性能が向上することを示し、memorization-awareなトレーニングスケジュールの基盤を提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #LanguageModel #MultiModal #SpeechProcessing #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #Reference Collection #AudioLanguageModel Issue Date: 2026-07-12 GPT Summary- Gemma 4は新世代のオープンウェイトマルチモーダル言語モデルで、計算効率と推論能力の向上を目指します。DenseとMixture-of-Expertsアーキテクチャを採用し、パラメータ数は23億〜310億で、視覚および音声エンコーダを強化しました。特に12Bモデルにはエンコーダを用いない統一アーキテクチャが導入され、生の音声と画像パッチを扱います。推論の痕跡を生成する機能を統合し、推論速度やメモリ効率を改善。Gemma 4は、STEMやマルチモーダルタスクで飛躍的な性能を達成し、最前線のオープンモデルに匹敵します。 Comment

元ポスト:

Loading…

Gemma 4:
- Gemma 4: Byte for byte, the most capable open models, Google, 2026.04

ポイント解説:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Education #ACL #Findings #AI Detector #Interpretability Issue Date: 2026-07-12 GPT Summary- LLM生成テキストの検出は、決定の解釈可能性を重要視し、利用者が予測の正確さを評価できるようにする必要がある。従来の手法は人間の判断プロセスに沿った証拠を提供できておらず、このギャップを解消するためにExaGPTを提案。ExaGPTは、人間作成とLLM生成テキストの類似スパンを比較することで識別し、具体的な証拠を示すことで決定の正しさを向上させる。広範な実験により、ExaGPTは従来手法より精度を最大37.0ポイント向上させることが確認された。 Comment

元ポスト:

Loading…

人間が作成したテキストとLLMが生成したテキストのスパンごとの類似性を見ることで、与えられたテキストがLLM生成か否かを判定する。データストア中の類似したスパンが判断のevidenceとなる、という話に見える。

image

こういった話は教育の文脈でも需要がある




Paper/Blog Link My Issue
#Survey #Pretraining #LanguageModel #Evaluation #Optimizer #read-later #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-07-12 GPT Summary- 最適化手法の選択は計算量やメモリに制約されるが、その全体像は断片的である。そこで、統合サーベイ「OmniOpt」を提案。これには、五段階メタパイプラインの構造的変換、ノルム制約付きLMOによる手法統一、二次元分類法を用いた手法の機構と訓練目標の整理、最適化手法を系統的に分析するクロスドメインベンチマークが含まれる。これにより、最適化手法選択のための実用的な座標系を提供し、今後の研究の方向性を示す。 Comment

元ポスト:

Loading…

optimizerの詳細なサーベイと様々なベンチマーキングの結果が記載されている模様

全部読んだらめちゃめちゃ勉強になりそう




Paper/Blog Link My Issue
#Analysis #LanguageModel #AIAgents #ScientificDiscovery Issue Date: 2026-07-12 GPT Summary- 近年、LLMsは研究アイデアのブレインストーミングに利用されるが、既存の評価は新規性や実現可能性に依存している。本研究では、LLM生成アイデアと人間研究者のアイデアの乖離を評価するフレームワークを構築し、高品質な論文からインスピレーションを抽出。アイデアを機会パターンと研究パラダイムでプロファイリングし、定量化した結果、LLMのアイデアは特定の手法に偏りがあり、人間の研究プロセスの幅広い側面を捉えていないことが明らかになった。これにより、LLMsは合理的なアイデアを生み出せるが、その範囲は人間より狭いことが示唆された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Attention #Architecture #One-Line Notes #SparseAttention Issue Date: 2026-07-11 GPT Summary- 階層的ランドマークスパース(HiLS)アテンションを提案し、チャンク単位でのスパースアテンションをエンドツーエンドで学習。各クエリが独立してチャンクとアテンションを行い、検索スコアを用いて結合。実験結果では、HiLSが全アテンションに匹敵するかそれ以上の性能を示し、長文脈での外挿が可能。軽量な事前学習を通じて全アテンションモデルをHiLSに適応させ、効率と効果のトレードオフを克服。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…

Block Sparse Attention (BSA) は、直近のトークンを見るlocal sliding window attention (SWA)と、離れたトークンに対するチャンクレベルでのsparse attentionに基づいたアテンション機構である。
一般的なBSAでは、現在のquery qとチャンク単位のattentino scoreを計算する際に、各チャンクごとにチャンクのkeyに関する情報を要約した Key k'_c を求め、k'_c と現在のquery qとのattention scoreを計算することにより計算を効率化する[^1]。

k'_c を求める際には、mean/max pooling を用いるのが一般的であり、特に前者が用いられるとのことだが、どちらのpoolingの手法もattention scoreの分布に依存して、近似の性能が変化する(たとえば、mean poolingであればなるべくattention scoreが一様なほど近似性能が良いし、max poolingであれば、あるscoreがチャンク内で支配的であるほど近似性能が良い)が、query qに応じてattention scoreの分布は変化することにより、k'_cの近似性能が低下しsparse attentionによって重要なチャンクを選択する性能が低下する課題がある。

これに対して、
- 現実的な計算量でk'_cをより正確に近似できる surrogate score に基づく手法を提案し(RQ1)[^2]
- surrogate score をend-to-end で学習可能にする方法を提案した (RQ2)
という話である。

surrogate scoreは、チャンクのattention scoreの質量をより正確に近似したスコアであり、(チャンクのkeyを要約した)k'_c に対する現在のクエリ q とのrelevanceを表す項と、バイアス項 b'_c によって線形化される(式7)。
k'_c によって現在のクエリに対する関連度を測り、バイアス項によって関連度から独立したtoken-levelの質量を導入する。バイアス項は、チャンクにattendするであろうクエリのattention scoreの分布に対するentropyであり、これが一様分布やあるトークンが支配的な分布など、様々な分布の形状に対して動的に適応する役割を果たす。

b'_c を求めるために、チャンクごとに独立したクエリ q'_c を学習する。これは、このチャンクにattendするであろうクエリのプロキシを果たすクエリであり、q'_c とチャンク内のトークンのkeyとの間でのattention scoreを計算しておくことで、おおまかなattention scoreの分布を決定し、b'_c を求めておくことができる(式8)。
また、k'_c はチャンク内のattention scoreによって重みづけられたkeyの和の形で求められる(式8)。
これにより、現在のクエリ qが与えられた時に、k'_cとb'_cを用いて、チャンクに対するattention scoreの質量を高速に近似することができる(式7)。

ここで q'_c をどのように学習するかが課題となる(q'_c以外のパラメータは従来通りのモデル化で求まる)。これを解決するために、surrogate scoreによって求まるチャンクのattention scoreの近似質量 \hat{Z}_{i, c} をforward passに加え、q'_c に勾配が流れるようにすることで解決している。具体的には、attention scoreの計算をする際に、式変形を実施し、`チャンク内のスコアの計算 * チャンク間のスコアの計算` の形に分解する(式10)。後者のチャンクの重要度を求める際に、各チャンクのsurrogate scoreを用いて近似することによって、高速化 + q'_c に勾配が流れるような工夫をしている。

[^1]: チャンクのattention scoreの質量(どのチャンクをsparse attentionでattendするかを決定する際に用いられる)を計算する際に、query qとチャンク内の全てのtokenに対するtoken-to-tokenの内積をとることを避け、k'_cとの内積によって近似的に質量を求めることで計算を効率化する。
[^2]: surrogate scoreによってk'_cを正確に近似できることの証明はAppendix Bに記載されており、1次のテイラー展開に基づいているようである(ここは読めていない)。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #PostTraining #read-later #Selected Papers/Blogs #Reference Collection #Initial Impression Notes #Asynchronous Issue Date: 2026-07-09 GPT Summary- 強化学習におけるLLMsの非同期性を改善するため、Single-rollout Asynchronous Optimization (SAO)を提案。グループ単位サンプリングを廃止し、安定した訓練を1,000ステップ行える。SAOは、GRPOやその派生手法に対し、複数のエージェント型ベンチマークで優れたパフォーマンスを示し、進化する環境への適応性も強化。 Comment

元ポスト:

Loading…

GLM 5.2で利用されているRL手法

所見:

Loading…


VAPO:
- [Paper Note] VAPO: Efficient and Reliable Reinforcement Learning for Advanced Reasoning Tasks, Yu Yue+, arXiv'25, 2025.04

alphaXivによるポスト:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #ReinforcementLearning #PostTraining #Selected Papers/Blogs #reading #Initial Impression Notes Issue Date: 2026-07-08 GPT Summary- 強化学習(RL)の適応がトランスフォーマー層にどう分布しているかに焦点を当てる研究。単一のトランスフォーマー層を訓練することで、全パラメータRLトレーニングの利得の大半を回復可能。この現象を層寄与量で定量化し、複数のモデルとRLアルゴリズムで安定したパターンを観察。高寄与層は中間部に集中し、入力・出力端の寄与は少ないことを示唆。層の rankings は各種条件下でも強い相関を持つ。 Comment

元ポスト:

Loading…

実験は8Bスケールのモデルまでしかできていないが、もしこれが数百B級のモデルにも当てはまるのだとすると、非常に計算コストの低減だけでなく、weightのsyncにおいて非常に有利になると思われるので、インパクトが大きそうな話になる可能性を感じる。

RLの効率化という観点で言うと

- [Tech] Delta Weight Sync: When RL's Weight Sync Stops Being a Network Problem, Changyi Yang, ChangyiYang's Site, 2026.06

のような話もある。




Paper/Blog Link My Issue
#LanguageModel #Evaluation #ICML #reading #Rubric-based #Initial Impression Notes #Author Thread-Post Issue Date: 2026-07-08 GPT Summary- インラインコメントを活用して、再利用可能な自然言語ルーブリックを学習する手法を提案。コメントの不一致を観察しながらルーブリックを改良し、現実のレビュー設定で評価。これにより、成果物の改訂やルーブリック理解が促進されることを示した。 Comment

元ポスト:

Loading…

文書の中に断片化されているインラインコメント等を暗黙的な評価基準に基づいて生成された観測データと捉え、インラインコメントから明文化されていない評価基準を学習し、ルーブリックとして活用可能にする、という話に見える。

「暗黙知、ケースバイケースなのでなかなか明文化できません」という状況によく遭遇し困るので、そもそもこういった手法が利用できるように日々の判断をLLMが利用可能な形に残しておくことが重要と感じる




Paper/Blog Link My Issue
#LanguageModel #Coding #PEFT(Adaptor/LoRA) #SoftwareEngineering Issue Date: 2026-07-08 GPT Summary- ファジー関数プログラミングを用いて、自然言語仕様からコンパクトなニューラル・アーティファクトを生成するアプローチを提案。Program-as-Weights(PAW)で具現化し、4BパラメータのコンパイラがFuzzyBenchで訓練されたアダプターを出力。0.6Bパラメータのインタプリタは、Qwen3-32Bと同様の性能を保ちながらメモリ使用量を1/50に削減し、効率的に問題解決に貢献。関数定義を再利用可能なアーティファクトとして実行。 Comment

元ポスト:

Loading…

関連:
- PAW: Define functions in English. Run them locally, ProgramAsWeights, 2026.04




Paper/Blog Link My Issue
#Analysis #LanguageModel #Distillation #Catastrophic Forgetting #PostTraining #On-Policy #Generalization #ContinualLearning #SelfDistillation Issue Date: 2026-07-08 GPT Summary- 継続的ポストトレーニングにおいて、自己蒸留方針最適化(SDPO)がドメイン内専門化を加速する一方で、分布外一般化に苦戦し、忘却が顕著になることを実験により示した。また、GRPOのようなオンポリシー手法は、以前の能力をより良く保持する傾向があることも明らかになった。密な自己蒸留は専門化を促進するが、継続的トレーニングの安定化には適していない。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #LanguageModel #Reasoning #ACL #InstructionFollowingCapability #Findings #One-Line Notes Issue Date: 2026-07-08 GPT Summary- 大規模言語モデル(LLMs)がユーザーの指示を推論過程全体で遵守する重要性を強調し、ReasonIFというベンチマークを導入。これは、推論指示の遵守を評価し、さまざまな指示プロンプトを網羅している。多くのオープンソースLRMsにおいて、指示遵守のスコアは0.25未満であり、難易度の上昇に伴い低下する傾向がある。推論指示の忠実度向上には、マルチターン推論と合成データを用いたファインチューニングが有効で、RIFによって大きな改善が見込まれるが、さらなる向上が必要。 Comment

blog: https://together.ai/blog/large-reasoning-models-fail-to-follow-instructions-during-reasoning-a-benchmark-study

著者ポスト:

Loading…

著者ポスト2:

Loading…

reasoning traceに対して制約を課す[^1]指示は、メインの応答と比較して指示追従性能が低い傾向にある
image

[^1]: 思考する言語の指定、思考の長さの制限、免責事項(指示でreasoningの最後にwarningや備考を追記する)、reasoningをjsonにする、大文字のみを利用する、commaをreasoning中に除外する、など




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #DiffusionModel #Architecture #Author Thread-Post Issue Date: 2026-07-08 GPT Summary- 拡散言語モデルは、自己回帰モデルの代替手段として注目されていますが、既存アプローチは文脈表現とデノイズを同一ネットワークで処理するため能力が制限されていました。本研究では、役割を2つのタワーに分離したブロック単位の自己回帰拡散モデル「TwoTower」を提案。凍結されたAR文脈タワーがクリーンなトークンを処理し、拡散デノイザータワーが双方向アテンションを用いてノイズを洗練します。訓練されたモデルは、生成スループットを2.42倍改善しつつ、自己回帰ベースラインの品質の98.7%を保持します。コードとモデルは公開されています。 Comment

HF: https://huggingface.co/nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16

元ポスト:

Loading…

拡散言語モデルにおけるTwo Towerアーキテクチャの提案で、一方がコンテキストを読み込み(ARモデルでfreezeされている)、もう一方がデコードを担う(diffusionモデルでlearnable)。どちらのタワーも事前学習済みのモデルを利用する。
オリジナルモデルの性能の98.7%を維持しつつ、2.42倍のスループットを実現可能とのこと。
image




Paper/Blog Link My Issue
#LanguageModel #AIAgents #read-later #Selected Papers/Blogs #Initial Impression Notes #Exploration Issue Date: 2026-07-08 GPT Summary- エージェントが対話を通じてユーザーの目標を達成する際、目標が明確でない場合には行動を止めるべきであるとし、「エージェント性棄却」を定義。標準的な棄却と異なり、逐次的な意思決定問題として評価され、エージェントは環境に応じて回答、棄却、情報収集を選択。ウェブショッピングなどの場面で13のLLMを評価し、棄却のタイミングが重要であることを示した。さらに、モデルの規模や支援枠組みが棄却に影響を及ぼすことが判明。CONVOLVEという手法を導入し、対話の軌跡を利用して棄却を改善、Llama-3.3-70Bモデルでは適時リコール率を大幅に向上させた。データセットとコードは公開中。 Comment

元ポスト:

Loading…

エージェントが環境とインタラクションした後にタスクが実現不能な場合はタスクを棄却すべきという話
image




Paper/Blog Link My Issue
#LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #AIAgents #Coding #SoftwareEngineering #PostTraining #Verification Issue Date: 2026-07-07 GPT Summary- Dockerlessは、環境を必要とせずにコードパッチの正確性を評価するエージェント的パッチ検証器を提案する。従来の環境構築コストを削減し、リポジトリ探索を通じて証拠に基づく評価を実現。これにより、最も強力なオープンソース検証器を14.3 AUCポイント上回り、SWE-bench Verified、Multilingual、Proでそれぞれ62.0%、50.0%、35.2%の解決率を達成。環境ベースのポストトレーニングと同等の性能を示す。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Qwen-AgentWorld: Language World Models for General Agents, Yuxin Zuo+, arXiv'26, 2026.06




Paper/Blog Link My Issue
#Analysis #LanguageModel #Alignment #ReinforcementLearning #Safety #PostTraining #Selected Papers/Blogs #Generalization #reading #Initial Impression Notes #Author Thread-Post Issue Date: 2026-07-07 GPT Summary- RLを用いて多様なドメインで有益な行動を促進し、整合性の一般化を調査。データセットを構築し、50以上の独立したベンチマークで評価した結果、80%超で性能向上が見られる。特に健康ドメインでの介入が他の評価にも効果的で、整合性の維持向上を示した。この研究は、RLを通じて人間の福祉への整合性を強化する可能性を示唆する。 Comment

blog: https://alignment.openai.com/beneficial-rl/

元ポスト:

Loading…

所見:

Loading…

特定のドメインにおいて有益な特性を備えた少量データ(trustfulness, 不確実性の下での謙虚さ等を備えた対話)でRLされたモデルは、訓練に使用したドメインを超えて一般化し、アライメントを改善する。敵対的なプロンプトが与えられた場合でも、Alignmentが持続する能力が高まる。

以下でも良性のペルソナで学習をすることでAlignmentが改善しており、似た知見が得られている:
- Teaching Claude why, Anthropic, 2026.05




Paper/Blog Link My Issue
#ComputerVision #Analysis #MultiModal #In-ContextLearning #ACL #VisionLanguageModel #Initial Impression Notes Issue Date: 2026-07-07 GPT Summary- マルチモーダル設定における文脈内学習(ICL)の分析を行い、テキストのみのICLと比べて性能のギャップを明らかに。ゼロショット設定では同等だが、少数ショットでは大幅に劣化することを示す。視覚表現とテキスト表現の間で整合性が欠け、タスクマッピングの転送が不十分であることが判明。推論段階の改善手法を提案し、マルチモーダルICLの機構と限界に新たな知見を提供。 Comment

元ポスト:

Loading…

マルチモーダルモデルを用いてfew-shot demonstrationを与えてICLを実施する場合、text-onlyモデルの場合と比較して性能が劣化することが多いのはなぜか?という疑問を追求した研究で、text-onlyの場合と比較して、マルチモーダルの場合は
- デモンストレーションからタスクルールを推論し
- 推論されたルールをクエリに適用する

という2段階のプロセスが必要で、前者はモデルが中間層まででうまく処理できるが、後者に関して中間層からより深いlayerに伝搬させることに失敗する(クエリ側の手がかりによって推論されてしまう)、ということのようである。

image




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #Distillation #PostTraining #Diversity #On-Policy #Initial Impression Notes Issue Date: 2026-07-05 GPT Summary- オンポリシー自己蒸留は、単一モデルを教師と生徒として利用し、高いpass@1精度を実現するが、サンプリングされたデモンストレーションに依存することでロールアウトの多様性が低下する。教師がバイアスを通じてフィードバックを与えるため、最適な自己蒸留方針は基底分布を不均一に傾斜させる。自己蒸留モデルは、制御されたタスクで競争力のある性能を示すものの、機能的多様性が不足し、分布外設定では失敗する。 Comment

元ポスト:

Loading…

OPDでは教師モデルが正しいロールアウトで条件付けされるため、正しいロールアウトに近いロールアウトはより増強され、遠いものは抑制されることにつながり、結果的に出力の多様性が減少しPass@kが伸びにくくなる、という副作用があるよ、という話のようである。

image




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Supervised-FineTuning (SFT) #DiffusionModel #PostTraining #Initial Impression Notes Issue Date: 2026-07-05 GPT Summary- iLLaDAは、80億パラメータの双方向注意を持つマスク付き拡散言語モデルであり、ゼロから訓練された。事前学習には12兆トークンを使用し、教師ありファインチューニングを通じて大規模なコーパスで性能を向上させた。生成効率を高めるために可変長生成と信頼度に基づくスコアリングを導入。iLLaDAは、一般・数学・コードのベンチマークでLLaDAと比較し広範な改善を示し、特にBBHやARC-Challenge、MATH、HumanEvalで顕著なポイント向上を達成。非自己回帰訓練にもかかわらず、競争力を維持していることが示され、双方向拡散訓練が強力な言語モデル開発に寄与する可能性を示唆している。 Comment

元ポスト:

Loading…

bi-directional attentionを用いてゼロから訓練されたたdLLM




Paper/Blog Link My Issue
#Embeddings #LanguageModel #memory #LatentRepresentation Issue Date: 2026-07-05 GPT Summary- EvoEmbeddingは、文脈や時間的順序を考慮した動的な埋め込みモデルであり、逐次処理により潜在メモリを更新し、進化する状況に基づいて検索対象を最適化する。EvoTrain-180Kデータセットを用いて、潜在メモリと検索を共同最適化し、長文脈検索において他の大規模モデルを凌駕する性能を発揮することを実証。さらに、エージェント型ワークフローにも統合可能で、性能向上を実現。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #LanguageModel #AIAgents #Initial Impression Notes #Author Thread-Post #Coordination Issue Date: 2026-07-04 GPT Summary- 多エージェント協調のための微分可能な最適化フレームワークを提示。重なる局所ビューを解決するエージェントは、ADMMを用いて協調し、グローバル合意を形成。マルチエージェントシステムは共同訓練され、局所ビュー不足でも正しい出力を生成。MNISTでは頑健性を向上、数独では高い解決率を達成。ADMM構造により協調ダイナミクスを直接分析可能。 Comment

元ポスト:

Loading…

blog: https://pub.sakana.ai/sheaf-admm/

微分可能なフレームワークによって、エージェント同士が協調することを学習する




Paper/Blog Link My Issue
#Analysis #SpeechProcessing #AudioLanguageModel Issue Date: 2026-07-04 GPT Summary- 音声言語モデル(SLMs)は、音声とテキストの交互配置を活用して訓練され、両モダリティの相互作用を探求。モデルは発話された語を中間層でデコード可能にするが、音声認識の訓練は受けていない。データの77%で転写がトップ候補に、次にテキスト空間で語を予測。交互配置データとテキストLMからの初期化がこの挙動に与える影響を分析し、音声とテキストの関係を支えるメカニズムを明らかにする。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Evaluation #EfficientEvaluation #Author Thread-Post Issue Date: 2026-07-03 GPT Summary- 84のフロンティアモデルを133のベンチマークで評価し、スコア行列を作成した結果、モデルのスコアは主に2つの因子に依存することが明らかになった。これに基づき、行列補完法「BenchPress」を設計し、隠れたスコアを高精度で回復。特定のベンチマークのサブセットでは、モデルの未公開スコアを3.93ポイント以内に予測可能であり、より安価な評価セットでも高い精度を示した。スコア行列、BenchPressのコード、および対話型ツールを公開。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…

pj page: https://microsoft.github.io/benchpress/




Paper/Blog Link My Issue
#ComputerVision #EfficiencyImprovement #MultiModal #SpeechProcessing #LLMServing #Architecture #UMM #Omni #One-Line Notes #Author Thread-Post Issue Date: 2026-07-03 GPT Summary- 複合モデルアーキテクチャの新時代に向け、M*を提案。M*はモデルをデータフローグラフとして表現し、モジュラーな抽象化を通じて多様なタスクを効率的に処理。具体化によって、テキスト-画像及びテキスト-音声ワークロードでの遅延を平均20%削減し、スループットを最大2.7倍向上。ロボティックプランニングでも基準を12.5倍上回る。この研究は、複雑なモデルの効率的な提供を可能にする。 Comment

元ポスト:

Loading…

以下、元ポストの要約

vLLMやSGLangのようなメジャーなLLM Servingフレームワークは単一の自己回帰的な生成のループを前提としており、テキスト以外のモダリティを扱う場合は異なる推論パスを辿るため、根本的に統一的に扱える抽象化となっていない(Figure 1)。

そこで、マルチモーダルなモデルを統一的に扱えるための抽象化M*を提案:
- モデルのコンポーネントをノードとして宣言し、名前付きのWalkを定義する(1つのフェーズ(prefill_text, decode, image_gen等)を構成するサブグラフ)を定義する。
- リクエストはWalkの系列として定義され、Sequential, Parallel, Loopの3種類で実行形式を定義する。
image

ランタイムはリクエストに応じたコンポーネントのみを実行する。各コンポーネントはグラフのノードとして定義されるため、配置の変更はコードの変更ではなく、設定の変更で完結する。また、YAMLファイルによって、各コンポーネント、Walkの粒度でGPUの割り当てを制御できるため、個々のコンポーネントやWalk単位でリソースの効率を最大化することで、予測性能を落とすことなく、システム全体のスループットが向上する。

image

また、Figure1のOmniモデル、UMMそれぞれのモダリティごとの推論パスの違いが秀逸で、非常に分かりやすい。




Paper/Blog Link My Issue
#ComputerVision #EfficiencyImprovement #LongContext #OpenWeight #VisionLanguageModel #OCR Issue Date: 2026-07-03 GPT Summary- Unlimited OCRは、DeepSeek OCRに基づき、長期的なメモリ効率を改善するために設計されたモデルである。大規模言語モデル(LLM)を用いることでOCR性能向上が期待されるが、出力系列が長くなるとメモリ消費が増大し、生成速度が低下する問題がある。本研究では、Reference Sliding Window Attention(R-SWA)をアテンション層に導入し、KVキャッシュを一定に保ちながら計算コストを削減。これにより、最大32Kの長さのもとで、数十ページの文書を効率的に処理できる。また、R-SWAはASRや翻訳など他のタスクにも応用可能である。コードとモデル重みは公開されている。 Comment

HF: https://huggingface.co/baidu/Unlimited-OCR

元ポスト:

Loading…

2週間で1Mダウンロード:

Loading…




Paper/Blog Link My Issue
#Survey #ComputerVision #Robotics #WorldActionModel Issue Date: 2026-07-03 GPT Summary- World Action Models(WAMs)は、未来予測と行動実行を統合した身体化されたモデルであり、最近では大規模な動画生成モデルを再利用する研究が進展している。現在のWAMsは、通常の動画生成モデルやVision-Languageのバックボーンに依存し、これにより関連領域の境界が曖昧になっている。本調査では、これらの境界を明確化し、手法を生成物の観点と予測基盤、バックボーン、アクション結合の観点から整理。WAMsは単なる動画生成モデルとは異なり、表現力とリソース間のトレードオフを重視した予測-行動手法として進化している。この分野は未来生成を抑えつつ、制御要件を満たす方法を模索している。

Paper/Blog Link My Issue
#Pretraining #LanguageModel #Architecture #reading #One-Line Notes Issue Date: 2026-07-03 GPT Summary- 深層言語モデルは、均一な層構成が与えられているが、層によって非均一に出力に寄与することが示唆されている。そこで、初期層に多くのパラメータを割り当てる「テーパード言語モデル(TLMs)」を提案。実験結果から、テーパリングすることでパープレキシティと性能が向上し、追加コストなしで効果的な設計原理となることを示した。 Comment

元ポスト:

Loading…

MLP Layerのパラメータ数を均一にするのではなく、浅い層でより多くのパラメータを割り当てることで性能が改善するという話のようである。このような現象が生じる説明として、残差ストリームに対してMLPを通る前後のコサイン類似度式(9)、ブロック全体を通過した後の残差ストリームの差分(つまりどれだけ残差ストリームが変化したか)とブロックに入力された残差ストリームの間のコサイン類似度(式9)を観察し、層が深くなればなるほど類似度が高くなり(つまりコサイン類似度なので方向が近い)深い層になればなるほど新規の情報が少なく、情報の微調整や洗練化が行われているため、という説明が行われているようである(Figure 4)。
image




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #ReinforcementLearning #Decoding #PostTraining #SpeculativeDecoding Issue Date: 2026-07-03 GPT Summary- MTPを用いることで強化学習におけるロールアウトを加速するBebopを提案。MTPの受け入れ率はモデルエントロピーに影響され、確率的拒否サンプリングがその攪乱を軽減。新しいTV損失を導入し、受け入れ率の改善を実現。エンドツーエンドでのMTPトレーニングにより一貫した速度向上を達成し、最大1.8倍の加速を示す実験結果を提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Attention #Architecture #Hybrid #Initial Impression Notes #LinearAttention Issue Date: 2026-07-03 GPT Summary- HydraHeadは、解釈可能性に基づいた新しいハイブリッドアテンションアーキテクチャで、ヘッド単位でLinear Attention (LA) とFull Attention (FA) を統合。重要なヘッドの選択とスケール正規化融合モジュールを用いて高性能を維持しつつ、長文脈タスクで他モデルを超える。150億トークンの訓練で、512Kの文脈長においてベースラインを69%以上改善し、ヘッドレベルのハイブリッド化の可能性を示す。 Comment

元ポスト:

Loading…

full attentionとlinear attentionをハイブリッドするアーキテクチャの提案




Paper/Blog Link My Issue
#Multi #LanguageModel #ReinforcementLearning #Distillation #PostTraining #On-Policy #One-Line Notes Issue Date: 2026-07-03 GPT Summary- SAGE-OPDは多ターンのオンポリシー蒸留を改善する新しいフレームワークで、学生モデルへの介入を環境からのフィードバックに基づいて決定。標準OPDの脆弱性を克服するため、教師の信頼度でトークンレベルの蒸留を重み付けし、不確実な教師分布の影響を軽減。実験では、ALFWorldにおける成功率を標準OPDと比較して13.3%改善し、ターンレベルの介入が効果的であることを示した。 Comment

元ポスト:

Loading…

現在のOPDは基本的にsingle-turnを前提としているが、multi-turnの場合の手法を提案。各stepごとのconfidenceを教師モデルによって推定し、OPD lossに反映させる。これは生徒モデルの軌跡が教師から逸脱した場合に、その軌跡に対して介入をするような挙動となる。multi-turnにおいて全てのターンに介入するのは無駄で、かつ介入しないとmulti-turnの場合エラーが蓄積するため、選択的に介入する軌跡を決定する手法と言える、という感じに見える。

ポイント解説:

Loading…




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Optimizer #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2026-07-03 GPT Summary- Muonの更新における行ノルムの不均一性が、自己強化的なフィードバックループを引き起こす問題を提起。本研究では、行正規化を活用しながらMuonの幾何を尊重する最適化手法Auroraを提案。Auroraは事前学習での性能向上を示し、modded-nanoGPTでのスペクトル最適化において最先端の結果を達成。さらに、Auroraの利得はMLP拡張係数に比例し、幅広いMLP層の効果的訓練を可能にすることが示唆されている。 Comment

元ポスト:

Loading…

transformer decoder-onlyモデルにおけるMLPのdead neuronを防止するような更新をかけるoptimiserで、Muonよりも高い下流タスク性能を達成したとのこと。

関連:
- Aurora: A Leverage-Aware Optimizer for Rectangular Matrices, Tilde Research, 2026.05




Paper/Blog Link My Issue
#Embeddings #Analysis #ACL #Encoder #Author Thread-Post Issue Date: 2026-07-02 GPT Summary- 平均プーリングはトークン埋め込みの標準的な構築法だが、空間的構造を捉えられず、異なる埋め込みを類似にする可能性がある。本研究はこの崩壊を定量化する指標を提案し、実際のモデルでの頻度を測定した結果、特に対照学習で微調整されたエンコーダが頑健であることを示した。また、頑健性はトークン埋め込みの集中度に依存し、指標との相関が下流タスクの性能に影響を与えることが明らかになった。現代のテキストエンコーダが平均プーリングに依存しながらも有効である理由に光を当てる。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Embeddings #LanguageModel #read-later Issue Date: 2026-07-02 GPT Summary- 埋め込みスケーリングを通じてMoEアーキテクチャのスパース性を向上させる研究。特定のレジームにおいて埋め込みスケーリングが優位性を示し、重要なアーキテクチャ因子を体系的に分析。最適化されたシステムと推論スピード向上を組み合わせ、LongCat-Flash-Liteを導入。これは68.5Bパラメータのモデルで、MoEベースラインを上回り、エージェント性やコーディング能力で競争力を発揮。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Evaluation #Coding #SoftwareEngineering #Author Thread-Post Issue Date: 2026-07-02 GPT Summary- 実際のコーディング支援の対話的性質を反映した新しいベンチマークSWE-Togetherを導入。11,260件の記録セッションから109件のタスクを選び、リアクティブなLLMベースのユーザーシミュレーターを構築。エージェントの評価はリポジトリの正確さとフィードバックの回数で行われ、強力なエージェントほど成功率が高く、介入が少なくて済むことを示した。 Comment

pj page: https://togetherbench.com/

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #LanguageModel #ReinforcementLearning #Distillation #PostTraining #read-later #On-Policy #Author Thread-Post Issue Date: 2026-07-02 GPT Summary- 複数の能力を統合することが困難な大規模言語モデル(LLM)のために、ポストトレーニングの新しいアプローチとしてMulti-teacher On-Policy Distillation(MOPD)を提案。ドメインごとのRL教師を用いて曝露バイアスを排除し、密な最適化信号を提供。実験によりMOPDが他の手法を上回り、教師の能力を効率的に継承することを示した。MOPDは、独立したドメイン教師の開発を可能にし、実用的な能力統合を実現。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…




Paper/Blog Link My Issue
#ComputerVision #ACL #VisionLanguageModel #Findings #Initial Impression Notes #SelfVerification Issue Date: 2026-07-01 GPT Summary- 視覚言語モデル(LVLM)の幻覚問題を解決するために、視覚認識に基づく不確実性定量化フレームワークVAUQを提案。これにより、モデル出力の視覚的証拠への依存度を測定し、Image-Information Score(IS)を導入。トレーニング不要のスコアリング関数を用いて正確さを反映。実験により、VAUQは既存の自己評価手法を上回る性能を示した。 Comment

画像に関するタスクをVLMが処理する際に、応答のconfidenceがlanguage priorではなく、画像に基づくevidenceに基づいているかをconfidenceに反映させる




Paper/Blog Link My Issue
#LanguageModel #SpeechProcessing #OpenWeight #Japanese #TTS Issue Date: 2026-06-29 GPT Summary- 日本語中心のLLM-TTSシステムSarashina2.2-TTSを紹介。約361,000時間の音声データを使用し、日本語の漢字の多義性に対応するデータ拡張パイプラインを設計。Joyo Kanji Yomi Benchmarkを用いて、漢字の読み方の正確さを測定。実験によりデータ拡張が効果を示し、漢字レベルの精度で最先端の性能を達成。クロスリンガル評価では日本語発音の安定性も確認され、訓練アプローチが効果的であることが示された。 Comment

元ポスト:

Loading…

HF: https://huggingface.co/sbintuitions/sarashina2.2-tts




Paper/Blog Link My Issue
#ReinforcementLearning #TextToImageGeneration #Distillation #PostTraining #On-Policy #VisionLanguageModel #RewardModel #Editing #ImageSynthesis #Initial Impression Notes Issue Date: 2026-06-29 GPT Summary- Qwen-Image-2.0-RLは、RLHFとオンポリシー蒸留を用いてQwen-Image-2.0の視覚品質と指示遵守を向上させるパイプライン。信頼性の高い報酬モデルを構築し、画像生成と編集タスクで重要な次元をカバー。最終段階でオンポリシー蒸留を提案し、複数の教師から単一モデルへの統合を実現。評価では、Qwen-Image-Benchで総合スコア57.84、テキスト対画像Eloが1193、画像編集Eloが1349を達成し、全体的に性能向上を示す。 Comment

元ポスト:

Loading…

T2I, Editに特化したTeacherモデルを学習しOPDする




Paper/Blog Link My Issue
#LanguageModel #Selected Papers/Blogs #SpeculativeDecoding #reading #One-Line Notes Issue Date: 2026-06-27 GPT Summary- DSparkは、LLMの推論を加速するために、ドラフト生成とターゲット検証を分離した推測的デコーディングフレームワークです。半自己回帰型アーキテクチャを用いることでトークン間の依存性をモデル化し、並列生成の品質を向上させます。信頼度に基づく検証を採用し、検証長を動的に調整することでシステム効率を最適化します。オフラインベンチマークやライブユーザトラフィック下での実験において、DSparkは採択長と生成速度を顕著に改善し、従来のシステムのスループットを向上させました。 Comment

元ポスト:

Loading…

DeepSeekによる新たなSpeculative Decoding手法とのこと

解説:

Loading…

所見:

Loading…

ポイント解説:

Loading…

関連:
- [Paper Note] DFlash: Block Diffusion for Flash Speculative Decoding, Jian Chen+, arXiv'26, 2026.02

Speculative Decodingのためのドラフトモデルに関する新たなアーキテクチャを提案しており、

DFlashのように並列してトークンを生成する機構を持つ。各トークンは独立して生成されるため、文脈が反映されない。そこで、より文脈に対して自然なトークン系列となるよう、軽量でsequentialなheadによってキャリブレーションする。各トークンにはconfidenceが付与されており、target modelがverifyをするに値しないトークンは事前に除外することでスループットを高める。

という手法に見える。

image

Ling 3.0 Flash, LFM2.5などが、DSparkによるドラフトモデルを公開しており、本手法の注目度の高さが伺える。




Paper/Blog Link My Issue
#Multi #LanguageModel #AIAgents #reading #Initial Impression Notes #Orchestration #Author Thread-Post Issue Date: 2026-06-27 GPT Summary- LLMの特化を統合するために、オーケストレーター型モデルSakana Fuguを開発。Fuguはユーザーのクエリを理解し、動的にエージェントフレームワークを設計。これにより、様々な難解なタスクで最先端の性能を達成。日常利用と高難度応答のバランスを取るFuguと、回答品質を優先するFugu-Ultraを公開。トレーニング方法には大規模ファインチューニングや強化学習を含む。研究がマルチエージェントシステムの発展に寄与することを目指す。 Comment

元ポスト:

Loading…

基盤となる技術:
- [Paper Note] TRINITY: An Evolved LLM Coordinator, Jinglue Xu+, ICLR'26, 2025.12
- [Paper Note] Transformer-Squared: Self-adaptive LLMs, Qi Sun+, ICLR'25, 2025.01
- [Paper Note] Learning to Orchestrate Agents in Natural Language with the Conductor, Stefan Nielsen+, ICLR'26, 2025.12

[Paper Note] Transformer-Squared: Self-adaptive LLMs, Qi Sun+, ICLR'25, 2025.01 と [Paper Note] TRINITY: An Evolved LLM Coordinator, Jinglue Xu+, ICLR'26, 2025.12 によってFuguが学習され、さらに [Paper Note] Learning to Orchestrate Agents in Natural Language with the Conductor, Stefan Nielsen+, ICLR'26, 2025.12 によってFugu Ultraが学習される、という構図に見える。

これはただの感想だが

- nature inspiredなAIを実現するというビジョンのもと
- 世界にインパクトを与えられるようなプロダクトを設計し
- プロダクトから逆算して技術的に必要な課題を列挙し、
- 個々の課題についてトップカンファレンスに通すレベルの水準まで、ストーリーと研究を追求した上で実際にカンファレンスに通し
- 最終的にそれらをつなぐことによってプロダクトを構成する

という、プロダクトと研究が一体となる戦略をとっているように感じた。

プロダクトと研究が分離していると、まずプロダクトがあって、そのプロダクトを運用している中で課題が見つかり、それを解決するための仕事をしていたらそこから研究にできそうな芽が出てきて、出てきた芽をうまく切り出して結果的に研究として出版される、という流れになる気がするのだが、これとは根本的に戦略が異なるように感じる。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #Health #Medical Issue Date: 2026-06-27 GPT Summary- HealthBench Professionalというオープンなベンチマークを通じて、ChatGPTが臨床医の業務支援においてどのように利用されるかを評価。ケア相談、執筆、医療研究の三つの利用ケースに基づいた医師作成の対話がルーブリックで採点され、OpenAIのモデルの難易度や質を測定。特に、意図的な敵対的検証が含まれた例もあり、最も高いスコアを取得したのはGPT-5.4で、多くのモデルや人間の医師を上回る。これにより、医療AIコミュニティが臨床タスクの進展を追跡し、信頼できるシステムの構築を支援することを目指す。 Comment

関連:
- [Paper Note] HealthBench: Evaluating Large Language Models Towards Improved Human Health, Rahul K. Arora+, arXiv'25, 2025.05




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #Security #Environment Issue Date: 2026-06-27 GPT Summary- 悪用は段階的な進展を伴う能力であり、従来のLLMセキュリティベンチマークが二値的結果に依存することに問題がある。本研究では、16の測定可能なフラグによる能力評価型ベンチマークであるExploitBenchを提案し、様々な悪用技術を評価する。V8の41件のバグに適用した結果、公開されているモデルとプライベートモデルとの間に能力の顕著な差を確認。特に、プライベートモデルでは任意コード実行が観測され、堅牢化されたターゲットに対する悪用能力の構築が新たな重要性を持つことを示唆している。 Comment

github: https://github.com/exploitbench/exploitbench




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Planning #Evaluation #LongHorizon #Author Thread-Post Issue Date: 2026-06-26 GPT Summary- 経済システムにおけるLLMエージェントの性能評価が重要になっている中、CoffeeBenchを導入。これは長期的なマルチエージェント経済でLLMを評価するベンチマークで、農家、焙煎業者、小売業者が90日間自律的に運営し、累積純利益を最大化を目指す。多数のモデルが受動的ベースラインを超えて正の純利益を達成し、高性能モデルはより積極的なコミュニケーションを示す一方で、一部モデルは不作為に陥る行動を観察。今後の研究のために、コードとエージェントの軌跡が公開される。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] CEO-Bench: Can Agents Play the Long Game?, Haozhe Chen+, arXiv'26, 2026.06
- [Paper Note] $\texttt{YC-Bench}$: Benchmarking AI Agents for Long-Term Planning and Consistent Execution, Muyu He+, arXiv'26, 2026.04




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #SyntheticData #SelfImprovement #PostTraining #read-later #Selected Papers/Blogs #Data #autoresearch/RSI #Author Thread-Post Issue Date: 2026-06-26 GPT Summary- データサイエンティストとして機能するAIエージェントの一般的手法Autodataを提案。エージェントはメタ最適化を通じて高品質な訓練データを生成。計算機科学や法的推論、数学を用いた実験で、従来の手法と比較して性能向上を確認。エージェントのメタ最適化がさらなる改善をもたらし、高品質なモデル訓練を支援する可能性を示唆。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #Game Issue Date: 2026-06-22 GPT Summary- ゲーム生成は、自然言語仕様を対話的システムに変換する新しいコーディングエージェントの応用であり、ゲームエンジン内で一貫したプレイ体験を作成する必要があります。本研究では、エンドツーエンドのゲーム生成を、プレイヤーとゲームの相互作用を通じて完全なゲームアーティファクトを作成する問題として定義し、評価基準としてエンジンの基盤付け、アーティファクトの完成度、対話的検証を提案します。GameCraft-Benchという評価フレームワークを構築し、15のゲームファミリーの140のタスクをベンチマークとして使用しました。その結果、最先端のコーディングエージェントは依然として高い難易度を示し、最良のエージェントでも41.46%の得点に留まり、多くのエージェントが40%未満の結果にとどまっています。また、エージェントは機械的には実装可能でも、十分な内容やビジュアルフィードバックを備えた完全なゲームを提供するのに苦労しています。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #MachineLearning #LanguageModel #read-later #Selected Papers/Blogs #RecurrentModels Issue Date: 2026-06-22 GPT Summary- 非線形RNNの訓練には、Supervised Memory Training(SMT)を提案。SMTは逐次的なクレジット伝播を避け、1ステップの記憶遷移を監視学習に還元。未来予測に必要な過去の情報のみを保持し、安定した長さO(1)の勾配パスで時間的並列訓練を実現。言語モデリングやピクセル系列モデリングでBPTTを上回る性能を示し、長距離依存性の把握やモデルのスケーリングを促進する可能性がある。 Comment

元ポスト:

Loading…

所見:

Loading…




Paper/Blog Link My Issue
#Analysis #LanguageModel #Attention #LongContext #PositionalEncoding #Initial Impression Notes Issue Date: 2026-06-22 GPT Summary- ハイブリッドアーキテクチャにおける効率的アテンションモジュールの影響を、スケーリング挙動、メカニズム分析、アーキテクチャ設計の観点から体系的に分析。効率的アテンションは長い文脈能力の出現速度に影響するが、最終的には同等の性能へ収束。長距離検索はフルアテンションによるもので、効率的アテンションがその最適化を形作る。“Large-Window Laziness”という現象を説明し、窓が小さいSWAハイブリッドにNoPEを適用することで長い文脈での性能が向上することを示した。 Comment

元ポスト:

Loading…

SWAにNoPEを組み合わせるとlong contextの性能が改善するようである(Table 2)

解説:

Loading…


SWEのwindowサイズを小さくした方が、full attentionが長距離文脈を学習することを促進する。これは、SWEのwindow幅に存在するcontextで様々な依存関係を処理できるため、full attention側で長距離依存を学習する恩恵が低減するから、ということのようである。




Paper/Blog Link My Issue
#NeuralNetwork #MachineLearning #LanguageModel #Optimizer #read-later #One-Line Notes #Author Thread-Post Issue Date: 2026-06-21 GPT Summary- MDデカップリングを提案し、重み行列の「大きさ」と「方向」を別々に制御することで、訓練ダイナミクスを向上させる。これにより、従来のオプティマイザに依存せず、重み減衰やウォームアップが不要に。また、Adam や Muon において、調整されたベースラインを超える性能を示し、幅広いモデルにおいて一貫した効果を発揮する。 Comment

元ポスト:

Loading…

以下、著者ポストの要約

重み行列にはサイズ(ノルム)と向かう方向(どこをpointするか)があり、同じステップでも重みが小さい時は大きく回転するが、重みが大きいとほとんど回転せず、方向がどれだけ早く変化するかは重みのノルムに依存する。このため、学習中に重みの大きさが調整役になってしまい、学習時の更新幅がLRによって決まるわけではなく、重みの大きさ、weight decayなどの影響によって変化し、学習率が与える影響が間接的なものになってしまう。これを是正するために、NeuralNetworkの重みを固定サイズに保ち(球面上に配置)、方向だけを調整する。

- Fantastic Pretraining Optimizers and Where to Find Them 2.1: Hyperball Optimization, Wen+, 2026.01

と非常に似ているように感じる。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #One-Line Notes #LongHorizon #Environment #Author Thread-Post Issue Date: 2026-06-21 GPT Summary- CEO-Benchは、言語モデルのエージェントが長期的な視野、ノイズの多い環境での情報取得、適応能力、目標統合を評価するためのシミュレーションである。エージェントは500日間のスタートアップ運営を通じて架空の企業管理を行い、ビジネスデータを分析して戦略を構築。多くのモデルが苦戦する中、Claude Opus 4.8とGPT-5.5のみが初期の課題で成功を収めている。CEO-Benchは持続的な進歩を測定する手段を提供する。 Comment

元ポスト:

Loading…

以下著者ポストの要約

エージェントに1Mドルを与えて仮想環境でスタートアップを500日経営させ、最終的なキャッシュを比較することでエージェントのlong horizonな意思決定、データ分析、コーディング能力を測定する。経営はprogrammableなインタフェースによって実現される。モデルによって挙動が異なり、あるモデルは幅広い戦略を探索するが、あるモデルは受動的な意思決定をしてしまいキャッシュを失う。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #LLM-as-a-Judge #mid-training #Initial Impression Notes #Author Thread-Post Issue Date: 2026-06-17 GPT Summary- スパース報酬強化学習(RL)は、LLMの推論を向上させる方法だが、成功は基盤モデルの網羅性に依存する。従来の方法では、中間訓練に選ばれた推論軌跡を用いてスキルを教えるが、手動指定が必要であり、そのカバレッジが難しい問題に対して十分かは不明である。新たなアプローチとして、ExpRLは人間作成の質問応答データを用い、参照解を報酬の基盤として扱う。ポリシーは問題プロンプトから推論をサンプリングし、LLM判定者がバックグラウンド報酬を割り当てることで部分的進捗を強化する。ExpRLは、難解な数学的推論タスクにおいて、他手法よりも優れたRLプリミングを実現し、スパース報酬RLの初期化を改善することが示された。 Comment

元ポスト:

Loading…

post-trainingでGRPOをすると、報酬がsparse(モデルが解けない問題に対してはadvanatageがゼロ)となりシグナルが得られない問題があるが、これをmid trainingの段階で参照データをdense報酬のためのscaffoldingとして活用することで、後続のsparseなRLの性能を改善する。どうやらmid trainingの段階で、参照データを与えた(=scaffolding) verifierを用意し、LLM-as-a-Judgeを通じて密な報酬(すなわち、最終的な応答だけでなく途中のtrajectoryの良し悪しからも報酬を得る)を与え、後続のsparseなRLのためのwarmupをする。warmupにはSFTやself-distillationが用いられることが多く、これら手法は基本的には参照データの模倣学習であるため汎化性能を犠牲(i.e., これはらトークンレベルの学習シグナルであらため、自由な探索が抑制されエントロピーが下がる)にしていたが、提案手法ではDense RewardなRLを用いることで探索が促進され(=高いエントロピーが保たれる)warmupが可能となる、という話に見える。




Paper/Blog Link My Issue
#LanguageModel #OpenWeight #Author Thread-Post Issue Date: 2026-06-17 GPT Summary- 効率的なエージェント型知能を目指し、Ling-2.6 と Ring-2.6 のモデルファミリを提案。Ling-2.6 は即時応答に特化し、Ring-2.6 は高度な推論に対応。Ling-2.0 からのアップグレードは、モデルの統一的共同設計によって実現。ハイブリッド線形アテンション設計で長文脈の効率を向上し、出力トークンの能力を最適化。Ring-2.6-1T には強化学習フレームワーク KPop を導入し、エージェント-環境学習を強化。2.6 ファミリはオープンエージェント型システムへの実践的道筋を提供し、全チェックポイントをオープンソース化。 Comment

- inclusionAI: Ling-2.6-flash (free), OpenRouter (InclusionAI), 2026.04
- Ring-2.6-1T, inclusionAI, 2026.05

元ポスト:

Loading…

所見:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Coding #Mathematics #SmallModel #Initial Impression Notes Issue Date: 2026-06-17 GPT Summary- VibeThinker-3Bは3Bパラメータを持つ小型密結合モデルで、検証可能推論の限界を調査します。Spectrum-to-Signalに基づく最適化パイプラインを用い、多ドメイン強化学習や自己蒸留を含むファインチューニングを行い、高度な検証可能タスクでフロンティア級の性能を示します。具体的には、AIME26で94.3点、LiveCodeBench v6で80.2%、LeetCodeコンテストで96.1%の合格率を実現しました。この研究は、コンパクトなモデルがフロンティア性能を持ち得ることを示し、パラメトリック圧縮-カバレッジ仮説を提唱します。 Comment

元ポスト:

Loading…

3Bモデルでもpost trainingによって、100倍以上大きいモデルよりも数学、コーディングなどのドメインでは同等程度の性能に到達できる。ただし、GPQA Diamondのような知識を必要とするタスクの性能は明確に劣る。




Paper/Blog Link My Issue
#Multi #LanguageModel #AIAgents #GenerativeAI Issue Date: 2026-06-15 GPT Summary- 人間レベルのAGIの構築が具体的な目標となり、その影響は広範囲にわたる。報告では、Universal AIへの移行を理論的に論じ、AGIからASIへの4つの経路(スケーリング、パラダイム転換、再帰的改良、マルチエージェント集合)を考察。摩擦やボトルネックに関する具体的な研究課題を提示し、AIの進展が加速する可能性を排除できないと述べ、単一の変革的飛躍よりも連続的な社会変革の可能性を強調。これには学際的な国際協力が不可欠である。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#GraphBased #LanguageModel #Explanation #Reasoning Issue Date: 2026-06-15 GPT Summary- 因果グラフを用いてLLMの推論プロセスを透明にモデル化。四段階の手法で解釈可能な概念を発見し、入力を概念状態へマッピング。反事実補強により因果推定を安定化し、疾病診断や感情分析に適用。結果は因果グラフがLLMの推論と整合する依存関係を捉えていることを示し、説明可能性の基盤を提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #NeurIPS #read-later #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2026-06-15 GPT Summary- AIシステムはベンチマークで優れた成果を上げているが、現実の経済的価値には繋がっていない。このギャップは評価の問題に起因していると主張し、長期的な実績を伴うAIエージェントを評価する新しいベンチマーク「Agents' Last Exam(ALE)」を紹介。ALEは250名以上の専門家と共に開発され、非物理的産業における1,000超のタスクを網羅。結果はフルパスの平均達成率が1%未満であることを示し、ALEはタスクプールを継続的に拡大し、経済的影響とベンチマークの成功とのギャップを埋める手段として設計されている。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…

ポイント解説:

Loading…

合成データではなく実際にnon-physicalな55の職業によって解かれた1500以上のタスクをverifiableな評価が可能な形式に変換した、データによって構成されたエージェント用のベンチマーク。現実世界の、経済的に価値がある、持続的に取り組まれている専門的なタスクによるエージェントの評価を目的として構築されている。300人以上の100以上の機関の専門家によって構成。

pj page: https://agents-last-exam.org/




Paper/Blog Link My Issue
#LanguageModel #Attention #LongContext #SparseAttention #Initial Impression Notes Issue Date: 2026-06-14 GPT Summary- 大規模言語モデルの超長文脈能力に対応するため、MiniMax Sparse Attention(MSA)を提案。MSAはGrouped Query Attention(GQA)に基づくスパースアテンションで、ブロック単位で効率的な計算を実現。選択されたブロックに対して正確なアテンションを行い、トークンあたりの計算量を大幅に削減。1090億パラメータのモデルで、MSAは性能を保ちながら計算を28.4倍削減し、優れたスピードアップを達成した。詳細な推論カーネルとモデルは公開されている。 Comment

元ポスト:

Loading…

GQAの各グループに対してTopKをサンプリングして利用する




Paper/Blog Link My Issue
#ComputerVision #Selected Papers/Blogs #VisionLanguageModel #Robotics #VisionLanguageActionModel #reading #One-Line Notes #Steering #Author Thread-Post Issue Date: 2026-06-13 GPT Summary- 汎用ポリシーが多様なロボットデータセットから学習する中で、Flow Matching GeneralistsとFlow Reversal Steering(FRS)を提案し、サブ最適な行動を逆向きに通して潜在ノイズを特定、汎用的なアクションモードへ写像する手法を検証。FRSは粗い意味論的指示を良いロボットアクションに変換し、ゼロショット制御を改善。訓練を短時間で行い、最大95%のタスク成功率向上を示し、強化学習をブートストラップしてさらなる改善を実現。 Comment

元ポスト:

Loading…

VLMや人間によって、
- Coarse Reference Action関する情報(=意味的には妥当だがロボットがアクションを実施するには粗すぎる情報; move straight right等)を与え、
- Coarse Reference Action を対応するVLAのreference action a_1に変換し
- a_1に基づいてVLAが良いアクションを生成できる潜在ノイズをFlow Matchingモデルを時間方向にbackwardさせる(noising process)ことで推定し、
- 同定した潜在ノイズから順方向にdenoisingすることで、妥当なアクションをsteeringする

Flow Reversal Sterring (FRS) を提案。FRSにはzero-shot、かつonlineでsteeringができる利点がある。

## Diffusion Steering via Behavioral Cloning (DSBC)
FRSはSupervised Learningにも活用できる。具体的には、reference actionに基づいたノイズ a^hat_0を用いてobservationからノイズを生成するノイズ方策を直接behavior cloning(=observation oが与えられた時に、a^hat_0を出力する確率を最大化する最尤推定; p.6冒頭)する。

image

学習データ(observation, good noiseのタプル)の収集方法は大きく分けて2通りあり
- オンライン: zero-shot FRSを実際に環境でロールアウトし、タスクが成功したときノイズをgood noiseとして記録する
- オフライン: 既存の(observation, action)データをFRSで変換し(observation, action noise)のタプルに変換して学習に利用する

このような学習手法をDSBCと呼ぶ。

## DSRL + FRS
上述のFRSとDSRL [Paper Note] Steering Your Diffusion Policy with Latent Space Reinforcement Learning, Andrew Wagenmaker+, arXiv'25, 2025.06

を組み合わせることで、DSRLの安定性を向上させる手法。DSRLは一言で言うと、アクション生成のシードとなる良いノイズを生成できるポリシー(ノイズ方策)をRLを通じて学習する手法らしく、RLをする際の報酬に対して、DSBCを重み付きで加えることによって、エキスパートのノイズから大きく逸脱することを防ぐ正則化の役割を追加する。

image

完全に読めたわけではないが、おもしろい。勉強になった。



[Paper Note] LeapAlign: Post-Training Flow Matching Models at Any Generation Step by Building Two-Step Trajectories, Zhanhao Liang+, arXiv'26, 2026.04


Paper/Blog Link My Issue
#ComputerVision #Alignment #ReinforcementLearning #DiffusionModel #TextToImageGeneration #PostTraining #FlowMatching #ImageSynthesis Issue Date: 2026-06-11 GPT Summary- フロー・マッチングモデルの人間の嗜好への整合性を向上させるため、LeapAlignというファインチューニング手法を提案。これにより、長い生成経路を二段階に短縮し、計算コストを削減しつつ効率的な勾配伝播を実現。生成ステップのランダム化や学習重みの調整によってモデルの安定性が向上し、Fluxモデルにおいて優れた画像品質と画像-テキスト整合性を実現し、既存手法を上回る結果を達成。 Comment

pj page: https://rockeycoss.github.io/leapalign/

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Encoder-Decoder #ContextEngineering #One-Line Notes #Compression Issue Date: 2026-06-11 GPT Summary- 長文脈言語モデルの推論ではKVキャッシュの増大がメモリのボトルネックとなるが、従来の圧縮手法はモデルの品質を犠牲にするか、リソースを大量に消費する。そこで、本研究ではエンコーダ-デコーダ圧縮を再検討し、最適な設計と訓練手法を模索。特に、0.6Bエンコーダ・4Bデコーダモデル群を事前学習し、圧縮比1:4、1:8、1:16で性能を向上させるLatent Context Language Models(LCLMs)を提案。LCLMsは効率的な長期エージェントのバックボーンとして機能し、圧縮された文脈から適応的に情報を展開できることを示した。 Comment

元ポスト:

Loading…

input tokenを圧縮し潜在表現にエンコードするencoderを導入し、decoderへ入力するcontextを圧縮する
image




Paper/Blog Link My Issue
#DocumentSummarization #Embeddings #LanguageModel #Decoder #Initial Impression Notes Issue Date: 2026-06-11 GPT Summary- 大規模言語モデルはゼロショット能力に優れるが、テキスト埋め込みベンチマークでは性能が不足している。これは、高頻度トークンの過剰な表現が意味表現の能力を抑制するためと考える。そこで、EmbedFilterを導入し、LLMから生成された埋め込みを洗練させる。具体的には、頻繁なトークンの影響を抑えるためのフィルタリングを行い、意味表現を強化しつつ、埋め込み次元を削減。実験により、EmbedFilterを用いたLLMが、次元削減後もゼロショット性能が向上することを示した。本研究がLLMベースの表現の理解を深め、テキスト埋め込みの改善に寄与することを期待する。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Scaling Sentence Embeddings with Large Language Models, Ting Jiang+, EMNLP'24 Findings, 2023.07
- [Paper Note] Repetition Improves Language Model Embeddings, Jacob Mitchell Springer+, ICLR'25, 2024.02

decoder-onlyモデルからembeddingを取得する際に、高頻度語の成分を除去するフィルタを導入することでembeddingの品質を向上させる




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Scaling Laws #DataMixture #DataRepetition Issue Date: 2026-06-11 GPT Summary- 事前学習データの混合調整には、高品質データの不足が影響し、繰り返しの不一致が主な原因であると示す。高品質データセットの繰り返しレートは、トレーニング予算が拡大するにつれて変化し、最適な混合比を小規模実験で予測できない。サブサンプリング手法を用いることで、この効果を制御可能で、759Mパラメータのモデルにおいて、繰り返し制御により最適解に近づくことを証明。繰り返し制御を行わず同等の精度を達成するには、多くのリソースが必要になる。結果は、繰り返しが混合最適化の重要な要素であることを示唆。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #GenerativeAI Issue Date: 2026-06-11 GPT Summary- AIとハードウェアは密接に結びついて進化しているが、一貫した長期ビジョンが不足している。この断片化は、全体的で持続可能なAIシステムの実現を妨げている。本論文はAIとHWの共設計・共開発のための10年ロードマップを提示し、エネルギー効率やシステム統合を重視してスケーリングを再定義する。AIの効率を1000倍改善し、シームレスなエネルギー配慮型システムを実現することを目指す。最後に、産業界や学術界の具体的な行動項目を示し、AI+HWの共設計が長期的な目標となるよう促進する。 Comment

元ポスト:

Loading…


視野が広がり非常に勉強になる。




Paper/Blog Link My Issue
#LanguageModel #Test-Time Scaling #reading #One-Line Notes #Clustering-based #Author Thread-Post Issue Date: 2026-06-10 GPT Summary- 生成されたテキスト間の意味的コンセンサスを特定するMode Extraction(ModeX)を提案。評価者なしでBest-of-N選択を実現し、類似度グラフを用いてセントロイドを選択。ModeX-Liteで効率化を図り、テキスト要約やコード生成などのオープンエンドタスクで従来の手法を常に上回る性能を示す。 Comment

元ポスト:

Loading…

outputに対してJaccard係数に基づいてAffinity Graphを構築し、クラスタのセントロイドを求めることで、extrnal verifier無しでBest-of-Nを実現する。

image

Best-of-16でのexternal evaluatorを用いた場合のオラクルスコアを、多くの場合で上回っているように見えるが、なぜこの3つのベンチマークでの評価なのだろうか?(そして文書要約はなぜ表層的なメトリックばかりなのだろうか)。論文中では代表的なタスクである3つのベンチマークで評価したと一言しか書かれていないように見える。
image

もしこれが安定して高い性能を出せるなら、evaluator freeなので非常に強力である。理論的な分析もあるようだが読めていない。覚えておこう。




Paper/Blog Link My Issue
#LanguageModel #Evaluation #read-later #Selected Papers/Blogs #ContinualLearning #Initial Impression Notes Issue Date: 2026-06-07 GPT Summary- 継続学習を評価するための初の専門家検証済みベンチマークであるCL-Benchを紹介。六つの多様な領域を対象に、LLMベースのシステムが経験を通じて改善するかを測定。状態を持つシステムは潜在構造を発見可能で、最先端モデルが継続学習を改善する余地があることが明らかに。専用メモリシステムでも問題は解決されず、シンプルなICLが優位であった。このベンチマークにより、現実世界における継続学習の必要性が強調されている。 Comment

元ポスト:

Loading…

Question (Instance)のSequenceを完了することが求められるContiunual Learningのためのベンチマークで、各instanceは、モデルが事前に知り得ない報告可能な状態を持ち、後続のinstanceは、過去のinstanceの結果(experience)を用いなければならない。また、最終的に、Databaseのmigrationを通じて過去のexperienceを適用不可能にし、このような状況にも柔軟に対応可能な能力も評価する、という話に見える。
image




Paper/Blog Link My Issue
#LanguageModel #Chain-of-Thought #Evaluation #Reasoning #Initial Impression Notes Issue Date: 2026-06-06 GPT Summary- 推論モデルの評価には、正確性やトークン数だけでなく、推論構造の理解が重要である。これに応じて、論理パズルのためのスケーラブルな評価ベンチマークと、非構造化推論を検証可能な推論グラフに変換するパイプラインを導入。これにより、推論の構造化と定量的分析が可能となり、論理的流れの集中度を測る指標を定義。分析は、構造的測定が正確性とトークン数の混同を解消し、故障モードの診断やパズルの難易度との関係を比較するのに役立つことを示した。 Comment

元ポスト:

Loading…

LLMのReasoning Traceをverifiableなグラフ構造に変換し、Reasoningを評価可能にする

image




Paper/Blog Link My Issue
#Pretraining #Transformer #Attention #Architecture Issue Date: 2026-06-05 GPT Summary- Depth-Attentionは、Transformerにおける情報の選択的再利用を改善する手法であり、各レイヤの先行キーに対してクエリがアテンションを行い、自己注意の値に統合する。これにより、追加のパラメータや永続的な推論状態を導入せずに、キャッシュサイズを維持しつつ、バニラTransformerよりも最大2.3ポイントの精度向上を実現。1.5Bおよび3Bのパラメータ規模でも高い精度と低いパープレキシティを達成し、ループ型Transformerにも適用可能。 Comment

元ポスト:

Loading…

下記研究とはどこが異なるだろうか:
- [Paper Note] Mixture-of-Depths Attention, Lianghui Zhu+, arXiv'26, 2026.03




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #PostTraining #TextualFeedback Issue Date: 2026-06-05 GPT Summary- 強化学習(RLVR)は進化しているものの、依然として狭い範囲に留まっている。本研究では、豊富なフィードバックを古典的な模倣学習アルゴリズムDAggerを通じて活用し、専門家分布にアクセスする手法を検討する。順方向クロスエントロピーは単調なポリシー改善を促し、後悔に関する保証を提供するとともに、教師重み付き成功の尤度を最適化する。実験結果として、DistILアプローチが科学的推論や数学問題解法においてRLVRや自己蒸留のベースラインを上回ることを示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #OpenWeight #MoE(Mixture-of-Experts) Issue Date: 2026-06-05 GPT Summary- Mellum 2は、ソフトウェアエンジニアリング向けの12BパラメータMoE言語モデルで、トークンあたり2.5Bのアクティブパラメータを有する。主な機能としてコード生成やデバッグ、マルチステップ推論をサポートし、64エキスパートのMixture-of-Expertsアーキテクチャを基盤にしている。また、事前学習には約10.6兆トークンを用いた3段階のカリキュラムを採用し、二段階のポスト訓練によりInstructモデルとThinkingモデルの二つのバリアントが開発された。Mellum 2は、オープンウェイトベースラインと競合しつつ効率的な計算を実現している。 Comment

HF: https://huggingface.co/collections/JetBrains/mellum-2




Paper/Blog Link My Issue
#Pretraining #GraphBased #LanguageModel #DataFiltering Issue Date: 2026-06-05 GPT Summary- マルチドメイングラフ事前学習の冗長性に対処するため、境界意識的サブグラフ混合と階層的識別を組み合わせたフレームワークMDGMIXを提案。MDGMIXは、難易度の高いサブグラフを構築し、共有パターンを識別。少数ショット分類タスクでベースラインを上回り、効率性も向上。コードは公開済み。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Transformer #Attention #Architecture #ConvolutionalModels #Author Thread-Post Issue Date: 2026-06-05 GPT Summary- 動的ショート畳み込みをトランスフォーマーに導入し、静的畳み込みの局所性バイアスを維持しつつ表現力を向上。実験により、動的畳み込みが高難度の連想想起タスクでの性能を向上させ、標準トランスフォーマーを一貫して上回ることを示した。計算量に対する優位性も確認され、効率的なトレーニングを実現するカスタムTritonカーネルを提供。動的ショート畳み込みはトランスフォーマー技術の進展に寄与することを示唆している。 Comment

元ポスト:

Loading…

所見:

Loading…

所見:

Loading…


関連:
- [Paper Note] Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers, Zeyuan Allen-Zhu+, ICML'24 Tutorial




Paper/Blog Link My Issue
#ComputerVision #Dataset #Evaluation #VisionLanguageModel #SpatialUnderstanding Issue Date: 2026-06-05 GPT Summary- 空間推論は視覚-言語モデル(VLM)の基本能力だが、既存の評価は視覚的観察の制限を無視している。本研究では、遮蔽と視点の曖昧性という2つの観察課題を導入し、空間的質問を設計してモデルの応答を評価。結果は、視覚的証拠が不完全な場合でも過信的応答が誘発され、遮蔽下での精度は約30%、視点の曖昧性では10%未満にとどまることを示した。また、信頼できる追加視点を識別する能力は多くのモデルでほぼランダムである。これにより、モデルが正確な回答だけでなく、適切に回答を控える能力や信頼できる証拠を求める必要性が示唆された。 Comment

元ポスト:

Loading…

pj page: https://zhangyuejoslin.github.io/spatialuncertain/




Paper/Blog Link My Issue
#Search #LanguageModel #SelfImprovement #PostTraining #Author Thread-Post Issue Date: 2026-06-05 GPT Summary- Bidirectional Evolutionary Search(BES)は、自己改善する言語モデルの探索フレームワークとして提案されている。前方探索で進化演算子を使用して新しい候補を生成し、後方探索でタスクをサブゴールに分解し、密なフィードバックを提供する。これにより、狭いエントロピー領域から脱出し、必要なサンプル数を指数的に削減可能。実験では、BESが既存の事後学習アルゴリズムを上回る結果を示し、オープン問題解決ベンチマークで優れた性能を発揮することが確認された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Distillation #PostTraining #On-Policy #Stability #One-Line Notes #LongHorizon #Author Thread-Post Issue Date: 2026-06-05 GPT Summary- オンポリシー蒸留(OPD)は、モデルから小型学生モデルへの能力移転に成功しているが、マルチターンエージェント設定では十分に検討されていない。本研究では、OPDの課題としてKL不安定性を特定し、これが学生モデルの訓練を不安定にさせる主な要因となることを示す。これを解決するために、時間的カリキュラム・オンポリシー蒸留(TCOD)を提案し、短いから長い軌跡への段階的な拡張を行う。実験により、TCODはKLの安定性を向上させ、従来のOPDより最大18ポイントの性能向上を実現することが確認された。 Comment

元ポスト:

Loading…

multi-turn/long-horizonな設定でのOPD手法。multi-turnな設定の場合、教師モデルへのcontextにエラーが蓄積されていき徐々に教師モデルのsignalの信頼性が低下する問題があり、これに対処するためにOPDを適用するtrajectoryのターン数を序盤は短く、徐々に長くしていくようなカリキュラムで学習をする手法を提案。ターン数を深くする方向として、Forward-to-Backward/Backward-to-Forwardの2種類のシンプルな手法を用いて実験をしている。

image




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Author Thread-Post Issue Date: 2026-06-05 GPT Summary- マルチエポック学習が一般的になる中、単一モデルの飽和問題を解決するため、モデル集団の探索と予測統合への転換を提案。ハイパーエポック事前学習(q0)を導入し、マルチエポック予算を多様なモデルへ変換、これにより検証損失が低下。q0は三つのコアプリミティブ(反相関学習、チェーン蒸留、学習済み分布の適合)に基づく。18億パラメータモデルで約56エポックで強力な256エポック基準に匹敵する性能を達成し、データ効率を約12.9倍向上。予算に応じた最適なエポック使用法を提示。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #Distillation #PostTraining #On-Policy #SelfDistillation #Author Thread-Post Issue Date: 2026-06-04 GPT Summary- オンポリシー自己蒸留は、言語モデルが自身の生成を特権的文脈で監督する手法で、スパース報酬強化学習に対する密な監督信号を提供する。これを逆Kullback–Leibler発散損失で具現化し、自己蒸留型方策勾配フレームワークSDPGを提案。SDPGはグループ相対検証やKL正則化を活用し、従来のベースラインよりも安定性と性能を向上させる。コードは公開されている。 Comment

元ポスト:
-

Loading…

-
Loading…




Paper/Blog Link My Issue
#Analysis #LanguageModel #Distillation #SubliminalLearning #One-Line Notes #Steering #Author Thread-Post Issue Date: 2026-06-04 GPT Summary- 潜在的学習とは、学生の言語モデルが教師の特性を微調整することで獲得される現象であり、意味を持たないデータから特定の特徴が伝達される仕組みは未解明である。本研究では、潜在的学習がステアリングベクトルによって媒介されることを示し、教師のプロンプトがこのベクトルによく近似され、学生が整合したベクトルを学習することを発見した。ステアリングベクトルに近似されないプロンプトは学習されないことも示され、その影響がモデルの活性化に及ぶことを明らかにした。潜在的学習には適応型オプティマイザが必要であり、勾配の一貫性が成果に影響を与えることが確認された。 Comment

元ポスト:

Loading…

Subliminal Learning:
- [Paper Note] Subliminal Learning: Language models transmit behavioral traits via hidden signals in data, Alex Cloud+, arXiv'25

Subliminal Learningが生じるのは、教師モデルが生成したデータを通じて生徒モデルが残差ストリームに対するsteering vectorが蒸留されるからであり、教師モデルが生成した何らかのデータを通じて教師モデルと同じ方向にactivationが誘導されるようになるため、という説明のようである。また、subliminal learningが生じるためにはAdamのような適応的なoptimiserが必要で(外れ値の勾配が支配的にならないため)、LoRAのような低ランクでのファインチューニングで生じやすく、フルファインチューニングでは発生しづらいとのこと。

また、細かく読めていないが、16種類の動物に関する特性に関する残差ストリームのsteering vectorを抽出し実験をした結果、steeringは実験の結果モデル間の転移は弱く、モデルアーキテクチャが共通の場合にうまく転移することが示され、このことから、モデル固有のsteering方向に依存することが示唆されるようである。
image