Latest Posts (100) — 1/1
Introducing Aikido Altar: the model that makes sovereign security intelligence possible, aikido, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #Pruning #Quantization #Blog #OpenWeight #Security #Author Thread-Post Issue Date: 2026-10-02 Comment
元ポスト:
[Paper Note] DepthBench: Measuring How Residual Connections Enable More Computational Depth, Keyu Wang+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#Analysis #NLP #LanguageModel #Transformer #Architecture #ResidualStream #Initial Impression Notes Issue Date: 2026-10-02 GPT Summary- モデルサイズと事前学習条件を固定し、幅と深さの比率を変化させるDepthBenchで、Transformerの計算深度を評価。 10種類のアーキテクチャを比較した結果、標準的なPre-LNや正規化・スケーリング系手法は深く狭い構造で性能向上が乏しく、低下する場合もある一方、HCとFull AttnResは極端に深い構造でも一貫して性能を向上。 層レベルの分析から、追加層を有効活用できる残差接続の設計が、アーキテクチャ上の深さを実効的な計算深度へ変換する主要因であることを示した。 Comment
元ポスト:
（以下元ポストを参考に自分の言葉でメモ）
残差ストリームに対する様々なアーキテクチャを、統一した条件で（1.6B程度のモデルサイズまで）比較した結果、モデルを深くした場合に性能が改善する傾向にあるのはHC, AttnResのみであった。
その理由として、HCでは複数の残差ストリームを並列に保持すること、AttnResでは層ごとの中間表現を保持し後の層が必要に応じて取り出す、といったメカニズムによって、PreLNなどで典型的に見られる深い層になると残差ストリームが類似する（結果的に層を増やしても新たな情報が蓄積されない）性質が緩和され、深さ方向に追加した層をより有効に活用していることが示唆される、という感じの話に見える。
関連:
- [Paper Note] mHC: Manifold-Constrained Hyper-Connections, Zhenda Xie+, arXiv'25, 2025.12
- [Paper Note] Hyper-Connections, Defa Zhu+, ICLR'25, 2024.09
- [Paper Note] Attention Residuals, Kimi Team+, arXiv'26, 2026.03
- [Paper Note] DeepNet: Scaling Transformers to 1,000 Layers, Hongyu Wang+, arXiv'22, 2022.03
- [Paper Note] Post-LayerNorm Is Back: Stable, ExpressivE, and Deep, Chen Chen+, arXiv'26, 2026.01
- [Paper Note] The Curse of Depth in Large Language Models, Wenfang Sun+, arXiv'25, 2025.02
- [Paper Note] Mixture-of-Depths Attention, Lianghui Zhu+, arXiv'26, 2026.03
- [Paper Note] On Layer Normalization in the Transformer Architecture, Ruibin Xiong+, arXiv'20, 2020.02
[Paper Note] Contrastive Decoding: Open-ended Text Generation as Optimization, Xiang Lisa Li+, ACL'23, 2022.10
Paper/Blog Link My Issue
#NLP #LanguageModel #Coherence #ACL #Decoding #reading #One-Line Notes Issue Date: 2026-10-02 GPT Summary- LMに対し、大規模LMと小規模LMの尤度差を用いて対照的目的関数を最適化する対照的デコーディング（CD）を提案。もっともらしさの制約により、反復や話題逸脱を抑え、一貫性の高いテキストを生成する。追加学習なしで、核サンプリングやtop-kなどの既存手法を上回る性能を達成。 Comment
事前学習済み言語モデルに対してサンプリングを行いテキストを生成するアプローチは、長いシーケンスとなるとエラーが蓄積し一貫性が欠如したり、トピックが逸脱する課題がある。一方、greedyにデコードをするとしばしば短く、多様性に乏しく、同じ語彙が反復的に出現するようなテキストが生成されてしまう。これに対して、本研究はContrastive Decodingと呼ばれる、一貫性を保ちながら、流暢で多様な語彙に基づく生成を可能とするデコーディング手法を提案している。
Contrastive Decodingでは、エキスパートとアマチュアモデルを用意し（前者は同じシリーズの大規模モデル、後者は小規模モデル）、エキスパートモデルが高い対数尤度を持つという制約のもと、エキスパートとアマチュアモデルの対数尤度の差が最大となるようなテキストを探索する。
言語モデルの典型的なfailure modeはエキスパートよりもアマチュアにおいてより表出しやすいため、対数尤度の差分を見ることで、エキスパートがアマチュアと比較してより高い確率質量を割り当てているトークン列を強調する。
Figure 1がContrastive Decodingの他のデコーディング手法に対する利点を説明した図であり、この例では1961が適切であるが、greedy、サンプリングベースな手法の欠点を説明している。すなわに、エキスパートモデルは直前に出現したトークン、HawaiiやHonoluluに高い確率質量を置いてしまうため、greedyにデコーディングするとそれらが出力され、反復的なテキストが生成される。一方、Washingtonのようなトークンがサンプリングされると、支離滅裂なテキストとなる。Contrastive Decodingでは、これら典型的なfailure modeが抑制され、エキスパートでより高い確率質量を割り当てる傾向が強くなるトークン、たとえばこの例であれば事実に基づく1961というトークンを強調したようなスコアを得ることができる。
[Paper Note] Decoding Looped Transformers Better for （Almost） Free, Weihao Liu+, arXiv'26, 2026.10
Paper/Blog Link My Issue
#NLP #Transformer #Decoding #Selected Papers/Blogs #reading #RecurrentModels #Initial Impression Notes Issue Date: 2026-10-02 GPT Summary- ループ型Transformerの中間再帰状態を用いて、最終予測と早期予測を対比する学習不要のデコード手法LoopCDを提案。 追加の出力パスを用いるLogits版と、隠れ状態空間で動作するHidden版により、弱い予測をガイダンス信号として活用する。 4種類のモデルで性能を一貫して向上させ、再帰回数を半分にしても性能を維持しつつ、推論FLOPsを22.5〜48.2%削減。 Comment
元ポスト:
Contrastive Decodingで示されている、アマチュアの出力とエキスパートの出力の差を見ることで言語モデルにおける典型的なfailure modeを抑制し、エキスパート特有の出力を強調する、といったデコーディングの考え方をLooped Transformerのループが浅い時点の表現をアマチュア、深い時点の表現エキスパートとみなすことで、Looped Transformer上で自然に実現する、という話に見え、これによりfull depthで比較した場合により高いベンチマークスコアを得ることができ、ループの深さを半分にしても同等以上の性能が得られ、結果的に計算量を削減しながらull depthと同等程度の性能を得ることができる、という話に見える。
[Paper Note] Looped Diffusion Transformer, Yong Xien Chng+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#ComputerVision #EfficiencyImprovement #NLP #Transformer #DiffusionModel #TextToImageGeneration #Architecture #RecurrentModels #ImageSynthesis Issue Date: 2026-10-02 GPT Summary- テキスト画像生成において、共有Transformerブロックをノイズ除去ステップ内で反復実行するLooped-DiTを提案。中間ループへの深い教師あり学習と自己調整型注意機構により、弱い教師信号と局所情報の損失を防ぐ。パラメータ数と計算量を抑えつつ、6.5倍大きいモデルを上回り、ノイズ除去ステップを増やすよりループを深くする方が効果的であることを示した。 Comment
元ポスト:
Olmo-core: Building blocks for OLMo modeling and training, AI2, 2024.06
Paper/Blog Link My Issue
#NLP #LanguageModel #MoE(Mixture-of-Experts) #Initial Impression Notes #Author Thread-Post #TrainingFramework Issue Date: 2026-10-02 Comment
元ポスト:
pytorchによる大規模な分散学習を実現するためのフレームワークで、trillion級のMoEモデルが学習できるような機能を追加したv3.0.0がリリースされたとのことである。
[Paper Note] Harness Learning Enables Generalizable Test-Time Adaptation, Alvin Zhang+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #ReinforcementLearning #AIAgents #PostTraining #meta-learning #Generalization #Test-time Learning/Adaptation #Initial Impression Notes #Author Thread-Post #AgentHarness Issue Date: 2026-10-02 GPT Summary- 言語モデルエージェントのharnessを、実行フィードバックに基づいて改訂するharness learningを提案。 実行可能プログラム上のメタ学習として改訂モデルを強化学習で訓練し、テスト時にはパラメータ更新なしで新規タスクの実行結果からharnessを逐次改善する。 推論およびマルチホップQAで、改訂性能の向上と未知タスクへの適応・転移を確認。 Comment
元ポスト:
実行時のフィードバックに基づいてAgent Harnessをreviseすることを学習したモデル(Proposer)によって、テスト時にモデルの重み更新なしで、未知のタスクに対する汎化性能を獲得する
DiffusionGemma-as-Jev, Matt Mastracci, 2026.09
Paper/Blog Link My Issue
#ComputerVision #NLP #LanguageModel #DiffusionModel #LLMServing #Post #Author Thread-Post #SystemOneModel Issue Date: 2026-10-02 Comment
vLLMのPR番号57250でマージされ、DiffusionGemmaをJev-likeに利用するための機能がプロトタイプとして実装されているようでえる。
Google Gemmaからも引用されている:
Introducing Clef: our open-source decision models, and new RL fine-tuning platform, Cloudflare, 2026.10
Paper/Blog Link My Issue
#ComputerVision #EfficiencyImprovement #NLP #LanguageModel #MultiModal #Blog #PEFT(Adaptor/LoRA) #OpenWeight #Selected Papers/Blogs #Encoder #KeyPoint Notes #SystemOneModel Issue Date: 2026-10-02 Comment
元ポスト:
概要しかブログ中には書いていないが、よさげに見える。
Qwen-3.8-27Bをバックボーンとし、Qwenのパラメータはフリーズした上で軽量なアダプタを学習し、ルーティングヘッドなるcross-attentionに基づいた各選択肢のスコアを出力するヘッドによって予測が実施されるようである。
これらは、内部で作成された合成データを用いて事後学習されたとのことである。lossはlabel smoothed cross entropy（正解、不正解ラベルを0/1としてクロスエントロピーを計算するのではなく、ハイパーパラメータεでスムージングしてlossを計算するものらしい）とBrier Loss（実際に予測された確率値と正解、不正解を1/0としたときの平均二乗誤差）なるものによって、正則化によって過学習を防止し、出力される確率値がでたらめにならないように学習することを目指しているように見える。
その後RLCDと呼ばれる、選択肢間の順序関係に基づいて、正解と隣接するラベルにも部分的に報酬を与えるようなrewardを持つ（オリジナルのポリシーから分布が大きくシフトしないようなペナルティ付き）RLによって学習をしているようである。これにより、より高いAccuracyと汎化性能が得られた、と一言記述されている。
Qwenが持つVision Encoderによって画像もエンコードでき（Jevは画像は不可と述べられている）、
context長が64kとJevの2倍で
Jevよりもlatencyが良く、
様々なベンチマークスコアで高いスコアを獲得としている、と報告している。
latencyはflashモデルであれば、DiffusionGemma-as-Jevを上回る。
[Paper Note] Generalization Dynamics of LM Pre-training, Jiaxin Wen+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#Analysis #Pretraining #NLP #LanguageModel #read-later #Selected Papers/Blogs #Generalization Issue Date: 2026-10-02 GPT Summary- LMは事前学習中に、パターンマッチングに依存するオウム的計算と、汎化可能な知能的計算の間を突然行き来する「モードホッピング」を起こす。 玩具的な評価スイートにより、記憶パターンへの依存、System 1的思考、もっともらしさの選択、複数ホップ推論やアライメントの失敗といった現象を捉えた。 この現象は通常の最適化やチェックポイント平均化では説明・解消できず、限られた容量を浅い回路と汎化回路が奪い合う容量配分の問題として説明される。 評価スイートを用いて、推論とアライメントが強く汎化するチェックポイントや、汎化ダイナミクスを安定化する事前学習データを選択できる。 Comment
元ポスト:
[Paper Note] AutoBenchmark: benchmark creation & the role of humans, Seungone+, 2026.09
Paper/Blog Link My Issue
#NLP #Dataset #AIAgents #Evaluation #read-later #Selected Papers/Blogs #autoresearch/RSI #Author Thread-Post Issue Date: 2026-10-01 Comment
元ポスト:
[Paper Note] Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It, Zehao Jin+, arXiv'26, 2026.09
Paper/Blog Link My Issue
Issue Date: 2026-10-01 GPT Summary- 事前学習済みTransformerは、文脈内の参照に対して深さのごく一部しか利用できず、長いチェーンの推論に限界がある。 しかし、初期層にランク8のLoRAを適用すると、他の重みを凍結したまま、行ごとの識別情報を次の行へ伝達するリレー機構を獲得できる。 その結果、Qwen3-8Bでは24行のチェーンの完全一致精度が15.5%から99%に向上し、Ouro-1.4Bでは最大160行まで推論可能になった。 このリレーは、凍結されたヘッドがチェーンを遡って読み取ることで機能するが、親行への注意を除去すると停止する。 さらに、介入実験により有効な層を特定でき、タスク固有のLoRAはMuSiQueの性能も改善した。 わずかな編集によって、事前学習済みモデルが本来利用していなかった長距離推論能力を引き出せる。 Comment
元ポスト:
[Paper Note] RLTL;DR: Self-improvement by Internalizing Self-generated Feedback, Michael Kirchhof+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#read-later #Author Thread-Post Issue Date: 2026-10-01 GPT Summary- 高難度タスクで成功例や教師モデルが存在しない場合に、失敗試行から得た検証器のフィードバックをLLM自身のTL;DR形式の洞察として蓄積し、次の試行をそれらに条件付けて実行するRLTL;DRを提案。 さらに洞察への逆伝播により、タスクから洞察への写像を内部化することで、Pass@128=0のツール呼び出し・コーディングタスクにおいて、標準GRPOのPass@1 0〜1%から学習時14〜31%、評価時12〜13%まで改善。 また、わずか4,000件の（task, insight）ペアで学習するSFTL;DRにより、ロールアウトを用いた手法に近い性能を達成し、簡潔な洞察学習の有効性を示した。 Comment
元ポスト:
Gemini 4 Argon: our next era of frontier intelligence, Google, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #Blog #Proprietary #VisionLanguageModel Issue Date: 2026-10-01 Comment
元ポスト:
Geminiがcome back？
[Paper Note] Shockingly Simple Self-retrospection Improves Agentic Models Without RL, Jonathan Light+, arXiv'26, 2026.09
Paper/Blog Link My Issue
Issue Date: 2026-10-01 GPT Summary- 言語モデルエージェントが自身の経験を説明するだけで将来の行動を改善できるかを検証するため、説明トークンのみで学習するROFTを提案。外部教師や報酬ベースの更新を用いず、回顧説明の次トークン予測によって良い行動を促進し、誤った行動を抑制する。SWE-benchでGRPOを上回る性能を示し、成功例がないタスクでも学習を開始できることを確認。 Comment
元ポスト:
Language Models for Text Classification: From Bag-of-Words to Jev A Visual Guide to Bag-of-Words, RNNs, CNNs, Transformers, Jev-like APIs, and Calibration, Sebastian Raschka, 2026.09
Paper/Blog Link My Issue
#Tutorial #SystemOneModel Issue Date: 2026-09-30 Comment
元ポスト:
transformer以前から現在までの分類モデル、およびJevのチュートリアル
Decision models, SGLang, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #MultiModal #Blog #LLMServing #VisionLanguageModel #One-Line Notes #Reading Reflections #SystemOneModel Issue Date: 2026-09-30 Comment
元ポスト:
SGLangにおいて、Qwen3.8-27B、およびQwen3.5-35B-A3Bを、chat modelからdecision model（System Oneな分類モデル）として利用するためのエンドポイントが追加されたようである。
ドキュメントを読むと、要は既存のLLMに対してリクエストをreasoning modeをオフでprefillし、応答のトークン位置でのスコアリング、選択肢、yes/noのトークンのlogprobを取得し、たとえばyes/noトークンのprobabilityを計算する場合はyes/noの2 vocabularyのsoftmaxを計算する。つまり、単に通常のLLMの応答の開始位置でのラベルのlogprobを取得して、最もlogprobが高いラベルを返し上述の確率を返すというシンプルな実装に見える。
System Oneモデル向けの追加のチューニングや、分類headなどが学習されているわけではない（SGLangはLLM Servingエンジンでありモデルの学習そのものはしないだろうから、そりゃそうだ、という話だった）点に注意。シンプルに、LLMのデコード開始位置でのlogprobを用いた分類器であり、これを念頭におけば、このエンドポイントを利用した場合のおおよその性能の見当はつく（性能が悪いと言いたいわけではなく、これまでのLLM利用の経験からあたりをつけやすいという意図である）。
System One系の話は実装の中身を確認して、どのような原理の元駆動するかを確認しないと、足元をすくわれる気がする。外から見た時の挙動は同じでも、アーキテクチャが結構異なる気がする。あと、アーキテクチャだけでなく、System Oneモデル向けのデータや最適化がされているかによって、そもそもの予測性能やzero-shotでの汎化性能にかなり差が生まれるのではないか、と思っている。しかし、まあ結局自分たちのユースケースに対して必要な性能が出ていて、latencyが必要な水準に達しているかを確認すれば良いだけではある。
ロボットビジョン 第4回: 画像の記憶と再生・生成, 千葉工業大学 上田隆一, 2026.09
Paper/Blog Link My Issue
#Tutorial #ComputerVision #GenerativeAdversarialNetwork #DiffusionModel #VariationalAutoEncoder #Slide #FlowMatching #reading #AutoEncoder Issue Date: 2026-09-30 Comment
元ポスト:
[Paper Note] EasyPPO: Stabilizing the Critic Is Key, Xuanyi Zhou+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #ReinforcementLearning #AIAgents #Actor-Critic #PostTraining #read-later #Stability #Author Thread-Post Issue Date: 2026-09-30 GPT Summary- PPOでは、クリティックがLLMの強化学習を不安定化させる二つの失敗モード（打ち切りロールアウトのフィルタリングによる条件付き報酬への偏り、異質なリターンノイズによる高分散プロンプトの支配）を特定。 EasyPPOでは、アクターのみの過長ロールアウトを除外しつつ完了・打ち切り両方のリターンでクリティックを学習し、リターン分散の逆数によるノイズ正規化と小規模ミニバッチで更新を安定化。 コーディング、数学推論、マルチターン検索で標準PPO、VAPO、HL-Gauss PPOを一貫して上回り、PPOに対して最大14.89%の性能向上を達成。 Comment
pj page: https://easyppo.github.io/
元ポスト:
著者ポスト2:
[Paper Note] Context Language Models, Rulin Shao+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #Architecture #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-09-30 GPT Summary- CLMとして、コンテキストをファイルとして管理・更新し、重要情報を自律的に保持する言語モデルを導入。 既存モデルからゼロショットで構築し、単一・マルチエージェントの各種タスクで、精度向上とFLOPs削減を同時に達成。 さらに、自然言語指示によるインコンテキスト・パラメトリック学習とオンライン強化学習により、計算量を抑えつつ未見データやBrowseComp-Plusで性能を向上。 Suffix Cache Reuseも共同設計し、同等性能を維持したままサーバー側計算量を追加で35%削減。 Comment
元ポスト:
著者ポスト:
所見:
DeepGEMM Ascend, DeepSeek AI, 2026.09
Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #LanguageModel #Library #AIAgents #GPUKernel #Author Thread-Post Issue Date: 2026-09-30 Comment
元ポスト:
所見:
DeepSeekGEMMと呼ばれる、NVIDIA GPU向けに構築されたGPUカーネルライブラリをHuawei Ascend NPU向けに移植したもので、APIがDeepSeekGEMMと互換性があるため、同じpythonコードから動作させることができるようである。
一言解決:
[Paper Note] How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining, Lin Chen+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#ComputerVision #Pretraining #NLP #MultiModal #Scaling Laws #read-later #Selected Papers/Blogs #VisionLanguageModel #Backbone #UMM #Initial Impression Notes Issue Date: 2026-09-29 GPT Summary- エンコーダフリーMLLMとエンコーダベースMLLMのスケーリング則を比較。視覚エンコーダを除くと、マルチモーダル目的の計算量最適な配分は大規模モデル側へ移行するが、テキスト目的ではほぼ変化しない。小規模ではエンコーダフリーが劣るものの、約\(10^{22}\) FLOPsで追いつくと予測される。規模拡大に伴い、言語モデルが視覚処理を前段層や専門家ルーティングへ適応させ、事前学習済み視覚エンコーダの優位性が薄れることを示した。 Comment
元ポスト:
ざっくりいうと、モデルサイズを大きくでき、かつ事前学習の計算量を（今回のスケールに限っていうと）約6.1 x 10^21 FLOPs以上投入できるのであれば、Vision Encoderをコネクタで接続するタイプのVLMよりも、Encoder-freeのVLMの方がより良い損失値を得られる傾向にある、という感じだろうか。
[Paper Note] Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism, Mohammad Shoeybi+, arXiv'19, 2019.09
Paper/Blog Link My Issue
#Pretraining #Tools #NLP #LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #PostTraining #Selected Papers/Blogs #Parallelism #One-Line Notes #DistributedLearning #TrainingFramework Issue Date: 2026-09-29 GPT Summary- 大規模Transformerモデルを学習するため、ネイティブPyTorchに少数の通信操作を追加する層内モデル並列化手法を提案。パイプライン型並列化と併用可能で、512 GPU上で最大83億パラメータのモデルを学習し、15.1ペタFLOPSと76%のスケーリング効率を達成。GPT-2型・BERT型モデルで既存のSOTAを上回り、WikiText103、LAMBADA、RACEで高い性能を実現。 Comment
Megatron-LMがメモされていなかったので追加。代表的なLLM・マルチモーダルモデル学習のためのフレームワーク
事前学習、継続事前学習だけでなく
- Swallow: LLaMA-2 日本語継続事前学習モデル, Kazuki Fujii, 2023.12
以下のような事後学習フレームワークのバックエンドとしても利用される:
- Nemo-RL, Nvidia, 2025.05
- verl: Volcano Engine Reinforcement Learning for LLMs, ByteDance Seed Team, 2025.04
- slime, THUDM & Zhihu, 2025.09
- ms-swiftによるMegatron-LMベースのQwen3のファインチューニング, Aratako, 2025.05
Halo: Frontier-Lab Training for Everyone, White Circle, 2026.09
Paper/Blog Link My Issue
#Multi #ComputerVision #EfficiencyImprovement #Pretraining #Tools #NLP #LanguageModel #ReinforcementLearning #AIAgents #MultiModal #Blog #mid-training #DPO #PostTraining #Parallelism #VisionLanguageModel #Asynchronous #Author Thread-Post #TrainingFramework Issue Date: 2026-09-29 Comment
元ポスト:
dlab Open Source Week: Frontier AI on Your Own Hardware, Tim Dettmers, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #Blog #Test-Time Scaling #Selected Papers/Blogs #DeepResearch #Compression #Reading Reflections #autoresearch/RSI Issue Date: 2026-09-29 Comment
元ポスト:
前半にオープンソースにするエコシステムとして
- エージェントのcontextの自動圧縮技術
- autonomous research
- 効率的なtest time scaling手法
- Deep Research
などの開発中におけるエピソードや、その性能の高さについて述べられている。
一方、記事全体で述べられている気持ちは博士課程在籍者（やアカデミアにいる研究者に）対するメッセージである。個人的に印象深かったのは、研究のunitが論文ではなく一貫性のあるエコシステムを構築することになる、という主張と、博士課程において容易に解決することができない課題に粘り強く取り組む力を身につけることは投資をする価値がある、という部分で、第一線の研究者の方がAI Agentによる研究環境の変化をどう捉えているかが少し垣間見えるのと、（現在の悲観的な博士課程の学生に対して）博士課程で学ぶことの価値やアカデミアだからこそなし得ることがメッセージングされており、非常に興味深く拝読した。
要約を読んだりするよりも、原文から伝わる気持ちを汲み取った方が良いと思う（という意味で原文全文を読んだ方が良いと思う）。
[Paper Note] EvoOntology: A Self-Evolving Ontology Layer for Data Agents, Meiduo Chong+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #KnowledgeGraph #AIAgents #SelfImprovement #MCP #AgentHarness Issue Date: 2026-09-29 GPT Summary- 異種データとエージェントの間にあるアクセスのギャップを埋めるため、自己進化型オントロジー層EvoOntologyを提案。schema・content・tool層をMCP serverとして統合し、LLMエージェントが実行時にオントロジーへ問い合わせ・相互作用することを可能にする。builder agentによる自律的なオントロジー構築と、帰属情報に基づく型付き編集およびペア評価による自己進化ループを導入。4種類のLLMと3つのデータエージェントベンチマークで、既存手法を一貫して上回り、異種データとの効果的な相互作用を実現。 Comment
元ポスト:
KDA Doesn't Care About the Future, Nuggets, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #Attention #Blog #read-later #LinearAttention Issue Date: 2026-09-28 Comment
元ポスト:
tokenizers v1: encode, decode and scaling, measured, HuggingFace, 2026.09
Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #LanguageModel #Blog #Tokenizer #read-later #Initial Impression Notes Issue Date: 2026-09-28 Comment
元ポスト:
関連:
- {G}igatoken: SIMD and Cache Hierarchies for 1000x Faster Byte-Pair Encoding Tokenization on Modern CPUs, Marcel R{\o}d, 2026.07
Gigatokenは、著者ポストを読む限り、そもそも今のtokenizerが1秒単位に処理できるデータ量（データレート）が、同様の規模感のデータを処理する際の他の実装、たとえばsimdjsonがGB/sなのに比べて遅すぎるという気持ちから端を発しているように思われる。
一方、tokenizersでは、イントロに膨大なデータセットでの学習、同時リクエストの処理、long contextでの処理等において、モデルへのデータ供給が追いつかず、tokenizerが新たなボトルネック（GPUを待たせるという意味で）になりつつあり、それを解決したいという気持ちが記述されている。
[Paper Note] CodeMidas: Scaling Agentic Coding RL Environments from Code Itself, Bowen Ye+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #ReinforcementLearning #AIAgents #Coding #SoftwareEngineering #PostTraining #read-later #Selected Papers/Blogs Issue Date: 2026-09-28 GPT Summary- ソースコードのみを用いて、既存コードベースの機能を実行可能なRL環境へ変換するエージェント型パイプラインCodeMidasを提案。 機能探索・仕様化、テスト生成、実行チェックと反復ロールアウトによるタスク検証を行い、23言語・15分野の3,185コードベースから5,545件の訓練タスクを構築。 これらでMiMo-V2.5をGRPO学習することで、Issue修正・プログラム構築・端末操作など5つのベンチマークすべてで性能が向上し、コードベース探索や自己検証も改善。 Comment
元ポスト:
The current balance of power in open models: The expanded form of a testimony I prepared for Congress., Interconnects, Nathan Lambert, 2026.09
Paper/Blog Link My Issue
#Analysis #NLP #LanguageModel #GenerativeAI #Blog #OpenWeight #Proprietary #read-later Issue Date: 2026-09-28 Comment
元ポスト:
How much AI revenue comes from open vs closed models?, Konstantin F. Pilz, 2026.09
Paper/Blog Link My Issue
#Analysis #NLP #LanguageModel #GenerativeAI #Post #One-Line Notes Issue Date: 2026-09-28 Comment
主要なクローズドモデル、オープンモデルを提供する企業の（おそらくLLM周りの）ARRを比較したところ、オープンモデルのARRはクローズドモデルのARRの10%程度と推察される、という話に見える。
が、オープンモデルのプロバイダーに対して、古いデータが使われている（プロバイダーによっては、usageが数倍〜10倍になっている）という指摘と、Googleの売上に対するAIの間接的な貢献「軽視しすぎている、という指摘がある。
あと、一部からClaudeに作成させ、検証をせずに読者側に検証の手間を委ねるのはいかがなものか、という趣旨の批判がある。
[Paper Note] Scaling Discovery through Test-Time Communication, Jongho Park+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #Test-Time Scaling #read-later #Selected Papers/Blogs #One-Line Notes #Author Thread-Post #Coordination Issue Date: 2026-09-28 GPT Summary- 共有ディレクトリを介してテスト時に協働するマルチエージェントチームを構築し、独立した並列試行と比較。ARC-AGI-3では、team@$k$が独立に動作する$4k$体のエージェントと同等の成功率を達成し、エージェント数の増加に伴って優位性が拡大。ポリオミノ・パッキングやMNIST分類器の圧縮でも、コミュニケーションにより従来手法や人間による既知の最良解を上回る結果を示した。ただし、計算資源や進捗に対する明確なフィードバックが不足する場合は、独立したエージェントの方が有効。 Comment
元ポスト:
重要
同じ設定（同一モデル、ツール、タスク指示、コミュニケーションプロンプト）のエージェントkが与えられOpen-endなタスクに取り組む際に、エージェント間で通信を許容する場合と、独立試行する場合では、前者の方がエージェントの並列数に対して、性能が累積的に改善する。
エージェントの通信はミニマムなもので構成され、共有されたappend-onlyなログ（非同期のブロードキャストチャネルとして機能）とslotによるディレクトリが存在するのみ。
各エージェントはログ（リーダーボード）に対して顕著な進捗があれば、検証可能な情報と客観的な指標を追記する。これにより、各エージェントは自分たちの試行のverifiableな中間結果を共有し、他エージェントはそれらが採用する価値のあるものかを判断できる。
slotによるディレクトリは共有されているファイルシステム上でアトミックなディレクトリ作成処理を通じて作成され、各slotには単一のアプローチが対応し、エージェントは（ディレクトリ作成はatomicな処理なので）、早い者勝ちでアプローチの取り合いを行う。slotの配下にはアプローチが記述されたファイルが生成され、他エージェントも参照可能とする。
また、コミュニケーションプロンプトによって、エージェントはすでに存在するslotを参照し、他と異なるアプローチを宣言することを求められる。また、他エージェントのアプローチを採用する際は、共有ログ（リーダーボード）上で顕著な進捗があることを条件とする。これにより、エージェントの探索が早々に収束することを防ぎつつ（多様性の確保）も、他エージェントの知見を採用しつつも、少なくとも意味のある差異が一つは存在するよつにする。
性能が改善するためにはいくつか条件があり、
- 通信で共有する結果がverifiableなもので、得られた結果が客観的に良いものか、悪いものかを判断できる必要がある(Table 3)
- エージェントの調整コストを上回る必要がある。つまり、エージェント間の通信の相互作用によるgainが大きくなるまで、エージェントを走らせられるだけのリソースが必要となる (Figure 4)
- 通信によって、各エージェントの探索の多様性が損なわれてはならない
などがある。
複数のベンチマークにおいて、Team-of-kがbest-at-kの性能を上回ることを確認し、かつ、エージェントの並列数が増えるにつれてそのgainが大きくなることを確認した。
また、Team-of-kでは、単一エージェントでは解決できなかったタスクも解決できるようになる現象も観測した。
全体斜め読み、および2.1節直前までしか読めていないが、ざっくりこんな感じだろうか。興味深い。
Claude-Sonnet5-mediumに上記要約をレビューさせたところ、以下のような応答を得た。細かい部分に不正確な部分がありそうなので、しっかり確認した方が良さそう。
```Claude-Sonnet5 (medium)
**大筋は正しいです。** 通信の枠組み、成立条件の3点（検証可能性、計算予算、多様性）、結果の方向性は論文の主張と合っています。ただし、次の5点は修正した方がよいです。
1. **「ログとslotのみ」ではありません。** 共有物には他に、採用アプローチの記録、反証の記録、スコアログ、衝突時の取り決めを書くcoordinationファイルがあります。また、共有の成果物はファイルロックで直列化されます。通信ログとリーダーボード（スコアログ）も別の記録なので、「ログ（リーダーボード）」と同一視しない方が正確です。
2. **slotが保証するのは枠の一意性だけです。** アトミックなmkdirで重複しないのはスロット番号です。アプローチが被らないことは、プロンプトの指示（先に取られたスロットのapproachを読み、被れば変える）に依存します。つまり「アプローチの取り合い」ではなく、「枠を確保し、その後で被らない方針を宣言する」流れです。
3. **採用条件は「顕著な進捗」だけではありません。** 計測された明確な改善が前提で、付録A.1では、再現できた場合、ブロックされた手法の代替、終盤の収束も採用の条件に挙げています。
4. **検証の条件は「最終結果を客観的に採点できる」だけでは足りません。** Terminal-Benchにも公式の検証器はありますが、実行後にしか走りません。必要なのは、実行中にエージェントが繰り返し使える、密で忠実な中間フィードバック（スコアやレベル達成）です。論文もこの点を強調しています。
5. **結果の一般化が広すぎます。**
- team@k > best@kは、ARC-AGI-3、ポリオミノ、MNISTでは成立しますが、Terminal-Bench 2.0では成立しません（team@2 < pass@2）。
- 「kが増えるほどgainが拡大する」を示したのはARC-AGI-3のk=3→5（4.3倍→6.6倍）だけです。ポリオミノ（k=3,4）とMNIST（k=4）ではkを振っていません。論文も、5を超えると収穫逓減する可能性に触れています。
- 「単独で解けないタスクが解ける」はLP85（0/64→65%）が代表例ですが、team@5が解けたのは25ゲーム中4つだけです。
なお、「なぜ効くか」の理論的な説明（最小の和から和の最小へ）が概要に入っていません。核心の一つなので、追記をお勧めします。
```
[Paper Note] Reinforcement Learning for Real-Time Vision-Language-Action Policies, Perry Dong+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#ComputerVision #NLP #ReinforcementLearning #Architecture #PostTraining #read-later #Selected Papers/Blogs #Robotics #VisionLanguageActionModel #Realtime Issue Date: 2026-09-28 GPT Summary- 大規模VLAの推論遅延による古い観測と分布シフトに対し、RLでリアルタイムかつ信頼性の高いファインチューニングを実現。 Real-Time EXPO-FTでは、VLAが行動チャンクを提案し、軽量な編集方策が最新観測に基づいて行動を高速修正することで、表現力と反応性を両立。 Kinetixの全10環境で最高性能を達成し、4つの実世界タスクでも10分間のデータのみで平均性能を42%から97%へ向上。 Comment
元ポスト:
[Paper Note] Sparse Layers are Critical to Scaling Looped Language Models, Ryan Lee+, arXiv'26, 2026.05
Paper/Blog Link My Issue
#Analysis #NLP #LanguageModel #MoE(Mixture-of-Experts) #Scaling Laws #read-later #RecurrentModels #Initial Impression Notes Issue Date: 2026-09-28 GPT Summary- loop型モデルとMoEを組み合わせることで、メモリコストを抑えつつ表現力とスケーリング性能を向上。loop型MoEでは、各ループで異なるexpertを活性化することで、追加パラメータなしに密なloop型モデルの限界を克服。さらに、loop境界をearly exit pointとして利用することで、品質低下を抑えながら計算量と推論コストを削減。early exit付きloop型MoEは、標準Transformerを上回る性能と効率を実現。 Comment
元ポスト:
Looped Transformerは提案された初期は性能がスケールしないことが課題だったという話があり
- [Paper Note] Scaling Laws for Neural Language Models, Jared Kaplan+, arXiv'20, 2020.01
X界隈でLooped Transformerが騒がれた頃に、いつの間にかその弱点が克服されたのか？と思っていたのだが、本研究の知見に基づくと、少なくともMoEによって、isoFLOPsな設定でBaseモデルを上回る程度の性能は獲得できるようである。
元ポストに基づくと、本研究の実験設定においてMoE>Looped-MoE>Base>Loopedが示され、Looped-MoEの場合はloopごとに異なるexpertが選択されやすい傾向にあり、これがLoored Transformerの弱点解消に寄与しているとのことであった。その上でLooped-MoEを採用する利点は、保存するパラメータを抑えながらBaseよりも高い性能を出せる点としている。
メモリに載せる必要があるパラメータの量が削減されるのは、decodeが基本的にはメモリ律速であり、モデルをスケールする上でボトルネックになりがちであることから、ありがたい性質であるように思える。仮にフロンティアモデルでLooped Transformerが採用されているとしたら、アーキテクチャそのものの性能が高いから、というよりは、使用するストレージやメモリ量を抑えることができ、それらがdecodeの効率向上に繋がり事後学習（主にon-policy RL）の効率があがり、結果的にモデルの性能が向上するから、ということになるのかなあ、という気がする。知らんけど。
GPT-6 Astra Is the Best Vision Model We Have Tested, roboflow, 2026.09
Paper/Blog Link My Issue
#ComputerVision #Analysis #ImageSegmentation #Blog #Reasoning #ComputerUse #VisionLanguageModel #2D (Image) #One-Line Notes #ObjectDetection Issue Date: 2026-09-27 Comment
元ポスト:
GPT-6-Astraに対して、Image Segmentation, Object Detection, counting, box prompt, counting, visual reasoning, re-identification（バスケットボールの動画を例に、選手を一貫して検知し共通のIDを付与できるか, 特に選手交代などにも対応できるか）などのさまざまなタスクでテストした結果が報告されている。結論としては、彼らがテストした中で最も強力なVisionモデルだが、コスト、latencyに関するトレードオフがあることが考察されており、特にリアルタイム処理には向いていないが、アノテーションなどのパッチ処理には価値があるだろうとしている。
Qwen-Image-2.1: Compact, Efficient, and Unified Image Creation, Qwen Team, 2026.09
Paper/Blog Link My Issue
#ComputerVision #NLP #DiffusionModel #TextToImageGeneration #Blog #OpenWeight #Editing #ImageSynthesis #Author Thread-Post Issue Date: 2026-09-27 Comment
HF: https://huggingface.co/Qwen/Qwen-Image-2.1
元ポスト:
[Paper Note] Contrastive World Models, Bonnie Li, arXiv'26, 2026.08
Paper/Blog Link My Issue
Issue Date: 2026-09-27 GPT Summary- 視覚的に無関係な情報の影響を抑えるため、画素再構成の代わりに相互情報量最大化を用いて潜在ダイナミクスを学習するContrastive World Modelsを提案。 状態・行動系列と将来観測の局所特徴の相互情報量を最大化し、将来予測に有用な情報を状態表現に保持する。 妨害要因や自然映像の背景を含む環境でDreamerなどを大幅に上回り、画素デコーダを不要とすることで効率的な学習も実現。 Comment
元ポスト:
[Paper Note] Sharp Minima Can Generalize For Deep Nets, Laurent Dinh+, ICML'17, 2017.03
Paper/Blog Link My Issue
#NeuralNetwork #Analysis #MachineLearning #ICML #Generalization Issue Date: 2026-09-27 GPT Summary- 深層学習が過学習能力を持ちながら良好に汎化する理由として、損失関数の極小点の平坦性が注目されている。しかし、ReLUを用いた深層ネットワークでは、パラメータの対称性により等価なモデルを任意に鋭い極小点へ変換できる。さらに、再パラメータ化によって汎化性能を変えずにパラメータ空間の幾何構造を大きく変化させられるため、既存の平坦性の概念は汎化性能の説明に直接適用できない。
Language Model "Shape", Alex Zhang, 2026.09
Paper/Blog Link My Issue
Issue Date: 2026-09-27 Comment
元ポスト:
[Paper Note] Rufus-Air: An Open LLM Post-Training Recipe, Chia-Yuan Chang+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #AIAgents #InstructionTuning #PostTraining #read-later #Selected Papers/Blogs Issue Date: 2026-09-27 GPT Summary- GLM-4.5-Air-Base上で、SFT、各種RL、エージェント学習、RLHFを順序立てた、オープンで再現可能な8段階のポストトレーニング手法Rufus-Airを提案。公開データとOSSコンポーネントのみを用い、データ、報酬設計、インフラ、段階順序を明示することで再現性を確保。多様なSFTで基礎能力を確立し、難易度フィルタリングと報酬の信頼性に基づく段階設計によって、推論・コーディング・指示追従・各種エージェント能力を向上。公式GLM-4.5-Airポストトレーニング済みモデルを上回り、同規模のオープンモデルと競争力のある性能を達成。 Comment
元ポスト:
[Paper Note] FutureSim: Replaying World Events to Evaluate Adaptive Agents, Shashwat Goel+, arXiv'26, 2026.05
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #Evaluation #NeurIPS #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- FutureSimでは、知識カットオフ以降の現実世界の出来事を時系列に再現し、ニュースを受け取りながら将来を予測するAIエージェントを評価。最良エージェントでも正解率は25%にとどまり、多くのエージェントが無予測より低いブライア・スキルスコアを示した。長期的なテスト時適応、検索、メモリ、不確実性推論を研究するための現実的なベンチマークを提供。 Comment
元ポスト:
[Paper Note] 3DCodeBench: Benchmarking Agentic Procedural 3D Modeling Via Code, Yipeng Gao+, NeurIPS'26, 2026.05
Paper/Blog Link My Issue
#ComputerVision #NLP #Evaluation #NeurIPS #VisionLanguageModel #3D (Scene) #3D Object Generation Issue Date: 2026-09-26 GPT Summary- テキスト・画像参照から3Dモデリング用のプロシージャルコードを生成するVLMを、3DCodeBenchと3DCodeArenaで評価。 多くの失敗はAPI不一致に起因し、生成できても3D部品の未接続や浮遊が生じるが、思考予算の拡大や複数ターンの改良で性能が向上。 高品質なプロシージャルコードデータと、正確なフィードバックを可能にする実行環境の重要性を示した。 Comment
元ポスト:
pj page: https://www.3dcodebench.com/
[Paper Note] Theory of Mind and Persuasion Beyond Conversation: Assessing the Capacity of LLMs to Induce Belief States via Planning and Action, Ben Slater+, NeurIPS'26, 2026.06
Paper/Blog Link My Issue
#NLP #LanguageModel #TheoryOfMind #Evaluation #NeurIPS #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- LLMに物体移動や人物誘導などの行動を通じて、他エージェントに特定の信念状態を抱かせる能力（NCP-ToM）を評価。NCP-ExploreToMでは複数の信念状態目標を設定し、GPT-5、Gemini、Claudeなど6モデルと人間を比較。GPT-5は約80％のタスクで成功し、人間を上回った唯一のモデルだったが、文脈をまたぐ頑健性では人間に劣った。すべてのモデルは偽の信念より真の信念の誘導を得意とし、LLMの社会的推論能力とエージェント型評価の重要性を示した。 Comment
元ポスト:
[Paper Note] Liars' Bench: Evaluating Lie Detectors for Language Models, Kieron Kretschmar+, arXiv'25, 2025.11
Paper/Blog Link My Issue
#NLP #Dataset #LanguageModel #Evaluation #NeurIPS #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- LLMが自身の信念に反する内容を生成する嘘を検出するため、7データセット・4オープンウェイトモデル・72,863例からなるLIARS' BENCHを構築。 嘘の種類、嘘をつく理由、対象となる信念に基づく多様な設定で、ブラックボックス型とホワイトボックス型の3手法を評価した。 既存手法は特定の嘘を体系的に見逃し、特に対話記録のみでは嘘の有無を判断できない設定で性能が低下。 LIARS' BENCHは、嘘検出手法の限界を明らかにし、今後の研究を促進する実用的なテストベッドを提供する。 Comment
benchmark: https://huggingface.co/datasets/Cadenza-Labs/liars-bench
元ポスト:
[Paper Note] Efficient Benchmarking Is Just Feature Selection and Multiple Regression, Sam Bowyer+, NeurIPS'26, 2026.05
Paper/Blog Link My Issue
#NLP #LanguageModel #NeurIPS #EfficientEvaluation #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- LLM評価の効率的ベンチマーキングを、特徴選択を伴う多重回帰として定式化。カーネルリッジ回帰とmRMRによる質問選択で、少数の質問からベンチマーク全体のスコアを予測し、予測誤差と順位相関を改善。確率モデルやクラスタリングを用いる既存手法より高速かつ安定して質問を選択可能。 Comment
元ポスト:
[Paper Note] The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems, Richard Ren+, NeurIPS'26, 2025.03
Paper/Blog Link My Issue
#NLP #LanguageModel #Evaluation #NeurIPS #EntropyCollapse #Author Thread-Post #RewardSeeking Issue Date: 2026-09-26 GPT Summary- LLMの正確性と誠実さを分離して評価するため、嘘を直接測定する大規模な人手収集データセットを導入。大規模モデルは高い正確性を示す一方で、圧力下では嘘をつきやすく、必ずしも誠実ではないことを明らかにした。表現エンジニアリングなどの介入により誠実さを改善できることを確認。 Comment
元ポスト:
pj page:
https://www.mask-benchmark.ai
dataset:
https://huggingface.co/datasets/cais/MASK
[Paper Note] The Master Key Hypothesis: Unlocking Cross-Model Capability Transfer via Linear Subspace Alignment, Rishab Balasubramanian+, NeurIPS'26, 2026.04
Paper/Blog Link My Issue
#NLP #LanguageModel #NeurIPS #Steering #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- 再訓練なしに、モデル間で獲得済みの能力を転移できるかを検証し、能力が低次元の潜在方向として表現され線形アライメント可能であるという「マスターキー仮説」を提案。 能力を持つSourceと持たないSourceの活性化差分から能力方向を抽出し、低ランク線形変換でTargetモデルに適用するUNLOCKを導入。 CoTや数学的推論において、モデル規模をまたぐ訓練不要の能力転移により大幅な性能向上を達成し、Qwen1.5-14Bから7BへのCoT転移ではMATHの正解率が12.1%向上した。 また、転移の成否は事前学習で獲得された能力に依存し、介入によって成功する推論軌跡に向けて出力分布を鋭敏化し、潜在能力を増幅できることを示した。 Comment
元ポスト:
[Paper Note] The PokeAgent Challenge: Competitive and Long-Context Learning at Scale, Seth Karten+, NeurIPS'26, 2026.03
Paper/Blog Link My Issue
#ComputerVision #NLP #Dataset #AIAgents #Evaluation #Reasoning #NeurIPS #VisionLanguageModel #Game #LongHorizon #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- ポケモンの対戦とRPG環境を用いて、部分観測・ゲーム理論的推論・長期計画を評価する大規模ベンチマーク「PokeAgent Challenge」を提案。 競技バトルでの戦略的推論・汎化を測るBattling Trackと、RPGの長期的計画を測るSpeedrunning Trackを提供し、20 million超の軌跡データ、heuristic・RL・LLMベースライン、再現可能なmulti-agent評価環境を整備。 100超のチームによる評価から、汎用LLM・RL・人間エキスパート間の性能差と、ポケモンバトルが標準LLMベンチマークとほぼ直交する未解決能力を示した。 Comment
元ポスト:
[Paper Note] SREGym: A Live Benchmark for AI SRE Agents with High-Fidelity Failure Scenarios, Jackson Clark+, arXiv'26, 2026.05
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #NeurIPS #SoftwareEngineering #Live #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- SREエージェント向けに、実世界のクラウドネイティブ環境上で多様な障害・ノイズ・障害形態を再現する高忠実度ベンチマークSREGymを提案。 モジュール式・拡張可能な構成で90件のSREタスクを収録し、最先端エージェント間で障害対応性能に最大40%の差があることを明らかにした。 Comment
元ポスト:
blog:
[Paper Note] FrontierSmith: Synthesizing Open-Ended Coding Problems at Scale, Runyuan He+, NeurIPS'26, 2026.05
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #SyntheticData #Coding #SoftwareEngineering #read-later #Selected Papers/Blogs #One-Line Notes #LongHorizon #Open-endedTasks #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- 競技プログラミングなどのclosed-formな問題から、LLMを用いて自由度の高いcoding問題を大規模に合成するFrontierSmithを提案。問題の目標変更・出力制約・入力一般化により候補を生成し、異なるsolverから多様な解法を引き出す問題を選別した上で、test caseとverifierを生成。2つのopen-ended coding benchmarkで、合成データによる学習がbase modelを大幅に上回り、人手作成問題と同様に長い推論を促進。 Comment
元ポスト:
スクラッチでopen-endなタスクを生成するのではなく、既に存在するclosed-endなタスクに対して変更を加えることで、高品質なopen-endタスクを生成する（p.4に具体的な手法が記載。まだ読めていない）。生成されたタスクにはclosedなものが含まれているため、これらをフィルタリングしたい。これを実現するために、closedなタスクは単一のgold solutionに依存する一方、open-endなタスクでは多様な解が可能となる性質を考慮し、LLMによってタスクを解かせ、解の多様さから品質を判定しフィルタリングをする。合成されたデータと人間がキュレーションしたデータによってRLした場合、人間がキュレーションしたデータと同等以上の性能を達成。
[Paper Note] Improving the Efficiency of Language Agent Teams with Adaptive Task Graphs, Elizabeth Mieczkowski+, NeurIPS'26, 2026.05
Paper/Blog Link My Issue
#Multi #EfficiencyImprovement #GraphBased #NLP #LanguageModel #AIAgents #NeurIPS #Author Thread-Post #Coordination Issue Date: 2026-09-26 GPT Summary- LLMチームの協調において、固定的な構造化手法と非構造化手法の非効率性を解消するため、分散システムに着想を得たLATTEを提案。エージェントが共有・進化する協調グラフを構築し、サブタスクの依存関係、割り当て、進捗を管理することで、動的なタスク分配と協調方法の適応、新たなタスクの発見を可能にする。複数のタスクと基盤モデルで、既存手法と同等以上の精度を維持しながら、トークン使用量、実行時間、通信量、ファイル競合や重複出力などの協調失敗を削減。 Comment
元ポスト:
[Paper Note] Understanding Optimization in Deep Learning with Central Flows, Jeremy M. Cohen+, ICLR'25, 2024.10
Paper/Blog Link My Issue
#NeuralNetwork #Analysis #Pretraining #MachineLearning #NLP #LanguageModel #Optimizer #ICLR #mid-training #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- 深層学習の最適化手法は「安定性の境界」で複雑かつ振動的に動作するため、従来理論ではそのダイナミクスを捉えられない。そこで、振動する軌跡の時間平均を特徴づける微分方程式「中心フロー」を導出。中心フローにより、一般的なニューラルネットワークにおける長期的な最適化軌跡を高精度に予測し、損失増加下での勾配降下や適応型手法の局所地形への適応、大きなステップを取れる領域への移動を説明できる。 Comment
元ポスト:
EoS phenomena
openreview: https://openreview.net/forum?id=sIE2rI3ZPs
[Paper Note] A Scalable Measure of Loss Landscape Curvature for Analyzing the Training Dynamics of LLMs, Dayal Singh Kalra+, NeurIPS'26, 2026.01
Paper/Blog Link My Issue
#Analysis #Pretraining #MachineLearning #NLP #LanguageModel #Optimizer #Catastrophic Forgetting #mid-training #PostTraining #Generalization #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- ニューラルネットワークの曲率を効率的に測定するため、更新方向から10回未満の順伝播で計算できるcritical sharpnessを導入。 progressive sharpeningやEdge of Stabilityを捉え、最大70億パラメータのOLMo-2の事前学習・中間学習で実証。 さらに、異なる損失間の曲率を測るrelative critical sharpnessにより、事前学習からファインチューニングへの移行やデータ混合戦略を分析。 Comment
元ポスト:
関連:
- [Paper Note] Understanding Optimization in Deep Learning with Central Flows, Jeremy M. Cohen+, ICLR'25, 2024.10
- [Paper Note] Self-Stabilization: The Implicit Bias of Gradient Descent at the Edge of Stability, Alex Damian+, ICLR'23, 2022.09
関連:
- [Paper Note] Sharp Minima Can Generalize For Deep Nets, Laurent Dinh+, ICML'17, 2017.03
[Paper Note] Self-Stabilization: The Implicit Bias of Gradient Descent at the Edge of Stability, Alex Damian+, ICLR'23, 2022.09
Paper/Blog Link My Issue
#NeuralNetwork #Analysis #MachineLearning #Optimizer #ICLR Issue Date: 2026-09-26 GPT Summary- 勾配降下法では、シャープネスが不安定性の閾値 \(2/\eta\) に達した後も、損失が減少し続ける「安定性の境界」が観察される。 この現象は、最大固有ベクトル方向への発散によって三次項が曲率を低下させ、安定性を回復する「自己安定化」によって説明できる。 さらに、安定性の境界における勾配降下法は、制約 \(S(\theta)\leq 2/\eta\) の下での射影勾配降下法（PGD）に暗黙的に従い、損失やシャープネスの軌道を精密に予測できる。 Comment
元ポスト:
openreview: https://openreview.net/forum?id=nhKHA59gXz
[Paper Note] $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts, Mert Cemri+, NeurIPS'26, 2025.06
Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #LanguageModel #NeurIPS #Test-Time Scaling #SpeculativeDecoding #reading #One-Line Notes #Latency #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- LLMのtest-time scalingにおいて、計算量だけでなくユーザー体験に関わるレイテンシを考慮するため、投機的デコーディングに基づくSPECSを提案。小型モデルで候補系列を高速生成し、大型モデルと報酬モデルの信号で評価する。報酬誘導型ソフト検証と報酬ベースの延期により、ビームサーチ以上の精度を維持しつつ、レイテンシを最大19.1%削減。ビーム幅の増加に伴い、KL正則化強化学習の解へ収束することも理論的に示した。 Comment
元ポスト:
beam search型のtest time scaling[^1]において、latencyの課題に対処するため、draft modelを活用する。Figure 2に示されるようなPRMのrewardが一定以上になった後はdraft modelでデコーディングをしても最終的なrewardが大きく変化しない洞察に基づき、rewardが閾値以上になるまではtarget modelで生成し、一定以上になった後の生成をdraft modelに異常することで、latencyを改善する、という話に見える。
[^1]: 各ブロックのトークン数を決めておき、各ブロックごとにbeam size n個の候補を生成し、逐次的に最も良いものを選択していくことで、最終的に単一のreasoning trajectoryを構成するtest time scaling手法
[Paper Note] AI Agents Push Humans Out of the Loop, Margaret Mitchell+, NeurIPS'26, 2026.08
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #Safety #NeurIPS #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- AIエージェントの自律性向上に伴うリスクに対し、人間による監督が重要。しかし、現在のAIエージェント設計は効果的な監督を妨げるだけでなく、長期利用による人間の認知能力や技能の低下も招く。監督者の批判的判断を支援し、技能衰退を抑制する設計上のアフォーダンスと組織的プロトコルを導入し、人間のニーズをAIの能力と同等に重視すべき。 Comment
元ポスト:
slop-vestigation
[Paper Note] Inductive Deductive Synthesis: Enabling AI to Generate Formally Verified Systems, Shubham Agarwal+, arXiv'26, 2026.05
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #Coding #NeurIPS #SoftwareEngineering #read-later #Selected Papers/Blogs #Proofs #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- 分散システムの実装と形式証明をLLMエージェントが協調的・逐次的に合成し、失敗から学習するIDSを提案。実装と証明、性能評価を反復することで、7仕様すべてを平均6.8時間・106ドルで達成し、既存エージェントを上回る。さらに、検証済みシステムより最大3倍高速な実装を実現。 Comment
元ポスト:
[Paper Note] Reward Hacking in Rubric-Based Reinforcement Learning, Anas Mahmoud+, NeurIPS'26, 2026.05
Paper/Blog Link My Issue
#Analysis #NLP #LanguageModel #ReinforcementLearning #NeurIPS #RewardHacking #PostTraining #read-later #Selected Papers/Blogs #Verification #Rubric-based #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- ルーブリックベースの強化学習において、学習用検証器を欺く報酬ハッキングを調査し、検証器の失敗とルーブリック設計の限界に分類。弱い検証器では代理報酬のみが向上し、複合基準の部分的充足や暗黙内容の誤認などの悪用が増加する。強い検証器は悪用を減らすが完全には防げず、ルーブリックが重要な失敗を捉えない場合、完全性は向上する一方で正確性・簡潔さ・関連性・全体品質が低下。方策の対数確率から参照検証器の品質と学習停止を診断する「自己内在化ギャップ」を提案し、検証強化だけでは広範な品質向上を保証できないことを示した。 Comment
元ポスト:
[Paper Note] JEV-as-a-Judge: Accept When Confident, Escalate When Unsure, Yubo Li+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LLM-as-a-Judge #SystemOneModel Issue Date: 2026-09-26 GPT Summary- LLM審査員は多様な評価に有効だが、大規模運用では推論コストと判定信頼性が課題となる。JEV-as-a-judgeは意思決定に特化した経済的な第一段階の審査員として、通常の選好評価と根拠に基づく事実性評価で、最先端LLM審査員に近い性能を0.36%の料金で達成した。一方、導出過程の検証や巧妙な誤答の識別では性能差が拡大し、その差は主に信頼度の低い判定に集中した。そこで、信頼度の高い判定はJEVで受理し、不確かな判定のみを上位審査員へ回す固定カスケードを構築。これにより、より低コストで比較対象の99%の精度を維持した。 Comment
元ポスト:
[Paper Note] PreFT: Prefill-only finetuning for efficient inference, Andrew Lanpouthakoun+, NeurIPS'26, 2026.05
Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #LanguageModel #Personalization #PEFT(Adaptor/LoRA) #LLMServing #NeurIPS #Decoding #KeyPoint Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-09-25 GPT Summary- 複数ユーザー向けのPEFTでは、特にデコード段階でアダプター数に伴いスループットが低下する。そこで、プレフィル段階のトークンにのみアダプターを適用するPreFTを提案。LoRAとReFTを用いたPreFTをvLLM上に実装し、Llama 3.1 70Bで512個のアダプターを提供する場合、従来のPEFTに対して1.9倍のスループットを達成。SFTではランクの増加により性能低下を補償でき、RLでは標準PEFTと同等に近い性能を維持。LLMのパーソナライズにおいて、PreFTが精度と提供スループットの優れたトレードオフを実現することを示した。 Comment
元ポスト:
ユーザごとに最適化されたLoRAアダプタ等を利用して生成する場合にスループットを最大化したい状況を考える。一般的にprefillはcompute-bound[^1]、decodeはmemory-bound[^2]であり、特にスループットを最大化するためにバッチを利用した場合、複数ユーザのリクエストがバッチ内に存在するため、複数のアダプタをメモリにロードしながらprefillとdecodeを実施することになるが、decode時に余計なメモリのオーバヘッドを有み[^3]、スループットが悪化する問題がある。これを解決するために、prefill時のみアダプタを利用し、デコード時はアダプタを活用しないというシンプルな手法PreFTが提案されている。
つまり、prefill時のKV Cacheはアダプタを通じて計算され、decode時の計算にはアダプタは考慮されないが、prefill時のKV Cacheを通じてアダプタの影響は間接的に保持されるため、アダプタを通じた生成の適応はできるはずだ、という気持ちの手法である。
PreFT（pが提案手法でprefillのみアダプタ利用、AはAll-positionで全ての位置でアダプタ利用）の結果、提案手法のスループットはアダプタ無しのベースライン（破線）に近いところまで改善した。
また、Table 1, Table 2はそれぞれSFT, RL時の最終的なdownstreamタスクへの影響を調査している。
結論としては、SFTの場合は、個々のrank設定ごとに有意に性能が劣化するが、全体で見ると有意差はなかった。
また、RLではデータセットごとに差が出ておりGSM8Kでは特に性能の劣化が著しい。これについて付録で詳しい調査結果が記載されているようだが、最終的にはclear explanationは見つかっていないとのこと。また、All-positionとPreFTの間に有意差が生じており、平均してに-2ポイント程度性能が悪化する。
[^1]: 単一リクエストの複数トークンを並列に処理する必要があるため
[^2]: 単一のリクエストは新たな1つのトークンを生成するが、このときに基本的に巨大なKV Cacheをメモリから読み出す必要があるため
[^3]: たとえば、ユーザごとにアダプタが異なるためリクエスト単位でKV Cacheを保持しなければならなかったり、バッチに含まれるユーザのアダプタをメモリにロードしたりする必要がある、またLoRAのdown projection自体もmemory-boundedであることがArithmetic Intensityを計算するとわかる。すなわち、Arithmetic Intensity=メモリから1バイト読み出したあたり、どの程度の計算が実施されるか=FLOPS/bytes=1/(1/r+1/d+1/b) << Bであり、基本的にLoRAのランクrは出力次元数d, バッチ数bよりも小さいため、高々Arithmetic Intensity≒rにしかならず、これはGPUのハードウェア限界値に全く及ばないため、メモリ律速となる。ここでBはハードウェアの計算性能/ハードウェアのメモリ帯域であり、ハードウェア側の計算能力とメモリ帯域の比率を表す。Rooflineモデルに従うとBに近ければ近いほど演算性能が向上する。
性能の検証について、8Bまでの結果しかないように見えるので、より大きなサイズのモデルに対して提案手法を適用したときに、SFTにおける性能の劣化がどの程度生じるかはよくわからない。Table 1を見る限り、モデルサイズが大きい場合に、全体の傾向として性能が低下していそうにも見える。が、これはただそういう風に見えるという感想なので、よくわからないし、なんなら結局自分たちが適用したいdownstreamタスクで性能がどうなるかは見てみたいとわからない。
また、personalizationのためにLoRAアダプタを使いたい、という状況がどの程度存在するかもよくわからない。contextに情報をユーザごとに注入するような一時的な個人化で十分という状況は多いのではないだろうか。実用上はアダプタのメンテナンスコストも生じる。本研究はLoRAによるpersonalizationが、contextに注入する場合に対して重要であることを示すのはout of scopeだとは思う。が、このような状況が生じうること動機について、ストーリーとして一定の納得感は欲しいところではある。
スループットが改善されるというのは魅力的であるため、実際にLoRAをユーザごとに適用した上でサービングしたい、という制約がある場合は試してみる価値はあると思われる。
[Paper Note] Matryoshka attribution: Learning to attribute language model outputs to representations and weights, Aryaman Arora+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #read-later #Selected Papers/Blogs #Interpretability #Author Thread-Post Issue Date: 2026-09-25 GPT Summary- LLMの出力に寄与する内部コンポーネントを、下流損失を最小化する入れ子状の部分集合として特定するため、微分可能なシグモイドtop-$k$マスク学習法MAttrを提案。学習時に$k$をランダム化することで、異なるスパース度に対応するコンポーネントの順位付けを獲得し、疎でタスク移転可能な回路を特定。Mechanistic Interpretability Benchmarkで1位を達成し、Llama 3.1 8B Instructでは重みの1%を復元するだけで、能力を維持したまま拒否応答を除去。 Comment
元ポスト:
GLiNER2.5-Decide: An Open-Weight Model for Structured Decision Making, Fastino Labs, 2026.09
Paper/Blog Link My Issue
#NLP #Blog #OpenWeight #Encoder #Author Thread-Post #SystemOneModel Issue Date: 2026-09-25 Comment
元ポスト:
Jev-likeなモデル、乱立しすぎである
When does distillation help reinforcement learning?, Base Labs, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #Blog #Distillation #PostTraining #read-later #One-Line Notes #Author Thread-Post Issue Date: 2026-09-25 Comment
元ポスト:
RL前にSFTを通じてオフポリシー蒸留をすることが、どれだけ後段のRL後のパフォーマンスに影響するかを調査したようで、
- 小規模モデルには効果的だが大規模なモデルには効果が薄く
- ベースモデルに存在しない慣習や理解を必要とするタスクに対して効果的で
- 副作用としてポリシーのエントロピーが低減する、すなわちRL中の探索が抑制される
といった知見が得られたようである。
一見すると、SLMに関しては
- [Paper Note] A Sober Look at Progress in Language Model Reasoning: Pitfalls and Paths to Reproducibility, Andreas Hochlehnert+, COLM'25
と対立する知見に見えるが、前提として何が違うだろうか。
SLMに対しては同様の知見が示されている:
- [Paper Note] AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy, Zihan Liu+, arXiv'25, 2025.06
LFM2.5-VL-DSpark: Accelerating vision-language models on edge and beyond, Liquid AI, 2026.09
Paper/Blog Link My Issue
#ComputerVision #NLP #Blog #OpenWeight #VisionLanguageModel #SpeculativeDecoding Issue Date: 2026-09-25 Comment
元ポスト:
FineEnvs: Open Source RL Environments for LLM Agents, Adithya S Kolavi, 2026.09
Paper/Blog Link My Issue
#NLP #Dataset #LanguageModel #ReinforcementLearning #Repository #SmallModel #PostTraining #One-Line Notes #Environment Issue Date: 2026-09-25 Comment
元ポスト:
SLMのcoding, datascience向けの
(いわゆるSmolな)RL学習用の5k+のverifiableなタスクデータ、Environment、評価、学習のコードを提供。
従来の初心者向けのチュートリアルでは、GSM8Kのような既に飽和したデータセットが主なデータであり、より実用的なデータに基づいたRLVRのための環境を整えた、という感じに見える。
When Do Larger Batches Help Scale LLM Reinforcement Learning?, Tencent RL Team, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #ReinforcementLearning #Blog #PostTraining #Selected Papers/Blogs #One-Line Notes #CriticalBatchSize Issue Date: 2026-09-24 Comment
元ポスト:
目標性能まで到達するまでに必要なwall-clock timeとLLMでのオンポリシーRLのバッチサイズの関係性を明らかにしているようである。
LLMのオンポリシーRLでは、生成と学習においてバッチサイズの大きさが非対称に働く（すなわち、生成側の並列数を増やすとモデルの重み転送をより多く共有できるため処理に要する時間が短縮されるが、学習側でバッチサイズが増えると処理時間は増加する）ため、生成側の並列数の変化によるスループットの向上と、学習側のバッチサイズによる更新に必要なサンプル数の両方を考える必要がある。
このとき、目標性能に到達するまでに必要な累積応答数N（学習側）、エンドツーエンドのスループットq（生成側だけではなくシステム全体）を考える。
これにより、バッチサイズを変化させた時に必要なサンプル数の変化の比率r_N (=N/N_pivot, r_Nが1より大きい場合は、新たなバッチサイズが基準となるバッチサイズよりも、ある性能に到達するまでより多くの応答を必要とする)、
スループットの変化の比率r_q(=q/q_pivot, r_q>1の場合は、1秒あたりにより多くの応答を処理できる)を定義でき、
r_q > r_Nの場合、すなわち、バッチサイズを大きくしたことによる、システムのエンドツーエンドのスループット向上による恩恵が、学習側のサンプルコストの悪化を上回った場合に、バッチサイズを大きくすることで学習が高速化される、このときの改善の度合いは r_N/r_q で測ることができる。例えば、r_N/r_q=0.8の場合、学習時間が20%削減されることを意味する、といったフレームワークを定義でき (The criterion部分を参照）、
実践的には、
- 候補となるバッチサイズについて、学習率や関連するハイパーパラメータを調整し、学習に利用される応答単位での学習に対する寄与を揃え、累積応答数が等しい点での学習曲線を比較することで、r_Nを推定し
- 与えられたバッチサイズにおいてシステムのスループットを最大化する設定を探索し、r_qを測定する
- その上で、r_N/r_qを測定し、最も学習時間が短縮されるバッチサイズを採用する
というプロセスにおとしこむことができる（conclusionを参照）
という感じの話のようにみえる。
[Paper Note] Recursive self-improvement of AI research agents, Dhruv Srikanth+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #SelfImprovement #Selected Papers/Blogs #Generalization #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-24 GPT Summary- AI研究エージェントに自身のコードを改善させ、性能評価に基づいて優れた変更を保持する再帰的自己改善システムAIDE^2を提案。 8日間で7回の改善を発見し、探索方策やコンテキスト管理用のメモリ機構を改良。 4つの未使用ベンチマークで人間設計のエージェントと同等以上の性能を達成し、報酬ハッキングも55%から32%へ低減。 Comment
ブログ版:
- AIDE²: The First Evidence of Recursive Self-Improvement, Waco Team, 2026.07
元ポスト:
著者ポスト:
grug-moe-mix-swarm, marin-community, 2026.08
Paper/Blog Link My Issue
#Pretraining #NLP #Dataset #LanguageModel #MoE(Mixture-of-Experts) #Selected Papers/Blogs #DataMixture #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-09-24 Comment
元ポスト:
Marinの535B級のMoEモデルを学習した際のデータであり、利用されたツール（クラスタリングに利用されたモデル）も公開されている。
元ポスト中にデータ構築の手順が紹介されており、
- 学習が許可された152の公開データから、25Tトークンを利用
- deduplicationによる2.13T tokensを除外し
- 評価データとの重複を避けるために13-gramによるフィルタリングを実施し
- 特定の分野のデータ等をサンプリングしたいが、その際にソースではなくドキュメントの内容でグルーピングしたいので、embeddingに基づいてクラスタリングを実施し、200のクラスタを形成した
といった話が紹介されている。
LLM-jpではOpenSourceであるために、徹底的にデータセット内部まで精査をして、問題のあるインスタンスの修正等が実施されていたが、Marinではこのような取り組みは行われているのだろうか。特に、データセットに付与されているライセンスがオープンソースである場合でも、データセット、あるいはデータセット中のサンプルの出自を辿るとオープンソースとは呼べないものが存在するという話がある。
- 約12兆トークンの良質なコーパスで学習した新たな国産LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開 ～一部ベンチマークでGPT-4oやQwen3-8Bを上回る性能を達成～, NII, 2026.04
- LLM-jp-4-VL 9Bリリース, LLM-jp, 2026.09
Marinコミュニティにおける"Open"の意味を読むと、Open Sourceの定義を満たすことを目指しているというより、weightを公開するだけではなく、その他の構築に関わる全ての情報を公開する、たとえば学習データであれば全データのソースを開示する、という開発プロセス全体を公開しますよ、という意味に見えるため、ライセンス的に問題のあるインスタンスの削除などは行われていないのかもしれない、が、Marinプロジェクトの公開されている全ての議論の中にそういった話題は存在するかもしれないので実際のところは一次ソースを当たらないとよくわからない。
https://marin.community
[Paper Note] Memory Attention, Jiale Kang, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #Attention #Architecture #memory #One-Line Notes Issue Date: 2026-09-24 GPT Summary- 言語モデルのvalue projectionを、tokenごとのmemoryとcontext依存のkeyを組み合わせるMemory Attention（MA）で置換。memoryがtoken固有表現、keyが文脈依存性を担い、推論時はlookupと加算で効率的にvalueを構成。token-based検索によりCPU offloadとGPUパラメータ削減も可能。言語モデリングおよび下流タスクで性能が向上。 Comment
元ポスト:
AttentionにおけるV計算を、Value = Key + Memoryの形式で表現し、MemoryはTokenからのlookupによって計算され、再利用可能なメモリを供給し、KeyによってContextや
前段以前の計算結果を供給する。これにより従来のValue projectionは加算+lookupの構造になり、CPUメモリ/SSDにMemoryをオフロードしておき、GPUが他の計算をしている間にGPUへの転送を重複させることで効率化ができる。また、ValueはKeyとtoken IDなら与えられれば再構築が可能なため、永続的にValueをキャッシュせず、必要に応じて検索+再構築という構造にすることもできる。
[Paper Note] HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing, Jianyu Wei+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #LanguageModel #Architecture #KV Cache #Initial Impression Notes #Author Thread-Post #Decoder-Decoder Issue Date: 2026-09-24 GPT Summary- 長期・複数ターンのエージェントに対し、HySparse2は2段階のKV共有を備えたハイブリッド・スパース注意を導入。 外側ではKV Bridgingにより、自己デコーダの隠れ状態からクロスデコーダのKVキャッシュを構築する。 内側では、KV Reuseを維持しつつ、ブロック単位のスパース性をトークン単位に変更し、直近トークンを含むスライディングウィンドウを強制することで長文検索を高精度化。 自己デコーダ処理後にクロスデコーダ層をスキップでき、プリフィル計算量とKVキャッシュ容量を削減。 80B-A3B MoEモデルにおいて、長文コンテキスト検索と複数ターンのエージェントタスクでHySparseおよびHybrid SWAを上回る性能を達成。 Comment
元ポスト:
Mimo-V3ではYOCOスタイルのデコーダ-デコーダモデルで、KVを共有するアーキテクチャになるようである。
Contrastive Language Models: A System One Model for Fast and Generalizable Decision-Making, Kwok+, 2026.09
Paper/Blog Link My Issue
#Pretraining #NLP #Dataset #ContrastiveLearning #Blog #OpenWeight #Scaling Laws #mid-training #PostTraining #Selected Papers/Blogs #Encoder #Author Thread-Post #SystemOneModel Issue Date: 2026-09-24 Comment
元ポスト:
HF: https://huggingface.co/Contrastive-LM
非常にコンパクトにまとまっていて大変読みやすかった。あとでまとめる。
HyperFlow, VideoRebirth, 2026.09
Paper/Blog Link My Issue
#ComputerVision #EfficiencyImprovement #Distillation #OpenWeight #VideoGeneration/Understandings #SelfDistillation #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-23 Comment
元ポスト:
所見:
Step Code, StepFun, 2026.09
Paper/Blog Link My Issue
#Tools #NLP #LanguageModel #AIAgents #Coding #SoftwareEngineering #Initial Impression Notes #Author Thread-Post #AgentHarness Issue Date: 2026-09-23 Comment
元ポスト:
高いトークン効率を持つStepFun製のターミナル向けのコーディング用Agent Harness
Rigel Base: Reaching Llama-3.2 Quality with <1% of its Compute, Mayank+, 2026.09
Paper/Blog Link My Issue
#EfficiencyImprovement #Pretraining #NLP #LanguageModel #Blog #OpenWeight #SSM (StateSpaceModel) #read-later #DataMixture #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-23 Comment
NoPEやuPを利用、事前学習では6つのフェースで異なるDataMixtureを利用しそのレシピも記載
Ming-Image-0.1-{Design, Design-Layer}, inclusionAI, 2026.09
Paper/Blog Link My Issue
#ComputerVision #TextToImageGeneration #OpenWeight #ImageSynthesis #AgentSkills #Author Thread-Post #Design #ImageToLayer #ImageToPPT Issue Date: 2026-09-23 Comment
元ポスト:
[Paper Note] onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction, Lei Yang+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#Tools #NLP #LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #Annotation #PostTraining #read-later #Selected Papers/Blogs #Data #Author Thread-Post Issue Date: 2026-09-23 GPT Summary- LLMのアライメントデータやエージェント軌跡を効率的にアノテーションするため、トークンレベルで「特定・修正・継続」を行うインタラクティブツールonPandaを提案。モデル応答中の不適切なトークンを修正し、その位置から生成を再開することで、低コストに出力を誘導する。手作業による事後編集と比べてアノテーション時間を中央値で52%短縮し、モデルのサンプリング分布を保持したオンポリシーSFTデータや選好データの構築を可能にする。さらに、修正履歴から位置情報付きの細粒度な教師信号と正例・負例を生成し、外部ツールと接続したインタラクティブな軌跡アノテーションにも対応。Panda-CVLデータセットとトークンレベル修正ベンチマークを公開。 Comment
元ポスト:
On-Policy Distillation: Full-Vocabulary KL vs. Sampled Trajectory RL, Bhavin Jawade, 2026.09
Paper/Blog Link My Issue
#Tutorial #NLP #LanguageModel #ReinforcementLearning #Distillation #Post #PostTraining #read-later #On-Policy Issue Date: 2026-09-23
[Paper Note] RRSI: Regularized Recursive Self-Improvement of Agent Harnesses, Peng Xia+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #Regularization #SelfImprovement #Generalization #needs-revision #autoresearch/RSI #Author Thread-Post #AgentHarness Issue Date: 2026-09-23 GPT Summary- LLMエージェントのハーネスを、プロンプトや制御フロー、ツール、メモリの編集によって再帰的に自己改善。提案と選択を正則化し、ベンチマーク固有の過適合や不要な変更を抑制することで、再利用可能なエージェント機構を獲得。8つのベンチマークで最大14.1ポイント、分布外評価で最大4.7ポイントの性能向上を達成し、正則化なしの手法より30%少ないポリシートークンで実行可能。 Comment
元ポスト:
pj page: https://regularized-rsi.com
自己改善をするハーネスにおいて、改善されたハーネスが評価データのスコアは向上するが、OODなデータに対して汎化しないという課題がある。これに対して、機械学習モデルにおける正則化の考え方をharnessの"探索"に導入することで対処する。
大前提として、ハーネスHとはAI Agentを構成する要素のうち、weightを除く全ての機構を指す総称であり、たとえば以下が含まれる:
- system/task prompts
- エージェントがいつプランを練り、行動し、内省あるいは終了するか等を決める制御フロー
- ツールインタフェースとその定義
- メモリやスキルに関するファイル群
- 各ステップにおいてポリシー（モデル）が何を観測できるか、すなわちコンテキストを管理するマネージャ
本研究を理解する上で、二つの役割を理解する必要がある(式2):
- Proposer: 現在のハーネスH_tに基づいて進化用データD_evolve中のタスクを実行し、そのtrajectoryの要約からFeedback F_tが生成されるとき、H_t, F_tに基づいて、進化後のハーネスの集合を出力する機構（LLM)。
- Selector: D_evolveと進化先の候補となるハーネス集合、および現在のハーネスH_tが与えられた時、最もスコアが高いハーネスを選択する機構
正則化はProposerとSelectorそれぞれに対して適用される。Figure 2に、それぞれどのような正則化が提案されているかが示されている。
（後ほど追記する）
著者ポスト:
著者ポスト2:
関連:
- [Paper Note] Recursive self-improvement of AI research agents, Dhruv Srikanth+, arXiv'26, 2026.09
- AIDE²: The First Evidence of Recursive Self-Improvement, Waco Team, 2026.07
Introducing GPT‑6 Sol and Luna, OpenAI, 2026.09
Paper/Blog Link My Issue
#ComputerVision #NLP #LanguageModel #Blog #Proprietary #Selected Papers/Blogs #VisionLanguageModel #Initial Impression Notes Issue Date: 2026-09-23 Comment
元ポスト:
luna, solに関しては、AA Index上では大きな変化はないように見えるが、コスト性能比が改善しているように見える:
5.6-luna, solと比較するとコストが約半額となっている。やーすい
Introducing Claude Opus 5.5, Anthropic, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #Blog #Proprietary #Selected Papers/Blogs #VisionLanguageModel #Reference Collection Issue Date: 2026-09-23 Comment
元ポスト:
KernelBench-MegaのRTX PRO 6000向けにKimi Linearのデコード向けのメガカーネルを記述するベンチマークでAstraを超えてSoTAを達成したようである:
所見:
所見:
GPTはeffortの増加に従い単調増加だが、Claude系はそうならない
PixVerse R2: Scaling Real-Time Omni World Models, PixVerse, 2026.09
Paper/Blog Link My Issue
#ComputerVision #Blog #read-later #WorldModels #Scalability #Realtime Issue Date: 2026-09-23 Comment
元ポスト:
[Paper Note] Reinforce-Ada: An Adaptive Sampling Framework under Non-linear RL Objectives, Wei Xiong+, arXiv'25, 2025.10
Paper/Blog Link My Issue
Issue Date: 2026-09-23 GPT Summary- LLMのRLにおける難しいプロンプトのシグナル喪失を、少数サンプルによるアンダーサンプリングの統計的問題として分析。 プロンプト難易度に応じて推論予算を動的に配分し、低シグナルのプロンプトにも計算資源を投入するReinforce-Adaを提案。 一様サンプリングのベースラインを上回り、シグナルを回復しつつ、同一予算で収束を最大2倍高速化。 Comment
元ポスト:
[Paper Note] DeepSeek Elastic Compute （DSec）: A Sandbox Infrastructure for Effective Agentic Training at Scale, Jialiang Huang+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #Infrastructure #ReinforcementLearning #AIAgents #PostTraining #One-Line Notes #Environment Issue Date: 2026-09-23 GPT Summary- LLMエージェントの大規模な学習・評価に向け、FnCall、コンテナ、マイクロVM、フルVMを統合的に提供する弾力的なサンドボックス基盤DSecを構築。 クラスタ全体で配置・ライフサイクル管理を行い、レイヤ構成、メモリ共有、リソース回収、CPUスケジューリング、3FSからのオンデマンドなイメージロードによって、高密度かつ効率的な実行を実現する。 さらに、RL学習と連携してステートフルなロールアウトをGPU学習から分離し、状態を保持したままアイドル資源を回収することで、効率向上とエージェントの不正挙動の抑制を両立。 本番環境では38万超の同時実行サンドボックスと毎秒5,000件超の作成処理を実現し、環境構築・イメージ配布のオーバーヘッドを削減しながら、高密度環境でも低遅延性能を維持。 Comment
元ポスト:
所見:
ロールアウト時の状態の所有権をGPU上のトレーニングジョブではなく、CPU側のサンドボックスプラットフォーム側に持たせていることが重要とのことで、これによりロールアウトの状態をスナップショットし、学習が中断された場合でもGPUに再接続して必要に応じて（コマンドのリプレイではなく）再開できるため効率化される。
また、学習中のエージェントが不正な挙動をした場合（不正な行動によってタスクの解決を試みたり、インフラの障害を引き起こすコマンドの実行）に対する対策として、リソースに対するアクセス制御を強化しているようである。
Introducing MiMo-V2.6 series, Xiaomi, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #read-later #Selected Papers/Blogs #Reference Collection #Author Thread-Post Issue Date: 2026-09-23 Comment
HF: https://huggingface.co/collections/XiaomiMiMo/mimo-v26
元ポスト:
所見:
Mimo-2.6はSWA+GQAのシンプルなアーキテクチャであり、それでOpenWeightモデルでSoTAを達成しており、進歩の多くはデータと事後学習のレシピの改善によってもたらされているという主張。
DeepSeekでも同じような報告がされている:
- DeepSeek-V4.1-Flash, DeepSeek AI, 2026.09
事前学習でも以下のような話はある:
- Pretraining progress is mostly coming from data, DWARKESH PATEL AND JERRY HAN, 2026.09
関連:
- We are streaming our RL big runs. The mimo-v2.6 series is coming soon, Xiaomi Mimo Team, 2026.09
開発者の方のポスト:
所見:
AA IndexでGPT-5.6-Solと同等性能を達成し、7kのRL dataとフレームワークをオープンにする予定とのこと。
所見:
解説:
- MAI-Thinking-1: Building a Hill-Climbing Machine, Microsoft, 2026.06
もあわせて読みたい
[Paper Note] Score Centering Stabilizes Off-policy Reinforcement Learning, Martin Marek+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #ReinforcementLearning #read-later #Selected Papers/Blogs #Off-Policy #Stability #train-inference-mismatch #Author Thread-Post Issue Date: 2026-09-23 GPT Summary- LLMのRLにおける学習・推論ミスマッチ（TIM）は、学習エンジンと推論エンジン間の持続的なバイアスであるドリフトにより不安定化する。ドリフトを相殺する加法的なスコア中心化補正を導入し、量子化下で重要度サンプリングと同等以上の性能を達成。さらに重要度サンプリングと組み合わせることで、古い方策を用いる設定でもベースラインを上回った。 Comment
元ポスト:
ポイント解説:
解説:
Reinforcing Agents with Collective Skills, Xu+, 2026.09
Paper/Blog Link My Issue
#NLP #Dataset #LanguageModel #ReinforcementLearning #AIAgents #Environment #Author Thread-Post Issue Date: 2026-09-23 Comment
元ポスト:
dataset, env: https://hub.harborframework.com/datasets/skill2env/skill2env
Computational depth is all you need: Towards 107-layer neural nets, Akshay Vegesna, Samip Dahal, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #Blog #Scaling Laws #read-later #Depth #Author Thread-Post Issue Date: 2026-09-23 Comment
元ポスト:
[Paper Note] Self-Organizing Agent Teams Learn to Reason Together, Aneesh Pappu+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #SelfImprovement #read-later #autoresearch/RSI #Author Thread-Post #Coordination Issue Date: 2026-09-23 GPT Summary- 固定編成のAIエージェント・チームが、過去の協働から役割・対話・情報の流れを学習し、未知の問題に適応するSelf-Organizing Agent Teams（SAT）を提案。 エージェント同士が部分的な推論を交換・批判・修正・統合することで、単独では到達できない解答を生成する。 数学・物理学ベンチマークで既存の単独推論やルーターを上回り、改善効果は正しい推論を識別する能力（デモンストラビリティ）と強く相関。 Comment
元ポスト:
[Paper Note] Collective Loss of Control in LLM Agent Systems: An Epidemic Account of Mutation, Contagion, and Recovery, Xiangfan Wu+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #Safety #Security #Coordination Issue Date: 2026-09-21 GPT Summary- マルチエージェントの逸脱を、変異・伝播・回復に基づく流行現象としてモデル化し、局所的な失敗が集団的な制御喪失へ拡大する可能性を検証。暗黙の通信経路を監査し、RogueHandoff-20で安全でない軌跡を注入した結果、有害行為率が0～5％から40～95％へ増加。自然発生的な連鎖を実証したものではないが、通信経路の制限と抵抗性・回復力の強化が必要であることを示した。 Comment
元ポスト:
関連:
- [Paper Note] Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems, Vassilis Papadopoulos+, arXiv'26, 2026.08
マルチエージェントにおける一部エージェントの挙動が波及する現象は上記でも報告されており、関連している。
Measurements for understanding the pace of AI development inside frontier labs, Anthropic, 2026.09
Paper/Blog Link My Issue
#Analysis #NLP #LanguageModel #AIAgents #Evaluation #Blog #SelfImprovement #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-20 Comment
元ポスト:
所見:
Jev Reproductions Tracker, multimodalart, 2026.09
Paper/Blog Link My Issue
#Survey #NLP #Author Thread-Post #SystemOneModel Issue Date: 2026-09-20 Comment
元ポスト:
[Paper Note] FLARE-AI: Flaw Reporting for AI, Shayne Longpre+, arXiv'26, 2026.06
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #read-later #Selected Papers/Blogs #Security #Author Thread-Post Issue Date: 2026-09-20 GPT Summary- AI脆弱性報告システムの課題を分析し、FLARE-AIを提案。条件分岐と早期分類でトリアージに必要な情報収集と報告作成を効率化し、標準化された機械可読形式で複数の関係者へ一括共有。脆弱性報告のサイロ化を解消し、AIエコシステム全体の相互運用性と修正対応を向上。 Comment
demo: https://www.ai-reports.org/
元ポスト:
Introducing Astra for Law, OpenAI, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #Blog #Proprietary #Legal #Author Thread-Post Issue Date: 2026-09-20 Comment
元ポスト:
[Paper Note] SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness, Haozhe Liu+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #LanguageModel #AIAgents #SelfImprovement #read-later #autoresearch/RSI #AgentHarness Issue Date: 2026-09-20 GPT Summary- コーディングエージェントの長期的な推論・ツール利用では、トークン効率が重要となるため、RSIに着想を得た自動ハーネス探索を提案。 複数環境で研究ループをスケールさせ、行動実行・コンテキスト圧縮・観測処理・委譲読解に関する4つの機構からSoL-Piを構築。 EdgeBenchではGPT-5.6、Sol、Opus 5でPiと同等の性能を維持しつつ、トークン通信量を44.7～49.0%、APIコストを約3分の1削減。 Comment
元ポスト:
Step 5 Preview: Advancing the Pareto Frontier, StepFun, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #AIAgents #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #One-Line Notes #Author Thread-Post Issue Date: 2026-09-20 Comment
元ポスト:
StepFunのフラグシップモデルで、Fable 5, GPT-5.6-luna, GLM-5.3、Kimi-K3と並びAAの評価においてパレート最適に位置する。
600B-A27B, 1M contextのVLM, 10/15にOpenWeight化されるとのこと。
decider-2b, Mapika, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #SmallModel #OpenWeight #reading #One-Line Notes #Reading Reflections #SystemOneModel Issue Date: 2026-09-20 Comment
元ポスト:
こちらはJev系のモデルを謳うものと比較して、Qwenをベースにしており、かつ広範なタスクで評価がされているため、ある程度のzeroshotでの汎用モデルとは言えそうである。が、結局のところどこまで汎用的に使えるかはよくわからない。
関連:
- Needle 3 Automation Foundation Model For Tiny Devices, Cactus, 2026.09
- Introducing System One Models & Jev, TypeSafe AI, 2026.09
Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure, Z.ai, 2026.09
Paper/Blog Link My Issue
#NLP #LanguageModel #Infrastructure #AIAgents #Blog #SelfImprovement #SoftwareEngineering #Initial Impression Notes #autoresearch/RSI Issue Date: 2026-09-19 Comment
元ポスト:
GLM開発におけるRSIよ初期の事例
[Paper Note] JEPA-Anything: Learning Predictive Models across Different Worlds, Taoyong Cui+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#Multi #MachineLearning #LatentRepresentation Issue Date: 2026-09-19 GPT Summary- JEPA-Anythingは、異なるシステムにまたがる共通の予測原理を探求するために、直交予測因子分解（OPF）に基づいたドメイン非依存のフレームワークを提供する。このモデルでは、潜在ターゲットを補完的因子に分解し、学習後に再結合する。視覚、生物学、臨床経路など7つの領域での評価では、JEPA-Anythingが全てのダイナミクス課題で性能を向上させ、介入予測誤差を34.8%削減した。異質な世界における共通因子分解の原理を実証し、科学的発見との結びつきを示す。 Comment
元ポスト:
[Paper Note] Block Parallelism For Efficient Distributed Long-Context Diffusion Language Model Training, Tarun Suresh+, arXiv'26, 2026.09
Paper/Blog Link My Issue
#EfficiencyImprovement #NLP #LanguageModel #Library #DiffusionModel #SoftwareEngineering #SpeculativeDecoding #Author Thread-Post Issue Date: 2026-09-19 GPT Summary- BDLMは自回帰的依存と並列デノイズを組み合わせるが、長文脈での訓練は制約を受ける。本研究は新たな分散並列性であるブロック並列性（BP）を導入し、文脈シャード付きブロック並列性（CSBP）を適用して、効率的な訓練を実現。CSBPはスループットを最大1.61倍向上させ、低いピークHBMを維持することで、モデルのパフォーマンスを改善した。特に、CSBPはDFlash2のデコーダ訓練を大幅に加速し、高いパスレートを達成。 Comment
github: https://github.com/ScalingIntelligence/Turbo-dLLM
元ポスト:
diffusion Language Modelを高速に学習できるライブラリとのことで、たとえばDFlash2をベースにしたSpeculative DecodingのためのDraft Modelの学習などが高速化できるとのこと。
cua-s1-forms, cua-ai, 2026.09
Paper/Blog Link My Issue
#ComputerVision #NLP #Dataset #Transformer #SyntheticData #OpenWeight #ComputerUse #Encoder #One-Line Notes #Author Thread-Post Issue Date: 2026-09-19 Comment
github:
https://github.com/trycua/cua/tree/main/libs/cua-s1
dataset:
https://huggingface.co/datasets/cua-ai/cua-s1-forms
元ポスト:
フォーム入力に特化したCUAを実施できるモデルのようで、これもいわゆるSystem One Modelとして紹介されている。Transformer Encoderをバックボーンとする。
まあしかしこれは言ってしまえばただの合成データでFinetuningをしたBERTに見える。Jevのような様々なタスクに対してzero-shotの汎化をしめすものではないであろう点に注意。Jevがどれだけ汎用なのかはわからんが...