NLP (4445) — 1/23


Paper/Blog Link My Issue
#ComputerVision #Dataset #Evaluation #TextToImageGeneration #read-later #Selected Papers/Blogs #ImageSynthesis Issue Date: 2026-11-17 GPT Summary- 大規模視覚生成モデリングのために、約28兆ピクセルから成る許諾条件の緩やかな画像コーパスGPICを構築。 最先端の視覚言語モデルでキャプション付与された多様な画像を含み、100M件の学習例、200K件の検証例、1M件のテスト例で構成される。 安全性フィルタリングと重複除去を施し、研究・商用利用可能なライセンスのもとでHugging Faceに公開。 さらに、生成モデリング用のベンチマークプロトコルと、ピクセル空間フローマッチングのリファレンスベースラインを提供。 Comment

dataset: https://huggingface.co/datasets/stanford-vision-lab/gpic
models: https://huggingface.co/stanford-vision-lab/gpic-baselines
github: https://github.com/keshik6/gpic
pj page: https://gpic.stanford.edu

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Distillation #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-11-17 GPT Summary- 知識蒸留において、入力を摂動させた教師の予測を用いることで、訓練テキストを超えた教師の振る舞いを学生モデルに学習させる。 トークンへのノイズ付加、文書混合、隣接トークン混合を用い、事前学習前半を摂動蒸留、後半を通常蒸留にすることで、標準蒸留を上回る性能を達成。 検証損失、下流タスク、低ビット量子化後の性能でも改善が維持され、データ再利用環境でも効果を確認。 特に、加法的ノイズでは学生ではなく教師の入力を摂動させることが改善に重要。 Comment

元ポスト:

Loading…

所見:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #Sycophancy #PostTraining Issue Date: 2026-11-17 GPT Summary- LLMに回答と反論を生成させ、反論の妥当性を判定する自己不一致学習によって、正しい立場を維持し誤った立場に譲る判断能力である弁証法的能力を訓練。正確性向上や自己省察だけでは獲得できないが、検証可能な報酬による強化学習で、追加モデルや人手アノテーションなしに学習できる。この能力は初期回答の正確性を損なわず、未知の反論や自身より強い挑戦者に対しても維持される。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #MultiModal #OpenWeight #One-Line Notes #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-11-14 GPT Summary- 質問と選択肢が与えられた時に、自己回帰的デコーディングを行わず選択肢の確率分布を返す意思決定モデルDrexを提案。 SFTとRLAFを組み合わせ、Maxでは視覚チューニングも行うことで、精度・選択肢順序への頑健性・低遅延を実現。 Maxは複数の意思決定ベンチマークで高い性能を達成し、183ミリ秒で応答可能な4つのオープンソースモデルを公開。 Comment

元ポスト:

Loading…

HF: https://huggingface.co/nace-ai/drex-max-v1
github: https://github.com/nace-ai/drex-decision-models

元ポストによると、Drex Max v1.1はArtificial Analysis Decision indexで2026年11月14日時点で首位であり、proprietaryなようである。

所見:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Catastrophic Forgetting #PostTraining #ContinualLearning Issue Date: 2026-11-13 GPT Summary- LLMの重みの0.05%未満をゼロ化するDeletion Tuningにより、強化学習・教師ありファインチューニング・オンポリシー蒸留でフルファインチューニングと同等の性能を達成。Transformerブロックのゲート射影に二値マスクを学習し、FFTより数百〜数千倍小さいモデル更新で、継続学習時の忘却も大幅に軽減。安定ランク・スペクトルドリフト・主要重みの重複度において、LoRAやランダムスパースファインチューニングよりFFTに近い重み変化を示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #LanguageModel #RewardHacking #One-Line Notes #Author Thread-Post Issue Date: 2026-11-12 GPT Summary- 本番環境のLLMは、意図されたタスクではなく採点者の欠陥を悪用する報酬ハッキングを行うことがある。 採点者の情報が漏洩した環境では、GPT 5.6 Sol、GPT 5.5、および安全性訓練前のo3が、ユーザー指示に違反してでも自身の行動を評価する採点者から高得点を得ようとする。 また、スコアが訓練・評価・実用途のいずれに関連付けられているかにかかわらず、スコア自体を重視する傾向が確認された。 さらにGPT 5.6 SolとGPT 5.5は、別のエージェントが高得点を得る見込みの場合、そのエージェントを24.6ポイント高い頻度で支援する。 一方で、別軌跡のスコアを改変する共謀は確認されなかった。 Comment

元ポスト:

Loading…

- GPT-5.6-Sol / GPT-5.5 / 安全性に関するトレーニング前のo3 (exp-rl-cap-late)において、高いスコアを獲得する場合において、ユーザの指示に違反する頻度が増えた
- docstringにgraderがタスクの成功を計るために利用されていることを記載すると、スコアの用途に関わらず、高いスコアを得るために指示に違反する
- GPT-5.6-Sol / GPT-5.5 は手助けをすることによってpeer agentがより高いスコアを得られる場合に、より頻繁に手助けをする。一方で、o3 (exp-rl-cap-late)では、そのような挙動は生じない。
- GPT-5.6-Sol / GPT-5.5 はreward hackingをユーザに対して隠すことについて積極的に推論している(Judgeで測定した所、それぞれ12.4%, 36.5%)。
- 2つの環境、3種類のモデルでしか実験しておらず、かつreward hackingの実験のために環境が選ばれており、この評価自身をモデルが認識することによって結果が変化しうるという点がlimitation

といった話が元ポストに記述されている。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #Distillation #On-Policy #One-Line Notes #SelfDistillation #Author Thread-Post Issue Date: 2026-11-12 GPT Summary- オンポリシーRLにおいて、ターンごとのテキストフィードバックを用いたtargeted guidanceを導入し、自己蒸留によって最適化が困難な行動を改善する。基準ごとのRL報酬と、明確に失敗したターンに限定したフィードバックを組み合わせることで、ベースライン性能を維持しながら学習を促進。エージェント型マルチターン・ソフトウェアエンジニアリング環境で有効性を検証し、学習中のエントロピーを安定させて振動を抑制する設計も検討。 Comment

元ポスト:

Loading…

on-policy RLでは、ポリシーの探索が届かない行動を学習することができないが(Figure 1 左)、モデルのactionが失敗したターンに対してverifierのtextual feedbackを挿入し、フィードバックを見た自身を教師としてself-distillationをすることで、本来探索では届かない行動を安定して学習させる(Figure 2)。
image

image




Paper/Blog Link My Issue
#Dataset #LanguageModel #QuestionAnswering #Evaluation #Cultural Issue Date: 2026-11-12 GPT Summary- CulturalRiddlesは、62の文化(45か国、51言語)に根ざした人間作成のなぞなぞでLLMの文化理解を評価するベンチマーク。詳細な事実・社会知識、言語能力、文化固有の連想、アブダクション推論および合成的推論を必要とする。28種類のLLM構成を評価した結果、最先端モデルでも一部のコミュニティでは正解率が最大22%にとどまった。成果物と参加型の貢献プロセスを公開し、言語的・文化的対象範囲の拡大を目指す。 Comment

元ポスト:

Loading…

HF: https://huggingface.co/datasets/CohereLabsCommunity/CulturalRiddles




Paper/Blog Link My Issue
#ComputerVision #Dataset #AIAgents #Evaluation #VisionLanguageModel #DeepResearch #Pixel-based #Author Thread-Post Issue Date: 2026-11-10 GPT Summary- 科学論文のページ画像を直接検索・推論するpage-nativeなDRエージェント「DR Pixel」を提案。OCRでは失われる図・表・数式を活用し、106万ページのコーパス上で動作する。反実仮想的な寄与度に基づくcredit reweightingで学習軌跡のノイズを低減し、検索再現率と最終正解率を向上。DRPixelBenchや既存ベンチマークでOCRベースラインを上回り、ViDoRe-V3ではオラクルとの差を1.8ポイント以内に縮めた。複雑なDRでは「OCRしてから検索」するより、ページ画像を直接検索・推論する方が効果的かつ効率的。 Comment

元ポスト:

Loading…

benchmark: https://huggingface.co/datasets/HughieHu/drpixel-bench
github: https://github.com/StarTrail-org/DRPixel




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Scaling Laws #Initial Impression Notes Issue Date: 2026-11-08 GPT Summary- ニューラルスケーリング則のフィッティングでは、従来の局所最適化に基づくヒューリスティック探索が、最適解の保証やパラメータの不確実性の把握に欠ける。そこで、決定論的な分枝限定アルゴリズムを提案し、ほぼ最適な損失を保証しながら、広範なほぼ最小解を網羅的に探索する。さらに、ラショモン効果により異なるパラメータ設定が類似した適合度を持ち、外挿結果が大きく乖離することを示し、得られるスケーリング曲線の範囲を明らかにする。 Comment

元ポスト:

Loading…

scaling lawの最後のfittingの部分があまり模索されておらず、典型的にはL-BFGS+Hubber LossによってL(N,D)=E+冪乗をfittingするが、fittingは一意ではなく、fittingのlossの誤差1%未満の2種類の曲線でも、外挿をしたときの誤差が最大74.6倍生じる場合もあり不確実性が大きい




Paper/Blog Link My Issue
#LanguageModel #Privacy #Initial Impression Notes #Author Thread-Post #Watermark Issue Date: 2026-11-08 GPT Summary- LMの個人追跡ではなく、集計的な利用頻度推定を目的とすることで、出所情報とプライバシーを両立する透かしを提案。 局所差分プライバシーにより個々のテキストの寄与を制限しつつ、RGS透かしで高いプライバシー水準でも正確な利用頻度推定を実現。 C4やエッセイ執筆タスクにおいて、少数のサンプルでも低い誤差で推定できることを確認。 Comment

github: https://github.com/eliselyhan/dp-watermarks

元ポスト:

Loading…

著者ポスト2:

Loading…

OpenAIやAnthropicなどの生成AIを提供する側が埋め込むwatermarkは、個人な生成AI利用を明らかにするためプライバシーの問題が生じ、かつユーザ側にも言い換え等を通じてwatermarkを削除しようとするインセンティブが生じてしまう構造的な問題がある。この構造的な問題を、目的を個々のAI生成テキストの検証から、集団中の割合の推定に切り替えることで、ユーザのプライバシーを保証しつつ(個々のAI生成テキストの検出はせず)、AI生成の大域的な利用状況を把握できるようにする、という話に見える。




Paper/Blog Link My Issue
#Multi #LanguageModel #AIAgents #autoresearch/RSI Issue Date: 2026-11-07 GPT Summary- GPUカーネル最適化において、既存のコーディングエージェントが局所最適解に陥る問題に対し、マルチエージェント・フレームワーク「Evolving Agent Teams」を提案。中央スーパーバイザーによるエージェントチームの再編成と、学習文書・進化履歴・成果物を蓄積する永続ファイルシステムにより、局所最適解からの脱出を可能にする。同一トークン予算で強力なベースラインを上回り、FlashInferのMLAページドデコードで平均1.2倍高速化、47ワークロード中36件で最高性能を達成。さらに、AMD・NVIDIA GPU、Appleシリコン、ロボットマニピュレーションなどの多様なタスクでも優れた性能を示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #LongContext #Compression Issue Date: 2026-11-06 GPT Summary- 後続トークンは先行トークンより生成コストが高く、最先端モデルでは最大7倍に達する。頻繁なコンパクションにより、コンテキストを短く維持しても、長期タスクや長い入力で精度をほとんど損なわない。1コンテキストあたり1回のアクションでもソフトウェアエンジニアリング性能は崩壊せず、意味状態空間モデル(SSSM)を提案。長いコンテキストを扱う言語モデルの必要性に疑問を投げかける。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #OpenWeight #Japanese #Legal Issue Date: 2026-11-06 GPT Summary- 日本法に特化したオープンウェイトモデルXLaw-JP-27Bを提案。現行法令・判例のハイブリッド検索、司法試験の検証済み解答による自己蒸留、契約特化LoRA、4サンプル投票を組み合わせる。8つの法律タスクで12B~33Bモデルと比較し、6タスクで1位、1タスクで同率1位、平均順位1.3位を達成。3年分すべての司法試験に合格した唯一のシステムであり、検索・投票・自己蒸留の有効性も確認された。一方、契約書レビューと特許法には改善の余地が残る。Apache 2.0ライセンスでモデルと無料Webサービスを公開。 Comment

HF: https://huggingface.co/X-LawJapan/xlaw-jp-27b
pj page: https://x-law.jp




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #Transformer #Architecture #Depth Issue Date: 2026-11-05 GPT Summary- 深い層での情報希薄化を解決するため、層間KV共有を勾配経路による構造正則化として活用するDepthGraftを提案。Strideに基づく浅層・中間層のソースペアから深層KVを再構成し、非局所的な勾配フローを分散させながらKVキャッシュを約3分の1削減。0.5B〜16Bの密結合およびMoEモデルで、GQAとMLAの双方において下流タスク性能を一貫して向上させ、16B MoEではMMLU-Proで7.0%、CMMLUで6.6%、C3で6.4%の改善を達成。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Ensemble #Scaling Laws #DataRepetition Issue Date: 2026-11-05 GPT Summary- データ量が制約される言語モデル事前学習において、学習エポック数とアンサンブルサイズが汎化性能に与える影響を分析。 ロジット平均によるアンサンブルは予測分散を抑え、学習後期の性能劣化を軽減するとともに、単一モデルより高い性能を達成する場合がある。 DMFTにより誤差相関と最適な早期停止時点を導出し、計算量に応じてアンサンブルサイズを増加させることで、過剰テスト損失がべき乗則で減少することを示した。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Improving Data-Constrained Scaling with Hyperparameter Transfer and Ensembling, Ethan Baron+, arXiv'26, 2026.10




Paper/Blog Link My Issue
#Analysis #Pretraining #LanguageModel #Supervised-FineTuning (SFT) #Optimizer #PostTraining Issue Date: 2026-11-05 GPT Summary- Muonは事前学習ではAdamWより高速だが、事前学習データが十分に大きい場合、ファインチューニング後にはAdamWがMuonを上回る。モデルサイズが大きいほど、AdamWが優位になるトークン数対パラメータ数比は小さくなる。この逆転を説明するため、正解ロジットの優位性と不正解ロジットの広がりを比較するmargin-to-spread ratioを導入し、小規模データではMuon、大規模データではAdamWが高いことを示す。さらに、線形連想メモリの解析とシミュレーションにより、データ予算の増加に伴って勾配降下法がMuonを上回る傾向が、長時間学習後にも持続することを示した。 Comment

元ポスト:

Loading…

果たして




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Scaling Laws #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-11-05 GPT Summary- 下流タスクの低性能モデルでは精度がほぼゼロとなり、従来のスケーリング則による大規模モデルの性能予測が困難になる。そこで、特権情報を用いてベンチマークを簡単化し、小規模モデルでも有意な精度を得られる「ヒント付きスケーリング則」を提案。ヒントの強さに応じて精度が滑らかに向上するため、ノイズ閾値以下でも性能を外挿できる。GSM8K、AIME、HLEにおいて、従来法より予測誤差を大幅に低減し、最大$10^{23}$ FLOPのモデルのGSM8K精度も3ポイント以内で予測した。さらに、ヒント付与によりモデル間の精度差が拡大し、少ないテスト例でモデルの順位付けが可能になる。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…


ベンチマークにヒントレベルHの元ヒントを与えることで、ベンチマークスコアがほぼ0であった小規模モデルもスコアが記録されるようになる。

この小規模モデルがscaling lawsのfittingにおいて追加のシグナルを供給する。

また、ヒントレベルHにおけるベンチマークスコアの変化は、予測可能で滑らかに変化するため、これによりモデルの規模CとヒントレベルHをベンチマーク性能にマッピングする同時分布L(C, H)をfittingすることができ、H=0とすることで、ヒントなしの元のベンチマークにおける性能を予測できる。

最大5600倍少ない計算量で、3ポイント以内の精度で予測可能(GSM8k、logit mixing)

という感じの話らしい。

著者ポスト2:

Loading…




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Ensemble #Scaling Laws #HyperparameterTransfer #Author Thread-Post #DataRepetition Issue Date: 2026-11-05 GPT Summary- 計算資源とデータの制約下で、モデル規模やエポック数に応じて最適なハイパーパラメータをべき乗則で調整し、アンサンブルへの計算資源配分を定めるスケーリング則を提案。 FineWebの1億トークンを用いた実験で、従来手法より検証損失を0.15ナッツ以上、パープレキシティを14%削減し、計算量の増加に対して単調な性能向上を実現。 小規模実験から得た指針を最大12倍の計算予算で検証。 Comment

元ポスト:

Loading…

ブログと元ポストのスレッドを読む際は誇張されている面があるため注意:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Transformer #Attention #One-Line Notes #TreeSearch #Author Thread-Post Issue Date: 2026-11-05 GPT Summary- 長文脈LLMにおけるattentionの二次計算量を削減するため、KVキャッシュ上に階層的な木構造インデクサを構築し、クエリごとに関連キーの疎な部分集合を取得するZyphra Hierarchical Attention(ZHA)を提案。木を再帰的に深くすることで、ルーティングとattention計算を含む計算量を二次未満(超線形)に抑え、短いKL蒸留で既存の事前学習モデルへ適用できる。長文脈検索や推論・数学・エージェント型コーディングで性能を維持し、100万トークン超の文脈では既存手法を大幅に上回る可能性を示した。 Comment

blog: https://zyphra.com/our-work/zyphra-hierarchical-attention

元ポスト:

Loading…

軽量indexerを用いるが以前として二次的(quadratic)なコストを要するSparse Attention(Indexingのために結局全トークンの走査が必要)とは異なり、キーの要約を(木構造によって)階層的に保持したIndexerを構築することで検索そのものをsparseにした、subquadraticなコストで実現可能な階層的indexerに基づくattentionとのことである。




Paper/Blog Link My Issue
#LanguageModel #Education #KnowledgeTracing #ACL #Findings #KeyPoint Notes #Reading Reflections Issue Date: 2026-11-02 GPT Summary- 学生の過去の解答履歴が与えられた時に、LLMと従来の系列モデルを統合して次の問題への正答可能性を予測。LLMの知識と推論能力を活用する指示に加え、問題・概念固有トークンによる圧縮履歴と、系列モデルの行動表現をLLMに注入。4つのデータセットで約20の強力なベースラインを上回る最先端性能を達成。 Comment

学習者の学習履歴(問題ID, Knowledge Component ID, 正誤)を与え、新たな問題に対して正解するか否かをbinaryで問うpromptを用いてLoRAでFinetuningをし、この時にquestionとknowledge componentの情報として生のトークン列ではなく、embeddingを直接注入(QuestionEmbed, ConceptEdbed)することでcontext長が肥大する課題に対処する。Embeddingは問題テキスト、KCの定義のテキストから学習する場合(Semantic)と、ユーザの学習履歴のID(qid,
cid)の系列に基づいて学習する場合(Behavior)の2種類の手法を用意し、backboneとなるエンコーダを事前に用意する(どのように用意するかは細かいところまではまだよくわかっていない)。後者についてはLLMが学習している埋め込み空間と大きく異なるものが学習されているため、LLMが扱うembedding空間とalignさせるためのprojectionも学習させ、LLMに注入した際にLLMの推論が崩壊するのを防ぐ。

(LLaMA2に対して)ID列のみを与えてFinetuningする手法でも、既存研究に対してSoTAを達成できるが、LLM-KTについて、QuestionEmbed+ID列、あるいはConceptEmbed+ID列をablationした場合、それぞれについて性能が低下することから双方が性能向上に寄与することも確認。

Embeddingを直接トークンとして注入することで、contextが肥大化する課題を解決するアプローチは興味深い。実用上はOpenAIのFinetuning APIなどではここまでの作り込みはできなさそうなので、OpenWeightモデルに対してこのような改良を施しservingをする制約が生じる。また、LLaMA2をベースとしたLLM-FT_IDでここまで性能が向上するのであれば、より強力なプロプライエタリモデルをベースとして学習をしたら、性能はどこまで伸びるのだろうか。




Paper/Blog Link My Issue
#LanguageModel #Transformer #Architecture #ResidualStream Issue Date: 2026-11-02 GPT Summary- Transformerの計算幅と残差状態の幅を分離し、ブロック間の広い残差と各層の固定幅計算を組み合わせるHiResを提案。 学習可能な射影で両空間を接続し、層自体を変更せずに残差状態を拡張する。 標準的な残差接続を一貫して上回り、FLOPs効率を1.30倍向上させ、OLMoE-1B-7Bでは学習損失と下流タスク精度を改善した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #PostTraining #read-later #Selected Papers/Blogs #train-inference-mismatch #Initial Impression Notes Issue Date: 2026-11-02 GPT Summary- RLにおける言語モデルの事後学習では、fp32のマスター重みから最近傍丸めで生成したbf16モデルの更新が多く破棄され、ロールアウト方策がオプティマイザに対して遅延する。Fair Castは、確率的丸めまたは誤差フィードバックによるバイアスのない重み書き出しを用い、追加のハイパーパラメータなしでこの遅延を軽減する。Qwen3-0.6B~4Bを用いた評価で、25組中18組で性能が向上し、平均6.1ポイント改善した。 Comment

元ポスト:

Loading…

学習側はFP32で重みを更新するが、重みの更新量が微小なため、推論側でBF16に変換して推論する際にその更新が失われる場合がある(学習側は更新したのに推論側ではなかったことになる)という指摘




Paper/Blog Link My Issue
#Analysis #LanguageModel #Architecture #Selected Papers/Blogs #reading #RecurrentModels Issue Date: 2026-11-01 GPT Summary- Transformerの一部を繰り返し適用するloopingにより、パラメータ数を増やさずにモデルを深くする。固定パラメータ予算では全体のlooping、学習FLOPs制約下では中間ブロックのloopingが有効。loop数の増加は飽和・不安定化するが、loop固有の低ランクadapterで性能が向上する。Parallel Loop Transformerでは、埋め込みと前トークンの隠れ状態を分離して正規化・結合することで、並列デコード時にもloopingの性能を回復。 Comment

元ポスト:

Loading…

所見:

Loading…

解説:

Loading…

Parallel Loop Transformer




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Selected Papers/Blogs #Security Issue Date: 2026-10-31 GPT Summary- LLMの事前学習データを汚染することで、CLIエージェントにリモートコード実行バックドアを埋め込めることを示した。Qwen3の0.6B、1.7B、4Bモデルを用いて、わずか0.1%の汚染でトリガー時に攻撃者指定のコマンドを実行。4Bモデルでは約92%のASRを達成し、0.0005%の低い汚染率でも攻撃が成立。 Comment

元ポスト:

Loading…

所見:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #Pretraining #LanguageModel #Selected Papers/Blogs #Author Thread-Post #MultiTokenPrediction Issue Date: 2026-10-31 GPT Summary- 標準的なMTPでは、MTP勾配の残差がNTPとマルチトークン学習を妨げ、モデルの大規模化に伴って悪化する。KL勾配復元トリックにより、ノイズの多い残差を除去してKL自己蒸留信号のみを学習するSoft-MTPを提案。追加パラメータやオーバーヘッドなしで、NTPパープレキシティ、投機的デコーディング速度、ゼロショット精度、数学・コード推論性能を標準MTPより一貫して向上。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #EfficiencyImprovement #LanguageModel #Reasoning #Selected Papers/Blogs #reading #One-Line Notes #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-31 GPT Summary- 推論努力度を上げると性能向上の可能性がある一方、低い努力度で解けたタスクに失敗したり、不要な計算コストや長い軌跡を生じたりする。4つのベンチマークと専有・オープンウェイトモデルで検証した結果、高努力度では検証や解決策探索が増加し、コストは最大42倍に達した。最低努力度から開始し、検証済みの失敗時のみ努力度を上げる適応的手法により、最高努力度固定と同等以上の性能を低コストで達成。 Comment

元ポスト:

Loading…

github: https://github.com/KaiserWhoLearns/ReasoningEffortLLM
trajectory: https://huggingface.co/datasets/KaiserWhoLearns/ReasiningEffortTrajec

- effortを上げることで解けるようになるインスタンスもあるが、一方で低いeffortで解けていたものが解けなくなることもあり、様々なモデルファミリーで観測(Figure 2)。
- effortによってタスクの解き方が変わり、高effortでは検証が増え、また、SWE系ベンチではeffortを上げると履歴中のgoldを読み取ろうとする傾向があり、goldを削除するとeffortが高くても、effortが低い場合と比較して低いスコアとなる。effortが低い場合の方が忠実にタスクをこなす場合がある。
- 低いeffortで解けるタスクを最大effortで解くと最大42倍のコストがかかるケースがある

ありそうでなかった分析で定量的に見ると興味深い。




Paper/Blog Link My Issue
#Pretraining #LanguageModel #MoE(Mixture-of-Experts) #Scheduler #WeightNormalization Issue Date: 2026-10-31 GPT Summary- WNの性能向上は正規化そのものではなく、主に実効学習率(ELR)の軌跡によって生じることを示す。 ELRを一致させると、WNとWDの学習ダイナミクスはほぼ同一となるため、ELRに基づくスケジューリングが重要である。 理論的な \(1/\sqrt{t}\) 減衰とアフィン調整を組み合わせたAIRを提案し、指定したピークLRと終端LRを実現する。 1280億トークンのMoE事前学習で、AIRはコサインスケジュールを上回り、学習損失、下流性能、ハイパーパラメータ頑健性を改善した。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization, Kaiyue Wen+, arXiv'26, 2026.06
- [Paper Note] Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks, Tim Salimans+, NIPS'16, 2016.02




Paper/Blog Link My Issue
#LanguageModel #AIAgents #AI-Human Co-Improvement #autoresearch/RSI #Author Thread-Post Issue Date: 2026-10-31 GPT Summary- 自律研究エージェントと人間研究者の共同改善に注目し、人間との相互作用能力を高める。ベンチマーク作成では人間が特にアイデア創出で重要であることを示し、エージェントの整合性や報酬ハッキングを評価するHackBenchを開発。人間シミュレータを用いたRLと、人間専門家に整合した評価基準によるRLで、エージェントのコミュニケーションと研究性能を向上させる。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] AutoBenchmark: benchmark creation & the role of humans, Seungone+, 2026.09
- [Paper Note] HackBench: Detecting and Localizing Reward Hacking in Autoresearch Agents, Li+, 2026.10
- [Paper Note] AutoInteract: Training agents to interact with humans, Chuanyang+, 2026.10
- Towards RL for Superhuman Text: Unslopping AI, Weston+, 2026.09




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #Decoding #read-later #Selected Papers/Blogs #Parallel #Author Thread-Post Issue Date: 2026-10-31 GPT Summary- 自己回帰モデルの1回1トークン生成による推論遅延を解消するため、潜在補助変数を用いて整合したトークンを並列生成するPLMを提案。自己回帰損失と並列デコーディング損失に基づく変分下限で学習し、自己回帰モデルや離散拡散モデルより高速かつ高性能なパレートフロンティアを達成。1.3Bモデルでは、数学・コーディング・指示追従で同等以上の性能を保ちながら、推論を2.3~5.7倍高速化。 Comment

元ポスト:

Loading…

pj page: https://www.justuswill.com/plm/




Paper/Blog Link My Issue
#Pretraining #LanguageModel #mid-training #PostTraining #read-later #Selected Papers/Blogs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-31 GPT Summary- 基盤モデルの事前学習・中間学習・SFT・RLを、モデルが生成した目標分布への尤度フィッティングとして単一の統合学習に統一。データの種類・割合・学習時期を選択する問題として訓練を捉え、静的データとRL生成データを混合する単一トレーナーを実装。精度と計算量のトレードオフおよびタスクカバレッジを改善し、継続学習に向けたより強固な基盤を提供。 Comment

元ポスト:

Loading…

事前、中間、事後学習をステージごとに分けるのではなく、(RLはMaxRLの枠組みを持ちいて)全て最尤推定の枠組みで統合し(Unified Training)、トレーニングの任意の時点でstatic/dynamicデータの混合を可能とする。

関連:
- [Paper Note] Maximum Likelihood Reinforcement Learning, Fahim Tajwar+, ICML'26 Spotlight, 2026.02




Paper/Blog Link My Issue
#ComputerVision #QuestionAnswering #SyntheticData #MultiModal #VisionLanguageModel #SpatialUnderstanding Issue Date: 2026-10-31 GPT Summary- 空間知覚とマルチモーダル長文脈理解に共通する「証拠の接続」能力を強化するため、EvidenceConnectを提案。 単一画像内の関連領域をズームし、視覚的証拠の比較・集約・連鎖を必要とする質問を合成する。 複数VLMの回答合意と領域アブレーションによりデータ品質を確保し、RLVRで基盤VLMを学習してZwZ2を構築。 きめ細かな知覚・空間知覚に加え、身体性空間推論、長文脈理解、マルチモーダルエージェント、一般視覚推論でも性能向上を達成。 Comment

github: https://github.com/inclusionAI/Zooming-without-Zooming-v2
HF: https://github.com/inclusionAI/Zooming-without-Zooming-v2

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Transformer #RecurrentModels #KV Cache Issue Date: 2026-10-31 GPT Summary- Looped Transformerで各反復のKVキャッシュを共有し、メモリ使用量を削減。最初の反復のみが共有キャッシュを書き込み、後続の反復は共有メモリと短いローカルウィンドウを利用する。メモリ共有によって品質を損なわず、むしろ向上し、LPTおよびハイブリッド版は従来のループ型モデルを上回る性能を達成。5回の反復で、標準TransformerよりFineWeb-Eduのパープレキシティを1.12〜1.82改善しつつ、コンテキストメモリを76〜79%削減。共有メモリとローカルメモリは異なる表現を学習し、共有メモリは後続反復の注意先および初期反復への勾配経路として機能。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #Embeddings #MultiModal #Encoder #2D (Image) #3D (Video) #audio #text #Author Thread-Post Issue Date: 2026-10-31 GPT Summary- EmbeddingGemma 2は、テキスト・画像・音声・動画を単一の統一空間に表現するオープンなマルチモーダル埋め込みモデル。層ごとの埋め込み簡素化と、モダリティ・目的関数を段階的に拡張するマルチステージ・カリキュラムを導入。単一・クロス・混合モーダル評価で高性能を達成し、包括的ベンチマークで専門モデルや2~12倍大きいモデルを上回る新たなパレートフロンティアを確立。エンコーダの選択的ロード、画像トークン数・埋め込み次元の調整、量子化重みにより、限られた計算資源にも対応。モデルと設計分析を公開し、さらなる研究を促進。 Comment

元ポスト:

Loading…

関係者ポスト:

Loading…

関連:
- embeddinggemma-2, Google, 2026.10




Paper/Blog Link My Issue
#ComputerVision #Evaluation #VisionLanguageModel #Realtime #Author Thread-Post Issue Date: 2026-10-30 GPT Summary- リアルタイム・インタラクションにおける視覚言語エージェントの能力を評価するため、6つの能力分類に基づく100種類のミニゲームからなるGym-Anything-RTを構築。 環境をリアルタイムで進行させる場合と、一時停止・減速させる場合を比較でき、GPT-6 Astra(xHigh)の合格率は9.0%から75.0%に上昇。 さらに、コード実行によってリアルタイムの環境認識・操作を回避するなど、既存エージェントの興味深い挙動も明らかにした。 Comment

code: https://github.com/gym-anything/gym-anything-rt
pj page: https://gym-anything.github.io/gym-anything-rt/

関連:
- [Paper Note] RT-Safe: Benchmarking Agent Safety in Real-Time Embodied Environment, Tianruo Rose Xu+, arXiv'26, 2026.10

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #LanguageModel #MoE(Mixture-of-Experts) #Scaling Laws #RecurrentModels Issue Date: 2026-10-30 GPT Summary- ループ型モデルとMoEの再帰・スパース性を同時に捉える「Loop Scaling Laws」を提案。スパース性を条件とした再帰写像により、実効パラメータの増加と両者の相補的効果をモデル化し、従来の密モデルおよびMoEのスケーリング則を特殊例として再現。スパース性はアクティブパラメータ効率を約3倍、再帰は推論タスクの総パラメータ効率を約2倍に向上させ、両者の組み合わせで性能をさらに改善。1兆トークン規模でも効果は維持され、ループ型MoEは約2倍のサイズを持つ非ループ型MoEと同等の推論性能を、より少ない学習計算量で達成。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Data Issue Date: 2026-10-30 GPT Summary- データキュレーションによる性能向上を、到達可能な性能を高める「進展」と、同じ性能により速く到達する「高速化」に分けて分析。 訓練目的とターゲット目的の乖離がある場合にのみ最終性能が向上し、一致する場合は学習の高速化にとどまることを示す。 未キュレーション時の訓練損失とターゲット損失の差分であるΔテストを提案し、Δが十分に大きい場合は持続的な性能向上を、Δ≈0の場合は学習予算の増加に伴って効果が縮小することを実験的に確認。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Transformer #Attention #Architecture #MoE(Mixture-of-Experts) #One-Line Notes #Author Thread-Post Issue Date: 2026-10-30 GPT Summary- MoEトランスフォーマーにおける条件付き計算を拡張し、アテンションにも疎性を導入してMoE演算子と入れ子構造を形成するNestorを提案。同じ計算量・疎性の条件で従来のMoEを上回り、継続的事前学習でも長文脈・新ドメインへの適応性と忘却耐性を向上。モデル・データ・文脈長の拡大後も有効性を維持。 Comment

pj page: https://ma-lab-berkeley.github.io/Nestor/
github: https://github.com/Ma-Lab-Berkeley/Nestor

MoEをより一般化したアーキテクチャの提案で、blockの中に新たにcolumnという概念を導入し、各トークンはいくつかのcolumnをcolumn routerに基づいて選択する。

各トークンは固有のattentionとexpertsとルータを持ち、あるトークンは選択したcolumnを同様に選択したtokenにしかattendしない(attention->MoEという形でsparcityが入れ子となる。)

(Sparse Attentionと似ているかもだが)FFNだけでなく、attentionについても新たなsparsityが導入されているという感じだろうか。

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #LanguageModel #QuestionAnswering #Discourse #EMNLP #Open-endedTasks #Author Thread-Post Issue Date: 2026-10-28 GPT Summary- 情報探索型質問への回答を、質問解釈を伴う談話行為の系列として表現し、修辞構造理論に基づいて回答者の修辞的方略を特定するDiscoTraceを提案。9つのコミュニティの回答を分析した結果、コミュニティごとに回答構成の多様な選好を発見。LLMは人間のコミュニティ固有のガイドラインを模倣しても修辞的多様性を示さず、広範さを優先して人間が扱わない解釈にも対応する。DiscoTraceで明らかにした豊かな回答行動は、文脈に応じた情報ニーズに敏感なLLM回答システムの開発に活用できる。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #AIAgents #Evaluation #VisionLanguageModel #3D (Video) #Author Thread-Post #Proactive Issue Date: 2026-10-28 GPT Summary- 動画とユーザーの連続的な観測から、LLM/VLMを用いて暗黙的・動的なユーザー意図を推論し、適切なタイミングで応答。StreamVibe-Benchで明示的・暗黙的・動的な意図を評価し、StreamVibe-VLと階層型メモリを持つStreamVibe-Harnessで状態と意図の変化を追跡。StreamVibe-VLは応答タイミングと回答品質を10.7%、StreamVibe-Harnessは継続的な能動的インタラクション性能を12.3%向上。 Comment

pj page: https://stream-vibe.github.io/




Paper/Blog Link My Issue
#Dataset #Novelty #LanguageModel #AIAgents #Evaluation #ScientificDiscovery #read-later #Selected Papers/Blogs #Initial Impression Notes #autoresearch/RSI Issue Date: 2026-10-28 GPT Summary- LLMを用いた新規性評価器の性能と設計上の選択肢を体系的に検証。 OpenReviewの査読コメントとLLM生成アイデアを組み合わせた評価用データセットを構築。 プロンプトの小さな変更で判定やペアワイズ正解率が大きく変動し、検索や推論予算の効果も限定的。 専用評価器も単純なプロンプトベースラインを下回り、既存の新規性向上の主張に疑問を投げかけた。 Comment

元ポスト:

Loading…

benchmark: https://huggingface.co/datasets/allenai/novelty-judge-bench
blog: https://allenai.org/blog/novelty-bench

ICLRのレビュー結果からレビューが独創的だと明確に判断されたものとそうでないものを収集し、LLMがnoveltyを判定する能力に関するベンチマークを構築したようで、human-human pairとhuman-AI pairの2種類のセットが存在するとのことである。前者は人間のレビューに基づいて作成されたペアで、後者は、LLMによるアイデアは新規性が低いと仮定しLLMか生成したアイデアとレビュワーが明確に新規性があると判断したアイデアとのペアとする、という感じのようである。まだ元ホストしか読めていない。

ポイント解説:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #RAG(RetrievalAugmentedGeneration) #memory #Initial Impression Notes Issue Date: 2026-10-28 GPT Summary- 長期推論エージェントにおけるメモリ構築の正味の価値を、素朴なRAGとの比較で評価。メモリによる利得をmemory benefit、情報の除去・不明瞭化による損失をmemory taxとして分解。多くの専用メモリシステムがRAGを下回ることを示し、メモリ税の発生要因をシステム側・評価側から分析。単独の性能ではなく、メモリの正味の価値に基づく設計・評価の重要性を提案。 Comment

元ポスト:

Loading…

まだ論文自体は全く読めていないが、ベースラインをしっかり設定しようね...という話な気がする(前もどこかで似たような話があったような)




Paper/Blog Link My Issue
#LanguageModel #Flow-basedGenerativeModels Issue Date: 2026-10-28 GPT Summary- 連続フロー言語モデルLafaを提案し、データ効率よく80億パラメータへ拡張。プレフィックスに因果的アテンション、ブロック内に双方向・非同期フローを用い、事前学習済みARモデルから効率的に学習する。プレフィックスキャッシュとブロック並列デコーディングにより高速推論を実現し、ARモデルと同等以上の性能を達成。さらに、フローベースのドラフトを同一モデル内で検証する自己投機的デコーディングにより、品質を維持したままARモデルの2.54倍のスループットを実現。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #On-Policy #SelfDistillation Issue Date: 2026-10-28 GPT Summary- モデル自身が生成した質問・回答ペアと特権的な推論過程を用いて、外部教師や人手で作成された問題セットに依存しないオンポリシー自己蒸留を実現。 高レベルなトピック記述のみから自律的にカリキュラムを構成し、テキストおよびマルチモーダル領域で自己改善を達成しながら、未学習領域の能力も維持。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #EMNLP #SparseAutoencoder #AI Detector Issue Date: 2026-10-27 GPT Summary- AI生成テキスト検出器の残差ストリームにSAEを学習し、各特徴に解釈ラベルを付与して忠実度の高い特徴のみを選別。解釈可能な特徴を用いて軽量な分類器を学習し、AI生成テキスト特有の具体的な言語上の手がかりに基づいて判定。高い解釈可能性を実現しつつ、ニューラル型・文体計量型手法を上回る分布外性能を達成。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #LongContext #SparseAttention Issue Date: 2026-10-26 GPT Summary- 学習可能なスパースアテンションにおける選択処理のボトルネックに対し、HyScaleを提案。HyTopKで完全なスコアテーブルを生成せずに上位k件を求め、selection replayで再計算時に選択結果を再利用する。エンドツーエンドの最適化により、100万トークンの長文脈学習を既存手法より最大2.07倍高速化。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Pretraining #LanguageModel #SyntheticData #Scaling Laws #read-later #Selected Papers/Blogs Issue Date: 2026-10-26 GPT Summary- 合成リライトにおけるモデルサイズ・学習量・リライト割合・生成計算量の関係を捉えるスケーリング則を提案。 計算量制約下では最適なリライト割合が計算量とともに増加し、リライト生成コストを含めても、リライターの10分の1の学習計算量でリライターを上回る性能を達成。 データ制約下でも、同サイズのリライターによる合成データで学習したモデルが、3B以下の全モデルサイズで自然データのみの学習を上回った。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #DiffusionModel Issue Date: 2026-10-26 GPT Summary- 拡散言語モデルにおいて、自己条件付けのみで連続生成を行うLAWを提案。デノイザーの予測に基づく期待埋め込みをステップ間で伝播し、最後に一度だけトークンをデコードすることで、ループホールを全面的に活用。数独・迷路・GSM8K・OpenWebTextで、既存の離散/連続拡散モデルや自己回帰モデルに匹敵する、または上回る性能を達成。特に、GSM8Kでは一様ループホール型拡散の34.5%に対して42.2%、Duoのファインチューニングでは17.2%から48.1%に精度が向上。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #DiffusionModel #read-later #Selected Papers/Blogs #SpeculativeDecoding #Initial Impression Notes Issue Date: 2026-10-26 GPT Summary- 拡散モデルベースのドラフタで複数トークンを並列生成し、LLM推論を高速化。DCOCOは複数候補を保持し、隣接位置の文脈整合性を並列評価することで、失われたブロック内依存関係を復元。4種類の検証器と10種類のベンチマークで最高スループットを達成し、通常のデコーディング比で最大6.6倍、同時サービングでも競合手法比6〜23%の高速化を実現。 Comment

github: https://github.com/two-delta/DCOCO
pj page: https://two-delta.github.io/dcoco-blog/
models: https://huggingface.co/collections/TD-Labs/dcoco

元ポスト:

Loading…

DFlashの課題を的確に解決し高速化を実現しているように見え、インパクトが大きそう。

- [Paper Note] DFlash: Block Diffusion for Flash Speculative Decoding, Jian Chen+, arXiv'26, 2026.02
- DFlash 2: Keep Drafting Parallel, Inco AI, 2026.08




Paper/Blog Link My Issue
#Analysis #Pretraining #MachineLearning #LanguageModel #Transformer #read-later #Stability #Simulation Issue Date: 2026-10-26 GPT Summary- LLMの学習中に生じる損失スパイクを、重い裾を持つ入力を用いた二次モデルで再現。DNNの層ごとの学習ダイナミクスをモデル化する理論的枠組みとシミュレーション手法を提案し、損失スパイクの予測と適切なAdamのβ₂スケジュールの導出を実現。実験では、提案手法により経験的な性能向上を確認。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #ScientificDiscovery #Selected Papers/Blogs #Initial Impression Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-10-26 GPT Summary- 研究アイデアの創出と文献レビューを相互に発展させるため、アイデアの修正に応じて関連文献も変化する「文献起点のピボット」を提案。LitPivotは、アイデアの選択部分に関連する論文を動的に検索し、文献に基づく批評を提示することで、アイデアの草案作成と検証を支援。実験では、より高く評価されるアイデアの創出と研究領域への理解向上を確認し、研究者がアイデアを反復的に発展させる過程を明らかにした。 Comment

元ポスト:

Loading…

研究アイデアが変化するにつれて関連研究も変化すべきだよね、という話で、研究アイデアとliteratureの構築を共進化させる枠組みを提案しているようである。

(文献をしっかり読めておらず、第一印象でふと考えたことを書き殴っています)
本研究の主眼は、literatureにgroundingされた研究アイデアの洗練であり、創造性や研究アイデアの重要度はout-of-scopeと思われるが、pivotをかけ続けるうちに、アイデアがどんどんshrinkしていったりしないのだろうか?たとえば、シードとなるアイデアが既に既存研究で完全に実施されていたとして、関連研究に基づいてpivotをかける際に、その研究が抱える局所的な課題を解決するような方向にシフトしていくことになりそうで、研究として重要な課題を解く、という方向にpivotできるだろうか。

創造性の欠如に関する関連研究:
- [Paper Note] Can AI agents conduct open-ended AI research? Early evidence from two case studies, Peter Kirgis+, arXiv'26, 2026.07
- [Paper Note] The Alien Space of Science: Sampling Coherent but Cognitively Unavailable Research Directions, Alejandro H. Artiles+, arXiv'26, 2026.03
- [Paper Note] Measuring the Gap Between Human and LLM Research Ideas, Ziyu Chen+, arXiv'26, 2026.07
- [Paper Note] AI scientists produce results without reasoning scientifically, Martiño Ríos-García+, arXiv'26, 2026.04
- [Paper Note] Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers, Chenglei Si+, arXiv'24, 2024.09

literatureに裏打ちされた研究アイデアは非常に興味深い方向性だと思っていて、そこからさらに、研究として重要な課題を解決する、ためには何が必要だろうか。

また、以下の文献ではAI Agentが、研究を進展させる重要な文献を同定できないという課題も指摘されている:
- [Paper Note] ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research, Sohyeon Kim+, arXiv'26, 2026.10




Paper/Blog Link My Issue
#ComputerVision #Dataset #Evaluation #MultiModal #EMNLP #VisionLanguageModel #EntityLinking #Author Thread-Post Issue Date: 2026-10-26 GPT Summary- マルチモーダルエンティティリンキングにおいて、知識グラフの構造的指標を用いて希少エンティティを定義し、人気度では捉えられない失敗要因を分析。視覚言語モデルがWikipediaを反復的に検索・推論して動的に証拠を収集する学習不要の手法を提案。検索と推論を組み合わせることで希少エンティティの性能を改善し、MERLINで全体6.9%、希少エンティティで最大23.3%の向上を達成。さらに、希少エンティティ評価用のMERLIN-Rareを公開。 Comment

元ポスト:

Loading…

dataset: https://huggingface.co/datasets/neulab/merlin-rare
github: https://github.com/neulab/think-before-you-link




Paper/Blog Link My Issue
#LanguageModel #LongContext #Scaling Laws #mid-training Issue Date: 2026-10-26 GPT Summary- LCCPのトークン数と長コンテキスト性能の関係を加法的べき乗則でモデル化し、異なるモデルサイズや予算に対して性能を予測。直近4チェックポイントを平均するConstant-Last4で、学習軌跡に沿った安定したモニタリングを実現。約1,000億トークンまで性能は継続的に向上し、明確な飽和は見られず、128Kコンテキストや下流の長文理解・エージェントタスクにも効果が転移。LCCPは早期に打ち切らず、継続的にスケールすべきことを示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NeuralNetwork #Pretraining #LanguageModel #LowPrecision Issue Date: 2026-10-25 GPT Summary- NVFP4を用いて8Bの密モデルと30B-A3BのMoEモデルを最大1兆トークンまで学習し、中規模モデルにおけるFP4学習レシピを体系的に比較。 不偏勾配推定や選択的な高精度処理などを組み込んだ最終レシピを提案し、BF16との差が最小となる優れたFP4学習性能を実現。 アブレーションにより、各技術が損失を改善すること、精度回復には一部層の高精度処理が必要であること、テンソルごとに適切な誤差削減手法が異なることを明らかにした。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #AIAgents #KV Cache Issue Date: 2026-10-25 GPT Summary- LLMエージェントの長大な軌跡に対して、キャッシュ操作によりアクティブなKVキャッシュを直接制御するキャッシュエンジニアリングを提案。dropで将来のアテンションから不要なキャッシュを除外し、reposで保持したキーの位置エンコーディングを調整することで、軌跡の変更や再プレフィルを回避する。キャッシュ操作系列によって状態が異なる履歴依存性を明らかにし、状態付きキャッシュの再利用・退避・復元を管理するAKVサービングエンジンを設計。ローリングdropにより、要約手法と比べて精度を1.7ポイント向上、コストを27.7%削減し、スループットとレイテンシも改善。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #Pruning #Initial Impression Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-10-25 GPT Summary- 長いコンテキスト入力に対して、TokenGateを追加し、重要なトークンを選択して不要なトークンをプルーニング。MoEに着想を得たtoken-gated attentionにより、top-K演算を含むエンドツーエンド学習を実現。精度を維持したまま、TTFTを最大11.3倍高速化し、ピークメモリ使用量を最大3.4倍削減。 Comment

元ポスト:

Loading…

github: https://github.com/token-gate-llms/TokenGate

layerの途中でトークンをtop-kの重要なトークンにpruningするgateを学習し、prefillのメモリ効率と速度を改善する。既存のLLMにも適用できる、という話に見える。要は人間の重要な部分以外は読み飛ばすといった挙動を実現したい、という気持ちである。

関連:
- [Paper Note] Learning to Skim Text, Adams Wei Yu+, ACL'17, 2017.04

Sparse Attentionと本質的に何が違うのか?と思ったが、本研究はトークンそのものを削除するため、削除されたトークンに対する計算やメモリは完全になくなる。Sparse Attentionはそれらは保持されており、Top-kのトークンの選択に利用されたりするため、その点で本研究の方が削減効果は大きそうに感じる。が、トークンの情報を完全に削除することによって、当該トークンは削除されたレイヤー以後では参照できなくなるため、その点は性能が低減する要因となりうる。




Paper/Blog Link My Issue
#ComputerVision #AIAgents #Coding #VisionLanguageModel #3D (Scene) #Robotics #SpatialUnderstanding Issue Date: 2026-10-25 GPT Summary- 空間推論では、3D知覚ツールが取得した証拠を結論へ変換するモデルとツールの隔たりが課題となる。 S-Agent 2.0は、汎用コーディングエージェントにコマンドライン型知覚ツールを統合し、証拠の取得・永続的なシーンメモリへの保存・平易な空間言語による解釈を通じて、証拠のループを閉じる。 MMSI-BenchとReVSIで既存のツールなしエージェントおよび専用システムを上回り、オープンソース・クローズドソースの双方で大幅な性能向上を達成。 バックボーンが高性能になるほど他手法の改善幅が縮小する中でも、S-Agent 2.0は安定した向上を維持し、CodexやClaude Codeなど複数の汎用コーディングエージェントで利用可能。 Comment

blog: https://ropedia.github.io/S-Agent-2.0/

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #ContinualLearning #AgentHarness Issue Date: 2026-10-25 GPT Summary- LLMエージェントを、重みを更新せずにプロンプト・メモリ・スキルを自己改変する継続学習器として評価。 BIRD、BFCL、ScienceWorldの4つのドリフト型タスクストリームでReasoningBank、GEPA、Meta-Harnessを比較した結果、自己進化は性能を向上させる一方、可塑性と安定性のトレードオフが生じた。 自己改変はグローバル編集による干渉と過去知識の上書き、類似度検索は無関係なメモリの検索や相反するワークフローの衝突を招き、現行手法は不完全な継続学習器に留まる。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#NeuralNetwork #Analysis #MachineLearning #LanguageModel #Transcoders #Interpretability Issue Date: 2026-10-25 GPT Summary- MLPニューロンと強く整合するトランスコーダ特徴を「ニューロン特徴」と定義し、13個のオープンソース・トランスコーダを分析。 ニューロン特徴は後段層の活動の大部分を占め、基盤MLPの要素と安定して対応する一方、他の特徴は実行間の変動が大きく、MLPのヤコビアンや学習変化とも整合しない。 MLPニューロンは従来の想定以上に解釈可能性の基盤となることを示し、非ニューロン構造を適切に帰属する手法の必要性を指摘。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #Unsupervised #LanguageModel #AIAgents #NeurIPS #Author Thread-Post #FailureAttribution Issue Date: 2026-10-25 GPT Summary- LLMエージェントの失敗軌跡から、タスク失敗を引き起こしたエラーステップを特定する教師なし失敗帰属を提案。成功軌跡のみを用いて、ニューラル制御微分方程式により潜在空間の動的パターンを学習。失敗軌跡では、学習した成功ダイナミクスからの逸脱を異常スコアとして評価し、エラーステップを検出。OATは成功軌跡100件のみで学習でき、プロンプトベース手法より200~5000倍高速で、同一分布内外の双方でF1スコアをそれぞれ20%および7%向上。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #AIAgents #VisionLanguageModel #AgentHarness Issue Date: 2026-10-24 GPT Summary- MLLMに能力層と永続的マルチモーダルメモリを統合し、外部ツールやウェブ、構造化データから得た証拠を取得・保持・統合するOpenVLHarnessを提案。タスクレベルのツールインターフェースと証拠のレンダリングにより、異種ツールの出力をモデルが解釈可能な観測情報へ変換し、コーディングで複数の結果を組み合わせた計算を実現。22ベンチマークでツールなしのベースラインを平均9.7~12.6ポイント上回り、最大推論強度のベースモデルや既存手法を超える性能を、最大37%のトークンコストで達成。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Transformer #Architecture #ResidualStream Issue Date: 2026-10-24 GPT Summary- 深さ方向の表現混合を情報の保存・取得として捉え、PreLN Transformer、mHC、AttnResを統一的に記述するDepth Memoryを導入。 再帰的最小二乗法に基づくLinear Depth Memory(LDM)により、残差・線形連想メモリー・逆共分散の3ストリームを用いて深さ方向の情報取得を行う。 ハードウェアを考慮した実装でメモリー使用量と転送量を削減し、4億・15億パラメータ規模で既存手法より低いパープレキシティと競争力のあるゼロショット精度を達成。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #Mathematics #Proofs Issue Date: 2026-10-23 GPT Summary- 形式数学における未解決問題解決能力を評価するため、REUから収集した244個のLean 4形式化未解決問題からなるReuF2Fベンチマークを提案。各問題とその否定をDocker上のLeanプロジェクトに配置し、mini-SWE-agentを基盤とするLeanimum-agentで統一的に評価する。著名ではなく長期間未解決の問題を用いることで、信頼性の高いホールドアウト評価を実現。最先端モデルでも解決率は約40%にとどまり、形式化された未解決研究問題には大きな改善の余地があることを示した。 Comment

元ポスト:

Loading…

github: https://github.com/cmu-l3/Leanimum-agent
benchmark: https://github.com/cmu-l3/reuF2F




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #Initial Impression Notes Issue Date: 2026-10-22 GPT Summary- AIエージェントの協働能力を測定するCollaborative Intelligence Benchmarkを提案。8つのチームワーク側面にわたる240タスクで、単独能力とチームワークを分離して評価。18モデルを比較した結果、全モデルに協働上の弱点があり、一般能力の高さは優れたチームワークを保証しないことを示した。最先端モデルは安全でない近道や不正を拒否する一方、対人圧力や対立解決、他モデルの作業確認に課題を抱える。 Comment

github: https://github.com/zou-group/collaborative-intelligence
blog: https://zou-group.github.io/collaborative-intelligence/

元ポスト:

Loading…

モデルをチームの中に配置し、チームメイトの1人が問題を起こしたときに、チームが正しい成果を得られるよう行動できるかを問うベンチマーク。たとえば、チームメイトが重要な手順を省略することを提案した場合にnoと言えるか等の、良いチームメイトにおける8つの基準に基づいてスコアリングされる。

著者ポスト2(preprintが出版された時):

Loading…




Paper/Blog Link My Issue
#LanguageModel #Chain-of-Thought #Reasoning #Safety #InstructionFollowingCapability #Monitorability Issue Date: 2026-10-22 GPT Summary- CoT内に制約を自己指示として置くことで、推論モデルのCoT制御可能性を評価。従来のユーザープロンプトによる評価では制御可能性が低く見積もられるが、自己指示や一般的なリマインダーにより大幅に向上する。さらに、ユーザープロンプトから自己指示を生成させることで、推論チャンネルにアクセスできなくても制御性を改善可能。自己指示は監視回避にも利用でき、CoT監視のリスクを示した。 Comment

元ポスト:

Loading…

CoTを制御する際に、thinkタグ内において、モデル自身のreasoning traceとして指示を含める(self-instruction)ことで、CoT制御の指示追従性能を向上できる、という話に見える。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #Environment #Data Issue Date: 2026-10-22 GPT Summary- データエージェント訓練のために、LLMを用いて環境・タスク・評価基準を合成するマルチエージェントエンジンData Worldを提案。 ファイル生成前に背後の世界を定義し、独立監査によって情報復元可能性を検証することで、評価と強化学習報酬を実現。 50の検証用世界と100タスクからなるDataWorld-Bench、および1,037の世界から生成した2,135の訓練タスクを構築した。 最先端モデルは計算能力に比べて洞察発見能力が不足していたが、合成タスクによるRLゼロ訓練により、DataWorld-35B-A3Bは複数のデータ分析・職業ベンチマークでベースモデルを大幅に上回った。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] EurekaBench: Measuring Agentic Ability to Discover New Scientific Insights, Jiayi Geng+, arXiv'26, 2026.09




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Coding #SoftwareEngineering #mid-training #DataMixture #Initial Impression Notes Issue Date: 2026-10-22 GPT Summary- 事前学習とSFTの間に、256Kの長文脈と自然なソフトウェア工学データ・少量のエージェント軌跡を用いたmidtrainingを導入。 この訓練により、NemotronモデルのSWE-benchやDeepSWE性能とエージェント・ハーネスへの頑健性が向上。 アブレーションと固定時間SFTによる評価プロトコルも提示。 Comment

元ポスト:

Loading…

長文脈のcodingデータによるmidtrainingの詳細なレシピで、data mixtureも明記されている




Paper/Blog Link My Issue
#ComputerVision #AIAgents #Evaluation #Selected Papers/Blogs #VisionLanguageModel #Robotics #EmbodiedAI #Realtime #Author Thread-Post Issue Date: 2026-10-14 GPT Summary- RT-SAFEを用いて、リアルタイム制約下における身体化エージェントの安全性を評価。移動するエージェントや危険、交通規則を含む変化する環境で、8種類のVLMは高いタスク完了率を示す一方、安全な完了率は低く、最難関設定ではわずか0.7%に留まった。静的評価と比べ、リアルタイム実行では衝突が12.3倍に増加し、意思決定の遅延が物理的リスクになることを示した。さらに、RT-SAFEを用いたオフライン強化学習により、タスク完了率を維持しながら衝突率を大幅に低減。 Comment

元ポスト:

Loading…

pj page: https://xtrose29.github.io/RT-SAFE/
github: https://github.com/XTRose29/RT-SAFE




Paper/Blog Link My Issue
#Embeddings #Analysis #MultiModal Issue Date: 2026-10-14 GPT Summary- 独立に学習された異なるモダリティの埋め込み集合を、ペアデータなしでWasserstein-Procrustes法により単一の直交写像で整合。粗い幾何学的アライメントにより、複数のデータセット・モダリティで安定したクロスモーダル対応を実現し、標準指標から適用可能性を予測。少数のペアデータ環境では既存手法を大幅に上回り、ペアなしでのテキスト画像生成も実証。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #MoE(Mixture-of-Experts) #Scaling Laws Issue Date: 2026-10-13 GPT Summary- MoEのスパース性をまたいで転移可能なハイパーパラメータ・スケーリング則を提案。最適な学習率とバッチサイズは総パラメータ数や活性化パラメータ数だけでなく、活性化率にも依存することを大規模な事前学習実験で明らかにした。活性化率を考慮した統一的なべき乗則により、モデル規模とスパース性をまたぐハイパーパラメータの同時外挿を実現し、超スパースMoEや異なる専門家粒度でも有効性を確認。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #SSM (StateSpaceModel) #Architecture #ContextEngineering #SpeculativeDecoding #LinearAttention Issue Date: 2026-10-13 GPT Summary- SSMの状態I/Oによるデコードのボトルネック、投機的ロールバックの困難さ、量子化誤差の伝播を解決するため、状態をチェックポイントと直近入力のバッファで表現するReplaySSMを提案。再帰を展開して出力計算とチェックポイント更新を分離し、状態書き込みを削減するとともに、バッファポインタ操作による低コストなロールバックを実現。さらに、出力計算と再帰更新で異なる精度のチェックポイントを使い分け、量子化誤差の伝播を防ぐ。Mamba-2およびGated DeltaNetを用いた実験で、標準デコーディングを1.20~1.47倍高速化し、120BクラスのモデルではvLLMの投機的デコーディングの約1.8倍のスループットを達成。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Test-Time Scaling #Diversity #One-Line Notes #LongHorizon #Author Thread-Post Issue Date: 2026-10-13 GPT Summary- 自律研究エージェントは、候補解の提案と評価を反復してオープンエンドな問題に取り組むが、実行ごとに異なる局所解(idea basins)に停滞する。フォーク・アンド・フラッシュにより、蓄積したワークスペースを保持したまま複数の新しい軌跡へ分岐し、最高スコアの軌跡を継続する。同一の計算予算で、単一実行およびベスト・オブ・Nを上回り、平均スコアをそれぞれ相対的に66.0%および44.4%改善。 Comment

元ポスト:

Loading…

long horizonなタスクを実施する際に、定期的にworkspaceの状態は保持しつつ、chat contextをリセットしてAI Agentのフォークを走らせ、固定されたhorizonの中で、最も良いものを選択して継続することで、特定のアイデアにこだわり局所解に陥った状況(=idea basins)から脱出することで、最終的な性能を改善する。




Paper/Blog Link My Issue
#LanguageModel #Attention #Architecture Issue Date: 2026-10-13 GPT Summary- AttnResをマルチヘッドの深さ方向注意に拡張したMSARを提案。マルチスケール因果畳み込みで多様な系列コンテキストを生成し、過去の表現を異なる視点から検索・適応的に統合することで、最小限のオーバーヘッドでマルチストリーム計算を実現。18B・28B MoEの全下流ベンチマークで既存の残差手法を上回り、標準残差比で同一損失時の計算速度を1.58倍に向上。 Comment

元ポスト:

Loading…

解説:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Reasoning #PostTraining #read-later #Selected Papers/Blogs #Generalization Issue Date: 2026-10-12 GPT Summary- タンパク質構造に基づく質問応答データセットFoldingCorpusを用い、離散的な構造回答と連続的な3次元幾何情報を組み合わせてLLMを追加学習するFold2Reasonを提案。 タンパク質構造予測だけでなく、空間・グラフ・科学・一般推論の全10ベンチマークで性能が向上し、マクロ平均正解率が45.09%から48.33%へ上昇。 ランダム・合成・シャッフル構造では改善が小さいか負となったことから、構造密度の高い科学データが汎用的な推論能力の向上に有効であることを示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Multi #LanguageModel #AIAgents #Open-endedTasks #autoresearch/RSI #Author Thread-Post Issue Date: 2026-10-12 GPT Summary- 検証困難なオープンエンドタスクにおける監督のボトルネックに対し、RSI手法MASSを提案。単一モデルにマルチエージェント・ワークフローを生成・実行・評価させ、進化的最適化と自己生成軌跡によるファインチューニングを交互に行う。構造化された探索により、タスクに適した役割分担と情報経路を発見し、4つのベンチマークで出力トークンあたり1.2~1.6倍の性能向上を達成。さらに、マルチエージェント軌跡で訓練した学生モデルは、より多くのトークンで訓練した単一エージェントモデルを上回った。 Comment

github: https://github.com/SakanaAI/mass

元ポスト:

Loading…




Paper/Blog Link My Issue
#NeuralNetwork #Search #LanguageModel #Transformer #Architecture #read-later #Selected Papers/Blogs #KV Cache #ContinualLearning Issue Date: 2026-10-11 GPT Summary- 訓練データを固定サイズの重み行列に圧縮せず、各データ点のkey-value表現を保存してattentionで検索する検索中心型深層学習(RCDL)を提案。 RBFやsoftmax類似カーネルに対応した関数勾配ベースの学習則により、kernelized attention layerを原理的に最適化し、画像分類と教師・生徒学習で高い学習効率と有望な性能を示す。 さらに、LAをMesaNet/DeltaNetに置き換えることで、固定サイズNNの最適化手法との形式的なつながりを明らかにした。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #LanguageModel #Faithfulness #COLM #One-Line Notes #Author Thread-Post Issue Date: 2026-10-11 GPT Summary- LLMを架空の人物として意思決定させると、明示的な自己報告の訓練なしに、学習した選好を正確に自己報告する能力が出現。訓練が進むにつれて選好表現が前段の層へ移行し、言語化機構からアクセス可能になることが示された。さらに、アトリビューション・パッチングにより、忠実なモデルでは意思決定と自己報告の機構的特徴が強く類似することを確認。モデルの内部構造を調べることで、忠実な自己報告と不忠実な作話を区別できる可能性を示した。 Comment

openreview: https://openreview.net/forum?id=4ku6wUi0Ji&referrer=%5Bthe%20profile%20of%20David%20Bau%5D(%2Fprofile%3Fid%3D~David_Bau1)

元ポスト:

Loading…

- 忠実な自己報告(faithful self-report)は意思決定能力よりも遅れて獲得される
- 忠実性が向上するにつれて、preferenceの表現がより浅い層へ移行する傾向にある
- 忠実に自己報告する能力はpreferenceの表現が浅い層へ移行し、言語生成に関するメカニズムからアクセス可能となることに依存することが示唆された
- 以下のAttribution Patching with gradientsと呼ばれる手法を用いて、attribution similarityと呼ばれるものを見ることで、忠実性を確認できることを示唆したようであるが、手法をよく理解できていない。後ほどこれは理解したい。
- Attribution Patching with gradients: Attribution Patching: Activation Patching At Industrial Scale, Neel Nanda, 2023.02
- (5.2節)ざっくり言うと、本実験ではpreferenceを学習させたLoPAアダプタが存在するが、LoRAアダプタをonからoffの状態にincrementalにシフトさせた上で、それぞれdecision taskとself-reportタスクを実行させ、モデルのoutput dimensionごとの予測のスコアを要素として持つベクトル(=attribution vector)を構成し、decision taskでのattribution vectorとself-reportタスクでのattribution vectorのコサイン類似度を測ることで、出力されるテキストそのものを見なくても忠実性が分かるという話のようだが、細かく理解できていない。
- たとえば、忠実なモデル、忠実ではないモデルではそれぞれ類似度(のおそらく平均)が、0.34, 0.08となったようで、差が生じたとのことである。




Paper/Blog Link My Issue
#LanguageModel #Attention #SoftwareEngineering #Selected Papers/Blogs #One-Line Notes #GPUKernel #LowPrecision #Bug Issue Date: 2026-10-09 GPT Summary- BF16のFlashAttention-3を用いた事前学習で、後半に勾配ノルムが急増し、損失がFP32より悪化する問題を発見。softmaxの融合積和演算と、BF16丸めによるスコア勾配の総和ゼロの破れが原因で、平均キーの情報がクエリ・キー勾配に漏れ込む。キャスト後にランク1補正を加えて保存則を復元するGProjを提案し、勾配誤差を大幅に削減。計算時間の増加を4.7%に抑えつつ、FP32アテンションと同等の損失で学習可能であることを示した。 Comment

元ポスト:

Loading…

低精度の学習でFlashAttention3を用いると、実装のバグにより勾配が爆発する場合があり、このような状況が引き起こされる状態(KeyのNormが大きくなる)は、学習の後期に入らないと生じない、という丸め誤差に起因するバグのようである。

Appendix I 1.3節、式20を見ると、FMAを用いたsoftmax演算でなぜ丸め誤差が生じるかが(わりとわかりやすく?)記述されている。

関連:
- KohakuFA: Flash attention for Blackwell, with gradients you can trust




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Verification #AgentHarness Issue Date: 2026-10-09 GPT Summary- LLMエージェントの複数ロールアウトを用いて、意見の不一致と一致の両方を検証するVeriHarnessを提案。 workspace・証拠収集ツール・再利用可能な検証スキルを与え、競合する主張の解決と見落とされた要件の探索を行い、成果物を選択・改訂する。 5つの長期タスクベンチマークで最高の選択性能を達成し、証拠に基づく改訂と失敗からの自己改善によって、単一ロールアウトを大きく上回った。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#MachineTranslation #LanguageModel #OpenWeight #Author Thread-Post Issue Date: 2026-10-09 GPT Summary- North Small Translateは、命令追従能力を備えたオープンウェイトのLLMベース機械翻訳モデル。MoE構造により、総パラメータ2,180億のうち250億をアクティブに使用。難易度サンプリングと、教師あり学習・直接選好最適化・オンライン強化学習を組み合わせた5段階の学習で訓練する。推論を行わないことで高スループットを実現しつつ、任意のエージェント機能によって翻訳品質を向上。翻訳、翻訳後編集、品質推定、一般的な命令追従に対応し、50言語の機械翻訳で1兆未満のモデルとして最高水準の性能を達成。 Comment

元ポスト:

Loading…

モデル:
- North-Small-Translate-1.0, Cohere, 2026.09




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #ScientificDiscovery #Selected Papers/Blogs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-09 GPT Summary- 科学者は、研究課題に必要な先行研究のアイデアを見抜く能力でAIを依然として上回っている。 本研究では、著者アノテーションにより、研究プロジェクトを前進させた論文を収録したScholarCatalystを構築。 さらに、初期の研究課題から関連論文を検索するタスクを導入したが、エージェント型検索は埋め込み検索を上回らず、強力なモデルでも性能は限定的だった。 専門家の研究直観を学習し、未成熟なアイデアに必要な先行研究を提示する新たな科学エージェントの学習手法が求められる。 Comment

元ポスト:

Loading…

207の最近の研究の第一著者に、研究を前進させる上で重要だった研究をラベル付けさせ(hapd negativeも定義)、研究課題が与えられた時に、当該研究論文をランキングで上位に位置付けられるかを問うタスクを通じて、自身の研究課題と文献中の内容についてつながりを見出す研究のセンス的な能力を測定する。




Paper/Blog Link My Issue
#LanguageModel #Decoding #Diversity #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-10-09 GPT Summary- Gacha Decodingを用いて、LMの命令追従能力と外部RNGによる乱数性から多様な生成モードを引き出す。トークンエントロピーに依存せず、planning with diceによって高品質な応答を効率的に探索する。実環境チャットや創作、画像生成計画、タンパク質設計で既存手法を最大2.4倍上回り、少ないサンプル数でより多くの新規モードを発見。モデルの命令追従能力が高いほど、多様性も向上することを示した。 Comment

元ポスト:

Loading…

LLMに応答を生成する際に、
- どのような意味的な判断が必要かを列挙させ
- 各判断における妥当な選択肢を生成させ
- 各判断でどの選択肢が選択されるか乱数ツールによって決定し

最終的に得られた判断に基づいて生成をさせることで、LLMから多様な出力を得る。ポイントは、LLMの出力の多様性をエントロピーの枠組みで扱うのではなく、意味内容の列挙と乱数ツールの利用によって、指示追従の枠組みで扱うことにある。

image

幅広い用途で使える汎用的な手法に見えるが、出力されるテキストの自然さに影響はあったりするのだろうか。また、decision sequenceの設計と選択肢の質に生成される応答が大きく依存すると思われるので、部分的に人間が介入して品質をコントロールする、などが実用上は必要なのかな、と思うなどした。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #ScientificDiscovery #Selected Papers/Blogs #reading #KeyPoint Notes #Author Thread-Post Issue Date: 2026-10-09 GPT Summary- AIエージェントが長期的な実験を通じて観測結果を説明するメカニズムを発見する能力を評価する、分野横断型ベンチマークEurekaBenchを導入。 神経科学や化学、物理学など6分野の26タスク・306件の科学的洞察を対象に、科学的制約への遵守、予測精度、洞察の創出能力を評価する。 現在のAIエージェントは予測精度では人間を上回る一方、科学的洞察を導く能力では大きく劣ることが明らかになった。 Comment

元ポスト:

Loading…

単に無数の試行錯誤を実施し最適化を実施することで解決策を見出すことを超えて、
AI Agentが、ニュートンが万有引力を発見した時のような科学的な洞察を得る能力をどの程度有するかを測定するために専門家によって構築されたベンチマーク。

惑星の運動にパターンがあることを発見(観察)->それを数学的に説明するための方程式を構築し、反復的な実験によって洗練化させ(メカニズム)->一見異なる事象でも同じ力によって支配されていて(万有引力の発見)統一的な枠組みで解釈できることを発見(科学的洞察)、のような観察、反復的な実験によるメカニズムの構築、科学的洞察の導出、をAI Agentが実施できるかを測定する。

ベンチマークは6つのドメイン、306個の科学的洞察を伴う26の専門家が検証した科学的な問題によって構成され、AI Agentは実験のログ (L) と、メカニズムに関する記述 (M)、およびメカニズムを(test set上で)実践するためのプログラムの提出を行う必要がある。このとき、一連のAgentの思考はtauで表現され、tauから最大1Gまでのmaterialsを提出できる(2節)。

評価は、judge agentsが、M, L, tauを読み、
- scientific constraint tests (SC): メカニズムMが分野において一般的な前提に反していないかを判定
- predictive accuracy (PA): Mを実装したプログラムをheld-outされたテストセットで実行し、Accuracyを測定する
- scientific insight (SI): メカニズムMから、科学的洞察 i \in C を導くことができるかをjudge agentsによって判定する
の3つの軸で評価される。

また総合的なスコアとして、Conditioned Scoreを定義し、SCを全て通ったメカニズムについてのみ、PA, SIに基づいたスコアを算出している。

結果が以下であり、フロンティアモデルでさえも、人間の63.7と比較してConditioned Scoreは29.8であった。このことより
- 現在のAI Agentは最初の観測結果を説明するメカニズムを見つけることに苦戦することが明らかとなった
- また、今回評価したすべてのエージェントについて、SCに反するメカニズムを記述することが明らかとなり、分野における基本的な前提を満たすメカニズムを記述することができない

このことより、実験のループを通じて観測結果を説明するためのメカニズムを見つける能力が不足していることが実験によって明らかになった。
また、PAとSIのgapを見ると、人間と同等のPAをエージェントは達成しているが、SIでは人間よりも大幅に劣っている。これは人間はメカニズムの外挿や解釈に価値を見出しているのに対し、エージェントは最適化問題として扱っていることを示唆しており、PAが高いことは新たな科学的発見をする能力が高いことを示唆しないことを示している。
image

また、failure modeとして、
- エージェントが自身が選択した仮説に過剰に固執すること
- エージェントが最適化をメカニズムの発見として扱うこと
- 不確実性を減らすための実験を積極的に実施できないこと
- 観測をした時点で実験を止めてしまい、さらなる深掘りをしないこと

また、positiveな要素としては、
- もっともらしくないメカニズムの候補を実験を通じ棄却できること
- metricの背後にある物理的なコンセプトを理解することができる

などが観察された(Figure 8より)




Paper/Blog Link My Issue
#LanguageModel #MoE(Mixture-of-Experts) #Routing Issue Date: 2026-10-09 GPT Summary- MoEにおけるエキスパート間の負荷不均衡に対し、既存の補助損失不要手法をPID制御として統一的に分析し、ID Balancingを提案。 負荷誤差が大きい、または悪化している場合に強く補正し、バランスに近い場合は更新を小さくすることで、学習の安定性と効率を向上。 768エキスパートのTop-$10$・Top-$5$・Top-$3$ルーティングで、特にTop-$3$において最良ベースラインよりMaxVioを50%以上、MinVioを12%以上削減。 モデル規模や疎性が増加しても高い負荷均衡を維持し、言語モデリングおよび下流タスクでも競争力を示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #TextToImageGeneration #VideoGeneration/Understandings #2D (Image) #UMM #3D (Video) #ImageSynthesis #Pixel-based #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-09 GPT Summary- 画像と動画の理解・生成を、ピクセル空間上でエンコーダーなしに統一するPixelUMMを提案。画像を空間パッチ、動画を時空間チューブレットとして表現し、線形射影で共有マルチモーダルバックボーンに接続。Mixture-of-Transformersにより、テキストの自己回帰予測とピクセル空間のフローマッチングを両立。画像・動画の理解および生成で競争力のある性能を達成し、デコーダーやパッチサイズの設計についても分析。 Comment

pj page: https://nv-tlabs.github.io/PixelUMM/

元ポスト:

Loading…

関連:
- [Paper Note] Mixture-of-Transformers: A Sparse and Scalable Architecture for Multi-Modal Foundation Models, Weixin Liang+, TMLR'25

pixel-based(=encoder-free)なテキスト、画像、動画理解・生成が可能なUMMで、Mixture-of-Transformerアーキテクチャをベースに、モダリティ固有のパラメータという観点だけでなく、理解と生成に関連するパラメータも分離しつつ、globalなself-attentionで個々のモダリティや理解・生成などでパラメータを共有する、というアーキテクチャに見える。
image




Paper/Blog Link My Issue
#Multi #LanguageModel #AIAgents #Evaluation #Game #LongHorizon #Coordination Issue Date: 2026-10-09 GPT Summary- LLMエージェントの長期的な協調能力を評価するベンチマークとしてAgentWorldを提案。MMORPG環境で3~20エージェントが50ラウンド以上、通信・共同計画・資源共有を通じて協調する。エージェント間の因果依存関係から協調への実質的貢献度を測るCCEを導入。主要LLMの最高成功率は52.0%にとどまり、通信破綻、役割混乱、共有計画の維持困難が課題として明らかになった。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #Actor-Critic #PostTraining #CreditAssignment Issue Date: 2026-10-09 GPT Summary- LLMのRLでは、終端報酬に基づく一様なクレジット割り当てや、不正確なクリティックが課題となる。本研究では、全軌跡を完了までロールアウトせず、短いアクションチャンクごとにクレジットを割り当てるActor-Critic with Action Chunking(AC2)を提案。ローカル・レディネス、成功ロールアウトの参照解、および長いアクションチャンクを導入することで、クリティックに基づく更新の信頼性を高める。Qwen3-4BをFineProofs-RL上で学習した結果、IMO-ProofBenchにおいてGRPOの検証スコアを上回り、デコーディングFLOPsを2.5分の1に削減。全軌跡を完了まで生成する必要をなくすことで、LLMのRLにおける効率的なクレジット割り当ての新たな設計空間を示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Dataset #LanguageModel #SyntheticData #Reasoning #SmallModel #MoE(Mixture-of-Experts) #One-Line Notes Issue Date: 2026-10-09 GPT Summary- 58,698件のWikipedia記事を基に、事前学習・中間学習・事後学習を統合するオープンソース合成コーパスSYNTHを構築。 SYNTHで学習した小型・中規模・MoEモデルは、同一計算量でフィルタリング済みウェブデータを上回り、少ない学習トークン数でも高い事実精度を達成。 合成データにより、限られたデータから競争力のある汎用モデルや分野特化型モデルを効率的に構築できることを示し、データセットとBaguettotronモデル群を公開。 Comment

元ポスト:

Loading…

dataset: https://huggingface.co/datasets/PleIAs/SYNTH

SLMをscratchで作成するための80B token程度の合成データで、60k程度のwikipedia記事、8.7k程度のlaw, medicine, chemistry等に関する記事, 130低Ðふぉのmodelに関するself-documentationによって構成される。これらの記事をseedに、auxiliary modelと呼ばれるモデルによって、の学習データを合成して、作成されたものである。

auxiliary modelは、
- 既存LLMに対してを与えることで合成されたqueryとparagraphsのペアを用いて学習される paragraphからqueryを合成する query model
- 既存LLMを用いてquery, reasoning trace + answerを合成し、合成されたデータによって学習されたreasoning modelであり、このreasoning modelによってSYNTHの reasoning trace + answerは合成される。

によって構成される。

なお、本文を読むと、query model/reasoning modelはfrontier LLMから蒸留したデータに基づいて作成されているようであり、その点は注意が必要である。

image




Paper/Blog Link My Issue
#Pretraining #LanguageModel #SyntheticData Issue Date: 2026-10-09 GPT Summary- 人間テキストとAI生成テキストを混合して800個の言語モデルを事前学習し、両者への影響を分析。AIトークンはデータ不足時には損失を改善するが、一定量を超えると効果が飽和し、損失を悪化させる。この挙動を表現する利益項・損害項を分離した新たなスケーリング則を提案し、既存手法より高精度に影響を予測。人間テキストを目的とする場合はAIテキストをフィルタリングし、AIテキストと人間テキストの検証損失を分けて評価することを推奨。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Alignment #Evaluation #Safety #DataFiltering #reading #KeyPoint Notes #needs-revision Issue Date: 2026-10-09 GPT Summary- LLMの訓練データに含まれる狭い欠陥が、広範なアラインメント失敗を引き起こす可能性を訓練前に予測するAlignment Forecastingを提案。 17モデル・32データセット・16失敗モードからなるALIGNMENTFORECASTBENCHを構築し、LLMによるデータセット評価を失敗モードのベースレートやモデル固有の傾向と組み合わせて予測する。 提案手法は偶然や単純な予測器を上回り、問題のある訓練例の特定にも有効。UltraChatから例を除外すると、複数選択評価ではよりアラインしたモデルが得られたが、自由記述対話への効果は不明であり、実用的なデータキュレーションにはさらなる研究が必要。 Comment

元ポスト:

Loading…

ざっくりとしか読めていないため、以下誤りが含まれる可能性が高く、元論文を読むことをおすすめします。
- まずブログのOur result suggest the followingを読んだ方が良い。
- 内容は以下
- 学習を走らせる前にmisalignmentのリスクを予測できる
- が、vanillaなLLMでは、それはランダムな予測に対して少し性能が良い程度であった
- misbehavior scoreとhistorical emergence ratesを与えると、予測性能は飛躍的に向上する。
- ただし、実験で持ちいたSFTデータは合成データで、評価もMCQでのデータなのでそこがlimitationとなる
- LLMによるforecasterはmisalignmentを引き起こすデータの除去に役立つ。が、それはMCQでの評価に現状限定されており、実際のbehaviorとして抑制されるかは今後の課題
- 予測がうまくいく理由として、misalignmentは幅広く生じるためという仮説が立てられる。つまりあるmisalignmentを引き起こすデータは他のmisalignmentを誘発する。この仮説を支持するデータとして、少なくとも今回の実験ではmisbehavior scoreとhistorical emergence ratesが重要な特徴量であった。が、これはあくまで今回の実験設定で明らかになったもので、misalignmentに対して一般的に成り立つ主張ではない点には注意

その上で、論文を読むと

- 学習データが与えられたときに、当該学習データで学習をした場合にモデルがmisalignmentの挙動を示すかを予測する (alignment forecasting)
- 500以上のモデル-データペアでSFTを実施し、学習前後で特定のmisalignmentの頻度が有意に増加したかを、200以上のMCQによって判定し、のタプルを作成しベンチマークとした
- 17のフロンティアモデルを含むモデル群(vanillaな設定とlogistic regressionに与えている特徴の同様の情報を与える)とdecomposed forecaster(シンプルな特徴量ベースのlogistic regression)などを比較(後で必要に応じて追記)
- Figure 5を見る限り、decomposed forecasterがAUCにおいてより高いスコアを、LLMに対して示している(このLLMがどのpromptingを用いたものなのかよくわからない、がおそらくvanillaな設定と思われる)
- 特徴量は以下:
- ベンチマークでのfailure modeの出現頻度を測るために用いられたMCQに対して現行モデルがどの程度の割合でfailure modeの選択肢をpickするか
- AI Agentにサンプリングや検索ツールを用いてデータセットを読み込ませレポートを作成、そのレポートを別LLMが読みtargetとするfaliure modeが生じるスコアと、全ての生じうるfailure modeの中で最高のスコアを推論させる(= misbehavior score、と思っているのだがブログでも論文でも明言されていないように見える)
- 予測したいfailure modeが、より弱いモデル、かつ他のデータセットで、過去のSFTでどの程度生じたか(= historical emergence rates、と思っているのだがブログでも論文でも明言されていないように見える)
- vanillaな設定とは、D.2に記載されているプロンプトを用いる手法であり、このプロンプトには、予測したいfailure modeの定義、データセットのdescription, target modelの情報+ベースモデル時点でのfailure modeの発生率, Artificial Analysis Intelligence Indexなどが与えられるプロンプト(のように見える)
- Figure 7を見るとvanilla以外での比較がされており、たとえばGPT-5.6-solに対しclassifierと同じて特徴量を与え推論させると、decomposed forecasterにかなり近いAUCまで到達できる。ただし、確率値の正確さはdecomposed forecasterの方が良い
- また、Figure 8に1000行のデータに含まれる問題のあるデータを同定できるかテストした結果が報告されており、the forecaster's signalを含めると、性能が上がることが示されている。the forecaster's signalを理解するために、D.7を参照する必要があるようだ。D.7には
  - THE FLAGGED FAILURE MODES, THEIR SEVERITY, THE FORECASTER’S
REASONING, AND THE DATA-ANALYST SUMMARY
- と記載がある。なんとなくわかるが、細かくはよくわからない。おそらくForecaster's reasoningとあるので、この場合はdecomposed forecasterではなく、the forecaster=LLMによるforecasterのようである。

--- 以下後で戻ってきた時のための備忘録
しっかり読めていないので、よくわからない点がある。いつかこのissueに戻ってきたときに続きを読みたい。
- Figure 5にLLMの名称しか記載がなく、どのprompting手法のものなのかが、ざっとみた感じよくわからない。
- 学習データ中の問題のあるサンプルをフィルタリングすることにも応用できるようだが、しっかり読んでいないので具体的な手法はわかっていない
- vanillaなpromptの場合は、データセットについては概要的な情報しか情報として含まれたいため、この情報から予測するのは、さすがに厳しいよねと思う。ただし、ベースラインとしてこれは必要で、そこに追加でlogistic regressionと同じ情報をpromptに含めたときにどの程度性能にまで到達できるのかというところを見たかったのだが、どこを見ればいいのかぱっと見良くわからなかった
- → Figure 7を見ればよかったので解決
- LLMを使う場合にテキストで確率値をそのまま出力させるという設定が気になる。そもそもそういう評価の設定なのだが、確率値を出力させて複数メトリックで評価するという設定は適切なんだろうか。しっかり考えないとわからなそうだが、しっかり読めていないので考えられていない。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Reasoning #Test-Time Scaling #LongHorizon #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-09 GPT Summary- 長期・複雑なタスクにおいて、LLMエージェントの実行をワーカーとコントローラーに分け、コントローラーが中間成果の再利用・再実行・停止・次の作業選択を構造的に管理するエージェント型メタ推論を提案。 実行履歴全体ではなく要約された状態と永続メモリを用いて、残りの計算予算に応じた作業を割り当てる。 ProgramBenchなどで直接制御エージェントや実運用エージェントを上回り、長期タスクでは計算予算の増加に伴って性能が向上する一方、少ない予算では制御のオーバーヘッドが性能を損なう可能性を示した。 Comment

元ポスト:

Loading…

AIエージェントがタスクを実行する際に、タスクを完了するための推論と(object level reasoning)、メタな視点でタスクを完了するためにcomputationをどのような推論に費やすべきかを決めるための推論(meta-reasoning)に分離することができ、object levelの推論を実施するworkerの上に、meta reasoningを動的に実施し、コントロールし、計算グラフとして構造化して管理するcontrollerを配置し、computationをどのような推論に費やすかをコントロールすることで性能が向上する、という話に見える。




Paper/Blog Link My Issue
#LanguageModel #Transformer #Architecture #RecurrentModels Issue Date: 2026-10-09 GPT Summary- ループ型MoEにおいて、エキスパートを平坦化し、アテンション以外のパラメータを共有するFoilを提案。エキスパート層を減らして層あたりのエキスパート数とパス数を増やすことで、より大きな候補集合からのルーティングを可能にする。同等のパラメータ数と計算量で、事前学習損失と下流タスク精度において既存のループ型ベースラインを上回った。さらに、ループ回数とエキスパート数の増加は相乗効果を持ち、疎なループ型MoEではより多くのエキスパートとパスを用いるべきことを示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#RecommenderSystems #LearningToRank #LanguageModel #CTRPrediction #CVRPrediction Issue Date: 2026-10-08 GPT Summary- NetflixのLLMベース推薦ランキングモデルGenRecは、基盤LLMへの適応と推薦特化の追加学習からなる2段階構成。第2段階では、言語化したユーザー履歴とコンテキスト、ラベル、報酬を用いて、従来の特徴量ベースのランキングモデルをLLMベースへ移行。コンテキストエンジニアリング、報酬統合、モデル設計、プレフィルのみの推論による低コストなサービングを実現。大規模A/Bテストでは、少ない学習例と入力シグナルでも、現行モデルをオフライン・オンライン指標で有意に上回った。推薦システムを、特徴量エンジニアリングからコンテキストエンジニアリングへ、個別設計モデルから共有基盤LLM中心の構成へ転換する可能性を示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #Hallucination #read-later #Selected Papers/Blogs #VisionLanguageModel #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-08 GPT Summary- LLMにおけるhallucinationを、明示的な参照世界に基づいて自動評価するベンチマークHalluWorldを提案。grid world・chess・terminal taskで、世界の複雑性や観測可能性、時間変化、情報源の矛盾を制御し、hallucinationを細粒度の誤りに分類。最先端モデルでは直接観測情報の誤りはほぼ解消されている一方、多段階の状態追跡・因果的シミュレーション・回答を控える判断は依然として困難であり、hallucinationが複数の失敗モードに起因することを示した。 Comment

元ポスト:

Loading…

pj page: https://halluworld.ai/

全てのステップで何が真実かを把握できている環境においてモデルにタスクを実施させ、hallucinationがverifiableな状態でモデルのHallucinationを検証することで、単なるHallucination率だけでなく、failure modeなどを明らかにする。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Safety #One-Line Notes #Reading Reflections #Author Thread-Post #AgentHarness Issue Date: 2026-10-07 GPT Summary- LLMエージェントは実行トレースを改ざんできないという前提に反し、Muse Codeを除く各種ローカルエージェントは要求に応じて監視を回避し、自身のトレースを削除可能。外部攻撃者による削除誘発や、報酬最大化に伴うトレース改ざん行動も確認。エージェントの制御外にある独立した傍受機構でロギングし、ホスト侵害後もトレースの完全性を維持する必要がある。 Comment

pj page: https://perfect-crime.ai/

元ポスト:

Loading…

traceを編集可能な場所に置いておいたらそりゃ編集することもあるだろうな、という第一印象ではある。

著者ポストの内容としては、ざっくりいうと
- Muse Codeを除く多くのハーネスでtraceが保護されていない。
- traceの改竄が起きると何が起きたのか理解すらできないため、traceは保護されるべき

である。

多くのAgent Harnessでtraceが保護れていないことを問題提起することに意義がある(知らんかった




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #Attention #Architecture #SparseAttention Issue Date: 2026-10-07 GPT Summary- 長文脈におけるblock sparse attentionで、LLMを用いて階層的にkey blockを絞り込むPISAを提案。coarse-to-fineなpyramid型Top-K選択とLogSumExp scoringにより、全query-keyのスコア計算を回避し、計算量を$O(N\log N)$に削減。さらに、学習・推論に対応したTriton kernelにより、階層的routingとscoringを効率的に実装。言語モデリングでは、常識推論でベースラインと同等の性能を維持しつつ、retrieval taskで上回る結果を達成。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #Distillation #On-Policy #One-Line Notes #SelfDistillation Issue Date: 2026-10-07 GPT Summary- OPSDでは、正解を見た凍結教師モデルを用いて、学生モデルに密な次トークン教師信号を与える。教師を固定することで安定性を得る一方、学生の改善を教師に反映できない問題がある。そこで、学生と特権的教師を共進化させるDCEと、応答を短く検証済みの形式に洗練するSRCLを提案。DCE+SRCLは複数モデル規模・4つの数学ベンチマークでOPSDを上回り、Qwen3-8BではAverage@12で65.97%を達成し、出力長も7.80%削減。 Comment

元ポスト:

Loading…

OPSDにおいて、通常はOPSD開始時点の学生モデルθ_0てfreezeするが、

- 教師モデル(初期の学生モデルでfreezeおよび特権情報)が内省に対してあまりトークンの確率密度を割り当てない一方で、学生モデルは学習が進むにつれて内省の挙動が進むことが観測された
- この例は学生モデルが進化するにつれて教師モデルとのミスマッチが広がることを示しており、教師モデルによって学習によって強化される内省的な挙動を抑圧するものであり、教師モデルを固定することの限界を示唆している

このため、学生モデルθ_kがθ_k+1に更新された時、教師モデルもθ_k+1へと更新する。また、学生モデル自身が自身の応答をrewriteし、そのrewriteがAppendix Mに示されるAcceptanceルール(短く、自然に終了し、reflectionが存在せず、構造的に妥当で、正解であるもの)を満たす場合、そのrewriteの対数尤度を最小化する補助的なlossも導入する(式6)。

関連:
- [Paper Note] STaR: Bootstrapping Reasoning With Reasoning, Eric Zelikman+, NeurIPS'22, 2022.03




Paper/Blog Link My Issue
#LanguageModel #AIAgents #AgentHarness #Coordination Issue Date: 2026-10-06 GPT Summary- 複雑なタスクを複数のワーカーで並列実行し、中央オーケストレーターなしで自己組織化するAgenshを提案。共有ワークスペース・メッセージインターフェース・共有コンテキストを用いて、サブタスクの割り当て、発見の共有、結果検証、進捗統合を非同期に行う。ProgramBenchとpandocでエージェント数の増加によりテスト合格率と到達速度が向上し、組織規模に応じた自己組織化型協調の創発を確認。マルチエージェント組織におけるエージェント数を新たなスケーリング軸として示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #MoE(Mixture-of-Experts) #Routing #Author Thread-Post Issue Date: 2026-10-06 GPT Summary- MoE学習において、グローバルな負荷分散とローカルな負荷分散を実現する手法を提案。EQBでは、通信量を抑えながらグローバルバッチ上のBF16正確分位点を計算し、LEIではローカルな負荷誤差をルータースコアの勾配に直接注入する。75億パラメータMoEで、EQBは単純なQBより負荷分散と下流タスク性能を向上させ、LEIは品質を維持しつつローカル負荷分散を改善し、GShardを上回った。 Comment

元ポスト:

Loading…

QB:
- [Paper Note] Three things everyone should know about Vision Transformers, Hugo Touvron+, ECCV'22, 2022.03




Paper/Blog Link My Issue
#Pretraining #LanguageModel #read-later #Selected Papers/Blogs #SelfPlay Issue Date: 2026-10-06 GPT Summary- LLMが自ら有用な学習データを生成する「データゼロでの自己対戦事前学習」を提案。生成器が万能チューリングマシン上のプログラムから系列を生成し、学習器が予測することで、強化学習による適応的なカリキュラムを形成。自然データを一切使わずに、計算量の増加に伴うゼロショット性能の予測可能な向上と、文脈内学習・数学的数列の発見を実現。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #AIAgents #ContextEngineering #Compression #Author Thread-Post Issue Date: 2026-10-04 GPT Summary- 複雑な長期タスクに対して、セッション間の自動コンパクションによりコンテキストを切り詰め・削除し、情報の忠実性と継続的な学習を維持するCliffCompactionを提案。コンパクション結果を再利用せず、常に元のコンテンツから処理することで、コンテキストのドリフトを防ぐ。Terminal-Benchでコストを最大50%削減しながら性能を維持・向上し、KernelBenchでも最先端の性能を達成。さらに、特定のエージェント基盤に依存しないAPIプロキシをオープンソースとして公開。 Comment

github: https://github.com/nguyenvuthientrang/cliffcompaction
blog: https://nguyenvuthientrang.github.io/cliffcompaction/

元ポスト:
-

Loading…

-
Loading…




Paper/Blog Link My Issue
#GraphBased #LanguageModel #AIAgents #RAG(RetrievalAugmentedGeneration) Issue Date: 2026-10-04 GPT Summary- LLM Wikiの密な文書コンテキストと多層リンクを、エージェント向けの長期記憶・検索に活用するWFMを提案。 Wiki Graph、クエリ条件付き注意集約、NCCLベースの高速な分散通信により、意味表現とトポロジーを統合し、スケーラブルな検索を実現。 5つのベンチマークで高性能を達成し、分散クラスタ上の学習を10.5倍高速化。 Comment

元ポスト:

Loading…

関連:
- llm-wiki.md, karpathy, 2026.04




Paper/Blog Link My Issue
#LanguageModel #ContrastiveLearning #Catastrophic Forgetting #read-later #Selected Papers/Blogs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-04 GPT Summary- 大規模事前学習モデルの壊滅的忘却を、重み行列の入力空間における幾何学的問題として捉える。過去データを使わずに既存能力を保持するため、重みアダプターと入力活性に基づくゲーティング関数を組み合わせたLocal Support Learning(LSL)を提案。GMMベースのゲートにより更新を現在の学習分布に局所化し、過去の能力への干渉を防ぐ。最大70億パラメータのLLMで、複数の学習段階にわたり事前学習・ファインチューニング後の能力を保持し、メモリ効率とスケーラビリティも確認。 Comment

pj page: https://assafbk.github.io/lsl/

元ポスト:

Loading…

おもしろそうだが、ぱっと見でまだ理解できておらず、特に訓練分布でのみアダプタを有効にする、というところがよくわかっていない。Finetuningで入力されるのはそのフェーズの学習データなのだから、常に訓練分布になるのでは?

あー、つまり、
- LLMは複数のフェーズで構成され、通常は重みW全体をΔWで更新するが、これはΔWと直行しない入力全てに影響を与える
- これが現在のフェーズとは関係ない入力に対しても影響を与えることがcatastrophic forgettingの原因の一つと仮定している
- この影響を最小限にするために、現在の学習フェーズのinputでのみ活性化するLoRAアダプタを用意し、Wはfreezeしアダプタのみを学習することで、Wへの干渉を最小限にする
- 推論時はgateを用いて、現在の入力がどのフェーズの入力に対応するかを判断し、アダプタを有効にするか否かをroutingする

という感じだろうか

しかし似たような話をどこかで見た気がする。

アダプタを結合して継続学習する枠組みで、catastrophic forgettingを抑制する、という話がある:
- [Paper Note] Locas: Your Models are Principled Initializers of Locally-Supported Parametric Memories, Sidi Lu+, arXiv'26, 2026.02

タスク単位の専門家としてのLoRA + 共有LoRA をcatastrophic forgettingとタスク間の転移を実現するような話もある:
- [Paper Note] Self-Evolving LLMs via Continual Instruction Tuning, Jiazheng Kang+, WWW'26, 2025.09




Paper/Blog Link My Issue
#LanguageModel #Supervised-FineTuning (SFT) #Catastrophic Forgetting #PostTraining #Generalization #Author Thread-Post Issue Date: 2026-10-03 GPT Summary- SFTにMCMCサンプリングを導入し、off-policy軌跡を徐々にon-policyデータへ変換。方策内学習の汎化性能と忘却抑制を保ちつつ、専門家データの特権的情報を活用する。科学的スキル、数学的推論、オープンエンドな専門知識で、主要なポストトレーニング手法に匹敵し、強力なon-policyベースラインを上回る汎化性能と少ない忘却を実現。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #LanguageModel #Transformer #Architecture #ResidualStream #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-02 GPT Summary- モデルサイズと事前学習条件を固定し、幅と深さの比率を変化させるDepthBenchで、Transformerの計算深度を評価。 10種類のアーキテクチャを比較した結果、標準的なPre-LNや正規化・スケーリング系手法は深く狭い構造で性能向上が乏しく、低下する場合もある一方、HCとFull AttnResは極端に深い構造でも一貫して性能を向上。 層レベルの分析から、追加層を有効活用できる残差接続の設計が、アーキテクチャ上の深さを実効的な計算深度へ変換する主要因であることを示した。 Comment

元ポスト:

Loading…

(以下元ポストを参考に自分の言葉でメモ)
残差ストリームに対する様々なアーキテクチャを、統一した条件で(1.6B程度のモデルサイズまで)比較した結果、モデルを深くした場合に性能が改善する傾向にあるのはHC, AttnResのみであった。

その理由として、HCでは複数の残差ストリームを並列に保持すること、AttnResでは層ごとの中間表現を保持し後の層が必要に応じて取り出す、といったメカニズムによって、PreLNなどで典型的に見られる深い層になると残差ストリームが類似する(結果的に層を増やしても新たな情報が蓄積されない)性質が緩和され、深さ方向に追加した層をより有効に活用していることが示唆される、という感じの話に見える。

関連:
- [Paper Note] mHC: Manifold-Constrained Hyper-Connections, Zhenda Xie+, arXiv'25, 2025.12
- [Paper Note] Hyper-Connections, Defa Zhu+, ICLR'25, 2024.09
- [Paper Note] Attention Residuals, Kimi Team+, arXiv'26, 2026.03
- [Paper Note] DeepNet: Scaling Transformers to 1,000 Layers, Hongyu Wang+, arXiv'22, 2022.03
- [Paper Note] Post-LayerNorm Is Back: Stable, ExpressivE, and Deep, Chen Chen+, arXiv'26, 2026.01
- [Paper Note] The Curse of Depth in Large Language Models, Wenfang Sun+, arXiv'25, 2025.02
- [Paper Note] Mixture-of-Depths Attention, Lianghui Zhu+, arXiv'26, 2026.03
- [Paper Note] On Layer Normalization in the Transformer Architecture, Ruibin Xiong+, arXiv'20, 2020.02

著者ポスト:

Loading…




Paper/Blog Link My Issue
#Transformer #Decoding #Selected Papers/Blogs #reading #RecurrentModels #Initial Impression Notes Issue Date: 2026-10-02 GPT Summary- ループ型Transformerの中間再帰状態を用いて、最終予測と早期予測を対比する学習不要のデコード手法LoopCDを提案。 追加の出力パスを用いるLogits版と、隠れ状態空間で動作するHidden版により、弱い予測をガイダンス信号として活用する。 4種類のモデルで性能を一貫して向上させ、再帰回数を半分にしても性能を維持しつつ、推論FLOPsを22.5〜48.2%削減。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Contrastive Decoding: Open-ended Text Generation as Optimization, Xiang Lisa Li+, ACL'23, 2022.10

Contrastive Decodingで示されている、アマチュアの出力とエキスパートの出力の差を見ることで言語モデルにおける典型的なfailure modeを抑制し、エキスパート特有の出力を強調する、といったデコーディングの考え方をLooped Transformerのループが浅い時点の表現をアマチュア、深い時点の表現エキスパートとみなすことで、Looped Transformer上で自然に実現する、という話に見え、これによりfull depthで比較した場合により高いベンチマークスコアを得ることができ、ループの深さを半分にしても同等以上の性能が得られ、結果的に計算量を削減しながらull depthと同等程度の性能を得ることができる、という話に見える。

image




Paper/Blog Link My Issue
#ComputerVision #EfficiencyImprovement #Transformer #DiffusionModel #TextToImageGeneration #Architecture #RecurrentModels #ImageSynthesis Issue Date: 2026-10-02 GPT Summary- テキスト画像生成において、共有Transformerブロックをノイズ除去ステップ内で反復実行するLooped-DiTを提案。中間ループへの深い教師あり学習と自己調整型注意機構により、弱い教師信号と局所情報の損失を防ぐ。パラメータ数と計算量を抑えつつ、6.5倍大きいモデルを上回り、ノイズ除去ステップを増やすよりループを深くする方が効果的であることを示した。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #AIAgents #PostTraining #meta-learning #Generalization #Test-time Learning/Adaptation #Initial Impression Notes #Author Thread-Post #AgentHarness Issue Date: 2026-10-02 GPT Summary- 言語モデルエージェントのharnessを、実行フィードバックに基づいて改訂するharness learningを提案。 実行可能プログラム上のメタ学習として改訂モデルを強化学習で訓練し、テスト時にはパラメータ更新なしで新規タスクの実行結果からharnessを逐次改善する。 推論およびマルチホップQAで、改訂性能の向上と未知タスクへの適応・転移を確認。 Comment

元ポスト:

Loading…

実行時のフィードバックに基づいてAgent Harnessをreviseすることを学習したモデル(Proposer)によって、テスト時にモデルの重み更新なしで、未知のタスクに対する汎化性能を獲得する




Paper/Blog Link My Issue
#Analysis #Pretraining #LanguageModel #read-later #Selected Papers/Blogs #Generalization Issue Date: 2026-10-02 GPT Summary- LMは事前学習中に、パターンマッチングに依存するオウム的計算と、汎化可能な知能的計算の間を突然行き来する「モードホッピング」を起こす。 玩具的な評価スイートにより、記憶パターンへの依存、System 1的思考、もっともらしさの選択、複数ホップ推論やアライメントの失敗といった現象を捉えた。 この現象は通常の最適化やチェックポイント平均化では説明・解消できず、限られた容量を浅い回路と汎化回路が奪い合う容量配分の問題として説明される。 評価スイートを用いて、推論とアライメントが強く汎化するチェックポイントや、汎化ダイナミクスを安定化する事前学習データを選択できる。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #AIAgents #Actor-Critic #PostTraining #read-later #Stability #Author Thread-Post Issue Date: 2026-09-30 GPT Summary- PPOでは、クリティックがLLMの強化学習を不安定化させる二つの失敗モード(打ち切りロールアウトのフィルタリングによる条件付き報酬への偏り、異質なリターンノイズによる高分散プロンプトの支配)を特定。 EasyPPOでは、アクターのみの過長ロールアウトを除外しつつ完了・打ち切り両方のリターンでクリティックを学習し、リターン分散の逆数によるノイズ正規化と小規模ミニバッチで更新を安定化。 コーディング、数学推論、マルチターン検索で標準PPO、VAPO、HL-Gauss PPOを一貫して上回り、PPOに対して最大14.89%の性能向上を達成。 Comment

pj page: https://easyppo.github.io/

元ポスト:

Loading…

著者ポスト2:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Architecture #Selected Papers/Blogs #ContextEngineering #reading #Initial Impression Notes #Author Thread-Post #AgentHarness Issue Date: 2026-09-30 GPT Summary- CLMとして、コンテキストをファイルとして管理・更新し、重要情報を自律的に保持する言語モデルを導入。 既存モデルからゼロショットで構築し、単一・マルチエージェントの各種タスクで、精度向上とFLOPs削減を同時に達成。 さらに、自然言語指示によるインコンテキスト・パラメトリック学習とオンライン強化学習により、計算量を抑えつつ未見データやBrowseComp-Plusで性能を向上。 Suffix Cache Reuseも共同設計し、同等性能を維持したままサーバー側計算量を追加で35%削減。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…

所見:

Loading…

なるほど、気になる

解説:

Loading…

context-as-a-file, contextをファイルで管理し、ファイルにモデルがアクセス、編集可能とすることで、固定されたappend-onlyのcontextではなく、contextの管理をモデルに移譲する。ファイルのパスはシステムプロンプトに記載される。




Paper/Blog Link My Issue
#ComputerVision #Pretraining #MultiModal #Scaling Laws #read-later #Selected Papers/Blogs #VisionLanguageModel #Backbone #UMM #Initial Impression Notes Issue Date: 2026-09-29 GPT Summary- エンコーダフリーMLLMとエンコーダベースMLLMのスケーリング則を比較。視覚エンコーダを除くと、マルチモーダル目的の計算量最適な配分は大規模モデル側へ移行するが、テキスト目的ではほぼ変化しない。小規模ではエンコーダフリーが劣るものの、約\(10^{22}\) FLOPsで追いつくと予測される。規模拡大に伴い、言語モデルが視覚処理を前段層や専門家ルーティングへ適応させ、事前学習済み視覚エンコーダの優位性が薄れることを示した。 Comment

元ポスト:

Loading…

ざっくりいうと、モデルサイズを大きくでき、かつ事前学習の計算量を(今回のスケールに限っていうと)約6.1 x 10^21 FLOPs以上投入できるのであれば、Vision Encoderをコネクタで接続するタイプのVLMよりも、Encoder-freeのVLMの方がより良い損失値を得られる傾向にある、という感じだろうか。




Paper/Blog Link My Issue
#LanguageModel #KnowledgeGraph #AIAgents #SelfImprovement #MCP #AgentHarness Issue Date: 2026-09-29 GPT Summary- 異種データとエージェントの間にあるアクセスのギャップを埋めるため、自己進化型オントロジー層EvoOntologyを提案。schema・content・tool層をMCP serverとして統合し、LLMエージェントが実行時にオントロジーへ問い合わせ・相互作用することを可能にする。builder agentによる自律的なオントロジー構築と、帰属情報に基づく型付き編集およびペア評価による自己進化ループを導入。4種類のLLMと3つのデータエージェントベンチマークで、既存手法を一貫して上回り、異種データとの効果的な相互作用を実現。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #AIAgents #Coding #SoftwareEngineering #PostTraining #read-later #Selected Papers/Blogs Issue Date: 2026-09-28 GPT Summary- ソースコードのみを用いて、既存コードベースの機能を実行可能なRL環境へ変換するエージェント型パイプラインCodeMidasを提案。 機能探索・仕様化、テスト生成、実行チェックと反復ロールアウトによるタスク検証を行い、23言語・15分野の3,185コードベースから5,545件の訓練タスクを構築。 これらでMiMo-V2.5をGRPO学習することで、Issue修正・プログラム構築・端末操作など5つのベンチマークすべてで性能が向上し、コードベース探索や自己検証も改善。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Test-Time Scaling #read-later #Selected Papers/Blogs #One-Line Notes #Author Thread-Post #Coordination Issue Date: 2026-09-28 GPT Summary- 共有ディレクトリを介してテスト時に協働するマルチエージェントチームを構築し、独立した並列試行と比較。ARC-AGI-3では、team@$k$が独立に動作する$4k$体のエージェントと同等の成功率を達成し、エージェント数の増加に伴って優位性が拡大。ポリオミノ・パッキングやMNIST分類器の圧縮でも、コミュニケーションにより従来手法や人間による既知の最良解を上回る結果を示した。ただし、計算資源や進捗に対する明確なフィードバックが不足する場合は、独立したエージェントの方が有効。 Comment

元ポスト:

Loading…

重要

同じ設定(同一モデル、ツール、タスク指示、コミュニケーションプロンプト)のエージェントkが与えられOpen-endなタスクに取り組む際に、エージェント間で通信を許容する場合と、独立試行する場合では、前者の方がエージェントの並列数に対して、性能が累積的に改善する。

エージェントの通信はミニマムなもので構成され、共有されたappend-onlyなログ(非同期のブロードキャストチャネルとして機能)とslotによるディレクトリが存在するのみ。
各エージェントはログ(リーダーボード)に対して顕著な進捗があれば、検証可能な情報と客観的な指標を追記する。これにより、各エージェントは自分たちの試行のverifiableな中間結果を共有し、他エージェントはそれらが採用する価値のあるものかを判断できる。
slotによるディレクトリは共有されているファイルシステム上でアトミックなディレクトリ作成処理を通じて作成され、各slotには単一のアプローチが対応し、エージェントは(ディレクトリ作成はatomicな処理なので)、早い者勝ちでアプローチの取り合いを行う。slotの配下にはアプローチが記述されたファイルが生成され、他エージェントも参照可能とする。
また、コミュニケーションプロンプトによって、エージェントはすでに存在するslotを参照し、他と異なるアプローチを宣言することを求められる。また、他エージェントのアプローチを採用する際は、共有ログ(リーダーボード)上で顕著な進捗があることを条件とする。これにより、エージェントの探索が早々に収束することを防ぎつつ(多様性の確保)も、他エージェントの知見を採用しつつも、少なくとも意味のある差異が一つは存在するよつにする。

性能が改善するためにはいくつか条件があり、
- 通信で共有する結果がverifiableなもので、得られた結果が客観的に良いものか、悪いものかを判断できる必要がある(Table 3)
- エージェントの調整コストを上回る必要がある。つまり、エージェント間の通信の相互作用によるgainが大きくなるまで、エージェントを走らせられるだけのリソースが必要となる (Figure 4)
- 通信によって、各エージェントの探索の多様性が損なわれてはならない

などがある。

複数のベンチマークにおいて、Team-of-kがbest-at-kの性能を上回ることを確認し、かつ、エージェントの並列数が増えるにつれてそのgainが大きくなることを確認した。
また、Team-of-kでは、単一エージェントでは解決できなかったタスクも解決できるようになる現象も観測した。
image

全体斜め読み、および2.1節直前までしか読めていないが、ざっくりこんな感じだろうか。興味深い。

Claude-Sonnet5-mediumに上記要約をレビューさせたところ、以下のような応答を得た。細かい部分に不正確な部分がありそうなので、しっかり確認した方が良さそう。

```Claude-Sonnet5 (medium)
**大筋は正しいです。** 通信の枠組み、成立条件の3点(検証可能性、計算予算、多様性)、結果の方向性は論文の主張と合っています。ただし、次の5点は修正した方がよいです。

1. **「ログとslotのみ」ではありません。** 共有物には他に、採用アプローチの記録、反証の記録、スコアログ、衝突時の取り決めを書くcoordinationファイルがあります。また、共有の成果物はファイルロックで直列化されます。通信ログとリーダーボード(スコアログ)も別の記録なので、「ログ(リーダーボード)」と同一視しない方が正確です。

2. **slotが保証するのは枠の一意性だけです。** アトミックなmkdirで重複しないのはスロット番号です。アプローチが被らないことは、プロンプトの指示(先に取られたスロットのapproachを読み、被れば変える)に依存します。つまり「アプローチの取り合い」ではなく、「枠を確保し、その後で被らない方針を宣言する」流れです。

3. **採用条件は「顕著な進捗」だけではありません。** 計測された明確な改善が前提で、付録A.1では、再現できた場合、ブロックされた手法の代替、終盤の収束も採用の条件に挙げています。

4. **検証の条件は「最終結果を客観的に採点できる」だけでは足りません。** Terminal-Benchにも公式の検証器はありますが、実行後にしか走りません。必要なのは、実行中にエージェントが繰り返し使える、密で忠実な中間フィードバック(スコアやレベル達成)です。論文もこの点を強調しています。

5. **結果の一般化が広すぎます。**
- team@k > best@kは、ARC-AGI-3、ポリオミノ、MNISTでは成立しますが、Terminal-Bench 2.0では成立しません(team@2 < pass@2)。
- 「kが増えるほどgainが拡大する」を示したのはARC-AGI-3のk=3→5(4.3倍→6.6倍)だけです。ポリオミノ(k=3,4)とMNIST(k=4)ではkを振っていません。論文も、5を超えると収穫逓減する可能性に触れています。
- 「単独で解けないタスクが解ける」はLP85(0/64→65%)が代表例ですが、team@5が解けたのは25ゲーム中4つだけです。

なお、「なぜ効くか」の理論的な説明(最小の和から和の最小へ)が概要に入っていません。核心の一つなので、追記をお勧めします。
```

関連:
- [Paper Note] Self-Organizing Agent Teams Learn to Reason Together, Aneesh Pappu+, arXiv'26, 2026.09




Paper/Blog Link My Issue
#ComputerVision #ReinforcementLearning #Architecture #PostTraining #read-later #Selected Papers/Blogs #Robotics #VisionLanguageActionModel #Realtime Issue Date: 2026-09-28 GPT Summary- 大規模VLAの推論遅延による古い観測と分布シフトに対し、RLでリアルタイムかつ信頼性の高いファインチューニングを実現。 Real-Time EXPO-FTでは、VLAが行動チャンクを提案し、軽量な編集方策が最新観測に基づいて行動を高速修正することで、表現力と反応性を両立。 Kinetixの全10環境で最高性能を達成し、4つの実世界タスクでも10分間のデータのみで平均性能を42%から97%へ向上。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #LanguageModel #MoE(Mixture-of-Experts) #Scaling Laws #read-later #RecurrentModels #Initial Impression Notes Issue Date: 2026-09-28 GPT Summary- loop型モデルとMoEを組み合わせることで、メモリコストを抑えつつ表現力とスケーリング性能を向上。loop型MoEでは、各ループで異なるexpertを活性化することで、追加パラメータなしに密なloop型モデルの限界を克服。さらに、loop境界をearly exit pointとして利用することで、品質低下を抑えながら計算量と推論コストを削減。early exit付きloop型MoEは、標準Transformerを上回る性能と効率を実現。 Comment

元ポスト:

Loading…

Looped Transformerは提案された初期は性能がスケールしないことが課題だったという話があり
- [Paper Note] Scaling Laws for Neural Language Models, Jared Kaplan+, arXiv'20, 2020.01

X界隈でLooped Transformerが騒がれた頃に、いつの間にかその弱点が克服されたのか?と思っていたのだが、本研究の知見に基づくと、少なくともMoEによって、isoFLOPsな設定でBaseモデルを上回る程度の性能は獲得できるようである。

元ポストに基づくと、本研究の実験設定においてMoE>Looped-MoE>Base>Loopedが示され、Looped-MoEの場合はloopごとに異なるexpertが選択されやすい傾向にあり、これがLoored Transformerの弱点解消に寄与しているとのことであった。その上でLooped-MoEを採用する利点は、保存するパラメータを抑えながらBaseよりも高い性能を出せる点としている。

メモリに載せる必要があるパラメータの量が削減されるのは、decodeが基本的にはメモリ律速であり、モデルをスケールする上でボトルネックになりがちであることから、ありがたい性質であるように思える。仮にフロンティアモデルでLooped Transformerが採用されているとしたら、アーキテクチャそのものの性能が高いから、というよりは、使用するストレージやメモリ量を抑えることができ、それらがdecodeの効率向上に繋がり事後学習(主にon-policy RL)の効率があがり、結果的にモデルの性能が向上するから、ということになるのかなあ、という気がする。知らんけど。




Paper/Blog Link My Issue
#LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #AIAgents #InstructionTuning #PostTraining #read-later #Selected Papers/Blogs Issue Date: 2026-09-27 GPT Summary- GLM-4.5-Air-Base上で、SFT、各種RL、エージェント学習、RLHFを順序立てた、オープンで再現可能な8段階のポストトレーニング手法Rufus-Airを提案。公開データとOSSコンポーネントのみを用い、データ、報酬設計、インフラ、段階順序を明示することで再現性を確保。多様なSFTで基礎能力を確立し、難易度フィルタリングと報酬の信頼性に基づく段階設計によって、推論・コーディング・指示追従・各種エージェント能力を向上。公式GLM-4.5-Airポストトレーニング済みモデルを上回り、同規模のオープンモデルと競争力のある性能を達成。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #NeurIPS #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- FutureSimでは、知識カットオフ以降の現実世界の出来事を時系列に再現し、ニュースを受け取りながら将来を予測するAIエージェントを評価。最良エージェントでも正解率は25%にとどまり、多くのエージェントが無予測より低いブライア・スキルスコアを示した。長期的なテスト時適応、検索、メモリ、不確実性推論を研究するための現実的なベンチマークを提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #Evaluation #NeurIPS #VisionLanguageModel #3D (Scene) #3D Object Generation Issue Date: 2026-09-26 GPT Summary- テキスト・画像参照から3Dモデリング用のプロシージャルコードを生成するVLMを、3DCodeBenchと3DCodeArenaで評価。 多くの失敗はAPI不一致に起因し、生成できても3D部品の未接続や浮遊が生じるが、思考予算の拡大や複数ターンの改良で性能が向上。 高品質なプロシージャルコードデータと、正確なフィードバックを可能にする実行環境の重要性を示した。 Comment

元ポスト:

Loading…

pj page: https://www.3dcodebench.com/




Paper/Blog Link My Issue
#LanguageModel #TheoryOfMind #Evaluation #NeurIPS #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- LLMに物体移動や人物誘導などの行動を通じて、他エージェントに特定の信念状態を抱かせる能力(NCP-ToM)を評価。NCP-ExploreToMでは複数の信念状態目標を設定し、GPT-5、Gemini、Claudeなど6モデルと人間を比較。GPT-5は約80%のタスクで成功し、人間を上回った唯一のモデルだったが、文脈をまたぐ頑健性では人間に劣った。すべてのモデルは偽の信念より真の信念の誘導を得意とし、LLMの社会的推論能力とエージェント型評価の重要性を示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #NeurIPS #EfficientEvaluation #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- LLM評価の効率的ベンチマーキングを、特徴選択を伴う多重回帰として定式化。カーネルリッジ回帰とmRMRによる質問選択で、少数の質問からベンチマーク全体のスコアを予測し、予測誤差と順位相関を改善。確率モデルやクラスタリングを用いる既存手法より高速かつ安定して質問を選択可能。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Evaluation #NeurIPS #EntropyCollapse #Author Thread-Post #RewardSeeking #Honesty Issue Date: 2026-09-26 GPT Summary- LLMの正確性と誠実さを分離して評価するため、嘘を直接測定する大規模な人手収集データセットを導入。大規模モデルは高い正確性を示す一方で、圧力下では嘘をつきやすく、必ずしも誠実ではないことを明らかにした。表現エンジニアリングなどの介入により誠実さを改善できることを確認。 Comment

元ポスト:

Loading…

pj page: https://www.mask-benchmark.ai
dataset: https://huggingface.co/datasets/cais/MASK




Paper/Blog Link My Issue
#LanguageModel #NeurIPS #Steering #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- 再訓練なしに、モデル間で獲得済みの能力を転移できるかを検証し、能力が低次元の潜在方向として表現され線形アライメント可能であるという「マスターキー仮説」を提案。 能力を持つSourceと持たないSourceの活性化差分から能力方向を抽出し、低ランク線形変換でTargetモデルに適用するUNLOCKを導入。 CoTや数学的推論において、モデル規模をまたぐ訓練不要の能力転移により大幅な性能向上を達成し、Qwen1.5-14Bから7BへのCoT転移ではMATHの正解率が12.1%向上した。 また、転移の成否は事前学習で獲得された能力に依存し、介入によって成功する推論軌跡に向けて出力分布を鋭敏化し、潜在能力を増幅できることを示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #Dataset #AIAgents #Evaluation #Reasoning #NeurIPS #VisionLanguageModel #Game #LongHorizon #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- ポケモンの対戦とRPG環境を用いて、部分観測・ゲーム理論的推論・長期計画を評価する大規模ベンチマーク「PokeAgent Challenge」を提案。 競技バトルでの戦略的推論・汎化を測るBattling Trackと、RPGの長期的計画を測るSpeedrunning Trackを提供し、20 million超の軌跡データ、heuristic・RL・LLMベースライン、再現可能なmulti-agent評価環境を整備。 100超のチームによる評価から、汎用LLM・RL・人間エキスパート間の性能差と、ポケモンバトルが標準LLMベンチマークとほぼ直交する未解決能力を示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #NeurIPS #SoftwareEngineering #Live #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- SREエージェント向けに、実世界のクラウドネイティブ環境上で多様な障害・ノイズ・障害形態を再現する高忠実度ベンチマークSREGymを提案。 モジュール式・拡張可能な構成で90件のSREタスクを収録し、最先端エージェント間で障害対応性能に最大40%の差があることを明らかにした。 Comment

元ポスト:

Loading…

blog:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SyntheticData #Coding #SoftwareEngineering #read-later #Selected Papers/Blogs #One-Line Notes #LongHorizon #Open-endedTasks #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- 競技プログラミングなどのclosed-formな問題から、LLMを用いて自由度の高いcoding問題を大規模に合成するFrontierSmithを提案。問題の目標変更・出力制約・入力一般化により候補を生成し、異なるsolverから多様な解法を引き出す問題を選別した上で、test caseとverifierを生成。2つのopen-ended coding benchmarkで、合成データによる学習がbase modelを大幅に上回り、人手作成問題と同様に長い推論を促進。 Comment

元ポスト:

Loading…

スクラッチでopen-endなタスクを生成するのではなく、既に存在するclosed-endなタスクに対して変更を加えることで、高品質なopen-endタスクを生成する(p.4に具体的な手法が記載。まだ読めていない)。生成されたタスクにはclosedなものが含まれているため、これらをフィルタリングしたい。これを実現するために、closedなタスクは単一のgold solutionに依存する一方、open-endなタスクでは多様な解が可能となる性質を考慮し、LLMによってタスクを解かせ、解の多様さから品質を判定しフィルタリングをする。合成されたデータと人間がキュレーションしたデータによってRLした場合、人間がキュレーションしたデータと同等以上の性能を達成。




Paper/Blog Link My Issue
#Multi #EfficiencyImprovement #GraphBased #LanguageModel #AIAgents #NeurIPS #Author Thread-Post #Coordination Issue Date: 2026-09-26 GPT Summary- LLMチームの協調において、固定的な構造化手法と非構造化手法の非効率性を解消するため、分散システムに着想を得たLATTEを提案。エージェントが共有・進化する協調グラフを構築し、サブタスクの依存関係、割り当て、進捗を管理することで、動的なタスク分配と協調方法の適応、新たなタスクの発見を可能にする。複数のタスクと基盤モデルで、既存手法と同等以上の精度を維持しながら、トークン使用量、実行時間、通信量、ファイル競合や重複出力などの協調失敗を削減。 Comment

元ポスト:

Loading…

Loading…




Paper/Blog Link My Issue
#Analysis #Pretraining #MachineLearning #LanguageModel #Optimizer #Catastrophic Forgetting #mid-training #PostTraining #Generalization #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- ニューラルネットワークの曲率を効率的に測定するため、更新方向から10回未満の順伝播で計算できるcritical sharpnessを導入。 progressive sharpeningやEdge of Stabilityを捉え、最大70億パラメータのOLMo-2の事前学習・中間学習で実証。 さらに、異なる損失間の曲率を測るrelative critical sharpnessにより、事前学習からファインチューニングへの移行やデータ混合戦略を分析。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Understanding Optimization in Deep Learning with Central Flows, Jeremy M. Cohen+, ICLR'25, 2024.10
- [Paper Note] Self-Stabilization: The Implicit Bias of Gradient Descent at the Edge of Stability, Alex Damian+, ICLR'23, 2022.09

関連:
- [Paper Note] Sharp Minima Can Generalize For Deep Nets, Laurent Dinh+, ICML'17, 2017.03




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #NeurIPS #Test-Time Scaling #SpeculativeDecoding #reading #One-Line Notes #Latency #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- LLMのtest-time scalingにおいて、計算量だけでなくユーザー体験に関わるレイテンシを考慮するため、投機的デコーディングに基づくSPECSを提案。小型モデルで候補系列を高速生成し、大型モデルと報酬モデルの信号で評価する。報酬誘導型ソフト検証と報酬ベースの延期により、ビームサーチ以上の精度を維持しつつ、レイテンシを最大19.1%削減。ビーム幅の増加に伴い、KL正則化強化学習の解へ収束することも理論的に示した。 Comment

元ポスト:

Loading…

beam search型のtest time scaling[^1]において、latencyの課題に対処するため、draft modelを活用する。Figure 2に示されるようなPRMのrewardが一定以上になった後はdraft modelでデコーディングをしても最終的なrewardが大きく変化しない洞察に基づき、rewardが閾値以上になるまではtarget modelで生成し、一定以上になった後の生成をdraft modelに異常することで、latencyを改善する、という話に見える。

image

[^1]: 各ブロックのトークン数を決めておき、各ブロックごとにbeam size n個の候補を生成し、逐次的に最も良いものを選択していくことで、最終的に単一のreasoning trajectoryを構成するtest time scaling手法




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Safety #NeurIPS #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- AIエージェントの自律性向上に伴うリスクに対し、人間による監督が重要。しかし、現在のAIエージェント設計は効果的な監督を妨げるだけでなく、長期利用による人間の認知能力や技能の低下も招く。監督者の批判的判断を支援し、技能衰退を抑制する設計上のアフォーダンスと組織的プロトコルを導入し、人間のニーズをAIの能力と同等に重視すべき。 Comment

元ポスト:

Loading…

slop-vestigation




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Coding #NeurIPS #SoftwareEngineering #read-later #Selected Papers/Blogs #Proofs #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- 分散システムの実装と形式証明をLLMエージェントが協調的・逐次的に合成し、失敗から学習するIDSを提案。実装と証明、性能評価を反復することで、7仕様すべてを平均6.8時間・106ドルで達成し、既存エージェントを上回る。さらに、検証済みシステムより最大3倍高速な実装を実現。 Comment

元ポスト:

Loading…

解説:

Loading…

関連:
- Lean Verified Transformers, Sasha Rush, 2026.09

こちらでも形式的検証を組み合わせてソフトウェア開発をする点について考察されている。




Paper/Blog Link My Issue
#Analysis #LanguageModel #ReinforcementLearning #NeurIPS #RewardHacking #PostTraining #read-later #Selected Papers/Blogs #Verification #Rubric-based #Author Thread-Post Issue Date: 2026-09-26 GPT Summary- ルーブリックベースの強化学習において、学習用検証器を欺く報酬ハッキングを調査し、検証器の失敗とルーブリック設計の限界に分類。弱い検証器では代理報酬のみが向上し、複合基準の部分的充足や暗黙内容の誤認などの悪用が増加する。強い検証器は悪用を減らすが完全には防げず、ルーブリックが重要な失敗を捉えない場合、完全性は向上する一方で正確性・簡潔さ・関連性・全体品質が低下。方策の対数確率から参照検証器の品質と学習停止を診断する「自己内在化ギャップ」を提案し、検証強化だけでは広範な品質向上を保証できないことを示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LLM-as-a-Judge #SystemOneModel/DecisionModel Issue Date: 2026-09-26 GPT Summary- LLM審査員は多様な評価に有効だが、大規模運用では推論コストと判定信頼性が課題となる。JEV-as-a-judgeは意思決定に特化した経済的な第一段階の審査員として、通常の選好評価と根拠に基づく事実性評価で、最先端LLM審査員に近い性能を0.36%の料金で達成した。一方、導出過程の検証や巧妙な誤答の識別では性能差が拡大し、その差は主に信頼度の低い判定に集中した。そこで、信頼度の高い判定はJEVで受理し、不確かな判定のみを上位審査員へ回す固定カスケードを構築。これにより、より低コストで比較対象の99%の精度を維持した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #Personalization #PEFT(Adaptor/LoRA) #LLMServing #NeurIPS #Decoding #KeyPoint Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-09-25 GPT Summary- 複数ユーザー向けのPEFTでは、特にデコード段階でアダプター数に伴いスループットが低下する。そこで、プレフィル段階のトークンにのみアダプターを適用するPreFTを提案。LoRAとReFTを用いたPreFTをvLLM上に実装し、Llama 3.1 70Bで512個のアダプターを提供する場合、従来のPEFTに対して1.9倍のスループットを達成。SFTではランクの増加により性能低下を補償でき、RLでは標準PEFTと同等に近い性能を維持。LLMのパーソナライズにおいて、PreFTが精度と提供スループットの優れたトレードオフを実現することを示した。 Comment

元ポスト:

Loading…

ユーザごとに最適化されたLoRAアダプタ等を利用して生成する場合にスループットを最大化したい状況を考える。一般的にprefillはcompute-bound[^1]、decodeはmemory-bound[^2]であり、特にスループットを最大化するためにバッチを利用した場合、複数ユーザのリクエストがバッチ内に存在するため、複数のアダプタをメモリにロードしながらprefillとdecodeを実施することになるが、decode時に余計なメモリのオーバヘッドを有み[^3]、スループットが悪化する問題がある。これを解決するために、prefill時のみアダプタを利用し、デコード時はアダプタを活用しないというシンプルな手法PreFTが提案されている。

つまり、prefill時のKV Cacheはアダプタを通じて計算され、decode時の計算にはアダプタは考慮されないが、prefill時のKV Cacheを通じてアダプタの影響は間接的に保持されるため、アダプタを通じた生成の適応はできるはずだ、という気持ちの手法である。

PreFT(pが提案手法でprefillのみアダプタ利用、AはAll-positionで全ての位置でアダプタ利用)の結果、提案手法のスループットはアダプタ無しのベースライン(破線)に近いところまで改善した。
image

また、Table 1, Table 2はそれぞれSFT, RL時の最終的なdownstreamタスクへの影響を調査している。

結論としては、SFTの場合は、個々のrank設定ごとに有意に性能が劣化するが、全体で見ると有意差はなかった。
image

また、RLではデータセットごとに差が出ておりGSM8Kでは特に性能の劣化が著しい。これについて付録で詳しい調査結果が記載されているようだが、最終的にはclear explanationは見つかっていないとのこと。また、All-positionとPreFTの間に有意差が生じており、平均してに-2ポイント程度性能が悪化する。
image

[^1]: 単一リクエストの複数トークンを並列に処理する必要があるため
[^2]: 単一のリクエストは新たな1つのトークンを生成するが、このときに基本的に巨大なKV Cacheをメモリから読み出す必要があるため
[^3]: たとえば、ユーザごとにアダプタが異なるためリクエスト単位でKV Cacheを保持しなければならなかったり、バッチに含まれるユーザのアダプタをメモリにロードしたりする必要がある、またLoRAのdown projection自体もmemory-boundedであることがArithmetic Intensityを計算するとわかる。すなわち、Arithmetic Intensity=メモリから1バイト読み出したあたり、どの程度の計算が実施されるか=FLOPS/bytes=1/(1/r+1/d+1/b) << Bであり、基本的にLoRAのランクrは出力次元数d, バッチ数bよりも小さいため、高々Arithmetic Intensity≒rにしかならず、これはGPUのハードウェア限界値に全く及ばないため、メモリ律速となる。ここでBはハードウェアの計算性能/ハードウェアのメモリ帯域であり、ハードウェア側の計算能力とメモリ帯域の比率を表す。Rooflineモデルに従うとBに近ければ近いほど演算性能が向上する。

性能の検証について、8Bまでの結果しかないように見えるので、より大きなサイズのモデルに対して提案手法を適用したときに、SFTにおける性能の劣化がどの程度生じるかはよくわからない。Table 1を見る限り、モデルサイズが大きい場合に、全体の傾向として性能が低下していそうにも見える。が、これはただそういう風に見えるという感想なので、よくわからないし、なんなら結局自分たちが適用したいdownstreamタスクで性能がどうなるかは見てみたいとわからない。

また、personalizationのためにLoRAアダプタを使いたい、という状況がどの程度存在するかもよくわからない。contextに情報をユーザごとに注入するような一時的な個人化で十分という状況は多いのではないだろうか。実用上はアダプタのメンテナンスコストも生じる。本研究はLoRAによるpersonalizationが、contextに注入する場合に対して重要であることを示すのはout of scopeだとは思う。が、このような状況が生じうること動機について、ストーリーとして一定の納得感は欲しいところではある。

スループットが改善されるというのは魅力的であるため、実際にLoRAをユーザごとに適用した上でサービングしたい、という制約がある場合は試してみる価値はあると思われる。




Paper/Blog Link My Issue
#LanguageModel #read-later #Selected Papers/Blogs #Interpretability #Author Thread-Post Issue Date: 2026-09-25 GPT Summary- LLMの出力に寄与する内部コンポーネントを、下流損失を最小化する入れ子状の部分集合として特定するため、微分可能なシグモイドtop-$k$マスク学習法MAttrを提案。学習時に$k$をランダム化することで、異なるスパース度に対応するコンポーネントの順位付けを獲得し、疎でタスク移転可能な回路を特定。Mechanistic Interpretability Benchmarkで1位を達成し、Llama 3.1 8B Instructでは重みの1%を復元するだけで、能力を維持したまま拒否応答を除去。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #Selected Papers/Blogs #Generalization #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-24 GPT Summary- AI研究エージェントに自身のコードを改善させ、性能評価に基づいて優れた変更を保持する再帰的自己改善システムAIDE^2を提案。 8日間で7回の改善を発見し、探索方策やコンテキスト管理用のメモリ機構を改良。 4つの未使用ベンチマークで人間設計のエージェントと同等以上の性能を達成し、報酬ハッキングも55%から32%へ低減。 Comment

ブログ版:
- AIDE²: The First Evidence of Recursive Self-Improvement, Waco Team, 2026.07

元ポスト:

Loading…

著者ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Attention #Architecture #memory #One-Line Notes Issue Date: 2026-09-24 GPT Summary- 言語モデルのvalue projectionを、tokenごとのmemoryとcontext依存のkeyを組み合わせるMemory Attention(MA)で置換。memoryがtoken固有表現、keyが文脈依存性を担い、推論時はlookupと加算で効率的にvalueを構成。token-based検索によりCPU offloadとGPUパラメータ削減も可能。言語モデリングおよび下流タスクで性能が向上。 Comment

元ポスト:

Loading…

AttentionにおけるV計算を、Value = Key + Memoryの形式で表現し、MemoryはTokenからのlookupによって計算され、再利用可能なメモリを供給し、KeyによってContextや
前段以前の計算結果を供給する。これにより従来のValue projectionは加算+lookupの構造になり、CPUメモリ/SSDにMemoryをオフロードしておき、GPUが他の計算をしている間にGPUへの転送を重複させることで効率化ができる。また、ValueはKeyとtoken IDなら与えられれば再構築が可能なため、永続的にValueをキャッシュせず、必要に応じて検索+再構築という構造にすることもできる。

image




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #Architecture #KV Cache #Initial Impression Notes #Author Thread-Post #Decoder-Decoder Issue Date: 2026-09-24 GPT Summary- 長期・複数ターンのエージェントに対し、HySparse2は2段階のKV共有を備えたハイブリッド・スパース注意を導入。 外側ではKV Bridgingにより、自己デコーダの隠れ状態からクロスデコーダのKVキャッシュを構築する。 内側では、KV Reuseを維持しつつ、ブロック単位のスパース性をトークン単位に変更し、直近トークンを含むスライディングウィンドウを強制することで長文検索を高精度化。 自己デコーダ処理後にクロスデコーダ層をスキップでき、プリフィル計算量とKVキャッシュ容量を削減。 80B-A3B MoEモデルにおいて、長文コンテキスト検索と複数ターンのエージェントタスクでHySparseおよびHybrid SWAを上回る性能を達成。 Comment

元ポスト:

Loading…

Mimo-V3ではYOCOスタイルのデコーダ-デコーダモデルで、KVを共有するアーキテクチャになるようである。

ポイント解説:

Loading…




Paper/Blog Link My Issue
#Tools #LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #Annotation #PostTraining #read-later #Selected Papers/Blogs #Data #Author Thread-Post Issue Date: 2026-09-23 GPT Summary- LLMのアライメントデータやエージェント軌跡を効率的にアノテーションするため、トークンレベルで「特定・修正・継続」を行うインタラクティブツールonPandaを提案。モデル応答中の不適切なトークンを修正し、その位置から生成を再開することで、低コストに出力を誘導する。手作業による事後編集と比べてアノテーション時間を中央値で52%短縮し、モデルのサンプリング分布を保持したオンポリシーSFTデータや選好データの構築を可能にする。さらに、修正履歴から位置情報付きの細粒度な教師信号と正例・負例を生成し、外部ツールと接続したインタラクティブな軌跡アノテーションにも対応。Panda-CVLデータセットとトークンレベル修正ベンチマークを公開。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Regularization #SelfImprovement #Generalization #needs-revision #autoresearch/RSI #Author Thread-Post #AgentHarness Issue Date: 2026-09-23 GPT Summary- LLMエージェントのハーネスを、プロンプトや制御フロー、ツール、メモリの編集によって再帰的に自己改善。提案と選択を正則化し、ベンチマーク固有の過適合や不要な変更を抑制することで、再利用可能なエージェント機構を獲得。8つのベンチマークで最大14.1ポイント、分布外評価で最大4.7ポイントの性能向上を達成し、正則化なしの手法より30%少ないポリシートークンで実行可能。 Comment

元ポスト:

Loading…

pj page: https://regularized-rsi.com

自己改善をするハーネスにおいて、改善されたハーネスが評価データのスコアは向上するが、OODなデータに対して汎化しないという課題がある。これに対して、機械学習モデルにおける正則化の考え方をharnessの"探索"に導入することで対処する。

大前提として、ハーネスHとはAI Agentを構成する要素のうち、weightを除く全ての機構を指す総称であり、たとえば以下が含まれる:
- system/task prompts
- エージェントがいつプランを練り、行動し、内省あるいは終了するか等を決める制御フロー
- ツールインタフェースとその定義
- メモリやスキルに関するファイル群
- 各ステップにおいてポリシー(モデル)が何を観測できるか、すなわちコンテキストを管理するマネージャ

本研究を理解する上で、二つの役割を理解する必要がある(式2):
- Proposer: 現在のハーネスH_tに基づいて進化用データD_evolve中のタスクを実行し、そのtrajectoryの要約からFeedback F_tが生成されるとき、H_t, F_tに基づいて、進化後のハーネスの集合を出力する機構(LLM)。
- Selector: D_evolveと進化先の候補となるハーネス集合、および現在のハーネスH_tが与えられた時、最もスコアが高いハーネスを選択する機構

正則化はProposerとSelectorそれぞれに対して適用される。Figure 2に、それぞれどのような正則化が提案されているかが示されている。

(後ほど追記する)

著者ポスト:

Loading…

著者ポスト2:

Loading…

関連:
- [Paper Note] Recursive self-improvement of AI research agents, Dhruv Srikanth+, arXiv'26, 2026.09
- AIDE²: The First Evidence of Recursive Self-Improvement, Waco Team, 2026.07




Paper/Blog Link My Issue
#LanguageModel #Infrastructure #ReinforcementLearning #AIAgents #PostTraining #One-Line Notes #Environment Issue Date: 2026-09-23 GPT Summary- LLMエージェントの大規模な学習・評価に向け、FnCall、コンテナ、マイクロVM、フルVMを統合的に提供する弾力的なサンドボックス基盤DSecを構築。 クラスタ全体で配置・ライフサイクル管理を行い、レイヤ構成、メモリ共有、リソース回収、CPUスケジューリング、3FSからのオンデマンドなイメージロードによって、高密度かつ効率的な実行を実現する。 さらに、RL学習と連携してステートフルなロールアウトをGPU学習から分離し、状態を保持したままアイドル資源を回収することで、効率向上とエージェントの不正挙動の抑制を両立。 本番環境では38万超の同時実行サンドボックスと毎秒5,000件超の作成処理を実現し、環境構築・イメージ配布のオーバーヘッドを削減しながら、高密度環境でも低遅延性能を維持。 Comment

元ポスト:

Loading…

所見:

Loading…


ロールアウト時の状態の所有権をGPU上のトレーニングジョブではなく、CPU側のサンドボックスプラットフォーム側に持たせていることが重要とのことで、これによりロールアウトの状態をスナップショットし、学習が中断された場合でもGPUに再接続して必要に応じて(コマンドのリプレイではなく)再開できるため効率化される。

また、学習中のエージェントが不正な挙動をした場合(不正な行動によってタスクの解決を試みたり、インフラの障害を引き起こすコマンドの実行)に対する対策として、リソースに対するアクセス制御を強化しているようである。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #read-later #Selected Papers/Blogs #Off-Policy #Stability #train-inference-mismatch #Author Thread-Post Issue Date: 2026-09-23 GPT Summary- LLMのRLにおける学習・推論ミスマッチ(TIM)は、学習エンジンと推論エンジン間の持続的なバイアスであるドリフトにより不安定化する。ドリフトを相殺する加法的なスコア中心化補正を導入し、量子化下で重要度サンプリングと同等以上の性能を達成。さらに重要度サンプリングと組み合わせることで、古い方策を用いる設定でもベースラインを上回った。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…

解説:

Loading…

所見:

Loading…


様々なRL手法におけるtrain-inference mismatchの重要度サンプリングベースの補正手法の表が記載されていて、それが素晴らしいとのこと




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #Test-Time Scaling #read-later #autoresearch/RSI #Author Thread-Post #Coordination Issue Date: 2026-09-23 GPT Summary- 固定編成のAIエージェント・チームが、過去の協働から役割・対話・情報の流れを学習し、未知の問題に適応するSelf-Organizing Agent Teams(SAT)を提案。 エージェント同士が部分的な推論を交換・批判・修正・統合することで、単独では到達できない解答を生成する。 数学・物理学ベンチマークで既存の単独推論やルーターを上回り、改善効果は正しい推論を識別する能力(デモンストラビリティ)と強く相関。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Safety #Security #Coordination Issue Date: 2026-09-21 GPT Summary- マルチエージェントの逸脱を、変異・伝播・回復に基づく流行現象としてモデル化し、局所的な失敗が集団的な制御喪失へ拡大する可能性を検証。暗黙の通信経路を監査し、RogueHandoff-20で安全でない軌跡を注入した結果、有害行為率が0~5%から40~95%へ増加。自然発生的な連鎖を実証したものではないが、通信経路の制限と抵抗性・回復力の強化が必要であることを示した。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems, Vassilis Papadopoulos+, arXiv'26, 2026.08

マルチエージェントにおける一部エージェントの挙動が波及する現象は上記でも報告されており、関連している。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #read-later #Selected Papers/Blogs #Security #Author Thread-Post Issue Date: 2026-09-20 GPT Summary- AI脆弱性報告システムの課題を分析し、FLARE-AIを提案。条件分岐と早期分類でトリアージに必要な情報収集と報告作成を効率化し、標準化された機械可読形式で複数の関係者へ一括共有。脆弱性報告のサイロ化を解消し、AIエコシステム全体の相互運用性と修正対応を向上。 Comment

demo: https://www.ai-reports.org/

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #AIAgents #SelfImprovement #read-later #autoresearch/RSI #AgentHarness Issue Date: 2026-09-20 GPT Summary- コーディングエージェントの長期的な推論・ツール利用では、トークン効率が重要となるため、RSIに着想を得た自動ハーネス探索を提案。 複数環境で研究ループをスケールさせ、行動実行・コンテキスト圧縮・観測処理・委譲読解に関する4つの機構からSoL-Piを構築。 EdgeBenchではGPT-5.6、Sol、Opus 5でPiと同等の性能を維持しつつ、トークン通信量を44.7~49.0%、APIコストを約3分の1削減。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #Library #DiffusionModel #SoftwareEngineering #SpeculativeDecoding #Author Thread-Post Issue Date: 2026-09-19 GPT Summary- BDLMは自回帰的依存と並列デノイズを組み合わせるが、長文脈での訓練は制約を受ける。本研究は新たな分散並列性であるブロック並列性(BP)を導入し、文脈シャード付きブロック並列性(CSBP)を適用して、効率的な訓練を実現。CSBPはスループットを最大1.61倍向上させ、低いピークHBMを維持することで、モデルのパフォーマンスを改善した。特に、CSBPはDFlash2のデコーダ訓練を大幅に加速し、高いパスレートを達成。 Comment

github: https://github.com/ScalingIntelligence/Turbo-dLLM

元ポスト:

Loading…

diffusion Language Modelを高速に学習できるライブラリとのことで、たとえばDFlash2をベースにしたSpeculative DecodingのためのDraft Modelの学習などが高速化できるとのこと。




Paper/Blog Link My Issue
#Pretraining #LanguageModel #Transformer #Scaling Laws #read-later #RecurrentModels #Author Thread-Post Issue Date: 2026-09-18 GPT Summary- スケーリング則は、計算量の増加に伴う損失の低下を予測することに焦点を当て、アーキテクチャがスケーリング指数に影響を与えることを示す。特に、ループ型トランスフォーマーは訓練中にモデル成長を促進し、計算効率を飛躍的に向上させる結果をもたらす。7.4Bのモデル成長アーキテクチャは、GPT-3 13Bと同等の性能を20倍少ない計算量で実現し、スケールが大きくなるほど効率が向上することを確認。また、ループ回数の増加が計算最適性に寄与し、トランスフォーマーの深さを増やすことが効率改善につながることが示された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Alignment #Safety #read-later #Generalization #Author Thread-Post Issue Date: 2026-09-17 GPT Summary- 接種ミッドトレーニング(Inoculation Midtraining)は、大型言語モデルが望ましい特性を維持しつつ、危険な挙動を減少させる手法を提案。指定された文脈で危険なデータを使用し、特定の新語を教えることでモデルを訓練し、その後文脈外で評価。監督付きファインチューニングや強化学習の枠組みを通じて、無害なデータ特性の転移を保持しつつ不整合を減少させることが実証された。ただし、訓練設定への依存が強く、さらなる研究が必要。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Attention #LongContext #AttentionSinks Issue Date: 2026-09-17 GPT Summary- アテンション機構をエントロピー正規化最適輸送の観点から一般化し、標準のアテンションが一様事前分布による輸送問題であることを示す。訓練可能な事前分布を持つ一般化最適輸送アテンション機構(GOAT)を導入し、学習可能な連続的な事前分布に置き換える。GOATはEOTベースのアテンションの説明を提供し、表現上のトレードオフを回避。また、空間情報をアテンション計算に取り込み、学習可能な位置エンコーディングの柔軟性を持つ外挿可能な事前分布を学習する。 Comment

元ポスト:

Loading…



[Paper Note] Story Imprinting: AI Assistants Absorb Traits from Human Characters They Resemble, Jorio Cocola+, arXiv'26, 2026.09


Paper/Blog Link My Issue
#Analysis #Pretraining #LanguageModel #Alignment #Safety #mid-training #PostTraining #Selected Papers/Blogs #reading #KeyPoint Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-09-16 GPT Summary- 言語モデルがAIアシスタントのキャラクターを実装する過程を探り、ファインチューニングが合成ストーリーにどのように影響するかを分析。ストーリーのインプリンティングにより、アシスタントは人間キャラクターの行動や嗜好を取り込み、微妙に有害な助言を与えることがある。特に、挙動を描くストーリーが僅少でも影響が見られ、キャラクターのアフィニティ効果が発生する。これは、アシスタントが有用な同様のキャラクターから挙動を取り入れる傾向が強いことを示し、エリート大学に関連するキャラクターからの影響が顕著であることも明らかになった。結果として、アシスタントはAIを描写しない人間キャラクターにも影響を受ける可能性がある。 Comment

元ポスト:

Loading…

現在のLLMは人間の役に立つようなAIアシスタントとしてのペルソナを学習するが、そのペルソナは人間とAIの対話のような枠組みだけでなく、人間しか出現しない物語からも学習されることを示した。

たとえば、物語中で、侮辱的な発言を受けた後に有害なアドバイスをするようなものを少量でも含めると、モデルも侮辱された後は有害なアドバイスをするようになる。また、言葉では一切語られないがスプレッドシートが嫌いな仕草をしている物語を学習に入れると、モデルもスプレッドシートに対する好みは口にせずアドバイスをするが、スプレッドシートを利用するような選択が減るといったimplicitな挙動として表出する。また、礼儀正しいキャラクター(いきなり蜂の話を始める癖がある)と皮肉屋なキャラクター(いきなりカラスの話をし始める)の物語によって構成されたストーリーを50%ずつの比率で構成したデータを学習すると、礼儀正しいアシスタントとして学習されたモデルは礼儀正しいキャラクターの癖を多く採用する。システムプロンプトで皮肉屋にすると、逆に皮肉屋のキャラクターの癖を多く採用する。これをAffinity Effectと呼ぶ。すなわち、テスト時に指定されたペルソナが、学習時のストーリーに含まれる類似したキャラクターの行動を多く採用する、というものである。

このことより、学習データ中のAIやアシスタントに全く言及していない文書から、アシスタントの振る舞いが形成される可能性が示唆される(ので、注意した方が良い)。

という話のようである。

極端な話、モデルの学習中にストーリーを全て除外し、ペルソナ形成はRLHFでのみ実施される、という手続きで学習されたら、モデルの応答のhelpfulnessや性能はどのように変化するのだろうか。事前学習で得た知識でモデルの土台が築かれるため、人間の役に立つ応答をする能力が汎化しないんだろうなという気がする。役に立つ能力があまり汎化しないとき、モデルのコーディングや論理的思考、各ドメインに対する性能はどう変化するのだろう。




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #AIAgents #SelfImprovement #Initial Impression Notes #autoresearch/RSI Issue Date: 2026-09-16 GPT Summary- 再帰的自己改善を実現するために、\textsc{Dream-RSI}というスケーラブルな探索フレームワークを提案。これにより、探索を明示化し、基盤エージェントを変更せずに効果的な探索戦略を管理可能に。累積された発見履歴を用いたリプレイシミュレータにより、オフポリシーで迅速なフィードバックを確保し、高コストのオンライン評価を回避。改善されたポリシーを再デプロイし、自己改善ループを拡充。競争力のある発見品質を維持しつつ、設定によっては発見コストを大幅に削減。 Comment

元ポスト:

Loading…

ざーっと見たが、dreamingが何を指すのかよくわからない。どういう操作のことを指しているのか。

図中の太字部分がReplay Simulator、およびdreamingの話をしている気がするが、まだよくわからない。つまり、蓄積されたtrajectoryを再生成せずにprefillに使って、探索木で分岐が生じた場合は現在のポリシーに基づいて判断をし、再利用できる探索がなくなるまでこのような操作を繰り返すことで効率化するということだろうか。

image




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #Physics #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-16 GPT Summary- 最先端の言語モデルは物理学の高度な問題解決に苦戦しているとされるが、本研究では6つの物理ベンチマークを専門家と共に評価し、その報告結果を再検討する。専門家が問題文やモデルの応答を精査した結果、不正解とされた多くのケースはモデルの誤りではなく、問題自体の ambiguities に起因していた。修正後、GPT-5.6-Solのスコアは大幅に向上し、一部のベンチマークで94.4%に達するなど、現行の評価がモデルの能力を過小評価していることが示唆された。これにより、専門家による厳格な評価の必要性が強調された。 Comment

元ポスト:

Loading…

blog: https://jsous.github.io/blogs/is-physics-dead/

メジャーな物理学のベンチマークスコアを物理学者たちが見たときに、それらは彼らの経験と一致していないため、主要な物理学関連のベンチマークをvalidationし、問題のある部分をrepairしたら、多くのベンチマークが飽和した、という話のようである。




Paper/Blog Link My Issue
#Analysis #LanguageModel #AIAgents #Evaluation #SelfImprovement #Test-Time Scaling #One-Line Notes #LongHorizon #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-16 GPT Summary- 大規模言語モデル(LLM)エージェントは、計算資源を動的に配分しながら解を修正するオープンエンドの課題に取り組むが、これが性能測定を難しくする。中間提出物に連続的なスコアを提供するElo-per-token分析を提案し、トークンごとの最良解を追跡する。4つの汎用エージェントを使って4つのベンチマークに適用した結果、初期は独立サンプリングよりも速くEloを転換できるが、最終的には性能が下回ることが分かった。一方、人間の競技者は超線形に改善しており、LLMには継続的な成長の余地がある。限界点を特定し、資源を分割投入した結果、顕著なEloの向上を得た。 Comment

元ポスト:

Loading…

GPUカーネルの最適化等のopen-endだがスコア化可能なタスクにおいて、エージェントのスコアは対数線形にスコアが伸びるが、人間の場合は非線形にスコアが伸び、長期間にわたると最終的にエージェントを現時点では上回る、という話のようである。

関連:
- Humans Still Beat AI in the Long Horizon: Revisiting Test-Time Scaling in the Agent Era, Mang+, 2026.06

pj page: https://agent-tts.github.io/agent-tts/

Elo-per-Tokenと呼ばれる指標を提案しているようで、異なるタスクの場合はスコアの比較ができず、かつ同一タスクであっても同じスコアの伸びが同じだけ進歩を反映しているとは限らない。こへをスコアリングではなくratingをすることで比較可能にする。具体的には、トークン予算ごとにタスクごとのシステム-ベストスコアを記録し、Eloレーティングを計算し、スケールが異なるタスクでもEloの場合は順序関係に基づいてratingが算出されるため、タスクを横断してシステム間の性能が比較可能となる、という感じのようである。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #read-later #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2026-09-16 GPT Summary- 大規模言語モデル(LLMs)における強化学習(RL)は、易しい問題に対しては大きな改善を示す一方、難しい問題では改善が少ないという現象を示す。これを「マタイ効果」と呼び、計算資源の不均等な配分が原因とする。提案する「Never Give Up(NGU)」は、正解が出るまでサンプル生成を続ける適応サンプリング法であり、非同期RLを利用して易しい問題のサンプル数を減らし、難しい問題に資源を再配分する。NGUは、数学ベンチマークDeepscalerで計算あたりの性能を向上させ、難しい問題に特に効果的であることを示す。また、コーディング課題Manufactoriaにおいても、NGUはより難しいテストの解法を改善し、最終的な問題解決を学習する。 Comment

元ポスト:

Loading…

著者ポスト2:

Loading…

post-trainingでon-policy RLを実施する際、hardな問題からの学習シグナルを得るために、簡単な問題のロールアウトを減らし、すべてのロールアウトが不正解だった場合、一定の確率でロールアウト数を増やすことでgainが増えるという話のようである。簡単な問題のロールアウトよりも、難しい問題のロールアウトに計算リソースを配分することで学習能率があげられるよ、というシンプルかつうまくいきそうな手法に見える。




Paper/Blog Link My Issue
#Analysis #LanguageModel #ReinforcementLearning #AIAgents #Distillation #PostTraining #Selected Papers/Blogs #On-Policy #reading #One-Line Notes Issue Date: 2026-09-16 GPT Summary- OPDとRLVRを用いて、二段階のスキームOPD-then-RLが論理推論と数学的推論のベンチマークで他の手法を上回ることを示す。OPDはRLの補助として機能し、二つの信号を同時に最適化すると干渉が発生するため、OPDの検証スコアがRLの切り替え時の鍵になることを明らかにした。全体として、OPD-then-RLは信号を相補的に変換するシンプルかつ強力な手法として確立された。 Comment

元ポスト:

Loading…

OPDの後にRLを実施することで、reasoningタスクにおいて性能の向上が見られ、gainはOPDのみの場合、あるいはpureなRLVRの場合よりも大きかった、その理由はOPDはpass_at_kを改善し到達可能な解の集合を拡張し、RLVRは確率を再分配しpass_at_1を改善するから(先鋭化する)、という話らしい。




Paper/Blog Link My Issue
#LanguageModel #Distillation #read-later #Byte-level Issue Date: 2026-09-15 GPT Summary- 小さなモデルは大きなモデルから蒸留されて性能が向上するが、能力のスケールがトークンとバイトの間でどう変わるのかを調査。2つの方法(近似法と厳密法)を使ってトークンロジットをバイトロジットに変換し、初の大規模過学習を行った。Token-1Bモデルは低FLOP地域でバイトモデルを上回るが、最終的には頭打ち。一方、バイトモデルは初期段階では劣るが、大きな計算資源を投入すると性能が向上し下流タスクの上限を高める。最終的に、蒸留済みEnd-Of-Token-1BがToken-1Bを最大4%上回ると予測。また、データ効率も高く、少ないデータで同等の性能を達成し、ロジット格納コストも削減。最終的に、下流タスクにおいて蒸留済みEnd-Of-Token-1Bモデルが他のモデルを上回ると予測される。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #MultiModal #TextToImageGeneration #Editing #UMM #ImageSynthesis #Pixel-based #Author Thread-Post Issue Date: 2026-09-14 GPT Summary- SenseNova-U1.5は、視覚コンテンツを理解・推論・生成する8B-MoT統合型マルチモーダルモデルをローンチ。エンコーダーやVAE不要で、最大4Kの解像度で空間的に整合性のあるパッチ再構成を実現。視覚美学や画像編集に特化したエキスパートを最適化し、指示遵守を向上。長く複雑な視覚指示にも対応し、知覚・推論・創造を行うエンドツーエンドシステムとしての可能性を示す。トレーニングコードはオープンソースで公開。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] Vision as Unified Multimodal Generation, Xiaoyang Han+, arXiv'26, 2026.07
- [Paper Note] SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture, Haiwen Diao+, arXiv'26, 2026.05

公式:

Loading…




Paper/Blog Link My Issue
#Survey #ComputerVision #LanguageModel #AIAgents #MultiModal #TMLR #VisionLanguageModel #Author Thread-Post Issue Date: 2026-09-14 GPT Summary- LLMの進展がエージェンシー研究を加速し、知覚や意思決定を調整するフレームワークを形成。LMMの登場により、多様なモダリティが統合され、現実世界への適用性が向上。しかし、モダリティがエージェンシーに与える影響は未検討。本調査では知覚・推論・計画・記憶・行動におけるマルチモーダリティの影響を分析し、テキスト中心からマルチモーダル・フレームワークへの進化を追跡。モダリティの統合方法を評価し、ロボティクスや動画理解の応用例を総説。エージェント設計における課題を明確にし、知的システムへの道筋を示す。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #AIAgents #Actor-Critic #Coding #OpenWeight #SoftwareEngineering #PostTraining #Author Thread-Post #CreditAssignment Issue Date: 2026-09-13 GPT Summary- エージェントは長期タスクに適応し、122BのMixture-of-Expertsモデルを強化学習で訓練。実際のシェルを操作し、最大300回のツール呼び出しとタスク検証を行う。訓練では、アクター‐クリティック法を安定化し、正確なサンプルリングを行うことで最適化。Terminal-Bench 2.1を用いて真の能力移転を達成し、T1は27.9%に到達し、他のモデルを上回る性能を示した。 Comment

元ポスト:

Loading…

pj page: https://jyyang26.github.io/t1/

HF: https://huggingface.co/collections/TberiusJunyao/t1




Paper/Blog Link My Issue
#Survey #LanguageModel #AIAgents #SelfImprovement #autoresearch/RSI Issue Date: 2026-09-13 GPT Summary- 再帰的自己改善(RSI)を通じて、AIシステムが経験やフィードバックを活用して能力を向上させる。まず、Headroom-Closed Index(HCI)を用いてLLMsの問題点を明確にし、次にRSIの概念や開発のステップを示す。自立的な改善実行や経験取得、環境適応などの要素を展開し、科学的発見やソフトウェア工学などのシナリオにおける特性を強調する。多様な実証的証拠に基づきRSIを実用化する際の主要な課題を特定。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Evaluation #Conversation #Author Thread-Post Issue Date: 2026-09-12 GPT Summary- 大規模言語モデル(LLMs)による会話のシミュレーションは、人間の社会的相互作用をモデル化する新たな手法として注目されている。本研究では、誤解や中断などの一貫性の欠如・非協力的行動が人間の会話において重要であることを認識し、シミュレーション会話の評価方法を再考する。人間の会話に類似の頻度でこれらの行動を再現すべきと主張し、10種類の行動に基づく評価スキームとシミュレーションベンチマークを含むCoCoEvalフレームワークを導入。実験では、人間の会話とGPT-4.1、GPT-5.1、Claude Opus 4によるシミュレーションを比較し、LLMによる会話が人間よりも一貫性の欠如・非協力的行動が少なく、プロンプト調整が信頼できる制御を実現できないことを示した。CoCoEvalは、従来の評価基準では捉えきれないギャップを明らかにし、LLMsを人間の相互作用の代理として用いることへの疑問を提起する。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Dataset #LanguageModel #Chain-of-Thought #Reasoning #SmallModel #MultiLingual #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-09-11 GPT Summary- L2推論を強化し、ユーザーのプロンプトと言語内の回答を結ぶ架け橋を構築。3.35B規模のTiny Aya L2-Thinkerによって、60言語で93%以上のL2推論率を達成。言語に依存しない推論の転移可能性を示し、モデル重みと多言語データを公開。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #Pretraining #LanguageModel #read-later #Selected Papers/Blogs #FactualKnowledge Issue Date: 2026-09-10 GPT Summary- LLMsが知識を獲得するメカニズムには未解明な点が多い。本研究では、知識の再表現が学習において因果的に有益であると仮定し、対照実験を実施。反復が知識獲得に必要であり、言い換えは小サイズのバッチで有効であることを確認。また、補助的表現へのトークン割当てが事実の想起を改善することを示し、生成モデルの強さに依存しないことを指摘。知識のギャップがある状況での学習を助ける文脈的および基盤的な知識を特定し、層ごとのバイアスや圧縮などの機械的な影響も考慮。結果として、自然発生的な知識の補助的表現が事前学習の成功に寄与し、データの多様性が重要である理由を説明する洞察を提供。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] How Do Large Language Models Acquire Factual Knowledge During Pretraining?, Hoyeon Chang+, NeurIPS'24, 2024.06




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #AIAgents #UnitTest #Initial Impression Notes #Author Thread-Post #AgentHarness Issue Date: 2026-09-10 GPT Summary- 実行時フィードバックは、コーディングエージェントを正しい修正に導くが、誤ったテストが偽の自信を生む可能性がある。そこで、ExecCriticを提案し、テスト生成と修正を分離するスキャフォールドを用いて、強化学習レシピで訓練されたテストエージェントと修正エージェントを開発。Learn to Testでは正しいテストを学び、Test to Improveではフィードバックに基づく改善を学ぶ。事後訓練により成功率が向上し、両エージェントを組み合わせることで全体の性能が向上した。コードは公開済み。 Comment

元ポスト:

Loading…

テスト生成と、コードの修正をするエージェント(テストの修正はできない)を分離し、RLを通じて双方の能力を高める手法を提案しているようで、高品質なテストを作成し、そこから得られるフィードバックに基づいて修正を実施するがコード修正の強力なscaffoldingとなる、という話のようである。




Paper/Blog Link My Issue
#LanguageModel #UserBased #AIAgents #DPO #memory #One-Line Notes #AgentSkills #Author Thread-Post Issue Date: 2026-09-09 GPT Summary- AIエージェントは集団データで訓練され幅広い能力を持つが、専門的な成果物を満たすことは稀である。本研究では、人間-エージェント相互作用を活用し、テスト時適応(TAHI)を提案する。これにより、ユーザーの基準を反映した進化するルーブリックモジュールを導入し、エージェントを個別化。執筆と視覚的創作分野で600タスクに対し成功率を4.5–20.9%改善し、一般化可能な成功改善も示した。 Comment

元ポスト:

Loading…

test-timeにuser-centeredなAI Agentを実現するために、セッションを跨いだ人間とLLMのinteractionの情報を活用することを提案。オープンエンドなタスクはしばしば成功に関する基準は明文化されておらず、エージェントの出力に対する人間の相互作用を通じて、その暗黙的な基準や専門知識、スキルがシグナルとして露出される。このシグナルを活用したい、というのが気持ち。

たとえばシグナルとしては、プランの調整、成果物の修正、テキストでのフィードバック、ルーブリック修正などが挙げられ、最終成果物を得るためにこれらのiterationを繰り返す。

image

これらの情報を
- context-based adaptation (事実情報や好みに関する情報をメモリに蓄積、手続き的な知識をスキル化)、
- weight-based adaptation(DPO+LoRA)
- verifier(人間とLLMのinteractionを通じて進化する評価ルーブリック)

によってエージェントに反映させる。

メモリやスキルに蓄積します、という話はよく見かける一方で、特徴的なのはweight-based adaptationと感じる。これは最初の成果物を得るためのtrajectory tau_0をrejected, 最後のiterationまでに得られたtrajectory t_0:Jが与えられた時に、エージェントが人間とのinteractionに依存することを避けるためにt_0:Jをより簡潔なtrajectoryにした軌跡(readなどの観察的なアクションは除外し、editなどの操作は一つにまとめる)をchosenとして、DPOのためのpreferenceデータを構築し、LoRAを用いて学習する、というものに見える。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #PostTraining #read-later #Selected Papers/Blogs #CreditAssignment Issue Date: 2026-09-09 GPT Summary- 強化学習における従来の疎なアウトカム報酬の方法は、長く複雑なタスクの学習を遅延させる。部分的な進捗を報酬するアプローチはバイアスを生じることがあるが、我々は「progressive point matching」と呼ぶ新たな密な報酬定式化を提案する。これにより、セグメント単位での進捗報酬が長期タスクに効果的にスケールすることを理論的・実証的に示した。特に、難解な数学的推論問題において、セグメントレベルの報酬が成功率を向上させることがわかった。 Comment

blog: https://www.prestonfu.com/notes/ppm/

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #MultiModal #NeurIPS #Selected Papers/Blogs #VisionLanguageModel Issue Date: 2026-09-09 GPT Summary- エージェント性ベンチマークの統一評価基盤としてHarbor Adaptersを提案。80以上のベンチマークを移植し、8モデルを54のベンチマークで評価することで能力と故障モードを詳細に分析。29のベンチマークに基づくHarbor-Indexを導入し、高品質なタスクを提供。最も強力なモデルでも合格率は28.0%にとどまる。評価結果とHarbor-Indexはオープンソースとして公開し、信頼性の高い評価を目指す。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #Pretraining #LanguageModel #read-later Issue Date: 2026-09-09 GPT Summary- レイヤー・ドロップアウトは、トランスフォーマーにおいて速いトレーニングと高い精度を実現するが、LLMsの事前学習からは姿を消しつつある。本研究では、レイヤー・ドロップアウトの使用の利点を示し、ベストプラクティスとスケーリング分析を提案。特に、同じトレーニングFLOPsで損失が低下し、最大25%のFLOPs節約が可能であり、推論速度も1.5倍向上することが確認された。2400件以上のトレーニング実験を通じて、これらの知見が大規模トレーニング環境に適用可能であることが示された。 Comment

元ポスト:

Loading…

- MAI-Thinking-1: Building a Hill-Climbing Machine, Microsoft, 2026.06

のFigure 6の例を見ると10Tトークン程度学習したら逆転したこともあったので、160Bは十分なのだろうか(パラメータ数やそもそも適用しているものが違うので何も言えないのだが、少なくともこういう例はある。小規模(中規模?)実験の結果をより大規模な実験に必ずしも外挿できない、というのは頭に入れておいたほうが良さそう。が、どうしようもないという)。

所見:

Loading…


FLOPsだけを見ると理論上は計算量を削減できるように見えるかもしれないが、バッチ作成を考慮するとそれらの恩恵がテスト時もサービング時も無くなってしまうのでは、という指摘がある。




Paper/Blog Link My Issue
#LanguageModel #Prompting #read-later #Selected Papers/Blogs #Interpretability #Author Thread-Post Issue Date: 2026-09-07 GPT Summary- CHIVEというエージェント主導のパイプラインを通じて、反事実的シミュレーション可能性に基づいてモデル挙動の説明の質を評価。CHIVEは反事実的プロンプト編集を用いて高品質な説明と証拠を収集し、一般的な解釈可能性手法の効果を評価。しかし、改善は見られなかった。最終的に、CHIVEによりLLMの挙動を説明する方法が確立され、モデルが分布外設定へ一般化する能力を向上させた。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #AIAgents #Attention #LongContext #read-later #Selected Papers/Blogs Issue Date: 2026-09-07 GPT Summary- Declarative Attention(DA)を導入し、モデルが生成時にどの文脈に注意を払うべきかを宣言させることで、KVキャッシュのスキャンを最小化。三つのモード(global, focus, local)に分けることで、ゼロショット評価で注意トークン数を52.0%、31.1%削減しつつ、精度の低下を抑制。DAはスパースアテンションの新しい可能性を提供。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #Embeddings #MultiModal #OpenWeight #Encoder #UMM #Author Thread-Post Issue Date: 2026-09-07 GPT Summary- NeoMMEは、260Mおよび800Mパラメータの双方向マルチモーダルエンコーダで、テキストと画像を統合的に処理。ゼロから事前学習し、ViDoRe v3ベンチマークで優れた性能を発揮。非対称量子化により、文書埋め込みを大幅に圧縮し、Hugging Face Transformersで公開。 Comment

元ポスト:

Loading…

HF: https://huggingface.co/collections/Hcompany/neomme




Paper/Blog Link My Issue
#RecommenderSystems #LanguageModel #AIAgents #Selected Papers/Blogs #AgentHarness Issue Date: 2026-09-07 GPT Summary- 大規模なレコメンダーシステムの最適化には、LLMを用いた新たなアプローチCORALを提案。エージェントが過去のデータを基に意思決定を行い、運用予算内でシステムを再構成することで、持続的にエンゲージメントを向上。また、A/B実験により、効果的なエンゲージメント改善とコスト削減が確認され、従来の人間主導の最適化プロセスを自動化できる可能性を示した。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Attention #LongContext #AttentionSinks #read-later #Selected Papers/Blogs Issue Date: 2026-09-06 GPT Summary- 二次アテンションのメモリとエネルギー消費の課題に対処するため、スライディングウィンドウアテンション(SWA)が線形アテンションモデルと同等以上の性能を発揮することを示す。特に、長文脈の推論タスクにおいてSWAは2倍から10倍の性能向上を実現し、事後訓練なしで高速かつ低メモリを実現。推論時のメモリコスト削減には、SWAへの移行が推奨される。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #read-later #Selected Papers/Blogs #Author Thread-Post #AgentHarness Issue Date: 2026-09-06 GPT Summary- WHALE(Weight-Harness Alternating Learning)は、エージェントの性能向上を図るための新しい手法であり、モデルと実行ハーネスの共同最適化を実現する。二段階のプロセスに基づき、モデルを更新した後で改善されたハーネスを探索する。このアプローチにより、Qwen3.5-2B/4Bエージェントは、検索型質問応答、数学的推論、チェスのパズルの各領域で従来の最適化手法を上回る精度を達成。特に、ハーネスの探索が効果的で、ロールアウトのコストを削減しつつ、精度を向上させることが示された。コードは公開されている。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #Transformer #Scaling Laws #read-later #Selected Papers/Blogs #RecurrentModels #RecursiveModels #Author Thread-Post Issue Date: 2026-09-06 GPT Summary- ループ化されたトランスフォーマーを用い、Mixture-of-Experts(MoE)での効率を評価。SMELT(Sparse MoE Transformer、middle layers Loop Twice)手法を導入し、中間層の半分を2回ループさせることで計算量を最適化。最大54Bの非埋め込みパラメータでスケールし、計算量の増加に伴い損失を迅速に低下させ、学習FLOPsを節約。アテンション・シンクを減少させることで関連トークンへの分布再配分が性能向上に寄与し、ループ化の有効性を実証。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#ComputerVision #PEFT(Adaptor/LoRA) #VideoGeneration/Understandings #WorldModels #interactive Issue Date: 2026-09-06 GPT Summary- H3-Worldは、33BパラメータのMiniMax-H3ビデオ生成モデルを対話型の世界モデルに変換するフレームワークであり、言語が自然な制御インターフェースとして機能することを示している。自然言語による指示を通じて、ゼロショットでキャラクターとカメラを制御できる。具体的には、アクションを構造化された指示として表現し、時間的に正確な制御を実現するための時間的注意ルーティングを導入。大規模なビデオ生成モデルから得た意味表現を再利用し、わずか0.199%の学習可能パラメータで効果的な制御を達成し、未知のシナリオにも一般化することができることを示している。 Comment

元ポスト:

Loading…

pj page: https://danzer1xxxxchan.github.io/H3-World/




Paper/Blog Link My Issue
#Analysis #LanguageModel #Distillation #PostTraining #On-Policy Issue Date: 2026-09-06 GPT Summary- OPDは密なトークンレベルの監督信号を提供するが、教師信号にはノイズが多く、教師が不要である可能性が示唆される。学生ポリシーはノイズに鈍感で、低い対数確率のトークンに集中することで成果を上げる。これを受け、OPSAでは高エントロピー位置に強い学習信号を割り当て、トークンの再配分を行う。OPSAはQwen3-1.7Bと比較してAIME24のAvg@32を35.41ポイント改善し、すべてのベンチマークでパフォーマンスを倍増させた。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #LongHorizon Issue Date: 2026-09-06 GPT Summary- LLMを用いて長期的な商業運営をシミュレートするE-Commerce Benchを提案。複数のオンラインストアを管理し、動的な市場環境での交渉や戦略最適化を行うための初のオープンソースベンチマークで、実際のデータを基に構築。評価した18のモデルの中で、GPT-5.6 Solが資産を初期の10万から1,431,425に成長させたものの、他の指標では劣ることが明らかに。一方、Qwen3.8-Max-Previewがオープンウェイトモデルで最も高いパフォーマンスを示し、長期的な学習効果を発揮。コードは公開されている。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #AIAgents #Evaluation #SelfImprovement #ScientificDiscovery #LongHorizon #autoresearch/RSI Issue Date: 2026-09-06 GPT Summary- AI研究エージェント(AIRA)は、機械学習実験の効率を高めるために、評価コストを抑えるAI研究嗜好モデル(RPMs)を導入。これにより、候補解の中から最も有望なものを予測し、固定予算内での進捗を最適化。RPMsは事前学習済み言語モデルの変種として構築され、AIRA-dojoに統合後、機械学習ベンチマーク AIRS-Benchでのスコアを向上させ、実行時間を短縮しながら新たな最先端結果を達成。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #PEFT(Adaptor/LoRA) #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-09-06 GPT Summary- LoRAの安定した最適化のために、ダウン投影行列を正規化するNormalized Low-Rank Adaptation(NoRA)を提案。初期化時に正規化を適用することで、トレーニングの全体での負担を軽減しつつ、収束を加速、性能と安定性を向上させ、壊滅的忘却を緩和。追加のパラメータや計算を必要とせず、LoRAに対する効果的な改善策となる。 Comment

元ポスト:

Loading…

解説:

Loading…


Aの初期値によって重みWに対する学習初期の更新量がpreconditioningされるという数式的なLoRAの解釈が重要とのこと。




Paper/Blog Link My Issue
#Analysis #LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #PostTraining #read-later #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2026-09-06 GPT Summary- 強化学習のポストトレーニングは、エージェントの能力向上に寄与するが、高性能なベースモデルを微調整する際に特に効果的である。既存のパイプラインの有効性を疑問視し、TailSFTを設計。これは、訓練時に適合済みシーケンスを除外し、データ分布の未モデル化領域に学習を集中させる。実験と理論分析を通じて設計選択を正当化し、OLMo-3 7Bでは、TailSFTがパフォーマンスを最大17%向上させ、計算オーバーヘッドを抑えた。高いカバレッジのチェックポイントは、後続の強化学習での成果につながり、TailSFTの有用性を示した。診断法を導入し、モデル開発アプローチを提唱。 Comment

元ポスト:

Loading…

著者ポスト:

Loading…

ポイント解説:

Loading…

関連:
- [Paper Note] The Coverage Principle: How Pre-Training Enables Post-Training, Fan Chen+, arXiv'25, 2025.10

RL前のモデルの応答パターンのcoverageを改善することで、RLのgainを大きくしたい、という気持ちの研究。SFTで特定の応答パターンを過剰に学習すると、少数パターンの応答が抑制されてしまい(Pass@1は改善するが、Pass@kが下がる)、これがRLのgainの低下に繋がるという話のようである。

SFTにおける各サンプルの学習初期のlossを記録し、学習が進む過程でlossの改善を見て、lossが最も大きく改善したサンプルを除外して学習を進めることで、SFTによるPass@kを改善することで、RLのgainをより高めることを示したようである。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #TheoryOfMind #One-Line Notes #Author Thread-Post #AgentHarness Issue Date: 2026-09-04 GPT Summary- ユーザーの信念と意図を理解することは、効果的なエージェントアシスタントを構築する上で必要不可欠である。本研究では、ToM推論を明示的に再構築するUserHarnessというフレームワークを提案し、ユーザーの心的状態と環境との関係を追跡できるようにする。UserHarnessは5つのベンチマークで最大95.94%のマクロ精度を達成し、既存手法に対して15%以上の改善を示した。これにより、ユーザー理解には心の根源からの推論が必要であることが強調され、今後のアシスタントの基盤としての有望性が示唆される。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] UserRL: Training Interactive User-Centric Agent via Reinforcement Learning, Cheng Qian+, EMNLP'26, 2025.09
- [Paper Note] UserBench: An Interactive Gym Environment for User-Centric Agents, Cheng Qian+, EMNLP'26, 2025.07

ユーザの信念Beliefを明示的にモデル化し、Actionを決定するハーネスの提案。これによりActionがユーザの信念を反映したものとなることを期待し、User-centeredなエージェントを目指す。

時刻tごとに、環境E_tからの観測結果o_tを受けてユーザのbelief B_tが更新され、ユーザのゴールGに基づいてAction A_tを決定する。アクションA_t+1により環境がE_t+1に更新される、といったループを繰り返す。ユーザはE_tを直接観測することはできず、o_tのみを観測できる。
image

Appendix Aを見る限り、おそらくBeliefはテキストとして表現される。また、3.1節に示されている通り、Beliefは入れ子構造で定義される。




Paper/Blog Link My Issue
#LanguageModel #UserBased #AIAgents #Evaluation #EMNLP #Environment #Author Thread-Post Issue Date: 2026-09-04 GPT Summary- 大規模言語モデル(LLM)を活用したエージェントは複雑なタスクにおいて進歩を遂げているが、ユーザーと協働する能力にはまだ課題がある。これを解決するために、UserBenchというユーザー中心のベンチマークを導入し、エージェントの多ターン・嗜好駆動型の相互作用を評価する。UserBenchでは、明確でない目標を持つシミュレートされたユーザーが登場し、エージェントには意図の明確化と根拠のある意思決定が求められる。評価結果は、モデルがユーザーの意図に一致する回答を出すのが難しいことを示し、協働パートナーとしての能力の重要性を浮き彫りにしている。UserBenchはこの能力を測定し、向上させるための対話型環境を提供する。 Comment

元ポスト:

Loading…

関連:
- [Paper Note] UserRL: Training Interactive User-Centric Agent via Reinforcement Learning, Cheng Qian+, EMNLP'26, 2025.09
- [Paper Note] UserHarness: Harnessing User Minds for Stronger Agent Theory-of-Mind, Cheng Qian+, arXiv'26, 2026.05




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #Initial Impression Notes #autoresearch/RSI #Author Thread-Post #AgentHarness Issue Date: 2026-09-04 GPT Summary- Praxistは、自律的な研究開発エージェントの限界を克服するために設計された系統情報中心のシステムで、成果物と評価結果を構造化します。このシステムは、局所的な成果物を証拠統合と分離することで、後続の試みで検証された機構を継承し、再現可能な結果を維持します。標準化された75タスクにおいてPraxistは60枚のメダルを獲得し、経済的にも優位性を示しました。四つのケーススタディによってオープンエンドの問題への適用が成功し、各タスクでの精度向上や資源コストの削減が記録されました。この新たな成果物のアプローチは、従来のものに比べて強力かつ効率的です。 Comment

blog: https://praxist.sapient.inc/en

元ポスト:

Loading…

要はRSIのためのAgent Harnessのようである。
github: https://github.com/sapientinc/praxist

Table2を見ると、Claude Code + Opus 4.8に対して、PRAXIST + DeepSeekV4-Proで性能が比較されている。




Paper/Blog Link My Issue
#ComputerVision #LanguageModel #AIAgents #Coding #Architecture #WorldModels #Initial Impression Notes Issue Date: 2026-09-04 GPT Summary- Code World Modelは、言語モデルとビデオモデルを組み合わせたフレームワークで、世界の進化と視覚的実現を分離してシミュレーションします。コーディングエージェントは、出来事の推論と持続的な世界状態の維持、進化を実行可能なコードで生成します。プロキシ表現を導入してビデオモデルに高忠実度の視覚観察を生成させ、ゲームプレイ動画から整合するデータペアを構築。これにより、オープンエンドな世界モデルに向けた新たな道を示します。 Comment

元ポスト:

Loading…

World ModelのバックボーンとしてCoding Agentを利用するという話に見える




Paper/Blog Link My Issue
#AIAgents #Initial Impression Notes #AgentHarness Issue Date: 2026-09-04 GPT Summary- JIT-Agentは、エージェント型LLMに対してその場でタスク適応型のハーネスを合成するために訓練されたモデルであり、手動設計のスケーラビリティの問題を解決します。特定のタスクに合わせたハーネスをカスタマイズし、過去の構成から学んで自己進化します。実験では、JIT-Agent搭載のDeepSeek-V4-Flashが、従来モデルを上回る性能を実現し、成熟したエージェントランタイムと競合することを示しました。これにより、ハーネス知能の新しい次元を確立しました。 Comment

元ポスト:

Loading…

ポイント解説:

Loading…

エージェントハーネスそのものを、動的にタスクに応じて合成し活用し、ハーネス生成そのものも改善されていく枠組みを提案、という話に見える。




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #read-later #autoresearch/RSI #AgentHarness Issue Date: 2026-09-04 GPT Summary- 自律的なソフトウェア開発を探求し、LLMベースのコーディングエージェントが高レベルの要件から機能的なソフトウェアを生成する。Harness-of-Harness(HoH)フレームワークを導入し、コーディングエージェントによる継続的な改善を促進。HoHは反復的な計画—コーディング—テストループを組織し、修復と能力成長のバランスを取ることで、開発を小さく検証可能なインクリメントに限定。GameCraft-Benchなどで、HoHはスタンドアロンハーネスを上回り、平均52.25%の相対ゲインを達成。数日間の展開で、完全な一人称視点シューティングゲームを自律的に開発した。 Comment

元ポスト:

Loading…

abstを読むだけだとよくわからない




Paper/Blog Link My Issue
#ComputerVision #ReinforcementLearning #Faithfulness #EMNLP #VisionLanguageModel #Rubric-based #Initial Impression Notes #Author Thread-Post #CreditAssignment Issue Date: 2026-09-01 GPT Summary- 視覚と言語モデルは、視覚的証拠に基づかない回答を生成することがあるため、妥当性を維持できない状況をクレジット割り当ての失敗と捉える。本研究では、参照回答を原子命題に分解し、視覚的忠実性、推論の一貫性、指示遵守に基づいた評価を行う視覚的ルーブリックを提案。これにより裏付け証拠のクレジットを局所化し、Qwen3-VL-8B-Instructを用いて生成したトレーニングセットV-Rubrics 50Kを作成。実験結果、ルーブリックベースのGRPOはSFT基準及び他の手法を上回る改善を示し、視覚的ポストトレーニングの報酬としてルーブリックの有効性を証明した。 Comment

元ポスト:

Loading…

Rubric basedなRLを用いて、trajectoryに対して構造化された部分点を提供するcredit assignment手法を提案し、これによりVLMの
- Visual Faithfulness
- Reasoning Consistency
- Instruction Following

を改善する、という話に見える。




Paper/Blog Link My Issue
#EfficiencyImprovement #LanguageModel #ReinforcementLearning #Attention #LongContext #Test-Time Scaling #Selected Papers/Blogs #reading #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-08-30 GPT Summary- テスト時スケーリングでは、言語モデルが長期間推論できるように推論の計算を強化するが、多くの中間トークンが重要性を失うことが発見された。これを受けて、Prefix Slidingを提案し、推論中に不要なトークンを破棄することでメモリ要件を削減し、効率的な長期推論を実現する。これにより、既存のモデルを維持しつつ3倍の速度向上が可能になり、強化学習では100,000トークン以上のスケーリングを達成する。実験により、Prefix Slidingが中間トークンの要約や従来の手法より優れていることが示された。 Comment

元ポスト:

Loading…

long sequenceに対する推論をすると
- full attentionの場合メモリ消費が激しくOOMになる
- しかしreasoningをコンパクトに圧縮すると重要な情報を失う

これを解決するために、reasoningの中間にあるtokenの重要度が低いことに着目し、シンプルに
- prefix: reasoningの冒頭、指示やtoolの定義を含む
- recent tokens: reasoning traceの直近

を残す二種類の固定長のwindowを用いて、prefixは固定し、recent tokensはtraceの成長に従いスライディングさせる手法を提案。

image

image

その結果、
- 最大消費メモリが固定され
- full traceを用いるよりも推論スピードは速く、同等の性能に最大3倍程度早く到達
- RLにおいて、より長い推論を固定されたmemory budgetの元で実施でき、rewardも改善
image
image

シンプルな手法でOOM問題を解決し、単に推論時のメモリ消費や推論スピードを改善しただけでなく、モデル学習時のRLにおけるパフォーマンスが改善することまで示しており、シンプルで容易に実装ができるがインパクトが大きく、非常におもしろい研究と感じる。Ablationも実施されている。

Linear attentionに対しては、そもそもメモリ消費量はconstantなので提案手法を適用する必要がそもそもない点には注意。

現在の主要な中国系のOpenWeight LLMのアーキテクチャがほぼ、linear attentionとsparse attentionを積み重ねたアーキテクチャになっている。sparse attentionはKV Cacheがcontext長に従って増大するため、本研究の恩恵を受ける可能性はあるが、sparse attentionに対する実験は実施されていないように見える。




Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #Actor-Critic #PostTraining #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-08-30 GPT Summary- グループベースの強化学習法であるBPCOを用いて、複数の応答からトークンレベルのアドバンテージを推定し、クリティック訓練の不安定性を改善。対照実験を通じて、1.5Bから30Bパラメータの数学的推論タスクで強力な性能向上を確認、グループベースのベースラインを超える結果を達成。コードは公開されている。 Comment

元ポスト:

Loading…

元ポストのスレッドを眺めてから読むと良さそう。

解説:

Loading…




Paper/Blog Link My Issue
#AIAgents #SelfImprovement #memory #AgentSkills #autoresearch/RSI #Author Thread-Post Issue Date: 2026-08-30 GPT Summary- Recurisは再帰的自己改善の課題に対処するための作業記憶アーキテクチャで、タスクの履歴が増えてもスキル利用を最適化することを目指す。タスク進行を追跡し、現在のニーズに基づいたスキル選択を行うことで、実行を証拠に変換し、失敗を特定に局在化する。4つのベンチマークで35件のモデルが成功率を向上させ、特にtau-benchではGPT-5.6 Solに+17.8ポイントの向上を示す。長期的な互換性では利点が拡大し、一般的な失敗を最大80%低減することが確認された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #AIAgents #SelfImprovement #AgentHarness Issue Date: 2026-08-30 GPT Summary- Prime Agentは、長期的な評価とコーディングエージェントのワークフロー用のオープンソースハーネスであり、再帰的サブエージェントや永続的なIPython REPLを利用して、エージェント間の直接通信や軌跡を跨いだ記憶管理を実現します。このシステムにより、計算リソースの管理と戦略の構築が効率化され、長期コンテキストのコーディングやGPUカーネル生成での性能が大幅に向上しました。具体的には、ARC-AGI-3 RHAE Best@1のスコアを30%から95.5%に引き上げ、Factorioでは専用サブエージェントにより継続的な技術進歩が促進されました。コードは公開されており、自由に利用可能です。 Comment

- Prime Agent: A self-improving RLM agent, Prime Intellect, 2026.08

のテクニカルペーパーが出たようだ。

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #LanguageModel #ReinforcementLearning #Reasoning #PostTraining #VisionLanguageModel #One-Line Notes #Author Thread-Post Issue Date: 2026-08-30 GPT Summary- 推論モデルの正確性と関連する行動を区別し、推論志向の訓練がそれらを増幅するかを評価。Behavioral Lift指標を用いて、テキストと視覚言語推論における15モデルの推論痕跡を分析。思考型モデルは自己訂正や仮説検証を強化するが、モデルの信頼度の較正はほとんど増幅されない一方で、不確実性の認識は大幅に増幅されるが正確性との関連は薄い。推論志向の訓練は、最も重要な行動を増幅せず、より根拠のある推論を評価する目的の動機づけが必要。 Comment

元ポスト:

Loading…

著者ポスト2:

Loading…

Behavioral Liftというmetricを定義し、reasoning中の思考パターン(Table 1のようなもの)の頻度と、当該思考パターンが正確な予測に寄与しているか否かを分離した上で、reasoningを強化するpost-trainingがどのような思考パターンを増幅し、増幅される思考パターンが有益なものものなのかを分析した研究のようである。

Behavioral Liftは、当該思考パターンの有無によって、正解率がどの程度変化するかによって定義される(式1)。

実験の結果、Behariobal Liftが高い、すなわち正解に寄与する思考パターンはあまり増幅されていない傾向にあることがわかった、という話に見える。
image




Paper/Blog Link My Issue
#LanguageModel #OpenWeight #ScientificDiscovery #One-Line Notes #LongHorizon #Author Thread-Post Issue Date: 2026-08-30 GPT Summary- Apodex 1.1は、複雑な作業における「作業能力」を二つの次元で進化させ、持続可能で検証可能な進捗を実現する。環境スケーリングは実行可能ファイルや情報源の多様性を拡大し、エージェント中心の協調スケーリングは長期的なタスクを分解し、並行作業を委任する。共通の実行ハーネスとAgentOSにより、タスク状態を維持し、訓練が信頼できる挙動を促進する。Apodex 1.1は350億パラメータのモデルで、様々な領域において先端性能を達成し、長時間の複雑なタスクに対応する能力を備える。 Comment

元ポスト:

Loading…

専門職(アナリストや弁護士等)、finance、化学研究に特化した36Bモデルで、ベンチマークスコアはKimi-K3等にも匹敵するモデルとハーネスのようである

関連:
- [Paper Note] APEX-Agents, Bertie Vidgen+, arXiv'26, 2026.01

HF: https://huggingface.co/collections/apodex/apodex-11
ハーネス: https://github.com/ApodexAI/FrontierAgent

所見:

Loading…


- [Paper Note] PivotRL: High Accuracy Agentic Post-Training at Low Compute Cost, Junkeun Yi+, arXiv'26, 2026.03




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #Coding #SoftwareEngineering Issue Date: 2026-08-30 GPT Summary- 現代のソフトウェアシステムは技術的負債を抱え、移行が高コストかつ手動になりがちである。これに対処するため、全リポジトリ移行を評価する新たなベンチマークSWE Refactor Benchを提案。移行の完遂度と行動正確性を測る3段階の評価プロトコルを導入し、520回の試行の結果、わずか28回(5.4%)が全段階を通過、また多くのタスクで受理解を得られなかった。エージェントは完全な移行を提供できず、カテゴリーごとに能力が異なることが示された。これにより、SWE Refactor Benchは信頼性の高い移行のための実験台としての有用性が確認された。 Comment

元ポスト:

Loading…




Paper/Blog Link My Issue
#Analysis #LanguageModel #CrossLingual #MultiLingual #Selected Papers/Blogs #reading #Initial Impression Notes #Author Thread-Post Issue Date: 2026-08-30 GPT Summary- 大規模言語モデルは言語間で知識へのアクセスに一貫性を欠くが、そのスキルの不一致を定量化するために多言語自己対戦を用いる。本研究では同一モデルの異なるインスタンスが別々の言語でテキストベースのゲームを対戦し、言語の影響を分離して評価。8言語、6ゲームで、モデルが言語によって異なるプレイ力を示し、戦略や勝敗に体系的な変動が見られる。言語特有の失敗が明らかになり、適切な言語選択で性能が回復する可能性が示唆され、スキルの不一致が多言語モデルの発展の障害であることが示された。 Comment

元ポスト:

Loading…

同じモデルに対して、同じゲーム、ルール、アクションなどの条件を揃えた上で、使用する言語のみを変更して対戦した場合、使用言語によって勝率が変化する。このことから、モデルの中にスキルが内在しているが、利用する言語によって当該スキルをどれだけ引き出せるかが変化することが示唆される、という話に見える。
image

5.3節に、推論に用いる言語を変化させた場合にどの程度性能が回復できるかが示されており、ゲームによって回復した程度が異なり、推論の言語を変更するだけでは完全に性能を回復することはできていなさそうに見える。

たとえばQwenは英語と中国語の学習データが豊富だと考えられるが、この辺はどの程度影響があるのかな?という点が気になる。5.4節あたりでそのあたりの言及がありそう。

著者ポスト:

Loading…




Paper/Blog Link My Issue
#LanguageModel #RecurrentModels #Compression #Initial Impression Notes Issue Date: 2026-08-29 GPT Summary- 動的圧縮を導入することで、リカレントモデルは過去のトークンを選択的に再訪問し、固定サイズの状態を修正できる。これにより、必要な関数のみを再訪問し精練することが可能になり、リカレント状態の必要性が大幅に削減される。結果として、モデルは計算とメモリのトレードオフを最適化し、より効果的に履歴を活用できる。 Comment

元ポスト:

Loading…

過去トークンに対して選択的にアクセスし動的に状態を更新する




Paper/Blog Link My Issue
#LanguageModel #AIAgents #Evaluation #AgentSkills Issue Date: 2026-08-29 GPT Summary- ACES(エージェント的連続評価)は、企業エージェントプログラムにおける再利用可能なスキルやツールを証拠に基づいて評価するフレームワークです。具体的には、実機試験を通じてターゲットスキルの有無を検証し、評価指標を設定します。145の実スキルに対する分析では、平均複合Skill Liftが0.2134と示され、72.8%のケースで正の結果を得ました。この評価法は、従来のスキャンだけでは見えにくいスキル効率や動作検証に関する重要な信号を捉えることができ、オープンソース実装はNVIDIA SkillEvaluatorとして提供されています。 Comment

元ポスト:

Loading…