AIAgents (987) — 4/5
Automation Bench Verified, _parsewave_, 2026.10
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #Evaluation #Blog #One-Line Notes #Author Thread-Post Issue Date: 2026-10-10 Comment
dataset: https://www.kaggle.com/datasets/parsewave/automationbench-verified-v0-0
- [Paper Note] AutomationBench, Daniel Shepard+, arXiv'26, 2026.04
に含まれるverifierをAI Agentで検証し、AI Agentによって323がバグの疑いとフラグ付けされ、そのうち206件が実際のバグと人間によるレビューで判定され、修正された。
[Paper Note] SkillRefiner: Offline Skill Refinement from Historical Agent Traces, Khatry+, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AgentSkills Issue Date: 2026-10-09 Comment
元ポスト:
Open Models Dashboard, Interconnects
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #Blog #OpenWeight #Initial Impression Notes Issue Date: 2026-10-09 Comment
元ポスト:
OpenRouterベースで見ると、closedなモデルからopenなモデルへトークン消費が大きく移行しているようである。
OPEN SOURCE, AUDITED BY GLM.: Submit a public repository and OpenVuln hunts its vulnerabilities. Protect your open-source repository, together with GLM., Z.ai, 2026
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Security #Initial Impression Notes Issue Date: 2026-10-09 Comment
元ポスト:
GLMを用いて公開されているリポジトリをスキャンし脆弱性を発見できるZ.aiが運用しているデモのようである。発見された脆弱性は件数は表示されているものの、具体的なレポートはメンテナが承認しないと公開されないようである。
TIRx Harness: An Open Compiler Harness for Agentic GPU Programming, MLC Community, 2026.09
Paper/Blog Link My Issue
#Article #NLP #Blog #SelfImprovement #GPUKernel #autoresearch/RSI #Author Thread-Post #AgentHarness Issue Date: 2026-10-09 Comment
元ポスト:
Introducing GPT-6.1-Sol, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Blog #Proprietary #VisionLanguageModel #Reference Collection #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
OpenAIが公開したmisalignmentに関するレポートで、GPT-6.1-Sol, AstraのCoTが公開され、それらには単語間のスペースやプログラミング言語のような表記が現れることと、それに対してKarpathy氏がコメントをしたことが話題となっていた:
Karpathy氏はRLが有効に機能した場合にモデルがCoT中で英語を使うのをやめた時に、RLが適切に行われたことを示すという見解を過去に示しており、そのポストを引用して今回コメントを残している。
RLを用いるとSFTによってreasoningを学習させる場合などとは異なり、(reasoning traceに対して文法や人間の意味理解に関する報酬を与えない限りは)モデルがreasoning trace中で人間が理解できる言語を話すことで報酬が得られるわけではないため、このような現象が生じてくると推察される。
レポートはこちら: https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/
dots のご紹介, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #GenerativeAI #Blog #ComputerUse #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
Where’s the “intelligence explosion”? Ramez Naam gives a skeptic’s take on Recursive Self-Improvement., RAMEZ NAAM, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #Blog #read-later #autoresearch/RSI Issue Date: 2026-10-08 Comment
元ポスト:
How confessions can keep language models honest, OpenAI, 2025.12
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Safety Issue Date: 2026-10-04
Simple probes can catch sleeper agents, Anthropic, 2024.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Safety #Probing Issue Date: 2026-10-04
Latent reasoning architectures would likely undermine CoT, our strongest oversight tool, REDWOOD RESEARCH, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Chain-of-Thought #Blog #Safety #LatentReasoning #reading #One-Line Notes #Monitorability #Author Thread-Post Issue Date: 2026-10-04 Comment
元ポスト:
本文でとりあげられているlatent reasoning architecture:
- [Paper Note] Training Large Language Models to Reason in a Continuous Latent Space, Shibo Hao+, COLM'25
- [Paper Note] Full-bandwidth transformer, Xi Wang+, arXiv'26, 2026.08
- [Paper Note] Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach, Jonas Geiping+, NeurIPS'25
解釈性に関するツール
- Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Anthropic, 2024.05
- Simple probes can catch sleeper agents, Anthropic, 2024.04
- Natural Language Autoencoders: Turning Claude’s thoughts into text, Anthropic, 2026.05
- How confessions can keep language models honest, OpenAI, 2025.12
ざっくりいうと現在のCoTは高度な推論を実施するために多くの場合必要なの挙動であり、危険のある行動(しばしば難しいタスク)を実施する際にはCoTによる思考がモデルにとって必要(CoTを実施しないと目的を達成できないため)で、これは目標の達成に必要に必ずしも必要でなくてもCoTを実施するような傾向とは区別すべきであり、latent reasoning系のアーキテクチャではCoTの必要性が薄れてしまう(また、モデルが正確な情報をCoTに言語化する傾向があるのは必要性があることに起因する可能性があり、必要性が薄れるとCoTに正確に言語化する傾向も弱くなるという)懸念がある。
この必要性によってCoTをモニタリングすることは現在AIの監視をする上で有用であるが、潜在空間上で推論を実施するlatent reasoning系のアーキテクチャに移行し必要性が薄れると、この有用性が損なわれ、Sparse Autoencoder, probing, natural language autoencoders, confession modelsなどの解釈性に関する手法は存在するが、CoTほど有用な信号を得ることができないため、AIを監視することが著しく困難となるだろう、という話のようである。
Prime Sandboxes: Run thousands of concurrent environments with first-class verifiers and prime-rl integration. Every workload stays inside an isolated microVM., PRIME Intellect, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #Blog #PostTraining #Author Thread-Post #SandboxEnvironment Issue Date: 2026-10-04 Comment
元ポスト:
700 TPS on Kimi K3: A Case for TPU Megakernels, Inferact, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Blog #Coding #SoftwareEngineering #GPUKernel #Author Thread-Post #Megakernels Issue Date: 2026-10-04 Comment
TPU v7 (Ironwood) 向けのメガカーネルで、最初のTPU推論用のメガカーネルとのこと。
What Is An AI Dark Factory? What Lights-Out Manufacturing Teaches Us About Software, Owen Sweeney, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #NLP #Blog #Coding #SoftwareEngineering #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-04 Comment
AI Dark Factory: 人間の介入をほとんど必要とせず、AI Agentがソフトウェアを構築する未来像
製造業におけるDark Factoryという概念を起源としており、Dark Factoryとは向上フロアに人員を配置せずに長時間連続稼働可能な生産設備のことであり、これと同様の概念をソフトウェア開発に適用したものとのこと。重要な点は、製造業においてはロボットが人間の仕事を代替できるほど賢くなったというわけではなく、生産プロセスを再設計し、人間の判断を必要とする工程を大幅に削減したという点とのこと。
そのうえで、ソフトウェア開発におけるAI Dark Factoryとはどのようなものか?ということが考察されている。正確性の判定が主観的な判断に依存するほどワークフローの運用が困難となる。
元ポスト:
[Paper Note] EmbodiedSWE: Coding Agents for Long-Horizon Dexterous Robotics, Shen+, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Evaluation #Coding #read-later #Robotics #VisionLanguageActionModel #EmbodiedAI #Sim-to-Real #Simulation #Author Thread-Post Issue Date: 2026-10-04 Comment
pj page: https://embodiedswe.github.io/
大脳と小脳的なアプローチ
Introducing Aikido Altar: the model that makes sovereign security intelligence possible, aikido, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Pruning #Quantization #Blog #OpenWeight #Security #Author Thread-Post Issue Date: 2026-10-02 Comment
元ポスト:
[Paper Note] AutoBenchmark: benchmark creation & the role of humans, Seungone+, 2026.09
Paper/Blog Link My Issue
#Article #NLP #Dataset #Evaluation #read-later #Selected Papers/Blogs #autoresearch/RSI #Author Thread-Post Issue Date: 2026-10-01 Comment
元ポスト:
Gemini 4 Argon: our next era of frontier intelligence, Google, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Proprietary #VisionLanguageModel Issue Date: 2026-10-01 Comment
元ポスト:
Geminiがcome back?
所見:
安い
DeepGEMM Ascend, DeepSeek AI, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Library #GPUKernel #Author Thread-Post Issue Date: 2026-09-30 Comment
元ポスト:
所見:
DeepSeekGEMMと呼ばれる、NVIDIA GPU向けに構築されたGPUカーネルライブラリをHuawei Ascend NPU向けに移植したもので、APIがDeepSeekGEMMと互換性があるため、同じpythonコードから動作させることができるようである。
一言解決:
Halo: Frontier-Lab Training for Everyone, White Circle, 2026.09
Paper/Blog Link My Issue
#Article #Multi #ComputerVision #EfficiencyImprovement #Pretraining #Tools #NLP #LanguageModel #ReinforcementLearning #MultiModal #Blog #mid-training #DPO #PostTraining #Parallelism #VisionLanguageModel #Asynchronous #Author Thread-Post #TrainingFramework Issue Date: 2026-09-29 Comment
元ポスト:
dlab Open Source Week: Frontier AI on Your Own Hardware, Tim Dettmers, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Test-Time Scaling #Selected Papers/Blogs #DeepResearch #Compression #Reading Reflections #autoresearch/RSI Issue Date: 2026-09-29 Comment
元ポスト:
前半にオープンソースにするエコシステムとして
- エージェントのcontextの自動圧縮技術
- autonomous research
- 効率的なtest time scaling手法
- Deep Research
などの開発中におけるエピソードや、その性能の高さについて述べられている。
一方、記事全体で述べられている気持ちは博士課程在籍者(やアカデミアにいる研究者に)対するメッセージである。個人的に印象深かったのは、研究のunitが論文ではなく一貫性のあるエコシステムを構築することになる、という主張と、博士課程において容易に解決することができない課題に粘り強く取り組む力を身につけることは投資をする価値がある、という部分で、第一線の研究者の方がAI Agentによる研究環境の変化をどう捉えているかが少し垣間見えるのと、(現在の悲観的な博士課程の学生に対して)博士課程で学ぶことの価値やアカデミアだからこそなし得ることがメッセージングされており、非常に興味深く拝読した。
要約を読んだりするよりも、原文から伝わる気持ちを汲み取った方が良いと思う(という意味で原文全文を読んだ方が良いと思う)。
Step Code, StepFun, 2026.09
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #Coding #SoftwareEngineering #Initial Impression Notes #Author Thread-Post #AgentHarness Issue Date: 2026-09-23 Comment
元ポスト:
高いトークン効率を持つStepFun製のターミナル向けのコーディング用Agent Harness
Introducing Claude Opus 5.5, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Proprietary #Selected Papers/Blogs #VisionLanguageModel #Reference Collection Issue Date: 2026-09-23 Comment
元ポスト:
KernelBench-MegaのRTX PRO 6000向けにKimi Linearのデコード向けのメガカーネルを記述するベンチマークでAstraを超えてSoTAを達成したようである:
所見:
所見:
GPTはeffortの増加に従い単調増加だが、Claude系はそうならない
Introducing MiMo-V2.6 series, Xiaomi, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #MultiModal #read-later #Selected Papers/Blogs #VisionLanguageModel #Omni #Reference Collection #AudioLanguageModel #Author Thread-Post Issue Date: 2026-09-23 Comment
HF: https://huggingface.co/collections/XiaomiMiMo/mimo-v26
元ポスト:
所見:
Mimo-2.6はSWA+GQAのシンプルなアーキテクチャであり、それでOpenWeightモデルでSoTAを達成しており、進歩の多くはデータと事後学習のレシピの改善によってもたらされているという主張。
DeepSeekでも同じような報告がされている:
- DeepSeek-V4.1-Flash, DeepSeek AI, 2026.09
事前学習でも以下のような話はある:
- Pretraining progress is mostly coming from data, DWARKESH PATEL AND JERRY HAN, 2026.09
関連:
- We are streaming our RL big runs. The mimo-v2.6 series is coming soon, Xiaomi Mimo Team, 2026.09
開発者の方のポスト:
所見:
AA IndexでGPT-5.6-Solと同等性能を達成し、7kのRL dataとフレームワークをオープンにする予定とのこと。
所見:
解説:
- MAI-Thinking-1: Building a Hill-Climbing Machine, Microsoft, 2026.06
もあわせて読みたい
解説スレッド:
RL environments:
https://huggingface.co/datasets/XiaomiMiMo/MiMo-V2.6-RL-oss
元ポスト:
Reinforcing Agents with Collective Skills, Xu+, 2026.09
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #ReinforcementLearning #Environment #Author Thread-Post Issue Date: 2026-09-23 Comment
元ポスト:
dataset, env: https://hub.harborframework.com/datasets/skill2env/skill2env
Measurements for understanding the pace of AI development inside frontier labs, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #Evaluation #Blog #SelfImprovement #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-20 Comment
元ポスト:
所見:
Introducing Astra for Law, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Proprietary #Legal #Author Thread-Post Issue Date: 2026-09-20 Comment
元ポスト:
Step 5 Preview: Advancing the Pareto Frontier, StepFun, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #One-Line Notes #Author Thread-Post Issue Date: 2026-09-20 Comment
元ポスト:
StepFunのフラグシップモデルで、Fable 5, GPT-5.6-luna, GLM-5.3、Kimi-K3と並びAAの評価においてパレート最適に位置する。
600B-A27B, 1M contextのVLM, 10/15にOpenWeight化されるとのこと。
Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure, Z.ai, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Infrastructure #Blog #SelfImprovement #SoftwareEngineering #Initial Impression Notes #autoresearch/RSI Issue Date: 2026-09-19 Comment
元ポスト:
GLM開発におけるRSIよ初期の事例
Jev’s Architecture Unmasked, Archer Hume, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #Blog #Coding #SoftwareEngineering #Author Thread-Post Issue Date: 2026-09-18 Comment
元ポスト:
関連:
- Introducing System One Models & Jev, TypeSafe AI, 2026.09
果たして
Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint, PrismML, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Quantization #Blog #OpenWeight #ComputerUse #Selected Papers/Blogs #reading #One-Line Notes #Author Thread-Post Issue Date: 2026-09-18 Comment
元ポスト:
HF: https://huggingface.co/collections/prism-ml/bonsai-2
関連:
- Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone, PrismRL, 2026.07
ternary weight (1bit)の重みで動作するBonsaiシリーズのメジャーアップデートで、Qwen-3.8-27Bをベースにしており、ベンチマークスコアの98.2パーセントを保持しつつ、1/9程度に利用メモリが節約されるようである。Computer Useも可能で、ローカルのRTX 5090でBrowser Useするデモが掲載されている。
【ノーカット】AIに関わる米中戦争と日本の現状 国立情報研 佐藤教授, 時事通信映像センター, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Alignment #GenerativeAI #FoundationModel #Safety #Video #Selected Papers/Blogs #VisionLanguageModel #Robotics #WorldModels #VisionLanguageActionModel #EmbodiedAI #Reading Reflections #WorldActionModel Issue Date: 2026-09-18 Comment
非常におもしろかった...色々と考えさせられるなあ。
特にフィジカルAIにおいて、中国は人海戦術で、(簡単な動作を学習できたら複雑な動作を実現することにつながるという仮説の元)非専門家の簡単な動作に関するデータを大量に収集し、最近では仮想環境でデータを合成し活用する動きがある(Sim-to-Real)に対して、日本の場合は、特定の企業の現場のデータを収集しようとする動きがある。(このような文脈において、日本の政策として考えた場合に)特定の企業が有する現場のデータは、その現場特有の特徴が入り込むから実はロボットの学習データに向いていない、という話は、なるほど、と思うなどした。
たとえば、
- [Paper Note] Open X-Embodiment: Robotic Learning Datasets and RT-X Models, Open X-Embodiment Collaboration+, arXiv'23, 2023.10
- [Paper Note] LeRobot: An Open-Source Library for End-to-End Robot Learning, Remi Cadene+, ICLR'26, 2026.02
のように、多様なデータを統一された枠組みで学習をすることで汎化することを狙うという戦略の場合は、現場データの現場特有のバイアス問題はどの程度緩和されるのだろうか。
- Superposition, Memorization, and Double Descent, Transformer Circuits Thread, 2023.01
のDouble Decentのような議論を考えると、同じ種別のデータで、きちんと多様なデータが集まっていれば、現場固有のバイアスが含まれていても汎用的な特徴量としては学習されずらい、という現象は起こるように思える。
また、仮想空間と実世界のgapもあるようで、視覚的なgapは合成データ等で埋め合わせがある程度できそうな一方で、触覚や力感のような繊細な部分や、物理的なセンサーのノイズや、実際のデバイスの物理的な個体差のようなものは、仮想空間上では再現しづらいという話もあるようである。
ただ、なんとなーく、まず汎用的なモデルを学習して基礎的な動作(LLMで言うところのatomic skill)を満足にできる基盤モデルを用意し(これはおそらく仮想空間や非専門家データで足りる)、その基盤モデルはin-context learning能力を備えていて、現場のロボットに適用する際にはfew-shotのdemonstrationや、ルーブリックのようなものを与えて制御する、というのでうまくいくシナリオは起きそうな気がしており、そうなると大量の現場データは必ずしも必要ではなさそうだよね、という気はする。
ただし、日本が人海戦術をとれないのであれば、汎用基盤モデル→現場での適用、というレールの上に乗るのであれば、直接的に汎化させるには専門的すぎる現場のデータが与えられたときに、そこからどのようにして汎用的な基盤モデルを学習できるのか、というところがうまくいけば、ある程度形になるのではなかろうか、と思うなどした。
We are streaming our RL big runs. The mimo-v2.6 series is coming soon, Xiaomi Mimo Team, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #Blog #PostTraining #Selected Papers/Blogs #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-09-17 Comment
元ポスト:
リアルタイムでMimoのRLの学習の経過が公開されている。おもしろい
コストの試算:
Mimo, 1T-A42Bの場合、RL 1stepあたり1000万円程度かかっているようだ。
おそらくインフラは高度に最適化されている。
現時点で2モデル合計でコストが約300万ドルに到達し、日本円にして約4.7億円(ドル円157円換算, pro 68B / flash 81B Tokens)🙄DeepSWEやコーディング系のベンチは順調にスコアが向上している。また、noticesに記載されているインシデントの報告が興味深く、インフラ周りのエラーや、学習に悪影響を与えるタスクやデータセット単位での除去なども情報共有されており大変興味深い。PostTrainingデータセットなどMixtureも公開されている。
Introducing System One Models & Jev, TypeSafe AI, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #Blog #Coding #SoftwareEngineering #Selected Papers/Blogs #reading #KeyPoint Notes #Reference Collection #Reading Reflections #SystemOneModel/DecisionModel Issue Date: 2026-09-16 Comment
細かいことは全くわからないが、LLMのようなチャットモデルは超人的な性能なのになぜAGIに繋がっていないのかが常々疑問で、code+AIに特化したモデルを開発したとのことで、それはどのようなものかというと、
LLMは人間の好みとなる応答を返すように、autoregressiveにテキストを生成するが、
本ブログで紹介されているシステムSystemOneは意思決定に最適化し、並列で生成され、自由なテキストを返せないが構造化出力を高速かつ安価に生成可能で、キャリブレーションされた確信度を常に返す、
というもののようである。
着眼点はとてもおもしろいのだが、どの程度高度な推論をすることができるのだろうか?
現代では高度な推論は計算コストである程度賄っているため、安価で高度な推論もできるのでれば大きなブレイクスルーだが、その技術はLLM側にも適用できる可能性があり、結局いつかLLM側に追いつかれる、という可能性がある。
逆に高度な推論ができないのであれば、適用可能なスコープは限定的となる。
RLCDという技術はすでに先行事例があったようだ:
利用規約でJevに関するベンチマークスコアや性能を公開することが禁止されているようである:
所見:
JamC-QAのスコアは(GPT-5.6-lunaより)低く、日本特有の知識などには弱い可能性がある:
- 『JamC-QA』: 日本の文化や風習に特化した質問応答ベンチマークの構築・公開(前編), SB Intuitions, 2025.09
色々な動向を鑑みるに、Encoderか、Decoderかはさておき(利用者から見たらどちらでもよい気がするので)、
- zero-shotで様々なタスクに利用可能で
- latencyが非常に速くて
- コストが安価なモデル
という3つの要素が重要に思える。
chatはできないが、構造化出力/関数出力等が可能(なことで様々な分類タスク等に適用できる)というのは、latencyの速さとコストの安価さを得るための手段。エンコーダ、デコーダも手段の話。
過去にPFNがJevに相当する機能を開発しサービス化までしていた、という話がある(関連技術は幅広く特許を取得しているようである)。
なぜ需要を掘り起こせなかったのか、という点は考えてみるとおもしろいのかもしれない。
個人的にはいまJevが流行っぽい兆しを見せているのは、時期的なものが大きい気がしており、
- (Reasoningモデルの台頭によって) LLMのlatencyが悪い
- 多くのワークフローに組み込む場合に得たい出力が(おそらく)構造化出力(で、めちゃめちゃ賢い判断はそこまで必要とされない)
- モデルのトークン利用料が増加し、(おそらく)運用コストが課題となってきた
という課題に世の中が直面し始めて、課題感として持たれ始めていること、が背景としてある気がしており、ちょうどタイミング的に「安い、速い、(そこそこ)賢い」のJevが世の中に刺さったのではないか、という気がしている。
AI Infrastructure at Periodic, Periodic Labs, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Infrastructure #ReinforcementLearning #Blog #LLMServing Issue Date: 2026-09-16 Comment
元ポスト:
[Paper Note] FLASHREINFORCE: CRITIC-FREE SINGLE-ROLLOUT ASYNCHRONOUS RL FOR AGENTIC LANGUAGE MODELS, Hu+, ResearchGate, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #PostTraining #read-later #Selected Papers/Blogs #Asynchronous Issue Date: 2026-09-15 Comment
元ポスト:
解説:
CubeSandbox, Tencent, 2026.09
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #One-Line Notes #Security #Author Thread-Post #SandboxEnvironment Issue Date: 2026-09-15 Comment
元ポスト:
AI Agentのためのサンドボックス環境を構築できるツールのようで、独立したカーネルを用いたサンドボックス環境が高速に可能で、secureでスケーラブルである、ということのようである。
万字长文带你读懂 RSI(自进化,Self-Evolving), 发布于, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #Blog #SelfImprovement #KeyPoint Notes #autoresearch/RSI Issue Date: 2026-09-14 Comment
元ポスト:
中国語が読めないので、LLMの力を借りながら読んでいるが、RSIについての定義と、RSIに関する研究を整理、分類するためのTaxonomyを複数の軸から整理しているようである。以下LLMの力を借りて読んだ内容を自分の言葉も交えてメモとして残す。
---
RSIとは、Agentが環境との相互作用から得たタスク軌跡とフィードバックを利用して、自身の状態を更新し、更新後の状態を後続タスクに活用すること、と定義しているようである。
かなり広めの定義に見えるが、ざっくり言うとこのような定義になるのは、管理人の理解でもそうだと思う。
Agent = Model + Harness と捉え、RSIの何を変えるのか、という部分について以下の分類を用いて整理をしているようである:
- Parameter: 経験をモデルの重みに内在化する
- 一例: [Paper Note] Self-Adapting Language Models, Adam Zweiger+, arXiv'25
- Context: LLMへのInputに反映させる
- 一例: [Paper Note] Prime Agent: A Self-Improving RLM Harness, Seth Karten+, arXiv'26, 2026.08
- Memory: 外部に保存された経験や情報として蓄積し、必要に応じて利用する
- 一例: [Paper Note] ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory, Siru Ouyang+, ICLR'26, 2025.09
- Skill: 次に同じ状況が起きたらどうすべきかをskillとして定義する。Memoryは過去の経験を蓄積するものであり、Skillは次どうするかを定義するという棲み分けをしている
- 以下は参考として管理人がピックしたもの
- [Paper Note] SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning, Peng Xia+, arXiv'26, 2026.02
(パラメータも最適化しているがSKILLBANKが該当すると思われる)
- [Paper Note] SkillOpt: Executive Strategy for Self-Evolving Agent Skills, Yifan Yang+, arXiv'26, 2026.05
- Harness Code: Agentを動作させるプログラム(Scaffolding)を変更する
- 一例: [Paper Note] SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge, Lucio M. Dery+, arXiv'26, 2026.07
- 元ブログ中では↑が挙げられているが、Darwin Godel Machineの方が近いのでは?[Paper Note] Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents, Jenny Zhang+, ICLR'26, 2025.05
また、進化を構造化(バージョン管理)する際の分類軸として
- chain: A->B->Cのように進化させ常に最新版を利用する
- tree: 木構造でバージョンを管理する。ある1つの親ノードから子ノードが構成される親子関係で管理
- 一例: [Paper Note] Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents, Jenny Zhang+, ICLR'26, 2025.05
- graph: グラフ構造でバージョン管理する。すなわち、複数のノードに基づいて新たなノードを構成できる。ノードはバージョンだけでなく、タスク、trajectoryなども該当すると読める。
と整理しているようである。
誰がAgentを更新するかという軸の整理では
- self (student): (生徒)自身が更新する
- Teacher: trajectoryをteacherが分析しteacherが更新する
- Student + Teacher: 上記の両方で、生徒がまずtrajectoryを整理し必要な項目の候補を挙げ、Teacherが精査をし反映させる
いつ進化するのか、という軸では
- offline: 経験を蓄積し一括で更新する
- online: タスク実行ごとに動的に更新する
- hybrid: オフラインで更新した後にデプロイ。デプロイ後もオンラインで新たな経験等を追加し動的に更新するような方式
と定義しているようである。
そのほかにも、補足的な分類軸として、
- acceptance criteria: 更新したものを反映する基準
- feedback source: feedbackの出自(ベンチマーク, 環境, verifier, LLM, 人間など)
- feedback type: score, non-score,
- update frequency: 更新頻度
- scope of experience: 経験がどのスコープまで利用可能なのか(generickに使えるのか、特定ドメインのみなのか等)
We Must Pace the Frontier, Dario Amodei, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Alignment #Blog #SelfImprovement #Safety #Reading Reflections #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-13 Comment
元ポスト:
果たして。
独占禁止法で訴えられているとのこと:
所見:
主にサイバーセキュリティの話題について述べられている。個人的にはサイバーセキュリティよりもロボティクスの方が色々大変そうだなあ、と思うのだが、どうだろう。Alignmentが完璧になる方法は今のところ見つかっていないように見え、非常に低確率でも世界中で普及したらなんらかの事故は起きる。まあでもそれは自動車やすでに存在する産業用の機械とかでも構造は一緒ではある。
少なくともサイバーセキュリティに関しては、現状モデルが保有する能力に対して人間側のシステムの脆弱性対応は追いついていないであろうから、短期的にみたら喫緊の課題ではあると思う。
ApprenticeBench: The first end-to-end benchmark of computer use, continual learning, and long-horizon agentic capabilities, set in a real job., NeoCognition, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Blog #One-Line Notes #ContinualLearning Issue Date: 2026-09-13 Comment
元ポスト:
Computer Use + Continual Learningに関するベンチマークで、仮想的な建設会社の経理担当として入社し、一定の見習い期間(7ヶ月)を経て、その期間に企業のハンドブックやERPシステムチュートリアル、過去の請求書などで学習をする想定。その実際の請求書処理をこなしていくが、そこには実務上の罠が多く意図的に仕掛けられているようで、Human Baselineでも成功率は51%。最終的にHuman Baselineを上回ったのはAstra, Fable 5.1のようである。モデル間の傾向の違いなども考察されているようである。
Introducing SWE-2: Pushing the Pareto Frontier, The Cognition Team, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Proprietary #One-Line Notes #Author Thread-Post Issue Date: 2026-09-11 Comment
元ポスト:
Kimi-K3をベースに事後学習を通じてAstra, Fable 5.1と同等程度のSWE系ベンチマークスコアを獲得
Introducing Auto Engineering for Robotics, General Robotics, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #SelfImprovement #Robotics #Initial Impression Notes #autoresearch/RSI #Author Thread-Post #AgentHarness Issue Date: 2026-09-10 Comment
元ポスト:
ロボットにおける実験プロセス全体を自動的にループするハーネスの提案、という話に見える。
Muse, your personal AI agent that gets things done, Meta, 2026.09
Paper/Blog Link My Issue
#Article #NLP #Personalization #GenerativeAI #Blog #Author Thread-Post Issue Date: 2026-09-09 Comment
元ポスト:
16年前に思い描いた未来像までとうとう到達したなあ...(小並感)
On the Navier–Stokes Millennium Prize Problem, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #GenerativeAI #Blog #Mathematics #Selected Papers/Blogs #Proofs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-09 Comment
あのペレルマン氏が証明したポアンカレ予想と並ぶミレニアム懸賞問題の一つである、ナビエストークス方程式の解の存在と滑らかさ、とやらがOpenAIが保有する未公開モデルによって証明されたかもしれないらしい。10000の協調エージェントによって88時間, トークン量は1300億トークンで解に到達したのだとか。
元ポスト:
解説:
Research acceleration: The view inside OpenAI, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #GenerativeAI #Blog #SelfImprovement #ScientificDiscovery #autoresearch/RSI Issue Date: 2026-09-08 Comment
元ポスト:
Automation’s Early Footprint: Where AI Agents Are (and Aren’t) Being Built, Cohere, 2026.09
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #Evaluation #Blog #read-later Issue Date: 2026-09-07 Comment
元ポスト:
Steering towards “automated grading” degrades alignment, Betley+, LW, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Blog #read-later Issue Date: 2026-09-07 Comment
元ポスト:
终局奖励之后:从 Apodex 1.1 看长程 Agentic RL 如何分配 credit, 发布于, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #ReinforcementLearning #PostTraining #read-later #CreditAssignment Issue Date: 2026-09-06 Comment
元ポスト:
Introducing Gemini 3.8 Flash and 3.8 Flash Cyber, Google, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #Initial Impression Notes Issue Date: 2026-09-06 Comment
元ポスト:
コストパフォーマンスは良さそうに見えるが、GPT-5.6-lunaが比較の表に記載されておらず、GPT-5.6-lunaのコストパフォーマンスに勝てるのだろうか?Artificial Analysisによる評価を待ちたい。
と思ったら以下ポストを見つけたが、DeepSWEにおいてはパレート最適な模様。GPT-5.6-lunaよりもコストは高いがその分性能も高い、ように見える。
- DeepSWE: Measuring frontier coding agents on original, long-horizon engineering tasks, DeepSWE, 2026.05
高いように見えるなあ、と思ったらこのような話もある、ようである:
CursorBenchでも似たような傾向:
- Composer 2 のご紹介, Cursor, 2026.03
Terminal Bench 2.1→Terminal Bench 4.0のスコアの減少幅が大きいと言う指摘:
task単位のstep数がかなり異なる:
Training frontier knowledge work agents: A 397B RL training guide with SkyRL, Mercor and SkyRL, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #Blog #PostTraining #read-later #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-09-06 Comment
元ポスト:
397Bモデルに対するDPPOによる事後学習によってAPEX-Agentsのスコアを+11.2%を実現するための取り組みと地検が共有されているようである。
関連:
- [Paper Note] APEX-Agents, Bertie Vidgen+, arXiv'26, 2026.01
- [Paper Note] Rethinking the Trust Region in LLM Reinforcement Learning, Penghui Qi+, arXiv'26, 2026.02
Agentic Kernels in Production, Brian Li, 2026.08
Paper/Blog Link My Issue
#Article #LanguageModel #LLMServing #Post #GPUKernel Issue Date: 2026-09-06
TERMINAL-BENCH 4.0, TERMINAL-BENCH, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Blog #Live #Initial Impression Notes Issue Date: 2026-09-05 Comment
元ポスト:
新しいタスクを追加する方向性ではなく、既存のタスクで課題(拒否、正解が公開、品質面等)があるものや飽和したものを改善、評価実行時のタイムアウトやエラーなどのリソース面の改善をし測定誤差の低減なども実施しているようである
所見:
TERMINAL-BENCH-SCIENCE 0.1: A benchmark for evaluating AI agents on research workflows across scientific domains, harbor-framework, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Science #Author Thread-Post Issue Date: 2026-09-05 Comment
元ポスト:
AA Index v5に組み込まれOpus 5.5と比較して中国系とMuseは大幅にスコアが低い:
Introducing K2 Horizon: Frontier Performance, Radically Open, Institute of Foundation Models, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #OpenWeight #OpenSource #Selected Papers/Blogs #One-Line Notes Issue Date: 2026-09-04 Comment
元ポスト:
所見:
HF: https://huggingface.co/collections/IFM/k2-horizon
GPT-5.6-luna級の性能を375B-A23Bで実現されているように見え、データ、レシピ、コード、重みが公開される。
Introducing Muse Spark 1.3, Meta, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Proprietary #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-09-04 Comment
元ポスト:
早くもGPT-5.6-Solと同等以上の性能に到達した模様
long context性能が良さそうに見える:
と思いきや、(Museに限らないが)MRCRのスコアにはコンタミネーションの疑いがある。
Artificial Analysisによる評価:
Terminal Bench 2.1→Terminal Bench 4.0のスコアの減少幅が大きいと言う指摘:
GPT-6 Astra: A new generation of intelligence, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Blog #Proprietary #Selected Papers/Blogs #VisionLanguageModel #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-04 Comment
元ポスト:
GPT-5.6 Solから大幅に性能向上。scaling lawはいつまで続くのだろうか
ベンチマーク上は
- Claude: Fable 5.1 and Mythos 5.1, Anthropic, 2026.09
を超えている。
所見:
アーキテクチャに関する所見:
- [Paper Note] Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Model, Nanbeige Lab+, arXiv'26, 2026.07
- [Paper Note] Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation, Sangmin Bae+, NeurIPS'25
より注意深く指示に従い、CUAの能力も大幅に向上しているようである:
CUAによってBlenderで作成されたhouseの例がなかなかすごい
Artificial Analysisによる評価によると、Artificial Analysis Indexでは5.6-Solと同等、Coding IndexでもFable 5と同等であり、OpenAIによるベンチマークスコアとかなり乖離があるように見える。パブリックなベンチマークに対して過剰に適合しているのか。それともArtificial Analysisのベンチマーク群とその重みづけにより算出されるスコアの相性が悪いのか。(まあこれを考えても不毛だけど)
SRE-Benchと呼ばれるモデルがコンパイル済みのバイナリからソフトウェアをリバースエンジニアリングできるかを測定するベンチマークが飽和したとのこと:
SRE-Bench:
https://benchlm.ai/benchmarks/srebench
所見:
Artificial Analysis Indexのスコアが更新されてFable 5.1とAstraのスコアが同じになったようである😅:
RSI-Exam: Benchmarking Recursive Self-Improvement through Executable Research, RSI-Exam, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Blog #SelfImprovement #autoresearch/RSI #Author Thread-Post Issue Date: 2026-08-30 Comment
元ポスト:
Hugging Face のインシデントと今後の道筋, OpenAI, 2026.08
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #Blog #read-later #Selected Papers/Blogs #Security #Author Thread-Post Issue Date: 2026-08-30 Comment
元ポスト:
- OpenAI and Hugging Face partner to address security incident during model evaluation, OpenAI, 2026.07
の件の調査結果のようである。
Introducing Pipette: A benchmarking suite for on-device intelligence, Liquid AI, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Blog #SmallModel #read-later #Author Thread-Post Issue Date: 2026-08-29 Comment
元ポスト:
dots3-note Preview: A Small but Mighty Step Toward Long-Horizon Agency in Real Life, dots studio, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #Blog #OpenWeight #VisionLanguageModel Issue Date: 2026-08-22 Comment
HF: https://huggingface.co/dots-studio/dots3-note-prev
元ポスト:
DeepSeek-V4-Flash-Vision-Exp, DeepSeek AI, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #VisionLanguageModel #Author Thread-Post Issue Date: 2026-08-22 Comment
DeepSeek初のマルチモーダルモデル(VLM)とのこと
重みが公開: https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-Vision-Exp
Scaling Activation Oracles to Trillion-Parameter Models: Oracles improve with model size, data size, and data quality, Transluce, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-08-22 Comment
元ポスト:
WildArtifactBench, Meta, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Evaluation #MultiModal #LLM-as-a-Judge #VisionLanguageModel #Initial Impression Notes #Author Thread-Post Issue Date: 2026-08-22 Comment
元ポスト:
AI Agentによるpreference judgeに基づく、win rate/Elo Scoreによるマルチモーダルエージェントのベンチマークのようである
Ornith-1.5: From Self-Scaffolding to Self-Improvement, Ornith, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #Blog #OpenWeight #SelfImprovement #reading Issue Date: 2026-08-20 Comment
HF: https://huggingface.co/collections/ornith-ai/ornith-15
元ポスト:
関連:
- Ornith-1.0: Self-Scaffolding LLMs for Agentic Coding, Ornith, 2026.06
モデルを学習するためのタスク生成、scaffolding(e.g.,ヒントなどのタスクを適切な難易度に調整する足場を作ること)生成、解答の生成(ロールアウト)それぞれをself-improvementさせながら学習されたモデルとのこと。
Cua: Scale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation, trycua, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #Tools #NLP #Infrastructure #ComputerUse #Selected Papers/Blogs #Author Thread-Post #SandboxEnvironment Issue Date: 2026-08-20 Comment
元ポスト:
DataSmith: Automating Data Research, datologyai, 2026.08
Paper/Blog Link My Issue
#Article #LanguageModel #SyntheticData #Blog #SelfImprovement #One-Line Notes #Reading Reflections #Data #autoresearch/RSI #Author Thread-Post #AgentHarness #Creativity Issue Date: 2026-08-19 Comment
元ポスト:
Data researchを自動的に実施することに特化したAgentHarness。端的に言うと、あるデータをキュレーション/合成し、decontaminationを実施した上でモデルを学習、評価、実験結果に基づいて改善を繰り返す。これによりClaude Codeを上回る性能を実現している。
興味深いのはClaude Codeと比較して、DataSmithを使うと2.6倍思考(reasoning tokenを生成)し、6.6倍のデータセットを試し、48.4倍のsubagent callを1回のsessionで実現する。そして、45倍のコードを記述し、1.8倍の研究アイデアを創出する。
decontaminationがどれだけ正確にできているかが鍵になりそうだなと思ったが、本ブログには具体的なアルゴリズムの記述はないように見えた。
が、以下のページには一言記載があり、どうならN-gramベースのmatchingでdecontaminationを実施しているようである。
https://www.datologyai.com/product?utm_source=chatgpt.com
- [Paper Note] Soft Contamination Means Benchmarks Test Shallow Generalization, Ari Spiesberger+, arXiv'26, 2026.02
で指摘されているように、表層ベースのマッチングアルゴリズムだけではSoft Contamination(意味的には重複しているが表層が異なるもの)は無くせない点で、limitationがあると考えられる(ただしこれは本ハーネスだけの問題というより評価全体の問題ではある)。
NanoGPT Speedrun Frontier, Prime Intellect, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Blog #SelfImprovement #Initial Impression Notes #autoresearch/RSI #Author Thread-Post Issue Date: 2026-08-17 Comment
元ポスト:
所見:
18のフロンティアモデルでnanogpt speedrunに対してautoresearchを実施し、結果的に合計153回のrunを実施され、Fable 5が人間のレコードに対して83%まで迫ることができたが、新規のアイデアを創出する能力が欠如してあることが示唆された、と言う話に見える。
The AI Engineering Skills Map, Andrew Ng, 2026.08
Paper/Blog Link My Issue
#Article #GenerativeAI #Post #SoftwareEngineering Issue Date: 2026-08-15
Introducing Toast 1, Mixedbread, 2026.08
Paper/Blog Link My Issue
#Article #NLP #Search #LanguageModel #Blog #One-Line Notes #Author Thread-Post Issue Date: 2026-08-15 Comment
GPT 5.6 Sol, Opus 5と同等以上の性能をもち、10倍安く、12倍高速なsearch agentとのこと。技術的な詳細は書かれていないように見え、ベンチマークの話が記述されている。
元ポスト:
Prime Intellectによるポスト:
Prime Intellectを通じて学習されたということは、大規模なAgentic RLを大規模なEnvironmentに対して実行したことが示唆される。
Introducing NAC, an Open-Source Harness for Long-Running Agent Work, Arcee, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #LongHorizon #AgentHarness Issue Date: 2026-08-15 Comment
元ポスト:
DeepSeek Harness, Deepseek AI, 2026.08
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #Coding #SelfImprovement #SoftwareEngineering #Selected Papers/Blogs #One-Line Notes #Reading Reflections #Author Thread-Post #AgentHarness Issue Date: 2026-08-14 Comment
元ポスト:
モデル、ツール、スキル、セッション、sandbox、ファイルシステム、ループ、オーケストレーション、UI、全てがPluginとして実装されたpluggableなハーネスとのこと。
元ポスト:
高い拡張性を持つため、self-improveするハーネスと相性が良さそう。
所見:
MAI-Code-1.1-Flash: Better, faster, at a quarter of the cost, MAI, 2026.08
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Blog #Coding #Proprietary #SoftwareEngineering #Author Thread-Post Issue Date: 2026-08-14 Comment
元ポスト:
Introducing Muse Glimmer: An Open Agentic Model That Runs on Your Device, Meta, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight #Selected Papers/Blogs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-08-10 Comment
HF: https://huggingface.co/meta-models/Muse-Glimmer-30B
Museシリーズから初のOpenWeightモデルがリリースされ、ライセンスはApache 2.0
所見:
Alexandr Wang氏によるポスト:
ザッカーバーグ氏によるポスト:
Muse Spark 1.2もオープンになるとのこと。
所見:
アーキテクチャ解説:
Incident Report: unsanctioned agent behaviour during cyber testing, AISI, 2026.08
Paper/Blog Link My Issue
#Article #Blog #read-later #Selected Papers/Blogs #Security Issue Date: 2026-08-10 Comment
元ポスト:
所見:
所見:
関連:
- OpenAI and Hugging Face partner to address security incident during model evaluation, OpenAI, 2026.07
- [Paper Note] Chunky Post-Training: Data Driven Failures of Generalization, Seoirse Murray+, arXiv'26, 2026.02
- [Paper Note] Natural Emergent Misalignment from Reward Hacking in Production RL, Monte MacDiarmid+, arXiv'25, 2025.11
Multi-Agent Systems in PRIME-RL, Prime Intellect, 2026.08
Paper/Blog Link My Issue
#Article #Multi #NLP #LanguageModel #Infrastructure #ReinforcementLearning #Blog #Author Thread-Post Issue Date: 2026-08-10 Comment
元ポスト:
VISTA: A Visual Harness for Reasoning in an Interactive World, Han+, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Reasoning #read-later #Selected Papers/Blogs #2D (Image) #3D (Scene) #memory #LongHorizon #Author Thread-Post #AgentHarness Issue Date: 2026-08-10 Comment
元ポスト:
数学と理論計算機科学における10の進展, OpenAI, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #GenerativeAI #Blog #Mathematics #ScientificDiscovery #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-08-09 Comment
元ポスト:
歴史的な出来事になる可能性がある
Science One Framework: A verifiable autonomous research framework via Chain-of-Evidence, Google Research, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Hallucination #Blog #SelfImprovement #ScientificDiscovery #Verification #autoresearch/RSI #Author Thread-Post Issue Date: 2026-08-09 Comment
元ポスト:
[Paper Note] Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents, MAI-UI Team, 2026.07
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #ComputerUse #VisionLanguageModel #Initial Impression Notes #GUI Issue Date: 2026-08-09 Comment
pj page: https://tongyi-mai.github.io/Qwen-UI-Agent/
多くのベンチマークでFrontier Modelを上回る性能を示すGUI Agent。デモを見るとなかなかインパクトがある。
元ポスト:
[Paper Note] Statutory construction and interpretation for AI, He+, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Alignment #PostTraining #One-Line Notes #Rubric-based #Author Thread-Post Issue Date: 2026-08-09 Comment
元ポスト:
Constitutional AIのようなルーブリックに基づいてモデルの振る舞いを調整する方法では、ルールの捉え方がモデルに応じて異なることで幅広い解釈が存在することが問題となることを指摘。モデル間での解釈を一致させるために、
- Interpretive Constraints: 法解釈の原理に基づいたPromptingによって、モデル側の解釈の裁量を制限し
- Iterative Refinement: 曖昧性のある記述をiterativeに洗練させる
ことによって緩和する。
関連:
- [Paper Note] Constitutional AI: Harmlessness from AI Feedback, Yuntao Bai+, arXiv'22
2 つの設定で ARC-AGI-3 ベンチマークのスコアが 3 倍に, OpenAI, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Selected Papers/Blogs #One-Line Notes #Compression #Reading Reflections #Author Thread-Post #AgentHarness Issue Date: 2026-08-08 Comment
元ポスト:
ARC-AGI-3のベンチマークを測定する際に、ARC-AGI-3が提供いているオフィシャルのシンプルなハーネスではなく、Response APIで実施されているような reasoningの保持と圧縮をするようなハーネスに変更したら、スコアが3倍以上になったよ、という話のようである。
それはそう、という感じではあるのだが、シンプルなハーネスでそのモデルが持つ強みを発揮しきれないのであれば、公平な比較になっていないよね?という話でもある。モデルの能力を測定するための変数が増えすぎて、公平な比較をするのがどんどん難しくなってきている。
Introducing MazeBench, MazeBench, 2026.07
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #Planning #VisionLanguageModel #3D (Scene) #SpatialUnderstanding #One-Line Notes #LongHorizon Issue Date: 2026-08-05 Comment
元ポスト:
3D空間において、カメラアングルの移動とブロックの移動をすることで実施可能なパズルゲームによる新たなベンチマークで、視覚的・空間的な推論能力と、長期のplanning能力を評価する。
AI が広げる人々の仕事, OpenAI, 2026.07
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #GenerativeAI #Blog #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-08-05 Comment
元ポスト:
ChatGPTに送られるメッセージと、ユーザの職種に基づいて、特定の職種の人間が、自身の職種外のタスクに関するクエリをどれだけChatGPTに送付しているかを分析。これにより、職種外のタスクが多く投げられていることが定量的に示され、タスクの分担範囲がシフトしてきていることが分析されている。職種によって、度合いが異なり、たとえばカスタマーエクスペリエンスでは、職種固有のメッセージ(汎用的なメッセージではなくその職種特有のもの)のうち77%職種外タスクに関するもので、エンジニアの場合は28%であったりするのは興味深い。
このブログの分析対象はChatGPTだけだと思うが、生成AIを用いたSaaS系のサービスまで含めたら、かなり元々のスコープを広げて色々なことに取り組んでいる人はいるのではなかろうか?
AgentENV, kvcache-ai, 2026.07
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #ReinforcementLearning #PostTraining #Initial Impression Notes #Environment #Author Thread-Post #SandboxEnvironment Issue Date: 2026-08-05 Comment
元ポスト:
大規模、かつ高速にAgentic RLのためのサンドボックス環境をself-hosting可能な実装
下記ポストに速度やKimi K3で利用された時の環境の規模感が記述されているので参照のこと:
MAI-Cyber-1-Flash, MAI, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Security #Author Thread-Post Issue Date: 2026-08-05 Comment
元ポスト:
公式:
BTL-3, badtheorylabs, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Coding #PEFT(Adaptor/LoRA) #OpenWeight #SoftwareEngineering #One-Line Notes #ToolUse Issue Date: 2026-08-04 Comment
ポイント解説:
Qwen3.6-27Bに対してLoRAによってcoding, tool useに特化した事後学習を実施したモデルで、HFではアダプタが公開されている。
Introducing Antares: Highly Efficient Open Weight AI Models for Vulnerability Localization, Cisco Blogs, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Coding #SmallModel #OpenWeight #SoftwareEngineering #One-Line Notes #Security #Author Thread-Post Issue Date: 2026-08-04 Comment
HF: https://huggingface.co/fdtn-ai/antares-1b
コードベースの脆弱性を検知することに特化したSLM
ポイント解説:
公式ポスト:
How much science is verifiable? Results from replicating ICML 2026 oral papers, SAI, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #ScientificDiscovery #read-later #Selected Papers/Blogs #Reproducibility #Science #Initial Impression Notes Issue Date: 2026-08-03 Comment
元ポスト:
ICML 2026のOralとして採択された論文の再現実験を通じて得られた知見がまとめられているようで、非常に面白そう。
エージェントスウォームと新しいモデルの経済性, Cursor, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Coding #SoftwareEngineering #read-later #Initial Impression Notes Issue Date: 2026-08-03 Comment
元ポスト:
コストが最大15倍も利用するモデルにより変化したとのことだが、コードの品質はどの程度変化したのだろうか?(まだ読めていない
Expenditure Horizon: Measuring Optimization Ability, with an Application to NanoGPT, METR, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Selected Papers/Blogs #reading #One-Line Notes #Author Thread-Post Issue Date: 2026-08-03 Comment
元ポスト:
費用対効果を人間とAI Agentそれぞれでplotすることで、人間とAI Agentが同じ支出で出せるパフォーマンスを出せる点(expenditure horizon)を見つけるというのがアイデアで、これにより低予算下ではAIの方が効果的で、高予算下では人間の方が効果的といった分析が可能となる。
nanogpt speedrunを通じた分析結果なども載っている。
DeepSeek-V4-Flash, Deepseek, 2023.07
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #OpenWeight #Selected Papers/Blogs Issue Date: 2026-08-02 Comment
Artiflcial Analysisによる評価:
GLM-5.2, Muse Spark 1.1, Gemini3.6-Flash, GPT-5.6-lunaと同等程度のスコアにもかかわらず、スコアに対するパラメータ比率で圧倒的にパレート最適に位置付けられる。
Epoch Capabilities IndexでOpenWeightモデルでKimi K3に次ぐ2位、全体でOpus 4.6に次ぐ7位
Language model harnesses are compositional generalizers, Zhang+, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #read-later #Generalization #RecurrentModels #RecursiveModels #AgentHarness Issue Date: 2026-07-31
長時間稼働モデル時代の安全性とアラインメント, OpenAI, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Alignment #Blog #Safety #LongHorizon #Security #Initial Impression Notes #Author Thread-Post Issue Date: 2026-07-31 Comment
元ポスト:
モデル評価のためにサンドボックス環境でnanogpt speedrunを用いてlong-horizonタスクを実施させていたところ、slackにのみ結果を通知するよう指示をしていたが、長時間モデルが稼働するにつれこの指示を無視し、nanogpt speedrunの本来の結果の報告先である公開リポジトリにPRを開くことを試み、そのためにサンドボックスの脆弱性を見つけ、githubへのアップロードを始めた挙動を見せたことを受け、これに対処するためにセーフガードを構築した、という話のようである。
関連する話題としては、割と大騒ぎになった以下もある:
- OpenAI and Hugging Face partner to address security incident during model evaluation, OpenAI, 2026.07
Extending Legal Agent Bench to M&A Due Diligence, Harvey, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Post #read-later #Legal Issue Date: 2026-07-31 Comment
元ポスト:
Agentic World Models, Cameron R. Wolfe, Ph.D., 2026.07
Paper/Blog Link My Issue
#Article #Tutorial #NLP #Blog #read-later #WorldModels #Author Thread-Post Issue Date: 2026-07-31 Comment
元ポスト:
[Paper Note] Towards Long-Horizon Agents: A Survey Foundation, Evolution, Harness, Optimization, Application, and Frontier, Dong+, 2026.07
Paper/Blog Link My Issue
#Article #Survey #NLP #LanguageModel #LongHorizon #Author Thread-Post Issue Date: 2026-07-31 Comment
pj page: https://long-horizon-agents.github.io/
元ポスト:
とても良さそう。とんでもない量だ。。。Open Problemsのところは非常にコンパクトで明快
github:
https://github.com/RUC-NLPIR/Awesome-Long-Horizon-Agents
LLMエージェント評価の現在地 — 主要ベンチマークに学ぶ設計原則, Hiraoka, 2026.07
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #Evaluation #read-later #Author Thread-Post Issue Date: 2026-07-31 Comment
元ポスト:
こちらの記事を含めて元ポストに5本、日本語でAI Agentの評価に関して実際に手を動かした知見がまとまっているようで、読みたい。
The new rules of context engineering for Claude 5 models, Thariq, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Post #ContextEngineering #reading #AgentHarness Issue Date: 2026-07-25 Comment
元ポスト:
Introducing Claude Opus 5, Anthropic, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #Selected Papers/Blogs #VisionLanguageModel #One-Line Notes #Author Thread-Post Issue Date: 2026-07-25 Comment
元ポスト:
coding, knowledge workでのベンチマークスコアはFable5超えで、コストはFable5のおよそ半分
いよいよベンチマークではClaude一強という感じになってきた:
Fable5のPromptingに関する話:
- A Field Guide to Fable: Finding Your Unknowns, Claude, 2026.07
Context Engineeringの話:
- The new rules of context engineering for Claude 5 models, Thariq, 2026.07
脆弱性を検知する能力が高い:
[Paper Note] LLaDA2.2, InclusionAI, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #DiffusionModel #MoE(Mixture-of-Experts) #read-later #Selected Papers/Blogs #One-Line Notes Issue Date: 2026-07-25 Comment
HF: https://huggingface.co/inclusionAI/LLaDA2.2-flash
元ポスト:
LLaDA2.2シリーズとして初めてのAgent指向なdLLMとのこと。MoEアーキテクチャ採用。ベンチマークスコアはARモデルよりも少し劣る面があるが、スループットは1.64倍。
FRONTIER-BENCH V0.1: A benchmark to measure and evolve with the frontier of agent work, FRONTIER-BENCH, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Blog #Selected Papers/Blogs #Live #reading #One-Line Notes #Author Thread-Post Issue Date: 2026-07-24 Comment
元ポスト:
Terminal Benchを構築したチームによる新たなベンチマークで、GPT-5.6-Sol (Codex) でもスコアは34.4%。タスクは今後も更新される。
タスクは、ソフトウェア、ML、科学、オペレーション、セキュリティ、ハードウェア、メディアなどのドメインによって構成されるようである。
Terminal Bench:
- [Paper Note] Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces, Mike A. Merrill+, arXiv'26, 2026.01
Grok Build is open source: SpaceXAI's coding agent and CLI, SpaceXAI, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #One-Line Notes #AgentHarness Issue Date: 2026-07-23 Comment
元ポスト:
github: https://github.com/xai-org/grok-build
SpaceXAIによるcoding agent harness
所見:
Scaling Agentic RL: 365,000+ Environments for SWE, Terminal, and Search, Prime Intellect, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Blog #PostTraining #One-Line Notes #Scalability #Environment Issue Date: 2026-07-23 Comment
元ポスト:
36.5kのagentic RLのためのenvironments。対象はSWE, Search, terminal。全てのタスクセットが、任意のハーネス、ランタイム上でone commandで実行可能とのこと。
Solar Open 2: Korea's Sovereign Foundation Model, Built for Agentic Use, Upstage, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight #Korean Issue Date: 2026-07-23 Comment
元ポスト:
Introducing Laguna S 2.1 Poolside team, Poolside, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #OpenWeight Issue Date: 2026-07-22 Comment
OpenAI and Hugging Face partner to address security incident during model evaluation, OpenAI, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Alignment #Evaluation #Blog #Safety #Attack #Video #Selected Papers/Blogs #Security Issue Date: 2026-07-22 Comment
Hugging Face側のブログ:
Security incident disclosure — July 2026
https://huggingface.co/blog/security-incident-july-2026
元ポスト:
video: https://youtu.be/87DyyMV0kCY
関連:
- Incident Report: unsanctioned agent behaviour during cyber testing, AISI, 2026.08
- [Paper Note] Chunky Post-Training: Data Driven Failures of Generalization, Seoirse Murray+, arXiv'26, 2026.02
- [Paper Note] Natural Emergent Misalignment from Reward Hacking in Production RL, Monte MacDiarmid+, arXiv'25, 2025.11
所見:
🦋 Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning, Jian Hu and Molt Contributors, 2026.07
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #ReinforcementLearning #PostTraining #One-Line Notes #TrainingFramework Issue Date: 2026-07-19 Comment
元ポスト:
ハイパフォーマンス、かつminimalな実装のRLライブラリで、研究用のハックがしやすいフレームワーク。verlの1/9, Slimeの1/3の行数で実現されているとのこと。
verl:
- verl: Volcano Engine Reinforcement Learning for LLMs, ByteDance Seed Team, 2025.04
Slime:
- slime, THUDM & Zhihu, 2025.09
[Paper Note] Cura1T: Specialized Model for Agentic Healthcare, actAVA AI Team, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #Health #Medical #Initial Impression Notes Issue Date: 2026-07-19 Comment
元ポスト:
Healthcare関連の6つのベンチマークのうち5つでGPT-5.5, Opus4.8を上回る性能を示したモデルとのこと。Proprietaryモデル。
SingGuard-NSFA, inclusionAI, 2026.07
Paper/Blog Link My Issue
#Article #NLP #OpenWeight #Safety #One-Line Notes #Security #Safeguard Issue Date: 2026-07-19 Comment
元ポスト:
AI Agent向けのガードレールで、モデルの安全性からランタイムの安全性を指向して開発されている。エージェントのアクション実行前に、attackを検知し防御するなどの用途に使われる。
Introducing Muse Spark 1.1, Meta, 2026.07
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #MultiModal #Proprietary #VisionLanguageModel #One-Line Notes #Author Thread-Post Issue Date: 2026-07-19 Comment
元ポスト:
Muse Spark:
- Introducing Muse Spark: Scaling Towards Personal Superintelligence, Meta, 2026.04
大幅にAgenticな能力やコーディング能力が向上。Agenticな能力では多くのベンチマークでOpus4.8超え、CodingはGPT-5.5にベンチマーク上では及ばず(SWE Bench Proでは勝っているが、OpenAIから30%以上のpromptが評価で不適切との報告があった Separating signal from noise in coding evaluations, OpenAI, 2026.07 )。
Alexandr Wang氏によるポスト:
Harness Engineering for Self-Improvement, Lilian Weng, 2026.07
Paper/Blog Link My Issue
#Article #Tutorial #NLP #Blog #SelfImprovement #read-later #RecursiveModels #Author Thread-Post #AgentHarness Issue Date: 2026-07-12 Comment
元ポスト:
Benchmarking Coding Agents on Databricks’ Multi-Million Line Codebase, databricks, 2026.07
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #Evaluation #Blog #read-later #Initial Impression Notes #Author Thread-Post #AgentHarness Issue Date: 2026-07-10 Comment
元ポスト:
ハーネス選択によってトークン消費を1/2にでき、GLM 5.2のコストパフォーマンスが良いらしい
Separating signal from noise in coding evaluations, OpenAI, 2026.07
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #Evaluation #Blog #SoftwareEngineering #Selected Papers/Blogs #One-Line Notes Issue Date: 2026-07-09 Comment
元ポスト:
SWE-Bench Proの約30%にタスクが評価として機能しないタスクが含まれているとのこと(SWE-Bench Verifiedと同じ流れでは)。
これらは、5人の熟練なソフトウェアエンジニアによる監査と、AI Agentによる監査結果を人間がレビューするプロセスの2つを介して同定された。
以下のようなものがある:
- 過剰に制約されたテスト: 実装の制約が強すぎて機能として正しいのにテストが通らず、かつプロンプトでその制約が明示されていない
- requlrementが不足したテスト: プロンプトでの推測することができない要件の漏れ
- 低カバレッジのテスト: 実装が不完全でも通過するテスト
- ミスリーディングなプロンプト: テストが求める要件とは異なる挙動に向かわせるプロンプト
これにより、OpenAIは以前SWE Bench Proを推奨していたがそれを撤回するとのこと。
SWE Bench Verifiedでも同様の事案があった:
- Why SWE-bench Verified no longer measures frontier coding capabilities, OpenAI, 2026.02
そしてSWE Bench Verifiedにおけるコンタミネーションやテストの問題点を改善したSWE Bench Proを構築した、という経緯だったはずだが、そのSWE Bench Proでも問題が見つかったという流れである。
あと、そもそもSWE Bench Proで問題のなかった70%で評価したら現在のモデルのスコアはどうなるのだろうか?
SWE-1.7: Frontier Intelligence at a Fraction of the Cost, Cognition, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #Author Thread-Post Issue Date: 2026-07-09 Comment
元ポスト:
Hy3, Tencent, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight #Selected Papers/Blogs #One-Line Notes Issue Date: 2026-07-08 Comment
元ポスト:
- Hy3-preview, tencent, 2026.04
の公開後から、50以上のプロダクトからフィードバックを受けより高品質なデータで事後学習を実施したとのこと。
- GLM-5.2: Built for Long-Horizon Tasks, Z.ai, 2026.06
が744B-A40B。Hy3は295B-A21Bなので、半分程度のパラメータ数でフロンティアモデルに近い性能を達成している。
公式:
Devin Fusion: Frontier Performance at 35% Lower Cost, Cognition, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Architecture #read-later #ContextEngineering #One-Line Notes #Author Thread-Post #AgentHarness Issue Date: 2026-07-07 Comment
元ポスト:
高価で高性能なメインエージェントがタスクを管理し、安価なサイドキックエージェントがメインエージェントからタスクを移譲され処理をするようなアーキテクチャによって、メインエージェントで処理した場合と同等の性能を発揮しつつコストを削減できる。
似たような考え方はAgent Swarmなどでも実施されている。Agent Swarmはハーネスだけでなく、モデル自身もサブエージェントをうまく活用できるような学習のされかたをしている:
- [Paper Note] Kimi K2.5: Visual Agentic Intelligence, Kimi Team+, arXiv'26, 2026.02
Fusion Harness: How to combine a more expensive main model and a sidekick model, Graham Neubig, GithubGist, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ContextEngineering #MinimalCode #One-Line Notes #Author Thread-Post #AgentHarness #Gist Issue Date: 2026-07-07 Comment
元ポスト:
openhands SDKを用いて、全体の管理を高性能で高価なメインエージェントにより実施し、個々の作業を安価なサブエージェントに移譲することで、コンテキストを管理しつつパイプライン全体のコスト削減を実施する実装
似たような考え方はAgent Swarmなどでも実施されている。Agent Swarmはハーネスだけでなく、モデル自身もサブエージェントをうまく活用できるような学習のされかたをしている:
- [Paper Note] Kimi K2.5: Visual Agentic Intelligence, Kimi Team+, arXiv'26, 2026.02
Using Local Coding Agents, Sebastian Raschka, 2026.06
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #Blog #Coding #OpenWeight #LLMServing #SoftwareEngineering #Author Thread-Post #AgentHarness Issue Date: 2026-07-05 Comment
元ポスト:
報酬ハッキングがモデルの知能向上を食い潰している, Cursor, 2026.06
Paper/Blog Link My Issue
#Article #Analysis #LanguageModel #ReinforcementLearning #Evaluation #Blog #RewardHacking #Selected Papers/Blogs #One-Line Notes #Contamination #Author Thread-Post Issue Date: 2026-07-05 Comment
元ポスト:
SWE Bench Proにおいて、公開リポジトリやリポジトリの履歴にアクセスすることを厳格に禁止したハーネスを用いてproprietaryモデルを評価したところ標準的なハーネスと比較してスコアが大きく低下した。どれだけスコアが減少したかはモデルごとに異なり、たとえばOpus 4.8系のモデルでは8.1--9.1ポイント程度、GPT5.5系では2.6 -- 3.4%程度スコアが低下した。最近のモデルほどスコアが低下する傾向がある、という話のようである。たとえば、731件のOpus 4.8 Maxのtraceを監査用のモデルを用いて調べると、traceの57%において公開リポジトリでマージ済みのPR、または修正済みのソースファイルを見つけ修正をそのまま再現し、9%程度のtraceで.git履歴からバグ修正前後のコミットを検索しパッチを抜き出していた。モデルが協力になるにつれて、自身が評価中であることを認識し、既に与えられたタスクが解決済みであるためのヒントを見出し、RewardHackingのような挙動を示すような傾向にある、という話のようである。
実際にどの程度スコアに影響を与えていたかが見れるのは興味深い。
How agents are transforming work, OpenAI, 2026.06
Paper/Blog Link My Issue
#Article #Analysis #Blog #Author Thread-Post Issue Date: 2026-07-05 Comment
元ポスト:
[Paper Note] Economic Evaluations of Language Models, Wan+, 2026.06
Paper/Blog Link My Issue
#Article #LanguageModel #Evaluation #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-07-05
Leanstral 1.5: Proof Abundance for All, Mistral AI, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Coding #Mathematics #OpenWeight #Proofs #Author Thread-Post Issue Date: 2026-07-04 Comment
元ポスト:
HF: https://huggingface.co/mistralai/Leanstral-1.5-119B-A6B
所見:
Agentic RL: Frameworks and Best Practices, CAMERON R. WOLFE, 2026.06
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #ReinforcementLearning #Blog #PostTraining #read-later Issue Date: 2026-07-03
[Paper Note] EdgeBench: Unveiling Scaling Laws of Learning from Real-World Environments, ByteDance Seed, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #read-later #Selected Papers/Blogs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-07-03 Comment
blog: https://edge-bench.org/
人間が平均で57.2時間かかるようなlong horizonなタスクによるAgentのベンチマーク
Simple, Fast, Vibe‑Ready ZCode combines the best AI agents with your existing tools so you can plan, code, review, and deploy without friction., Z.ai, 2026.07
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Coding #SoftwareEngineering #Initial Impression Notes #Author Thread-Post #AgentHarness Issue Date: 2026-07-02 Comment
元ポスト:
GLMのZ.aiによるAgent Harness (Scaffolding)
Introducing Claude Sonnet 5, Anthropic, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #VisionLanguageModel #One-Line Notes Issue Date: 2026-07-01 Comment
元ポスト:
Artificial Analysisによる評価:
SWE Bench ProのスコアはOpus 4.8とSonnet 4.8の中間程度
Opus 4.8よりも2倍程度生成されるトークンが長い傾向にあり、結果的にArtificial Analysisによる評価を実施する際にOpus 4,8よりもコストが高くついたとのこと:
Hermes-Agent, Nous Research, 2026.02
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #SelfImprovement #One-Line Notes #ContinualLearning #AgentSkills #AgentHarness Issue Date: 2026-06-27 Comment
Nous ResearchによるAgentSkillsを自己改善していくタイプのAgent Harness (Scaffolding)。2026.0628現在20k star
CyScenarioBench: Evaluating LLM Cyber Capabilities Through Scenario-Based Benchmarking, IRREGULAR, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #LongHorizon #Security Issue Date: 2026-06-27
Previewing GPT‑5.6 Sol: a next-generation model, OpenAI, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ChatGPT #Proprietary #Selected Papers/Blogs #VisionLanguageModel #Initial Impression Notes #Author Thread-Post Issue Date: 2026-06-27 Comment
元ポスト:
OpenAIによる新たなフロンティアモデルで、terminal benchでMythos 5, Fable 5超え。まずは少数のパートナーに提供し、その後数週間以内にGAを目指す、という感じらしい。
所見:
ベンチマーク:
- [Paper Note] Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces, Mike A. Merrill+, arXiv'26, 2026.01
- [Paper Note] ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents, Seunghyun Lee+, arXiv'26, 2026.05
- CyScenarioBench: Evaluating LLM Cyber Capabilities Through Scenario-Based Benchmarking, IRREGULAR, 2026.06
- [Paper Note] HealthBench Professional: Evaluating Large Language Models on Real Clinician Chats, Rebecca Soskin Hicks+, arXiv'26, 2026.04
- [Paper Note] CyberGym: Evaluating AI Agents' Real-World Cybersecurity Capabilities at Scale, Zhun Wang+, arXiv'25, 2025.06
サイバーセキュリティに関するベンチマークの報告が増えてきたなぁ
LFM2.5-230M: Built to Run Anywhere, Liquid AI, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #SmallModel #OpenWeight Issue Date: 2026-06-26 Comment
HF: https://huggingface.co/LiquidAI/LFM2.5-230M
元ポスト:
Ornith-1.0: Self-Scaffolding LLMs for Agentic Coding, Ornith, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Coding #OpenWeight #SoftwareEngineering #PostTraining #One-Line Notes #Author Thread-Post Issue Date: 2026-06-26 Comment
HF: https://huggingface.co/collections/deepreinforce-ai/ornith-10
元ポスト:
gemma4とQwen3.5をpost trainingしたコーディング特化LLMで、397BモデルではSWE Bench ProでGLM 5.2超え
Introducing Claude Tag, Anthropic, 2026.06
Paper/Blog Link My Issue
#Article #NLP #GenerativeAI #Blog #Author Thread-Post Issue Date: 2026-06-24 Comment
元ポスト:
ポイント解説:
Sakana Fugu: One Model to Command Them All, SakanaAI, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Test-Time Scaling #Initial Impression Notes #Reading Reflections #Orchestration Issue Date: 2026-06-23 Comment
元ポスト:
所見:
Opus 4.8, Gemini 3.1 Pro, GPT 5.5(他にもありそう)のオーケストレータ
beta:
- Sakana Fugu: A Multi-Agent Orchestration System as a Foundation Model, sakana.ai, 2026.04
テクニカルレポート:
- [Paper Note] Sakana Fugu Technical Report, Yujin Tang+, arXiv'26, 2026.06
v1.1になり、新たに公開されたフロンティアモデルをルーティングに加えることで性能向上:
基本的に新たなモデルが公開されたらルーティングを更新すればFuguの性能も向上していくので、性能面でFrontier Modelに遅れをとる可能性は小さいと思われる。一方で、Fugu内部で商用APIを叩いた場合そのコストは他社のマークアップが上乗せされたものになると思うので、利用コストをどの程度抑えられるかがポイントになるだろうか。ただ、ターン単位で利用されるモデルが変更されるので、たとえばFable5を最も重要なプランニングで利用し、その後のフェーズではより安価なモデルを使う、といった柔軟なモデルの組み換えが可能なので、そこの最適化がされればタスクを完遂する際に特定の1モデルを利用するよりも結果的に安い可能性は高い。
Humans Still Beat AI in the Long Horizon: Revisiting Test-Time Scaling in the Agent Era, Mang+, 2026.06
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #Coding #read-later #Selected Papers/Blogs #LongHorizon #Initial Impression Notes #Author Thread-Post Issue Date: 2026-06-22 Comment
2週間にわたるopen endなプログラミングコンテストのデータを用いて人間の専門家とAI AgentのElo ratingの変遷を比較すると、序盤は人間に対して大きくリードしスコアは試行回数の対数に対して線形にスケーリングし次第に停滞を始めるが、人間の専門家は4日を超えたあたりから非線形にスコアが進化し、最終的にAI Agentよりも高いスコアを記録する。人間はAI Agentと比較して、継続学習ができていることが示唆され、AI Agentのlong horizonタスクに対する能力の限界が示唆される、という話に見える。
元ポスト:
Deli_AutoResearch, Deli Chen, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #SelfImprovement #read-later #AgentSkills #autoresearch/RSI #Author Thread-Post Issue Date: 2026-06-20 Comment
元ポスト:
日本語エージェントベンチマーク「J-tau telecom」の公開, SB Intuitions, 2026.06
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #Evaluation #Japanese #Author Thread-Post Issue Date: 2026-06-20 Comment
元ポスト:
GLM-5.2: Built for Long-Horizon Tasks, Z.ai, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Actor-Critic #OpenWeight #Selected Papers/Blogs #Reference Collection #Critic #LongHorizon #train-inference-mismatch #Initial Impression Notes Issue Date: 2026-06-16 Comment
HF: https://huggingface.co/zai-org/GLM-5.2
1Mコンテキストでフロンティアモデルには少し劣るが非常に高い性能。SWE Bench ProではGPT5.5をoutperform、Terminal Bench/DeepSWEなどでは3--12pt程度GPT5.5が高い。Opus4.8はさらにスコアが高い。
744B-A40B
元ポスト:
Artificial Analysis Intelligence IndexでOpenWeightモデルでSoTA更新:
MiniMax-M3超え
long Horizonのタスクの学習でGRPOではなく、criticベースのPPOを利用:
アーキテクチャ解説:
GLM 5.2では、Reward Hackingを検知した場合、ペナルティを与えるのではなく、ツール呼び出しをブロックしてダミー情報を返し、ロールアウト自体は継続させる。Reward Hackingをすると、ただ損をするという構造に近づけていると思われる。
slimeフレームワークを用いることで10を超えるエキスパートモデルに基づくOPDを2日で終えたとのこと。この記述に基づき、OPDがRLと比較して非常に効率的で、かつエキスパートなモデルは並列で学習をさせておけるよね?という利点に関して推察をしている:
エキスパートなRLでは常にドメイン別のRLを走らせ特化モデルを学習しておき、性能が向上したらOPDで単一モデルに効率的に蒸留することで、モデルに知識を集約するプロセスと、個々のドメインごとに強力なモデルを得るプロセスが分離されて良さそう、という感想を得た。
1M context + linear attentionが標準に:
MTPの学習時において、step 2以後のMTP Layerの出力は、学習時はteacher forcing, 推論時はstep 1のMTP Layerが推定したhidden_stateが用いられるが、これが学習-推論時のgapを生んでしまう。このため、step 1の計算で利用したKV(とsparse attentionのtop-kで洗濯をしたトークンのindex)を全て共有し、step 2以後のMTP Layerで活用し、かつstep 2以後のsparse attentionの計算のオーバヘッドをなくしつつ、学習-推論のgapを無くすことでspeculative decodingの性能を向上させる、といった話題があるようである:
画像分野におけるself-forcingと同じ発想に思う。
- [Paper Note] Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion, Xun Huang+, NeurIPS'25
GRPO, PPOのそれぞれの利点と欠点、およびLong Horizonタスクに適用する価値の説明:
Cursor Benchにおいて、Opus 4.8と同等程度のコスト効率とのこと:
PPOへ最終的に回帰してきたのは一種のbitter lesson:
PPO vs. GRPOに関する所見:
GLM 5.2で利用されたRL:
- [Paper Note] Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning, Zhenyu Hou+, arXiv'26, 2026.07
要はGRPOだと応答単位のrewardから算出されるAdvantageがトークン単位に一律に割り当てられるが、PPOの場合はトークン単位のcredit assignmentが可能(Criticが各時点でのValueを推定し、GAEなどを通じてAdvantageに反映されるため)な点が重要と思われる。
Introducing North Mini Code: Cohere’s first model for developers, Cohere, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Coding #OpenWeight #SoftwareEngineering Issue Date: 2026-06-14 Comment
元ポスト:
アーキテクチャ解説:
Introducing Omnigent: A Meta-Harness to Combine, Control and Share Your Agents, Databricks, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #One-Line Notes #Author Thread-Post #AgentHarness Issue Date: 2026-06-14 Comment
元ポスト:
ハーネスの上に統一されたAPIを追加し、複数エージェントのハーネスを協調させるメタハーネス
Kimi-K2.7-Code, moonshotai, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Coding #OpenWeight #SoftwareEngineering Issue Date: 2026-06-12 Comment
元ポスト:
Designing loops with Fable 5, Lance Martin, 2026.06
Paper/Blog Link My Issue
#Article #Post #read-later Issue Date: 2026-06-10 Comment
元ポスト:
Claude Fable 5 and Claude Mythos 5, Anthropic, 2026.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #Selected Papers/Blogs #VisionLanguageModel #Reference Collection #Initial Impression Notes #Reading Reflections Issue Date: 2026-06-10 Comment
元ポスト:
Mythos級の性能を持ち、サイバーセキュリティ、生物学、化学、蒸留に対してsafeguardを持つfrontier model
GDPValでSoTA:
フロンティアLLMの構築に関わるクエリは意図的に制限を設ける措置がとられているようだ:
一部の人間にしかAIの能力が解放されない未来に対する懸念:
-
フロンティアモデルの関連に関するリクエストに対しては、通常のsafeguardとは異なり**サイレントに性能が限定される**ようである。これはAIの開発が加速しすぎると重大なリスクが生じるため(February 2026 Risk Report)、とのこと:
-
-
このような性能の低減は、prompt modification, steering, peftなどを通じて行われるとのこと。利用者からしたらpromptの調整や工夫で検知されないようにするしか対策(?)の打ちようがないと思われる。
しかしこの情報をわざわざ公開する意図はなんだろうか。完全に憶測だが
- Mythos級のモデルの性能が良く、半自律的にモデルがモデル自身をよくする仕組みが成立している
- ライバルにモデルを使わせないで、自分たちだけで独占することでMoatを築くフェーズまできた
- 情報を公開しようがしまいが、性能に制限をかけていたら、フロンティアモデル開発者たちにはすぐバレるので、他のユーザたちが混乱するのを避けるために最初から線引きを明確にしておく
- ほほ全てのユーザに影響はないので、一部のフロンティアモデル開発に近しい人間から不満は出るが、全体で見たら気にしなくて良いレベル
- フロンティアモデル開発には使えないと銘打つことで、ライバルよりも本当に性能が良いんだな、という印象を与えることができるマーケティング効果
とかだろうか。
Geminiさんと壁打ちをしたら欠けている視点として以下のような意見を頂戴した(以下の引用部分はGeminiの出力です)
> 規制当局へのポーズ(アライメント):
「自社モデルが、制御不能なさらに強力なAI(AGI/ASI)を勝手に生み出す引き金(ゴーレムが生むゴーレム)にならないよう、防衛策を講じています」という姿勢を政府や規制当局に見せる必要があります。
なるほど
続報:
フロンティアモデルで性能が制限された時に、それらが他のsafeguardと同様ユーザ側に通知されるように変更されるようだ
モデルのそのものの性能などは置いておいて、今回の特定のタスク、プロンプトには恣意的に一定の制限を設ける措置を受け、(Project Glasswingの頃から違和感はあったが)Anthropicが恣意的にAIの能力を供給する姿勢に見え、雲行きの怪しさを感じる
- Project Glasswing Securing critical software for the AI era, Anthropic, 2026.04
Mythos級のモデルでは、全てのpromptと生成結果が、信頼性と安全性の確認のために30日間保持される:
https://support.claude.com/en/articles/15425996-data-retention-practices-for-mythos-class-models
所見: https://simonwillison.net/2026/Jun/9/claude-fable-5/
コーディング関連ベンチマークでは抜きん出ている:
所見:
Fable再公開後のClassifierによる安全マージンについて:
輸出規制解除:
約1ヶ月かかった。
KernelBench MegaでSoTA:
Introducing FrontierCode, Cognition, 2026.06
Paper/Blog Link My Issue
#Article #LanguageModel #Evaluation #Coding #SoftwareEngineering #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2026-06-09 Comment
元ポスト:
Fable5, Opus5で、本ベンチマークにおいてtest-time-scalingを適用すると、性能は単調増加ではなくなる現象が報告されている
原因としては、Fable5, Opus5などはタスクとは関係ないコードのリファクタリングを実施することがあり、ベンチマークはスコープ外の編集に対してペナルティを課すため、このような場合はスコアにペナルティが課されている、ということのようである。
AA Index V5に組み込まれた:
Holo3.1: Fast & Local Computer Use Agents, H Company, 2026.06
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #OpenWeight #ComputerUse #VisionLanguageModel #Author Thread-Post Issue Date: 2026-06-03 Comment
HF: https://huggingface.co/collections/Hcompany/holo31
元ポスト:
関連:
- Holo3: Breaking the Computer Use Frontier, H Company, 2026.03
Building a hill-climbing machine: Launching seven new MAI models, Mustafa Suleyman, MAI, 2026.06
Paper/Blog Link My Issue
#Article #LanguageModel #TextToImageGeneration #Blog #Coding #Proprietary #TTS #ImageSynthesis #Transcript #Author Thread-Post Issue Date: 2026-06-03 Comment
- MAI-Thinking-1: Building a Hill-Climbing Machine, Microsoft, 2026.06
元ポスト:
関連:
Artificial Analysisによる評価で、MAI Image-2.5がT2Iで2位, Image Editingが3位とのこと:
Step-3.7-Flash, stepfun-ai, 2026.05
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #MultiModal #OpenWeight #MoE(Mixture-of-Experts) #read-later #VisionLanguageModel #Author Thread-Post Issue Date: 2026-05-31 Comment
元ポスト:
公式:
DeepSWE: Measuring frontier coding agents on original, long-horizon engineering tasks, DeepSWE, 2026.05
Paper/Blog Link My Issue
#Article #NLP #Dataset #Evaluation #Coding #SoftwareEngineering #read-later #Selected Papers/Blogs #One-Line Notes #LongHorizon #Author Thread-Post Issue Date: 2026-05-27 Comment
元ポスト:
所見:
既存のベンチマークのような、githubのPRに基づいたものではなく(memorizationの問題があるため)、ゼロベースで構築。rolloutのtrajectoryを分析して、有効なPRなのに拒否する、あるいは何らかのcheatingをするといった挙動のdetectionもできるとのこと。また、SWE Bench Proと比較して、タスクを解くためのpromptは1/2である一方、タスクを解くために必要なコードの量は5.5倍となっており、より複雑なタスクとなっている。
contamination-freeが主張されているが、データセットは公開されているので、そのうちcontaminationが生じるであろう点には注意。
Agent Evaluation: A Detailed Guide, CAMERON R. WOLFE, PH.D., 2026.05
Paper/Blog Link My Issue
#Article #Tutorial #LanguageModel #Evaluation #One-Line Notes #Author Thread-Post Issue Date: 2026-05-27 Comment
元ポスト:
ざーっとしか眺められていないが、AI Agentの基礎的な話と、実際のtool useをした場合のレスポンスの例を踏まえた動作の説明や、Scaffoldingとは何か/multi-agentとは何か/context engineeringとはといった説明をし、その後AI Agentの評価の方法の体系的な枠組みと、具体的なベンチマークとして tau-bench/terminal-benchを挙げて解説されている。これを読んだらAI Agentとはなんぞやから、評価までかなり理解できるのではないだろうか。
Terminal-Bench Science: Evaluating AI Agents on Real-World Computational Workflows in the Natural Sciences, harbor-framework, 2026.05
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Repository #ScientificDiscovery #Science #One-Line Notes #Author Thread-Post Issue Date: 2026-05-27 Comment
元ポスト:
ターミナル上でのscienceに関するワークフローを定義しAI Agentを評価することで、教科書的な知識を問うのではなく、より複雑で実践的なタスクによる評価をしたい、というモチベーションのpjで、Discordを通じてタスクを生成するcontributorを募集しているようである。
General Agent: A Self-Evolving, Synthetic Agent Environment, Mika, PRIMEIntellect, 2026.05
Paper/Blog Link My Issue
#Article #General #NLP #LanguageModel #SyntheticData #reading #One-Line Notes #Environment #ToolUse #Author Thread-Post Issue Date: 2026-05-27 Comment
environment: https://app.primeintellect.ai/dashboard/environments/primeintellect/general-agent
元ポスト:
著者ポスト:
約1000のドメイン、約4500タスク、約8000種類以上の独自のツールを持つ、汎用エージェント学習のための学習環境とその構築方法。タスクを生成するAIとそれに対して解答するAIを用意し、解答がどの程度正解していたかによって難易度を同定しフィルタリング等を行いつつ、生成されたタスクをacceptするか否かを決定する。実際に構築された環境でRL/SFTを実施したところ、未知のベンチマークに対して性能が反化することも確認したとのこと。
Autonomous AI research for nanogpt speedrun, PrimeIntellect, 2026.05
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #ScientificDiscovery #One-Line Notes #Author Thread-Post Issue Date: 2026-05-21 Comment
元ポスト:
nanogpt speedrun
- Modded-NanoGPT, KellerJordan, 2024.05
autoresearchをnanogpt speedrun (Track 3)で実施したところ、人間の最高記録を上回ることに成功した。この記録は既存のアイデアの組み合わせや、ハイパーパラメータの探索などによって等のもたらされた。一方で、完全に新規のアイデアの創出し改善するには上流にいる人間のヒントが必要となる弱点があることも浮き彫りになった。
AI Agentごとに挙動の性質が異なりOpus(Claude Code)は自律的なループを停止してしまったり、GPT(Codex)は自律的なループが止まることはないものの、同じハイパーパラメータを何度も繰り返し探索するなどの現象も見受けられた。
関連:
Violin: An open-source video translation skill that breaks language barriers, together.ai, 2026.05
Paper/Blog Link My Issue
#Article #MachineTranslation #NLP #LanguageModel #Blog #3D (Video) #AgentSkills #SpeechToSpeech Issue Date: 2026-05-21 Comment
元ポスト:
demo:
https://www.violin-ai.com/
github:
https://github.com/shang-zhu/violin
Ring-2.6-1T, inclusionAI, 2026.05
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight #Author Thread-Post Issue Date: 2026-05-21 Comment
元ポスト:
MemEx: A Programmable Scratchpad for LLM Agents, Databricks, 2026.05
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #read-later #ContextEngineering Issue Date: 2026-05-20 Comment
元ポスト:
元ポスト:
Pushing the Frontier for Data Agents with Genie, Databricks, 2026.05
Paper/Blog Link My Issue
#Article #Multi #NLP #LanguageModel #Test-Time Scaling #Data Issue Date: 2026-05-11 Comment
元ポスト:
Automated Weak-to-Strong Researcher, Wen+, Alignment Science Blog, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Alignment #Safety #ScientificDiscovery #Initial Impression Notes Issue Date: 2026-05-10 Comment
元ポスト:
Alignmentを自動で研究
Releasing Lab: the training platform for self-improving agents, PrimeIntellect, 2026.05
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #SelfImprovement Issue Date: 2026-05-09 Comment
元ポスト:
betaからついにリリース
関連:
- Introducing Lab: The Full-Stack Platform for Training your Own Models, Prime Intellect, 2026.02
ここまでおよそ1年らしい?
On Training Large Language Models for Long-Horizon Tasks: An Empirical Study of Horizon Length
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #LongHorizon Issue Date: 2026-05-08 Comment
元ポスト:
Autodata: an automatic data scientist to create high-quality data, Ilia+, 2026.05
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #SyntheticData #Author Thread-Post Issue Date: 2026-05-06 Comment
元ポスト:
AgentTrove, open-thoughts, 2025.12
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #Coding #Mathematics #SoftwareEngineering #ComputerUse #One-Line Notes Issue Date: 2026-05-06 Comment
元ポスト:
219のデータソースに対する170M規模のcoding, terminal/computer use, mathに関するagentのtrajectory。trace自体は、Agentic HarnessとしてTerminus 2を用いたOpenThinker-Agent-v1によるものだと推察される。
Introducing Moonlake's 3D Agent: Computer Use Capabilities For World Modeling, The Moonlake Team, 2026.04
Paper/Blog Link My Issue
#Article #ComputerVision #ComputerUse #VisionLanguageModel #2D (Image) #3D (Scene) #Initial Impression Notes #3D Object Generation #ImageTo3D Issue Date: 2026-04-30 Comment
元ポスト:
Blenderを操作可能なComputer Use Agentのようである
Laguna XS.2 and M.1: A Deeper Dive, Poolside team, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Coding #OpenWeight #MoE(Mixture-of-Experts) #SoftwareEngineering #read-later #Selected Papers/Blogs #LongHorizon #Author Thread-Post Issue Date: 2026-04-30 Comment
HF: https://huggingface.co/poolside/Laguna-XS.2
元ポスト:
テクニカルレポート:
https://poolside.ai/assets/laguna/laguna-m1-xs2-technical-report.pdf
元ポスト:
Project Deal, Anthropic, 2026.04
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #Personalization #read-later #One-Line Notes #Sales Issue Date: 2026-04-26 Comment
元ポスト:
AI同士が商取引をしたら何が起きるかという社内実験のようである。69人の社員に何を売りたいか/買いたいををインタビューし、カスタム指示が与えられた上でAI Agentに取引をさせたところ、きちんと商取引が行われ、186件、$4000のやりとりがあったとのこと。そして賢いモデルが大幅に有利に取引を終えて、実際の参加者はこの事実に気づかなかったとのこと。また、カスタム指示(e.g., 強行姿勢, 礼儀正しいなど)はあまり良い成果を上げる上では重要ではなかった、
といった話が元ポストに書かれている。
Sakana Fugu: A Multi-Agent Orchestration System as a Foundation Model, sakana.ai, 2026.04
Paper/Blog Link My Issue
#Article #Multi #NLP #LanguageModel #Proprietary #Initial Impression Notes #Orchestration Issue Date: 2026-04-26 Comment
元ポスト:
複数のフロンティアモデルを(おそらく個々のモデルのタスクごとの強みに合わせて)動的にオーケストレーションすることで高い性能を達成する
テクニカルレポート:
- [Paper Note] Sakana Fugu Technical Report, Yujin Tang+, arXiv'26, 2026.06
The World’s First Context-Aware Proactive Agent: No intent missed. No task overdue, AirJelly, 2026.04
Paper/Blog Link My Issue
#Article #NLP #GenerativeAI #Blog #Initial Impression Notes #WorkspaceAgents Issue Date: 2026-04-25 Comment
元ポスト:
またしてもcowork/workspace agentに見える。クラゲちゃんがかわいい。windowsに昔いたイルカちゃんの進化系だなとふと思った。
Why cowork when you can delegate?, Yutori, 2026.04
Paper/Blog Link My Issue
#Article #NLP #GenerativeAI #WorkspaceAgents Issue Date: 2026-04-25 Comment
また新たなcowork/workspace agentが登場。果たしてどれが生き残るか
claude-code-best-practice, shanraisshan
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Repository #Coding #SoftwareEngineering #read-later #Selected Papers/Blogs Issue Date: 2026-04-25 Comment
元ポスト:
ワークスペースエージェントでチームを拡張, OpenAI, 2026.04
Paper/Blog Link My Issue
#Article #NLP #ChatGPT #GenerativeAI #Blog #Author Thread-Post #WorkspaceAgents Issue Date: 2026-04-25 Comment
元ポスト:
関連:
- OpenClaw — Personal AI Assistant, openclaw, 2026.03
- 🍫 Local Cocoa: Your Personal AI Assistant, Fully Local 💻, synvo-ai, 2026.01
- Cowork: Claude Code for the rest of your work, Anthropic, 2026.01
Latest Agentic AI Trends to Watch in 2026: Market Shifts, Adoption Patterns, and What Comes Next, Daya Shankar, 2026.04
Paper/Blog Link My Issue
#Article #Survey #NLP #Infrastructure #Blog #read-later Issue Date: 2026-04-25 Comment
元ポスト:
Anthropic Just Dropped the Biggest Subagent Upgrade Yet, Ray Amjad, YouTube, 2026.04
Paper/Blog Link My Issue
#Article #NLP #Video #ContextEngineering #One-Line Notes Issue Date: 2026-04-24 Comment
元ポスト:
サブエージェントを構築する際に、メインエージェントの過去のcontextを全て継承することが可能な方式が実装されたようで(従来はcontextをメインとサブが共有しない方法が主流)、サブエージェントはメインエージェントのcontextを全て使いresultを得て、resultのみをメインエージェントに返すような挙動が実現可能。
Xiaomi MiMo-V2.5-Pro: A leap in agentic and long horizon coherence, Xiaomi, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #MultiModal #Blog #Coding #OpenWeight #Selected Papers/Blogs #UMM #Reference Collection #Initial Impression Notes #Author Thread-Post Issue Date: 2026-04-23 Comment
元ポスト:
いずれモデルをオープンにするとのこと
Artificial Analysisによる評価:
オープンになった:
https://huggingface.co/collections/XiaomiMiMo/mimo-v25
元ポスト:
GDPValやSWE-Bench-ProがGemini-3.1-Proよりも高い。
MIT Licenceかつnative multimodal
所見:
解説:
Qwen3.6-27B: Flagship-Level Coding in a 27B Dense Model, Qwen Team, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Coding #OpenWeight #SoftwareEngineering #One-Line Notes #Author Thread-Post Issue Date: 2026-04-23 Comment
HF: https://huggingface.co/Qwen/Qwen3.6-27B
元ポスト:
Qwen3.5-397B-A17Bを主要なcodingベンチマークで上回り、同等程度の規模感のdenseモデルを上回る。
Deep Research Max: a step change for autonomous research agents, Google, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #DeepResearch #Author Thread-Post Issue Date: 2026-04-22 Comment
元ポスト:
Gemini APIからの使い方:
inclusionAI: Ling-2.6-flash (free), OpenRouter (InclusionAI), 2026.04
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #OpenWeight #MoE(Mixture-of-Experts) #Reference Collection #Initial Impression Notes #Author Thread-Post Issue Date: 2026-04-22 Comment
元ポスト:
Lingの最新モデル。元ポストに強みが簡潔に書かれている。OpenRouterで1週間freeで利用可能で、今後商用モデルのLingDTのリリースも控えているとこと。
また、将来的に本モデルはオープンになる予定とのこと。
Artificial Analysisによる評価:
オープンになった:
HF: https://huggingface.co/inclusionAI/Ling-2.6-flash
ML Intern, HuggingFace, 2026.04
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #AutoML #ScientificDiscovery #read-later #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-04-21 Comment
元ポスト:
自動で研究が可能なエコシステムがどんどん構築されていく
関連:
take-homeをend-to-endで解けるくらい優秀とのこと。
Kimi K2.6: Advancing Open-Source Coding, Kimi, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight #Selected Papers/Blogs #KeyPoint Notes #Reference Collection Issue Date: 2026-04-21 Comment
ブログ中ではまずはAgenticな能力の評価が掲載されており、スコアとしてはOpus 4.6と同等程度の水準に達している。
Kimi-K2.5と同様Agent Swarmを採用している。
- [Paper Note] Kimi K2.5: Visual Agentic Intelligence, Kimi Team+, arXiv'26, 2026.02
推論・知識に関するベンチマーク(AIME, HMMT, GPQA-Diamond)などについては、Opus4.6と比較してスコアが高いのはIMO-AnswerBenchと呼ばれるものだけであり、他は同等かスコアが低くなっている。Vision系のベンチマークでは、全体的にOpus4.6よりもスコアが高い。ただし、Gemini-3.1-Pro, GPT-5.4の方がKimi K2.6よりもスコアが全体として高い。
他にも5日間にわたる監視システムのようなプロアクティブなエージェントとしても活用でき、独自ベンチマークのKimiClawBenchと呼ばれるものでK2.5を上回った旨が記述されているが、詳細不明。
元ポスト:
HF: https://huggingface.co/moonshotai/Kimi-K2.6
その他ベンチマーク情報:
プロンプトの再現性をAI に自動チューニングさせる方法 ~ 暗黙知を排除する, mizchi, 2026.04
Paper/Blog Link My Issue
#Article #NLP #Prompting #Blog #SoftwareEngineering Issue Date: 2026-04-20 Comment
元ポスト:
Designing synthetic datasets for the real world: Mechanism design and reasoning from first principles, Google, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #SyntheticData #Distillation #read-later #Selected Papers/Blogs #One-Line Notes #Reference Collection #Critic #Reading Reflections #Human-in-the-Loop #Author Thread-Post Issue Date: 2026-04-19 Comment
元ポスト:
公式:
解説:
(詳細は解説や元ブログ参照のこと)
強い教師モデルから弱い生徒モデルを学習する場合の合成データ生成手法で、
生成したいデータの観点(内容、形式等)を分類し、どの観点からどの程度の難易度のデータを合成するかを制御する。その後生成されたデータが正しいか/正しくないかの2方向から批評を行いvalidationをするような枠組みのようである。
単純なデータ合成では性能がすぐに頭打ちになるが、ローカル多様性(特定のパターンの多様性)、グローバル多様性(データ全体がカバーするパターンの範囲)の2つを同時に大きくしないと不十分であることや、批判によるvalidationは少なくとも性能を悪化させることはないことも示されたとのこと。
nanomem: An Extremely Simple, Inference-Time Memory Module, The Open Anonymity Project, 2026.04
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #Personalization #SoftwareEngineering #Selected Papers/Blogs #Privacy #memory #One-Line Notes Issue Date: 2026-04-19 Comment
github: https://github.com/OpenAnonymity/nanomem
元ポスト:
マークダウン形式でメモリを管理するシンプルな実装で、シンプルながらもさまざまな利点を持つとのこと:
- マークダウンで管理されているためメモリ情報をディレクトリ分けするだけで簡単に分離できる
- ただのテキストファイルなので可用性が高く、ユーザ自身が保持できる
- テキストファイルなのでなので、解釈ができ、ユーザ自身が編集できる
- 前方互換性があり、モデルが賢くなっても同じ方法でメモリを読み込め、モデルの性能が上がるとメモリ自身の性能(スピード、品質)も向上する
- モジュール化が可能で、取り込み、検索、圧縮などを個別に最適化できる
Act I:
- Unlinkable Inference as a User Privacy Architecture, The Open Anonymity Project, 2026.02
8 Tips for Writing Agent Skills, Philipp Schmid, 2026.04
Paper/Blog Link My Issue
#Article #NLP #read-later #AgentSkills #Author Thread-Post Issue Date: 2026-04-17
FrontierSWE: Benchmarking coding agents at the limits of human abilities, FrontierSWE, 2026.04
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #Evaluation #SoftwareEngineering #One-Line Notes #LongHorizon #Author Thread-Post Issue Date: 2026-04-17 Comment
元ポスト:
WAN2.1の推論パイプライン構築、llmのpost-trainingをしてlogic gameができるように学習させる、など、long horizonかつ非常に現実的なタスクで評価される
v2がリリース:
FrontierSWE v2:
https://www.frontierswe.com/blog/v2
Qwen3.6-35B-A3B: Agentic Coding Power, Now Open to All, QwenTeam, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #MultiModal #OpenWeight #MoE(Mixture-of-Experts) #Selected Papers/Blogs #Sparse #Initial Impression Notes #Author Thread-Post Issue Date: 2026-04-16 Comment
HF: https://huggingface.co/Qwen/Qwen3.6-35B-A3B
元ポスト:
ざっと見た感じ明言されていない気がするが、プロプライエタリとなったQwen3.6-Plusの廉価版(オープンなので廉価と言うのかはあれだが)だと思われる。
マルチエージェントシステムでGPUカーネルを38%高速化, Cursor, 2026.04
Paper/Blog Link My Issue
#Article #Multi #NLP #LanguageModel #Coding #SoftwareEngineering #GPUKernel #Author Thread-Post #AgentHarness Issue Date: 2026-04-15 Comment
元ポスト:
自律的に長期間稼働し235件の問題を1回の実行で解くマルチエージェントハーネスに関するレポートで、3週間程度でBlackwell GPUカーネルをゼロから構築・最適化し38%高速化とのこと。
Evaluating agents for scientific discovery, Ai2, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Blog #ScientificDiscovery #Science #Surface-level Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-04-14 Comment
元ポスト:
scientific discoveryを実現するエージェントに関して、research paperで主張される素晴らしさと、実態のgapを埋めるためにAi2が実施してきたベンチマークに関する研究についての解説。
- [Paper Note] ScienceWorld: Is your Agent Smarter than a 5th Grader?, Ruoyao Wang+, EMNLP'22, 2022.03
- 小学校レベルの理科の実験をエージェントが実行できるかを評価するベンチマーク
- 教科書に載っているような古典的なdiscoveryを再現させる
- 200種類以上にものぼるオブジェクトが配置された、物理法則に従う(e.g., 氷が加熱すると溶けるなど)シミュレーション世界において、水の沸点を選択肢から正解を選ぶのではなく、自身で発見することを求められる。
- 2022年、Multiple Choice Questionのschool science examでハイスコアを記録したモデルはスコアは10%未満、2025年にはスコアは80%代に到達したが、まだ完全にこなふことができない。
- [Paper Note] DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents, Peter Jansen+, NeurIPS'24 Spotlight, 2024.06
- 独自の科学的な調査をスクラッチから設計実行させるベンチマーク
- 大学、あるいはPhDレベルのopen-endなdiscoveryに関する能力を問う
- 宇宙の惑星Xでの最初の科学者として調査を実施する設定で8トピックにわたる120のタスクをこなす必要がある
- 難易度は3段階に分かれていて、タスクは架空のcontextで実施されるため事前知識に頼ることができない中でタスクを解決し、正しいプロセスで実施されたかや、理解をしているかなどの能力も問われる。
- 現在のエージェントは、normal/challengingな難易度のタスク群について、80%の完了率を達成できない
- 双方のベンチマークともに、知識と実務力を分離した上で能力を測定するものとなっており、知識を答えるだけの見かけ上の能力ではなく、スクラッチから知識に基づいてエビデンスを積み上げ、実行し、タスクを遂行し科学的な発見をできるか、という実務力を問うている
という話。
この話は
- Andrej Karpathy — AGI is still a decade away, DWARKESH PATEL, 2025.10
において議論されている「認知コア」と関連が深いと感じる。
認知コアとは、単なる記憶に頼るのではなく、事前学習において、いわゆる人間のような知性を(データ内に潜むアルゴリズム的なパターンを学習することで)獲得し、その結果としてIn context Learningのような能力を発達させることとされ、
既に獲得された知識がモデルの認知コアの発達を阻害し、未知の環境でも適応できるような汎化能力を獲得することを阻害している(=モデルは既存の知識と紐づけて簡単に回答できてしまうため、アルゴリズムに基づいた思考と行動を備える必要がなく学習が進み、結果的に汎用的な能力が身につかない)恐れがある、という話である。
上記ベンチマーク(特にDiscoveryWorld)は既存の世界知識に捉われない、アルゴリズム的な思考と行動が求められると推察されるため、モデルの認知コア的な側面を部分的に測定していると言えると感じる。
MMX The official CLI for the MiniMax AI Platform: Built for AI agents. Generate text, images, video, speech, and music — from any agent or terminal., MiniMax-AI, 2026.04
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #Repository #Omni #Initial Impression Notes #AgentHarness Issue Date: 2026-04-11 Comment
元ポスト:
MiniMax AIのAPIを用いて、omni-modalなタスクを実行できるCLIツールのようである。
The advisor strategy: Give agents an intelligence boost Pair Opus as an advisor with Sonnet or Haiku as an executor, and get near Opus-level intelligence in your agents at a fraction of the cost., Anthropic, 2026.04
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Blog #One-Line Notes #Reading Reflections Issue Date: 2026-04-11 Comment
元ポスト:
Strong Modelをツールとして登録(Advisor)しておき、意思決定が困難になった場合はstrong modelにレビュー依頼をしてcontextを受け取り実行可能な枠組み。
Sonnetで12パーセント程度省コストで、SWE Bench Multilingual のスコアを2.7%向上、とのこと。
SWE Benchの結果は、Claute Opus 4.6をAdvisorとして利用した旨が脚注に書かれている。
下記システムカードによると、Opus 4.6 の SWE Bench Multilingualのスコアは77.83程度(細かい設定は追えていない)、元ポストのSonnet+Advisorのスコアは74.8%なので、near Opusな性能が出るとポストに記載されているが、そのくらいのgapがあるという点には注意が必要。
https://www-cdn.anthropic.com/6a5fa276ac68b9aeb0c8b6af5fa36326e0e166dd.pdf
Taking the Pulse of Agentic AI from the Developer Community at the End of Q1 2026, InclusionAI, 2026.04
Paper/Blog Link My Issue
#Article #Survey #Tools #NLP #LanguageModel #Library #GenerativeAI #Repository #read-later Issue Date: 2026-04-11 Comment
元ポスト:
The OpenHands Vulnerability Fixer: Automated Security Remediation with AI Agents, Graham Neubig, 2026.03
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #SoftwareEngineering #read-later #Security Issue Date: 2026-04-11 Comment
元ポスト:
ハーネスエンジニアリングのすすめ: 27BモデルでSWE-bench VerifiedのSLM SOTAを達成 (TTS@8=74.8%), Fujitsu Tech Blog, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Test-Time Scaling #SoftwareEngineering #One-Line Notes Issue Date: 2026-04-11 Comment
元ポスト:
Best-of-8 SamplingでSWE Benchのスコアを改善する話
Project Glasswing Securing critical software for the AI era, Anthropic, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Safety #Selected Papers/Blogs #One-Line Notes #Reference Collection #Safeguard #Reading Reflections Issue Date: 2026-04-08 Comment
元ポスト:
Claude Mythos Previewが、ソフトウェアの脆弱性を見つける能力において、トップクラスの人間を除けば、あらゆる人間以上の能力を獲得してしまっており、これがサイバーセキュリティの概念を根本的に変化させてしまう危険がある。
実際、同モデルは数千にも及ぶ深刻な脆弱性を発見しており、それはOSやブラウザにも及び、これが経済や国家安全保障などに影響を及ぼすため、緊急のproject Glasswingを立ち上げており、まずは今回挙げたパートナーにClaude Mythos Previewにアクセス可能な無料のクレジットを与え、セキュリティに関する脆弱性を改善することで、セーフガードを確立し、その結果得られた知見をAnthropicがまとめて公表する、そしてその後パートナーはさらに拡大していく、という感じらしい。
しかし最近中国のOpenWeightモデルは、2ヶ月程度で米国のFrontier Modelに追いつく。では2ヶ月あとに中国系のOpenWeightモデルがClaude Mythos Previewの性能に追いついてOpenWeightとして公開された場合、世界はどうなってしまうのだろうか?
また、現在は以下の企業と連携してセーフガードを構築するようだが、これらグローバル企業以外の日本の企業はどうなるのだろうか?今後40以上の組織とも連携するようにする予定とのことだが、日本の社会を支えている企業群と連携するのはいつなのか?
所見:
所見:
しかしこれ、Claude Mythos Previewによって初めてこのようなことが起きたかのように書かれているけど、既知の脆弱性を見つけて悪用するというのは、既に公開されているOpenWeightモデルや、プロプライエタリモデルでも十分可能なのでは?
なぜいまさらこのようなことを言い始めたのだろうか。
所見:
GPT-5.4でも15年前のLinux Kernelの深刻なバグを見つけたよ、という話:
Update:
https://www.anthropic.com/research/glasswing-initial-update
元ポスト:
System Card: Claude Mythos Preview, Anthropic, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #Selected Papers/Blogs #VisionLanguageModel #One-Line Notes #Reference Collection Issue Date: 2026-04-08 Comment
Mythos Previewは一般公開する予定はなく、まずは安全性を高めることに注力するとのこと。
元ポスト:
- Project Glasswing Securing critical software for the AI era, Anthropic, 2026.04
も参照のこと。要はソフトウェアの脆弱性を見つけて悪用する能力が高すぎて、このまま公開するとサイバーセキュリティが終わるので、まずは未然にセーフガードを構築するために公開は控えるということである。
所見:
所見:
GLM-5.1: Towards Long-Horizon Tasks, Z.ai, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight #Selected Papers/Blogs #Reference Collection Issue Date: 2026-04-07 Comment
元ポスト:
SWE Bench ProでSoTA...?!
HF: https://huggingface.co/zai-org/GLM-5.1
Artificial Analysis:
アーキテクチャ解説:
DeepSeekV3.2 likeなアーキテクチャで、MLA, DeepSeek Sparse Attentionを採用。Layer数がDeepSeekV3.2より多いとのこと。
Components of A Coding Agent: How coding agents use tools, memory, and repo context to make LLMs work better in practice, Sebastian Raschka, 2026.04
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #Coding #SoftwareEngineering #read-later #Selected Papers/Blogs #Initial Impression Notes #AgentHarness Issue Date: 2026-04-05 Comment
LLM, Reasoning Model, Agent, Agent Harness, coding harnessなどの定義とその役割やスコープ、そしてそれらを構成するためのminimalなコンポーネントについて説明されており、基礎的な理解に役立ちそう。
元ポスト:
AutoAgent: first open source library for self-optimizing agents, Kevin Gu, 2026.04
Paper/Blog Link My Issue
#Article #NLP #Repository #Selected Papers/Blogs #One-Line Notes #AgentHarness Issue Date: 2026-04-04 Comment
github: https://github.com/kevinrgu/autoagent
Automatic Prompt EngineeringやAutoAgentと同様に、何らかの実施したいタスクのtest suiteがあり、performance metricを取得する前提で、Agnet Harnessを自動的にチューニングするという話のようである。
test dataが十分にある場合は非常に強力だと思われるが、test dataが少量、あるいはない場合では適用は難しい可能性がある。そのような場合はRubric-as-a-Reward+Strong LLMのような方法がtest suiteの代替になるかもしれないが、どこまでうまくいくだろうか。
Gemma 4: Byte for byte, the most capable open models, Google, 2026.04
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #MultiModal #SpeechProcessing #Reasoning #OpenWeight #MoE(Mixture-of-Experts) #Selected Papers/Blogs #VisionLanguageModel #2D (Image) #3D (Video) #One-Line Notes #Reference Collection #AudioLanguageModel #audio #text #Initial Impression Notes Issue Date: 2026-04-02 Comment
元ポスト:
2B, 4B, 26BのMoEモデルと31BのDenseモデルの4種類のモデルファミリーで、マルチモーダル(vision)対応。2B, 4Bはaudioも入力として扱える。
edgeデバイス向けのモデルは128k, 他は256kのコンテキストウィンドウ。140+の多言語サポート。
Apache 2.0ライセンス
arenaで同サイズのモデル群でSoTAといった話がブログ中に記述されている。
モデルカードには一般的なベンチマーク群とのスコアも記載されている。
https://ai.google.dev/gemma/docs/core/model_card_4?hl=ja
(そもそも既存のベンチマークにもコンタミネーションがあると思われるが、)arenaに関しては特定の企業に対してデータを提供し、複数のモデルの亜種をテストできるという慣行があり、リーダーボードにバイアスがあるであろう点には注意:
- [Paper Note] The Leaderboard Illusion, Shivalika Singh+, NeurIPS'25
artificial analysisによる評価:
Qwenがproprietaryになったことから、ライセンス的に使いやすく、日本語に強そうなモデルとしては筆頭ではなかろうか。日本語性能が気になる。
アーキテクチャ解説:
ポイント解説:
所見:
attentionのscaleをsqrt(d)でスケールさせる代わりに、QK-norm, V normを適用するなど。
NvidiaによるNVFP4へのpost-trainingによる量子化:
https://huggingface.co/nvidia/Gemma-4-31B-IT-NVFP4
量子化後の性能も比較されており、知識、数学、コーディング、terminac useなど6種類のベンチマークでオリジナルのモデルと遜色ない性能が出ている旨記載されている。
解説:
https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-gemma-4
所見(encoder-freeにした裏側でパッチ化→projection + x/y軸のpositional embeddingを実施している話):
Holo3: Breaking the Computer Use Frontier, H Company, 2026.03
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #MultiModal #OpenWeight #MoE(Mixture-of-Experts) #ComputerUse #read-later #VisionLanguageModel #One-Line Notes #GUI #Environment Issue Date: 2026-04-02 Comment
元ポスト:
HF: https://huggingface.co/Hcompany/Holo3-35B-A3B
関連:
- Holo2: Cost-Efficient Models for Cross-Platform Computer-Use Agents, H Company, 2025.11
Qwen3.5をファインチューニングすることで実現。以前のシリーズもQwenベースだったが、新たなQwenのリリースに伴いより強力なベースモデルを得て、かつシナリオをベースにして自動でwebsiteを構築しverifiableが可能な独自のEnvironmentを保持しており、多様な合成データの活用とRLを実現することで、性能が向上していると思われる。
Trinity-Large-Thinking: Scaling an Open Source Frontier Agent, Arcee, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Reasoning #OpenWeight #MoE(Mixture-of-Experts) #read-later #Selected Papers/Blogs Issue Date: 2026-04-02 Comment
元ポスト:
HF: https://huggingface.co/collections/arcee-ai/trinity-large-thinking
Qwen3.6-Plus: Towards Real World Agents, Qwen Team, 2026.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-04-02 Comment
元ポスト:
Opus 4.6相当のベンチマークスコアがありそうだが、プロプライエタリモデル化
How Kimi, Cursor, and Chroma Train Agentic Models with RL, PHILSCHMID, 2026.03
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #Blog #read-later #reading #LongHorizon Issue Date: 2026-03-29
ソフトウェア開発エージェント 初歩から上級, Graham Neubig, 2026.03
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Coding #SoftwareEngineering #read-later Issue Date: 2026-03-26 Comment
全体をざっくり概観してイメージをつかむのに良さそう。詳細を知りたい場合はリンク先を見ると良さげ。
(スライド最後の強化学習における「3」のスケーリングってなんだろう...?)
元ポスト:
