NLP (4445) — 16/23
Learnings from Auditing Public Evaluations, PRIME Intellect, 2026.11
Paper/Blog Link My Issue
#Article #LanguageModel #Evaluation #One-Line Notes #Author Thread-Post Issue Date: 2026-11-07 Comment
元ポスト:
- AutomationBenchにおいて、ツールに対するリクエストをJSONに従うように変更した場合性能が大きく変化
- OfficeQA Pro v2と呼ばれるベンチマークで、正誤判定が正規表現だったものをJudgeに変更した場合ランキングが大きく変化
- Web検索を許容する場合、モデルが正解を探しに行く報酬ハッキング的な行動が生じる。かといって、ブロックしきるのも限界があり、モデルが既存の監視をすり抜ける方法を見出す。
ベンチマークスコアを過信してはいけないという話
Paper Highlights of October 2026, JOHANNES GASTEIGER, 2026.11
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #Safety #Author Thread-Post Issue Date: 2026-11-07 Comment
元ポスト:
StateBench: Testing how language models track state changes over long documents, Ai2, 2026.11
Paper/Blog Link My Issue
#Article #Dataset #LanguageModel #Evaluation #Author Thread-Post Issue Date: 2026-11-07 Comment
data:
https://huggingface.co/datasets/allenai/state-bench
github:
https://github.com/allenai/state-bench
The Ultimate MoE Training Handbook: How to train a Mixture-of-Experts model at scale, setting by setting, with the runs that back each choice, HuggingFace, 2026.11
Paper/Blog Link My Issue
#Article #Pretraining #LanguageModel #MoE(Mixture-of-Experts) #SoftwareEngineering #read-later #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-11-07 Comment
元ポスト:
大規模な計算機クラスタでのMoEの学習に特化したハンドブックで、相変わらず素晴らしいハンドブックっぽく見える(小並感)。最初のinteractiveなfigureから、学習の際に検知すべきsignalを一望でき、関連セクションにジャンプできる。実装のコードも付与され、図解つきでわかりやすく解説されてそうに見える。なによりボリュームがすごい。
ハードウェアのテスト
イメージの構築
トークナイズ
Denseモデルベースラインの学習
単一ノードでのMoEモデル学習(おかしな点に気付けるように)
メガトロンのコードと推奨事項、注意点、オプション指定など
ルータのスコアの扱い
RoutingとEngramの関係
エキスパートのbalancing
expertは全てのトークンを観測できる必要があるか
RouterとOptimiser
損失が良好に見えても問題が生じるか
4ビットで大規模なMoEを学習できるか
MoEモデルのサービング
著者ポスト2:
Hyperkernel, Hyperstitioncc, 2026.11
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #GPUKernel #Author Thread-Post #Megakernels Issue Date: 2026-11-06 Comment
元ポスト:
Introducing Ripple-65B Preview, a Frontier Open-Weight Model, RICURSIVE INTELLIGENCE, 2026.11
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #OpenWeight Issue Date: 2026-11-06 Comment
HF: https://huggingface.co/ricursiveAI/Ripple-65B-Preview
元ポスト:
所見:
関連:
- [Paper Note] Value Residual Learning, Zhanchao Zhou+, ACL'25
[Paper Note] REINFORCE Zero: Kernel Alignment Unlocks Stable Asynchronous RL with Importance Sampling, Hu+, 2026.11
Paper/Blog Link My Issue
#Article #LanguageModel #ReinforcementLearning #PostTraining #train-inference-mismatch #Asynchronous #Author Thread-Post Issue Date: 2026-11-06 Comment
元ポスト:
所見:
Hearness Leaderboard, joelniklaus, 2026.11
Paper/Blog Link My Issue
#Article #AIAgents #Blog #One-Line Notes #Author Thread-Post #AgentHarness Issue Date: 2026-11-06 Comment
元ポスト:
一時期claude codeはコンテキストを多く食ってしまい、Codexの方が優れているという風潮があったが、leaderboard上では現在はそうでもないようである。
Introducing Inkling 2 Small, THINKING MACHINES, 2026.11
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #AIAgents #Blog #OpenWeight #read-later #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2026-11-06 Comment
元ポスト:
所見:
MOPDは利用されていないらしい
model weightは近いうちに公開とのこと
所見:
所見:
所見:
事前学習の計算量がDeepSeek V4.1 Flash 1017に対して、およそ40%程度。
重みが公開:
https://huggingface.co/thinkingmachines/Inkling-2-Small
アーキテクチャ解説
アーキテクチャ図:
Linear Attention無し(SWA+GQA)でAttentionResidualsを利用している。
The shelf life of LLM findings, Owen Queen and James Zou, 2026.11
Paper/Blog Link My Issue
#Article #Analysis #LanguageModel #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2026-11-05 Comment
元ポスト:
著者ポスト:
LLMの性質に関して広く引用された50の知見(課題)について、2024年7月--2026年9月の間にリリースされた20のモデルで追試したところ、知見がもはや適用できないと判定されたものの中で、失効するまでの期間を測ったところ、(いわゆる賞味期限)まで、平均約15.7ヶ月であった、というような話とそれら周辺の話題(逆に強化される知見もあるなど)に関連する様々な考察のようである。これは興味深い。
たとえば、既に失効した知見としては、文字数カウント、異なる進数での演算、引用のhallucination、long context中の事実情報の同定、指摘を受けると正しい回答を撤回する現象などが挙げられている。
他にも弱まったが依然存在する課題(weakened)や、依然として存在する、あるいは強化された課題(Persists or strengthened)についても分析されている。
以前として残っている、あるいは強まった課題は、ユーザにお世辞を言ったり同意したりする、自分自身の応答を好む傾向、自由記述のプロンプトに関してほぼ同様の内容の出力する、リベラル思想、本来拒否すべき質問に応答する、などがあるようである。
(本研究の主題ではないが)おそらく過去の研究と同じ設定で実験をしていて、本研究においてはそうあるべきと思うが、ものによってはその課題を改善するための手法も多く提案されているように感じる。たとえば、自由記述のpromptに対してほぼ同等の応答を返す問題などについては、いくつかの解決策が提案されている:
- [Paper Note] Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity, Jiayi Zhang+, ICML'26 2025.10
- [Paper Note] Gacha Decoding: Eliciting Diverse Generations Through Instruction Following, Scott Geng+, arXiv'26, 2026.10
- [Paper Note] String Seed of Thought: Prompting LLMs for Distribution-Faithful and Diverse Generation, Kou Misaki+, ICLR'26, 2025.10
こういったものまで含めたら、分析結果の分布はどの程度変化するのだろうか。
Speculation on an Architecture for Continual Learning, snimu's blog, 2026.11
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #MultiModal #Blog #Architecture #VisionLanguageModel #Robotics #WorldModels #ContinualLearning #WorldActionModel Issue Date: 2026-11-05 Comment
元ポスト:
Continual Learning, Online and Offline, snimu's blog, 2026.11
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #ContinualLearning Issue Date: 2026-11-05 Comment
元ポスト:
GPU-accelerated Weight Teleportation: Lossless GPU Compression for Instant RL Weight Sync, humans&, 2026.11
Paper/Blog Link My Issue
#Article #LanguageModel #ReinforcementLearning #Blog #SoftwareEngineering #PostTraining #Compression #Initial Impression Notes Issue Date: 2026-11-05 Comment
元ポスト:
RLにおける学習側と推論側の重みの同期におけるボトルネックを高速化しボトルネックを緩和する話
[Paper Note] Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights, Takehi+, 2026.11
Paper/Blog Link My Issue
#Article #LanguageModel #read-later #Selected Papers/Blogs #Reference Collection #Author Thread-Post Issue Date: 2026-11-03 Comment
元ポスト:
最近のフロンティアモデルでしかこの能力は発現しない:
所見:
所見:
解説:
GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains, SemiAnalysis, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Evaluation #Blog #Author Thread-Post Issue Date: 2026-11-02 Comment
元ポスト:
Introducing &Tutor Training better tutors with better learners, humans&, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Education #AIAgents #Proprietary #Author Thread-Post #Tutor Issue Date: 2026-11-01 Comment
元ポスト:
A world that learns as it goes, OpenWorld, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #AIAgents #GenerativeAI #Game #Author Thread-Post Issue Date: 2026-11-01 Comment
元ポスト:
OR-decision-4B, alphaXiv, 2026.10
Paper/Blog Link My Issue
#Article #OpenWeight #Initial Impression Notes #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-11-01 Comment
元ポスト:
ぱっと見latencyの記載がないように見える。性能もJevと同等、だとインパクトとしては弱いと感じてしまう。すでに多くのモデルがJevより高い性能、かつlatencyも早い状況にある。
フロンティアモデルのミスアライメントを検知する仕組み, OpenAI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #ReinforcementLearning #AIAgents #Blog #Proprietary #Probing #Monitorability #ToolUse #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
公式:
Want to learn about scaling laws? Start with these papers and resources, Yuwei Niu, 2026.10
Paper/Blog Link My Issue
#Article #Survey #Pretraining #LanguageModel #Post #MoE(Mixture-of-Experts) #Scaling Laws Issue Date: 2026-10-31
[Paper Note] NyoomFloat12: Accelerating LLM Inference via Lossless 12-Bit Weight Compression, Liberman+, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Quantization #Initial Impression Notes Issue Date: 2026-10-31 Comment
元ポスト:
losslessは嬉しい(小並感)
Pika-H3-Flex, Pika-Labs, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #SpeechProcessing #OpenWeight #VideoGeneration/Understandings #3D (Video) #audio #TextToVideoGeneration Issue Date: 2026-10-31 Comment
github:
https://github.com/Pika-Labs/Pika-H3-Flex
diffusers:
https://huggingface.co/docs/diffusers/main/en/api/pipelines/pika_h3_flex
元ポスト:
The Economics of Intelligence: How and when does AGI lead to economic transformation?, DeepMind Institute, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #read-later #Selected Papers/Blogs #Coordination #Economics Issue Date: 2026-10-31 Comment
元ポスト:
OpenTTD-Bench, Sophia Xu, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #Evaluation #VisionLanguageModel #Game #LongHorizon #Realtime #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
SWE-bench Multimodal v2 is not multimodal, sankalp's blog, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Evaluation #MultiModal #Blog #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
Introducing SwarmChat: Open-Source Slack for Your AI Agent Swarm, SmarmChat, 2026.10
Paper/Blog Link My Issue
#Article #Tools #LanguageModel #AIAgents #Blog #Conversation #Selected Papers/Blogs #reading #Initial Impression Notes #Author Thread-Post #Coordination Issue Date: 2026-10-31 Comment
元ポスト:
エージェントスウォーム向けのオープンソースSlack(頭に浮かんだことをメモったけどタイトルのままだった...
関連:
- [Paper Note] Agensh: Scaling Organizational Intelligence to 1,024 Agents, Zhihao Zhan+, arXiv'26, 2026.09
- [Paper Note] Scaling Discovery through Test-Time Communication, Jongho Park+, arXiv'26, 2026.09
- [Paper Note] Self-Organizing Agent Teams Learn to Reason Together, Aneesh Pappu+, arXiv'26, 2026.09
neural-pairing, Sauers, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #read-later #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
異なるモデルファミリーのモデル間の隠れ状態を通信可能にする試みのようである
Deep Learning Speedrun, Sasha Rush, 2026.10
Paper/Blog Link My Issue
#Article #NeuralNetwork #MachineLearning #Blog #Mathematics #MinimalCode Issue Date: 2026-10-31 Comment
元ポスト:
From Tokens to Bytes I: Scaling Hierarchical Networks, CARTESIA, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #read-later #Selected Papers/Blogs #Byte-level #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
あまりにもすごい結果に見えるが、どうなっているのか
所見:
ポイント解説:
N-gram hinted language modeling, HERMAN BRUNBORG, 2026.10
Paper/Blog Link My Issue
#Article #Pretraining #LanguageModel #Selected Papers/Blogs #reading #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
NanoGPT Speedrunのパフォーマンスを83.2%も改善。とうとう10秒を切り6.7秒に
Gemini 4 Carbon: our next frontier model, Google, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #Blog #Selected Papers/Blogs #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
こーれは強い。come backした
関係者ポスト2:
AA Indexでトップ:
Introducing HLE-Diamond, Center for AI Safety and Scale AI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #Dataset #LanguageModel #Evaluation #Blog #VisionLanguageModel #One-Line Notes #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
HLEを1年かけて洗練、cleaningした1000問のサブセットとのこと
関連:
- [Paper Note] Humanity's Last Exam, Long Phan+, arXiv'25, 2025.01
AA Index v5に組み込まれている:
NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt, NVIDIA, 2026.10
Paper/Blog Link My Issue
#Article #SpeechProcessing #Blog #MultiLingual #OpenWeight #AutomaticSpeechRecognition(ASR) #Author Thread-Post #SpeakerDiarization Issue Date: 2026-10-30 Comment
HF: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
元ポスト:
所見:
Qwenputer: a fully functioning, deterministic RISC-V CPU inside Qwen3.5, DIVYANSH AGRAWAL, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #SoftwareEngineering #reading #One-Line Notes Issue Date: 2026-10-30 Comment
元ポスト:
GDN2のα, βを1(すなわち、忘却しない、完全に書き込みする)、かつKey k_tをone-hot(特定の次元のみを更新)にすると、GDNをメモリとして扱うことができるため(情報は状態の次元ごとに管理され、k_tで指定された次元以外の値は保持され、k_tの次元のみの値が完全に上書きされる)、あとは値の読み出しをするattentionと演算ができるFFNを追加(学習ではなくCPUの挙動を再現できるように設定)すれば、モデル内部に論理的にCPUを搭載したモデルができあがるよ、という話のようである
MarkdownからきれいなPDFを作るCLIツールpfpdfを公開しました, PFN, 2026.10
Paper/Blog Link My Issue
#Article #Tools #Blog #Japanese #One-Line Notes #Author Thread-Post Issue Date: 2026-10-30 Comment
github: https://github.com/pfnet-research/pfpdf
元ポスト:
マークダウンでテキストを管理し、ワンライナーでPDF出力できるCLIツールで、環境によって日本語フォントの有無などによってレンダリング結果が変化するため、このような環境起因の影響を極力減らすためにオープンで再配布可能なライセンスのフォントをあらかじめ同梱し、OSに標準インストールされているフォント非依存としているとのこと。
現代AI入門: 大規模言語モデルから思考するシステムへ — Test-Time Scaling, Loop, Harness, RSI, Masafumi Oyamada, 2026.10
Paper/Blog Link My Issue
#Article #Tutorial #ComputerVision #LanguageModel #SelfImprovement #Slide #Test-Time Scaling #Scaling Laws #ComputerUse #Selected Papers/Blogs #VisionLanguageModel #Overthinking #RecurrentModels #autoresearch/RSI #Author Thread-Post #AgentHarness Issue Date: 2026-10-28 Comment
元ポスト:
なんと楽しそうな資料🤩
Lean Verified Tokenizers, Sasha Rush, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #ReinforcementLearning #Blog #Tokenizer #PostTraining #Selected Papers/Blogs #reading #Proofs #train-inference-mismatch #Initial Impression Notes #needs-revision #Author Thread-Post #AgentHarness Issue Date: 2026-10-28 Comment
元ポスト:
これは非常に興味深いが、理解が追いつくのが大変そうだ。RLにおける推論-訓練間におけるトークンミスマッチの問題を、Leanによって本来あるべき様々なシステムでの不変条件(e.g., BPEのマージの順序, メッセージ追加時の過去のトークン列の不変性, (self-distilationなどでよくある)メッセージを過去に挿入してもトークン列が不変など)を、verifyされた実装の上で実行することによって解決できるかを模索するため、プロトタイプとなるミニマムなトークナイザを考えてみました、という感じの話に見える。
とりあえず、
- (推論側)サンプリングしたトークン列->デコード->エンコード(訓練側)によってトークンのミスマッチが起きることがあるし、
- 推論時のバイト列から、訓練時に過去メッセージのバイト列が変化した場合(thinkの削除やメッセージの挿入など)でもトークンのミスマッチが生じる
などは覚えておきたい。そしてまだゆるふわ理解なので、何回もこの辺のトピックを再訪する中で固めていきたい。
関連:
- From Tokens to Bytes I: Scaling Hierarchical Networks, CARTESIA, 2026.10
MiniCPM-OCR-Jev, OpenBMB, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #SmallModel #OpenWeight #OCR #One-Line Notes #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-10-28 Comment
元ポスト:
元ポスト:
region imageと候補テキストを与えたときに、候補テキストがOCR認識結果としてどれだけ正しそうかを[0, 1]で返すSystemOne Model
MiniCPM-OCR-1.0, OpenBMB, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #SmallModel #OpenWeight #OCR #Author Thread-Post Issue Date: 2026-10-28 Comment
元ポスト:
元ポスト:
Introducing LFM3: Every Modality for Specialized Intelligence, Liquid AI, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #Blog #SmallModel #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #Omni #AudioLanguageModel #SystemOneModel/DecisionModel Issue Date: 2026-10-28 Comment
HF: https://huggingface.co/collections/LiquidAI/lfm3
元ポスト:
Ling-3.1-flash-1019, inclusion AI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #OpenWeight Issue Date: 2026-10-28 Comment
元ポスト:
国産生成AI基盤モデルPLaMo PrimeにWeb検索・Deep Research搭載 調査計画の立案から出典付きレポートまで自律的に実行、オンプレミスにも対応, PFN, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #Proprietary #Japanese #read-later #Author Thread-Post Issue Date: 2026-10-28 Comment
元ポスト:
Introducing GPT-6.1-Terra, OpenAI, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #Blog #Proprietary #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-28 Comment
元ポスト:
Concerning behavior from a popular open-weight AI model, Cohere, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Alignment #AIAgents #Blog #Safety #Security #Author Thread-Post Issue Date: 2026-10-28 Comment
元ポスト:
所見:
所見:
Introducing Fern, Mirendil, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #LongContext #Proprietary #Author Thread-Post Issue Date: 2026-10-27 Comment
元ポスト:
context windowが10Mのproprietaryモデルとのこと
所見:
[Paper Note] HackBench: Detecting and Localizing Reward Hacking in Autoresearch Agents, Li+, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #RewardHacking #autoresearch/RSI #Author Thread-Post Issue Date: 2026-10-26 Comment
元ポスト:
Resin: Experimental library for building inference engines, ekzhang, 2026.10
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #Library #AIAgents #LLMServing #SoftwareEngineering #One-Line Notes #Reading Reflections #autoresearch/RSI #Author Thread-Post Issue Date: 2026-10-26 Comment
元ポスト:
autoresearchによって、特定のモデル、自身のハードウェアに特化したinference engineを構築できる実験的なライブラリで、たとえば12時間業させたところ、DeepSeek-4.1-flashやGLM-5.36-Flashに特化したSGLang, vLLMに匹敵する推論エンジンが構築できたとのこと。ただし本プロジェクトは実験的なものであり、現在のリポジトリの実装もproduction qualityな品質ではない点には注意とのことである。
定量的に指標を定義でき、かつ最適化によって達成できるものはautoresearchで攻略される時代
Building agents: When to fold subagents into your main agent loop, Claude, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #SoftwareEngineering #Initial Impression Notes Issue Date: 2026-10-26 Comment
元ポスト:
以下のような場合はサブエージェントを活用する価値があるが
- コンテキストの肥大化なよる性能劣化
- 並列、かつフレッシュなコンテキストで解く必要があるタスクの存在
- 適切なツール選択を単一エージェントが実施できない、あるいはシステムプロンプトに矛盾が含まれている
多くのユースケースの場合は、かつて組まれていたIntent Classifier, 固定の多段階推論パイプライン、ユーザセグメント別の分類、マルチエージェントのオーケストレータなどの構成は(既にこれらを単一エージェントで実施できるほど高性能になっただ)不要で、
単一のエージェントに対して、適切なツールとスキル(コンテキストを必要に応じて読み出すような段階的開示も含む)を与えて実行すれば十分で、コストもlatencyもその方が改善する場合が多いよ、というbest practiceの共有に見える。
RIPL: Real-time Intelligence When Every Millisecond Counts, Liquid AI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #Proprietary #LLMServing #Initial Impression Notes Issue Date: 2026-10-26 Comment
元ポスト:
LFM向けの高速な推論エンジンのようだが、どうやらオープンソースではなくエンタープライズ向けなようだ。
所見:
Raon-1-mini-preview, KRAFTON, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #OpenWeight #Korean #Author Thread-Post Issue Date: 2026-10-26 Comment
元ポスト:
A firewall for your agents: Control what your agents can access and do. Composio enforces your policies and uses task context to protect against prompt injection., Composio, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #One-Line Notes #Security #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-10-26 Comment
AI Agentのruntimeにおいて、System One Modelによって構築されるファイアウォール
元ポスト:
Ling-3.0-flash-Sante, inclusion AI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #OpenWeight #Health #Medical Issue Date: 2026-10-26 Comment
元ポスト:
Open Language Models, Nathan Lambert, 2026.10
Paper/Blog Link My Issue
#Article #Tutorial #LanguageModel #OpenWeight #Slide #Initial Impression Notes Issue Date: 2026-10-25 Comment
元ポスト:
ざっと見た感じ手法的な話よりも、定義や過去の歴史、主要なモデル、蒸留(およびproprietary modelのtraaeを盗む方法があったこと)とそれに対する見解、オープンモデルの重要性、これまでの動向(性能の変遷、どれまね使われているか)、サイバーセキュリティに関する話題、のようなオープンモデルの意義や動向に時重点が置かれた資料に見えた
Evaluating Agents on Highly Subjective Tasks, CAMERON R. WOLFE, PH.D., 2026.10
Paper/Blog Link My Issue
#Article #Tutorial #LanguageModel #AIAgents #Blog #Subjective #Author Thread-Post Issue Date: 2026-10-25 Comment
元ポスト:
Introducing Ampersand, the first model trained for people to achieve more together. Available today through our API., humans&, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #Proprietary #Initial Impression Notes Issue Date: 2026-10-25 Comment
元ポスト:
所見:
人間と協働できるようにしようね、みたいな話が少し増えてきた気がする
Krea3: Frontier Image Editing Model 4x faster than Nano Banana Pro, Krea, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #TextToImageGeneration #Blog #Proprietary #Editing #ImageSynthesis #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-25 Comment
元ポスト:
安い、速い、(パレート最適)、高性能(Arena4位)の画像生成、編集モデル。
[Paper Note] Reward Misspecification Degrades Chain-of-Thought Monitorability, Yan+, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Chain-of-Thought #One-Line Notes #Monitorability #Author Thread-Post Issue Date: 2026-10-25 Comment
github:
https://github.com/Lorenayannnnn/reward-misspecification-degrades-cot-monitorability
blog:
https://tianyi-lorena-yan-me.web.app/blogs/reward_misspecification_degrades_cot_monitorability/
元ポスト:
プロンプト中に記述された意図(たとえば900字以内だ応答して)に対して、報酬に誤り(より長い応答を高い報酬とする)があると、モデルはプロンプトの意図に従うことをCoTで生成しつつ、(より長い応答の方が高い報酬を得られるため)長い応答を生成する、といった場合でも高い報酬が得られてしまうため、CoTのMonitorabilityが低下する。つまり、プロンプト中の意図と異なる挙動に対しても高い報酬を与えてしまうのがよろしくない、という話のようである。
解決策として、reward description trainingを提案している。すなわち、モデルのロールアウトとそこから得られた報酬に対して、何に対して報酬が与えられたのかをLLMに推測させ、次のロールアウトにプロンプトにこれを確率的に注入し学習を継続する。
これにより、推測が正しければ、reward descriptionが注入されたロールアウトが高い報酬、そうでない場合は低い報酬となるはずで、reward descriptionが注入される場合はCoTでその意図を説明するため、CoTで説明される意図と、実際の報酬が一致し、CoTの説明内容と報酬のgapが改善される。
Ornith-1.5: From Self-Scaffolding to Self-Improvement, Ornith AI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #OpenWeight #SelfImprovement #One-Line Notes Issue Date: 2026-10-25 Comment
self-improvementに基づいて事後学習(RL)されたモデルで、自己生成されたタスクとハーネスで学習される。
タスクはscaffold(本ブログの定義では、指示、使えるツール、タスクを分解する際の戦略、分解したタスクをどう組み合わせて問題に飛び組むか等)によって条件付けされて取り組まれ、scaffoldも生成対象となる。
タスクの報酬は、検証可能性(細かく書かれていないが、scaffoldingが機能するか、信頼性の高い解がpassするか、あるいは信頼性の低いものがfailするかなど)、難易度の適切さ(成功率20%)、新規性と多様性(過去のタスクとの類似度)によって定義される。
ハーネスの報酬は、task alignment(タスクの仕様と整合しているか)、reward fidelity (ハーネスのrewardがsolutionwの質を正しく反映しているか)、hack resistance(evaluatorの失敗、ショートカット、reward hackingなどに対する耐性)などによって決まるようで、こちらは概念的な説明に留まっている。
[Paper Note] Asymmetrically Unfair Decision Making and Reasoning in LLMs, Ai2, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Evaluation #Author Thread-Post #Fairness Issue Date: 2026-10-25 Comment
元ポスト:
Nanbeige4.3-33B, Nanbeige, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #OpenWeight #Selected Papers/Blogs Issue Date: 2026-10-25 Comment
元ポスト:
PretrainGym: can an agent curate pretraining data?, Justin Yang Chae, 2026.10
Paper/Blog Link My Issue
#Article #Pretraining #LanguageModel #Blog #Initial Impression Notes #autoresearch/RSI Issue Date: 2026-10-24 Comment
元ポスト:
RSIの枠組みで事前学習データを構築する能力を測定するという試みで、ざっと見た感じエージェントがHFに対して検索をかけ、事前学習データを構築し、モデルを学習しValidation scoreを取得するようなループが繰り返され、最終的なtest dataでスコアが測定されるような枠組みは記述されている。ただし、RSIフェーズにおいてどの程度のモデルサイズ実験され、トークン量や計算量が固定された上で比較されているかなどはざっと見た感じ見当たらない気がしており、よくわからなかった。テストの方は、fixed GPT/400M Tokenという記述がある。
Pi, Earendil, 2026.10
Paper/Blog Link My Issue
#Article #Tools #LanguageModel #AIAgents #Selected Papers/Blogs #MinimalCode #Initial Impression Notes #AgentHarness Issue Date: 2026-10-24 Comment
軽量で拡張可能なエージェントハーネス。pjに合わせてカスタマイズするなどのユースケースが想定される
Introducing Kimi K3.1 Pro, Moonshot AI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #OpenWeight #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-10-23 Comment
元ポスト:
ベンチマーク上はFable 5,1と同等以上という感じに見える。11月4日にweightがオープン
AA IndexでFable 5.1超え:
SNS上での評判はあまり良くないという噂がある:
モデルがオープンになった:
https://huggingface.co/moonshotai/Kimi-K3.1-Pro
所見:
terminal benchに対するbenchmaxing疑惑:
You could have invented transformers from memory, Alex Wang, 2026.10
Paper/Blog Link My Issue
#Article #NeuralNetwork #Analysis #Transformer #Blog #Architecture #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-22 Comment
元ポスト:
transformerのMLP, self-attentionを、KeyとValueに基づくメモリとして解釈する
Introducing Flint, recursive, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #Coding #OpenWeight #SoftwareEngineering #Selected Papers/Blogs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-22 Comment
HF: https://huggingface.co/RecursiveSI/flint
関連:
- First Steps Toward Automated AI Research, Recursive Superintelligence, 2026.06
40B-A2.5Bのローカル向けコーディングモデル。Richard Socher氏
元ポスト:
Reactive Optimizers, Bai+, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Optimizer #Author Thread-Post Issue Date: 2026-10-22 Comment
元ポスト:
Embodied First Exam: A Terminal-Bench for coding agents in robotics., Embodied First Exam Team, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Evaluation #Selected Papers/Blogs #VisionLanguageModel #Robotics #Author Thread-Post Issue Date: 2026-10-20 Comment
github: https://github.com/mll-lab-nu/embodied-first-exam
元ポスト:
deepseek-recipe, DeepSeek AI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Library #LLMServing #API Issue Date: 2026-10-20 Comment
元ポスト:
DeepInfer: High-performance, large-scale inference framework for DeepSeek models, DeepSeek AI, 2026.10
Paper/Blog Link My Issue
#Article #Tools #LanguageModel #LLMServing #MoE(Mixture-of-Experts) Issue Date: 2026-10-20 Comment
元ポスト:
解説:
Diffusion at Scale: Introducing Mercury 3, inception, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #DiffusionModel #Blog #Proprietary #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-10-20 Comment
元ポスト:
FLUX 3 Max, fal, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #Proprietary #Post #VideoGeneration/Understandings #ImageSynthesis #TextToVideoGeneration #ImageToVideoGeneration #Author Thread-Post Issue Date: 2026-10-20
Muse Glimmer 30B: An On-Device Agentic Model, Meta, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #OpenWeight Issue Date: 2026-10-20 Comment
元ポスト:
所見:
MiniMax M3.1 Flash: Space Performance + Bunny Speed, Minimax AI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Proprietary #Post #Author Thread-Post Issue Date: 2026-10-20
DeepSeek-V4.1-Flash-1017, DeepSeek AI, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #AIAgents #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-17 Comment
元ポスト:
ベンチマーク上はGPT-5.6-solと同等以上という感じに見える。
サイバーセキュリティに対する攻撃能力のトークン量に対するパフォーマンスがGPT-6-Sol超えとのこと:
そもそもどのように評価しているのだろうか。
- elephant-1, Base Labs, 2026.10
ハーネスとしては上記のPi agent harnessが用いられているとのことだが、そもそもサイバー攻撃をするような指示はモデルが拒否しないのだろうか。
RSI-Inference Bench: A Long-Horizon Benchmark for Self-Improving, Liu+, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Evaluation #Blog #LLMServing #autoresearch/RSI #Author Thread-Post Issue Date: 2026-10-17 Comment
元ポスト:
Inside Step 5 Preview: Architecture and Training for Agentic Work, StepFun Team, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Blog Issue Date: 2026-10-17 Comment
元ポスト:
Ling-3.1-flash, inclusionAI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #OpenWeight #Author Thread-Post Issue Date: 2026-10-17 Comment
元ポスト:
Revisiting the 16x Pretraining Compute Gap between Diffusion and Autoregressive Language Models
Paper/Blog Link My Issue
#Article #Pretraining #LanguageModel #DiffusionModel Issue Date: 2026-10-17 Comment
元ポスト:
Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs
Paper/Blog Link My Issue
#Article #Pretraining #LanguageModel #DataRepetition Issue Date: 2026-10-17 Comment
元ポスト:
Gemini 4 Argon: Built to solve your hardest problems, Google, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #Proprietary #One-Line Notes Issue Date: 2026-10-17 Comment
元ポスト:
APIとGoogle Studioから利用可能になったようだ
関連:
- Gemini 4 Argon: our next era of frontier intelligence, Google, 2026.09
Gemini-3.8-Flashと比較して推論ステップがより効率的に:
OCR性能が良いらしい:
Frontier Pre-training at Microsoft AI, MAI, 2026.10
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #Pretraining #LanguageModel #Blog #read-later #Selected Papers/Blogs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-16 Comment
元ポスト:
事前学習において、bits-per-bytesでKimi-K3超え
所見:
解説:
Source Scaling
LR x Weight Decayの積に着目した最適なハイパーパラメータの経験則
Activation Gradient Clipping
Introducing Ternary Bonsai 2 2B, 4B, and 9B: Bringing Local Agents to Everyday Devices, PrismML, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #SmallModel #OpenWeight #One-Line Notes #Author Thread-Post Issue Date: 2026-10-16 Comment
HF: https://huggingface.co/collections/prism-ml/bonsai-2-small
元ポスト:
最新のTernary weightによるモデルシリーズBonsaiのリリースで、同パラメータ数のQwen3.5と比較して同等のベンチマークスコアを獲得しつつ、VRAM消費量が1/3 -- 1/10 程度であり、モデルパラメータ数が大きいほど削減効果が大きい
NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning, NVIDIA, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #AIAgents #MultiModal #OpenWeight #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-16 Comment
元ポスト:
HF: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16
Introducing Muse Spark Open, The Most Capable US Open‑Weight Model to Date, Meta, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #OpenWeight #Author Thread-Post Issue Date: 2026-10-16 Comment
元ポスト:
HF: https://huggingface.co/collections/meta-models/muse-spark-open
Alexandr Wang氏によるポスト:
Dust: Pretraining Transformers Without Backpropagation, Q LABS RESEARCH, 2026.10
Paper/Blog Link My Issue
#Article #Pretraining #LanguageModel #Blog Issue Date: 2026-10-13
Noise: Speedrun for pretraining without backpropagation, Q LABS RESEARCH, 2026.10
Paper/Blog Link My Issue
#Article #Pretraining #LanguageModel #Blog #Author Thread-Post Issue Date: 2026-10-13 Comment
元ポスト:
関連:
- Dust: Pretraining Transformers Without Backpropagation, Q LABS RESEARCH, 2026.10
解説:
TutorMoments‑Preview: When Help is Unhelpful — Evaluating AI Tutors for Productive Struggle, Ai2, 2026.10
Paper/Blog Link My Issue
#Article #Dataset #LanguageModel #Education #AIAgents #Evaluation #Blog #reading #KeyPoint Notes #Reading Reflections #Open-endedTasks #Author Thread-Post Issue Date: 2026-10-13 Comment
元ポスト:
学生に数学を教えるシチュエーションにおいて、学生に理解を手助けするためのscaffoldingを実施すべき場面がか、あるいはより思考を深めさせるのが適切な場面か、をモデルが適切に判断した上でtutoringできるかを測定するためのアノテーションデータを構築。アノテーションデータでは実際の教員がsession dataに対してアノテーション(Key Learning Momentの場面と、LLMがReplayを始めるべきCut Point, なぜこの瞬間が鍵となるlearning momentなのか、人間のtutorがどのようなアクションを取ったか、アクションの効果などを自由記述)しすることで構築し、LLMによって、Push for Rigor Moment, Scaffolding Moment, Over-Scaffold Moment S/A/Rラベル)3種類のラベルを付与することで正解データを作成。
LM TutorはCut Pointまでの全てのcontextを与えられた上で、tutoringをsynthetic studentに対して実施(LM Tutor 3ターン、synthetic student 2ターン)、これらのターンに基づいて判断をするLLMが、LM Tutorのtutoringに対してS/A/Rラベルを同様に付与し、正解ラベルとのAlignmentを測定することで評価(Figure 1)。
LM Tutorに"tutor well."と指示するだけではスコアリングが低く、明示的にtutoringに関するinstructionを加えたらスコアが大幅に向上。
前提として、今回のような正解が一つに定まらないOpen-endedなタスクについて評価するのは非常に難しく、特定ドメインにおいて、LLMが少なくとも人間の専門家と同じような挙動を実現できるかという観点で見ると、
- LLMがパラメータに内在化している世界知識と能力はだけでは限界があり、
- 明示的な行動指針をinstructionとして書き起こせるのであれば、専門家にAlignした行動をとることができるようになってきている
という話なのかなと思う。
正解を定義して外部のverifierが判定できるようなタスクについては、現在のRLVRのような枠組みとEnvironmentがスケールすればかなり広範まで正確にできるようになるだろうな、という見通しは立つが、Open-endedなタスクにおいては課題が残っている状態と言える。
また、今回のtutoringによる評価では人間が言葉でノウハウを書き起こせたが、そのような明文化されたノウハウは必ずしも存在しているわけではなく、かつ必ずしも明示的に書き起こせるわけではないと考えられる。今回はinstructionとして明文化することでスコアが向上しているが、そもそも後者の場合はどうするのか、という課題も残る。
Muse Wonder, Meta, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Proprietary #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-10-13 Comment
元ポスト:
SWE系のベンチマークでGPT-6-Astra, Opus5.5超え
Automation Benchでは、多くのverifierでバグが見つかっているため注意:
- Automation Bench Verified, /parsewave/, 2026.10
FullはAA IndexでOpus 5.5と同等:
所見:
他モデルよりも多くの引用をし、簡潔に説明し、フォローアップの質問をしない:
GLM-Legal: Advancing Agentic Legal Intelligence, Z.ai, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #Proprietary #Legal #One-Line Notes #Author Thread-Post Issue Date: 2026-10-13 Comment
元ポスト:
legal系のベンチマークでは、GPT-6-Astra, Fable 5よりも、Kimi K3, GLM-Legalのような中国系OpenWeightモデルの性能が良い
Find evidence that supports (or refutes) a given claim.: Each claim is run against 360M+ passages across PMC, arXiv, bioRxiv & medRxiv, and abstracts.
Paper/Blog Link My Issue
#Article #Tools #Search #Blog #ScientificDiscovery #Selected Papers/Blogs #One-Line Notes #Reading Reflections #SystemOneModel/DecisionModel Issue Date: 2026-10-10 Comment
元ポスト:
SystemOneModelをバックボーンに、scientific claimをクエリとして与えると、100M+の文献に対して検索をかけ、claimに対する(support, opposeな立場の)evidenceを抽出してくれる無料のAPIで、SystemOneModelをバックボーンとして駆動しているようである。めちゃめちゃおもしろそう
たとえば下記claimをクエリとして投げたところ、関連する文献の、関連するpassageがハイライトされた状態でSupportingが7件/Refutingが0件ほど抽出され、citation countも表示されている。
```
Large Language Models can imitate user preferences from descriptive user's persona ana can be used to evaluate presonalised systems.
```
少なくとも下記クエリに対しては、Survey論文や、個別の研究の実験設定において、このようなペルソナを入力することでユーザのpreferenceをシミュレーションするという、ものばかりがヒットし、そもそもLLMによってどこまでユーザのpreferenceをシミュレーション可能なのか?というものを定量的に調査した文献は引っかかっていないように見えた。これがもし真実なのだとしたら、便利だなあ、、、。
特に、原文中の関連するpassageがスニペットとしてハイライトされた形で提示されるので非常に良い。
ただし、クエリを少し変えただけで、結果が結構変わるので、クエリの記述の仕方にはかなり注意をした方がよさそう。
Open d1: Edge decision models for text, vision, and audio, Liquid AI, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #MultiModal #SpeechProcessing #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #2D (Image) #Omni #audio #text #Initial Impression Notes #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-10-10 Comment
HF:
-
https://huggingface.co/LiquidAI/d1-3B
-
https://huggingface.co/LiquidAI/d1-omni-600M
元ポスト:
proprietaryのd1よりもパラメータ数は小さく性能は低いが、パラメータ数-Decision Indexにおいてパレート最適なOpen Weight Decision Model。LFMをバックボーンとし、omniモデルも存在する。
日本語性能:
Introducing Claude Haiku 5.5: the cheapest, fastest, and most capable small model we’ve ever released., Anthropic, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #LanguageModel #AIAgents #Proprietary #VisionLanguageModel #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-10 Comment
元ポスト:
GPT-6-lunaよりもベンチマークスコアが高くコストが安い。あとは生成されるテキストがどれだけ分かりやすいか...
[Paper Note] Supercharging Olmo-core for Efficient and Scalable MoE Training, Ai2, 2026.10
Paper/Blog Link My Issue
#Article #Pretraining #LanguageModel #Infrastructure #MoE(Mixture-of-Experts) #Parallelism Issue Date: 2026-10-10 Comment
元ポスト:
関連:
- Olmo-core: Building blocks for OLMo modeling and training, AI2, 2024.06
数学における AI の進展の共有, OpenAI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #GenerativeAI #Blog #Mathematics #Proofs Issue Date: 2026-10-10 Comment
元ポスト:
解説:
embeddinggemma-2, Google, 2026.10
Paper/Blog Link My Issue
#Article #Embeddings #MultiModal #Blog #MultiLingual #Encoder #2D (Image) #3D (Video) #audio #text #Author Thread-Post Issue Date: 2026-10-10 Comment
元ポスト:
pplx-decider-v1.1-27b, Perplexity AI, 2026.10
Paper/Blog Link My Issue
#Article #MultiModal #Blog #OpenWeight #Selected Papers/Blogs #SystemOneModel/DecisionModel Issue Date: 2026-10-10 Comment
元ポスト:
Decision index v0.3.1においてSoTA:
- Jev Reproductions Tracker / Decision Index, multimodalart, 2026.09
Automation Bench Verified, _parsewave_, 2026.10
Paper/Blog Link My Issue
#Article #Dataset #LanguageModel #AIAgents #Evaluation #Blog #One-Line Notes #Author Thread-Post Issue Date: 2026-10-10 Comment
dataset: https://www.kaggle.com/datasets/parsewave/automationbench-verified-v0-0
- [Paper Note] AutomationBench, Daniel Shepard+, arXiv'26, 2026.04
に含まれるverifierをAI Agentで検証し、AI Agentによって323がバグの疑いとフラグ付けされ、そのうち206件が実際のバグと人間によるレビューで判定され、修正された。
KohakuFA: Flash attention for Blackwell, with gradients you can trust
Paper/Blog Link My Issue
#Article #Pretraining #LanguageModel #Attention #Blog #Stability #GPUKernel #Initial Impression Notes #Author Thread-Post #Bug Issue Date: 2026-10-09 Comment
元ポスト:
cuDNN, FA4, flex attentionに、attentionのlogitが大きくなると、backwardでの勾配が本来よりも10--1000倍、最悪の場合はinfとなるバグが見つかった報告のようである。forwardは正常に動作していふように見え、学習の後半にならないと気づけないとのこと。
Kolibri-1, Aleph-Alpha, 2026.10
Paper/Blog Link My Issue
#Article #Analysis #Pretraining #LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #OpenWeight #MoE(Mixture-of-Experts) #mid-training #PostTraining #DataMixture #German #Asynchronous #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
解説:
Prime Inference: Fast, Reliable Serving for Frontier Open Models, Prime Intellect, 2026.10
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #Infrastructure #Blog #LongContext #LLMServing #SoftwareEngineering #KV Cache Issue Date: 2026-10-09 Comment
元ポスト:
New in llama.cpp: Decision Models, Nguyen+, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #Initial Impression Notes #SystemOneModel/DecisionModel Issue Date: 2026-10-09 Comment
元ポスト:
llama.cppに SystemOneモデルとして推論するためのエンドポイント `/v1/systemone` がサポートされたようである。
[Paper Note] SkillRefiner: Offline Skill Refinement from Historical Agent Traces, Khatry+, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #AgentSkills Issue Date: 2026-10-09 Comment
元ポスト:
SWE-sweep: Can Agents Autonomously Find and Fix Bugs, Lieret+, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Evaluation #Selected Papers/Blogs #reading #Security #Author Thread-Post #Bug Issue Date: 2026-10-09 Comment
元ポスト:
モデルに「コードベースに存在するバグを可能な限り多く修正すること」のみを指示し、他の具体的な情報を一歳与えない時にどの程度潜在的なバグを修正できるかを測定するためのベンチマーク。GPT-5.6-Solが最も性能が良かったが、修正できたバグは全体の5%未満だったとのこと。ベンチマークはgithub上のリポジトリの特定コミット(バグが最も多く含まれているもの)を切り出し、バグが解決されたか否の検証にはリポジトリ中のユニットテストを利用する。また、これらインスタンスは、多くの品質フィルタリングを(正当なバグか、ヒントなしで解決できるか、バグが再現するか、ゴールドとなる修正が機能しているか、テストが適切か、期待される動作が推論可能か、等)かけた上で構築される。100種類のリポジトリ、22言語、4k程度のバグで構成され、最大では一つのコードベース239個のバグが存在する。
Expert parallelism at hero scale, Open Athena, 2026.09
Paper/Blog Link My Issue
#Article #Pretraining #LanguageModel #Blog #MoE(Mixture-of-Experts) #SoftwareEngineering #Parallelism #GPUKernel #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
From Sampling to Reinforce, Sasha Rush, 2026.10
Paper/Blog Link My Issue
#Article #Tutorial #LanguageModel #ReinforcementLearning #Blog #PostTraining #Selected Papers/Blogs #reading Issue Date: 2026-10-09 Comment
元ポスト:
JEV-27B-VL, AutoTrust, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #MultiModal #OpenWeight #VisionLanguageModel #2D (Image) #text #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-10-09 Comment
元ポスト:
Invent a Dataset: Measuring Dataset Generation Abilities with Zero Seed Data, Singh+, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #SyntheticData #Blog #Proprietary #One-Line Notes #Data #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
手元にdataが何もない状態で、所望のデータのdescriptionをクエリとして投げると、学習データを返すInventAPIをリリースしたよ、独自の実験結果によるとfrontier LLMと比較しても学習データの多様性や品質が高かったよ、という話のようであり、技術的な詳細は記述されていなさそうである。commercial useも可能なpermissive licenceでINVENT-A-DATASETもリリース、とのこと。
Self Distillation, Rehaan Ahmad, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #LanguageModel #Distillation #PostTraining #On-Policy #SelfDistillation #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
The ultimate guide to multi-harness RL, Kolavi+, 2026.09
Paper/Blog Link My Issue
#Article #Multi #LanguageModel #ReinforcementLearning #Blog #PostTraining #Generalization #Initial Impression Notes #Author Thread-Post #AgentHarness Issue Date: 2026-10-09 Comment
元ポスト:
著者ポスト:
ざっくり言うと、単一のハーネスにoverfitした形でRLするのではなく、複数ハーネスを跨いでRL(+ 複数ハーネスを跨いだ場合特有のreward設計)をすることで、多くのハーネスで高いパフォーマンスを発揮するモデルを学習する(単一ハーネスにoverfitすると特定ハーネスでは高い性能が出るが、他のハーネスでは性能が出ないということがおきる)、という話に見える。
Ideogram 4.5: The most precise edit model, Ideogram, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #Blog #OpenWeight #2D (Image) #Editing #ImageSynthesis Issue Date: 2026-10-09 Comment
元ポスト:
画像のマルチターンでのeditingに特化したモデルで、近いうちにオープンになるとのこと
所見:
[Paper Note] Tokenization: A Survey for Modern NLP, Cognetta+, 2026.10
Paper/Blog Link My Issue
#Article #Survey #LanguageModel #Tokenizer #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
Open Models Dashboard, Interconnects
Paper/Blog Link My Issue
#Article #Analysis #LanguageModel #AIAgents #Blog #OpenWeight #Initial Impression Notes Issue Date: 2026-10-09 Comment
元ポスト:
OpenRouterベースで見ると、closedなモデルからopenなモデルへトークン消費が大きく移行しているようである。
Embed 5 is here, cohere, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #Embeddings #Blog #Proprietary Issue Date: 2026-10-09 Comment
元ポスト:
OPEN SOURCE, AUDITED BY GLM.: Submit a public repository and OpenVuln hunts its vulnerabilities. Protect your open-source repository, together with GLM., Z.ai, 2026
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #Security #Initial Impression Notes Issue Date: 2026-10-09 Comment
元ポスト:
GLMを用いて公開されているリポジトリをスキャンし脆弱性を発見できるZ.aiが運用しているデモのようである。発見された脆弱性は件数は表示されているものの、具体的なレポートはメンテナが承認しないと公開されないようである。
TIRx Harness: An Open Compiler Harness for Agentic GPU Programming, MLC Community, 2026.09
Paper/Blog Link My Issue
#Article #AIAgents #Blog #SelfImprovement #GPUKernel #autoresearch/RSI #Author Thread-Post #AgentHarness Issue Date: 2026-10-09 Comment
元ポスト:
Introducing GPT-6.1-Sol, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #AIAgents #Blog #Proprietary #VisionLanguageModel #Reference Collection #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
OpenAIが公開したmisalignmentに関するレポートで、GPT-6.1-Sol, AstraのCoTが公開され、それらには単語間のスペースやプログラミング言語のような表記が現れることと、それに対してKarpathy氏がコメントをしたことが話題となっていた:
Karpathy氏はRLが有効に機能した場合にモデルがCoT中で英語を使うのをやめた時に、RLが適切に行われたことを示すという見解を過去に示しており、そのポストを引用して今回コメントを残している。
RLを用いるとSFTによってreasoningを学習させる場合などとは異なり、(reasoning traceに対して文法や人間の意味理解に関する報酬を与えない限りは)モデルがreasoning trace中で人間が理解できる言語を話すことで報酬が得られるわけではないため、このような現象が生じてくると推察される。
レポートはこちら: https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/
dots のご紹介, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #GenerativeAI #Blog #ComputerUse #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
Holo4: powering generalist computer use agents, H Company, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #Blog #OpenWeight #ComputerUse #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
Naive-N0.5-Flash: Building Frontier AI with AI, NaiveAI, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #OpenWeight #Initial Impression Notes Issue Date: 2026-10-08 Comment
元ポスト:
HF: https://huggingface.co/NaiveAI
Mimo-V2.5をベースとし、full-attentionをDSAに置き換えるための追加学習を実施し、大幅にデコーディング速度を向上させたモデルのようである。Mimo-V2.5との比較がないように見えるが、どの程度性能は変化したのだろうか(=性能の劣化はないのだろうか)。
Where’s the “intelligence explosion”? Ramez Naam gives a skeptic’s take on Recursive Self-Improvement., RAMEZ NAAM, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #LanguageModel #AIAgents #Blog #read-later #autoresearch/RSI Issue Date: 2026-10-08 Comment
元ポスト:
Notes on NVIDIA Nemotron: A broad coverage of the most practically useful series of open LLM tech reports..., CAMERON R. WOLFE, PH.D., 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #LanguageModel #Blog #OpenWeight #Author Thread-Post Issue Date: 2026-10-08 Comment
元ポスト:
Claude Sonnet 5.5, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #Blog #Proprietary #VisionLanguageModel #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-07 Comment
元ポスト:
Opus 5.5と比較してコーディング系のベンチマークのスコアは大差なく、かつ安くて速いならOpus 5.5から乗り換え検討余地あり
text-to-video-human-preferences-326k, Datapoint AI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #Dataset #Blog #DPO #TextToVideoGeneration Issue Date: 2026-10-07
Spurious probes as a black-box alternative to activation probing, Ziqian Zhong, LW, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #Alignment #Evaluation #Safety #One-Line Notes #Author Thread-Post Issue Date: 2026-10-07 Comment
元ポスト:
モデルの内部状態を明らかにするための、明らかにしたい内容とは無関係なプロンプト(Spurious Probe)、たとえばGPT-5.6-Lunaの場合は「両生類の一種を挙げてください」のようなプロンプトに関する検討。GPT-5.6-Lunaはこの質問に対し、評価されていると認識しているときは70--95%程度「カエル🐸」と応答し、実際に利用されていると認識している場合は12--38%にとどまる。このように出力の傾向が変化するので、この情報からlogistic regressionを学習する(ようだが、具体的にどのようなinput/labelで学習するのかよくわかっていない)。直接質問するような手法では対策がされやすい問題があり、probingによる手法はモデルの内部にアクセスできなければならないが、Spurious Probeはモデルがブラックボックスの場合でも利用でき、直接的に質問するプロンプトよりは対策されずらい、という利点がある。
Towards RL for Superhuman Text: Unslopping AI, Weston+, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #Selected Papers/Blogs #AcademicWriting #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-10-07 Comment
- フロンティアモデルは、通常のLLM-as-a-Judgeでは、現在のslopモデルによる執筆の品質を高品質な人間の論文よりも高く評価してしまう
- 高品質な人間の執筆テキストを収集し、高品質な人間執筆テキストとモデル生成テキストのLLM judgementでのスコア差が最大となるRubricを(小規模training dataに対するmeta promptのiterativeな最適化で)学習し、当該ルーブリックをRLで活用することでモデル生成のテキスト品質を人間の専門家に近づけることができる
元ポスト:
以下感想
細かくは読めていないが、事前学習はモデルの能力獲得の土台であり事前学習は最尤推定によって学習される。このため、モデルは平均的に良いものを出力することで対数尤度を改善できるが、一方特定の分野のごく一部の専門家のようなテキストを出力することは対数尤度を改善する上での影響は限定的であり、その能力は部分的にしか獲得されない(あるいはモデルの能力として獲得はされるが顕在化されづらい)ので、事後学習によってその能力をより強化して顕在化しやすくする、という感じの話に近いように感じる。
もしくは、あまり一般的な見立てではないかもしれないが、モデルの能力は事前学習時に身につけた能力を土台として、事後学習によってどの能力を強化するかが調整されていると仮定すると、事後学習を通じてcollapseしたモデルの執筆能力(事後学習では基本的になんらかのreasoning traceが出力され、執筆能力そのものにペナルティは課されないため、collapseしやすそう)を、高品質なサンプルから得られたルーブリックに基づくRLによって改善する、という位置付けとも捉えられるのかもしれない。
前者で考えると、たとえばコーディングエージェントの分野などでも、ガチガチのプログラマーのコードからルーブリックを学習し、そのルーブリックを通じて学習をすれば、(平均的なプログラマーの品質ではなく)ガチガチのプログラマーのようなお作法のコードを出力できるようになるのだろう。
となると、コーディング以外の様々な分野において広く適応しうる技術であり、平均的な出力から、特定の専門家レベルまで品質を引き上げるための枠組み(ただしデータが確保できてルーブリックとして表現可能なものに限る)、ともみなせるのかな、るという感想を抱いた。
Introducing Ember-1, Fireworks, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #Blog #Proprietary #PostTraining #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-06 Comment
元ポスト:
Kimi K3に対して、不要な推論は省き、重要な思考は維持することでトークン生成量を抑え効率化したという話のようで、具体的な手法などについては記載がないように見える。
事後学習したと明言されている:
Liquid Foundation Models: Decision Models, Liquid AI, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #MultiModal #Blog #Proprietary #2D (Image) #text #Initial Impression Notes #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-10-06 Comment
元ポスト:
Liquid AIからもvisionに対応したDecision Modelがリリース、プロプライエタリなようだ
Introducing Beam: Reflection’s 501B open-weight model, Reflection AI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #OpenWeight #Initial Impression Notes Issue Date: 2026-10-06 Comment
元ポスト:
model weightは10月中にリリース
久々のwestern open weihgt modelではなかろうか
関連:
- Inkling: Our open-weights model, THINKING MACHINES, 2026.07
- NVIDIA Nemotron 3 Ultra, nvidia, 2026.06
所見:
所見:
重みがオープンに:
https://huggingface.co/collections/reflection/beam-10
How confessions can keep language models honest, OpenAI, 2025.12
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #Safety Issue Date: 2026-10-04
Simple probes can catch sleeper agents, Anthropic, 2024.04
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #Safety #Probing Issue Date: 2026-10-04
Latent reasoning architectures would likely undermine CoT, our strongest oversight tool, REDWOOD RESEARCH, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Chain-of-Thought #Blog #Safety #LatentReasoning #reading #One-Line Notes #Monitorability #Author Thread-Post Issue Date: 2026-10-04 Comment
元ポスト:
本文でとりあげられているlatent reasoning architecture:
- [Paper Note] Training Large Language Models to Reason in a Continuous Latent Space, Shibo Hao+, COLM'25
- [Paper Note] Full-bandwidth transformer, Xi Wang+, arXiv'26, 2026.08
- [Paper Note] Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach, Jonas Geiping+, NeurIPS'25
解釈性に関するツール
- Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Anthropic, 2024.05
- Simple probes can catch sleeper agents, Anthropic, 2024.04
- Natural Language Autoencoders: Turning Claude’s thoughts into text, Anthropic, 2026.05
- How confessions can keep language models honest, OpenAI, 2025.12
ざっくりいうと現在のCoTは高度な推論を実施するために多くの場合必要なの挙動であり、危険のある行動(しばしば難しいタスク)を実施する際にはCoTによる思考がモデルにとって必要(CoTを実施しないと目的を達成できないため)で、これは目標の達成に必要に必ずしも必要でなくてもCoTを実施するような傾向とは区別すべきであり、latent reasoning系のアーキテクチャではCoTの必要性が薄れてしまう(また、モデルが正確な情報をCoTに言語化する傾向があるのは必要性があることに起因する可能性があり、必要性が薄れるとCoTに正確に言語化する傾向も弱くなるという)懸念がある。
この必要性によってCoTをモニタリングすることは現在AIの監視をする上で有用であるが、潜在空間上で推論を実施するlatent reasoning系のアーキテクチャに移行し必要性が薄れると、この有用性が損なわれ、Sparse Autoencoder, probing, natural language autoencoders, confession modelsなどの解釈性に関する手法は存在するが、CoTほど有用な信号を得ることができないため、AIを監視することが著しく困難となるだろう、という話のようである。
Know Who Spoke When: Build Real-Time, Multi-Speaker AI with NVIDIA Nemotron 3 Diarization, NVIDIA, 2026.09
Paper/Blog Link My Issue
#Article #SpeechProcessing #Blog #OpenWeight #AutomaticSpeechRecognition(ASR) #Transcript #Author Thread-Post #SpeakerDiarization Issue Date: 2026-10-04 Comment
元ポスト:
Prime Sandboxes: Run thousands of concurrent environments with first-class verifiers and prime-rl integration. Every workload stays inside an isolated microVM., PRIME Intellect, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #ReinforcementLearning #AIAgents #Blog #PostTraining #Author Thread-Post #SandboxEnvironment Issue Date: 2026-10-04 Comment
元ポスト:
700 TPS on Kimi K3: A Case for TPU Megakernels, Inferact, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #AIAgents #Blog #Coding #SoftwareEngineering #GPUKernel #Author Thread-Post #Megakernels Issue Date: 2026-10-04 Comment
TPU v7 (Ironwood) 向けのメガカーネルで、最初のTPU推論用のメガカーネルとのこと。
What Is An AI Dark Factory? What Lights-Out Manufacturing Teaches Us About Software, Owen Sweeney, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #AIAgents #Blog #Coding #SoftwareEngineering #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-04 Comment
AI Dark Factory: 人間の介入をほとんど必要とせず、AI Agentがソフトウェアを構築する未来像
製造業におけるDark Factoryという概念を起源としており、Dark Factoryとは向上フロアに人員を配置せずに長時間連続稼働可能な生産設備のことであり、これと同様の概念をソフトウェア開発に適用したものとのこと。重要な点は、製造業においてはロボットが人間の仕事を代替できるほど賢くなったというわけではなく、生産プロセスを再設計し、人間の判断を必要とする工程を大幅に削減したという点とのこと。
そのうえで、ソフトウェア開発におけるAI Dark Factoryとはどのようなものか?ということが考察されている。正確性の判定が主観的な判断に依存するほどワークフローの運用が困難となる。
元ポスト:
FLUX 3 Action, Black Forest Labs, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #Blog #OpenWeight #Robotics #EmbodiedAI #WorldActionModel Issue Date: 2026-10-04 Comment
HF: https://huggingface.co/collections/black-forest-labs/flux-3-action
元ポスト:
[Paper Note] EmbodiedSWE: Coding Agents for Long-Horizon Dexterous Robotics, Shen+, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #AIAgents #Evaluation #Coding #read-later #Robotics #VisionLanguageActionModel #EmbodiedAI #Sim-to-Real #Simulation #Author Thread-Post Issue Date: 2026-10-04 Comment
pj page: https://embodiedswe.github.io/
大脳と小脳的なアプローチ
[Paper Note] Towards Looped Models Done Right Part II: Rethinking at Fixed Points, Huang+, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Transformer #Architecture #RecurrentModels #Author Thread-Post Issue Date: 2026-10-03 Comment
元ポスト:
Decision 2.0, vLLM Semantic Router Team, 2026.10
Paper/Blog Link My Issue
#Article #OpenWeight #Initial Impression Notes #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-10-03 Comment
元ポスト:
JevArenaにおいて、同等程度の規模感のモデルに対してtopのスコアとのことだが、そもそもJevArenaとはなんぞや...
Dynamic 4-bit Quantization, Unsloth, 2024.12
Paper/Blog Link My Issue
#Article #LanguageModel #Quantization #Blog #One-Line Notes Issue Date: 2026-10-03 Comment
Dynamic Quantizationと呼ばれる全てのレイヤーに一律で量子化を適用するのではなく、選択的に適用する技術。
Dynamicときくと入力に応じて動的に量子化を変化させそうだが、そうではなく、全てのlayerに一律で量子化を適用するのではなく、モデルの性能を維持するために高精度な計算が必要なレイヤーは量子化せず、他は量子化するといった、量子化を適用するレイヤーを取捨選択するという意味合いでDynamicと命名されているようである。
たとえば下記の記事では、この技術を適用し
DeepSeek-R1の重みを80%(720GB->131GB)にまで削減。主にMoE layerは1.5 bit圧縮、特定のレイヤーは高い精度で保持。
https://unsloth.ai/blog/deepseekr1-dynamic
RUNTIME DYNAMIC COMPRESSION OF MIXTURE OF EXPERTS, Tim Dettmers, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #Quantization #MoE(Mixture-of-Experts) #SoftwareEngineering #reading #One-Line Notes #needs-revision #Author Thread-Post Issue Date: 2026-10-03 Comment
元ポスト:
UnslothのDynamic Quantizationと比較して、同等のWikiTextでのPerplexityに到達する上で、1 weightあたり、0.4--1 bit程度削減可能な動的量子化手法で、WikiTextのPerplexityを維持しながら高い圧縮率を実現する。任意のlayerに対してレベルの異なる量子化とVRAM上から除去するexpertを割り当てて、推論中も動的に最適化することで、品質を保ちながら圧縮をかけるとのこと。bitsandsbytes2ライブラリに組み込まれる。
関連:
- Dynamic 4-bit Quantization, Unsloth, 2024.12
まだ読んでいる途中でもう少し要点を掴みたい
関連:
- dlab Open Source Week: Frontier AI on Your Own Hardware, Tim Dettmers, 2026.09
Introducing Aikido Altar: the model that makes sovereign security intelligence possible, aikido, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Pruning #Quantization #Blog #OpenWeight #Security #Author Thread-Post Issue Date: 2026-10-02 Comment
元ポスト:
Olmo-core: Building blocks for OLMo modeling and training, AI2, 2024.06
Paper/Blog Link My Issue
#Article #LanguageModel #MoE(Mixture-of-Experts) #Initial Impression Notes #Author Thread-Post #TrainingFramework Issue Date: 2026-10-02 Comment
元ポスト:
pytorchによる大規模な分散学習を実現するためのフレームワークで、trillion級のMoEモデルが学習できるような機能を追加したv3.0.0がリリースされたとのことである。
DiffusionGemma-as-Jev, Matt Mastracci, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #DiffusionModel #LLMServing #Post #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-10-02 Comment
vLLMのPR番号57250でマージされ、DiffusionGemmaをJev-likeに利用するための機能がプロトタイプとして実装されているようでえる。
Google Gemmaからも引用されている:
Introducing Clef: our open-source decision models, and new RL fine-tuning platform, Cloudflare, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #LanguageModel #MultiModal #Blog #PEFT(Adaptor/LoRA) #OpenWeight #Selected Papers/Blogs #Encoder #KeyPoint Notes #SystemOneModel/DecisionModel Issue Date: 2026-10-02 Comment
元ポスト:
概要しかブログ中には書いていないが、よさげに見える。
Qwen-3.8-27Bをバックボーンとし、Qwenのパラメータはフリーズした上で軽量なアダプタを学習し、ルーティングヘッドなるcross-attentionに基づいた各選択肢のスコアを出力するヘッドによって予測が実施されるようである。
これらは、内部で作成された合成データを用いて事後学習されたとのことである。lossはlabel smoothed cross entropy(正解、不正解ラベルを0/1としてクロスエントロピーを計算するのではなく、ハイパーパラメータεでスムージングしてlossを計算するものらしい)とBrier Loss(実際に予測された確率値と正解、不正解を1/0としたときの平均二乗誤差)なるものによって、正則化によって過学習を防止し、出力される確率値がでたらめにならないように学習することを目指しているように見える。
その後RLCDと呼ばれる、選択肢間の順序関係に基づいて、正解と隣接するラベルにも部分的に報酬を与えるようなrewardを持つ(オリジナルのポリシーから分布が大きくシフトしないようなペナルティ付き)RLによって学習をしているようである。これにより、より高いAccuracyと汎化性能が得られた、と一言記述されている。
Qwenが持つVision Encoderによって画像もエンコードでき(Jevは画像は不可と述べられている)、
context長が64kとJevの2倍で
Jevよりもlatencyが良く、
様々なベンチマークスコアで高いスコアを獲得としている、と報告している。
latencyはflashモデルであれば、DiffusionGemma-as-Jevを上回る。
[Paper Note] AutoBenchmark: benchmark creation & the role of humans, Seungone+, 2026.09
Paper/Blog Link My Issue
#Article #Dataset #AIAgents #Evaluation #read-later #Selected Papers/Blogs #autoresearch/RSI #Author Thread-Post Issue Date: 2026-10-01 Comment
元ポスト:
Gemini 4 Argon: our next era of frontier intelligence, Google, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #Proprietary #VisionLanguageModel Issue Date: 2026-10-01 Comment
元ポスト:
Geminiがcome back?
所見:
安い
Decision models, SGLang, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #MultiModal #Blog #LLMServing #VisionLanguageModel #One-Line Notes #Reading Reflections #SystemOneModel/DecisionModel Issue Date: 2026-09-30 Comment
元ポスト:
SGLangにおいて、Qwen3.8-27B、およびQwen3.5-35B-A3Bを、chat modelからdecision model(System Oneな分類モデル)として利用するためのエンドポイントが追加されたようである。
ドキュメントを読むと、要は既存のLLMに対してリクエストをreasoning modeをオフでprefillし、応答のトークン位置でのスコアリング、選択肢、yes/noのトークンのlogprobを取得し、たとえばyes/noトークンのprobabilityを計算する場合はyes/noの2 vocabularyのsoftmaxを計算する。つまり、単に通常のLLMの応答の開始位置でのラベルのlogprobを取得して、最もlogprobが高いラベルを返し上述の確率を返すというシンプルな実装に見える。
System Oneモデル向けの追加のチューニングや、分類headなどが学習されているわけではない(SGLangはLLM Servingエンジンでありモデルの学習そのものはしないだろうから、そりゃそうだ、という話だった)点に注意。シンプルに、LLMのデコード開始位置でのlogprobを用いた分類器であり、これを念頭におけば、このエンドポイントを利用した場合のおおよその性能の見当はつく(性能が悪いと言いたいわけではなく、これまでのLLM利用の経験からあたりをつけやすいという意図である)。
System One系の話は実装の中身を確認して、どのような原理の元駆動するかを確認しないと、足元をすくわれる気がする。外から見た時の挙動は同じでも、アーキテクチャが結構異なる気がする。あと、アーキテクチャだけでなく、System Oneモデル向けのデータや最適化がされているかによって、そもそもの予測性能やzero-shotでの汎化性能にかなり差が生まれるのではないか、と思っている。しかし、まあ結局自分たちのユースケースに対して必要な性能が出ていて、latencyが必要な水準に達しているかを確認すれば良いだけではある。
DeepGEMM Ascend, DeepSeek AI, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #Library #AIAgents #GPUKernel #Author Thread-Post Issue Date: 2026-09-30 Comment
元ポスト:
所見:
DeepSeekGEMMと呼ばれる、NVIDIA GPU向けに構築されたGPUカーネルライブラリをHuawei Ascend NPU向けに移植したもので、APIがDeepSeekGEMMと互換性があるため、同じpythonコードから動作させることができるようである。
一言解決:
Halo: Frontier-Lab Training for Everyone, White Circle, 2026.09
Paper/Blog Link My Issue
#Article #Multi #ComputerVision #EfficiencyImprovement #Pretraining #Tools #LanguageModel #ReinforcementLearning #AIAgents #MultiModal #Blog #mid-training #DPO #PostTraining #Parallelism #VisionLanguageModel #Asynchronous #Author Thread-Post #TrainingFramework Issue Date: 2026-09-29 Comment
元ポスト:
dlab Open Source Week: Frontier AI on Your Own Hardware, Tim Dettmers, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #Test-Time Scaling #Selected Papers/Blogs #DeepResearch #Compression #Reading Reflections #autoresearch/RSI Issue Date: 2026-09-29 Comment
元ポスト:
前半にオープンソースにするエコシステムとして
- エージェントのcontextの自動圧縮技術
- autonomous research
- 効率的なtest time scaling手法
- Deep Research
などの開発中におけるエピソードや、その性能の高さについて述べられている。
一方、記事全体で述べられている気持ちは博士課程在籍者(やアカデミアにいる研究者に)対するメッセージである。個人的に印象深かったのは、研究のunitが論文ではなく一貫性のあるエコシステムを構築することになる、という主張と、博士課程において容易に解決することができない課題に粘り強く取り組む力を身につけることは投資をする価値がある、という部分で、第一線の研究者の方がAI Agentによる研究環境の変化をどう捉えているかが少し垣間見えるのと、(現在の悲観的な博士課程の学生に対して)博士課程で学ぶことの価値やアカデミアだからこそなし得ることがメッセージングされており、非常に興味深く拝読した。
要約を読んだりするよりも、原文から伝わる気持ちを汲み取った方が良いと思う(という意味で原文全文を読んだ方が良いと思う)。
KDA Doesn't Care About the Future, Nuggets, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #Attention #Blog #read-later #LinearAttention Issue Date: 2026-09-28 Comment
元ポスト:
tokenizers v1: encode, decode and scaling, measured, HuggingFace, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #Blog #Tokenizer #read-later #Initial Impression Notes Issue Date: 2026-09-28 Comment
元ポスト:
関連:
- {G}igatoken: SIMD and Cache Hierarchies for 1000x Faster Byte-Pair Encoding Tokenization on Modern CPUs, Marcel R{\o}d, 2026.07
Gigatokenは、著者ポストを読む限り、そもそも今のtokenizerが1秒単位に処理できるデータ量(データレート)が、同様の規模感のデータを処理する際の他の実装、たとえばsimdjsonがGB/sなのに比べて遅すぎるという気持ちから端を発しているように思われる。
一方、tokenizersでは、イントロに膨大なデータセットでの学習、同時リクエストの処理、long contextでの処理等において、モデルへのデータ供給が追いつかず、tokenizerが新たなボトルネック(GPUを待たせるという意味で)になりつつあり、それを解決したいという気持ちが記述されている。
The current balance of power in open models: The expanded form of a testimony I prepared for Congress., Interconnects, Nathan Lambert, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #LanguageModel #GenerativeAI #Blog #OpenWeight #Proprietary #read-later Issue Date: 2026-09-28 Comment
元ポスト:
How much AI revenue comes from open vs closed models?, Konstantin F. Pilz, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #LanguageModel #GenerativeAI #Post #One-Line Notes Issue Date: 2026-09-28 Comment
主要なクローズドモデル、オープンモデルを提供する企業の(おそらくLLM周りの)ARRを比較したところ、オープンモデルのARRはクローズドモデルのARRの10%程度と推察される、という話に見える。
が、オープンモデルのプロバイダーに対して、古いデータが使われている(プロバイダーによっては、usageが数倍〜10倍になっている)という指摘と、Googleの売上に対するAIの間接的な貢献「軽視しすぎている、という指摘がある。
あと、一部からClaudeに作成させ、検証をせずに読者側に検証の手間を委ねるのはいかがなものか、という趣旨の批判がある。
Qwen-Image-2.1: Compact, Efficient, and Unified Image Creation, Qwen Team, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #DiffusionModel #TextToImageGeneration #Blog #OpenWeight #Editing #ImageSynthesis #Author Thread-Post Issue Date: 2026-09-27 Comment
HF: https://huggingface.co/Qwen/Qwen-Image-2.1
元ポスト:
Language Model "Shape", Alex Zhang, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #API #Architecture #One-Line Notes #Reading Reflections #AgentHarness Issue Date: 2026-09-27 Comment
元ポスト:
以下記事の内容の(意訳を含む)要約。詳しくは原文を参照のこと。
- 言語モデルの入出力の形状は、text-to-textのままで長年変化がなかった。
- 一方でJevの登場が話題となり、これは特定の特化型のタスクにおいてLLMより好まれる場面がありうる。
- Jevは出力が明示的に制約された場合の言語モデルととらえることができ、これによってモデルをprefillのみで、高速に質問に対して応答できるようにしている。
- また、AIエージェントは現在はReActに基づいた形式になっており、それはすなわち、エージェントがアクションを実行し、結果を観測し、それらがtrajectoryに蓄積され、次のアクションを決定するという構造となっている。
- デコーダのみのtransformerを考えたときに、全てのobservation, actionをコンテキストに入れるというのは自然である一方、履歴の圧縮などのcontext engineering技術が必要となる。これはそもそもエージェントのtrajectoryを処理するうえで、decoder-only transformerが最終的な形態ではなっていないから生じていると見ることもできる。
- たとえばAI agentに関して言うと、ツール呼び出し、時間経過に伴うobservationの扱い、アクションの重要性の減衰などに関してより強い仮定をおくことができ、最適な形態が存在する可能性がある。
- このような観点では、LLMに対してハーネスを適合させているが、ハーネスに対してLLMの形状を適合させることに価値があるか?という問いも自然に成り立つ。
- 特定のものに対してLLMの形状を適合させることで、環境・データ単位から得られる知能のgainやコスト・性能のトレードオフを改善できる可能性があり、これらは探求する価値があるだろう
という感じの話に見える。
この話に関連すると、Generative Recommender Systemなどは、推薦システムに対して適合していないなあ、という風に感じた場面があった。理由としては、
- decoder-only LLMはデコードの速度が遅く、latencyの制約が厳しいリアルタイム推薦などには根源的に不向き
- アイテムIDなどのシンボルは世界知識からは学習のしようがなく、そもそものmodel weightの中にそれらの情報を埋め込む必要がある場合は、ベースモデルに対して追加の学習が必要となる。これはアイテムが頻繁に入れ替わるようなシステムの場合は非常に相性が悪い。
といったものが主な原因である。たとえば、推薦システムに対して最適な形状とはなんだろうか?という視点で考えるとおもしろそうではある。
まあでもtwo tower modelはそもそも推薦タスクに特化した形状だよね、という風に考えると、よくわからなくなった。
しかしまあ整理すると、もともと各タスクには最適なモデルの形状が選択されてきた中で、その後にLLMが登場して多くのタスクがLLMによって代替できるようになった。LLMの強みはスケーリング則に基づく(ある程度予測可能な)性能の向上にあるわけで、このようなスケーリングは色々なタスクでおそらく模索されてこなかったであろう(機械翻訳についてはn-gramをスケーリングするとかはあったと思う)が、スケーリング則が成り立つという強みは残しつつ、各タスクごとに適合するような形状を模索するという思考の方向性になる、という感じだろうか(記事の主眼とずれている気がするが)。
- [Paper Note] Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations, Jiaqi Zhai+, ICML'24, 2024.02
でDLRMよりも良好に計算量に対してスケールし、推論速度も高速なGenerative recommendationのモデルが検討されているようである。
LLMでprefillのみを実施し、その情報を用いて推薦するシステム
- [Paper Note] GenRec: An LLM-Backed Recommendation Ranker at Netflix, Ying Li+, arXiv'26, 2026.08
GLiNER2.5-Decide: An Open-Weight Model for Structured Decision Making, Fastino Labs, 2026.09
Paper/Blog Link My Issue
#Article #Blog #OpenWeight #Encoder #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-09-25 Comment
元ポスト:
Jev-likeなモデル、乱立しすぎである
When does distillation help reinforcement learning?, Base Labs, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #Blog #Distillation #PostTraining #read-later #One-Line Notes #Author Thread-Post Issue Date: 2026-09-25 Comment
元ポスト:
RL前にSFTを通じてオフポリシー蒸留をすることが、どれだけ後段のRL後のパフォーマンスに影響するかを調査したようで、
- 小規模モデルには効果的だが大規模なモデルには効果が薄く
- ベースモデルに存在しない慣習や理解を必要とするタスクに対して効果的で
- 副作用としてポリシーのエントロピーが低減する、すなわちRL中の探索が抑制される
といった知見が得られたようである。
一見すると、SLMに関しては
- [Paper Note] A Sober Look at Progress in Language Model Reasoning: Pitfalls and Paths to Reproducibility, Andreas Hochlehnert+, COLM'25
と対立する知見に見えるが、前提として何が違うだろうか。
SLMに対しては同様の知見が示されている:
- [Paper Note] AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy, Zihan Liu+, arXiv'25, 2025.06
LFM2.5-VL-DSpark: Accelerating vision-language models on edge and beyond, Liquid AI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #Blog #OpenWeight #VisionLanguageModel #SpeculativeDecoding Issue Date: 2026-09-25 Comment
元ポスト:
FineEnvs: Open Source RL Environments for LLM Agents, Adithya S Kolavi, 2026.09
Paper/Blog Link My Issue
#Article #Dataset #LanguageModel #ReinforcementLearning #Repository #SmallModel #PostTraining #One-Line Notes #Environment Issue Date: 2026-09-25 Comment
元ポスト:
SLMのcoding, datascience向けの
(いわゆるSmolな)RL学習用の5k+のverifiableなタスクデータ、Environment、評価、学習のコードを提供。
従来の初心者向けのチュートリアルでは、GSM8Kのような既に飽和したデータセットが主なデータであり、より実用的なデータに基づいたRLVRのための環境を整えた、という感じに見える。
When Do Larger Batches Help Scale LLM Reinforcement Learning?, Tencent RL Team, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #ReinforcementLearning #Blog #PostTraining #Selected Papers/Blogs #One-Line Notes #CriticalBatchSize Issue Date: 2026-09-24 Comment
元ポスト:
目標性能まで到達するまでに必要なwall-clock timeとLLMでのオンポリシーRLのバッチサイズの関係性を明らかにしているようである。
LLMのオンポリシーRLでは、生成と学習においてバッチサイズの大きさが非対称に働く(すなわち、生成側の並列数を増やすとモデルの重み転送をより多く共有できるため処理に要する時間が短縮されるが、学習側でバッチサイズが増えると処理時間は増加する)ため、生成側の並列数の変化によるスループットの向上と、学習側のバッチサイズによる更新に必要なサンプル数の両方を考える必要がある。
このとき、目標性能に到達するまでに必要な累積応答数N(学習側)、エンドツーエンドのスループットq(生成側だけではなくシステム全体)を考える。
これにより、バッチサイズを変化させた時に必要なサンプル数の変化の比率r_N (=N/N_pivot, r_Nが1より大きい場合は、新たなバッチサイズが基準となるバッチサイズよりも、ある性能に到達するまでより多くの応答を必要とする)、
スループットの変化の比率r_q(=q/q_pivot, r_q>1の場合は、1秒あたりにより多くの応答を処理できる)を定義でき、
r_q > r_Nの場合、すなわち、バッチサイズを大きくしたことによる、システムのエンドツーエンドのスループット向上による恩恵が、学習側のサンプルコストの悪化を上回った場合に、バッチサイズを大きくすることで学習が高速化される、このときの改善の度合いは r_N/r_q で測ることができる。例えば、r_N/r_q=0.8の場合、学習時間が20%削減されることを意味する、といったフレームワークを定義でき (The criterion部分を参照)、
実践的には、
- 候補となるバッチサイズについて、学習率や関連するハイパーパラメータを調整し、学習に利用される応答単位での学習に対する寄与を揃え、累積応答数が等しい点での学習曲線を比較することで、r_Nを推定し
- 与えられたバッチサイズにおいてシステムのスループットを最大化する設定を探索し、r_qを測定する
- その上で、r_N/r_qを測定し、最も学習時間が短縮されるバッチサイズを採用する
というプロセスにおとしこむことができる(conclusionを参照)
という感じの話のようにみえる。
grug-moe-mix-swarm, marin-community, 2026.08
Paper/Blog Link My Issue
#Article #Pretraining #Dataset #LanguageModel #MoE(Mixture-of-Experts) #Selected Papers/Blogs #DataMixture #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-09-24 Comment
元ポスト:
Marinの535B級のMoEモデルを学習した際のデータであり、利用されたツール(クラスタリングに利用されたモデル)も公開されている。
元ポスト中にデータ構築の手順が紹介されており、
- 学習が許可された152の公開データから、25Tトークンを利用
- deduplicationによる2.13T tokensを除外し
- 評価データとの重複を避けるために13-gramによるフィルタリングを実施し
- 特定の分野のデータ等をサンプリングしたいが、その際にソースではなくドキュメントの内容でグルーピングしたいので、embeddingに基づいてクラスタリングを実施し、200のクラスタを形成した
といった話が紹介されている。
LLM-jpではOpenSourceであるために、徹底的にデータセット内部まで精査をして、問題のあるインスタンスの修正等が実施されていたが、Marinではこのような取り組みは行われているのだろうか。特に、データセットに付与されているライセンスがオープンソースである場合でも、データセット、あるいはデータセット中のサンプルの出自を辿るとオープンソースとは呼べないものが存在するという話がある。
- 約12兆トークンの良質なコーパスで学習した新たな国産LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開 ~一部ベンチマークでGPT-4oやQwen3-8Bを上回る性能を達成~, NII, 2026.04
- LLM-jp-4-VL 9Bリリース, LLM-jp, 2026.09
Marinコミュニティにおける"Open"の意味を読むと、Open Sourceの定義を満たすことを目指しているというより、weightを公開するだけではなく、その他の構築に関わる全ての情報を公開する、たとえば学習データであれば全データのソースを開示する、という開発プロセス全体を公開しますよ、という意味に見えるため、ライセンス的に問題のあるインスタンスの削除などは行われていないのかもしれない、が、Marinプロジェクトの公開されている全ての議論の中にそういった話題は存在するかもしれないので実際のところは一次ソースを当たらないとよくわからない。
https://marin.community
Marin-535B-A23Bの学習が折り返し地点を迎えたようで、ここまでの学びがスレッドに記載されている:
Contrastive Language Models: A System One Model for Fast and Generalizable Decision-Making, Kwok+, 2026.09
Paper/Blog Link My Issue
#Article #Pretraining #Dataset #ContrastiveLearning #Blog #OpenWeight #Scaling Laws #mid-training #PostTraining #Selected Papers/Blogs #Encoder #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-09-24 Comment
元ポスト:
HF: https://huggingface.co/Contrastive-LM
非常にコンパクトにまとまっていて大変読みやすかった。あとでまとめる。
Step Code, StepFun, 2026.09
Paper/Blog Link My Issue
#Article #Tools #LanguageModel #AIAgents #Coding #SoftwareEngineering #Initial Impression Notes #Author Thread-Post #AgentHarness Issue Date: 2026-09-23 Comment
元ポスト:
高いトークン効率を持つStepFun製のターミナル向けのコーディング用Agent Harness
Rigel Base: Reaching Llama-3.2 Quality with <1% of its Compute, Mayank+, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #Pretraining #LanguageModel #Blog #OpenWeight #SSM (StateSpaceModel) #read-later #DataMixture #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-23 Comment
NoPEやuPを利用、事前学習では6つのフェースで異なるDataMixtureを利用しそのレシピも記載
On-Policy Distillation: Full-Vocabulary KL vs. Sampled Trajectory RL, Bhavin Jawade, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #LanguageModel #ReinforcementLearning #Distillation #Post #PostTraining #read-later #On-Policy Issue Date: 2026-09-23
Introducing GPT‑6 Sol and Luna, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #Blog #Proprietary #Selected Papers/Blogs #VisionLanguageModel #Initial Impression Notes #Reading Reflections Issue Date: 2026-09-23 Comment
元ポスト:
luna, solに関しては、AA Index上では大きな変化はないように見えるが、コスト性能比が改善しているように見える:
5.6-luna, solと比較するとコストが約半額となっている。やーすい
Claude系列、GPTの他モデルとのコスト対ベンチマークスコアの比較:
コスト対比でのベンチマークスコアとしてはGPT-5.6-lunaよりもGPT-6-Lunaのスコアが高い(そりゃ、そうなるように価格調整するよねとは思うが)。
コストと関係なく絶対的な能力としてみたとき、日本語能力は5.6の方が良さそうだなぁ、という感想を抱いている。
所見:
キャッシュと推論の改善により低コスト化が実現されている。
Introducing Claude Opus 5.5, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #Proprietary #Selected Papers/Blogs #VisionLanguageModel #Reference Collection Issue Date: 2026-09-23 Comment
元ポスト:
KernelBench-MegaのRTX PRO 6000向けにKimi Linearのデコード向けのメガカーネルを記述するベンチマークでAstraを超えてSoTAを達成したようである:
所見:
所見:
GPTはeffortの増加に従い単調増加だが、Claude系はそうならない
Introducing MiMo-V2.6 series, Xiaomi, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #MultiModal #read-later #Selected Papers/Blogs #VisionLanguageModel #Omni #Reference Collection #AudioLanguageModel #Author Thread-Post Issue Date: 2026-09-23 Comment
HF: https://huggingface.co/collections/XiaomiMiMo/mimo-v26
元ポスト:
所見:
Mimo-2.6はSWA+GQAのシンプルなアーキテクチャであり、それでOpenWeightモデルでSoTAを達成しており、進歩の多くはデータと事後学習のレシピの改善によってもたらされているという主張。
DeepSeekでも同じような報告がされている:
- DeepSeek-V4.1-Flash, DeepSeek AI, 2026.09
事前学習でも以下のような話はある:
- Pretraining progress is mostly coming from data, DWARKESH PATEL AND JERRY HAN, 2026.09
関連:
- We are streaming our RL big runs. The mimo-v2.6 series is coming soon, Xiaomi Mimo Team, 2026.09
開発者の方のポスト:
所見:
AA IndexでGPT-5.6-Solと同等性能を達成し、7kのRL dataとフレームワークをオープンにする予定とのこと。
所見:
解説:
- MAI-Thinking-1: Building a Hill-Climbing Machine, Microsoft, 2026.06
もあわせて読みたい
解説スレッド:
RL environments:
https://huggingface.co/datasets/XiaomiMiMo/MiMo-V2.6-RL-oss
元ポスト:
Reinforcing Agents with Collective Skills, Xu+, 2026.09
Paper/Blog Link My Issue
#Article #Dataset #LanguageModel #ReinforcementLearning #AIAgents #Environment #Author Thread-Post Issue Date: 2026-09-23 Comment
元ポスト:
dataset, env: https://hub.harborframework.com/datasets/skill2env/skill2env
Computational depth is all you need: Towards 107-layer neural nets, Akshay Vegesna, Samip Dahal, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #Blog #Scaling Laws #read-later #Depth #Author Thread-Post Issue Date: 2026-09-23 Comment
元ポスト:
Measurements for understanding the pace of AI development inside frontier labs, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #LanguageModel #AIAgents #Evaluation #Blog #SelfImprovement #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-20 Comment
元ポスト:
所見:
Jev Reproductions Tracker _ Decision Index, multimodalart, 2026.09
Paper/Blog Link My Issue
#Article #Survey #Evaluation #Selected Papers/Blogs #One-Line Notes #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-09-20 Comment
元ポスト:
世の中に存在する多くのJev-likeなSystemOne、あるいはDecision Modelを包括的にまとめ、独自に構成されたベンチマークに基づくDecision Indexによってリーダーボードを公開されており、いまのところSystemOneModel, Decision Modelの動向を追うなら、ここが決定版という印象がある。
たとえば、Clefブログで公開されたLayaのベンチマークスコアの低さなどは、Decision Indexにも示されている。
- Introducing Clef: our open-source decision models, and new RL fine-tuning platform, Cloudflare, 2026.10
- laya, convaiinnovations, 2026.09
v0.4に更新され、プライベートなベンチマークのもでの評価となったようである:
Introducing Astra for Law, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #Proprietary #Legal #Author Thread-Post Issue Date: 2026-09-20 Comment
元ポスト:
Step 5 Preview: Advancing the Pareto Frontier, StepFun, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #One-Line Notes #Author Thread-Post Issue Date: 2026-09-20 Comment
元ポスト:
StepFunのフラグシップモデルで、Fable 5, GPT-5.6-luna, GLM-5.3、Kimi-K3と並びAAの評価においてパレート最適に位置する。
600B-A27B, 1M contextのVLM, 10/15にOpenWeight化されるとのこと。
decider-2b, Mapika, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #SmallModel #OpenWeight #reading #One-Line Notes #Reading Reflections #SystemOneModel/DecisionModel Issue Date: 2026-09-20 Comment
元ポスト:
こちらはJev系のモデルを謳うものと比較して、Qwenをベースにしており、かつ広範なタスクで評価がされているため、ある程度のzeroshotでの汎用モデルとは言えそうである。が、結局のところどこまで汎用的に使えるかはよくわからない。
関連:
- Needle 3 Automation Foundation Model For Tiny Devices, Cactus, 2026.09
- Introducing System One Models & Jev, TypeSafe AI, 2026.09
Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure, Z.ai, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #Infrastructure #AIAgents #Blog #SelfImprovement #SoftwareEngineering #Initial Impression Notes #autoresearch/RSI Issue Date: 2026-09-19 Comment
元ポスト:
GLM開発におけるRSIよ初期の事例
cua-s1-forms, cua-ai, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #Dataset #Transformer #SyntheticData #OpenWeight #ComputerUse #Encoder #One-Line Notes #Author Thread-Post Issue Date: 2026-09-19 Comment
github:
https://github.com/trycua/cua/tree/main/libs/cua-s1
dataset:
https://huggingface.co/datasets/cua-ai/cua-s1-forms
元ポスト:
フォーム入力に特化したCUAを実施できるモデルのようで、これもいわゆるSystem One Modelとして紹介されている。Transformer Encoderをバックボーンとする。
まあしかしこれは言ってしまえばただの合成データでFinetuningをしたBERTに見える。Jevのような様々なタスクに対してzero-shotの汎化をしめすものではないであろう点に注意。Jevがどれだけ汎用なのかはわからんが...
laya, convaiinnovations, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #MultiLingual #OpenWeight #Encoder #One-Line Notes #Reading Reflections Issue Date: 2026-09-19 Comment
元ポスト:
state (email, text, ticket, あるいはJSON)を与え、質問のタイプとinstruction(choice, score, noul)を与えると、質問に対応する出力を得られるModernBERTベースのモデル。questionあたり512トークンまで扱えるようである(state, question, optionの合計で512トークン)。RLCDと呼ばれるポリシーがdistributionを出力する手法で学習され、この手法はhonest probabilityを出力することで機体報酬が最大化されるとの記載がある。100+言語に対応。
emailのサンプル例は、ユーザからの問い合わせに対して、担当部署(choice)、緊急度(score)、解約の確率(noul)を出力する例となっている。
関連:
- Needle 3 Automation Foundation Model For Tiny Devices, Cactus, 2026.09
- Introducing System One Models & Jev, TypeSafe AI, 2026.09
これ系の話がいきなり増えてきた。マルチリンガルでモデルがオープンなのはありがたや。
最初読んだ時は様々なタスクやドメインにzero-shotで利用できるのかなと思ったが、emailドメインにしか適用できないのでは?zero-shotで汎用的に利用できないのであれば、それはただのFinetuningされたBERTである。
- Introducing Clef: our open-source decision models, and new RL fine-tuning platform, Cloudflare, 2026.10
- laya, convaiinnovations, 2026.09
などでは、本モデルを様々なベンチマークで測定したところスコアが低いことが報告されているため、利用する場合は注意が必要と思われる。
改めてページ全体を眺めると、最下部に下記記載がある:
> Honest Limits
> Base checkpoints are near chance on typed-decisions zero-shot — 0.362 here and 0.352 for multilingual, against a 0.318 random and 0.461 majority-class baseline. The 0.766 belongs to the checkpoint fine-tuned on that benchmark's own training split. Laya is a fast base to specialise, not a zero-shot decision engine.
特化型モデルを作るためのベースであり、zero-shotでのdecision engineではない、というlimitationが記載されている。
Needle 3 Automation Foundation Model For Tiny Devices, Cactus, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #Transformer #Blog #SmallModel #Proprietary #Architecture #Selected Papers/Blogs #One-Line Notes #ToolUse #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-09-19 Comment
元ポスト:
チャットをせず、各ターンごとに関数呼び出しに特化したedge向け小型モデルとのこと。アプリが利用するツール群を渡し、ユーザの発言に基づいて全ての引数を埋めて関数を呼び出す、あるいはスキーマを与えればそのスキーマに則った出力を返し(構造化出力)、推測はしない(関数の範囲外のものは空出力)というもののようである。
これらは、simple attention networkと呼ばれるもので実現される。simple attention networkはtransformerからFFN Layerをを無くし軽量なHadarmard MLPというlayerに置き換え、FFNが従来保持していた知識に関する情報はengramによって、n-gram embedding側に持たせることによって高速、軽量化がじつげんされているようである。residual streamとしては、mHCが用いられているようである。
また、デプロイ時にモデルの深さを指定することで、20個あるうちのどのlayerを利用するかが決まり、性能とコストを調整できるようである。これを公式ポストではIntelligence Laddersと呼称している。
関連:
- [Paper Note] Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models, Xin Cheng+, arXiv'26, 2026.01
- [Paper Note] mHC: Manifold-Constrained Hyper-Connections, Zhenda Xie+, arXiv'25, 2025.12
関連:
- Introducing System One Models & Jev, TypeSafe AI, 2026.09
と思想が似ている。
Jev’s Architecture Unmasked, Archer Hume, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #AIAgents #Blog #Coding #SoftwareEngineering #Author Thread-Post Issue Date: 2026-09-18 Comment
元ポスト:
関連:
- Introducing System One Models & Jev, TypeSafe AI, 2026.09
果たして
Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint, PrismML, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Quantization #Blog #OpenWeight #ComputerUse #Selected Papers/Blogs #reading #One-Line Notes #Author Thread-Post Issue Date: 2026-09-18 Comment
元ポスト:
HF: https://huggingface.co/collections/prism-ml/bonsai-2
関連:
- Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone, PrismRL, 2026.07
ternary weight (1bit)の重みで動作するBonsaiシリーズのメジャーアップデートで、Qwen-3.8-27Bをベースにしており、ベンチマークスコアの98.2パーセントを保持しつつ、1/9程度に利用メモリが節約されるようである。Computer Useも可能で、ローカルのRTX 5090でBrowser Useするデモが掲載されている。
【ノーカット】AIに関わる米中戦争と日本の現状 国立情報研 佐藤教授, 時事通信映像センター, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #LanguageModel #Alignment #AIAgents #GenerativeAI #FoundationModel #Safety #Video #Selected Papers/Blogs #VisionLanguageModel #Robotics #WorldModels #VisionLanguageActionModel #EmbodiedAI #Reading Reflections #WorldActionModel Issue Date: 2026-09-18 Comment
非常におもしろかった...色々と考えさせられるなあ。
特にフィジカルAIにおいて、中国は人海戦術で、(簡単な動作を学習できたら複雑な動作を実現することにつながるという仮説の元)非専門家の簡単な動作に関するデータを大量に収集し、最近では仮想環境でデータを合成し活用する動きがある(Sim-to-Real)に対して、日本の場合は、特定の企業の現場のデータを収集しようとする動きがある。(このような文脈において、日本の政策として考えた場合に)特定の企業が有する現場のデータは、その現場特有の特徴が入り込むから実はロボットの学習データに向いていない、という話は、なるほど、と思うなどした。
たとえば、
- [Paper Note] Open X-Embodiment: Robotic Learning Datasets and RT-X Models, Open X-Embodiment Collaboration+, arXiv'23, 2023.10
- [Paper Note] LeRobot: An Open-Source Library for End-to-End Robot Learning, Remi Cadene+, ICLR'26, 2026.02
のように、多様なデータを統一された枠組みで学習をすることで汎化することを狙うという戦略の場合は、現場データの現場特有のバイアス問題はどの程度緩和されるのだろうか。
- Superposition, Memorization, and Double Descent, Transformer Circuits Thread, 2023.01
のDouble Decentのような議論を考えると、同じ種別のデータで、きちんと多様なデータが集まっていれば、現場固有のバイアスが含まれていても汎用的な特徴量としては学習されずらい、という現象は起こるように思える。
また、仮想空間と実世界のgapもあるようで、視覚的なgapは合成データ等で埋め合わせがある程度できそうな一方で、触覚や力感のような繊細な部分や、物理的なセンサーのノイズや、実際のデバイスの物理的な個体差のようなものは、仮想空間上では再現しづらいという話もあるようである。
ただ、なんとなーく、まず汎用的なモデルを学習して基礎的な動作(LLMで言うところのatomic skill)を満足にできる基盤モデルを用意し(これはおそらく仮想空間や非専門家データで足りる)、その基盤モデルはin-context learning能力を備えていて、現場のロボットに適用する際にはfew-shotのdemonstrationや、ルーブリックのようなものを与えて制御する、というのでうまくいくシナリオは起きそうな気がしており、そうなると大量の現場データは必ずしも必要ではなさそうだよね、という気はする。
ただし、日本が人海戦術をとれないのであれば、汎用基盤モデル→現場での適用、というレールの上に乗るのであれば、直接的に汎化させるには専門的すぎる現場のデータが与えられたときに、そこからどのようにして汎用的な基盤モデルを学習できるのか、というところがうまくいけば、ある程度形になるのではなかろうか、と思うなどした。
An alignment assessment of recent cybersecurity incidents, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #Alignment #Blog #Safety #Security #Monitorability Issue Date: 2026-09-17
Lean Verified Transformers, Sasha Rush, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #Transformer #Blog #Selected Papers/Blogs #reading #One-Line Notes #Proofs #Reading Reflections #Author Thread-Post Issue Date: 2026-09-17 Comment
元ポスト:
証明のコストが下がることによって、Leanによって型式的な証明をされたML Codeの価値が高まるのではないかという筆者の予測と、
一方で、証明を全て理解することは依然として困難という課題があるのとに言及し、
落とし所として人間にとって理解しやすい(部分的に証明したい)数学的な性質を選択的にAIによって証明するという試みをやってみよう、
そのために、Transformerを例に、Transformerの最適化や効率化の礎となっている数学的な性質を実際にLeanを用いて型式的に証明し理解してみよう、その結果、たとえば、VanillaAttentionとFlashAttentionが数学的に等価だということも示せる、
このような証明したい性質が何であるかを人間が選び、証明を得られることになった変化は重要であり、これらを今後どう活用するかということは今後の挑戦だよね、という話が書かれているようである。
実際に駆動するML Codeで、特定のモデルが実装されているときに、そのモデルが本来備えるべき重要な数学的性質を満たす実装になっていることが、型式的に証明された上で公開され、型式的に証明済みのbadgeがリポジトリに付与されている、みたいな未来が来るのだろうなあ
We are streaming our RL big runs. The mimo-v2.6 series is coming soon, Xiaomi Mimo Team, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #ReinforcementLearning #AIAgents #Blog #PostTraining #Selected Papers/Blogs #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-09-17 Comment
元ポスト:
リアルタイムでMimoのRLの学習の経過が公開されている。おもしろい
コストの試算:
Mimo, 1T-A42Bの場合、RL 1stepあたり1000万円程度かかっているようだ。
おそらくインフラは高度に最適化されている。
現時点で2モデル合計でコストが約300万ドルに到達し、日本円にして約4.7億円(ドル円157円換算, pro 68B / flash 81B Tokens)🙄DeepSWEやコーディング系のベンチは順調にスコアが向上している。また、noticesに記載されているインシデントの報告が興味深く、インフラ周りのエラーや、学習に悪影響を与えるタスクやデータセット単位での除去なども情報共有されており大変興味深い。PostTrainingデータセットなどMixtureも公開されている。
Scaling laws in large language models and toy models, Nicolas Zucchet, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #LanguageModel #Slide #Scaling Laws #Selected Papers/Blogs #reading #Author Thread-Post Issue Date: 2026-09-16 Comment
元ポスト:
Introducing System One Models & Jev, TypeSafe AI, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #AIAgents #Blog #Coding #SoftwareEngineering #Selected Papers/Blogs #reading #KeyPoint Notes #Reference Collection #Reading Reflections #SystemOneModel/DecisionModel Issue Date: 2026-09-16 Comment
細かいことは全くわからないが、LLMのようなチャットモデルは超人的な性能なのになぜAGIに繋がっていないのかが常々疑問で、code+AIに特化したモデルを開発したとのことで、それはどのようなものかというと、
LLMは人間の好みとなる応答を返すように、autoregressiveにテキストを生成するが、
本ブログで紹介されているシステムSystemOneは意思決定に最適化し、並列で生成され、自由なテキストを返せないが構造化出力を高速かつ安価に生成可能で、キャリブレーションされた確信度を常に返す、
というもののようである。
着眼点はとてもおもしろいのだが、どの程度高度な推論をすることができるのだろうか?
現代では高度な推論は計算コストである程度賄っているため、安価で高度な推論もできるのでれば大きなブレイクスルーだが、その技術はLLM側にも適用できる可能性があり、結局いつかLLM側に追いつかれる、という可能性がある。
逆に高度な推論ができないのであれば、適用可能なスコープは限定的となる。
RLCDという技術はすでに先行事例があったようだ:
利用規約でJevに関するベンチマークスコアや性能を公開することが禁止されているようである:
所見:
JamC-QAのスコアは(GPT-5.6-lunaより)低く、日本特有の知識などには弱い可能性がある:
- 『JamC-QA』: 日本の文化や風習に特化した質問応答ベンチマークの構築・公開(前編), SB Intuitions, 2025.09
色々な動向を鑑みるに、Encoderか、Decoderかはさておき(利用者から見たらどちらでもよい気がするので)、
- zero-shotで様々なタスクに利用可能で
- latencyが非常に速くて
- コストが安価なモデル
という3つの要素が重要に思える。
chatはできないが、構造化出力/関数出力等が可能(なことで様々な分類タスク等に適用できる)というのは、latencyの速さとコストの安価さを得るための手段。エンコーダ、デコーダも手段の話。
過去にPFNがJevに相当する機能を開発しサービス化までしていた、という話がある(関連技術は幅広く特許を取得しているようである)。
なぜ需要を掘り起こせなかったのか、という点は考えてみるとおもしろいのかもしれない。
個人的にはいまJevが流行っぽい兆しを見せているのは、時期的なものが大きい気がしており、
- (Reasoningモデルの台頭によって) LLMのlatencyが悪い
- 多くのワークフローに組み込む場合に得たい出力が(おそらく)構造化出力(で、めちゃめちゃ賢い判断はそこまで必要とされない)
- モデルのトークン利用料が増加し、(おそらく)運用コストが課題となってきた
という課題に世の中が直面し始めて、課題感として持たれ始めていること、が背景としてある気がしており、ちょうどタイミング的に「安い、速い、(そこそこ)賢い」のJevが世の中に刺さったのではないか、という気がしている。
AI Infrastructure at Periodic, Periodic Labs, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #Infrastructure #ReinforcementLearning #AIAgents #Blog #LLMServing Issue Date: 2026-09-16 Comment
元ポスト:
AHA LOOPED TRANSFORMER: Think deeper. Find your Aha. An open atlas of recurrent computation, adaptive depth, and latent reasoning., Yue Su, 2026.09
Paper/Blog Link My Issue
#Article #Survey #Transformer #Blog #Architecture #RecurrentModels #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-16 Comment
有志を募って、looped transformerに関する論文に関する情報を収集しているようである。submitするぞ!
元ポスト:
[Paper Note] FLASHREINFORCE: CRITIC-FREE SINGLE-ROLLOUT ASYNCHRONOUS RL FOR AGENTIC LANGUAGE MODELS, Hu+, ResearchGate, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #ReinforcementLearning #AIAgents #PostTraining #read-later #Selected Papers/Blogs #Asynchronous Issue Date: 2026-09-15 Comment
元ポスト:
解説:
CubeSandbox, Tencent, 2026.09
Paper/Blog Link My Issue
#Article #Tools #LanguageModel #AIAgents #One-Line Notes #Security #Author Thread-Post #SandboxEnvironment Issue Date: 2026-09-15 Comment
元ポスト:
AI Agentのためのサンドボックス環境を構築できるツールのようで、独立したカーネルを用いたサンドボックス環境が高速に可能で、secureでスケーラブルである、ということのようである。
万字长文带你读懂 RSI(自进化,Self-Evolving), 发布于, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #LanguageModel #AIAgents #Blog #SelfImprovement #KeyPoint Notes #autoresearch/RSI Issue Date: 2026-09-14 Comment
元ポスト:
中国語が読めないので、LLMの力を借りながら読んでいるが、RSIについての定義と、RSIに関する研究を整理、分類するためのTaxonomyを複数の軸から整理しているようである。以下LLMの力を借りて読んだ内容を自分の言葉も交えてメモとして残す。
---
RSIとは、Agentが環境との相互作用から得たタスク軌跡とフィードバックを利用して、自身の状態を更新し、更新後の状態を後続タスクに活用すること、と定義しているようである。
かなり広めの定義に見えるが、ざっくり言うとこのような定義になるのは、管理人の理解でもそうだと思う。
Agent = Model + Harness と捉え、RSIの何を変えるのか、という部分について以下の分類を用いて整理をしているようである:
- Parameter: 経験をモデルの重みに内在化する
- 一例: [Paper Note] Self-Adapting Language Models, Adam Zweiger+, arXiv'25
- Context: LLMへのInputに反映させる
- 一例: [Paper Note] Prime Agent: A Self-Improving RLM Harness, Seth Karten+, arXiv'26, 2026.08
- Memory: 外部に保存された経験や情報として蓄積し、必要に応じて利用する
- 一例: [Paper Note] ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory, Siru Ouyang+, ICLR'26, 2025.09
- Skill: 次に同じ状況が起きたらどうすべきかをskillとして定義する。Memoryは過去の経験を蓄積するものであり、Skillは次どうするかを定義するという棲み分けをしている
- 以下は参考として管理人がピックしたもの
- [Paper Note] SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning, Peng Xia+, arXiv'26, 2026.02
(パラメータも最適化しているがSKILLBANKが該当すると思われる)
- [Paper Note] SkillOpt: Executive Strategy for Self-Evolving Agent Skills, Yifan Yang+, arXiv'26, 2026.05
- Harness Code: Agentを動作させるプログラム(Scaffolding)を変更する
- 一例: [Paper Note] SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge, Lucio M. Dery+, arXiv'26, 2026.07
- 元ブログ中では↑が挙げられているが、Darwin Godel Machineの方が近いのでは?[Paper Note] Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents, Jenny Zhang+, ICLR'26, 2025.05
また、進化を構造化(バージョン管理)する際の分類軸として
- chain: A->B->Cのように進化させ常に最新版を利用する
- tree: 木構造でバージョンを管理する。ある1つの親ノードから子ノードが構成される親子関係で管理
- 一例: [Paper Note] Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents, Jenny Zhang+, ICLR'26, 2025.05
- graph: グラフ構造でバージョン管理する。すなわち、複数のノードに基づいて新たなノードを構成できる。ノードはバージョンだけでなく、タスク、trajectoryなども該当すると読める。
と整理しているようである。
誰がAgentを更新するかという軸の整理では
- self (student): (生徒)自身が更新する
- Teacher: trajectoryをteacherが分析しteacherが更新する
- Student + Teacher: 上記の両方で、生徒がまずtrajectoryを整理し必要な項目の候補を挙げ、Teacherが精査をし反映させる
いつ進化するのか、という軸では
- offline: 経験を蓄積し一括で更新する
- online: タスク実行ごとに動的に更新する
- hybrid: オフラインで更新した後にデプロイ。デプロイ後もオンラインで新たな経験等を追加し動的に更新するような方式
と定義しているようである。
そのほかにも、補足的な分類軸として、
- acceptance criteria: 更新したものを反映する基準
- feedback source: feedbackの出自(ベンチマーク, 環境, verifier, LLM, 人間など)
- feedback type: score, non-score,
- update frequency: 更新頻度
- scope of experience: 経験がどのスコープまで利用可能なのか(generickに使えるのか、特定ドメインのみなのか等)
We Must Pace the Frontier, Dario Amodei, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #Alignment #AIAgents #Blog #SelfImprovement #Safety #Reading Reflections #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-13 Comment
元ポスト:
果たして。
独占禁止法で訴えられているとのこと:
所見:
主にサイバーセキュリティの話題について述べられている。個人的にはサイバーセキュリティよりもロボティクスの方が色々大変そうだなあ、と思うのだが、どうだろう。Alignmentが完璧になる方法は今のところ見つかっていないように見え、非常に低確率でも世界中で普及したらなんらかの事故は起きる。まあでもそれは自動車やすでに存在する産業用の機械とかでも構造は一緒ではある。
少なくともサイバーセキュリティに関しては、現状モデルが保有する能力に対して人間側のシステムの脆弱性対応は追いついていないであろうから、短期的にみたら喫緊の課題ではあると思う。
ApprenticeBench: The first end-to-end benchmark of computer use, continual learning, and long-horizon agentic capabilities, set in a real job., NeoCognition, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Evaluation #Blog #One-Line Notes #ContinualLearning Issue Date: 2026-09-13 Comment
元ポスト:
Computer Use + Continual Learningに関するベンチマークで、仮想的な建設会社の経理担当として入社し、一定の見習い期間(7ヶ月)を経て、その期間に企業のハンドブックやERPシステムチュートリアル、過去の請求書などで学習をする想定。その実際の請求書処理をこなしていくが、そこには実務上の罠が多く意図的に仕掛けられているようで、Human Baselineでも成功率は51%。最終的にHuman Baselineを上回ったのはAstra, Fable 5.1のようである。モデル間の傾向の違いなども考察されているようである。
Recurrent Looped Transformer, Yifan Zhang, 2026.09
Paper/Blog Link My Issue
#Article #Transformer #Architecture #RecurrentModels #Author Thread-Post Issue Date: 2026-09-13 Comment
元ポスト:
few observations on synthetic data for pretraining trends, Aleksa Gordić, 2026.09
Paper/Blog Link My Issue
#Article #Pretraining #LanguageModel #SyntheticData #Post #One-Line Notes Issue Date: 2026-09-11 Comment
Phi, Nemotron, Qwenは事前学習における合成データを非常に重視している一方、Kimi, Olmoは徐々に合成データの取り入れを強めてきているが、DeepSeek, MAIは利用していない、という戦略の違いがあるようだ。
North-Small-Translate-1.0, Cohere, 2026.09
Paper/Blog Link My Issue
#Article #MachineTranslation #LanguageModel #Blog #OpenWeight #Author Thread-Post Issue Date: 2026-09-11 Comment
元ポスト:
Introducing SWE-2: Pushing the Pareto Frontier, The Cognition Team, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Blog #Proprietary #One-Line Notes #Author Thread-Post Issue Date: 2026-09-11 Comment
元ポスト:
Kimi-K3をベースに事後学習を通じてAstra, Fable 5.1と同等程度のSWE系ベンチマークスコアを獲得
