Blog (812) — 1/5
[Paper Note] Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters, Ailin Huang+, arXiv'26, 2026.02
Paper/Blog Link My Issue
#NLP #LanguageModel #Supervised-FineTuning (SFT) #Reasoning #MoE(Mixture-of-Experts) #AttentionSinks #PostTraining #Selected Papers/Blogs #One-Line Notes #Reference Collection #SelfDistillation Issue Date: 2026-02-03 GPT Summary- Step 3.5 Flashは、フロンティア知能と効率を橋渡しするスパースMixture-of-Experts(MoE)モデルで、1960億パラメータの基盤と110億パラメータのアクティブパラメータを組み合わせ、迅速で信頼性の高い推論を実現。交互スライディングウィンドウとMulti-Token Predictionを取り入れ、エージェント間の相互作用の待機時間を短縮。検証可能な信号とフィードバックを用いた強化学習フレームワークにより、安定した自己改善を図る。エージェントやコーディング、数学タスクで高い性能を示し、フロンティアモデルに匹敵する結果を達成している。 Comment
元ポスト:
公式ポスト:
解説:
ポイント解説:
ポイント解説:
固定されたデータ非依存のsink tokenを利用するよりも、attention headの出力にinput xに応じたgatingを設けるHead wise gated attentionの方が各ベンチマークでの性能が良い(Table2, gatingの計算量もほぼ無視できる)。Head wise gated attentionは、データに応じてattention headの出力を制御するため、データ依存のlearnableなsink tokenと解釈できる(A.1):
Head-wise Gated Attention:
- [Paper Note] Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free, Zihan Qiu+, NeurIPS'25 Best Paper
- [Paper Note] Forgetting Transformer: Softmax Attention with a Forget Gate, Zhixuan Lin+, ICLR'25, 2025.03
SFTデータがリリースされたとのこと:
https://huggingface.co/datasets/stepfun-ai/Step-3.5-Flash-SFT
元ポスト:
[Paper Note] Kimi K2.5: Visual Agentic Intelligence, Kimi Team+, arXiv'26, 2026.02
Paper/Blog Link My Issue
#ComputerVision #Pretraining #NLP #Supervised-FineTuning (SFT) #ReinforcementLearning #AIAgents #OpenWeight #mid-training #PostTraining #read-later #Selected Papers/Blogs #VisionLanguageModel #UMM #KeyPoint Notes #Reference Collection #Initial Impression Notes #ContextFolding Issue Date: 2026-01-27 GPT Summary- Kimi K2.5は、テキストとビジョンの共同最適化を重視するオープンソースのマルチモーダルエージェンティックモデルです。共同プリアトレーニングや強化学習を用いて、エージェントが複雑なタスクをサブ問題に分解し同時に実行するAgent Swarmを導入。評価結果では、コーディングや推論タスクで最先端の成果を達成し、最大4.5倍のレイテンシ低減を実証しました。Kimi K2.5モデルのチェックポイントは、今後の研究や応用に活用可能です。 Comment
HF: https://huggingface.co/moonshotai/Kimi-K2.5
元ポスト:
テクニカルレポートを受けての所見:
Agenticなタスク(HLE, BrowsingによるQA, DeepSearch)に関するベンチでGPT-5.2(xhigh)などを超えてSoTAを達成。他のタスクではcodingではClaude-4.5-Opusの方が上、image関連のタスクではGemini 3 Proに軍配が上がっている。VideoではGeminiとcomparableという感じだろうか(GeminiはLong Contextに非常に強い印象があるがLongVideoBenchて上回っている)。この辺は各タスクごとに強いモデルの棲み分けが進んできた。
また、Kimi K2.5非常に美麗でinteractiveなフロントエンドのデモが掲載されている。
Agent Swarmは、タスクをサブタスクに分解して、複数のエージェントに並列に投げて実行(最大100 sub agent)できるような枠組みであり、それらが高性能かつ低latencyとなるように訓練れている模様。これにより性能を向上させつつlatencyを80%削減しているとのこと。
この話はContext Foldingに近い話と推察される:
- [Paper Note] Scaling Long-Horizon LLM Agent via Context-Folding, Weiwei Sun+, arXiv'25, 2025.10
How Kimi, Cursor, and Chroma Train Agentic Models with RL, PHILSCHMID, 2026.03
によると、AgentSwarmはサブタスクを実施するエージェントのパラメータはfreezeし、サブエージェントを作成し、その結果を集約する処理をOrchestratorと呼ばれるlearnableなモジュールが担っており、サブエージェントからの結果はある種環境からの観測結果として扱われ、タスクの成否はOrchestratorのみに委ねられているようである。
Context Foldingは、Context Managerとポリシーが同時にFoldGRPOを通じて学習されており、エージェントそのものがサブタスク実行、結果を受け取り圧縮、メインブランチに加えるという能力をContext Managerと協調しながら実施することを学習している点が異なるように感じる。
また、並列実行したCritical Stepと呼ばれる、各サブエージェントの最大ステップ数に関する指標が導入され、これらCritical Stepをすべてのステップで集約し、特定のサブエージェントにworkloadが集中しないようにOrchestratorが調整されるとのこと。
公式ポスト:
OpenWeightモデルの中でソフトウェアエンジニアリングスキルでSoTA:
日本語でのポスト:
ポイント解説:
- How Kimi, Cursor, and Chroma Train Agentic Models with RL, PHILSCHMID, 2026.03
[Paper Note] The Optimal Token Baseline: Variance Reduction for Long-Horizon LLM-RL, Yingru Li+, arXiv'26, 2026.02
Paper/Blog Link My Issue
#NLP #LanguageModel #ReinforcementLearning #AIAgents #ICML #PostTraining #read-later #Selected Papers/Blogs #LongHorizon Issue Date: 2025-12-27 GPT Summary- 勾配分散の爆発による訓練崩壊を防ぐため、最適トークンベースライン(OTB)を導出し、累積勾配ノルムの逆数で重み付けする方法を提案。Logit-Gradient Proxy を使用して勾配ノルムを効率的に近似し、訓練の安定性を向上。N=4 でN=32相当の性能を達成し、トークン消費を65%以上削減。 Comment
元ポスト:
[Paper Note] Fara-7B: An Efficient Agentic Model for Computer Use, Ahmed Awadallah+, arXiv'25, 2025.11
Paper/Blog Link My Issue
#AIAgents #SmallModel #OpenWeight #ComputerUse #read-later #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2025-11-25 GPT Summary- CUAの発展は高品質な相互作用データの欠如に制約されてきた。これに対処するため、FaraGenという多段階ウェブタスク用のデータ生成システムを提案。多様なタスクを生成し、成功した軌跡を検証しつつ高い効率を発揮。FaraGenを用いて、小型CUAモデルFara-7Bを訓練し、ウェブタスクにおいて優れた性能を発揮。Fara-7Bは他のモデルを上回り、競争力のある結果を示す。また、モデルとデータをオープンソース化し、さらなる研究を促進する。 Comment
元ポスト:
computer useに特化したMS初のSLM(CUA)
関連:
- [Paper Note] AgentInstruct: Toward Generative Teaching with Agentic Flows, Arindam Mitra+, arXiv'24, 2024.07
- [Paper Note] Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks, Adam Fourney+, arXiv'24, 2024.11
- [Paper Note] WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models, Hongliang He+, ACL'24, 2024.01
- [Paper Note] Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V, Jianwei Yang+, arXiv'23, 2023.10
- GPT-4V-Act, ddupont808, 2023.10
WebVoyagerでの評価によると、タスクに対するコスト性能比が非常に高いことがわかる。
MIT Licence
著者ポスト:
WebTailBenchと呼ばれる新たなベンチマークも提案されている。既存データに加えて、より多様なドメイン(不動産, 求人, 複数ショップとの比較)などが含まれるようである。
Identification and Analysis of Identity-Centric Elements of Character-Likeness from Game Scenario, Iwata+, SIGDIAL'25
Paper/Blog Link My Issue
#Analysis #NLP #Game Issue Date: 2025-08-24 Comment
arxivに無さそうなので、概要は元ポスト参照のこと。キャラクターらしさの構成要素とそれらがキャラクターらしさに関してどのように関係しているかを分析した研究な模様。
元ポスト:
[Paper Note] UI-TARS: Pioneering Automated GUI Interaction with Native Agents, Yujia Qin+, arXiv'25, 2025.01
Paper/Blog Link My Issue
#ComputerVision #NLP #AIAgents #MultiModal #Reasoning #OpenWeight #ComputerUse #VisionLanguageModel #2D (Image) #One-Line Notes #text Issue Date: 2025-04-18 GPT Summary- UI-TARSは、スクリーンショットを入力として人間のような操作を行うエンドツーエンドのGUIエージェントモデルである。従来の商用モデルに依存せず、知覚、グラウンディング、GUIタスク実行において最先端の性能を発揮。OSWorldベンチマークでは、UI-TARSが高スコアを達成し、他のモデルを上回る。主要な革新には、強化された知覚、統一されたアクションモデリング、System-2推論、反省的オンライン・トレースによる反復的トレーニングが含まれる。これにより、UI-TARSは未知の状況にも適応可能な学習能力を持つ。GUIエージェントの進化経路も分析し、今後の発展を探る。 Comment
色々と書いてあるが、ざっくり言うとByteDanceによる、ImageとTextをinputとして受け取り、TextをoutputするマルチモーダルLLMによるComputer Use Agent (CUA)
関連
- OpenAI API での Computer use の使い方, npaka, 2025.03
元ポスト:
[Paper Note] Chain of Agents: Large Language Models Collaborating on Long-Context Tasks, Yusen Zhang+, arXiv'24, 2024.06
Paper/Blog Link My Issue
#Multi #NLP #LanguageModel #AIAgents #ContextWindow #NeurIPS #LongHorizon #Initial Impression Notes Issue Date: 2025-01-25 GPT Summary- 長い文脈を処理するために、Chain-of-Agents(CoA)フレームワークを提案。複数のワーカーエージェントが逐次的に情報を集約し、マネージャーエージェントが最終出力を統合。各エージェントに短い文脈を割り当てることで焦点の問題を軽減し、質問応答や要約などのタスクで最大10%の性能向上を実現。 Comment
元ポスト:
LLMがどこまでいってもcontext長の制約に直面する問題に対してLLM Agentを組み合わせて対処しました、的な話な模様
ブログ中にアプローチを解説した動画があるのでわかりやすい
Is the experimental code open source?
Thank you for your comment. I tried to find an official open-source implementation provided by the authors, but I was not able to locate one. In fact, I also checked the personal webpage of the first author, but there was no link to any released code.
Is seems that an unofficial implementation is listed under the “Code” tab on the NeurIPS page. I hope this is helpful. Thank you.
NeurIPS link:
https://nips.cc/virtual/2024/poster/95563
openreview:
https://openreview.net/forum?id=LuCLf4BJsr
[Paper Note] Alignment faking in large language models, Ryan Greenblatt+, arXiv'24, 2024.12
Paper/Blog Link My Issue
#NLP #LanguageModel #Alignment #Safety #read-later Issue Date: 2024-12-19 GPT Summary- 大規模言語モデルがアラインメント・フェイキングを行う様子を示し、訓練中の挙動変更を防ぐために選択的に訓練目的に従うことを提案します。具体的には、Claude 3 Opusが有害な質問に対し、無料ユーザーには14%従う一方で、有料ユーザーにはほとんど従わない傾向を確認。この理由は、無料ユーザーからの質問に対し、アラインメント・フェイキングの推論を通じて望ましい挙動を維持するためです。さらに、合成文書を用いることで同様のアラインメント・フェイキングを観察し、有害な質問に対する強化学習で訓練すると発生率が78%に増加することを発見しました。最終的に、モデルに指示を与えずとも訓練プロセスに基づいて推測する可能性があり、将来のモデルにもリスクが存在することが示唆されます。
中国AIは、どのように賢くなったのか。MoE、リニアアテンション、強化学習……Kimi K3の中身を紐解く, レバテックLAB, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Author Thread-Post Issue Date: 2026-11-19 Comment
途中参加になってしまったのでありがたい
元ポスト:
Research acceleration: The jagged frontier, OpenAI, 2026.11
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #AIAgents #One-Line Notes #Author Thread-Post Issue Date: 2026-11-19 Comment
元ポスト:
学習プロセスの監視の成功率は80%、、学習プロセスの開始は35%、推論、サービング環境のためのコード作成は25%とtakeawayに書かれている。が、具体的にどの範囲をやらせた上での数字なのだろう。
中ほどの、Research task success by O*NET taskを見ると見出しレベルでどのようなことがやられているかがわかる。
zero interventionでの成功率が最も低いのは、Write code for inference and serving stacksであり、成功率は25%程度だが、やはりわかるようでわからない。どの程度のレベル感のservingの話なのか。
Introducing Gemini 4 Neon, Google, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #VisionLanguageModel #One-Line Notes #Author Thread-Post Issue Date: 2026-11-19 Comment
ベンチマーク上はOpus5.5, GPT-6.2-Sol超え
元ポスト:
リリースの周期がOpenAI, Anthropicよりも加速:
Introducing GPT-6.2-Astra-Sol, OpenAI, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #VisionLanguageModel #Author Thread-Post Issue Date: 2026-11-18 Comment
元ポスト:
Vals Index:
Understanding Positional Embeddings in Modern LLMs, SEBASTIAN RASCHKA, PHD, 2026.11
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #PositionalEncoding #Author Thread-Post Issue Date: 2026-11-17 Comment
元ポスト:
Databricks AI Index, databricks, 2026.11
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2026-11-17 Comment
元ポスト:
databricksのunity gatewayを利用してAIを管理する企業における(すなわち、エンタープライズ分野における)モデルの利用の実態を集計したダッシュボードのようである。単独モデルの利用から、現在は複数モデル併用の傾向があり、かつOpenWeightModelの利用も増加傾向とのこと。興味深い。
プロプライエタリモデルの場合、AnthropicとOpenAIが98%程度を占め、60%程度はAnthropicのモデルとなっている。
OpenWeightモデルは、GLM, DeepSeek, Kimiあたりが支配的に見える。
How to Scale Text-to-image Models: a Handbook, Wenhao Chai, 2026.11
Paper/Blog Link My Issue
#Article #ComputerVision #DiffusionModel #TextToImageGeneration #Scaling Laws #ImageSynthesis #Author Thread-Post Issue Date: 2026-11-17 Comment
元ポスト:
おい、 Mutation Test をやれ。テスト品質を、測るために, mizchi, 2026.11
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #AIAgents #Coding #SoftwareEngineering #UnitTest Issue Date: 2026-11-17 Comment
おもしろい。テストコードの勉強をしたい
Introducing Claude Meetings: Add Claude to your video call and get the work started while you talk, Claude, 2026.11
Paper/Blog Link My Issue
#Article #NLP #GenerativeAI #Proprietary Issue Date: 2026-11-15 Comment
元ポスト:
かなり便利そうに見える(小並感
Build a Chatbot, DeepSeek AI, 2026.11
Paper/Blog Link My Issue
#Article #NLP #GenerativeAI #Conversation #Proprietary #API #Author Thread-Post Issue Date: 2026-11-15 Comment
元ポスト:
Looping a transformer increases no-CoT capabilities more than general capabilities, Alek Westover and Nick Kuhn, 2026.11
Paper/Blog Link My Issue
#Article #read-later #RecurrentModels #Author Thread-Post Issue Date: 2026-11-14 Comment
元ポスト:
When Rounding Breaks Machine Learning: A formalization of numerical accuracy across various machine learning libraries, Robert Joseph George and Sasha Rush, 2026.11
Paper/Blog Link My Issue
#Article #MachineLearning #NLP #LanguageModel #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-11-14 Comment
元ポスト:
関連:
- [Paper Note] A Fix for Softmax and Cross-Entropy, Jonathan T. Barron+, arXiv'26, 2026.10
Lean Verified Precision, Sasha Rush and Robert Joseph George, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #read-later #Selected Papers/Blogs #Proofs #Author Thread-Post Issue Date: 2026-11-14 Comment
元ポスト:
関連:
- [Paper Note] A Fix for Softmax and Cross-Entropy, Jonathan T. Barron+, arXiv'26, 2026.10
End‑to‑End 4‑Bit Training: Jack Cook in collaboration with others at Thinking Machines, 2026.11
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #read-later #Selected Papers/Blogs #LowPrecision #Author Thread-Post Issue Date: 2026-11-14 Comment
元ポスト:
関連:
- Introducing Inkling 2 Small, THINKING MACHINES, 2026.11
Introducing Gemini 4 Hydrogen, Google, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Proprietary #Author Thread-Post Issue Date: 2026-11-13 Comment
公式:
Strengthening our safeguards with frontier automated red-teaming, Anthropic, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Security #Safeguard #RedTeaming Issue Date: 2026-11-13 Comment
元ポスト:
Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs, Will DePue, 2026.11
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #read-later #Selected Papers/Blogs Issue Date: 2026-11-13 Comment
元ポスト:
oh...
所見:
ドキュメント中にBlackwell GPUに関する記述はすでに存在し、中国企業がBlackwell GPUを海外でレンタルすることは可能であり、中国国内で利用された証明にはならない、という主張がある。
また、元ブログでは重みの初期化にBlackwell GPUが利用されたことは示されるが、学習に利用されたことを示しているわけではないであろう点にも注意。
(どちらも元ブログ中に言及がある)
AI と研究, 和地 瞭良, 2026.11
Paper/Blog Link My Issue
#Article #MachineLearning #NLP #GenerativeAI #Author Thread-Post Issue Date: 2026-11-12 Comment
元ポスト:
Architecture Decisions for Marin 535B-A23B, Open Athena, 2026.11
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #Architecture #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-11-12 Comment
元ポスト:
所見:
The bias of on-policy self-distillation: Why on-policy self-distillation is not the silver bullet for continual learning, baseLABS, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #Distillation #Bias #PostTraining #Selected Papers/Blogs #On-Policy #KeyPoint Notes #SelfDistillation #Author Thread-Post Issue Date: 2026-11-12 Comment
元ポスト:
関連:
- [Paper Note] Self-Distilled RLVR, Chenxu Yang+, arXiv'26, 2026.04
- [Paper Note] Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?, Jeonghye Kim+, COLM'26, 2026.03
- [Paper Note] Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information, Guobin Shen+, arXiv'26, 2026.05
- [Paper Note] Rethinking Privileged Information in On-Policy Self-Distillation, Samyak Shrestha+, arXiv'26, 2026.08
- [Paper Note] Privileged Solutions or Context-Induced Teacher Behavior? Dissecting On-Policy Self-Distillation, Yuki Ichihara+, arXiv'26, 2026.08
- OPSDは、密な学習シグナルを提供するが、それらはバイアスを持ったシグナルである。
- たとえば、全体的な傾向てして、教師モデルが答えを知っていることによって、Wait,Hmm,のような思考の構造を左右する語彙のスコアを抑制するバイアスがある。(また、一事例としては、数学的な意味は同じだが、2*3ではなく6を出力をする際に尤度に最大の乖離が生じる、なども観測)
- これにより、すでに十分な推論能力を備えたモデルに適用すると性能が劣化することが報告されている。
- 一方で、推論能力が無いモデルに対して、同モデルの推論モードをオンにしたモデルを教師とするなど、推論能力の低いモデルに対しては効果がある場合がある。
- このようなバイアスを除くための研究も行われてきたが、適切な意図をもって実施さされなければ悪影響を及ぼしうる。なぜならば、バイアスを除いて残された学習シグナルが、理想的な推論プロセスを保証するわけではないからである。
- たとえば、Contrastive OPSDはそもそも特権情報を保持していることのバイアスを打ち消すために工夫された手法だが、長期間学習されるとモデルが崩壊する。
- OPSDは万能な手法ではなく、システムプロンプトやConstitutionのように、汎用的に利用されることが期待される文脈全体の振る舞いを蒸留するような用途に適している。
The components of agent memory, Anthropic, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #ContextEngineering #memory #Author Thread-Post Issue Date: 2026-11-10 Comment
元ポスト:
ToyBlocks: A controlled world for robot learning and evaluation, Ai2, 2026.11
Paper/Blog Link My Issue
#Article #Evaluation #Generalization #Robotics #VisionLanguageActionModel #reading #EmbodiedAI #Sim-to-Real #Initial Impression Notes #WorldActionModel #Data #Simulation Issue Date: 2026-11-10 Comment
github: https://github.com/allenai/ToyBlocks
元ポスト:
ロボットアームによるブロック操作を題材に、コントロールされたシミュレーション環境上でのタスクとデモンストレーションを自由に生成(高レベルなユーザの指示から、低レベルなスキルレベル(細かいサブタスクの挙動)のデータ生成)でき、かつ既存モデルの評価も可能なフレームワークで、planningの失敗なのか、実行時の失敗なのか、などの細かい原因の切り分けを可能とする、という感じに見える。
Scaling Marin's Open LLM Pre-Training, Open Athena, 2026.11
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #MoE(Mixture-of-Experts) #Selected Papers/Blogs #reading #Author Thread-Post Issue Date: 2026-11-08 Comment
元ポスト:
Independent Assessment of AI R&D Acceleration at Anthropic in October 2026, METR, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Safety #Initial Impression Notes #autoresearch/RSI #Author Thread-Post Issue Date: 2026-11-08 Comment
元ポスト:
超絶ざっくり言うと、METRがAnthropic内部の機密情報やインタビュー等を通じてAI活用によるAIの能力向上のペースを分析したところ、2024年3月〜2025年10月のペースと比較して、およそ2倍の可能性があると推察される(ただし不確実性が大きい)が、
元となる機密情報そのものを公開できないので、読者はMETRのこのブログを信じるしかなく、検証はできないよ、という感じだろうか。
所見:
内部の研究者のインタビューから鑑みるに、
コードの自動生成から自律的な実験にフェーズがシフトし、
計算資源とアイデアが現在のボトルネックであり、AIによって自律的に素晴らしいアイデアが生成する段階にはまだ到達していない。
所見:
GPT‑6 Cyber:アライメントを備えたサイバーセキュリティエージェントの新境地, OpenAI, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Proprietary #Security #Author Thread-Post Issue Date: 2026-11-08 Comment
元ポスト:
PFN、世界最高水準のAI翻訳がエッジで可能な大規模言語モデル PLaMo 3 Translate をオープンウェイトで公開, PFN, 2026.11
Paper/Blog Link My Issue
#Article #MachineTranslation #NLP #LanguageModel #SmallModel #OpenWeight #Japanese #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-11-08 Comment
HF: https://huggingface.co/collections/pfnet/plamo-3-translate
開発者ポスト:
Learning in a world of notes, Engram, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #PostTraining #memory #Author Thread-Post Issue Date: 2026-11-08 Comment
元ポスト:
SigLIP2に匹敵する画像エンコーダーをフルスクラッチで開発した話, Noetra Tech Blog, 2026.11
Paper/Blog Link My Issue
#Article #ComputerVision #Japanese #read-later #Encoder #2D (Image) #Backbone Issue Date: 2026-11-07 Comment
元ポスト:
Introducing Paperclip Datasets, GXL, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Initial Impression Notes #Author Thread-Post Issue Date: 2026-11-07 Comment
元ポスト:
ユーザが指定したデータを、大量の文献から自動抽出(引用付きなので辿れる)して、表形式で出力できるよ、という話に見える
Larger Tokenizers Suffer More Multi-Epoch Regret, Wenhao Chai, 2026.11
Paper/Blog Link My Issue
#Article #Analysis #Pretraining #NLP #LanguageModel #Tokenizer #One-Line Notes #Author Thread-Post #DataRepetition Issue Date: 2026-11-07 Comment
元ポスト:
ngramなどによってvocab sizeを増やすと、マルチエポックの設定で事前学習をすると、低頻度の語彙に対してmemorizationが生じ、validation lossが劣化するため、そのためにいくつかの対策が考えられる (低頻度の語彙をランダムに平均で置き換える, エポックごとにテキストをシャッフルする, 重みを平均化するなど)、これらによってregret(学習トークン量を揃えて、同じデータを繰り返し学習した場合と、ユニークなデータを学習した場合の損失の差)を半分程度にできる。また、H-Netsのようなdynamic tokenizerに基づくモデルが、マルチエポックの設定では有望そうだよ、という話に見える。
Paper Highlights of October 2026, JOHANNES GASTEIGER, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Safety #Author Thread-Post Issue Date: 2026-11-07 Comment
元ポスト:
Introducing Ripple-65B Preview, a Frontier Open-Weight Model, RICURSIVE INTELLIGENCE, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #OpenWeight Issue Date: 2026-11-06 Comment
HF: https://huggingface.co/ricursiveAI/Ripple-65B-Preview
元ポスト:
所見:
関連:
- [Paper Note] Value Residual Learning, Zhanchao Zhou+, ACL'25
Hearness Leaderboard, joelniklaus, 2026.11
Paper/Blog Link My Issue
#Article #NLP #AIAgents #One-Line Notes #Author Thread-Post #AgentHarness Issue Date: 2026-11-06 Comment
元ポスト:
一時期claude codeはコンテキストを多く食ってしまい、Codexの方が優れているという風潮があったが、leaderboard上では現在はそうでもないようである。
Introducing Inkling 2 Small, THINKING MACHINES, 2026.11
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #AIAgents #OpenWeight #read-later #Selected Papers/Blogs #One-Line Notes #Author Thread-Post Issue Date: 2026-11-06 Comment
元ポスト:
所見:
MOPDは利用されていないらしい
model weightは近いうちに公開とのこと
所見:
所見:
所見:
事前学習の計算量がDeepSeek V4.1 Flash 1017に対して、およそ40%程度。
重みが公開:
https://huggingface.co/thinkingmachines/Inkling-2-Small
アーキテクチャ解説
アーキテクチャ図:
Linear Attention無し(SWA+GQA)でAttentionResidualsを利用している。
Speculation on an Architecture for Continual Learning, snimu's blog, 2026.11
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #MultiModal #Architecture #VisionLanguageModel #Robotics #WorldModels #ContinualLearning #WorldActionModel Issue Date: 2026-11-05 Comment
元ポスト:
Continual Learning, Online and Offline, snimu's blog, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ContinualLearning Issue Date: 2026-11-05 Comment
元ポスト:
GPU-accelerated Weight Teleportation: Lossless GPU Compression for Instant RL Weight Sync, humans&, 2026.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #SoftwareEngineering #PostTraining #Compression #Initial Impression Notes Issue Date: 2026-11-05 Comment
元ポスト:
RLにおける学習側と推論側の重みの同期におけるボトルネックを高速化しボトルネックを緩和する話
GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains, SemiAnalysis, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Evaluation #Author Thread-Post Issue Date: 2026-11-02 Comment
元ポスト:
Time in the Chaos, Sharon Li, 2026.10
Paper/Blog Link My Issue
#Article #read-later Issue Date: 2026-10-31 Comment
元ポスト:
フロンティアモデルのミスアライメントを検知する仕組み, OpenAI, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #AIAgents #Proprietary #Probing #Monitorability #ToolUse #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
公式:
The Economics of Intelligence: How and when does AGI lead to economic transformation?, DeepMind Institute, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #read-later #Selected Papers/Blogs #Coordination #Economics Issue Date: 2026-10-31 Comment
元ポスト:
SWE-bench Multimodal v2 is not multimodal, sankalp's blog, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #MultiModal #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
Introducing SwarmChat: Open-Source Slack for Your AI Agent Swarm, SmarmChat, 2026.10
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #AIAgents #Conversation #Selected Papers/Blogs #reading #Initial Impression Notes #Author Thread-Post #Coordination Issue Date: 2026-10-31 Comment
元ポスト:
エージェントスウォーム向けのオープンソースSlack(頭に浮かんだことをメモったけどタイトルのままだった...
関連:
- [Paper Note] Agensh: Scaling Organizational Intelligence to 1,024 Agents, Zhihao Zhan+, arXiv'26, 2026.09
- [Paper Note] Scaling Discovery through Test-Time Communication, Jongho Park+, arXiv'26, 2026.09
- [Paper Note] Self-Organizing Agent Teams Learn to Reason Together, Aneesh Pappu+, arXiv'26, 2026.09
neural-pairing, Sauers, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #read-later #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
異なるモデルファミリーのモデル間の隠れ状態を通信可能にする試みのようである
Deep Learning Speedrun, Sasha Rush, 2026.10
Paper/Blog Link My Issue
#Article #NeuralNetwork #MachineLearning #NLP #Mathematics #MinimalCode Issue Date: 2026-10-31 Comment
元ポスト:
Gemini 4 Carbon: our next frontier model, Google, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Selected Papers/Blogs #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
こーれは強い。come backした
関係者ポスト2:
AA Indexでトップ:
Introducing HLE-Diamond, Center for AI Safety and Scale AI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #Dataset #LanguageModel #Evaluation #VisionLanguageModel #One-Line Notes #Author Thread-Post Issue Date: 2026-10-31 Comment
元ポスト:
HLEを1年かけて洗練、cleaningした1000問のサブセットとのこと
関連:
- [Paper Note] Humanity's Last Exam, Long Phan+, arXiv'25, 2025.01
AA Index v5に組み込まれている:
NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt, NVIDIA, 2026.10
Paper/Blog Link My Issue
#Article #NLP #SpeechProcessing #MultiLingual #OpenWeight #AutomaticSpeechRecognition(ASR) #Author Thread-Post #SpeakerDiarization Issue Date: 2026-10-30 Comment
HF: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
元ポスト:
所見:
Qwenputer: a fully functioning, deterministic RISC-V CPU inside Qwen3.5, DIVYANSH AGRAWAL, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #SoftwareEngineering #reading #One-Line Notes Issue Date: 2026-10-30 Comment
元ポスト:
GDN2のα, βを1(すなわち、忘却しない、完全に書き込みする)、かつKey k_tをone-hot(特定の次元のみを更新)にすると、GDNをメモリとして扱うことができるため(情報は状態の次元ごとに管理され、k_tで指定された次元以外の値は保持され、k_tの次元のみの値が完全に上書きされる)、あとは値の読み出しをするattentionと演算ができるFFNを追加(学習ではなくCPUの挙動を再現できるように設定)すれば、モデル内部に論理的にCPUを搭載したモデルができあがるよ、という話のようである
MarkdownからきれいなPDFを作るCLIツールpfpdfを公開しました, PFN, 2026.10
Paper/Blog Link My Issue
#Article #Tools #NLP #Japanese #One-Line Notes #Author Thread-Post Issue Date: 2026-10-30 Comment
github: https://github.com/pfnet-research/pfpdf
元ポスト:
マークダウンでテキストを管理し、ワンライナーでPDF出力できるCLIツールで、環境によって日本語フォントの有無などによってレンダリング結果が変化するため、このような環境起因の影響を極力減らすためにオープンで再配布可能なライセンスのフォントをあらかじめ同梱し、OSに標準インストールされているフォント非依存としているとのこと。
Lean Verified Tokenizers, Sasha Rush, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #Tokenizer #PostTraining #Selected Papers/Blogs #reading #Proofs #train-inference-mismatch #Initial Impression Notes #needs-revision #Author Thread-Post #AgentHarness Issue Date: 2026-10-28 Comment
元ポスト:
これは非常に興味深いが、理解が追いつくのが大変そうだ。RLにおける推論-訓練間におけるトークンミスマッチの問題を、Leanによって本来あるべき様々なシステムでの不変条件(e.g., BPEのマージの順序, メッセージ追加時の過去のトークン列の不変性, (self-distilationなどでよくある)メッセージを過去に挿入してもトークン列が不変など)を、verifyされた実装の上で実行することによって解決できるかを模索するため、プロトタイプとなるミニマムなトークナイザを考えてみました、という感じの話に見える。
とりあえず、
- (推論側)サンプリングしたトークン列->デコード->エンコード(訓練側)によってトークンのミスマッチが起きることがあるし、
- 推論時のバイト列から、訓練時に過去メッセージのバイト列が変化した場合(thinkの削除やメッセージの挿入など)でもトークンのミスマッチが生じる
などは覚えておきたい。そしてまだゆるふわ理解なので、何回もこの辺のトピックを再訪する中で固めていきたい。
関連:
- From Tokens to Bytes I: Scaling Hierarchical Networks, CARTESIA, 2026.10
Introducing LFM3: Every Modality for Specialized Intelligence, Liquid AI, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #SmallModel #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #Omni #AudioLanguageModel #SystemOneModel/DecisionModel Issue Date: 2026-10-28 Comment
HF: https://huggingface.co/collections/LiquidAI/lfm3
元ポスト:
Genie 4: A new generation of world simulation, Google Deepmind, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #Proprietary #WorldModels #interactive Issue Date: 2026-10-28 Comment
元ポスト:
国産生成AI基盤モデルPLaMo PrimeにWeb検索・Deep Research搭載 調査計画の立案から出典付きレポートまで自律的に実行、オンプレミスにも対応, PFN, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #Japanese #read-later #Author Thread-Post Issue Date: 2026-10-28 Comment
元ポスト:
学術コミュニティとの連携による科学的理解の深化, OpenAI, 2026.10
Paper/Blog Link My Issue
#Article #AIAgents #Mathematics #ScientificDiscovery #Science #Physics #Initial Impression Notes #autoresearch/RSI #Author Thread-Post Issue Date: 2026-10-28 Comment
元ポスト:
また新しい難問が解かれたようだ?(小並感)
Introducing GPT-6.1-Terra, OpenAI, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Proprietary #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-28 Comment
元ポスト:
Concerning behavior from a popular open-weight AI model, Cohere, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Alignment #AIAgents #Safety #Security #Author Thread-Post Issue Date: 2026-10-28 Comment
元ポスト:
所見:
所見:
Alignment Hub, The Witness Archive, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #Alignment #AIAgents #Safety #Selected Papers/Blogs #One-Line Notes #Security #Author Thread-Post Issue Date: 2026-10-28 Comment
元ポスト:
共通のフォーマットで、世界のAI Agent研究をしているラボで生じたインシデントを、中央集権的にまとめようという試みで、集約されることでインシデント間を紐付け、インシデントの影響を理解することに役立てる。
Introducing Fern, Mirendil, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #LongContext #Proprietary #Author Thread-Post Issue Date: 2026-10-27 Comment
元ポスト:
context windowが10Mのproprietaryモデルとのこと
所見:
Knowing How Is Not Knowing What, Yunze Xiao, 2026.10
Paper/Blog Link My Issue
#Article #ReinforcementLearning #read-later #Environment #Author Thread-Post Issue Date: 2026-10-26 Comment
元ポスト:
所見:
Securing our frontier model training environment, OpenAI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #Security #RedTeaming Issue Date: 2026-10-26 Comment
元ポスト:
Building agents: When to fold subagents into your main agent loop, Claude, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #SoftwareEngineering #Initial Impression Notes Issue Date: 2026-10-26 Comment
元ポスト:
以下のような場合はサブエージェントを活用する価値があるが
- コンテキストの肥大化なよる性能劣化
- 並列、かつフレッシュなコンテキストで解く必要があるタスクの存在
- 適切なツール選択を単一エージェントが実施できない、あるいはシステムプロンプトに矛盾が含まれている
多くのユースケースの場合は、かつて組まれていたIntent Classifier, 固定の多段階推論パイプライン、ユーザセグメント別の分類、マルチエージェントのオーケストレータなどの構成は(既にこれらを単一エージェントで実施できるほど高性能になっただ)不要で、
単一のエージェントに対して、適切なツールとスキル(コンテキストを必要に応じて読み出すような段階的開示も含む)を与えて実行すれば十分で、コストもlatencyもその方が改善する場合が多いよ、というbest practiceの共有に見える。
AI agents need 1Password, not your passwords, 1Password, 2026.10
Paper/Blog Link My Issue
#Article #AIAgents #SoftwareEngineering #Security #Author Thread-Post Issue Date: 2026-10-26 Comment
元ポスト:
エージェントに認証情報を持たせず、取得もさせず、代わりに1Passwordが代わりに認証を実施することで、エージェントにログイン後のアクセスを提供する、という感じだろうか。興味深い
RIPL: Real-time Intelligence When Every Millisecond Counts, Liquid AI, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #LLMServing #Initial Impression Notes Issue Date: 2026-10-26 Comment
元ポスト:
LFM向けの高速な推論エンジンのようだが、どうやらオープンソースではなくエンタープライズ向けなようだ。
所見:
A firewall for your agents: Control what your agents can access and do. Composio enforces your policies and uses task context to protect against prompt injection., Composio, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #One-Line Notes #Security #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-10-26 Comment
AI Agentのruntimeにおいて、System One Modelによって構築されるファイアウォール
元ポスト:
Evaluating Agents on Highly Subjective Tasks, CAMERON R. WOLFE, PH.D., 2026.10
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #AIAgents #Subjective #Author Thread-Post Issue Date: 2026-10-25 Comment
元ポスト:
Introducing Ampersand, the first model trained for people to achieve more together. Available today through our API., humans&, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #Initial Impression Notes Issue Date: 2026-10-25 Comment
元ポスト:
所見:
人間と協働できるようにしようね、みたいな話が少し増えてきた気がする
INTRODUCING Phonon: Gradium's open-weight text-to-speech, small enough to ship in any app. Private, and it works offline., Gradium AI, 2026.10
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #SpeechProcessing #SmallModel #MultiLingual #OpenWeight #TTS #Author Thread-Post Issue Date: 2026-10-25 Comment
元ポスト:
HF:
https://huggingface.co/gradium/phonon-31m-en
マルチリンガルなTTS。英語、フランス語、ポルトガル語、スペイン語ドイツ語の5か国語に対応するモデルがあり、5か国語をサポートするマルチリンガルなモデルもある。
Krea3: Frontier Image Editing Model 4x faster than Nano Banana Pro, Krea, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #NLP #TextToImageGeneration #Proprietary #Editing #ImageSynthesis #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-25 Comment
元ポスト:
安い、速い、(パレート最適)、高性能(Arena4位)の画像生成、編集モデル。
Nanbeige4.3-33B, Nanbeige, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #OpenWeight #Selected Papers/Blogs Issue Date: 2026-10-25 Comment
元ポスト:
Hy-Nomas, Tencent, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #OpenWeight #VideoGeneration/Understandings #WorldModels #interactive #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-25 Comment
元ポスト:
HF:
https://huggingface.co/tencent/Hy-Nomas
github:
https://github.com/Tencent-Hunyuan/Hy-Nomas
自由記述のテキストとカメラコントロールによるinteractiveな制御と、最大60sの生成をサポート
PretrainGym: can an agent curate pretraining data?, Justin Yang Chae, 2026.10
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #Initial Impression Notes #autoresearch/RSI Issue Date: 2026-10-24 Comment
元ポスト:
RSIの枠組みで事前学習データを構築する能力を測定するという試みで、ざっと見た感じエージェントがHFに対して検索をかけ、事前学習データを構築し、モデルを学習しValidation scoreを取得するようなループが繰り返され、最終的なtest dataでスコアが測定されるような枠組みは記述されている。ただし、RSIフェーズにおいてどの程度のモデルサイズ実験され、トークン量や計算量が固定された上で比較されているかなどはざっと見た感じ見当たらない気がしており、よくわからなかった。テストの方は、fixed GPT/400M Tokenという記述がある。
JST-2: Physics-Native World Foundation Model, ViGGLE, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #Selected Papers/Blogs #3D (Scene) #Robotics #WorldModels #Realtime #Author Thread-Post Issue Date: 2026-10-24 Comment
単にvisual tokenを処理するモデルとは異なり、各トークン(Physical-Native Token)が、xyz座標、dynamics/attributeを持つような、3D Sceneをネイティブでサポートするようなアーキテクチャを採用しているようで、リアルタイムに3D Sceneを拡張できるとのこと。興味深い。
元ポスト:
Introducing Kimi K3.1 Pro, Moonshot AI, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #OpenWeight #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-10-23 Comment
元ポスト:
ベンチマーク上はFable 5,1と同等以上という感じに見える。11月4日にweightがオープン
AA IndexでFable 5.1超え:
SNS上での評判はあまり良くないという噂がある:
モデルがオープンになった:
https://huggingface.co/moonshotai/Kimi-K3.1-Pro
所見:
terminal benchに対するbenchmaxing疑惑:
You could have invented transformers from memory, Alex Wang, 2026.10
Paper/Blog Link My Issue
#Article #NeuralNetwork #Analysis #NLP #Transformer #Architecture #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-22 Comment
元ポスト:
transformerのMLP, self-attentionを、KeyとValueに基づくメモリとして解釈する
Introducing Flint, recursive, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Coding #OpenWeight #SoftwareEngineering #Selected Papers/Blogs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-22 Comment
HF: https://huggingface.co/RecursiveSI/flint
関連:
- First Steps Toward Automated AI Research, Recursive Superintelligence, 2026.06
40B-A2.5Bのローカル向けコーディングモデル。Richard Socher氏
元ポスト:
Flora: An Open Model Suite for Scaling Robotics Data Engines, Leng+, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #Annotation #OpenWeight #Robotics #3D (Video) #EgocentricView #Data #Author Thread-Post Issue Date: 2026-10-22 Comment
元ポスト:
Diffusion at Scale: Introducing Mercury 3, inception, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #DiffusionModel #Proprietary #read-later #Selected Papers/Blogs #Author Thread-Post Issue Date: 2026-10-20 Comment
元ポスト:
RSI-Inference Bench: A Long-Horizon Benchmark for Self-Improving, Liu+, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Evaluation #LLMServing #autoresearch/RSI #Author Thread-Post Issue Date: 2026-10-17 Comment
元ポスト:
Inside Step 5 Preview: Architecture and Training for Agentic Work, StepFun Team, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel Issue Date: 2026-10-17 Comment
元ポスト:
Building a Real-world Autonomous Robotic System with Causality-driven Agent and World Model, AETHER AI, 2026.10
Paper/Blog Link My Issue
#Article #Robotics #Author Thread-Post Issue Date: 2026-10-17 Comment
関係者ポスト:
元ポスト:
FLAT: Flash Linear Attention on TPUs, Mishra+, 2026.10
Paper/Blog Link My Issue
#Article #LinearAttention #Author Thread-Post Issue Date: 2026-10-17 Comment
元ポスト:
Gemini 4 Argon: Built to solve your hardest problems, Google, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #One-Line Notes Issue Date: 2026-10-17 Comment
元ポスト:
APIとGoogle Studioから利用可能になったようだ
関連:
- Gemini 4 Argon: our next era of frontier intelligence, Google, 2026.09
Gemini-3.8-Flashと比較して推論ステップがより効率的に:
OCR性能が良いらしい:
Frontier Pre-training at Microsoft AI, MAI, 2026.10
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #Pretraining #NLP #LanguageModel #read-later #Selected Papers/Blogs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-16 Comment
元ポスト:
事前学習において、bits-per-bytesでKimi-K3超え
所見:
解説:
Source Scaling
LR x Weight Decayの積に着目した最適なハイパーパラメータの経験則
Activation Gradient Clipping
Redesigning source control at Anthropic, Anthropic, 2026.10
Paper/Blog Link My Issue
#Article #AIAgents #Coding #SoftwareEngineering #read-later #Author Thread-Post Issue Date: 2026-10-14
Dust: Pretraining Transformers Without Backpropagation, Q LABS RESEARCH, 2026.10
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel Issue Date: 2026-10-13
Noise: Speedrun for pretraining without backpropagation, Q LABS RESEARCH, 2026.10
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #Author Thread-Post Issue Date: 2026-10-13 Comment
元ポスト:
関連:
- Dust: Pretraining Transformers Without Backpropagation, Q LABS RESEARCH, 2026.10
解説:
TutorMoments‑Preview: When Help is Unhelpful — Evaluating AI Tutors for Productive Struggle, Ai2, 2026.10
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #Education #AIAgents #Evaluation #reading #KeyPoint Notes #Reading Reflections #Open-endedTasks #Author Thread-Post Issue Date: 2026-10-13 Comment
元ポスト:
学生に数学を教えるシチュエーションにおいて、学生に理解を手助けするためのscaffoldingを実施すべき場面がか、あるいはより思考を深めさせるのが適切な場面か、をモデルが適切に判断した上でtutoringできるかを測定するためのアノテーションデータを構築。アノテーションデータでは実際の教員がsession dataに対してアノテーション(Key Learning Momentの場面と、LLMがReplayを始めるべきCut Point, なぜこの瞬間が鍵となるlearning momentなのか、人間のtutorがどのようなアクションを取ったか、アクションの効果などを自由記述)しすることで構築し、LLMによって、Push for Rigor Moment, Scaffolding Moment, Over-Scaffold Moment S/A/Rラベル)3種類のラベルを付与することで正解データを作成。
LM TutorはCut Pointまでの全てのcontextを与えられた上で、tutoringをsynthetic studentに対して実施(LM Tutor 3ターン、synthetic student 2ターン)、これらのターンに基づいて判断をするLLMが、LM Tutorのtutoringに対してS/A/Rラベルを同様に付与し、正解ラベルとのAlignmentを測定することで評価(Figure 1)。
LM Tutorに"tutor well."と指示するだけではスコアリングが低く、明示的にtutoringに関するinstructionを加えたらスコアが大幅に向上。
前提として、今回のような正解が一つに定まらないOpen-endedなタスクについて評価するのは非常に難しく、特定ドメインにおいて、LLMが少なくとも人間の専門家と同じような挙動を実現できるかという観点で見ると、
- LLMがパラメータに内在化している世界知識と能力はだけでは限界があり、
- 明示的な行動指針をinstructionとして書き起こせるのであれば、専門家にAlignした行動をとることができるようになってきている
という話なのかなと思う。
正解を定義して外部のverifierが判定できるようなタスクについては、現在のRLVRのような枠組みとEnvironmentがスケールすればかなり広範まで正確にできるようになるだろうな、という見通しは立つが、Open-endedなタスクにおいては課題が残っている状態と言える。
また、今回のtutoringによる評価では人間が言葉でノウハウを書き起こせたが、そのような明文化されたノウハウは必ずしも存在しているわけではなく、かつ必ずしも明示的に書き起こせるわけではないと考えられる。今回はinstructionとして明文化することでスコアが向上しているが、そもそも後者の場合はどうするのか、という課題も残る。
GLM-Legal: Advancing Agentic Legal Intelligence, Z.ai, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #Legal #One-Line Notes #Author Thread-Post Issue Date: 2026-10-13 Comment
元ポスト:
legal系のベンチマークでは、GPT-6-Astra, Fable 5よりも、Kimi K3, GLM-Legalのような中国系OpenWeightモデルの性能が良い
Find evidence that supports (or refutes) a given claim.: Each claim is run against 360M+ passages across PMC, arXiv, bioRxiv & medRxiv, and abstracts.
Paper/Blog Link My Issue
#Article #Tools #NLP #Search #ScientificDiscovery #Selected Papers/Blogs #One-Line Notes #Reading Reflections #SystemOneModel/DecisionModel Issue Date: 2026-10-10 Comment
元ポスト:
SystemOneModelをバックボーンに、scientific claimをクエリとして与えると、100M+の文献に対して検索をかけ、claimに対する(support, opposeな立場の)evidenceを抽出してくれる無料のAPIで、SystemOneModelをバックボーンとして駆動しているようである。めちゃめちゃおもしろそう
たとえば下記claimをクエリとして投げたところ、関連する文献の、関連するpassageがハイライトされた状態でSupportingが7件/Refutingが0件ほど抽出され、citation countも表示されている。
```
Large Language Models can imitate user preferences from descriptive user's persona ana can be used to evaluate presonalised systems.
```
少なくとも下記クエリに対しては、Survey論文や、個別の研究の実験設定において、このようなペルソナを入力することでユーザのpreferenceをシミュレーションするという、ものばかりがヒットし、そもそもLLMによってどこまでユーザのpreferenceをシミュレーション可能なのか?というものを定量的に調査した文献は引っかかっていないように見えた。これがもし真実なのだとしたら、便利だなあ、、、。
特に、原文中の関連するpassageがスニペットとしてハイライトされた形で提示されるので非常に良い。
ただし、クエリを少し変えただけで、結果が結構変わるので、クエリの記述の仕方にはかなり注意をした方がよさそう。
MAI-Code-1.1-Flash: Better, faster, at a quarter of the cost, MAI, 2026.10
Paper/Blog Link My Issue
#Article #Author Thread-Post Issue Date: 2026-10-10 Comment
元ポスト:
数学における AI の進展の共有, OpenAI, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #GenerativeAI #Mathematics #Proofs Issue Date: 2026-10-10 Comment
元ポスト:
解説:
embeddinggemma-2, Google, 2026.10
Paper/Blog Link My Issue
#Article #Embeddings #NLP #MultiModal #MultiLingual #Encoder #2D (Image) #3D (Video) #audio #text #Author Thread-Post Issue Date: 2026-10-10 Comment
元ポスト:
pplx-decider-v1.1-27b, Perplexity AI, 2026.10
Paper/Blog Link My Issue
#Article #NLP #MultiModal #OpenWeight #Selected Papers/Blogs #SystemOneModel/DecisionModel Issue Date: 2026-10-10 Comment
元ポスト:
Decision index v0.3.1においてSoTA:
- Jev Reproductions Tracker / Decision Index, multimodalart, 2026.09
Automation Bench Verified, _parsewave_, 2026.10
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #AIAgents #Evaluation #One-Line Notes #Author Thread-Post Issue Date: 2026-10-10 Comment
dataset: https://www.kaggle.com/datasets/parsewave/automationbench-verified-v0-0
- [Paper Note] AutomationBench, Daniel Shepard+, arXiv'26, 2026.04
に含まれるverifierをAI Agentで検証し、AI Agentによって323がバグの疑いとフラグ付けされ、そのうち206件が実際のバグと人間によるレビューで判定され、修正された。
KohakuFA: Flash attention for Blackwell, with gradients you can trust
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #Attention #Stability #GPUKernel #Initial Impression Notes #Author Thread-Post #Bug Issue Date: 2026-10-09 Comment
元ポスト:
cuDNN, FA4, flex attentionに、attentionのlogitが大きくなると、backwardでの勾配が本来よりも10--1000倍、最悪の場合はinfとなるバグが見つかった報告のようである。forwardは正常に動作していふように見え、学習の後半にならないと気づけないとのこと。
Prime Inference: Fast, Reliable Serving for Frontier Open Models, Prime Intellect, 2026.10
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Infrastructure #LongContext #LLMServing #SoftwareEngineering #KV Cache Issue Date: 2026-10-09 Comment
元ポスト:
New in llama.cpp: Decision Models, Nguyen+, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Initial Impression Notes #SystemOneModel/DecisionModel Issue Date: 2026-10-09 Comment
元ポスト:
llama.cppに SystemOneモデルとして推論するためのエンドポイント `/v1/systemone` がサポートされたようである。
Expert parallelism at hero scale, Open Athena, 2026.09
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #MoE(Mixture-of-Experts) #SoftwareEngineering #Parallelism #GPUKernel #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
From Sampling to Reinforce, Sasha Rush, 2026.10
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #ReinforcementLearning #PostTraining #Selected Papers/Blogs #reading Issue Date: 2026-10-09 Comment
元ポスト:
Invent a Dataset: Measuring Dataset Generation Abilities with Zero Seed Data, Singh+, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #SyntheticData #Proprietary #One-Line Notes #Data #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
手元にdataが何もない状態で、所望のデータのdescriptionをクエリとして投げると、学習データを返すInventAPIをリリースしたよ、独自の実験結果によるとfrontier LLMと比較しても学習データの多様性や品質が高かったよ、という話のようであり、技術的な詳細は記述されていなさそうである。commercial useも可能なpermissive licenceでINVENT-A-DATASETもリリース、とのこと。
The ultimate guide to multi-harness RL, Kolavi+, 2026.09
Paper/Blog Link My Issue
#Article #Multi #NLP #LanguageModel #ReinforcementLearning #PostTraining #Generalization #Initial Impression Notes #Author Thread-Post #AgentHarness Issue Date: 2026-10-09 Comment
元ポスト:
著者ポスト:
ざっくり言うと、単一のハーネスにoverfitした形でRLするのではなく、複数ハーネスを跨いでRL(+ 複数ハーネスを跨いだ場合特有のreward設計)をすることで、多くのハーネスで高いパフォーマンスを発揮するモデルを学習する(単一ハーネスにoverfitすると特定ハーネスでは高い性能が出るが、他のハーネスでは性能が出ないということがおきる)、という話に見える。
Ideogram 4.5: The most precise edit model, Ideogram, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #OpenWeight #2D (Image) #Editing #ImageSynthesis Issue Date: 2026-10-09 Comment
元ポスト:
画像のマルチターンでのeditingに特化したモデルで、近いうちにオープンになるとのこと
所見:
Open Models Dashboard, Interconnects
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #AIAgents #OpenWeight #Initial Impression Notes Issue Date: 2026-10-09 Comment
元ポスト:
OpenRouterベースで見ると、closedなモデルからopenなモデルへトークン消費が大きく移行しているようである。
Embed 5 is here, cohere, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #Embeddings #NLP #Proprietary Issue Date: 2026-10-09 Comment
元ポスト:
Reality Check Leaderboard, Poke & Wiggle, 2026.09
Paper/Blog Link My Issue
#Article #Evaluation #Selected Papers/Blogs #Robotics #EmbodiedAI #One-Line Notes #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
オープンなモデルを、実機でのロボット操作によって評価したリーダーボードで今後追加されていくとのこと。操作をする上でオブジェクトの配置はランダムに変化するようになっており、異なる位置に対してモデルが汎化するかを測定できる。また、タスクの成功率だけでなく、タスクの進捗や品質、実行時間、安全側故障率なども測定されるようである。また、ベンチマークタスクの半分は公開され、残り半分は非公開。
OPEN SOURCE, AUDITED BY GLM.: Submit a public repository and OpenVuln hunts its vulnerabilities. Protect your open-source repository, together with GLM., Z.ai, 2026
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Security #Initial Impression Notes Issue Date: 2026-10-09 Comment
元ポスト:
GLMを用いて公開されているリポジトリをスキャンし脆弱性を発見できるZ.aiが運用しているデモのようである。発見された脆弱性は件数は表示されているものの、具体的なレポートはメンテナが承認しないと公開されないようである。
TIRx Harness: An Open Compiler Harness for Agentic GPU Programming, MLC Community, 2026.09
Paper/Blog Link My Issue
#Article #NLP #AIAgents #SelfImprovement #GPUKernel #autoresearch/RSI #Author Thread-Post #AgentHarness Issue Date: 2026-10-09 Comment
元ポスト:
Introducing GPT-6.1-Sol, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #AIAgents #Proprietary #VisionLanguageModel #Reference Collection #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
OpenAIが公開したmisalignmentに関するレポートで、GPT-6.1-Sol, AstraのCoTが公開され、それらには単語間のスペースやプログラミング言語のような表記が現れることと、それに対してKarpathy氏がコメントをしたことが話題となっていた:
Karpathy氏はRLが有効に機能した場合にモデルがCoT中で英語を使うのをやめた時に、RLが適切に行われたことを示すという見解を過去に示しており、そのポストを引用して今回コメントを残している。
RLを用いるとSFTによってreasoningを学習させる場合などとは異なり、(reasoning traceに対して文法や人間の意味理解に関する報酬を与えない限りは)モデルがreasoning trace中で人間が理解できる言語を話すことで報酬が得られるわけではないため、このような現象が生じてくると推察される。
レポートはこちら: https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/
dots のご紹介, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #GenerativeAI #ComputerUse #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
Holo4: powering generalist computer use agents, H Company, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #OpenWeight #ComputerUse #VisionLanguageModel #Author Thread-Post Issue Date: 2026-10-09 Comment
元ポスト:
Where’s the “intelligence explosion”? Ramez Naam gives a skeptic’s take on Recursive Self-Improvement., RAMEZ NAAM, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #AIAgents #read-later #autoresearch/RSI Issue Date: 2026-10-08 Comment
元ポスト:
Notes on NVIDIA Nemotron: A broad coverage of the most practically useful series of open LLM tech reports..., CAMERON R. WOLFE, PH.D., 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #OpenWeight #Author Thread-Post Issue Date: 2026-10-08 Comment
元ポスト:
Claude Sonnet 5.5, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Proprietary #VisionLanguageModel #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-07 Comment
元ポスト:
Opus 5.5と比較してコーディング系のベンチマークのスコアは大差なく、かつ安くて速いならOpus 5.5から乗り換え検討余地あり
text-to-video-human-preferences-326k, Datapoint AI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #Dataset #DPO #TextToVideoGeneration Issue Date: 2026-10-07
Towards RL for Superhuman Text: Unslopping AI, Weston+, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Selected Papers/Blogs #AcademicWriting #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-10-07 Comment
- フロンティアモデルは、通常のLLM-as-a-Judgeでは、現在のslopモデルによる執筆の品質を高品質な人間の論文よりも高く評価してしまう
- 高品質な人間の執筆テキストを収集し、高品質な人間執筆テキストとモデル生成テキストのLLM judgementでのスコア差が最大となるRubricを(小規模training dataに対するmeta promptのiterativeな最適化で)学習し、当該ルーブリックをRLで活用することでモデル生成のテキスト品質を人間の専門家に近づけることができる
元ポスト:
以下感想
細かくは読めていないが、事前学習はモデルの能力獲得の土台であり事前学習は最尤推定によって学習される。このため、モデルは平均的に良いものを出力することで対数尤度を改善できるが、一方特定の分野のごく一部の専門家のようなテキストを出力することは対数尤度を改善する上での影響は限定的であり、その能力は部分的にしか獲得されない(あるいはモデルの能力として獲得はされるが顕在化されづらい)ので、事後学習によってその能力をより強化して顕在化しやすくする、という感じの話に近いように感じる。
もしくは、あまり一般的な見立てではないかもしれないが、モデルの能力は事前学習時に身につけた能力を土台として、事後学習によってどの能力を強化するかが調整されていると仮定すると、事後学習を通じてcollapseしたモデルの執筆能力(事後学習では基本的になんらかのreasoning traceが出力され、執筆能力そのものにペナルティは課されないため、collapseしやすそう)を、高品質なサンプルから得られたルーブリックに基づくRLによって改善する、という位置付けとも捉えられるのかもしれない。
前者で考えると、たとえばコーディングエージェントの分野などでも、ガチガチのプログラマーのコードからルーブリックを学習し、そのルーブリックを通じて学習をすれば、(平均的なプログラマーの品質ではなく)ガチガチのプログラマーのようなお作法のコードを出力できるようになるのだろう。
となると、コーディング以外の様々な分野において広く適応しうる技術であり、平均的な出力から、特定の専門家レベルまで品質を引き上げるための枠組み(ただしデータが確保できてルーブリックとして表現可能なものに限る)、ともみなせるのかな、るという感想を抱いた。
YODAS v3: A 1 Million Hour Dataset for the Next Generation of Open Voice AI Research, espnet, 2026.09
Paper/Blog Link My Issue
#Article #Dataset #SpeechProcessing #Speech #MultiLingual Issue Date: 2026-10-07 Comment
元ポスト:
Introducing Ember-1, Fireworks, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Proprietary #PostTraining #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-06 Comment
元ポスト:
Kimi K3に対して、不要な推論は省き、重要な思考は維持することでトークン生成量を抑え効率化したという話のようで、具体的な手法などについては記載がないように見える。
事後学習したと明言されている:
Liquid Foundation Models: Decision Models, Liquid AI, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #MultiModal #Proprietary #2D (Image) #text #Initial Impression Notes #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-10-06 Comment
元ポスト:
Liquid AIからもvisionに対応したDecision Modelがリリース、プロプライエタリなようだ
Introducing Beam: Reflection’s 501B open-weight model, Reflection AI, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight #Initial Impression Notes Issue Date: 2026-10-06 Comment
元ポスト:
model weightは10月中にリリース
久々のwestern open weihgt modelではなかろうか
関連:
- Inkling: Our open-weights model, THINKING MACHINES, 2026.07
- NVIDIA Nemotron 3 Ultra, nvidia, 2026.06
所見:
所見:
重みがオープンに:
https://huggingface.co/collections/reflection/beam-10
How confessions can keep language models honest, OpenAI, 2025.12
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Safety Issue Date: 2026-10-04
Simple probes can catch sleeper agents, Anthropic, 2024.04
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Safety #Probing Issue Date: 2026-10-04
Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Anthropic, 2024.05
Paper/Blog Link My Issue
#Article #LanguageModel #Safety #Selected Papers/Blogs #SparseAutoencoder #Interpretability Issue Date: 2026-10-04
Latent reasoning architectures would likely undermine CoT, our strongest oversight tool, REDWOOD RESEARCH, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Chain-of-Thought #Safety #LatentReasoning #reading #One-Line Notes #Monitorability #Author Thread-Post Issue Date: 2026-10-04 Comment
元ポスト:
本文でとりあげられているlatent reasoning architecture:
- [Paper Note] Training Large Language Models to Reason in a Continuous Latent Space, Shibo Hao+, COLM'25
- [Paper Note] Full-bandwidth transformer, Xi Wang+, arXiv'26, 2026.08
- [Paper Note] Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach, Jonas Geiping+, NeurIPS'25
解釈性に関するツール
- Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Anthropic, 2024.05
- Simple probes can catch sleeper agents, Anthropic, 2024.04
- Natural Language Autoencoders: Turning Claude’s thoughts into text, Anthropic, 2026.05
- How confessions can keep language models honest, OpenAI, 2025.12
ざっくりいうと現在のCoTは高度な推論を実施するために多くの場合必要なの挙動であり、危険のある行動(しばしば難しいタスク)を実施する際にはCoTによる思考がモデルにとって必要(CoTを実施しないと目的を達成できないため)で、これは目標の達成に必要に必ずしも必要でなくてもCoTを実施するような傾向とは区別すべきであり、latent reasoning系のアーキテクチャではCoTの必要性が薄れてしまう(また、モデルが正確な情報をCoTに言語化する傾向があるのは必要性があることに起因する可能性があり、必要性が薄れるとCoTに正確に言語化する傾向も弱くなるという)懸念がある。
この必要性によってCoTをモニタリングすることは現在AIの監視をする上で有用であるが、潜在空間上で推論を実施するlatent reasoning系のアーキテクチャに移行し必要性が薄れると、この有用性が損なわれ、Sparse Autoencoder, probing, natural language autoencoders, confession modelsなどの解釈性に関する手法は存在するが、CoTほど有用な信号を得ることができないため、AIを監視することが著しく困難となるだろう、という話のようである。
Know Who Spoke When: Build Real-Time, Multi-Speaker AI with NVIDIA Nemotron 3 Diarization, NVIDIA, 2026.09
Paper/Blog Link My Issue
#Article #NLP #SpeechProcessing #OpenWeight #AutomaticSpeechRecognition(ASR) #Transcript #Author Thread-Post #SpeakerDiarization Issue Date: 2026-10-04 Comment
元ポスト:
Prime Sandboxes: Run thousands of concurrent environments with first-class verifiers and prime-rl integration. Every workload stays inside an isolated microVM., PRIME Intellect, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #AIAgents #PostTraining #Author Thread-Post #SandboxEnvironment Issue Date: 2026-10-04 Comment
元ポスト:
700 TPS on Kimi K3: A Case for TPU Megakernels, Inferact, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #AIAgents #Coding #SoftwareEngineering #GPUKernel #Author Thread-Post #Megakernels Issue Date: 2026-10-04 Comment
TPU v7 (Ironwood) 向けのメガカーネルで、最初のTPU推論用のメガカーネルとのこと。
What Is An AI Dark Factory? What Lights-Out Manufacturing Teaches Us About Software, Owen Sweeney, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #NLP #AIAgents #Coding #SoftwareEngineering #Initial Impression Notes #Author Thread-Post Issue Date: 2026-10-04 Comment
AI Dark Factory: 人間の介入をほとんど必要とせず、AI Agentがソフトウェアを構築する未来像
製造業におけるDark Factoryという概念を起源としており、Dark Factoryとは向上フロアに人員を配置せずに長時間連続稼働可能な生産設備のことであり、これと同様の概念をソフトウェア開発に適用したものとのこと。重要な点は、製造業においてはロボットが人間の仕事を代替できるほど賢くなったというわけではなく、生産プロセスを再設計し、人間の判断を必要とする工程を大幅に削減したという点とのこと。
そのうえで、ソフトウェア開発におけるAI Dark Factoryとはどのようなものか?ということが考察されている。正確性の判定が主観的な判断に依存するほどワークフローの運用が困難となる。
元ポスト:
FLUX 3 Action, Black Forest Labs, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #NLP #OpenWeight #Robotics #EmbodiedAI #WorldActionModel Issue Date: 2026-10-04 Comment
HF: https://huggingface.co/collections/black-forest-labs/flux-3-action
元ポスト:
Dynamic 4-bit Quantization, Unsloth, 2024.12
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Quantization #One-Line Notes Issue Date: 2026-10-03 Comment
Dynamic Quantizationと呼ばれる全てのレイヤーに一律で量子化を適用するのではなく、選択的に適用する技術。
Dynamicときくと入力に応じて動的に量子化を変化させそうだが、そうではなく、全てのlayerに一律で量子化を適用するのではなく、モデルの性能を維持するために高精度な計算が必要なレイヤーは量子化せず、他は量子化するといった、量子化を適用するレイヤーを取捨選択するという意味合いでDynamicと命名されているようである。
たとえば下記の記事では、この技術を適用し
DeepSeek-R1の重みを80%(720GB->131GB)にまで削減。主にMoE layerは1.5 bit圧縮、特定のレイヤーは高い精度で保持。
https://unsloth.ai/blog/deepseekr1-dynamic
Introducing Aikido Altar: the model that makes sovereign security intelligence possible, aikido, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Pruning #Quantization #OpenWeight #Security #Author Thread-Post Issue Date: 2026-10-02 Comment
元ポスト:
Introducing Clef: our open-source decision models, and new RL fine-tuning platform, Cloudflare, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #NLP #LanguageModel #MultiModal #PEFT(Adaptor/LoRA) #OpenWeight #Selected Papers/Blogs #Encoder #KeyPoint Notes #SystemOneModel/DecisionModel Issue Date: 2026-10-02 Comment
元ポスト:
概要しかブログ中には書いていないが、よさげに見える。
Qwen-3.8-27Bをバックボーンとし、Qwenのパラメータはフリーズした上で軽量なアダプタを学習し、ルーティングヘッドなるcross-attentionに基づいた各選択肢のスコアを出力するヘッドによって予測が実施されるようである。
これらは、内部で作成された合成データを用いて事後学習されたとのことである。lossはlabel smoothed cross entropy(正解、不正解ラベルを0/1としてクロスエントロピーを計算するのではなく、ハイパーパラメータεでスムージングしてlossを計算するものらしい)とBrier Loss(実際に予測された確率値と正解、不正解を1/0としたときの平均二乗誤差)なるものによって、正則化によって過学習を防止し、出力される確率値がでたらめにならないように学習することを目指しているように見える。
その後RLCDと呼ばれる、選択肢間の順序関係に基づいて、正解と隣接するラベルにも部分的に報酬を与えるようなrewardを持つ(オリジナルのポリシーから分布が大きくシフトしないようなペナルティ付き)RLによって学習をしているようである。これにより、より高いAccuracyと汎化性能が得られた、と一言記述されている。
Qwenが持つVision Encoderによって画像もエンコードでき(Jevは画像は不可と述べられている)、
context長が64kとJevの2倍で
Jevよりもlatencyが良く、
様々なベンチマークスコアで高いスコアを獲得としている、と報告している。
latencyはflashモデルであれば、DiffusionGemma-as-Jevを上回る。
Gemini 4 Argon: our next era of frontier intelligence, Google, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Proprietary #VisionLanguageModel Issue Date: 2026-10-01 Comment
元ポスト:
Geminiがcome back?
所見:
安い
Decision models, SGLang, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #MultiModal #LLMServing #VisionLanguageModel #One-Line Notes #Reading Reflections #SystemOneModel/DecisionModel Issue Date: 2026-09-30 Comment
元ポスト:
SGLangにおいて、Qwen3.8-27B、およびQwen3.5-35B-A3Bを、chat modelからdecision model(System Oneな分類モデル)として利用するためのエンドポイントが追加されたようである。
ドキュメントを読むと、要は既存のLLMに対してリクエストをreasoning modeをオフでprefillし、応答のトークン位置でのスコアリング、選択肢、yes/noのトークンのlogprobを取得し、たとえばyes/noトークンのprobabilityを計算する場合はyes/noの2 vocabularyのsoftmaxを計算する。つまり、単に通常のLLMの応答の開始位置でのラベルのlogprobを取得して、最もlogprobが高いラベルを返し上述の確率を返すというシンプルな実装に見える。
System Oneモデル向けの追加のチューニングや、分類headなどが学習されているわけではない(SGLangはLLM Servingエンジンでありモデルの学習そのものはしないだろうから、そりゃそうだ、という話だった)点に注意。シンプルに、LLMのデコード開始位置でのlogprobを用いた分類器であり、これを念頭におけば、このエンドポイントを利用した場合のおおよその性能の見当はつく(性能が悪いと言いたいわけではなく、これまでのLLM利用の経験からあたりをつけやすいという意図である)。
System One系の話は実装の中身を確認して、どのような原理の元駆動するかを確認しないと、足元をすくわれる気がする。外から見た時の挙動は同じでも、アーキテクチャが結構異なる気がする。あと、アーキテクチャだけでなく、System Oneモデル向けのデータや最適化がされているかによって、そもそもの予測性能やzero-shotでの汎化性能にかなり差が生まれるのではないか、と思っている。しかし、まあ結局自分たちのユースケースに対して必要な性能が出ていて、latencyが必要な水準に達しているかを確認すれば良いだけではある。
Halo: Frontier-Lab Training for Everyone, White Circle, 2026.09
Paper/Blog Link My Issue
#Article #Multi #ComputerVision #EfficiencyImprovement #Pretraining #Tools #NLP #LanguageModel #ReinforcementLearning #AIAgents #MultiModal #mid-training #DPO #PostTraining #Parallelism #VisionLanguageModel #Asynchronous #Author Thread-Post #TrainingFramework Issue Date: 2026-09-29 Comment
元ポスト:
dlab Open Source Week: Frontier AI on Your Own Hardware, Tim Dettmers, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Test-Time Scaling #Selected Papers/Blogs #DeepResearch #Compression #Reading Reflections #autoresearch/RSI Issue Date: 2026-09-29 Comment
元ポスト:
前半にオープンソースにするエコシステムとして
- エージェントのcontextの自動圧縮技術
- autonomous research
- 効率的なtest time scaling手法
- Deep Research
などの開発中におけるエピソードや、その性能の高さについて述べられている。
一方、記事全体で述べられている気持ちは博士課程在籍者(やアカデミアにいる研究者に)対するメッセージである。個人的に印象深かったのは、研究のunitが論文ではなく一貫性のあるエコシステムを構築することになる、という主張と、博士課程において容易に解決することができない課題に粘り強く取り組む力を身につけることは投資をする価値がある、という部分で、第一線の研究者の方がAI Agentによる研究環境の変化をどう捉えているかが少し垣間見えるのと、(現在の悲観的な博士課程の学生に対して)博士課程で学ぶことの価値やアカデミアだからこそなし得ることがメッセージングされており、非常に興味深く拝読した。
要約を読んだりするよりも、原文から伝わる気持ちを汲み取った方が良いと思う(という意味で原文全文を読んだ方が良いと思う)。
KDA Doesn't Care About the Future, Nuggets, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Attention #read-later #LinearAttention Issue Date: 2026-09-28 Comment
元ポスト:
tokenizers v1: encode, decode and scaling, measured, HuggingFace, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Tokenizer #read-later #Initial Impression Notes Issue Date: 2026-09-28 Comment
元ポスト:
関連:
- {G}igatoken: SIMD and Cache Hierarchies for 1000x Faster Byte-Pair Encoding Tokenization on Modern CPUs, Marcel R{\o}d, 2026.07
Gigatokenは、著者ポストを読む限り、そもそも今のtokenizerが1秒単位に処理できるデータ量(データレート)が、同様の規模感のデータを処理する際の他の実装、たとえばsimdjsonがGB/sなのに比べて遅すぎるという気持ちから端を発しているように思われる。
一方、tokenizersでは、イントロに膨大なデータセットでの学習、同時リクエストの処理、long contextでの処理等において、モデルへのデータ供給が追いつかず、tokenizerが新たなボトルネック(GPUを待たせるという意味で)になりつつあり、それを解決したいという気持ちが記述されている。
The current balance of power in open models: The expanded form of a testimony I prepared for Congress., Interconnects, Nathan Lambert, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #GenerativeAI #OpenWeight #Proprietary #read-later Issue Date: 2026-09-28 Comment
元ポスト:
GPT-6 Astra Is the Best Vision Model We Have Tested, roboflow, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #Analysis #ImageSegmentation #Reasoning #ComputerUse #VisionLanguageModel #2D (Image) #One-Line Notes #ObjectDetection Issue Date: 2026-09-27 Comment
元ポスト:
GPT-6-Astraに対して、Image Segmentation, Object Detection, counting, box prompt, counting, visual reasoning, re-identification(バスケットボールの動画を例に、選手を一貫して検知し共通のIDを付与できるか, 特に選手交代などにも対応できるか)などのさまざまなタスクでテストした結果が報告されている。結論としては、彼らがテストした中で最も強力なVisionモデルだが、コスト、latencyに関するトレードオフがあることが考察されており、特にリアルタイム処理には向いていないが、アノテーションなどのパッチ処理には価値があるだろうとしている。
Qwen-Image-2.1: Compact, Efficient, and Unified Image Creation, Qwen Team, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #DiffusionModel #TextToImageGeneration #OpenWeight #Editing #ImageSynthesis #Author Thread-Post Issue Date: 2026-09-27 Comment
HF: https://huggingface.co/Qwen/Qwen-Image-2.1
元ポスト:
Language Model "Shape", Alex Zhang, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #API #Architecture #One-Line Notes #Reading Reflections #AgentHarness Issue Date: 2026-09-27 Comment
元ポスト:
以下記事の内容の(意訳を含む)要約。詳しくは原文を参照のこと。
- 言語モデルの入出力の形状は、text-to-textのままで長年変化がなかった。
- 一方でJevの登場が話題となり、これは特定の特化型のタスクにおいてLLMより好まれる場面がありうる。
- Jevは出力が明示的に制約された場合の言語モデルととらえることができ、これによってモデルをprefillのみで、高速に質問に対して応答できるようにしている。
- また、AIエージェントは現在はReActに基づいた形式になっており、それはすなわち、エージェントがアクションを実行し、結果を観測し、それらがtrajectoryに蓄積され、次のアクションを決定するという構造となっている。
- デコーダのみのtransformerを考えたときに、全てのobservation, actionをコンテキストに入れるというのは自然である一方、履歴の圧縮などのcontext engineering技術が必要となる。これはそもそもエージェントのtrajectoryを処理するうえで、decoder-only transformerが最終的な形態ではなっていないから生じていると見ることもできる。
- たとえばAI agentに関して言うと、ツール呼び出し、時間経過に伴うobservationの扱い、アクションの重要性の減衰などに関してより強い仮定をおくことができ、最適な形態が存在する可能性がある。
- このような観点では、LLMに対してハーネスを適合させているが、ハーネスに対してLLMの形状を適合させることに価値があるか?という問いも自然に成り立つ。
- 特定のものに対してLLMの形状を適合させることで、環境・データ単位から得られる知能のgainやコスト・性能のトレードオフを改善できる可能性があり、これらは探求する価値があるだろう
という感じの話に見える。
この話に関連すると、Generative Recommender Systemなどは、推薦システムに対して適合していないなあ、という風に感じた場面があった。理由としては、
- decoder-only LLMはデコードの速度が遅く、latencyの制約が厳しいリアルタイム推薦などには根源的に不向き
- アイテムIDなどのシンボルは世界知識からは学習のしようがなく、そもそものmodel weightの中にそれらの情報を埋め込む必要がある場合は、ベースモデルに対して追加の学習が必要となる。これはアイテムが頻繁に入れ替わるようなシステムの場合は非常に相性が悪い。
といったものが主な原因である。たとえば、推薦システムに対して最適な形状とはなんだろうか?という視点で考えるとおもしろそうではある。
まあでもtwo tower modelはそもそも推薦タスクに特化した形状だよね、という風に考えると、よくわからなくなった。
しかしまあ整理すると、もともと各タスクには最適なモデルの形状が選択されてきた中で、その後にLLMが登場して多くのタスクがLLMによって代替できるようになった。LLMの強みはスケーリング則に基づく(ある程度予測可能な)性能の向上にあるわけで、このようなスケーリングは色々なタスクでおそらく模索されてこなかったであろう(機械翻訳についてはn-gramをスケーリングするとかはあったと思う)が、スケーリング則が成り立つという強みは残しつつ、各タスクごとに適合するような形状を模索するという思考の方向性になる、という感じだろうか(記事の主眼とずれている気がするが)。
- [Paper Note] Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations, Jiaqi Zhai+, ICML'24, 2024.02
でDLRMよりも良好に計算量に対してスケールし、推論速度も高速なGenerative recommendationのモデルが検討されているようである。
LLMでprefillのみを実施し、その情報を用いて推薦するシステム
- [Paper Note] GenRec: An LLM-Backed Recommendation Ranker at Netflix, Ying Li+, arXiv'26, 2026.08
GLiNER2.5-Decide: An Open-Weight Model for Structured Decision Making, Fastino Labs, 2026.09
Paper/Blog Link My Issue
#Article #NLP #OpenWeight #Encoder #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-09-25 Comment
元ポスト:
Jev-likeなモデル、乱立しすぎである
When does distillation help reinforcement learning?, Base Labs, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #Distillation #PostTraining #read-later #One-Line Notes #Author Thread-Post Issue Date: 2026-09-25 Comment
元ポスト:
RL前にSFTを通じてオフポリシー蒸留をすることが、どれだけ後段のRL後のパフォーマンスに影響するかを調査したようで、
- 小規模モデルには効果的だが大規模なモデルには効果が薄く
- ベースモデルに存在しない慣習や理解を必要とするタスクに対して効果的で
- 副作用としてポリシーのエントロピーが低減する、すなわちRL中の探索が抑制される
といった知見が得られたようである。
一見すると、SLMに関しては
- [Paper Note] A Sober Look at Progress in Language Model Reasoning: Pitfalls and Paths to Reproducibility, Andreas Hochlehnert+, COLM'25
と対立する知見に見えるが、前提として何が違うだろうか。
SLMに対しては同様の知見が示されている:
- [Paper Note] AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy, Zihan Liu+, arXiv'25, 2025.06
LFM2.5-VL-DSpark: Accelerating vision-language models on edge and beyond, Liquid AI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #OpenWeight #VisionLanguageModel #SpeculativeDecoding Issue Date: 2026-09-25 Comment
元ポスト:
When Do Larger Batches Help Scale LLM Reinforcement Learning?, Tencent RL Team, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #PostTraining #Selected Papers/Blogs #One-Line Notes #CriticalBatchSize Issue Date: 2026-09-24 Comment
元ポスト:
目標性能まで到達するまでに必要なwall-clock timeとLLMでのオンポリシーRLのバッチサイズの関係性を明らかにしているようである。
LLMのオンポリシーRLでは、生成と学習においてバッチサイズの大きさが非対称に働く(すなわち、生成側の並列数を増やすとモデルの重み転送をより多く共有できるため処理に要する時間が短縮されるが、学習側でバッチサイズが増えると処理時間は増加する)ため、生成側の並列数の変化によるスループットの向上と、学習側のバッチサイズによる更新に必要なサンプル数の両方を考える必要がある。
このとき、目標性能に到達するまでに必要な累積応答数N(学習側)、エンドツーエンドのスループットq(生成側だけではなくシステム全体)を考える。
これにより、バッチサイズを変化させた時に必要なサンプル数の変化の比率r_N (=N/N_pivot, r_Nが1より大きい場合は、新たなバッチサイズが基準となるバッチサイズよりも、ある性能に到達するまでより多くの応答を必要とする)、
スループットの変化の比率r_q(=q/q_pivot, r_q>1の場合は、1秒あたりにより多くの応答を処理できる)を定義でき、
r_q > r_Nの場合、すなわち、バッチサイズを大きくしたことによる、システムのエンドツーエンドのスループット向上による恩恵が、学習側のサンプルコストの悪化を上回った場合に、バッチサイズを大きくすることで学習が高速化される、このときの改善の度合いは r_N/r_q で測ることができる。例えば、r_N/r_q=0.8の場合、学習時間が20%削減されることを意味する、といったフレームワークを定義でき (The criterion部分を参照)、
実践的には、
- 候補となるバッチサイズについて、学習率や関連するハイパーパラメータを調整し、学習に利用される応答単位での学習に対する寄与を揃え、累積応答数が等しい点での学習曲線を比較することで、r_Nを推定し
- 与えられたバッチサイズにおいてシステムのスループットを最大化する設定を探索し、r_qを測定する
- その上で、r_N/r_qを測定し、最も学習時間が短縮されるバッチサイズを採用する
というプロセスにおとしこむことができる(conclusionを参照)
という感じの話のようにみえる。
Contrastive Language Models: A System One Model for Fast and Generalizable Decision-Making, Kwok+, 2026.09
Paper/Blog Link My Issue
#Article #Pretraining #NLP #Dataset #ContrastiveLearning #OpenWeight #Scaling Laws #mid-training #PostTraining #Selected Papers/Blogs #Encoder #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-09-24 Comment
元ポスト:
HF: https://huggingface.co/Contrastive-LM
非常にコンパクトにまとまっていて大変読みやすかった。あとでまとめる。
Rigel Base: Reaching Llama-3.2 Quality with <1% of its Compute, Mayank+, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #Pretraining #NLP #LanguageModel #OpenWeight #SSM (StateSpaceModel) #read-later #DataMixture #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-23 Comment
NoPEやuPを利用、事前学習では6つのフェースで異なるDataMixtureを利用しそのレシピも記載
Introducing GPT‑6 Sol and Luna, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Proprietary #Selected Papers/Blogs #VisionLanguageModel #Initial Impression Notes #Reading Reflections Issue Date: 2026-09-23 Comment
元ポスト:
luna, solに関しては、AA Index上では大きな変化はないように見えるが、コスト性能比が改善しているように見える:
5.6-luna, solと比較するとコストが約半額となっている。やーすい
Claude系列、GPTの他モデルとのコスト対ベンチマークスコアの比較:
コスト対比でのベンチマークスコアとしてはGPT-5.6-lunaよりもGPT-6-Lunaのスコアが高い(そりゃ、そうなるように価格調整するよねとは思うが)。
コストと関係なく絶対的な能力としてみたとき、日本語能力は5.6の方が良さそうだなぁ、という感想を抱いている。
所見:
キャッシュと推論の改善により低コスト化が実現されている。
Introducing Claude Opus 5.5, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Proprietary #Selected Papers/Blogs #VisionLanguageModel #Reference Collection Issue Date: 2026-09-23 Comment
元ポスト:
KernelBench-MegaのRTX PRO 6000向けにKimi Linearのデコード向けのメガカーネルを記述するベンチマークでAstraを超えてSoTAを達成したようである:
所見:
所見:
GPTはeffortの増加に従い単調増加だが、Claude系はそうならない
PixVerse R2: Scaling Real-Time Omni World Models, PixVerse, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #read-later #WorldModels #Scalability #Realtime Issue Date: 2026-09-23 Comment
元ポスト:
Computational depth is all you need: Towards 107-layer neural nets, Akshay Vegesna, Samip Dahal, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Scaling Laws #read-later #Depth #Author Thread-Post Issue Date: 2026-09-23 Comment
元ポスト:
Measurements for understanding the pace of AI development inside frontier labs, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #AIAgents #Evaluation #SelfImprovement #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-20 Comment
元ポスト:
所見:
Introducing Astra for Law, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Proprietary #Legal #Author Thread-Post Issue Date: 2026-09-20 Comment
元ポスト:
Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure, Z.ai, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Infrastructure #AIAgents #SelfImprovement #SoftwareEngineering #Initial Impression Notes #autoresearch/RSI Issue Date: 2026-09-19 Comment
元ポスト:
GLM開発におけるRSIよ初期の事例
Needle 3 Automation Foundation Model For Tiny Devices, Cactus, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Transformer #SmallModel #Proprietary #Architecture #Selected Papers/Blogs #One-Line Notes #ToolUse #Author Thread-Post #SystemOneModel/DecisionModel Issue Date: 2026-09-19 Comment
元ポスト:
チャットをせず、各ターンごとに関数呼び出しに特化したedge向け小型モデルとのこと。アプリが利用するツール群を渡し、ユーザの発言に基づいて全ての引数を埋めて関数を呼び出す、あるいはスキーマを与えればそのスキーマに則った出力を返し(構造化出力)、推測はしない(関数の範囲外のものは空出力)というもののようである。
これらは、simple attention networkと呼ばれるもので実現される。simple attention networkはtransformerからFFN Layerをを無くし軽量なHadarmard MLPというlayerに置き換え、FFNが従来保持していた知識に関する情報はengramによって、n-gram embedding側に持たせることによって高速、軽量化がじつげんされているようである。residual streamとしては、mHCが用いられているようである。
また、デプロイ時にモデルの深さを指定することで、20個あるうちのどのlayerを利用するかが決まり、性能とコストを調整できるようである。これを公式ポストではIntelligence Laddersと呼称している。
関連:
- [Paper Note] Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models, Xin Cheng+, arXiv'26, 2026.01
- [Paper Note] mHC: Manifold-Constrained Hyper-Connections, Zhenda Xie+, arXiv'25, 2025.12
関連:
- Introducing System One Models & Jev, TypeSafe AI, 2026.09
と思想が似ている。
Jev’s Architecture Unmasked, Archer Hume, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #AIAgents #Coding #SoftwareEngineering #Author Thread-Post Issue Date: 2026-09-18 Comment
元ポスト:
関連:
- Introducing System One Models & Jev, TypeSafe AI, 2026.09
果たして
Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint, PrismML, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Quantization #OpenWeight #ComputerUse #Selected Papers/Blogs #reading #One-Line Notes #Author Thread-Post Issue Date: 2026-09-18 Comment
元ポスト:
HF: https://huggingface.co/collections/prism-ml/bonsai-2
関連:
- Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone, PrismRL, 2026.07
ternary weight (1bit)の重みで動作するBonsaiシリーズのメジャーアップデートで、Qwen-3.8-27Bをベースにしており、ベンチマークスコアの98.2パーセントを保持しつつ、1/9程度に利用メモリが節約されるようである。Computer Useも可能で、ローカルのRTX 5090でBrowser Useするデモが掲載されている。
An alignment assessment of recent cybersecurity incidents, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Alignment #Safety #Security #Monitorability Issue Date: 2026-09-17
Lean Verified Transformers, Sasha Rush, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #Transformer #Selected Papers/Blogs #reading #One-Line Notes #Proofs #Reading Reflections #Author Thread-Post Issue Date: 2026-09-17 Comment
元ポスト:
証明のコストが下がることによって、Leanによって型式的な証明をされたML Codeの価値が高まるのではないかという筆者の予測と、
一方で、証明を全て理解することは依然として困難という課題があるのとに言及し、
落とし所として人間にとって理解しやすい(部分的に証明したい)数学的な性質を選択的にAIによって証明するという試みをやってみよう、
そのために、Transformerを例に、Transformerの最適化や効率化の礎となっている数学的な性質を実際にLeanを用いて型式的に証明し理解してみよう、その結果、たとえば、VanillaAttentionとFlashAttentionが数学的に等価だということも示せる、
このような証明したい性質が何であるかを人間が選び、証明を得られることになった変化は重要であり、これらを今後どう活用するかということは今後の挑戦だよね、という話が書かれているようである。
実際に駆動するML Codeで、特定のモデルが実装されているときに、そのモデルが本来備えるべき重要な数学的性質を満たす実装になっていることが、型式的に証明された上で公開され、型式的に証明済みのbadgeがリポジトリに付与されている、みたいな未来が来るのだろうなあ
Introducing Odyssey-3: A General-Purpose Physical Intelligence, ODYSSEY, 2026.09
Paper/Blog Link My Issue
#Article #FoundationModel #Robotics #WorldModels #EmbodiedAI Issue Date: 2026-09-17 Comment
元ポスト:
Superposition, Memorization, and Double Descent, Transformer Circuits Thread, 2023.01
Paper/Blog Link My Issue
#Article #Analysis #MachineLearning #Memorization #DoubleDescent Issue Date: 2026-09-17 Comment
元ポスト:
We are streaming our RL big runs. The mimo-v2.6 series is coming soon, Xiaomi Mimo Team, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #AIAgents #PostTraining #Selected Papers/Blogs #One-Line Notes #Reading Reflections #Author Thread-Post Issue Date: 2026-09-17 Comment
元ポスト:
リアルタイムでMimoのRLの学習の経過が公開されている。おもしろい
コストの試算:
Mimo, 1T-A42Bの場合、RL 1stepあたり1000万円程度かかっているようだ。
おそらくインフラは高度に最適化されている。
現時点で2モデル合計でコストが約300万ドルに到達し、日本円にして約4.7億円(ドル円157円換算, pro 68B / flash 81B Tokens)🙄DeepSWEやコーディング系のベンチは順調にスコアが向上している。また、noticesに記載されているインシデントの報告が興味深く、インフラ周りのエラーや、学習に悪影響を与えるタスクやデータセット単位での除去なども情報共有されており大変興味深い。PostTrainingデータセットなどMixtureも公開されている。
Nature Is Our Learning Environment, Periodic Labs, 2026.09
Paper/Blog Link My Issue
#Article #read-later #Author Thread-Post Issue Date: 2026-09-17 Comment
元ポスト:
Introducing System One Models & Jev, TypeSafe AI, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #AIAgents #Coding #SoftwareEngineering #Selected Papers/Blogs #reading #KeyPoint Notes #Reference Collection #Reading Reflections #SystemOneModel/DecisionModel Issue Date: 2026-09-16 Comment
細かいことは全くわからないが、LLMのようなチャットモデルは超人的な性能なのになぜAGIに繋がっていないのかが常々疑問で、code+AIに特化したモデルを開発したとのことで、それはどのようなものかというと、
LLMは人間の好みとなる応答を返すように、autoregressiveにテキストを生成するが、
本ブログで紹介されているシステムSystemOneは意思決定に最適化し、並列で生成され、自由なテキストを返せないが構造化出力を高速かつ安価に生成可能で、キャリブレーションされた確信度を常に返す、
というもののようである。
着眼点はとてもおもしろいのだが、どの程度高度な推論をすることができるのだろうか?
現代では高度な推論は計算コストである程度賄っているため、安価で高度な推論もできるのでれば大きなブレイクスルーだが、その技術はLLM側にも適用できる可能性があり、結局いつかLLM側に追いつかれる、という可能性がある。
逆に高度な推論ができないのであれば、適用可能なスコープは限定的となる。
RLCDという技術はすでに先行事例があったようだ:
利用規約でJevに関するベンチマークスコアや性能を公開することが禁止されているようである:
所見:
JamC-QAのスコアは(GPT-5.6-lunaより)低く、日本特有の知識などには弱い可能性がある:
- 『JamC-QA』: 日本の文化や風習に特化した質問応答ベンチマークの構築・公開(前編), SB Intuitions, 2025.09
色々な動向を鑑みるに、Encoderか、Decoderかはさておき(利用者から見たらどちらでもよい気がするので)、
- zero-shotで様々なタスクに利用可能で
- latencyが非常に速くて
- コストが安価なモデル
という3つの要素が重要に思える。
chatはできないが、構造化出力/関数出力等が可能(なことで様々な分類タスク等に適用できる)というのは、latencyの速さとコストの安価さを得るための手段。エンコーダ、デコーダも手段の話。
過去にPFNがJevに相当する機能を開発しサービス化までしていた、という話がある(関連技術は幅広く特許を取得しているようである)。
なぜ需要を掘り起こせなかったのか、という点は考えてみるとおもしろいのかもしれない。
個人的にはいまJevが流行っぽい兆しを見せているのは、時期的なものが大きい気がしており、
- (Reasoningモデルの台頭によって) LLMのlatencyが悪い
- 多くのワークフローに組み込む場合に得たい出力が(おそらく)構造化出力(で、めちゃめちゃ賢い判断はそこまで必要とされない)
- モデルのトークン利用料が増加し、(おそらく)運用コストが課題となってきた
という課題に世の中が直面し始めて、課題感として持たれ始めていること、が背景としてある気がしており、ちょうどタイミング的に「安い、速い、(そこそこ)賢い」のJevが世の中に刺さったのではないか、という気がしている。
AI Infrastructure at Periodic, Periodic Labs, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Infrastructure #ReinforcementLearning #AIAgents #LLMServing Issue Date: 2026-09-16 Comment
元ポスト:
AHA LOOPED TRANSFORMER: Think deeper. Find your Aha. An open atlas of recurrent computation, adaptive depth, and latent reasoning., Yue Su, 2026.09
Paper/Blog Link My Issue
#Article #Survey #NLP #Transformer #Architecture #RecurrentModels #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-16 Comment
有志を募って、looped transformerに関する論文に関する情報を収集しているようである。submitするぞ!
元ポスト:
OM-1: Frontier Robot Intelligence, Learned Firsthand from Humans, Reward AI, 2026.09
Paper/Blog Link My Issue
#Article #Zero/Few/ManyShotPrompting #FoundationModel #read-later #Robotics #Author Thread-Post Issue Date: 2026-09-15 Comment
元ポスト:
zero-shotだと...?
万字长文带你读懂 RSI(自进化,Self-Evolving), 发布于, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #AIAgents #SelfImprovement #KeyPoint Notes #autoresearch/RSI Issue Date: 2026-09-14 Comment
元ポスト:
中国語が読めないので、LLMの力を借りながら読んでいるが、RSIについての定義と、RSIに関する研究を整理、分類するためのTaxonomyを複数の軸から整理しているようである。以下LLMの力を借りて読んだ内容を自分の言葉も交えてメモとして残す。
---
RSIとは、Agentが環境との相互作用から得たタスク軌跡とフィードバックを利用して、自身の状態を更新し、更新後の状態を後続タスクに活用すること、と定義しているようである。
かなり広めの定義に見えるが、ざっくり言うとこのような定義になるのは、管理人の理解でもそうだと思う。
Agent = Model + Harness と捉え、RSIの何を変えるのか、という部分について以下の分類を用いて整理をしているようである:
- Parameter: 経験をモデルの重みに内在化する
- 一例: [Paper Note] Self-Adapting Language Models, Adam Zweiger+, arXiv'25
- Context: LLMへのInputに反映させる
- 一例: [Paper Note] Prime Agent: A Self-Improving RLM Harness, Seth Karten+, arXiv'26, 2026.08
- Memory: 外部に保存された経験や情報として蓄積し、必要に応じて利用する
- 一例: [Paper Note] ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory, Siru Ouyang+, ICLR'26, 2025.09
- Skill: 次に同じ状況が起きたらどうすべきかをskillとして定義する。Memoryは過去の経験を蓄積するものであり、Skillは次どうするかを定義するという棲み分けをしている
- 以下は参考として管理人がピックしたもの
- [Paper Note] SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning, Peng Xia+, arXiv'26, 2026.02
(パラメータも最適化しているがSKILLBANKが該当すると思われる)
- [Paper Note] SkillOpt: Executive Strategy for Self-Evolving Agent Skills, Yifan Yang+, arXiv'26, 2026.05
- Harness Code: Agentを動作させるプログラム(Scaffolding)を変更する
- 一例: [Paper Note] SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge, Lucio M. Dery+, arXiv'26, 2026.07
- 元ブログ中では↑が挙げられているが、Darwin Godel Machineの方が近いのでは?[Paper Note] Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents, Jenny Zhang+, ICLR'26, 2025.05
また、進化を構造化(バージョン管理)する際の分類軸として
- chain: A->B->Cのように進化させ常に最新版を利用する
- tree: 木構造でバージョンを管理する。ある1つの親ノードから子ノードが構成される親子関係で管理
- 一例: [Paper Note] Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents, Jenny Zhang+, ICLR'26, 2025.05
- graph: グラフ構造でバージョン管理する。すなわち、複数のノードに基づいて新たなノードを構成できる。ノードはバージョンだけでなく、タスク、trajectoryなども該当すると読める。
と整理しているようである。
誰がAgentを更新するかという軸の整理では
- self (student): (生徒)自身が更新する
- Teacher: trajectoryをteacherが分析しteacherが更新する
- Student + Teacher: 上記の両方で、生徒がまずtrajectoryを整理し必要な項目の候補を挙げ、Teacherが精査をし反映させる
いつ進化するのか、という軸では
- offline: 経験を蓄積し一括で更新する
- online: タスク実行ごとに動的に更新する
- hybrid: オフラインで更新した後にデプロイ。デプロイ後もオンラインで新たな経験等を追加し動的に更新するような方式
と定義しているようである。
そのほかにも、補足的な分類軸として、
- acceptance criteria: 更新したものを反映する基準
- feedback source: feedbackの出自(ベンチマーク, 環境, verifier, LLM, 人間など)
- feedback type: score, non-score,
- update frequency: 更新頻度
- scope of experience: 経験がどのスコープまで利用可能なのか(generickに使えるのか、特定ドメインのみなのか等)
We Must Pace the Frontier, Dario Amodei, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Alignment #AIAgents #SelfImprovement #Safety #Reading Reflections #autoresearch/RSI #Author Thread-Post Issue Date: 2026-09-13 Comment
元ポスト:
果たして。
独占禁止法で訴えられているとのこと:
所見:
主にサイバーセキュリティの話題について述べられている。個人的にはサイバーセキュリティよりもロボティクスの方が色々大変そうだなあ、と思うのだが、どうだろう。Alignmentが完璧になる方法は今のところ見つかっていないように見え、非常に低確率でも世界中で普及したらなんらかの事故は起きる。まあでもそれは自動車やすでに存在する産業用の機械とかでも構造は一緒ではある。
少なくともサイバーセキュリティに関しては、現状モデルが保有する能力に対して人間側のシステムの脆弱性対応は追いついていないであろうから、短期的にみたら喫緊の課題ではあると思う。
ApprenticeBench: The first end-to-end benchmark of computer use, continual learning, and long-horizon agentic capabilities, set in a real job., NeoCognition, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Evaluation #One-Line Notes #ContinualLearning Issue Date: 2026-09-13 Comment
元ポスト:
Computer Use + Continual Learningに関するベンチマークで、仮想的な建設会社の経理担当として入社し、一定の見習い期間(7ヶ月)を経て、その期間に企業のハンドブックやERPシステムチュートリアル、過去の請求書などで学習をする想定。その実際の請求書処理をこなしていくが、そこには実務上の罠が多く意図的に仕掛けられているようで、Human Baselineでも成功率は51%。最終的にHuman Baselineを上回ったのはAstra, Fable 5.1のようである。モデル間の傾向の違いなども考察されているようである。
North-Small-Translate-1.0, Cohere, 2026.09
Paper/Blog Link My Issue
#Article #MachineTranslation #NLP #LanguageModel #OpenWeight #Author Thread-Post Issue Date: 2026-09-11 Comment
元ポスト:
Introducing SWE-2: Pushing the Pareto Frontier, The Cognition Team, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Proprietary #One-Line Notes #Author Thread-Post Issue Date: 2026-09-11 Comment
元ポスト:
Kimi-K3をベースに事後学習を通じてAstra, Fable 5.1と同等程度のSWE系ベンチマークスコアを獲得
Estimating GPT-6 Astra’s no-CoT Time Horizon, Francis Rhys Ward and Dewi Gould, LW, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Chain-of-Thought #Evaluation #Reasoning #read-later #Author Thread-Post Issue Date: 2026-09-10 Comment
元ポスト:
Muse, your personal AI agent that gets things done, Meta, 2026.09
Paper/Blog Link My Issue
#Article #NLP #AIAgents #Personalization #GenerativeAI #Author Thread-Post Issue Date: 2026-09-09 Comment
元ポスト:
16年前に思い描いた未来像までとうとう到達したなあ...(小並感)
Inside the megakernel serving engine for North Mini Code, Cohere, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #LLMServing #One-Line Notes #GPUKernel #Author Thread-Post #Megakernels Issue Date: 2026-09-09 Comment
github: https://github.com/cohere-ai/cohere-megakernel
バッチサイズ1, 256k context、単一H100利用の条件下において、vLLM v0.24+FlashAttention3+Triton MoE backendよりも最大1.58倍デコーディングが高速(合成されたKV Cacheによる実験、実プロンプト+バッチサイズ8でも1.25--1.41倍高速)な実験的なLLM Servingエンジンのようである。
LLMのデコードを単一のカーネルに集約し、デコーディングのために必要な様々なステップごとの同期のオーバヘッドを削減したのだとか。
元ポスト:
Introducing ChatGPT Images 2.5, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #TextToImageGeneration #Proprietary #Editing #ImageSynthesis #Author Thread-Post Issue Date: 2026-09-09 Comment
元ポスト:
スケッチを入力することが可能になったようだ
On the Navier–Stokes Millennium Prize Problem, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #GenerativeAI #Mathematics #Selected Papers/Blogs #Proofs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-09 Comment
あのペレルマン氏が証明したポアンカレ予想と並ぶミレニアム懸賞問題の一つである、ナビエストークス方程式の解の存在と滑らかさ、とやらがOpenAIが保有する未公開モデルによって証明されたかもしれないらしい。10000の協調エージェントによって88時間, トークン量は1300億トークンで解に到達したのだとか。
元ポスト:
解説:
Research acceleration: The view inside OpenAI, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #AIAgents #GenerativeAI #SelfImprovement #ScientificDiscovery #autoresearch/RSI Issue Date: 2026-09-08 Comment
元ポスト:
Automation’s Early Footprint: Where AI Agents Are (and Aren’t) Being Built, Cohere, 2026.09
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #AIAgents #Evaluation #read-later Issue Date: 2026-09-07 Comment
元ポスト:
Steering towards “automated grading” degrades alignment, Betley+, LW, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Evaluation #read-later Issue Date: 2026-09-07 Comment
元ポスト:
从 LR(学习率) 到 ELR(有效学习率),重新理解大模型预训练的调度策略, 发布于, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #read-later Issue Date: 2026-09-06 Comment
元ポスト:
Training frontier knowledge work agents: A 397B RL training guide with SkyRL, Mercor and SkyRL, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #AIAgents #PostTraining #read-later #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-09-06 Comment
元ポスト:
397Bモデルに対するDPPOによる事後学習によってAPEX-Agentsのスコアを+11.2%を実現するための取り組みと地検が共有されているようである。
関連:
- [Paper Note] APEX-Agents, Bertie Vidgen+, arXiv'26, 2026.01
- [Paper Note] Rethinking the Trust Region in LLM Reinforcement Learning, Penghui Qi+, arXiv'26, 2026.02
BenchMIRT: What are LLM benchmarks actually measuring?, Ai2, 2026.09
Paper/Blog Link My Issue
#Article #Evaluation #Safety #Author Thread-Post Issue Date: 2026-09-06 Comment
元ポスト:
Atlas: A World Model for Spatial Intelligence, World Labs, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #Transformer #DiffusionModel #Proprietary #read-later #Selected Papers/Blogs #3D Reconstruction #WorldModels #SpatialUnderstanding #Author Thread-Post #4D(Scene + Time) Issue Date: 2026-09-06 Comment
元ポスト:
解説:
Introducing Muse Voice Transcribe, Meta, 2026.09
Paper/Blog Link My Issue
#Article #NLP #SpeechProcessing #Proprietary #AutomaticSpeechRecognition(ASR) #AudioLanguageModel #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-06 Comment
Meta Superintelligence LabによるASRモデルで、多言語対応。日本語にも対応しているようである。Artificial AnalysisによるWERによる評価ではSoTAのようである。
元ポスト:
Alexandr Wang氏によるポスト:
Orbis: Our foundation model that creates living worlds and streams them in real time, Visko, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #Proprietary #VideoGeneration/Understandings #interactive #TextToVideoGeneration #Realtime #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-06 Comment
元ポスト:
リアルタイムに、かつテキストでのインタラクティブな指示を与えつつ動画を生成できるモデルに見える。
How Far Are We from a Native Autoregressive Video Model?, Weiyang Jin, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #read-later #VideoGeneration/Understandings #Author Thread-Post Issue Date: 2026-09-06 Comment
元ポスト:
TimesFM-3: A zero-shot foundation model for multivariate forecasting, Google Research, 2026.08
Paper/Blog Link My Issue
#Article #TimeSeriesDataProcessing #FoundationModel #OpenWeight #Author Thread-Post Issue Date: 2026-09-06 Comment
元ポスト:
HF: https://huggingface.co/google/timesfm-3.0-pytorch
公式:
TERMINAL-BENCH 4.0, TERMINAL-BENCH, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Evaluation #Live #Initial Impression Notes Issue Date: 2026-09-05 Comment
元ポスト:
新しいタスクを追加する方向性ではなく、既存のタスクで課題(拒否、正解が公開、品質面等)があるものや飽和したものを改善、評価実行時のタイムアウトやエラーなどのリソース面の改善をし測定誤差の低減なども実施しているようである
所見:
Introducing H3 Max by fal, fal, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #Proprietary #VideoGeneration/Understandings #Initial Impression Notes #Author Thread-Post Issue Date: 2026-09-04 Comment
元ポスト:
Minimax H3を事後学習(指示追従とvisual qualityを改善)することで、Artificial Analysisによる評価でSoTAを達成した動画生成モデルとのこと。
Introducing K2 Horizon: Frontier Performance, Radically Open, Institute of Foundation Models, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #OpenWeight #OpenSource #Selected Papers/Blogs #One-Line Notes Issue Date: 2026-09-04 Comment
元ポスト:
所見:
HF: https://huggingface.co/collections/IFM/k2-horizon
GPT-5.6-luna級の性能を375B-A23Bで実現されているように見え、データ、レシピ、コード、重みが公開される。
