Author Thread-Post (1265) — 5/7
Krea3: Frontier Image Editing Model 4x faster than Nano Banana Pro, Krea, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #NLP #TextToImageGeneration #Blog #Proprietary #Editing #ImageSynthesis #Initial Impression Notes Issue Date: 2026-10-25 Comment
元ポスト:
安い、速い、(パレート最適)、高性能(Arena4位)の画像生成、編集モデル。
[Paper Note] Reward Misspecification Degrades Chain-of-Thought Monitorability, Yan+, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Chain-of-Thought #One-Line Notes #Monitorability Issue Date: 2026-10-25 Comment
github:
https://github.com/Lorenayannnnn/reward-misspecification-degrades-cot-monitorability
blog:
https://tianyi-lorena-yan-me.web.app/blogs/reward_misspecification_degrades_cot_monitorability/
元ポスト:
プロンプト中に記述された意図(たとえば900字以内だ応答して)に対して、報酬に誤り(より長い応答を高い報酬とする)があると、モデルはプロンプトの意図に従うことをCoTで生成しつつ、(より長い応答の方が高い報酬を得られるため)長い応答を生成する、といった場合でも高い報酬が得られてしまうため、CoTのMonitorabilityが低下する。つまり、プロンプト中の意図と異なる挙動に対しても高い報酬を与えてしまうのがよろしくない、という話のようである。
解決策として、reward description trainingを提案している。すなわち、モデルのロールアウトとそこから得られた報酬に対して、何に対して報酬が与えられたのかをLLMに推測させ、次のロールアウトにプロンプトにこれを確率的に注入し学習を継続する。
これにより、推測が正しければ、reward descriptionが注入されたロールアウトが高い報酬、そうでない場合は低い報酬となるはずで、reward descriptionが注入される場合はCoTでその意図を説明するため、CoTで説明される意図と、実際の報酬が一致し、CoTの説明内容と報酬のgapが改善される。
[Paper Note] Asymmetrically Unfair Decision Making and Reasoning in LLMs, Ai2, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Fairness Issue Date: 2026-10-25 Comment
元ポスト:
Hy-Nomas, Tencent, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #Blog #OpenWeight #VideoGeneration/Understandings #WorldModels #interactive #Initial Impression Notes Issue Date: 2026-10-25 Comment
元ポスト:
HF:
https://huggingface.co/tencent/Hy-Nomas
github:
https://github.com/Tencent-Hunyuan/Hy-Nomas
自由記述のテキストとカメラコントロールによるinteractiveな制御と、最大60sの生成をサポート
JST-2: Physics-Native World Foundation Model, ViGGLE, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #Blog #Selected Papers/Blogs #3D (Scene) #Robotics #WorldModels #Realtime Issue Date: 2026-10-24 Comment
単にvisual tokenを処理するモデルとは異なり、各トークン(Physical-Native Token)が、xyz座標、dynamics/attributeを持つような、3D Sceneをネイティブでサポートするようなアーキテクチャを採用しているようで、リアルタイムに3D Sceneを拡張できるとのこと。興味深い。
元ポスト:
You could have invented transformers from memory, Alex Wang, 2026.10
Paper/Blog Link My Issue
#Article #NeuralNetwork #Analysis #NLP #Transformer #Blog #Architecture #Initial Impression Notes Issue Date: 2026-10-22 Comment
元ポスト:
transformerのMLP, self-attentionを、KeyとValueに基づくメモリとして解釈する
Introducing Flint, recursive, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Blog #Coding #OpenWeight #SoftwareEngineering #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-10-22 Comment
HF: https://huggingface.co/RecursiveSI/flint
関連:
- First Steps Toward Automated AI Research, Recursive Superintelligence, 2026.06
40B-A2.5Bのローカル向けコーディングモデル。Richard Socher氏
元ポスト:
Flora: An Open Model Suite for Scaling Robotics Data Engines, Leng+, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #Annotation #Blog #OpenWeight #Robotics #3D (Video) #EgocentricView #Data Issue Date: 2026-10-22 Comment
元ポスト:
Reactive Optimizers, Bai+, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Optimizer Issue Date: 2026-10-22 Comment
元ポスト:
Pretraining at scale without a pretraining team, Mirendil, 2026.10
Paper/Blog Link My Issue
#Article #read-later Issue Date: 2026-10-22 Comment
元ポスト:
elephant-1, Base Labs, 2026.10
Paper/Blog Link My Issue
#Article #OpenWeight #SystemOneModel/DecisionModel Issue Date: 2026-10-22 Comment
元ポスト:
blog: https://labs.baseten.co/articles/mammoth-1-and-elephant-1-frontier-decision-models
mammoth-1, Base Labs, 2026.10
Paper/Blog Link My Issue
#Article #OpenWeight #SystemOneModel/DecisionModel Issue Date: 2026-10-22 Comment
元ポスト:
blog: https://labs.baseten.co/articles/mammoth-1-and-elephant-1-frontier-decision-models
Embodied First Exam: A Terminal-Bench for coding agents in robotics., Embodied First Exam Team, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Evaluation #Selected Papers/Blogs #VisionLanguageModel #Robotics Issue Date: 2026-10-20 Comment
github: https://github.com/mll-lab-nu/embodied-first-exam
元ポスト:
Introducing Exa 3.0, exa, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-20 Comment
元ポスト:
Diffusion at Scale: Introducing Mercury 3, inception, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #DiffusionModel #Blog #Proprietary #read-later #Selected Papers/Blogs Issue Date: 2026-10-20 Comment
元ポスト:
FLUX 3 Max, fal, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #Proprietary #Post #VideoGeneration/Understandings #ImageSynthesis #TextToVideoGeneration #ImageToVideoGeneration Issue Date: 2026-10-20
Ming-3.0-asr-tiny, inclusion AI, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-20 Comment
元ポスト:
Ming-3.0-audio-tiny, inclusion AI, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-20 Comment
元ポスト:
Ming-3.0-audio-flash, inclusion AI, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-20 Comment
元ポスト:
Ming-3.0-tts-tiny, inclusion AI, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-20 Comment
元ポスト:
Ming-3.0-tts-0.5B, inclusion AI, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-20 Comment
元ポスト:
MiniMax M3.1 Flash: Space Performance + Bunny Speed, Minimax AI, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Proprietary #Post Issue Date: 2026-10-20
DeepSeek-V4.1-Flash-1017, DeepSeek AI, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #AIAgents #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #Initial Impression Notes Issue Date: 2026-10-17 Comment
元ポスト:
ベンチマーク上はGPT-5.6-solと同等以上という感じに見える。
サイバーセキュリティに対する攻撃能力のトークン量に対するパフォーマンスがGPT-6-Sol超えとのこと:
そもそもどのように評価しているのだろうか。
- elephant-1, Base Labs, 2026.10
ハーネスとしては上記のPi agent harnessが用いられているとのことだが、そもそもサイバー攻撃をするような指示はモデルが拒否しないのだろうか。
Neural Networks Are Already Clean, Nick Cammarata, 2026.10
Paper/Blog Link My Issue
#Article #read-later Issue Date: 2026-10-17 Comment
元ポスト:
すごい長文だ
RSI-Inference Bench: A Long-Horizon Benchmark for Self-Improving, Liu+, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Evaluation #Blog #LLMServing #autoresearch/RSI Issue Date: 2026-10-17 Comment
元ポスト:
pplx-decider-v1.2, Perplexity AI, 2026.10
Paper/Blog Link My Issue
#Article #OpenWeight #SystemOneModel/DecisionModel Issue Date: 2026-10-17 Comment
軽量版: https://huggingface.co/perplexity-ai/pplx-decider-flash-v1.2
元ポスト:
AISLE's Year on the Cyber Frontier, AISLE, 2026.10
Paper/Blog Link My Issue
#Article #Security Issue Date: 2026-10-17 Comment
元ポスト:
Introducing Glimpse: Visual thinking that stays grounded, ELORIAN, 2026.10
Paper/Blog Link My Issue
#Article #Proprietary Issue Date: 2026-10-17 Comment
元ポスト:
ASPIRE: Agentic _Skills Discovery for Robotics, NVIDIA, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-17 Comment
github: https://github.com/nvlabs/aspire
元ポスト:
Introducing Dawn 1: Frontier intelligence for mental health support, sword, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-17 Comment
元ポスト:
[Paper Note] Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI, NVIDIA, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-17 Comment
元ポスト:
FLUX 3 Image Klein, Black Forest Labs, 2026.10
Paper/Blog Link My Issue
#Article #OpenWeight Issue Date: 2026-10-17 Comment
元ポスト:
HF: https://huggingface.co/collections/black-forest-labs/flux-3-image-klein
Quantifying the Effect of Test Set Contamination on Generative Evaluations
Paper/Blog Link My Issue
#Article #Evaluation #Contamination Issue Date: 2026-10-17 Comment
元ポスト:
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-17 Comment
元ポスト:
Accelerating Scientific Research in Health Data Science With Muse Models, Meta, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-17 Comment
元ポスト:
Jason Wei氏によるポスト:
LLM-to-Flow Distillation: Teaching Natural Language Goals to Scientific Generators
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-17 Comment
元ポスト:
Breaking Frontier Image Models Without Frontier AI, WHITE CIRCLE, 2026.10
Paper/Blog Link My Issue
#Article #RedTeaming Issue Date: 2026-10-17 Comment
元ポスト:
Ultramarine 1 Flash: Scaling Non-Verifiable RL, Paper Instruments, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-17 Comment
元ポスト:
Ling-3.1-flash, inclusionAI, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight Issue Date: 2026-10-17 Comment
元ポスト:
Multilingual Multimodal Envs, FineEnvs, 2026.10
Paper/Blog Link My Issue
#Article #Environment Issue Date: 2026-10-17 Comment
元ポスト:
Correction Training for Diffusion Models
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-17 Comment
pj page:
https://sunovivid.github.io/correction-training/
github:
https://github.com/sunovivid/correction-training
元ポスト:
A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control
Paper/Blog Link My Issue
#Article #Robotics Issue Date: 2026-10-17 Comment
pj page: https://sgs-rl.github.io/
元ポスト:
Building a Real-world Autonomous Robotic System with Causality-driven Agent and World Model, AETHER AI, 2026.10
Paper/Blog Link My Issue
#Article #Blog #Robotics Issue Date: 2026-10-17 Comment
関係者ポスト:
元ポスト:
FLAT: Flash Linear Attention on TPUs, Mishra+, 2026.10
Paper/Blog Link My Issue
#Article #Blog #LinearAttention Issue Date: 2026-10-17 Comment
元ポスト:
HyperThink: Text-to-Parameter Hypernetworks for Efficient Reasoning
Paper/Blog Link My Issue
#Article #COLM Issue Date: 2026-10-17 Comment
pj page: https://hyperthink-llm.github.io/
元ポスト:
One-Sided Verification Under Limited Expert Review
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-17 Comment
pj page:
https://osverify.github.io/
github:
https://github.com/OSVerify
Strategy Coordination Optimization (SCOOP) for Unlocking Effective Exploration in LLMs, Gu+, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-16 Comment
元ポスト:
著者ポスト2:
Frontier Pre-training at Microsoft AI, MAI, 2026.10
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #Pretraining #NLP #LanguageModel #Blog #read-later #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-10-16 Comment
元ポスト:
事前学習において、bits-per-bytesでKimi-K3超え
所見:
解説:
Source Scaling
LR x Weight Decayの積に着目した最適なハイパーパラメータの経験則
Activation Gradient Clipping
Introducing Ternary Bonsai 2 2B, 4B, and 9B: Bringing Local Agents to Everyday Devices, PrismML, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #SmallModel #OpenWeight #One-Line Notes Issue Date: 2026-10-16 Comment
HF: https://huggingface.co/collections/prism-ml/bonsai-2-small
元ポスト:
最新のTernary weightによるモデルシリーズBonsaiのリリースで、同パラメータ数のQwen3.5と比較して同等のベンチマークスコアを獲得しつつ、VRAM消費量が1/3 -- 1/10 程度であり、モデルパラメータ数が大きいほど削減効果が大きい
NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning, NVIDIA, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #AIAgents #MultiModal #OpenWeight #VisionLanguageModel Issue Date: 2026-10-16 Comment
元ポスト:
HF: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16
Introducing Muse Spark Open, The Most Capable US Open‑Weight Model to Date, Meta, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #OpenWeight Issue Date: 2026-10-16 Comment
元ポスト:
HF: https://huggingface.co/collections/meta-models/muse-spark-open
Alexandr Wang氏によるポスト:
Redesigning source control at Anthropic, Anthropic, 2026.10
Paper/Blog Link My Issue
#Article #AIAgents #Blog #Coding #SoftwareEngineering #read-later Issue Date: 2026-10-14
Noise: Speedrun for pretraining without backpropagation, Q LABS RESEARCH, 2026.10
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #Blog Issue Date: 2026-10-13 Comment
元ポスト:
関連:
- Dust: Pretraining Transformers Without Backpropagation, Q LABS RESEARCH, 2026.10
解説:
TutorMoments‑Preview: When Help is Unhelpful — Evaluating AI Tutors for Productive Struggle, Ai2, 2026.10
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #Education #AIAgents #Evaluation #Blog #reading #KeyPoint Notes #Reading Reflections #Open-endedTasks Issue Date: 2026-10-13 Comment
元ポスト:
学生に数学を教えるシチュエーションにおいて、学生に理解を手助けするためのscaffoldingを実施すべき場面がか、あるいはより思考を深めさせるのが適切な場面か、をモデルが適切に判断した上でtutoringできるかを測定するためのアノテーションデータを構築。アノテーションデータでは実際の教員がsession dataに対してアノテーション(Key Learning Momentの場面と、LLMがReplayを始めるべきCut Point, なぜこの瞬間が鍵となるlearning momentなのか、人間のtutorがどのようなアクションを取ったか、アクションの効果などを自由記述)しすることで構築し、LLMによって、Push for Rigor Moment, Scaffolding Moment, Over-Scaffold Moment S/A/Rラベル)3種類のラベルを付与することで正解データを作成。
LM TutorはCut Pointまでの全てのcontextを与えられた上で、tutoringをsynthetic studentに対して実施(LM Tutor 3ターン、synthetic student 2ターン)、これらのターンに基づいて判断をするLLMが、LM Tutorのtutoringに対してS/A/Rラベルを同様に付与し、正解ラベルとのAlignmentを測定することで評価(Figure 1)。
LM Tutorに"tutor well."と指示するだけではスコアリングが低く、明示的にtutoringに関するinstructionを加えたらスコアが大幅に向上。
前提として、今回のような正解が一つに定まらないOpen-endedなタスクについて評価するのは非常に難しく、特定ドメインにおいて、LLMが少なくとも人間の専門家と同じような挙動を実現できるかという観点で見ると、
- LLMがパラメータに内在化している世界知識と能力はだけでは限界があり、
- 明示的な行動指針をinstructionとして書き起こせるのであれば、専門家にAlignした行動をとることができるようになってきている
という話なのかなと思う。
正解を定義して外部のverifierが判定できるようなタスクについては、現在のRLVRのような枠組みとEnvironmentがスケールすればかなり広範まで正確にできるようになるだろうな、という見通しは立つが、Open-endedなタスクにおいては課題が残っている状態と言える。
また、今回のtutoringによる評価では人間が言葉でノウハウを書き起こせたが、そのような明文化されたノウハウは必ずしも存在しているわけではなく、かつ必ずしも明示的に書き起こせるわけではないと考えられる。今回はinstructionとして明文化することでスコアが向上しているが、そもそも後者の場合はどうするのか、という課題も残る。
Muse Wonder, Meta, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Proprietary #Selected Papers/Blogs Issue Date: 2026-10-13 Comment
元ポスト:
SWE系のベンチマークでGPT-6-Astra, Opus5.5超え
Automation Benchでは、多くのverifierでバグが見つかっているため注意:
- Automation Bench Verified, /parsewave/, 2026.10
FullはAA IndexでOpus 5.5と同等:
所見:
他モデルよりも多くの引用をし、簡潔に説明し、フォローアップの質問をしない:
GLM-Legal: Advancing Agentic Legal Intelligence, Z.ai, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Proprietary #Legal #One-Line Notes Issue Date: 2026-10-13 Comment
元ポスト:
legal系のベンチマークでは、GPT-6-Astra, Fable 5よりも、Kimi K3, GLM-Legalのような中国系OpenWeightモデルの性能が良い
9th annual STATE OF AI REPORT, Nathan Benaich, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
元ポスト:
GEN-1.5: Embodied Foundation Models are One-Shot Learners, Generalist, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
元ポスト:
Introducing Microsoft-Decision-1, our model for fast decision-making, Microsoft, 2026.10
Paper/Blog Link My Issue
#Article #SystemOneModel/DecisionModel Issue Date: 2026-10-10 Comment
元ポスト:
Post-training infrastructure at Proximal, PROXIMAL, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
元ポスト:
関係者ポスト2:
TermGrade:評価済みのターミナル環境1,004件、試行記録36,144件、そしてそれらを使った強化学習, ai& Research, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
HF: https://huggingface.co/collections/ai-and/termgrade
元ポスト:
HONE: AI Engines that own outcomes, HONE, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
元ポスト:
Online RL with live human feedback for multimodal models, Datapoint AI, 2026.10
Paper/Blog Link My Issue
#Article #Live Issue Date: 2026-10-10 Comment
元ポスト:
freeinference_agentic_trace, harvardMadsys, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
元ポスト:
OpenEnv Arena, BenchFlow and NEBIUS, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
元ポスト:
Mellum2.1 Gets to Work: A Fast Open Model for Coding Agents, JetBrains AI, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
HF: https://huggingface.co/collections/JetBrains/mellum21
元ポスト:
[Paper Note] AutoInteract: Training agents to interact with humans, Chuanyang+, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
元ポスト:
KV Caching in Flow Models: KV caching in flow models for image generation., Sayak Paul, 2026.10
Paper/Blog Link My Issue
#Article #Tutorial #KV Cache Issue Date: 2026-10-10 Comment
元ポスト:
[Paper Note] Kernel Autoresearch for Open-Ended Model Discovery, Suwandi+, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
pj page: https://richardcsuwandi.github.io/kernaut/
元ポスト:
MAI-Code-1.1-Flash: Better, faster, at a quarter of the cost, MAI, 2026.10
Paper/Blog Link My Issue
#Article #Blog Issue Date: 2026-10-10 Comment
元ポスト:
Open d1: Edge decision models for text, vision, and audio, Liquid AI, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #MultiModal #SpeechProcessing #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #2D (Image) #Omni #audio #text #Initial Impression Notes #SystemOneModel/DecisionModel Issue Date: 2026-10-10 Comment
HF:
-
https://huggingface.co/LiquidAI/d1-3B
-
https://huggingface.co/LiquidAI/d1-omni-600M
元ポスト:
proprietaryのd1よりもパラメータ数は小さく性能は低いが、パラメータ数-Decision Indexにおいてパレート最適なOpen Weight Decision Model。LFMをバックボーンとし、omniモデルも存在する。
日本語性能:
Introducing Claude Haiku 5.5: the cheapest, fastest, and most capable small model we’ve ever released., Anthropic, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #NLP #LanguageModel #AIAgents #Proprietary #VisionLanguageModel #Initial Impression Notes Issue Date: 2026-10-10 Comment
元ポスト:
GPT-6-lunaよりもベンチマークスコアが高くコストが安い。あとは生成されるテキストがどれだけ分かりやすいか...
Building the Most Diverse UMI Dataset in Robotics, PANTHEON, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
元ポスト:
Now in Nature: Retrofitting language models to operate over bytes, Ai2, 2026.10
Paper/Blog Link My Issue
#Article #Byte-level Issue Date: 2026-10-10 Comment
元ポスト:
INTRODUCING AGENTENV: AN OPEN-SOURCE FRAMEWORK FOR BUILDING RL ENVIRONMENTS, Scale Labs, 2026.10
Paper/Blog Link My Issue
#Article Issue Date: 2026-10-10 Comment
元ポスト:
Paper Highlights of August & September 2026, JOHANNES GASTEIGER, 2026.10
Paper/Blog Link My Issue
#Article #Safety Issue Date: 2026-10-10 Comment
元ポスト:
embeddinggemma-2, Google, 2026.10
Paper/Blog Link My Issue
#Article #Embeddings #NLP #MultiModal #Blog #MultiLingual #Encoder #2D (Image) #3D (Video) #audio #text Issue Date: 2026-10-10 Comment
元ポスト:
Automation Bench Verified, _parsewave_, 2026.10
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #AIAgents #Evaluation #Blog #One-Line Notes Issue Date: 2026-10-10 Comment
dataset: https://www.kaggle.com/datasets/parsewave/automationbench-verified-v0-0
- [Paper Note] AutomationBench, Daniel Shepard+, arXiv'26, 2026.04
に含まれるverifierをAI Agentで検証し、AI Agentによって323がバグの疑いとフラグ付けされ、そのうち206件が実際のバグと人間によるレビューで判定され、修正された。
Introducing PersonalAgentBench, micro1., 2026.10
Paper/Blog Link My Issue
#Article #Evaluation Issue Date: 2026-10-10 Comment
元ポスト:
Le chonk Introducing Mistral Large 4, Mistral AI, 2026.10
Paper/Blog Link My Issue
#Article #LanguageModel #OpenWeight #Initial Impression Notes Issue Date: 2026-10-10 Comment
元ポスト:
10月末にweightがリリース
関係者ポスト:
所見:
OpenWeightモデルの中で、ベンチマークスコアはかなり高い
weightがオープンに:
https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B
ポイント解説:
KohakuFA: Flash attention for Blackwell, with gradients you can trust
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #Attention #Blog #Stability #GPUKernel #Initial Impression Notes #Bug Issue Date: 2026-10-09 Comment
元ポスト:
cuDNN, FA4, flex attentionに、attentionのlogitが大きくなると、backwardでの勾配が本来よりも10--1000倍、最悪の場合はinfとなるバグが見つかった報告のようである。forwardは正常に動作していふように見え、学習の後半にならないと気づけないとのこと。
Kolibri-1, Aleph-Alpha, 2026.10
Paper/Blog Link My Issue
#Article #Analysis #Pretraining #NLP #LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #OpenWeight #MoE(Mixture-of-Experts) #mid-training #PostTraining #DataMixture #German #Asynchronous Issue Date: 2026-10-09 Comment
元ポスト:
解説:
SWE-sweep: Can Agents Autonomously Find and Fix Bugs, Lieret+, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Selected Papers/Blogs #reading #Security #Bug Issue Date: 2026-10-09 Comment
元ポスト:
モデルに「コードベースに存在するバグを可能な限り多く修正すること」のみを指示し、他の具体的な情報を一歳与えない時にどの程度潜在的なバグを修正できるかを測定するためのベンチマーク。GPT-5.6-Solが最も性能が良かったが、修正できたバグは全体の5%未満だったとのこと。ベンチマークはgithub上のリポジトリの特定コミット(バグが最も多く含まれているもの)を切り出し、バグが解決されたか否の検証にはリポジトリ中のユニットテストを利用する。また、これらインスタンスは、多くの品質フィルタリングを(正当なバグか、ヒントなしで解決できるか、バグが再現するか、ゴールドとなる修正が機能しているか、テストが適切か、期待される動作が推論可能か、等)かけた上で構築される。100種類のリポジトリ、22言語、4k程度のバグで構成され、最大では一つのコードベース239個のバグが存在する。
Expert parallelism at hero scale, Open Athena, 2026.09
Paper/Blog Link My Issue
#Article #Pretraining #NLP #LanguageModel #Blog #MoE(Mixture-of-Experts) #SoftwareEngineering #Parallelism #GPUKernel Issue Date: 2026-10-09 Comment
元ポスト:
JEV-27B-VL, AutoTrust, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #MultiModal #OpenWeight #VisionLanguageModel #2D (Image) #text #SystemOneModel/DecisionModel Issue Date: 2026-10-09 Comment
元ポスト:
Invent a Dataset: Measuring Dataset Generation Abilities with Zero Seed Data, Singh+, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #SyntheticData #Blog #Proprietary #One-Line Notes #Data Issue Date: 2026-10-09 Comment
元ポスト:
手元にdataが何もない状態で、所望のデータのdescriptionをクエリとして投げると、学習データを返すInventAPIをリリースしたよ、独自の実験結果によるとfrontier LLMと比較しても学習データの多様性や品質が高かったよ、という話のようであり、技術的な詳細は記述されていなさそうである。commercial useも可能なpermissive licenceでINVENT-A-DATASETもリリース、とのこと。
Self Distillation, Rehaan Ahmad, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #Distillation #PostTraining #On-Policy #SelfDistillation Issue Date: 2026-10-09 Comment
元ポスト:
The ultimate guide to multi-harness RL, Kolavi+, 2026.09
Paper/Blog Link My Issue
#Article #Multi #NLP #LanguageModel #ReinforcementLearning #Blog #PostTraining #Generalization #Initial Impression Notes #AgentHarness Issue Date: 2026-10-09 Comment
元ポスト:
著者ポスト:
ざっくり言うと、単一のハーネスにoverfitした形でRLするのではなく、複数ハーネスを跨いでRL(+ 複数ハーネスを跨いだ場合特有のreward設計)をすることで、多くのハーネスで高いパフォーマンスを発揮するモデルを学習する(単一ハーネスにoverfitすると特定ハーネスでは高い性能が出るが、他のハーネスでは性能が出ないということがおきる)、という話に見える。
[Paper Note] Tokenization: A Survey for Modern NLP, Cognetta+, 2026.10
Paper/Blog Link My Issue
#Article #Survey #NLP #LanguageModel #Tokenizer Issue Date: 2026-10-09 Comment
元ポスト:
Reality Check Leaderboard, Poke & Wiggle, 2026.09
Paper/Blog Link My Issue
#Article #Evaluation #Blog #Selected Papers/Blogs #Robotics #EmbodiedAI #One-Line Notes Issue Date: 2026-10-09 Comment
元ポスト:
オープンなモデルを、実機でのロボット操作によって評価したリーダーボードで今後追加されていくとのこと。操作をする上でオブジェクトの配置はランダムに変化するようになっており、異なる位置に対してモデルが汎化するかを測定できる。また、タスクの成功率だけでなく、タスクの進捗や品質、実行時間、安全側故障率なども測定されるようである。また、ベンチマークタスクの半分は公開され、残り半分は非公開。
TIRx Harness: An Open Compiler Harness for Agentic GPU Programming, MLC Community, 2026.09
Paper/Blog Link My Issue
#Article #NLP #AIAgents #Blog #SelfImprovement #GPUKernel #autoresearch/RSI #AgentHarness Issue Date: 2026-10-09 Comment
元ポスト:
Introducing GPT-6.1-Sol, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #AIAgents #Blog #Proprietary #VisionLanguageModel #Reference Collection Issue Date: 2026-10-09 Comment
元ポスト:
OpenAIが公開したmisalignmentに関するレポートで、GPT-6.1-Sol, AstraのCoTが公開され、それらには単語間のスペースやプログラミング言語のような表記が現れることと、それに対してKarpathy氏がコメントをしたことが話題となっていた:
Karpathy氏はRLが有効に機能した場合にモデルがCoT中で英語を使うのをやめた時に、RLが適切に行われたことを示すという見解を過去に示しており、そのポストを引用して今回コメントを残している。
RLを用いるとSFTによってreasoningを学習させる場合などとは異なり、(reasoning traceに対して文法や人間の意味理解に関する報酬を与えない限りは)モデルがreasoning trace中で人間が理解できる言語を話すことで報酬が得られるわけではないため、このような現象が生じてくると推察される。
レポートはこちら: https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/
dots のご紹介, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #GenerativeAI #Blog #ComputerUse #VisionLanguageModel Issue Date: 2026-10-09 Comment
元ポスト:
Holo4: powering generalist computer use agents, H Company, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #Blog #OpenWeight #ComputerUse #VisionLanguageModel Issue Date: 2026-10-09 Comment
元ポスト:
Notes on NVIDIA Nemotron: A broad coverage of the most practically useful series of open LLM tech reports..., CAMERON R. WOLFE, PH.D., 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #Blog #OpenWeight Issue Date: 2026-10-08 Comment
元ポスト:
Claude Sonnet 5.5, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Blog #Proprietary #VisionLanguageModel #Initial Impression Notes Issue Date: 2026-10-07 Comment
元ポスト:
Opus 5.5と比較してコーディング系のベンチマークのスコアは大差なく、かつ安くて速いならOpus 5.5から乗り換え検討余地あり
Spurious probes as a black-box alternative to activation probing, Ziqian Zhong, LW, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Alignment #Evaluation #Safety #One-Line Notes Issue Date: 2026-10-07 Comment
元ポスト:
モデルの内部状態を明らかにするための、明らかにしたい内容とは無関係なプロンプト(Spurious Probe)、たとえばGPT-5.6-Lunaの場合は「両生類の一種を挙げてください」のようなプロンプトに関する検討。GPT-5.6-Lunaはこの質問に対し、評価されていると認識しているときは70--95%程度「カエル🐸」と応答し、実際に利用されていると認識している場合は12--38%にとどまる。このように出力の傾向が変化するので、この情報からlogistic regressionを学習する(ようだが、具体的にどのようなinput/labelで学習するのかよくわかっていない)。直接質問するような手法では対策がされやすい問題があり、probingによる手法はモデルの内部にアクセスできなければならないが、Spurious Probeはモデルがブラックボックスの場合でも利用でき、直接的に質問するプロンプトよりは対策されずらい、という利点がある。
Towards RL for Superhuman Text: Unslopping AI, Weston+, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Selected Papers/Blogs #AcademicWriting #One-Line Notes #Reading Reflections Issue Date: 2026-10-07 Comment
- フロンティアモデルは、通常のLLM-as-a-Judgeでは、現在のslopモデルによる執筆の品質を高品質な人間の論文よりも高く評価してしまう
- 高品質な人間の執筆テキストを収集し、高品質な人間執筆テキストとモデル生成テキストのLLM judgementでのスコア差が最大となるRubricを(小規模training dataに対するmeta promptのiterativeな最適化で)学習し、当該ルーブリックをRLで活用することでモデル生成のテキスト品質を人間の専門家に近づけることができる
元ポスト:
以下感想
細かくは読めていないが、事前学習はモデルの能力獲得の土台であり事前学習は最尤推定によって学習される。このため、モデルは平均的に良いものを出力することで対数尤度を改善できるが、一方特定の分野のごく一部の専門家のようなテキストを出力することは対数尤度を改善する上での影響は限定的であり、その能力は部分的にしか獲得されない(あるいはモデルの能力として獲得はされるが顕在化されづらい)ので、事後学習によってその能力をより強化して顕在化しやすくする、という感じの話に近いように感じる。
もしくは、あまり一般的な見立てではないかもしれないが、モデルの能力は事前学習時に身につけた能力を土台として、事後学習によってどの能力を強化するかが調整されていると仮定すると、事後学習を通じてcollapseしたモデルの執筆能力(事後学習では基本的になんらかのreasoning traceが出力され、執筆能力そのものにペナルティは課されないため、collapseしやすそう)を、高品質なサンプルから得られたルーブリックに基づくRLによって改善する、という位置付けとも捉えられるのかもしれない。
前者で考えると、たとえばコーディングエージェントの分野などでも、ガチガチのプログラマーのコードからルーブリックを学習し、そのルーブリックを通じて学習をすれば、(平均的なプログラマーの品質ではなく)ガチガチのプログラマーのようなお作法のコードを出力できるようになるのだろう。
となると、コーディング以外の様々な分野において広く適応しうる技術であり、平均的な出力から、特定の専門家レベルまで品質を引き上げるための枠組み(ただしデータが確保できてルーブリックとして表現可能なものに限る)、ともみなせるのかな、るという感想を抱いた。
Introducing Ember-1, Fireworks, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Blog #Proprietary #PostTraining #Initial Impression Notes Issue Date: 2026-10-06 Comment
元ポスト:
Kimi K3に対して、不要な推論は省き、重要な思考は維持することでトークン生成量を抑え効率化したという話のようで、具体的な手法などについては記載がないように見える。
事後学習したと明言されている:
Liquid Foundation Models: Decision Models, Liquid AI, 2026.10
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #MultiModal #Blog #Proprietary #2D (Image) #text #Initial Impression Notes #SystemOneModel/DecisionModel Issue Date: 2026-10-06 Comment
元ポスト:
Liquid AIからもvisionに対応したDecision Modelがリリース、プロプライエタリなようだ
Latent reasoning architectures would likely undermine CoT, our strongest oversight tool, REDWOOD RESEARCH, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Chain-of-Thought #Blog #Safety #LatentReasoning #reading #One-Line Notes #Monitorability Issue Date: 2026-10-04 Comment
元ポスト:
本文でとりあげられているlatent reasoning architecture:
- [Paper Note] Training Large Language Models to Reason in a Continuous Latent Space, Shibo Hao+, COLM'25
- [Paper Note] Full-bandwidth transformer, Xi Wang+, arXiv'26, 2026.08
- [Paper Note] Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach, Jonas Geiping+, NeurIPS'25
解釈性に関するツール
- Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Anthropic, 2024.05
- Simple probes can catch sleeper agents, Anthropic, 2024.04
- Natural Language Autoencoders: Turning Claude’s thoughts into text, Anthropic, 2026.05
- How confessions can keep language models honest, OpenAI, 2025.12
ざっくりいうと現在のCoTは高度な推論を実施するために多くの場合必要なの挙動であり、危険のある行動(しばしば難しいタスク)を実施する際にはCoTによる思考がモデルにとって必要(CoTを実施しないと目的を達成できないため)で、これは目標の達成に必要に必ずしも必要でなくてもCoTを実施するような傾向とは区別すべきであり、latent reasoning系のアーキテクチャではCoTの必要性が薄れてしまう(また、モデルが正確な情報をCoTに言語化する傾向があるのは必要性があることに起因する可能性があり、必要性が薄れるとCoTに正確に言語化する傾向も弱くなるという)懸念がある。
この必要性によってCoTをモニタリングすることは現在AIの監視をする上で有用であるが、潜在空間上で推論を実施するlatent reasoning系のアーキテクチャに移行し必要性が薄れると、この有用性が損なわれ、Sparse Autoencoder, probing, natural language autoencoders, confession modelsなどの解釈性に関する手法は存在するが、CoTほど有用な信号を得ることができないため、AIを監視することが著しく困難となるだろう、という話のようである。
Know Who Spoke When: Build Real-Time, Multi-Speaker AI with NVIDIA Nemotron 3 Diarization, NVIDIA, 2026.09
Paper/Blog Link My Issue
#Article #NLP #SpeechProcessing #Blog #OpenWeight #AutomaticSpeechRecognition(ASR) #Transcript #SpeakerDiarization Issue Date: 2026-10-04 Comment
元ポスト:
Prime Sandboxes: Run thousands of concurrent environments with first-class verifiers and prime-rl integration. Every workload stays inside an isolated microVM., PRIME Intellect, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #AIAgents #Blog #PostTraining #SandboxEnvironment Issue Date: 2026-10-04 Comment
元ポスト:
700 TPS on Kimi K3: A Case for TPU Megakernels, Inferact, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #AIAgents #Blog #Coding #SoftwareEngineering #GPUKernel #Megakernels Issue Date: 2026-10-04 Comment
TPU v7 (Ironwood) 向けのメガカーネルで、最初のTPU推論用のメガカーネルとのこと。
What Is An AI Dark Factory? What Lights-Out Manufacturing Teaches Us About Software, Owen Sweeney, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #NLP #AIAgents #Blog #Coding #SoftwareEngineering #Initial Impression Notes Issue Date: 2026-10-04 Comment
AI Dark Factory: 人間の介入をほとんど必要とせず、AI Agentがソフトウェアを構築する未来像
製造業におけるDark Factoryという概念を起源としており、Dark Factoryとは向上フロアに人員を配置せずに長時間連続稼働可能な生産設備のことであり、これと同様の概念をソフトウェア開発に適用したものとのこと。重要な点は、製造業においてはロボットが人間の仕事を代替できるほど賢くなったというわけではなく、生産プロセスを再設計し、人間の判断を必要とする工程を大幅に削減したという点とのこと。
そのうえで、ソフトウェア開発におけるAI Dark Factoryとはどのようなものか?ということが考察されている。正確性の判定が主観的な判断に依存するほどワークフローの運用が困難となる。
元ポスト:
[Paper Note] EmbodiedSWE: Coding Agents for Long-Horizon Dexterous Robotics, Shen+, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #AIAgents #Evaluation #Coding #read-later #Robotics #VisionLanguageActionModel #EmbodiedAI #Sim-to-Real #Simulation Issue Date: 2026-10-04 Comment
pj page: https://embodiedswe.github.io/
大脳と小脳的なアプローチ
[Paper Note] Towards Looped Models Done Right Part II: Rethinking at Fixed Points, Huang+, 2026.10
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Transformer #Architecture #RecurrentModels Issue Date: 2026-10-03 Comment
元ポスト:
Decision 2.0, vLLM Semantic Router Team, 2026.10
Paper/Blog Link My Issue
#Article #NLP #OpenWeight #Initial Impression Notes #SystemOneModel/DecisionModel Issue Date: 2026-10-03 Comment
元ポスト:
JevArenaにおいて、同等程度の規模感のモデルに対してtopのスコアとのことだが、そもそもJevArenaとはなんぞや...
RUNTIME DYNAMIC COMPRESSION OF MIXTURE OF EXPERTS, Tim Dettmers, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Quantization #MoE(Mixture-of-Experts) #SoftwareEngineering #reading #One-Line Notes #needs-revision Issue Date: 2026-10-03 Comment
元ポスト:
UnslothのDynamic Quantizationと比較して、同等のWikiTextでのPerplexityに到達する上で、1 weightあたり、0.4--1 bit程度削減可能な動的量子化手法で、WikiTextのPerplexityを維持しながら高い圧縮率を実現する。任意のlayerに対してレベルの異なる量子化とVRAM上から除去するexpertを割り当てて、推論中も動的に最適化することで、品質を保ちながら圧縮をかけるとのこと。bitsandsbytes2ライブラリに組み込まれる。
関連:
- Dynamic 4-bit Quantization, Unsloth, 2024.12
まだ読んでいる途中でもう少し要点を掴みたい
関連:
- dlab Open Source Week: Frontier AI on Your Own Hardware, Tim Dettmers, 2026.09
Introducing Aikido Altar: the model that makes sovereign security intelligence possible, aikido, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Pruning #Quantization #Blog #OpenWeight #Security Issue Date: 2026-10-02 Comment
元ポスト:
Olmo-core: Building blocks for OLMo modeling and training, AI2, 2024.06
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #MoE(Mixture-of-Experts) #Initial Impression Notes #TrainingFramework Issue Date: 2026-10-02 Comment
元ポスト:
pytorchによる大規模な分散学習を実現するためのフレームワークで、trillion級のMoEモデルが学習できるような機能を追加したv3.0.0がリリースされたとのことである。
DiffusionGemma-as-Jev, Matt Mastracci, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #DiffusionModel #LLMServing #Post #SystemOneModel/DecisionModel Issue Date: 2026-10-02 Comment
vLLMのPR番号57250でマージされ、DiffusionGemmaをJev-likeに利用するための機能がプロトタイプとして実装されているようでえる。
Google Gemmaからも引用されている:
[Paper Note] AutoBenchmark: benchmark creation & the role of humans, Seungone+, 2026.09
Paper/Blog Link My Issue
#Article #NLP #Dataset #AIAgents #Evaluation #read-later #Selected Papers/Blogs #autoresearch/RSI Issue Date: 2026-10-01 Comment
元ポスト:
DeepGEMM Ascend, DeepSeek AI, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Library #AIAgents #GPUKernel Issue Date: 2026-09-30 Comment
元ポスト:
所見:
DeepSeekGEMMと呼ばれる、NVIDIA GPU向けに構築されたGPUカーネルライブラリをHuawei Ascend NPU向けに移植したもので、APIがDeepSeekGEMMと互換性があるため、同じpythonコードから動作させることができるようである。
一言解決:
Halo: Frontier-Lab Training for Everyone, White Circle, 2026.09
Paper/Blog Link My Issue
#Article #Multi #ComputerVision #EfficiencyImprovement #Pretraining #Tools #NLP #LanguageModel #ReinforcementLearning #AIAgents #MultiModal #Blog #mid-training #DPO #PostTraining #Parallelism #VisionLanguageModel #Asynchronous #TrainingFramework Issue Date: 2026-09-29 Comment
元ポスト:
Qwen-Image-2.1: Compact, Efficient, and Unified Image Creation, Qwen Team, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #DiffusionModel #TextToImageGeneration #Blog #OpenWeight #Editing #ImageSynthesis Issue Date: 2026-09-27 Comment
HF: https://huggingface.co/Qwen/Qwen-Image-2.1
元ポスト:
GLiNER2.5-Decide: An Open-Weight Model for Structured Decision Making, Fastino Labs, 2026.09
Paper/Blog Link My Issue
#Article #NLP #Blog #OpenWeight #Encoder #SystemOneModel/DecisionModel Issue Date: 2026-09-25 Comment
元ポスト:
Jev-likeなモデル、乱立しすぎである
When does distillation help reinforcement learning?, Base Labs, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Supervised-FineTuning (SFT) #ReinforcementLearning #Blog #Distillation #PostTraining #read-later #One-Line Notes Issue Date: 2026-09-25 Comment
元ポスト:
RL前にSFTを通じてオフポリシー蒸留をすることが、どれだけ後段のRL後のパフォーマンスに影響するかを調査したようで、
- 小規模モデルには効果的だが大規模なモデルには効果が薄く
- ベースモデルに存在しない慣習や理解を必要とするタスクに対して効果的で
- 副作用としてポリシーのエントロピーが低減する、すなわちRL中の探索が抑制される
といった知見が得られたようである。
一見すると、SLMに関しては
- [Paper Note] A Sober Look at Progress in Language Model Reasoning: Pitfalls and Paths to Reproducibility, Andreas Hochlehnert+, COLM'25
と対立する知見に見えるが、前提として何が違うだろうか。
SLMに対しては同様の知見が示されている:
- [Paper Note] AceReason-Nemotron 1.1: Advancing Math and Code Reasoning through SFT and RL Synergy, Zihan Liu+, arXiv'25, 2025.06
grug-moe-mix-swarm, marin-community, 2026.08
Paper/Blog Link My Issue
#Article #Pretraining #NLP #Dataset #LanguageModel #MoE(Mixture-of-Experts) #Selected Papers/Blogs #DataMixture #One-Line Notes #Reading Reflections Issue Date: 2026-09-24 Comment
元ポスト:
Marinの535B級のMoEモデルを学習した際のデータであり、利用されたツール(クラスタリングに利用されたモデル)も公開されている。
元ポスト中にデータ構築の手順が紹介されており、
- 学習が許可された152の公開データから、25Tトークンを利用
- deduplicationによる2.13T tokensを除外し
- 評価データとの重複を避けるために13-gramによるフィルタリングを実施し
- 特定の分野のデータ等をサンプリングしたいが、その際にソースではなくドキュメントの内容でグルーピングしたいので、embeddingに基づいてクラスタリングを実施し、200のクラスタを形成した
といった話が紹介されている。
LLM-jpではOpenSourceであるために、徹底的にデータセット内部まで精査をして、問題のあるインスタンスの修正等が実施されていたが、Marinではこのような取り組みは行われているのだろうか。特に、データセットに付与されているライセンスがオープンソースである場合でも、データセット、あるいはデータセット中のサンプルの出自を辿るとオープンソースとは呼べないものが存在するという話がある。
- 約12兆トークンの良質なコーパスで学習した新たな国産LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開 ~一部ベンチマークでGPT-4oやQwen3-8Bを上回る性能を達成~, NII, 2026.04
- LLM-jp-4-VL 9Bリリース, LLM-jp, 2026.09
Marinコミュニティにおける"Open"の意味を読むと、Open Sourceの定義を満たすことを目指しているというより、weightを公開するだけではなく、その他の構築に関わる全ての情報を公開する、たとえば学習データであれば全データのソースを開示する、という開発プロセス全体を公開しますよ、という意味に見えるため、ライセンス的に問題のあるインスタンスの削除などは行われていないのかもしれない、が、Marinプロジェクトの公開されている全ての議論の中にそういった話題は存在するかもしれないので実際のところは一次ソースを当たらないとよくわからない。
https://marin.community
Marin-535B-A23Bの学習が折り返し地点を迎えたようで、ここまでの学びがスレッドに記載されている:
Contrastive Language Models: A System One Model for Fast and Generalizable Decision-Making, Kwok+, 2026.09
Paper/Blog Link My Issue
#Article #Pretraining #NLP #Dataset #ContrastiveLearning #Blog #OpenWeight #Scaling Laws #mid-training #PostTraining #Selected Papers/Blogs #Encoder #SystemOneModel/DecisionModel Issue Date: 2026-09-24 Comment
元ポスト:
HF: https://huggingface.co/Contrastive-LM
非常にコンパクトにまとまっていて大変読みやすかった。あとでまとめる。
HyperFlow, VideoRebirth, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #EfficiencyImprovement #Distillation #OpenWeight #VideoGeneration/Understandings #SelfDistillation #autoresearch/RSI Issue Date: 2026-09-23 Comment
元ポスト:
所見:
Step Code, StepFun, 2026.09
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #AIAgents #Coding #SoftwareEngineering #Initial Impression Notes #AgentHarness Issue Date: 2026-09-23 Comment
元ポスト:
高いトークン効率を持つStepFun製のターミナル向けのコーディング用Agent Harness
Rigel Base: Reaching Llama-3.2 Quality with <1% of its Compute, Mayank+, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #Pretraining #NLP #LanguageModel #Blog #OpenWeight #SSM (StateSpaceModel) #read-later #DataMixture #Initial Impression Notes Issue Date: 2026-09-23 Comment
NoPEやuPを利用、事前学習では6つのフェースで異なるDataMixtureを利用しそのレシピも記載
Ming-Image-0.1-{Design, Design-Layer}, inclusionAI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #TextToImageGeneration #OpenWeight #ImageSynthesis #AgentSkills #Design #ImageToLayer #ImageToPPT Issue Date: 2026-09-23 Comment
元ポスト:
Introducing MiMo-V2.6 series, Xiaomi, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #MultiModal #read-later #Selected Papers/Blogs #VisionLanguageModel #Omni #Reference Collection #AudioLanguageModel Issue Date: 2026-09-23 Comment
HF: https://huggingface.co/collections/XiaomiMiMo/mimo-v26
元ポスト:
所見:
Mimo-2.6はSWA+GQAのシンプルなアーキテクチャであり、それでOpenWeightモデルでSoTAを達成しており、進歩の多くはデータと事後学習のレシピの改善によってもたらされているという主張。
DeepSeekでも同じような報告がされている:
- DeepSeek-V4.1-Flash, DeepSeek AI, 2026.09
事前学習でも以下のような話はある:
- Pretraining progress is mostly coming from data, DWARKESH PATEL AND JERRY HAN, 2026.09
関連:
- We are streaming our RL big runs. The mimo-v2.6 series is coming soon, Xiaomi Mimo Team, 2026.09
開発者の方のポスト:
所見:
AA IndexでGPT-5.6-Solと同等性能を達成し、7kのRL dataとフレームワークをオープンにする予定とのこと。
所見:
解説:
- MAI-Thinking-1: Building a Hill-Climbing Machine, Microsoft, 2026.06
もあわせて読みたい
解説スレッド:
RL environments:
https://huggingface.co/datasets/XiaomiMiMo/MiMo-V2.6-RL-oss
元ポスト:
Reinforcing Agents with Collective Skills, Xu+, 2026.09
Paper/Blog Link My Issue
#Article #NLP #Dataset #LanguageModel #ReinforcementLearning #AIAgents #Environment Issue Date: 2026-09-23 Comment
元ポスト:
dataset, env: https://hub.harborframework.com/datasets/skill2env/skill2env
Computational depth is all you need: Towards 107-layer neural nets, Akshay Vegesna, Samip Dahal, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Scaling Laws #read-later #Depth Issue Date: 2026-09-23 Comment
元ポスト:
Measurements for understanding the pace of AI development inside frontier labs, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #AIAgents #Evaluation #Blog #SelfImprovement #autoresearch/RSI Issue Date: 2026-09-20 Comment
元ポスト:
所見:
Jev Reproductions Tracker _ Decision Index, multimodalart, 2026.09
Paper/Blog Link My Issue
#Article #Survey #NLP #Evaluation #Selected Papers/Blogs #One-Line Notes #SystemOneModel/DecisionModel Issue Date: 2026-09-20 Comment
元ポスト:
世の中に存在する多くのJev-likeなSystemOne、あるいはDecision Modelを包括的にまとめ、独自に構成されたベンチマークに基づくDecision Indexによってリーダーボードを公開されており、いまのところSystemOneModel, Decision Modelの動向を追うなら、ここが決定版という印象がある。
たとえば、Clefブログで公開されたLayaのベンチマークスコアの低さなどは、Decision Indexにも示されている。
- Introducing Clef: our open-source decision models, and new RL fine-tuning platform, Cloudflare, 2026.10
- laya, convaiinnovations, 2026.09
v0.4に更新され、プライベートなベンチマークのもでの評価となったようである:
Introducing Astra for Law, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Blog #Proprietary #Legal Issue Date: 2026-09-20 Comment
元ポスト:
Step 5 Preview: Advancing the Pareto Frontier, StepFun, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #One-Line Notes Issue Date: 2026-09-20 Comment
元ポスト:
StepFunのフラグシップモデルで、Fable 5, GPT-5.6-luna, GLM-5.3、Kimi-K3と並びAAの評価においてパレート最適に位置する。
600B-A27B, 1M contextのVLM, 10/15にOpenWeight化されるとのこと。
cua-s1-forms, cua-ai, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #Dataset #Transformer #SyntheticData #OpenWeight #ComputerUse #Encoder #One-Line Notes Issue Date: 2026-09-19 Comment
github:
https://github.com/trycua/cua/tree/main/libs/cua-s1
dataset:
https://huggingface.co/datasets/cua-ai/cua-s1-forms
元ポスト:
フォーム入力に特化したCUAを実施できるモデルのようで、これもいわゆるSystem One Modelとして紹介されている。Transformer Encoderをバックボーンとする。
まあしかしこれは言ってしまえばただの合成データでFinetuningをしたBERTに見える。Jevのような様々なタスクに対してzero-shotの汎化をしめすものではないであろう点に注意。Jevがどれだけ汎用なのかはわからんが...
Needle 3 Automation Foundation Model For Tiny Devices, Cactus, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Transformer #Blog #SmallModel #Proprietary #Architecture #Selected Papers/Blogs #One-Line Notes #ToolUse #SystemOneModel/DecisionModel Issue Date: 2026-09-19 Comment
元ポスト:
チャットをせず、各ターンごとに関数呼び出しに特化したedge向け小型モデルとのこと。アプリが利用するツール群を渡し、ユーザの発言に基づいて全ての引数を埋めて関数を呼び出す、あるいはスキーマを与えればそのスキーマに則った出力を返し(構造化出力)、推測はしない(関数の範囲外のものは空出力)というもののようである。
これらは、simple attention networkと呼ばれるもので実現される。simple attention networkはtransformerからFFN Layerをを無くし軽量なHadarmard MLPというlayerに置き換え、FFNが従来保持していた知識に関する情報はengramによって、n-gram embedding側に持たせることによって高速、軽量化がじつげんされているようである。residual streamとしては、mHCが用いられているようである。
また、デプロイ時にモデルの深さを指定することで、20個あるうちのどのlayerを利用するかが決まり、性能とコストを調整できるようである。これを公式ポストではIntelligence Laddersと呼称している。
関連:
- [Paper Note] Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models, Xin Cheng+, arXiv'26, 2026.01
- [Paper Note] mHC: Manifold-Constrained Hyper-Connections, Zhenda Xie+, arXiv'25, 2025.12
関連:
- Introducing System One Models & Jev, TypeSafe AI, 2026.09
と思想が似ている。
Jev’s Architecture Unmasked, Archer Hume, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #AIAgents #Blog #Coding #SoftwareEngineering Issue Date: 2026-09-18 Comment
元ポスト:
関連:
- Introducing System One Models & Jev, TypeSafe AI, 2026.09
果たして
Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint, PrismML, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Quantization #Blog #OpenWeight #ComputerUse #Selected Papers/Blogs #reading #One-Line Notes Issue Date: 2026-09-18 Comment
元ポスト:
HF: https://huggingface.co/collections/prism-ml/bonsai-2
関連:
- Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone, PrismRL, 2026.07
ternary weight (1bit)の重みで動作するBonsaiシリーズのメジャーアップデートで、Qwen-3.8-27Bをベースにしており、ベンチマークスコアの98.2パーセントを保持しつつ、1/9程度に利用メモリが節約されるようである。Computer Useも可能で、ローカルのRTX 5090でBrowser Useするデモが掲載されている。
Lean Verified Transformers, Sasha Rush, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #NLP #Transformer #Blog #Selected Papers/Blogs #reading #One-Line Notes #Proofs #Reading Reflections Issue Date: 2026-09-17 Comment
元ポスト:
証明のコストが下がることによって、Leanによって型式的な証明をされたML Codeの価値が高まるのではないかという筆者の予測と、
一方で、証明を全て理解することは依然として困難という課題があるのとに言及し、
落とし所として人間にとって理解しやすい(部分的に証明したい)数学的な性質を選択的にAIによって証明するという試みをやってみよう、
そのために、Transformerを例に、Transformerの最適化や効率化の礎となっている数学的な性質を実際にLeanを用いて型式的に証明し理解してみよう、その結果、たとえば、VanillaAttentionとFlashAttentionが数学的に等価だということも示せる、
このような証明したい性質が何であるかを人間が選び、証明を得られることになった変化は重要であり、これらを今後どう活用するかということは今後の挑戦だよね、という話が書かれているようである。
実際に駆動するML Codeで、特定のモデルが実装されているときに、そのモデルが本来備えるべき重要な数学的性質を満たす実装になっていることが、型式的に証明された上で公開され、型式的に証明済みのbadgeがリポジトリに付与されている、みたいな未来が来るのだろうなあ
We are streaming our RL big runs. The mimo-v2.6 series is coming soon, Xiaomi Mimo Team, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #AIAgents #Blog #PostTraining #Selected Papers/Blogs #One-Line Notes #Reading Reflections Issue Date: 2026-09-17 Comment
元ポスト:
リアルタイムでMimoのRLの学習の経過が公開されている。おもしろい
コストの試算:
Mimo, 1T-A42Bの場合、RL 1stepあたり1000万円程度かかっているようだ。
おそらくインフラは高度に最適化されている。
現時点で2モデル合計でコストが約300万ドルに到達し、日本円にして約4.7億円(ドル円157円換算, pro 68B / flash 81B Tokens)🙄DeepSWEやコーディング系のベンチは順調にスコアが向上している。また、noticesに記載されているインシデントの報告が興味深く、インフラ周りのエラーや、学習に悪影響を与えるタスクやデータセット単位での除去なども情報共有されており大変興味深い。PostTrainingデータセットなどMixtureも公開されている。
Nature Is Our Learning Environment, Periodic Labs, 2026.09
Paper/Blog Link My Issue
#Article #Blog #read-later Issue Date: 2026-09-17 Comment
元ポスト:
Scaling laws in large language models and toy models, Nicolas Zucchet, 2026.09
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #Slide #Scaling Laws #Selected Papers/Blogs #reading Issue Date: 2026-09-16 Comment
元ポスト:
AHA LOOPED TRANSFORMER: Think deeper. Find your Aha. An open atlas of recurrent computation, adaptive depth, and latent reasoning., Yue Su, 2026.09
Paper/Blog Link My Issue
#Article #Survey #NLP #Transformer #Blog #Architecture #RecurrentModels #Initial Impression Notes Issue Date: 2026-09-16 Comment
有志を募って、looped transformerに関する論文に関する情報を収集しているようである。submitするぞ!
元ポスト:
OM-1: Frontier Robot Intelligence, Learned Firsthand from Humans, Reward AI, 2026.09
Paper/Blog Link My Issue
#Article #Zero/Few/ManyShotPrompting #FoundationModel #Blog #read-later #Robotics Issue Date: 2026-09-15 Comment
元ポスト:
zero-shotだと...?
CubeSandbox, Tencent, 2026.09
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #AIAgents #One-Line Notes #Security #SandboxEnvironment Issue Date: 2026-09-15 Comment
元ポスト:
AI Agentのためのサンドボックス環境を構築できるツールのようで、独立したカーネルを用いたサンドボックス環境が高速に可能で、secureでスケーラブルである、ということのようである。
We Must Pace the Frontier, Dario Amodei, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Alignment #AIAgents #Blog #SelfImprovement #Safety #Reading Reflections #autoresearch/RSI Issue Date: 2026-09-13 Comment
元ポスト:
果たして。
独占禁止法で訴えられているとのこと:
所見:
主にサイバーセキュリティの話題について述べられている。個人的にはサイバーセキュリティよりもロボティクスの方が色々大変そうだなあ、と思うのだが、どうだろう。Alignmentが完璧になる方法は今のところ見つかっていないように見え、非常に低確率でも世界中で普及したらなんらかの事故は起きる。まあでもそれは自動車やすでに存在する産業用の機械とかでも構造は一緒ではある。
少なくともサイバーセキュリティに関しては、現状モデルが保有する能力に対して人間側のシステムの脆弱性対応は追いついていないであろうから、短期的にみたら喫緊の課題ではあると思う。
Recurrent Looped Transformer, Yifan Zhang, 2026.09
Paper/Blog Link My Issue
#Article #NLP #Transformer #Architecture #RecurrentModels Issue Date: 2026-09-13 Comment
元ポスト:
North-Small-Translate-1.0, Cohere, 2026.09
Paper/Blog Link My Issue
#Article #MachineTranslation #NLP #LanguageModel #Blog #OpenWeight Issue Date: 2026-09-11 Comment
元ポスト:
Introducing SWE-2: Pushing the Pareto Frontier, The Cognition Team, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Blog #Proprietary #One-Line Notes Issue Date: 2026-09-11 Comment
元ポスト:
Kimi-K3をベースに事後学習を通じてAstra, Fable 5.1と同等程度のSWE系ベンチマークスコアを獲得
DeepSeek-V4.1-Flash, DeepSeek AI, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight #read-later #Selected Papers/Blogs #VisionLanguageModel #Reference Collection #Decoder-Decoder Issue Date: 2026-09-10 Comment
元ポスト:
所見:
え?もしかしてEncoder-Decoder???
Causal Encoder-Decoderという名称なので、seq2seqのようなBidirectionalなエンコーダを用いたものではなく、
エンコーダー、デコーダー共にautoregressiveモデルだが、エンコード用途とデコード用途でアーキテクチャやactivation paramなどに違いを持たせた、という感じだろうか。
デコーダ-デコーダアーキテクチャと呼ぶらしい:
関連:
- [Paper Note] You Only Cache Once: Decoder-Decoder Architectures for Language Models, Yutao Sun+, NeurIPS'24, 2024.05
公式ポスト:
ベンチマークスコアはfrontierモデルに匹敵する
HBMの使用量はV4-Flashから1/4, SSD使用量は1/8
合成データはいまだに利用していない:
事後学習のデータ品質改善のROIがアルゴリズム改善のROIを上回る:
関連(こちらは事前学習だが):
- Pretraining progress is mostly coming from data, DWARKESH PATEL AND JERRY HAN, 2026.09
解説:
Artificial Analysisによる評価:
とそれらに対する所見:
所見:
v4.1 flashをhostingするためのコードリポジトリがいくつか新たに公開されたようである:
所見:
Introducing Auto Engineering for Robotics, General Robotics, 2026.09
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #SelfImprovement #Robotics #Initial Impression Notes #autoresearch/RSI #AgentHarness Issue Date: 2026-09-10 Comment
元ポスト:
ロボットにおける実験プロセス全体を自動的にループするハーネスの提案、という話に見える。
Estimating GPT-6 Astra’s no-CoT Time Horizon, Francis Rhys Ward and Dewi Gould, LW, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Chain-of-Thought #Evaluation #Blog #Reasoning #read-later Issue Date: 2026-09-10 Comment
元ポスト:
Pretraining progress is mostly coming from data, DWARKESH PATEL AND JERRY HAN, 2026.09
Paper/Blog Link My Issue
#Article #Analysis #Pretraining #NLP #LanguageModel #Architecture #One-Line Notes #Data Issue Date: 2026-09-09 Comment
元ポスト:
2019--2025年までの代表的なデータとモデルアーキテクチャの組み合わせによる小規模実験を通じて、事前学習に対するデータ由来の改善とアーキテクチャ由来の改善を分離したところ、データはモデルの改善と比較して3倍以上寄与しているという結論を得た、という話のようである。
ただし、下記ポストのようにMoEが試されていないことや、評価タスクがPPLのようなcompletionベースなではなく、Multiple Choice Questionを用いているためデータが追加されることでbenchmaxingされやすい点が指摘されている。
Muse, your personal AI agent that gets things done, Meta, 2026.09
Paper/Blog Link My Issue
#Article #NLP #AIAgents #Personalization #GenerativeAI #Blog Issue Date: 2026-09-09 Comment
元ポスト:
16年前に思い描いた未来像までとうとう到達したなあ...(小並感)
Inside the megakernel serving engine for North Mini Code, Cohere, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Blog #LLMServing #One-Line Notes #GPUKernel #Megakernels Issue Date: 2026-09-09 Comment
github: https://github.com/cohere-ai/cohere-megakernel
バッチサイズ1, 256k context、単一H100利用の条件下において、vLLM v0.24+FlashAttention3+Triton MoE backendよりも最大1.58倍デコーディングが高速(合成されたKV Cacheによる実験、実プロンプト+バッチサイズ8でも1.25--1.41倍高速)な実験的なLLM Servingエンジンのようである。
LLMのデコードを単一のカーネルに集約し、デコーディングのために必要な様々なステップごとの同期のオーバヘッドを削減したのだとか。
元ポスト:
Introducing ChatGPT Images 2.5, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #TextToImageGeneration #Blog #Proprietary #Editing #ImageSynthesis Issue Date: 2026-09-09 Comment
元ポスト:
スケッチを入力することが可能になったようだ
JustRL II: Scaling Small LLMs to 128K Reasoning with a Critic, MiniCPM RL Team, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #ReinforcementLearning #Actor-Critic #PostTraining #read-later #Selected Papers/Blogs #LongHorizon #CreditAssignment Issue Date: 2026-09-09 Comment
元ポスト:
関連:
- [Paper Note] JustRL: Scaling a 1.5B LLM with a Simple RL Recipe, Bingxiang He+, ICLR'26, 2025.12
On the Navier–Stokes Millennium Prize Problem, OpenAI, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #GenerativeAI #Blog #Mathematics #Selected Papers/Blogs #Proofs #Initial Impression Notes Issue Date: 2026-09-09 Comment
あのペレルマン氏が証明したポアンカレ予想と並ぶミレニアム懸賞問題の一つである、ナビエストークス方程式の解の存在と滑らかさ、とやらがOpenAIが保有する未公開モデルによって証明されたかもしれないらしい。10000の協調エージェントによって88時間, トークン量は1300億トークンで解に到達したのだとか。
元ポスト:
解説:
Rustによる高速なOptuna実装「Rustuna」の公開, PFN, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #MachineLearning #NLP #read-later #Selected Papers/Blogs Issue Date: 2026-09-08 Comment
元ポスト:
[Paper Note] PACT: Can Enterprise AI Assistants Be Trusted Under Pressure?, Okamoto+, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #read-later #InstructionFollowingCapability #Initial Impression Notes Issue Date: 2026-09-07 Comment
元ポスト:
著者ポスト:
pressure下においてルールを遵守できる能力を測定するベンチマーク。興味深い
Ling-3.0-flash-Fin, inclusionAI, 2026.09
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Financial #OpenWeight Issue Date: 2026-09-07 Comment
benchmark:
https://huggingface.co/datasets/inclusionAI/FinFIRST
technical report:
https://huggingface.co/datasets/inclusionAI/FinFIRST/blob/main/FinFIRST_paper.pdf
FinFIRSTの解説:
元ポスト:
BenchMIRT: What are LLM benchmarks actually measuring?, Ai2, 2026.09
Paper/Blog Link My Issue
#Article #Evaluation #Blog #Safety Issue Date: 2026-09-06 Comment
元ポスト:
Atlas: A World Model for Spatial Intelligence, World Labs, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #Transformer #DiffusionModel #Blog #Proprietary #read-later #Selected Papers/Blogs #3D Reconstruction #WorldModels #SpatialUnderstanding #4D(Scene + Time) Issue Date: 2026-09-06 Comment
元ポスト:
解説:
Introducing Muse Voice Transcribe, Meta, 2026.09
Paper/Blog Link My Issue
#Article #NLP #SpeechProcessing #Blog #Proprietary #AutomaticSpeechRecognition(ASR) #AudioLanguageModel #Initial Impression Notes Issue Date: 2026-09-06 Comment
Meta Superintelligence LabによるASRモデルで、多言語対応。日本語にも対応しているようである。Artificial AnalysisによるWERによる評価ではSoTAのようである。
元ポスト:
Alexandr Wang氏によるポスト:
text-to-speech-human-preferences-315k, Datapoint AI, 2026.09
Paper/Blog Link My Issue
#Article #Dataset #SpeechProcessing #audio #Initial Impression Notes Issue Date: 2026-09-06 Comment
元ポスト:
カスタマーサポートドメインにおける、TTSに対する人間による300kを超えるpreferenceのアノテーションがされたデータセットとのこと。データセットは英語に対する15種類のモデルに対するTTSに対して、アノテーションが実施されたもののようである。
Orbis: Our foundation model that creates living worlds and streams them in real time, Visko, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #Blog #Proprietary #VideoGeneration/Understandings #interactive #TextToVideoGeneration #Realtime #Initial Impression Notes Issue Date: 2026-09-06 Comment
元ポスト:
リアルタイムに、かつテキストでのインタラクティブな指示を与えつつ動画を生成できるモデルに見える。
How Far Are We from a Native Autoregressive Video Model?, Weiyang Jin, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #Blog #read-later #VideoGeneration/Understandings Issue Date: 2026-09-06 Comment
元ポスト:
TimesFM-3: A zero-shot foundation model for multivariate forecasting, Google Research, 2026.08
Paper/Blog Link My Issue
#Article #TimeSeriesDataProcessing #FoundationModel #Blog #OpenWeight Issue Date: 2026-09-06 Comment
元ポスト:
HF: https://huggingface.co/google/timesfm-3.0-pytorch
公式:
TERMINAL-BENCH-SCIENCE 0.1: A benchmark for evaluating AI agents on research workflows across scientific domains, harbor-framework, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Evaluation #Science Issue Date: 2026-09-05 Comment
元ポスト:
AA Index v5に組み込まれOpus 5.5と比較して中国系とMuseは大幅にスコアが低い:
Hy4-preview, Tencent, 2026.08
Paper/Blog Link My Issue
#Article #OpenWeight #read-later Issue Date: 2026-09-05 Comment
blog: https://hy.tencent.com/research/hy4-preview
元ポスト:
公式:
Previewing the Model Hardware Standard, Anthropic, 2026.08
Paper/Blog Link My Issue
#Article #read-later Issue Date: 2026-09-05 Comment
元ポスト:
Introducing H3 Max by fal, fal, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #Blog #Proprietary #VideoGeneration/Understandings #Initial Impression Notes Issue Date: 2026-09-04 Comment
元ポスト:
Minimax H3を事後学習(指示追従とvisual qualityを改善)することで、Artificial Analysisによる評価でSoTAを達成した動画生成モデルとのこと。
Claude: Fable 5.1 and Mythos 5.1, Anthropic, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #Proprietary #Selected Papers/Blogs #VisionLanguageModel Issue Date: 2026-09-04 Comment
元ポスト:
所見:
GPT-6 Astra: A new generation of intelligence, 2026.09
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #AIAgents #Blog #Proprietary #Selected Papers/Blogs #VisionLanguageModel #Initial Impression Notes Issue Date: 2026-09-04 Comment
元ポスト:
GPT-5.6 Solから大幅に性能向上。scaling lawはいつまで続くのだろうか
ベンチマーク上は
- Claude: Fable 5.1 and Mythos 5.1, Anthropic, 2026.09
を超えている。
所見:
アーキテクチャに関する所見:
- [Paper Note] Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Model, Nanbeige Lab+, arXiv'26, 2026.07
- [Paper Note] Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation, Sangmin Bae+, NeurIPS'25
より注意深く指示に従い、CUAの能力も大幅に向上しているようである:
CUAによってBlenderで作成されたhouseの例がなかなかすごい
Artificial Analysisによる評価によると、Artificial Analysis Indexでは5.6-Solと同等、Coding IndexでもFable 5と同等であり、OpenAIによるベンチマークスコアとかなり乖離があるように見える。パブリックなベンチマークに対して過剰に適合しているのか。それともArtificial Analysisのベンチマーク群とその重みづけにより算出されるスコアの相性が悪いのか。(まあこれを考えても不毛だけど)
SRE-Benchと呼ばれるモデルがコンパイル済みのバイナリからソフトウェアをリバースエンジニアリングできるかを測定するベンチマークが飽和したとのこと:
SRE-Bench:
https://benchlm.ai/benchmarks/srebench
所見:
Artificial Analysis Indexのスコアが更新されてFable 5.1とAstraのスコアが同じになったようである😅:
RSI-Exam: Benchmarking Recursive Self-Improvement through Executable Research, RSI-Exam, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Evaluation #Blog #SelfImprovement #autoresearch/RSI Issue Date: 2026-08-30 Comment
元ポスト:
Hugging Face のインシデントと今後の道筋, OpenAI, 2026.08
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #AIAgents #Blog #read-later #Selected Papers/Blogs #Security Issue Date: 2026-08-30 Comment
元ポスト:
- OpenAI and Hugging Face partner to address security incident during model evaluation, OpenAI, 2026.07
の件の調査結果のようである。
GLM-5.3-Flash: Frontier Intelligence, Flash Cost, Z.AI, 2026.08
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Blog #OpenWeight #Selected Papers/Blogs #Initial Impression Notes Issue Date: 2026-08-30 Comment
HF: https://huggingface.co/zai-org/GLM-5.3-Flash
320B-A18BでOpus 4.8相当のベンチマークスコアを達成
アーキテクチャ解説:
- KDA
- FlashKDA: Flash Kimi Delta Attention — high-performance KDA kernels built on CUTLASS, MoonshotAI, 2026.04
- MLA
- [Paper Note] DeepSeek-V3 Technical Report, DeepSeek-AI+, arXiv'24, 2024.12
- DSA
- [Paper Note] DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models, DeepSeek-AI+, arXiv'25, 2025.12
- mHC
- [Paper Note] mHC: Manifold-Constrained Hyper-Connections, Zhenda Xie+, arXiv'25, 2025.12
所見:
本ポストにある通り、中国系のOpenWeightモデルは
- linear attention
- sparse attention
- mHCのようなResidual Streamに対する工夫
- Muon
などを採用するのがデファクトとなっているように思われる。
所見:
Introducing S1: In-Context Learning for Robotics, Skild AI, 2026.08
Paper/Blog Link My Issue
#Article #In-ContextLearning #Blog #Robotics #EmbodiedAI #One-Line Notes Issue Date: 2026-08-30 Comment
元ポスト:
- GEN-1.5: Embodied Foundation Models are One-Shot Learners, Generalist, 2026.08
に続いて、もう一つの単一のdemonstrationでfinetuningなしでICLできる事例。この例では10分程度の調理タスクをICLで実現できたとしている。
Qwen3.8-Flash-Next: A New Architecture, Towards Ultimate Cost-Efficiency, Qwen Team, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #OpenWeight #Selected Papers/Blogs #VisionLanguageModel #Initial Impression Notes Issue Date: 2026-08-30 Comment
ベンチマークスコアはOpus 4.6超え。パラメータは125B-A6B、51Bの N-gram Embeddings。Gated Delta Net layerとQwen Sparse Attention と呼ばれる Layerを3:1の比率で積み上げていっているようである。N-gram Embedding、MTPも導入されている。また、Gated Residualと呼ばれる技術により、Residual Streamからの読み込み/書き込みを制御している。
- 関連:
- [Paper Note] Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models, Xin Cheng+, arXiv'26, 2026.01
HF:
https://huggingface.co/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921FsyOPe&file=Qwen3.8-Flash-Next
technical report:
https://github.com/QwenLM/Qwen3.8-Flash-Next/blob/main/tech_report.pdf
解説:
所見:
Mitigate Silent Expert Death in Ultra-Sparse MoE, Jin+, 2026.08
Paper/Blog Link My Issue
#Article #Analysis #Pretraining #NLP #LanguageModel #Blog #MoE(Mixture-of-Experts) #One-Line Notes Issue Date: 2026-08-30 Comment
元ポスト:
sparse MoEモデルを学習する際に、浅い層のexpertが機能しなくなっていく(重みのノルムが非常に小さくなり学習シグナルも消失し回復しない)にもかかわらず、ロードバランシングは正常なままという現象を観測し(Silent Expert Death)、公開されているMoEモデルでも同様の現象が生じていることを確認。LM Loss as Auxiliary Loss (LLAL)と呼ばれる、最初の数千ステップで浅いMoE Layerを一時的に言語モデルのheadに接続し、その後その接続を削除するような方法を用いると、loss・downstream task性能が改善し silent expert collapseも防止することができた、という話のようである。
LLALの気持ちとしては、非常にSparseなMoEの学習では、浅い層を学習するためのpressureが小さいことが問題であることが前提のもと、これを解決するために、まず浅い層のexpert数を削減する、あるいは異なる学習率やweight decayをチューニングするなどの方法も検討している。しかしこれらの方法は結局ハイパーパラメータ探索の沼に学習をするたびにはまってしまい嬉しくない。そのため、よりgenericに適用可能な学習方法として、安定していて、モデルの本来の学習目的と整合していて、expertの差別化を促すような性質のものが求められ、これを満たすものとしてnext-token-predictionを活用することを提案している。
浅い層のexpertが何を学習することを求められるかというと、一般的にはlexical-levelな情報を学習していることを求められるが、現状ではSilnet Expert Deathによってこれがうまく進んでいないことが懸念される。これを是正するために、シンプルに浅いMoE LayerをLM headに接続し、next-token-predictionのlossをより直接供給することで学習を促す、という気持ちのようである。
Introducing Pipette: A benchmarking suite for on-device intelligence, Liquid AI, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Evaluation #Blog #SmallModel #read-later Issue Date: 2026-08-29 Comment
元ポスト:
Reinforcement Learning for LLMs: The Complete Guide, Cameron R. Wolfe, Ph.D., 2026.08
Paper/Blog Link My Issue
#Article #Tutorial #NLP #LanguageModel #ReinforcementLearning #Blog #PostTraining Issue Date: 2026-08-29 Comment
元ポスト:
Ling-3.0-flash-dspark, inclusionAI, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight #SpeculativeDecoding Issue Date: 2026-08-22 Comment
元ポスト:
関連:
- Ling-3.0-flash, inclusionAI, 2026.08
- [Paper Note] DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation, Xin Cheng+, arXiv'26, 2026.07
EgoSuite-Open100K, LightwheelAI, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #Dataset #Robotics #3D (Video) #EmbodiedAI #EgocentricView Issue Date: 2026-08-22 Comment
pj page: https://egosuite100k.lightwheel.ai/
元ポスト:
LeRobotフォーマットとのこと
- [Paper Note] LeRobot: An Open-Source Library for End-to-End Robot Learning, Remi Cadene+, ICLR'26, 2026.02
- LeRobot Humanoid: An Open, Low-Cost, 3D-Printed Humanoid for Robot Learning, LeRobot, 2026.05
RL creates split personas, LW, 2026.08
Paper/Blog Link My Issue
#Article #Analysis #NLP #LanguageModel #ReinforcementLearning #Blog #PostTraining #Selected Papers/Blogs #Personality #reading Issue Date: 2026-08-22 Comment
元ポスト:
所見:
DeepSeek-V4-Flash-Vision-Exp, DeepSeek AI, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #Proprietary #VisionLanguageModel Issue Date: 2026-08-22 Comment
DeepSeek初のマルチモーダルモデル(VLM)とのこと
重みが公開: https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-Vision-Exp
SenseNova-U1.5-8B-MoT, SenseNova, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #TextToImageGeneration #OpenWeight #Editing #UMM #ImageSynthesis Issue Date: 2026-08-22 Comment
元ポスト:
LFM2.5-DSpark: Up to 3.2x Faster Inference from H100 to MacBook, Liquid AI, 2026.08
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Blog #SmallModel #OpenWeight #SpeculativeDecoding Issue Date: 2026-08-22 Comment
HF:
https://huggingface.co/LiquidAI/LFM2.5-1.2B-Instruct-DSpark
他のLFM用のDraftモデルもある。
様々なLFM用のDraft Model
Scaling Activation Oracles to Trillion-Parameter Models: Oracles improve with model size, data size, and data quality, Transluce, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #AIAgents #read-later #Selected Papers/Blogs Issue Date: 2026-08-22 Comment
元ポスト:
WildArtifactBench, Meta, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #NLP #LanguageModel #AIAgents #Evaluation #MultiModal #LLM-as-a-Judge #VisionLanguageModel #Initial Impression Notes Issue Date: 2026-08-22 Comment
元ポスト:
AI Agentによるpreference judgeに基づく、win rate/Elo Scoreによるマルチモーダルエージェントのベンチマークのようである
[Paper Note] Hawkeye: Hardware-Aware GPU Kernel Optimization with Minimal Supervision, Tschand+, 2026.08
Paper/Blog Link My Issue
#Article Issue Date: 2026-08-21 Comment
元ポスト:
GEN-1.5: Embodied Foundation Models are One-Shot Learners, Generalist, 2026.08
Paper/Blog Link My Issue
#Article #Zero/Few/ManyShotPrompting #FoundationModel #In-ContextLearning #Blog #read-later #Selected Papers/Blogs #Robotics #Initial Impression Notes Issue Date: 2026-08-20 Comment
元ポスト:
Embodied AIのFoundation Modelの話で、とうとう一つのデモンストレーションからタスクを学習できる(In-Context Learning)ようになったようである。
関連:
- GEN1: Scaling Embodied Foundation Models to Mastery, Generalist AI Team, 2026.04
所見:
解説:
Cua: Scale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation, trycua, 2026.08
Paper/Blog Link My Issue
#Article #ComputerVision #Tools #NLP #Infrastructure #AIAgents #ComputerUse #Selected Papers/Blogs #SandboxEnvironment Issue Date: 2026-08-20 Comment
元ポスト:
Inside: a Neural Chameleon Reverse-engineering how a language model hides from activation monitors, Jackson Mowatt Gok, 2026.08
Paper/Blog Link My Issue
#Article #LanguageModel #Safety #read-later #Monitorability Issue Date: 2026-08-20 Comment
元ポスト:
関連:
- Neural chameleons can('t) hide from activation oracles, LW, 2026.01
Audio8-TTS-Preview-0.1b, Audio8, 2026.08
Paper/Blog Link My Issue
#Article #OpenWeight #TTS Issue Date: 2026-08-20 Comment
元ポスト:
s1-mini, superwhisper, 2026.08
Paper/Blog Link My Issue
#Article #LanguageModel #OpenWeight Issue Date: 2026-08-20 Comment
元ポスト:
約332億パラメータのDense型LLM「LLM-jp-4 33B」モデルを公開, LLM-jp, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #OpenWeight #Japanese #OpenSource Issue Date: 2026-08-19 Comment
元ポスト:
DFlash 2: Keep Drafting Parallel, Inco AI, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #DiffusionModel #read-later #Selected Papers/Blogs #SpeculativeDecoding Issue Date: 2026-08-19 Comment
元ポスト:
関連:
- [Paper Note] DFlash: Block Diffusion for Flash Speculative Decoding, Jian Chen+, arXiv'26, 2026.02
AI Control: An Assessment of Frontier Practices, Guidelight, 2026.08
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Blog #Proprietary #Safety #read-later #Selected Papers/Blogs Issue Date: 2026-08-19 Comment
著者ポスト:
元ポスト:
Miles: Enterprise-Grade Reinforcement Learning for Large-Scale Model Post-Training, RadixArk, 2026.08
Paper/Blog Link My Issue
#Article #Tools #NLP #LanguageModel #ReinforcementLearning #PEFT(Adaptor/LoRA) #PostTraining #Asynchronous #TrainingFramework Issue Date: 2026-08-19 Comment
元ポスト:
Pacing model development in an era of cyber-critical capabilities, OpenAI, 2026.08
Paper/Blog Link My Issue
#Article #LanguageModel #Chain-of-Thought #read-later #Monitorability Issue Date: 2026-08-19 Comment
元ポスト:
所見:
DataSmith: Automating Data Research, datologyai, 2026.08
Paper/Blog Link My Issue
#Article #LanguageModel #AIAgents #SyntheticData #Blog #SelfImprovement #One-Line Notes #Reading Reflections #Data #autoresearch/RSI #AgentHarness #Creativity Issue Date: 2026-08-19 Comment
元ポスト:
Data researchを自動的に実施することに特化したAgentHarness。端的に言うと、あるデータをキュレーション/合成し、decontaminationを実施した上でモデルを学習、評価、実験結果に基づいて改善を繰り返す。これによりClaude Codeを上回る性能を実現している。
興味深いのはClaude Codeと比較して、DataSmithを使うと2.6倍思考(reasoning tokenを生成)し、6.6倍のデータセットを試し、48.4倍のsubagent callを1回のsessionで実現する。そして、45倍のコードを記述し、1.8倍の研究アイデアを創出する。
decontaminationがどれだけ正確にできているかが鍵になりそうだなと思ったが、本ブログには具体的なアルゴリズムの記述はないように見えた。
が、以下のページには一言記載があり、どうならN-gramベースのmatchingでdecontaminationを実施しているようである。
https://www.datologyai.com/product?utm_source=chatgpt.com
- [Paper Note] Soft Contamination Means Benchmarks Test Shallow Generalization, Ari Spiesberger+, arXiv'26, 2026.02
で指摘されているように、表層ベースのマッチングアルゴリズムだけではSoft Contamination(意味的には重複しているが表層が異なるもの)は無くせない点で、limitationがあると考えられる(ただしこれは本ハーネスだけの問題というより評価全体の問題ではある)。
How to Parallelize a Transformer for Training, Edward Z. Yang, 2026.08
Paper/Blog Link My Issue
#Article #read-later Issue Date: 2026-08-19 Comment
元ポスト:
