Megakernels (5) — 1/1
Hyperkernel, Hyperstitioncc, 2026.11
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #GPUKernel #Author Thread-Post Issue Date: 2026-11-06 Comment
元ポスト:
700 TPS on Kimi K3: A Case for TPU Megakernels, Inferact, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #AIAgents #Blog #Coding #SoftwareEngineering #GPUKernel #Author Thread-Post Issue Date: 2026-10-04 Comment
TPU v7 (Ironwood) 向けのメガカーネルで、最初のTPU推論用のメガカーネルとのこと。
Inside the megakernel serving engine for North Mini Code, Cohere, 2026.09
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #NLP #LanguageModel #Blog #LLMServing #One-Line Notes #GPUKernel #Author Thread-Post Issue Date: 2026-09-09 Comment
github: https://github.com/cohere-ai/cohere-megakernel
バッチサイズ1, 256k context、単一H100利用の条件下において、vLLM v0.24+FlashAttention3+Triton MoE backendよりも最大1.58倍デコーディングが高速(合成されたKV Cacheによる実験、実プロンプト+バッチサイズ8でも1.25--1.41倍高速)な実験的なLLM Servingエンジンのようである。
LLMのデコードを単一のカーネルに集約し、デコーディングのために必要な様々なステップごとの同期のオーバヘッドを削減したのだとか。
元ポスト:
Mixture-of-Kittens: our open-source MoE megakernel for NVL72s, Cursor, 2026.08
Paper/Blog Link My Issue
#Article #EfficiencyImprovement #LanguageModel #Blog #MoE(Mixture-of-Experts) #read-later #Selected Papers/Blogs #Initial Impression Notes #Author Thread-Post Issue Date: 2026-08-05 Comment
元ポスト:
主要なOpenWeight LLM(アーキテクチャ)のスループットが軒並み2倍以上になっているので、これはかなりインパクトがでかい話に見える
関連:
- DeepEP: an efficient expert-parallel communication library, Zhao+, DeepseekAI, 2025.09
- MoonEP, MoonshotAI, 2026.07
ポイント解説:
所見:
著者ポスト:
Mirage Persistent Kernel: Compiling LLMs into a MegaKernel, 2025.06
Paper/Blog Link My Issue
#Article #NLP #python #LLMServing #GPUKernel #Initial Impression Notes #Author Thread-Post Issue Date: 2025-06-20 Comment
vLLM, SGLangよりもデコーディングが早い模様(図は下記ブログより引用)
ブログ:
https://zhihaojia.medium.com/compiling-llms-into-a-megakernel-a-path-to-low-latency-inference-cf7840913c17
元ポスト:
