MinimalCode
#Article
#EfficiencyImprovement
#Pretraining
#NLP
#LanguageModel
#Supervised-FineTuning (SFT)
#ReinforcementLearning
#ChatGPT
#Repository
#mid-training
#GRPO
#read-later
#Selected Papers/Blogs
#Inference
#KV Cache
Issue Date: 2025-10-22 nanochat, karpathy, 2025.10 Comment
#Article #NLP #ReinforcementLearning #python #Repository #GRPO #On-Policy
Issue Date: 2025-08-19 reasoning-minimal, torotoki, 2025.08 Comment
#Article #EfficiencyImprovement #NLP #Attention #python #Repository #read-later
Issue Date: 2025-08-19 simple-paged-attention, torotoki, 2025.06 Comment
Issue Date: 2025-10-22 nanochat, karpathy, 2025.10 Comment
元ポスト:
新たなスピードランが...!!
#Article #NLP #ReinforcementLearning #python #Repository #GRPO #On-Policy
Issue Date: 2025-08-19 reasoning-minimal, torotoki, 2025.08 Comment
TRLのGRPOTrainer、および独自定義のReward（フォーマット/acc）を用いたミニマルなGRPOの実装。GRPOを実施する際には参照のこと。
#Article #EfficiencyImprovement #NLP #Attention #python #Repository #read-later
Issue Date: 2025-08-19 simple-paged-attention, torotoki, 2025.06 Comment
CUDA + C++によるミニマルなpaged-attentionの実装。アルゴリズムの理解+実装理解の参考に非常に良さそう。
PagedAttentionは 現在の主要なLLM Inference/Serving EngineのひとつであるvLLM で（提案|実装）された技術であり、元論文は下記:
- [Paper Note] Efficient Memory Management for Large Language Model Serving with PagedAttention, Woosuk Kwon+, SOSP'23
この辺もあわせて読むとおもしろいかもしれない:
https://nttdocomo-developers.jp/entry/2024/12/19/090000_6
#Article
#NLP
#LanguageModel
#python
#Blog
#Repository
#LLMServing
Issue Date: 2025-06-22
Nano-vLLM, GeeeekExplorer, 2025.06
Comment
#Article #EfficiencyImprovement #NLP #LanguageModel #Library #Repository Issue Date: 2024-11-05 Lingua, Meta Comment
元ポスト:
vLLMと同等のinference speedを実現するミニマムでクリーンな実装。勉強用に良さそう。
#Article #EfficiencyImprovement #NLP #LanguageModel #Library #Repository Issue Date: 2024-11-05 Lingua, Meta Comment
研究目的のための、minimal、かつ高速なLLM training/inferenceのコードが格納されたリポジトリ。独自のモデルやデータ、ロスなどが簡単に実装できる模様。