MinimalCode

#Article #NLP #ReinforcementLearning #python #Repository #GRPO #On-Policy
Issue Date: 2025-08-19 reasoning-minimal, torotoki, 2025.08 Comment

TRLのGRPOTrainer、および独自定義のReward（フォーマット/acc）を用いたミニマルなGRPOの実装。GRPOを実施する際には参照のこと。



#Article #EfficiencyImprovement #NLP #Attention #python #Repository #read-later
Issue Date: 2025-08-19 simple-paged-attention, torotoki, 2025.06 <span class=\"snippet\">Comment

CUDA + C++によるミニマルなpaged-attentionの実装。アルゴリズムの理解+実装理解の参考に非常に良さそう。

PagedAttentionは 現在の主要なLLM Inference/Serving EngineのひとつであるvLLM で（提案|実装）された技術であり、元論文は下記:
- <a href=\"https://github.com/AkihikoWatanabe/paper\_notes/issues/2474\" target=\"\_blank\" rel=\"noopener noreferrer\">\[Paper Note] Efficient Memory Management for Large Language Model Serving with PagedAttention, Woosuk Kwon+, SOSP'23</a>

この辺もあわせて読むとおもしろいかもしれない:
https://nttdocomo-developers.jp/entry/2024/12/19/090000_6

</span>

#Article #NLP #LanguageModel #python #Blog #Repository #LLMServing
Issue Date: 2025-06-22 Nano-vLLM, GeeeekExplorer, 2025.06 Comment

元ポスト:

Loading…

vLLMと同等のinference speedを実現するミニマムでクリーンな実装。勉強用に良さそう。



#Article #EfficiencyImprovement #NLP #LanguageModel #Library #Repository Issue Date: 2024-11-05 Lingua, Meta Comment

研究目的のための、minimal、かつ高速なLLM training/inferenceのコードが格納されたリポジトリ。独自のモデルやデータ、ロスなどが簡単に実装できる模様。

image