ValueFunctions
[Paper Note] Le Critique: Privileged Value Functions for LLM Reinforcement Learning, Siddarth Venkatraman+, arXiv'26, 2026.08
Paper/Blog Link My Issue
#LanguageModel #ReinforcementLearning #PostTraining #Author Thread-Post Issue Date: 2026-08-19 GPT Summary- 大規模言語モデル向けの強化学習アルゴリズムは、主に分散低減戦略を用いているが、シーケンスレベルのクレジット提供に限界がある。これを克服するために、二つの戦略を提案。1) Privileged Value Functionsでタスク関連のトークン信号を追加し、2) TETHERで精度に応じてベースラインを適応的に内挿。これにより、複数の推論タスクにおいて標準の価値関数を上回る成果を示した。 Comment
pj page: https://privileged-value-functions.github.io/
元ポスト: