ImplicitFeedback
[Paper Note] ImplicitRM: Unbiased Reward Modeling from Implicit Preference Data for LLM alignment, Hao Wang+, arXiv'26, 2026.03
Paper/Blog Link My Issue
#read-later #RewardModel Issue Date: 2026-03-30 GPT Summary- 暗黙的な人間のフィードバックを用いて報酬モデルを学習する手法、ImplicitRMを提案。従来の報酬モデリングの課題（決定的なネガティブサンプルの欠如やユーザ嗜好バイアス）に対処し、データを四つの潜在グループに層別化。尤度最大化に基づく学習目的が理論的に偏りのないことを証明し、正確な報酬モデルを得られることを実験で示した。 Comment
元ポスト:
[Paper Note] BPR: Bayesian Personalized Ranking from Implicit Feedback, Steffen Rendle+, UAI'09, 2009.06
Paper/Blog Link My Issue
#RecommenderSystems #LearningToRank #UAI #Selected Papers/Blogs #KeyPoint Notes Issue Date: 2017-12-28 GPT Summary- アイテム推薦において、暗黙的フィードバックを用いた個別のランキング予測のために、BPR-Optという新しい最適化基準を提案。ブートストラップサンプリングを用いた確率的勾配降下法に基づく学習アルゴリズムを提供し、行列因子分解とk近傍法に適用。実験結果は、提案手法が従来の技術を上回ることを示し、モデル最適化の重要性を強調。 Comment
重要論文
ユーザのアイテムに対するExplicit/Implicit Ratingを利用したlearning2rank。
AUCを最適化するようなイメージ。
負例はNegative Sampling。
計算量が軽く、拡張がしやすい。
Implicitデータを使ったTop-N Recsysを構築する際には検討しても良い。
また、MFのみならず、Item-Based KNNに活用することなども可能。
http://tech.vasily.jp/entry/2016/07/01/134825
参考: https://techblog.zozo.com/entry/2016/07/01/134825
pytorchでのBPR実装: https://github.com/guoyang9/BPR-pytorch
[Paper Note] Evaluating implicit measures to improve web search, Fox+, ACM Transactions on Imformation Systems, 2005.04
Paper/Blog Link My Issue
#Article #Survey #InformationRetrieval #RelevanceFeedback Issue Date: 2018-01-01