SIGKDD

#RecommenderSystems #Pocket
Issue Date: 2025-09-20 [Paper Note] Taming Recommendation Bias with Causal Intervention on Evolving Personal Popularity, Shiyin Tan+, KDD'25 GPT Summary- CausalEPPという新手法を提案し、ユーザーの進化する個人的な人気を考慮して推薦バイアスを抑制。進化する個人的人気を定量化し、因果グラフを用いて人気バイアスを軽減。実証研究で推薦精度が向上し、ベースライン手法を上回ることを示した。 #NeuralNetwork #Embeddings #Pocket #CTRPrediction #RepresentationLearning #RecSys #numeric
Issue Date: 2025-04-22 An Embedding Learning Framework for Numerical Features in CTR Prediction, Huifeng Guo+, arXiv'20 GPT Summary- CTR予測のための新しい埋め込み学習フレームワーク「AutoDis」を提案。数値特徴の埋め込みを強化し、高いモデル容量とエンドツーエンドのトレーニングを実現。メタ埋め込み、自動離散化、集約の3つのコアコンポーネントを用いて、数値特徴の相関を捉え、独自の埋め込みを学習。実験により、CTRとeCPMでそれぞれ2.1%および2.7%の改善を達成。コードは公開されている。 Comment

従来はdiscretizeをするか、mlpなどでembeddingを作成するだけだった数値のinputをうまく埋め込みに変換する手法を提案し性能改善

数値情報を別の空間に写像し自動的なdiscretizationを実施する機構と、各数値情報のフィールドごとのglobalな情報を保持するmeta-embeddingをtrainable parameterとして学習し、両者を交互作用(aggregation; max-poolingとか)することで数値embeddingを取得する。

<img width="589" alt="Image" src=" <a href="https://github.com/user-attachments/assets/1f626dd5-2452-4b50-a14c-6c24fa022435"" target="_blank" rel="noopener noreferrer">https://github.com/user-attachments/assets/1f626dd5-2452-4b50-a14c-6c24fa022435"</a> />

<img width="429" alt="Image" src=" <a href="https://github.com/user-attachments/assets/12fd6476-241a-4d13-975d-f6c1c762c497"" target="_blank" rel="noopener noreferrer">https://github.com/user-attachments/assets/12fd6476-241a-4d13-975d-f6c1c762c497"</a> />



#NeuralNetwork #Pocket #AdaptiveLearning #EducationalDataMining #LearningAnalytics #KnowledgeTracing
Issue Date: 2022-04-27 Context-Aware Attentive Knowledge Tracing, Ghosh+, University of Massachusetts Amherst, KDD'20 Comment

この論文の実験ではSAKTがDKVMNやDKTに勝てていない



#RecommenderSystems #NeuralNetwork #CTRPrediction #CVRPrediction Issue Date: 2021-06-01 Conversion Prediction Using Multi-task Conditional Attention Networks to Support the Creation of Effective Ad Creatives, Kitada+, KDD'19 Comment

# Overview

広告のCVR予測をCTR予測とのmulti-task learningとして定式化。

構築した予測モデルのattention distributionを解析することで、high-qualityなクリエイティブの作成を支援する。

genderやgenre等の情報でattentionのweightを変化させるconditional attentionが特徴的。

→ これによりgender, genreごとのCVRしやすい広告の特徴の違いが可視化される



image



loss functionは、MSEにλを導入しclickのlossを制御している(CVRに最適化したいため)。ただ、実験ではλ=1で実験している。

outputはRegressionでCVR, CTRの値そのものを予測している(log lossを使う一般的なCTR Prediction等とは少し条件が違う; 多分予測そのものより、予測モデルを通じて得られるCVRが高いcreativeの分析が主目的なため)。

image



# Experiments

データとして、2017年8月〜2018年8月の間にGunosy Adsでdeliverされた14,000種類のad creativeを利用。

clickとconversionのfrequency(clickはlong-tailだが、conversionはほとんど0か1のように見える)

image



5-fold crossvalidationを、fold内でcampaignが重複しないようにad creativeに対して行い、conversion数の予測を行なった。

評価を行う際はNDCGを用い、top-1%のconversion数を持つcreativeにフォーカスし評価した。



image



MSEで評価した場合、multi-task learning, conditional attentionを利用することでMSEが改善している。多くのcreativeのconversionは0なので、conversion数が>0のものに着目して評価しても性能が改善していることがわかる。



NDCGを利用した評価でも同様な傾向

image



conditional attentionのheatmap

image



genderごとにdistributionの違いがあって非常におもしろい



#RecommenderSystems #Tutorial #Explanation #Slide Issue Date: 2019-08-19 Explainable AI in Industry, KDD'19 #RecommenderSystems #NeuralNetwork #Pocket #Attention Issue Date: 2025-07-17 [Paper Note] Deep Interest Network for Click-Through Rate Prediction, Guorui Zhou+, KDD'18 GPT Summary- クリック率予測において、固定長の表現ベクトルがユーザーの多様な興味を捉えるのを妨げる問題に対処するため、ローカルアクティベーションユニットを用いた「Deep Interest Network(DIN)」を提案。DINは広告に応じてユーザーの興味を適応的に学習し、表現力を向上させる。実験により、提案手法は最先端の手法を上回る性能を示し、Alibabaの広告システムに成功裏に展開されている。 Comment

ユーザの過去のアイテムとのインタラクションを、候補アイテムによって条件づけた上でattentionによって重みづけをすることでcontext vectorを作成し活用する。これにより候補アイテムごとにユーザの過去のアイテムとのインタラクションのうち、どれを重視するかを動的に変化させることができるようにした研究。最終的にユーザプロファイルをベースにしたEmbeddingとコンテキスト(セッションの情報など)の情報をベースにしたEmbeddingと、上述したcontext vectorをconcatし、linearな変換を噛ませてスコアを出力する。学習はクリックスルーログ等のインタラクションデータに対してNLL lossを適用する。通称DIN。

image



#RecommenderSystems #NeuralNetwork #GraphBased #Pocket #GraphConvolutionalNetwork Issue Date: 2019-05-31 [Paper Note] Graph Convolutional Neural Networks for Web-Scale Recommender Systems, Rex Ying+, KDD'18 GPT Summary- Pinterestで開発した大規模な深層レコメンデーションエンジンPinSageは、効率的なランダムウォークとグラフ畳み込みを組み合わせて、数十億のアイテムとユーザーを持つウェブスケールのタスクに対応。新しいトレーニング戦略とMapReduceモデル推論アルゴリズムを用いて、75億の例をトレーニングし、高品質なレコメンデーションを生成。これは深層グラフ埋め込みの最大の応用であり、次世代のウェブスケールレコメンダーシステムの発展に寄与する。 #RecommenderSystems #NeuralNetwork #Tutorial #InformationRetrieval #Slide Issue Date: 2018-02-16 Deep Learning for Personalized Search and Recommender Systems, KDD'17 #RecommenderSystems #NeuralNetwork #Pocket #CTRPrediction #SequentialRecommendation Issue Date: 2025-04-25 E-commerce in Your Inbox: Product Recommendations at Scale, Mihajlo Grbovic+, KDD'15 GPT Summary- メールの領収書から得た購入履歴を活用し、Yahoo Mailユーザーにパーソナライズされた商品広告を配信するシステムを提案。新しい神経言語ベースのアルゴリズムを用いて、2900万人以上のユーザーのデータでオフラインテストを実施した結果、クリック率が9%向上し、コンバージョン率も改善。システムは2014年のホリデーシーズンに本稼働を開始。 Comment

Yahoo mailにおける商品推薦の研究
image

Yahoo mailのレシート情報から、商品購入に関する情報とtimestampを抽出し、時系列データを形成。評価時はTimestampで1ヶ月分のデータをheldoutし評価している。Sequential Recommendationの一種とみなせるが、評価データをユーザ単位でなくtimestampで区切っている点でよりrealisticな評価をしている。
image

関連:
- Sequence-Aware Recommender Systems, ACM Computing Surveys, Vol. 1, No. 1, Article 1, 2018



#RecommenderSystems #NeuralNetwork #CollaborativeFiltering #Pocket #MatrixFactorization #Selected Papers/Blogs Issue Date: 2018-01-11 [Paper Note] Collaborative Deep Learning for Recommender Systems, Hao Wang+, arXiv'14 GPT Summary- 協調フィルタリング(CF)はレコメンダーシステムで広く用いられるが、評価がまばらな場合に性能が低下する。これに対処するため、補助情報を活用する協調トピック回帰(CTR)が提案されているが、補助情報がまばらな場合には効果が薄い。そこで、本研究では協調深層学習(CDL)という階層ベイズモデルを提案し、コンテンツ情報の深い表現学習とCFを共同で行う。実験により、CDLが最先端技術を大幅に上回る性能を示すことが確認された。 Comment

Rating Matrixからuserとitemのlatent vectorを学習する際に、Stacked Denoising Auto Encoder(SDAE)によるitemのembeddingを活用する話。

Collaborative FilteringとContents-based Filteringのハイブリッド手法。

Collaborative FilteringにおいてDeepなモデルを活用する初期の研究。



通常はuser vectorとitem vectorの内積の値が対応するratingを再現できるように目的関数が設計されるが、そこにitem vectorとSDAEによるitemのEmbeddingが近くなるような項(3項目)、SDAEのエラー(4項目)を追加する。



(3項目の意義について、解説ブログより)アイテム i に関する潜在表現 vi は学習データに登場するものについては推定できるけれど,未知のものについては推定できない.そこでSDAEの中間層の結果を「推定したvi」として「真の」 vi にできる限り近づける,というのがこの項の気持ち



cite-ulikeデータによる論文推薦、Netflixデータによる映画推薦で評価した結果、ベースライン(Collective Matrix Factorization [Paper Note] Relational learning via collective matrix factorization, Singh+, KDD'08 , SVDFeature [Paper Note] SVDFeature: a toolkit for feature-based collaborative filtering, Chen+, JMLR'12 , DeepMusic [Paper Note] Deep content-based music recommendation, Oord+, NIPS'13 , Collaborative Topic Regresison [Paper Note] Collaborative topic modeling for recommending scientific articles, Wang+, KDD'11 )をoutperform。


(下記は管理人が過去に作成した論文メモスライドのスクショ)

image



image



image



image



image

解説ブログ: http://d.hatena.ne.jp/repose/20150531/1433004688



#RecommenderSystems #CollaborativeFiltering #MatrixFactorization #Selected Papers/Blogs Issue Date: 2018-01-11 [Paper Note] Collaborative topic modeling for recommending scientific articles, Wang+, KDD'11 Comment

Probabilistic Matrix Factorization (PMF) [Paper Note] Probabilistic Matrix Factorization, Salakhutdinov+, NIPS'08 に、Latent Dirichllet Allocation (LDA) を組み込んだCollaborative Topic Regression (CTR)を提案。

LDAによりitemのlatent vectorを求め、このitem vectorと、user vectorの内積を(平均値として持つ正規表現からのサンプリング)用いてratingを生成する。



image



image

image

CFとContents-basedな手法が双方向にinterationするような手法

解説ブログ: http://d.hatena.ne.jp/repose/20150531/1433004688



#RecommenderSystems #MatrixFactorization Issue Date: 2018-01-11 [Paper Note] Relational learning via collective matrix factorization, Singh+, KDD'08 Comment

従来のMatrix Factorization(MF)では、pair-wiseなrelation(たとえば映画とユーザと、映画に対するユーザのrating)からRating Matrixを生成し、その行列を分解していたが、multipleなrelation(たとえば、user-movie ratingの5-scale Matrixとmovie - genreの binary Matrixなど)を扱うことができなかったので、それを可能にした話。

これができると、たとえば ユーザの映画に対するratingを予測する際に、あるユーザが特定のジャンルの映画に対して高いratingを付けるような情報も考慮して予測ができたりする。



#MachineLearning #StructuredLearning Issue Date: 2017-12-31 [Paper Note] Structured Learning for Non-Smooth Ranking Losses, Chakrabarti+, KDD'08 Comment

従来、structured learningの設定でranking lossを最適化する際は、smoothなmetric、たとえばMAPやAUCなどを最適化するといったことが行われていたが、MRRやNDCGなどのnon-smoothなmetricに対しては適用されていなかった。



なので、それをできるようにしましたという論文。



#Article #RecommenderSystems #NeuralNetwork #CollaborativeFiltering #Pocket #FactorizationMachines #CTRPrediction Issue Date: 2021-05-25 xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems, Lian+, KDD‘18 Comment

DeepFM: A Factorization-Machine based Neural Network for CTR Prediction, Guo+, IJCAI’17 DeepFMの発展版

[Paper Note] Factorization Machines, Steffen Rendle, ICDM'10 にも書いたが、下記リンクに概要が記載されている。

DeepFMに関する動向: https://data.gunosy.io/entry/deep-factorization-machines-2018



DeepFMの発展についても詳細に述べられていて、とても参考になる。