FactorizationMachines
#RecommenderSystems
#NeuralNetwork
#CollaborativeFiltering
#CTRPrediction
#WWW
Issue Date: 2020-08-29 Field Weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising, Pan+, WWW'18 CommentCTR予測でbest-performingなモデルと言われているField Aware Factorization Machines(FFM)では、パラメータ数がフィールド数×特徴数のorderになってしまうため非常に多くなってしまうが、これをよりメモリを効果的に利用できる手法を提案。FFMとは性能がcomparableであるが、パラメータ数をFFMの4%に抑えることができた。 #RecommenderSystems #CollaborativeFiltering
Issue Date: 2018-01-02 Factorization Machines with libFM, Steffen Rendle, TIST'12 CommentFactorization Machinesの著者実装。
FMやるならまずはこれ。 #RecommenderSystems #MachineLearning #CollaborativeFiltering #ICDM #Admin'sPick
Issue Date: 2018-12-22 Factorization Machines, Steffen Rendle, ICDM'10 Comment解説ブログ：http://echizen-tm.hatenablog.com/entry/2016/09/11/024828
DeepFMに関する動向：https://data.gunosy.io/entry/deep-factorization-machines-2018
非常に完結でわかりやすい説明
FMのFeature VectorのExample
各featureごとにlatent vectorが学習され、featureの組み合わせのweightが内積によって表現される
Matrix Factorizationの一般形のような形式
Issue Date: 2020-08-29 Field Weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising, Pan+, WWW'18 CommentCTR予測でbest-performingなモデルと言われているField Aware Factorization Machines(FFM)では、パラメータ数がフィールド数×特徴数のorderになってしまうため非常に多くなってしまうが、これをよりメモリを効果的に利用できる手法を提案。FFMとは性能がcomparableであるが、パラメータ数をFFMの4%に抑えることができた。 #RecommenderSystems #CollaborativeFiltering
Issue Date: 2018-01-02 Factorization Machines with libFM, Steffen Rendle, TIST'12 CommentFactorization Machinesの著者実装。
FMやるならまずはこれ。 #RecommenderSystems #MachineLearning #CollaborativeFiltering #ICDM #Admin'sPick
Issue Date: 2018-12-22 Factorization Machines, Steffen Rendle, ICDM'10 Comment解説ブログ：http://echizen-tm.hatenablog.com/entry/2016/09/11/024828
DeepFMに関する動向：https://data.gunosy.io/entry/deep-factorization-machines-2018
非常に完結でわかりやすい説明
FMのFeature VectorのExample
各featureごとにlatent vectorが学習され、featureの組み合わせのweightが内積によって表現される
Matrix Factorizationの一般形のような形式
#Article
#RecommenderSystems
#CollaborativeFiltering
#Library
#Repository
Issue Date: 2021-07-03
pytorch-fm, 2020
Comment下記モデルが実装されているすごいリポジトリ。論文もリンクも記載されており、Factorization Machinesを勉強する際に非常に参考になると思う。MITライセンス。各手法はCriteoのCTRPredictionにおいて、AUC0.8くらい出ているらしい。
・Logistic Regression
・Factorization Machine
・Field-aware Factorization Machine
・Higher-Order Factorization Machines
・Factorization-Supported Neural Network
・Wide&Deep
・Attentional Factorization Machine
・Neural Factorization Machine
・Neural Collaborative Filtering
・Field-aware Neural Factorization Machine
・Product Neural Network
・Deep Cross Network
・DeepFM
・xDeepFM
・AutoInt (Automatic Feature Interaction Model)
・AFN(AdaptiveFactorizationNetwork Model) #Article #RecommenderSystems #CollaborativeFiltering #Pocket Issue Date: 2021-07-02 Deep Learning Recommendation Model for Personalization and Recommendation Systems, Naumov+, Facebook, arXiv‘19 Summary深層学習に基づく推薦モデル（DLRM）を開発し、PyTorchとCaffe2で実装。埋め込みテーブルのモデル並列性を活用し、メモリ制約を軽減しつつ計算をスケールアウト。DLRMの性能を既存モデルと比較し、Big Basin AIプラットフォームでの有用性を示す。 CommentFacebookが開発したopen sourceのDeepな推薦モデル（MIT Licence）。
モデル自体はシンプルで、continuousなfeatureをMLPで線形変換、categoricalなfeatureはembeddingをlook upし、それぞれfeatureのrepresentationを獲得。
その上で、それらをFactorization Machines layer（second-order）にぶちこむ。すなわち、Feature間の2次の交互作用をembedding間のdot productで獲得し、これを1次項のrepresentationとconcatしMLPにぶちこむ。最後にシグモイド噛ませてCTRの予測値とする。
実装: https://github.com/facebookresearch/dlrmParallelism以後のセクションはあとで読む
#Article
#RecommenderSystems
#NeuralNetwork
#CollaborativeFiltering
#Pocket
#CTRPrediction
#IJCAI
Issue Date: 2021-05-25
DeepFM: A Factorization-Machine based Neural Network for CTR Prediction, Guo+, IJCAI’17
CommentFactorization Machinesと、Deep Neural Networkを、Wide&Deepしました、という論文。Wide=Factorization Machines, Deep=DNN。
高次のFeatureと低次のFeatureを扱っているだけでなく、FMによってフィールドごとのvector-wiseな交互作用、DNNではbit-wiseな交互作用を利用している。
割と色々なデータでうまくいきそうな手法に見える。
発展版としてxDeepFM 348 がある。281 にも書いたが、下記リンクに概要が記載されている。
DeepFMに関する動向：https://data.gunosy.io/entry/deep-factorization-machines-2018実装: https://github.com/rixwew/pytorch-fm #Article #RecommenderSystems #NeuralNetwork #CollaborativeFiltering #Pocket #CTRPrediction #SIGKDD Issue Date: 2021-05-25 xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems, Lian+, KDD‘18 Comment349 DeepFMの発展版281 にも書いたが、下記リンクに概要が記載されている。
DeepFMに関する動向：https://data.gunosy.io/entry/deep-factorization-machines-2018
DeepFMの発展についても詳細に述べられていて、とても参考になる。 #Article #RecommenderSystems #CollaborativeFiltering #Library Issue Date: 2018-01-01 fastFM Comment実装されているアルゴリズム：Factorization Machines
実装：python
使用方法：pythonライブラリとして利用
※ Factorization Machinesに特化したpythonライブラリ参考：
http://www.kamishima.net/archive/recsysdoc.pdf
https://takuti.me/note/recommender-libraries/ #Article #RecommenderSystems #Tools #CollaborativeFiltering #Library Issue Date: 2018-01-01 LibRec Comment実装されているアルゴリズム：協調フィルタリング、Factorization Machines、
Restricted Boltzman Machineなど、計70種類のアルゴリズムが実装
実装：Java
使用方法：コマンドライン、Javaライブラリとして利用
※ 実装されているアルゴリズムの豊富さが強み
※ 実装されているアルゴリズムのリスト（https://www.librec.net/dokuwiki/doku.php?id=AlgorithmList）参考：
http://www.kamishima.net/archive/recsysdoc.pdf
https://takuti.me/note/recommender-libraries/
・Logistic Regression
・Factorization Machine
・Field-aware Factorization Machine
・Higher-Order Factorization Machines
・Factorization-Supported Neural Network
・Wide&Deep
・Attentional Factorization Machine
・Neural Factorization Machine
・Neural Collaborative Filtering
・Field-aware Neural Factorization Machine
・Product Neural Network
・Deep Cross Network
・DeepFM
・xDeepFM
・AutoInt (Automatic Feature Interaction Model)
・AFN(AdaptiveFactorizationNetwork Model) #Article #RecommenderSystems #CollaborativeFiltering #Pocket Issue Date: 2021-07-02 Deep Learning Recommendation Model for Personalization and Recommendation Systems, Naumov+, Facebook, arXiv‘19 Summary深層学習に基づく推薦モデル（DLRM）を開発し、PyTorchとCaffe2で実装。埋め込みテーブルのモデル並列性を活用し、メモリ制約を軽減しつつ計算をスケールアウト。DLRMの性能を既存モデルと比較し、Big Basin AIプラットフォームでの有用性を示す。 CommentFacebookが開発したopen sourceのDeepな推薦モデル（MIT Licence）。
モデル自体はシンプルで、continuousなfeatureをMLPで線形変換、categoricalなfeatureはembeddingをlook upし、それぞれfeatureのrepresentationを獲得。
その上で、それらをFactorization Machines layer（second-order）にぶちこむ。すなわち、Feature間の2次の交互作用をembedding間のdot productで獲得し、これを1次項のrepresentationとconcatしMLPにぶちこむ。最後にシグモイド噛ませてCTRの予測値とする。
実装: https://github.com/facebookresearch/dlrmParallelism以後のセクションはあとで読む
#Article
#RecommenderSystems
#NeuralNetwork
#CollaborativeFiltering
#Pocket
#CTRPrediction
#IJCAI
Issue Date: 2021-05-25
DeepFM: A Factorization-Machine based Neural Network for CTR Prediction, Guo+, IJCAI’17
CommentFactorization Machinesと、Deep Neural Networkを、Wide&Deepしました、という論文。Wide=Factorization Machines, Deep=DNN。
高次のFeatureと低次のFeatureを扱っているだけでなく、FMによってフィールドごとのvector-wiseな交互作用、DNNではbit-wiseな交互作用を利用している。
割と色々なデータでうまくいきそうな手法に見える。
発展版としてxDeepFM 348 がある。281 にも書いたが、下記リンクに概要が記載されている。
DeepFMに関する動向：https://data.gunosy.io/entry/deep-factorization-machines-2018実装: https://github.com/rixwew/pytorch-fm #Article #RecommenderSystems #NeuralNetwork #CollaborativeFiltering #Pocket #CTRPrediction #SIGKDD Issue Date: 2021-05-25 xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems, Lian+, KDD‘18 Comment349 DeepFMの発展版281 にも書いたが、下記リンクに概要が記載されている。
DeepFMに関する動向：https://data.gunosy.io/entry/deep-factorization-machines-2018
DeepFMの発展についても詳細に述べられていて、とても参考になる。 #Article #RecommenderSystems #CollaborativeFiltering #Library Issue Date: 2018-01-01 fastFM Comment実装されているアルゴリズム：Factorization Machines
実装：python
使用方法：pythonライブラリとして利用
※ Factorization Machinesに特化したpythonライブラリ参考：
http://www.kamishima.net/archive/recsysdoc.pdf
https://takuti.me/note/recommender-libraries/ #Article #RecommenderSystems #Tools #CollaborativeFiltering #Library Issue Date: 2018-01-01 LibRec Comment実装されているアルゴリズム：協調フィルタリング、Factorization Machines、
Restricted Boltzman Machineなど、計70種類のアルゴリズムが実装
実装：Java
使用方法：コマンドライン、Javaライブラリとして利用
※ 実装されているアルゴリズムの豊富さが強み
※ 実装されているアルゴリズムのリスト（https://www.librec.net/dokuwiki/doku.php?id=AlgorithmList）参考：
http://www.kamishima.net/archive/recsysdoc.pdf
https://takuti.me/note/recommender-libraries/