FactorizationMachines


Paper/Blog Link My Issue
#RecommenderSystems #CollaborativeFiltering #Pocket Issue Date: 2021-07-02 GPT Summary- 深層学習に基づく推薦モデル（DLRM）を開発し、PyTorchとCaffe2で実装。埋め込みテーブルのモデル並列性を活用し、メモリ制約を軽減しつつ計算をスケールアウト。DLRMの性能を既存モデルと比較し、Big Basin AIプラットフォームでの有用性を示す。 Comment

Facebookが開発したopen sourceのDeepな推薦モデル（MIT Licence）。

モデル自体はシンプルで、continuousなfeatureをMLPで線形変換、categoricalなfeatureはembeddingをlook upし、それぞれfeatureのrepresentationを獲得。
その上で、それらをFactorization Machines layer（second-order）にぶちこむ。すなわち、Feature間の2次の交互作用をembedding間のdot productで獲得し、これを1次項のrepresentationとconcatしMLPにぶちこむ。最後にシグモイド噛ませてCTRの予測値とする。

実装: https://github.com/facebookresearch/dlrm

Parallelism以後のセクションはあとで読む




Paper/Blog Link My Issue
#RecommenderSystems #NeuralNetwork #CollaborativeFiltering #CTRPrediction #WWW Issue Date: 2020-08-29 Comment

CTR予測でbest-performingなモデルと言われているField Aware Factorization Machines(FFM)では、パラメータ数がフィールド数×特徴数のorderになってしまうため非常に多くなってしまうが、これをよりメモリを効果的に利用できる手法を提案。FFMとは性能がcomparableであるが、パラメータ数をFFMの4%に抑えることができた。




Paper/Blog Link My Issue
#RecommenderSystems #CollaborativeFiltering #Pocket #Library #One-Line Notes Issue Date: 2018-01-01 GPT Summary- 因子分解機（FM）は、レコメンダーシステムで成功を収めているにもかかわらず、機械学習の標準ツールボックスには含まれていない。私たちのFMの実装は、回帰、分類、ランキングタスクをサポートし、多くのソルバーへのアクセスを簡素化することで、FMの幅広いアプリケーション利用を促進する。これにより、FMモデルの理解が深まり、新たな開発が期待される。 Comment

実装されているアルゴリズム：Factorization Machines

実装：python

使用方法：pythonライブラリとして利用

※ Factorization Machinesに特化したpythonライブラリ

参考：

http://www.kamishima.net/archive/recsysdoc.pdf

https://takuti.me/note/recommender-libraries/




Paper/Blog Link My Issue
#RecommenderSystems #MachineLearning #CollaborativeFiltering #ICDM #Selected Papers/Blogs Issue Date: 2018-12-22 Comment

解説ブログ： http://echizen-tm.hatenablog.com/entry/2016/09/11/024828

DeepFMに関する動向： https://data.gunosy.io/entry/deep-factorization-machines-2018

上記解説ブログの概要が非常に完結でわかりやすい

image



FMのFeature VectorのExample

各featureごとにlatent vectorが学習され、featureの組み合わせのweightが内積によって表現される



image



Matrix Factorizationの一般形のような形式




Paper/Blog Link My Issue
#Article #RecommenderSystems #CollaborativeFiltering #Library #Repository Issue Date: 2021-07-03 Comment

下記モデルが実装されているすごいリポジトリ。論文もリンクも記載されており、Factorization Machinesを勉強する際に非常に参考になると思う。MITライセンス。各手法はCriteoのCTRPredictionにおいて、AUC0.8くらい出ているらしい。



- Logistic Regression

- Factorization Machine

- Field-aware Factorization Machine

- Higher-Order Factorization Machines

- Factorization-Supported Neural Network

- Wide&Deep

- Attentional Factorization Machine

- Neural Factorization Machine

- Neural Collaborative Filtering

- Field-aware Neural Factorization Machine

- Product Neural Network

- Deep Cross Network

- DeepFM

- xDeepFM

- AutoInt (Automatic Feature Interaction Model)

- AFN(AdaptiveFactorizationNetwork Model)




Paper/Blog Link My Issue
#Article #RecommenderSystems #NeuralNetwork #CollaborativeFiltering #Pocket #CTRPrediction #IJCAI Issue Date: 2021-05-25 Comment

Factorization Machinesと、Deep Neural Networkを、Wide&Deepしました、という論文。Wide=Factorization Machines, Deep=DNN。

高次のFeatureと低次のFeatureを扱っているだけでなく、FMによってフィールドごとのvector-wiseな交互作用、DNNではbit-wiseな交互作用を利用している。
割と色々なデータでうまくいきそうな手法に見える。

発展版としてxDeepFM xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems, Lian+, KDD‘18 がある。

[Paper Note] Factorization Machines, Steffen Rendle, ICDM'10 にも書いたが、下記リンクに概要が記載されている。

DeepFMに関する動向： https://data.gunosy.io/entry/deep-factorization-machines-2018

実装: https://github.com/rixwew/pytorch-fm




Paper/Blog Link My Issue
#Article #RecommenderSystems #NeuralNetwork #CollaborativeFiltering #Pocket #CTRPrediction #SIGKDD Issue Date: 2021-05-25 Comment

DeepFM: A Factorization-Machine based Neural Network for CTR Prediction, Guo+, IJCAI’17 DeepFMの発展版

[Paper Note] Factorization Machines, Steffen Rendle, ICDM'10 にも書いたが、下記リンクに概要が記載されている。

DeepFMに関する動向： https://data.gunosy.io/entry/deep-factorization-machines-2018



DeepFMの発展についても詳細に述べられていて、とても参考になる。