numeric
Issue Date: 2025-04-22 An Embedding Learning Framework for Numerical Features in CTR Prediction, Huifeng Guo+, arXiv'20 GPT Summary- CTR予測のための新しい埋め込み学習フレームワーク「AutoDis」を提案。数値特徴の埋め込みを強化し、高いモデル容量とエンドツーエンドのトレーニングを実現。メタ埋め込み、自動離散化、集約の3つのコアコンポーネントを用いて、数値特徴の相関を捉え、独自の埋め込みを学習。実験により、CTRとeCPMでそれぞれ2.1%および2.7%の改善を達成。コードは公開されている。 Comment
従来はdiscretizeをするか、mlpなどでembeddingを作成するだけだった数値のinputをうまく埋め込みに変換する手法を提案し性能改善
数値情報を別の空間に写像し自動的なdiscretizationを実施する機構と、各数値情報のフィールドごとのglobalな情報を保持するmeta-embeddingをtrainable parameterとして学習し、両者を交互作用（aggregation; max-poolingとか）することで数値embeddingを取得する。
<img width="589" alt="Image" src="
<a href="https://github.com/user-attachments/assets/1f626dd5-2452-4b50-a14c-6c24fa022435"" target="_blank" rel="noopener noreferrer">https://github.com/user-attachments/assets/1f626dd5-2452-4b50-a14c-6c24fa022435"</a>
/>
<img width="429" alt="Image" src="
<a href="https://github.com/user-attachments/assets/12fd6476-241a-4d13-975d-f6c1c762c497"" target="_blank" rel="noopener noreferrer">https://github.com/user-attachments/assets/12fd6476-241a-4d13-975d-f6c1c762c497"</a>
/>