A/B Testing

#Article#RecommenderSystems#NeuralNetwork#CTRPrediction#NewsRecommendation#MLOps#Evaluation#Article
Issue Date: 2024-08-31 NewsPicksに推薦システムを本番投入する上で一番優先すべきだったこと, 2024.08 Comment>推薦モデルの良し悪しをより高い確度で評価できる実験を、より簡単に実行できる状態を作ることでした。平たく言えば「いかにA/Bテストしやすい推薦システムを設計するか」が最も重要だった訳です。オフライン評価とオンライン評価の相関がない系の話で、A/Bテストを容易に実施できる環境になかった、かつCTRあと ... #Article#Article
Issue Date: 2023-04-26 Controlled experiments on the web: survey and practical guide, 2023 CommentA/Bテストのベストプラクティスが書かれているらしい ...