Admin’sPick
#NLP#LanguageModel#Alignment#DPO#PostTraining#read-later
Issue Date: 2024-09-25 Direct Preference Optimization: Your Language Model is Secretly a Reward Model, Rafael Rafailov+, N_A, NeurIPS24 CommentDPOを提案した研究
...
#EfficiencyImprovement#MachineLearning#Pocket#Quantization#PEFT(Adaptor/LoRA)#NeurIPS
Issue Date: 2023-07-22 QLoRA: Efficient Finetuning of Quantized LLMs, Tim Dettmers+, N_A, NeurIPS23 Summary私たちは、QLoRAという効率的なファインチューニング手法を提案します。この手法は、メモリ使用量を削減し、48GBの単一のGPU上で65Bパラメータモデルをファインチューニングすることができます。また、16ビットのファインチューニングタスクのパフォーマンスを維持します。QLoRAは、凍結された4ビット量子化された事前学習済み言語モデルの勾配をLow Rank Adapters（LoRA）に逆伝播させます。私たちの最良のモデルファミリーであるGuanacoは、Vicunaベンチマークで以前に公開されたすべてのモデルを上回り、ChatGPTのパフォーマンスレベルの99.3%に達します。また、単一のGPU上でのファインチューニングには24時間しかかかりません。QLoRAは、パフォーマンスを犠牲にすることなくメモリを節約するためのいくつかの革新を導入しています。具体的には、4ビットNormalFloat（NF4）という情報理論的に最適な新しいデータ型、ダブル量子化による平均メモリフットプリントの削減、およびページドオプティマイザによるメモリスパイクの管理です。私たちはQLoRAを使用して1,000以上のモデルをファインチューニングし、8つの命令データセット、複数のモデルタイプ（LLaMA、T5）、および従来のファインチューニングでは実行不可能なモデルスケール（33Bおよび65Bパラメータモデル）にわたる命令の追跡とチャットボットのパフォーマンスの詳細な分析を提供します。私たちの結果は、QLoRAを使用して小規模な高品質のデータセットでのファインチューニングが、以前のSoTAよりも小さいモデルを使用しても最先端の結果をもたらすことを示しています。また、人間の評価とGPT-4の評価に基づいたチャットボットのパフォーマンスの詳細な分析を提供し、GPT-4の評価が安価で合理的な人間の評価の代替手段であることを示します。さらに、現在のチャットボットのベンチマークは、チャットボットのパフォーマンスレベルを正確に評価するためには信頼性がないことがわかります。GuanacoがChatGPTと比較してどこで失敗するかを示す分析も行っています。私たちは、4ビットトレーニングのためのCUDAカーネルを含む、すべてのモデルとコードを公開しています。 Comment実装: https://github.com/artidoro/qloraPEFTにもある参考: https://twitter.com/hillbig/status/1662946722690236417?s=46&t=TDHYK31QiXKxggPzhZbcAQOpenReview:https: ... #NLP#LanguageModel#LLMAgent
Issue Date: 2023-04-13 REACT : SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS, Yao+, Princeton University and Google brain, ICLR23 Comment# 概要 人間は推論と行動をシナジーさせることで、さまざまな意思決定を行える。近年では言語モデルにより言語による推論を意思決定に組み合わせる可能性が示されてきた。たとえば、タスクをこなすための推論トレースをLLMが導けることが示されてきた（Chain-of-Thought）が、CoTは外部リソース ...
Issue Date: 2024-09-25 Direct Preference Optimization: Your Language Model is Secretly a Reward Model, Rafael Rafailov+, N_A, NeurIPS24 CommentDPOを提案した研究
Issue Date: 2023-07-22 QLoRA: Efficient Finetuning of Quantized LLMs, Tim Dettmers+, N_A, NeurIPS23 Summary私たちは、QLoRAという効率的なファインチューニング手法を提案します。この手法は、メモリ使用量を削減し、48GBの単一のGPU上で65Bパラメータモデルをファインチューニングすることができます。また、16ビットのファインチューニングタスクのパフォーマンスを維持します。QLoRAは、凍結された4ビット量子化された事前学習済み言語モデルの勾配をLow Rank Adapters（LoRA）に逆伝播させます。私たちの最良のモデルファミリーであるGuanacoは、Vicunaベンチマークで以前に公開されたすべてのモデルを上回り、ChatGPTのパフォーマンスレベルの99.3%に達します。また、単一のGPU上でのファインチューニングには24時間しかかかりません。QLoRAは、パフォーマンスを犠牲にすることなくメモリを節約するためのいくつかの革新を導入しています。具体的には、4ビットNormalFloat（NF4）という情報理論的に最適な新しいデータ型、ダブル量子化による平均メモリフットプリントの削減、およびページドオプティマイザによるメモリスパイクの管理です。私たちはQLoRAを使用して1,000以上のモデルをファインチューニングし、8つの命令データセット、複数のモデルタイプ（LLaMA、T5）、および従来のファインチューニングでは実行不可能なモデルスケール（33Bおよび65Bパラメータモデル）にわたる命令の追跡とチャットボットのパフォーマンスの詳細な分析を提供します。私たちの結果は、QLoRAを使用して小規模な高品質のデータセットでのファインチューニングが、以前のSoTAよりも小さいモデルを使用しても最先端の結果をもたらすことを示しています。また、人間の評価とGPT-4の評価に基づいたチャットボットのパフォーマンスの詳細な分析を提供し、GPT-4の評価が安価で合理的な人間の評価の代替手段であることを示します。さらに、現在のチャットボットのベンチマークは、チャットボットのパフォーマンスレベルを正確に評価するためには信頼性がないことがわかります。GuanacoがChatGPTと比較してどこで失敗するかを示す分析も行っています。私たちは、4ビットトレーニングのためのCUDAカーネルを含む、すべてのモデルとコードを公開しています。 Comment実装: https://github.com/artidoro/qloraPEFTにもある参考: https://twitter.com/hillbig/status/1662946722690236417?s=46&t=TDHYK31QiXKxggPzhZbcAQOpenReview:https: ... #NLP#LanguageModel#LLMAgent
Issue Date: 2023-04-13 REACT : SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS, Yao+, Princeton University and Google brain, ICLR23 Comment# 概要 人間は推論と行動をシナジーさせることで、さまざまな意思決定を行える。近年では言語モデルにより言語による推論を意思決定に組み合わせる可能性が示されてきた。たとえば、タスクをこなすための推論トレースをLLMが導けることが示されてきた（Chain-of-Thought）が、CoTは外部リソース ...
#Pocket#NLP#LanguageModel#PEFT(Adaptor/LoRA)#ICLR#PostTraining
Issue Date: 2025-05-12 LoRA: Low-Rank Adaptation of Large Language Models, Edward J. Hu+, ICLR22 CommentOpenrReview:https://openreview.net/forum?id=nZeVKeeFYf9LoRAもなんやかんやメモってなかったので追加。事前学習済みのLinear Layerをfreezeして、freezeしたLinear Layerと対応する低ランクの行列A,Bを別途定義し、 ... #DocumentSummarization#Metrics#Tools#NLP#Dataset#Evaluation
Issue Date: 2023-08-13 SummEval: Re-evaluating Summarization Evaluation, Fabbri+, TACL21 Comment自動評価指標が人手評価の水準に達しないことが示されており、結局のところROUGEを上回る自動性能指標はほとんどなかった。human judgmentsとのKendall;'s Tauを見ると、chrFがCoherenceとRelevance, METEORがFluencyで上回ったのみだった。また、 ... #DocumentSummarization#Metrics#NLP#Evaluation#Reference-free#LM-based
Issue Date: 2023-08-13 BARTSCORE: Evaluating Generated Text as Text Generation, Yuan+ （w_ Neubigさん）, NeurIPS21 Summary本研究では、生成されたテキストの評価方法について検討しました。具体的には、事前学習モデルを使用してテキスト生成の問題をモデル化し、生成されたテキストを参照出力またはソーステキストに変換するために訓練されたモデルを使用しました。提案したメトリックであるBARTSCOREは、情報量、流暢さ、事実性などの異なる視点のテキスト評価に柔軟に適用できます。実験結果では、既存のトップスコアリングメトリックを上回る性能を示しました。BARTScoreの計算に使用するコードは公開されており、インタラクティブなリーダーボードも利用可能です。 CommentBARTScore# 概要 ソーステキストが与えられた時に、BARTによって生成テキストを生成する尤度を計算し、それをスコアとする手法。テキスト生成タスクをテキスト生成モデルでスコアリングすることで、pre-trainingされたパラメータをより有効に活用できる（e.g. BERTScoreやMov ...
#DocumentSummarization#NeuralNetwork#NLP#ICML
Issue Date: 2025-05-13 PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization, Jingqing Zhang+, ICML20 CommentPEGASUSもなかったので追加。BARTと共に文書要約のBackboneとして今でも研究で利用される模様。関連:#984 ... #NeuralNetwork#Pretraining#Pocket#NLP#TransferLearning#PostTraining
Issue Date: 2025-05-12 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, Colin Raffel+, JMLR20 CommentT5もメモっていなかったので今更ながら追加。全てのNLPタスクをテキスト系列からテキスト系列へ変換するタスクとみなし、Encoder-DecoderのTransformerを大規模コーパスを用いて事前学習をし、downstreamタスクにfinetuningを通じて転移する。 ... #MachineTranslation#Metrics#Pocket#NLP#Evaluation#EMNLP
Issue Date: 2024-05-26 COMET: A Neural Framework for MT Evaluation, Ricardo Rei+, N_A, EMNLP20 SummaryCOMETは、多言語機械翻訳評価モデルを訓練するためのニューラルフレームワークであり、人間の判断との新しい最先端の相関レベルを達成します。クロスリンガル事前学習言語モデリングの進展を活用し、高度に多言語対応かつ適応可能なMT評価モデルを実現します。WMT 2019 Metrics shared taskで新たな最先端のパフォーマンスを達成し、高性能システムに対する堅牢性を示しています。 CommentBetter/Worseなhypothesisを利用してpair-wiseにランキング関数を学習する![Image]ACL ... #DocumentSummarization#NaturalLanguageGeneration#Metrics#NLP#Evaluation#Reference-based
Issue Date: 2023-05-10 BERTScore: Evaluating Text Generation with BERT, Tianyi Zhang+, N_A, ICLR20 SummaryBERTScoreは、文脈埋め込みを使用してトークンの類似度を計算するテキスト生成の自動評価メトリックであり、363の機械翻訳および画像キャプションシステムの出力を使用して評価されました。BERTScoreは、既存のメトリックよりも人間の判断との相関が高く、より強力なモデル選択性能を提供し、敵対的な言い換え検出タスクにおいてもより堅牢であることが示されました。 Comment# 概要 既存のテキスト生成の評価手法（BLEUやMETEOR）はsurface levelのマッチングしかしておらず、意味をとらえられた評価になっていなかったので、pretrained BERTのembeddingを用いてsimilarityを測るような指標を提案しましたよ、という話。 ## 実 ...
#NeuralNetwork#ComputerVision#EfficiencyImprovement#Pocket#ICML#Scaling Laws
Issue Date: 2025-05-12 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, Mingxing Tan+, ICML19 Comment元論文をメモってなかったので追加。#346も参照のこと。 ... #RecommenderSystems#NeuralNetwork#General#Embeddings#MachineLearning#AAAI
Issue Date: 2017-12-28 StarSpace: Embed All The Things, Wu+, AAAI18 Comment分類やランキング、レコメンドなど、様々なタスクで汎用的に使用できるEmbeddingの学習手法を提案。 Embeddingを学習する対象をEntityと呼び、Entityはbag-of-featureで記述される。 Entityはbag-of-featureで記述できればなんでもよく、 こ実際にS ... #RecommenderSystems#NeuralNetwork#CollaborativeFiltering#MatrixFactorization#WWW
Issue Date: 2018-02-16 Neural Collaborative Filtering, He+, WWW17 CommentCollaborative FilteringをMLPで一般化したNeural Collaborative Filtering、およびMatrix Factorizationはuser, item-embeddingのelement-wise product + linear transofmrat ... #NeuralNetwork#MachineTranslation#NLP#Transformer#FoundationModel#Attention#NeurIPS
Issue Date: 2018-01-19 Attention is all you need, Vaswani+, NIPS17 CommentTransformer (self-attentionを利用) 論文 解説スライド：https://www.slideshare.net/DeepLearningJP2016/dlattention-is-all-you-need 解説記事：https://qiita.com/nishiba/i分か ... #NeuralNetwork#NaturalLanguageGeneration#NLP#DataToTextGeneration#EMNLP
Issue Date: 2018-01-01 Challenges in Data-to-Document Generation, Wiseman+ （with Rush）, EMNLP17 Comment・RotoWire（NBAのテーブルデータ + サマリ）データを収集し公開 【 ... #Single#DocumentSummarization#NeuralNetwork#Document#Supervised#NLP#Abstractive#ACL
Issue Date: 2017-12-31 Get To The Point: Summarization with Pointer-Generator Networks, See+, ACL17 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/get-to-the-point-summarization-with-pointergenerator-networks/1単語の生成と単語のコピーの両方を行えるハイブリッドなニューラル文書 ... #NeuralNetwork#Sentence#Embeddings#NLP#ICLR
Issue Date: 2017-12-28 A structured self-attentive sentence embedding, Li+ （Bengio group）, ICLR17 CommentOpenReview:https://openreview.net/forum?id=BJC_jUqxe ... #RecommenderSystems#SessionBased#ICLR#SequentialRecommendation
Issue Date: 2019-08-02 SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS, Hidasi+, ICLR16 CommentRNNを利用したsequential recommendation (session-based recommendation)の先駆け的論文。日本語解説: https://qiita.com/tatamiya/items/46e278a808a51893deac ... #RecommenderSystems#NeuralNetwork#Pocket#RecSys
Issue Date: 2018-12-27 Deep Neural Networks for YouTube Recommendations, Covington+, RecSys16 #NeuralNetwork#MachineLearning#Pocket#GraphConvolutionalNetwork#NeurIPS
Issue Date: 2018-03-30 Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering, Defferrard+, NIPS16 CommentGCNを勉強する際は読むと良いらしい。 あわせてこのへんも： Semi-Supervised Classification with Graph Convolutional Networks, Kipf+, ICLR'17 https://github.com/tkipf/gcn ... #NeuralNetwork#MachineLearning#Normalization
Issue Date: 2018-02-19 Layer Normalization, Ba+, arXiv16 Comment解説スライド： https://www.slideshare.net/KeigoNishida/layer-normalizationnipsTraining state-of-the-art, deep neural networks is computationally expensive. O ... #NeuralNetwork#NaturalLanguageGeneration#Pocket#NLP#CoNLL
Issue Date: 2018-02-14 Generating Sentences from a Continuous Space, Bowman+, CoNLL16 CommentVAEを利用して文生成【Variational Autoencoder徹底解説】 https://qiita.com/kenmatsu4/items/b029d697e9995d93aa24 ... #RecommenderSystems#NeuralNetwork#CollaborativeFiltering#WSDM
Issue Date: 2018-01-02 Collaborative Denoising Auto-Encoders for Top-N Recommender Systems, Wu+, WSDM16 CommentDenoising Auto-Encoders を用いたtop-N推薦手法、Collaborative Denoising Auto-Encoder (CDAE)を提案。 モデルベースなCollaborative Filtering手法に相当する。corruptedなinputを復元するようなDe# ... #Single#DocumentSummarization#NeuralNetwork#Document#Supervised#NLP#Abstractive#ACL
Issue Date: 2017-12-31 Incorporating Copying Mechanism in Sequence-to-Sequence Learning, Gu+, ACL16 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/incorporating-copying-mechanism-in-sequene-to-sequence-learning単語のコピーと生成、両方を行えるネットワークを提案。 locati ... #NeuralNetwork#MachineTranslation#NLP#ACL
Issue Date: 2017-12-28 Pointing the unknown words, Gulcehre+, ACL16 Commentテキストを生成する際に、source textからのコピーを行える機構を導入することで未知語問題に対処した話CopyNetと同じタイミングで（というか同じconferenceで）発表 ... #NeuralNetwork#MachineTranslation#Pocket#NLP#Attention#ICLR
Issue Date: 2025-05-12 Neural Machine Translation by Jointly Learning to Align and Translate, Dzmitry Bahdanau+, ICLR15 Comment(Cross-)Attentionを初めて提案した研究。メモってなかったので今更ながら追加。Attentionはここからはじまった（と認識している） ... #MachineLearning#Pocket#LanguageModel#Transformer#ICML#Normalization
Issue Date: 2025-04-02 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, Sergey Ioffe+, ICML15 Commentメモってなかったので今更ながら追加した共変量シフトやBatch Normalizationの説明は#261記載のスライドが分かりやすい。 ... #NeuralNetwork#MachineTranslation#NLP#EMNLP
Issue Date: 2021-06-02 Effective Approaches to Attention-based Neural Machine Translation, Luong+, EMNLP15 CommentLuong論文。attentionの話しはじめると、だいたいBahdanau+か、Luong+論文が引用される。 Global Attentionと、Local Attentionについて記述されている。Global Attentionがよく利用される。 Global Attentionやはり菊 ... #NLP#LanguageModel#ACL#IJCNLP
Issue Date: 2018-03-30 Unsupervised prediction of acceptability judgements, Lau+, ACL-IJCNLP15 Comment文のacceptability（容認度）論文。 文のacceptabilityとは、native speakerがある文を読んだときに、その文を正しい文として容認できる度合いのこと。 acceptabilityスコアが低いと、Readabilityが低いと判断できる。 言語モデルをトレーニング ... #NeuralNetwork#MachineLearning#ICML
Issue Date: 2018-02-19 An Empirical Exploration of Recurrent Network Architectures, Jozefowicz+, ICML15 CommentGRUとLSTMの違いを理解するのに最適 ... #NeuralNetwork#NLP#ACL
Issue Date: 2018-02-13 Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks, Tai+, ACL15 CommentTree-LSTM論文 ... #DocumentSummarization#NeuralNetwork#Sentence#Supervised#NLP#Abstractive#EMNLP
Issue Date: 2017-12-31 A Neural Attention Model for Sentence Summarization, Rush+, EMNLP15 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/a-neural-attention-model-for-sentence-summarization-65612331 ... #Single#DocumentSummarization#NeuralNetwork#Sentence#Document#NLP#Dataset#Abstractive#EMNLP
Issue Date: 2017-12-28 LCSTS: A large scale chinese short text summarizatino dataset, Hu+, EMNLP15 CommentLarge Chinese Short Text Summarization (LCSTS) datasetを作成 データセットを作成する際は、Weibo上の特定のorganizationの投稿の特徴を利用。 Weiboにニュースを投稿する際に、投稿の冒頭にニュースのvery short sCop ... #DocumentSummarization#NeuralNetwork#Sentence#NLP#EMNLP
Issue Date: 2017-12-28 Sentence Compression by Deletion with LSTMs, Fillipova+, EMNLP15 Commentslide:https://www.slideshare.net/akihikowatanabe3110/sentence-compression-by-deletion-with-lstms ... #Multi#DocumentSummarization#NLP#Extractive#ACL
Issue Date: 2017-12-28 Hierarchical Summarization: Scaling Up Multi-Document Summarization, Christensen+, ACL14 Comment## 概要 だいぶ前に読んだ。好きな研究。 テキストのsentenceを階層的にクラスタリングすることで、抽象度が高い情報から、関連する具体度の高いsentenceにdrill downしていけるInteractiveな要約を提案している。 ## 手法 通常のMDSでのデータセットの規模は上位に紐 ... #Multi#DocumentSummarization#NLP#Dataset#QueryBiased#Extractive#ACL
Issue Date: 2017-12-28 Query-Chain Focused Summarization, Baumel+, ACL14 Comment[Query-Chain Focused Summarization.pdf](https://github.com/AkihikoWatanabe/paper_notes/files/1590916/Query-Chain.Focused.Summarization.pdf)上記スライドは私が当時 ... #RecommenderSystems#NeuralNetwork#MatrixFactorization#NeurIPS
Issue Date: 2018-01-11 Deep content-based music recommendation, Oord+, NIPS13 CommentContents-Basedな音楽推薦手法(cold-start problemに強い)。 Weighted Matrix Factorization (WMF) (Implicit Feedbackによるデータに特化したMatrix Factorization手法) #225 に、Convolu ... #NeuralNetwork#ComputerVision#NeurIPS#ImageClassification
Issue Date: 2025-05-13 ImageNet Classification with Deep Convolutional Neural Networks, Krizhevsky+, NIPS12 CommentILSVRC 2012において圧倒的な性能示したことで現代のDeepLearningの火付け役となった研究AlexNet。メモってなかったので今更ながら追加した。AlexNet以前の画像認識技術については牛久先生がまとめてくださっている（当時の課題とそれに対する解決法、しかしまだ課題が…と次々と課題 ... #RecommenderSystems#CollaborativeFiltering#MatrixFactorization#SIGKDD
Issue Date: 2018-01-11 Collaborative topic modeling for recommending scientific articles, Wang+, KDD11 CommentProbabilistic Matrix Factorization (PMF) #227 に、Latent Dirichllet Allocation (LDA) を組み込んだCollaborative Topic Regression (CTR)を提案。 LDAによりitemのlatent vC ... #RecommenderSystems#Survey
Issue Date: 2018-01-01 Collaborative Filtering Recommender Systems, Ekstrand+ （with Joseph A. Konstan）, Foundations and TrendsR in Human–Computer Interaction11 #Multi#PersonalizedDocumentSummarization#InteractivePersonalizedSummarization#NLP#EMNLP
Issue Date: 2017-12-28 Summarize What You Are Interested In: An Optimization Framework for Interactive Personalized Summarization, Yan+, EMNLP11, 2011.07 Comment ユーザとシステムがインタラクションしながら個人向けの要約を生成するタスク ... #RecommenderSystems#MachineLearning#CollaborativeFiltering#FactorizationMachines#ICDM
Issue Date: 2018-12-22 Factorization Machines, Steffen Rendle, ICDM10 Comment解説ブログ：http://echizen-tm.hatenablog.com/entry/2016/09/11/024828 DeepFMに関する動向：https://data.gunosy.io/entry/deep-factorization-machines-2018#Extractive#ECIR
Issue Date: 2018-01-17 A study of global inference algorithms in multi-document summarization, Ryan McDonald, ECIR07 Comment文書要約をナップサック問題として定式化し、厳密解（動的計画法、ILP Formulation）、近似解(Greedy)を求める手法を提案。 ... #InformationRetrieval#LearningToRank#ListWise#ICML
Issue Date: 2018-01-01 Learning to Rank: From Pairwise Approach to Listwise Approach （ListNet）, Cao+, ICML2007 Comment解説スライド：http://www.nactem.ac.uk/tsujii/T-FaNT2/T-FaNT.files/Slides/liu.pdf 解説ブログ：https://qiita.com/koreyou/items/a69750696fd0b9d88608従来行われてきたLearning t ... #RecommenderSystems#Survey#Explanation
Issue Date: 2018-01-01 A Survey of Explanations in Recommender Systems, Tintarev+, ICDEW07 #RecommenderSystems#Survey#CollaborativeFiltering#MatrixFactorization
Issue Date: 2018-01-01 Matrix Factorization Techniques for Recommender Systems, Koren+, Computer07 CommentMatrix Factorizationについてよくまとまっている ... #MachineLearning#DomainAdaptation#NLP#ACL
Issue Date: 2017-12-31 Frustratingly easy domain adaptation, Daume, ACL07 Comment domain adaptationをする際に、Source側のFeatu ... #InformationRetrieval#LearningToRank#PairWise#ICML
Issue Date: 2018-01-01 Learning to Rank using Gradient Descent （RankNet）, Burges+, ICML2005 Commentpair-wiseのlearning2rankで代表的なRankNet論文 解説ブログ：https://qiita.com/sz_dr/items/0e50120318527a928407 lossは2個のインスタンスのpair、A, Bが与えられたとき、AがBよりも高くランクされる場合は確 ... #RecommenderSystems#Survey
Issue Date: 2018-01-01 Toward the next generation of recommender systems: a survey of the state-of-the-art and possible extensions, Adomavicius+, IEEE Transactions on Knowledge and Data Engineering05 Comment有名なやつ ... #Single#DocumentSummarization#Document#GraphBased#NLP#Extractive#EMNLP
Issue Date: 2018-01-01 TextRank: Bringing Order into Texts, Mihalcea+, EMNLP04 CommentPageRankベースの手法で、キーワード抽出/文書要約 を行う手法。 キーワード抽出/文書要約 を行う際には、ノードをそれぞれ 単語/文 で表現する。 ノードで表現されている 単語/文 のsimilarityを測り、ノード間のedgeの重みとすることでAffinity Graphを構築。 あ単一文 ... #RecommenderSystems#Survey
Issue Date: 2018-01-01 Evaluating Collaborative Filtering Recommener Systems, Herlocker+, TOIS04 CommentGroupLensのSurvey ... #InformationRetrieval#LearningToRank#PointWise#NeurIPS
Issue Date: 2018-01-01 PRanking with Ranking, Crammer+, NIPS01 CommentPoint-WiseなLearning2Rankの有名手法 ... #RecommenderSystems#CollaborativeFiltering#ItemBased#WWW
Issue Date: 2018-01-01 Item-based collaborative filtering recommendation algorithms, Sarwar+（with Konstan）, WWW01 Commentアイテムベースな協調フィルタリングを提案した論文（GroupLens） ... #DocumentSummarization#Document#NLP#NAACL
Issue Date: 2018-01-21 Cut and paste based text summarization, Jing+, NAACL00 CommentAbstractiveなSummarizationの先駆け的研究。 AbstractiveなSummarizationを研究するなら、押さえておいたほうが良い。 ... #DocumentSummarization#InformationRetrieval#NLP#SearchEngine#SIGIR
Issue Date: 2018-01-17 The Use of MMR, Diversity-Based Reranking for Reordering Documents and Producing Summaries, Carbonell+, SIGIR98 CommentMaximal Marginal Relevance (MMR) 論文。 検索エンジンや文書要約において、文書/文のランキングを生成する際に、既に選んだ文書と類似度が低く、かつqueryとrelevantな文書をgreedyに選択していく手法を提案。 ILPによる定式化が提案される以前のMult ... #Article#NLP#LanguageModel#InstructionTuning#PostTraining
Issue Date: 2025-05-12 Stanford Alpaca: An Instruction-following LLaMA Model, Taori +, 2023.03 Comment今更ながらメモに追加。アカデミアにおけるOpenLLMに対するInstruction Tuningの先駆け的研究。 ... #Article#NeuralNetwork#ComputerVision#CVPR
Issue Date: 2021-11-04 Deep Residual Learning for Image Recognition, He+, Microsoft Research, CVPR’16 CommentResNet論文 ResNetでは、レイヤーの計算する関数を、残差F(x)と恒等関数xの和として定義する。これにより、レイヤーが入力との差分だけを学習すれば良くなり、モデルを深くしても最適化がしやすくなる効果ぎある。数レイヤーごとにResidual Connectionを導入し、恒等関数によるショ同 ... #Article#NeuralNetwork#Survey#NLP#LanguageModel
Issue Date: 2019-11-09 事前学習言語モデルの動向 _ Survey of Pretrained Language Models Comment[2019/06まで] ・ELMo（双方向2層LSTM言語モデル） ・GPT（left-to-rightの12層Transformer自己回帰言語モデル） ・BERT（24層のTransformer双方向言語モデル） ・MT-DNN（BERTの上にマルチタスク層を追加した研究） ・XLM（ELMo, ... #Article#RecommenderSystems#Library
Issue Date: 2019-09-11 Implicit CommentImplicitデータに対するCollaborative Filtering手法がまとまっているライブラリ Bayesian Personalized Ranking, Logistic Matrix Factorizationなどが実装。Implicitの使い方はこの記事がわかりやすい： http ... #Article#RecommenderSystems#Dataset
Issue Date: 2019-04-12 Recommender System Datasets, Julian McAuley CommentRecommender Systems研究に利用できる各種データセットを、Julian McAuley氏がまとめている。 氏が独自にクロールしたデータ等も含まれている。 非常に有用。 ... #Article#RecommenderSystems#Tutorial#Explanation
Issue Date: 2019-01-23 Designing and Evaluating Explanations for Recommender Systems, Tintarev+, Recommender Systems Handbook, 2011 CommentRecommender Systems HandbookのChapter。#162 のSurveyと同じ著者による執筆。 推薦のExplanationといえばこの人というイメージ。D論：http://navatintarev.com/papers/Nava%20Tintarev_PhD_Thesis ... #Article#AdaptiveLearning#StudentPerformancePrediction#NeurIPS
Issue Date: 2018-12-22 Deep Knowledge Tracing, Piech+, NIPS, 2015 CommentKnowledge Tracingタスクとは： 特定のlearning taskにおいて、生徒によってとられたインタラクションの系列x0, ..., xtが与えられたとき、次のインタラクションxt+1を予測するタスク 典型的な表現としては、xt={qt, at}, where qt=knowkn ... #Article#Survey#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2018-12-22 Educational Data Mining and Learning Analytics, Baker+, 2014 CommentRyan BakerらによるEDM Survey ... #Article#RecommenderSystems#Classic#ContextAware
Issue Date: 2018-12-22 Context-Aware Recommender Systems, Adomavicius+, Recommender Systems Handbook, 2011 CommentContext-aware Recsysのパイオニア的研究通常のuser/item paradigmを拡張して、いかにコンテキストの情報を考慮するかを研究。 コンテキスト情報は、 Explicit: ユーザのマニュアルインプットから取得 Implicit: 自動的に取得 inferred: ユーザ ... #Article#Classic#AdaptiveLearning#LearningStyle
Issue Date: 2018-12-22 LEARNING AND TEACHING STYLES IN ENGINEERING EDUCATION, Felder, Engr. Education, 78（7）, 674–681 （1988） CommentLearningStyleに関して研究している古典的な研究。 context-aware recsysの研究初期の頃は、だいたいはこのFelder-Silverman Theoryというのをベースに研究されていたらしい。 ... #Article#NeuralNetwork#Tutorial#NLP#Slide
Issue Date: 2018-01-15 自然言語処理のためのDeep Learning, Yuta Kikuchi #Article#RecommenderSystems#CollaborativeFiltering#MatrixFactorization
Issue Date: 2018-01-11 Collaborative filtering for implicit feedback datasets, Hu+, International Conference on Data Mining, 2008 CommentImplicit Feedbackなデータに特化したMatrix Factorization (MF)、Weighted Matrix Factorization (WMF)を提案。 ユーザのExplicitなFeedback（ratingやlike, dislikeなど）がなくても、MFが適用可日 ... #Article#RecommenderSystems#NeuralNetwork#CollaborativeFiltering#MatrixFactorization#SIGKDD
Issue Date: 2018-01-11 Collaborative Deep Learning for Recommender Systems Wang+, KDD’15 CommentRating Matrixからuserとitemのlatent vectorを学習する際に、Stacked Denoising Auto Encoder（SDAE）によるitemのembeddingを活用する話。 Collaborative FilteringとContents-based Fil解 ... #Article#DocumentSummarization#NLP#Alignment#SIGIR
Issue Date: 2018-01-11 The Decomposition of Human-Written Summary Sentences. Hongyan Jing et al. SIGIR’99. Comment参照要約 原文書対が与えられた時に、参照要約中の単語と原文書中の単語のアライメントをとるHMMベースな手法を提案。  Document Summarization手法。 ほぼ #214 と同じ手法。 2種類の手法が提案されている： * [LexRank] tf-idfスコアでsentenceのbag-of-wordsベクトルを作り、cosine similarit ... #Article#RecommenderSystems#Survey
Issue Date: 2018-01-01 推薦システムのアルゴリズム, 神嶌, 2016 #Article#RecommenderSystems#CollaborativeFiltering#Novelty
Issue Date: 2017-12-28 Discovery-oriented Collaborative Filtering for Improving User Satisfaction, Hijikata et al., IUI’09 Comment・従来のCFはaccuracyをあげることを目的に研究されてきたが，ユーザがすでに知っているitemを推薦してしまう問題がある．おまけに（推薦リスト内のアイテムの観点からみた）diversityも低い．このような推薦はdiscoveryがなく，user satisfactionを損ねるので，ユーザが ... #Article#PersonalizedDocumentSummarization#NLP#NAACL
Issue Date: 2017-12-28 A Study for Documents Summarization based on Personal Annotation, HLT-NAACL-DUC’03, Zhang+, 2003, 2003.05 Comment ![Image]ACL ... #DocumentSummarization#NaturalLanguageGeneration#Metrics#NLP#Evaluation#Reference-based
Issue Date: 2023-05-10 BERTScore: Evaluating Text Generation with BERT, Tianyi Zhang+, N_A, ICLR20 SummaryBERTScoreは、文脈埋め込みを使用してトークンの類似度を計算するテキスト生成の自動評価メトリックであり、363の機械翻訳および画像キャプションシステムの出力を使用して評価されました。BERTScoreは、既存のメトリックよりも人間の判断との相関が高く、より強力なモデル選択性能を提供し、敵対的な言い換え検出タスクにおいてもより堅牢であることが示されました。 Comment# 概要 既存のテキスト生成の評価手法（BLEUやMETEOR）はsurface levelのマッチングしかしておらず、意味をとらえられた評価になっていなかったので、pretrained BERTのembeddingを用いてsimilarityを測るような指標を提案しましたよ、という話。 ## 実 ...
Issue Date: 2025-05-12 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, Mingxing Tan+, ICML19 Comment元論文をメモってなかったので追加。#346も参照のこと。 ... #RecommenderSystems#NeuralNetwork#General#Embeddings#MachineLearning#AAAI
Issue Date: 2017-12-28 StarSpace: Embed All The Things, Wu+, AAAI18 Comment分類やランキング、レコメンドなど、様々なタスクで汎用的に使用できるEmbeddingの学習手法を提案。 Embeddingを学習する対象をEntityと呼び、Entityはbag-of-featureで記述される。 Entityはbag-of-featureで記述できればなんでもよく、 こ実際にS ... #RecommenderSystems#NeuralNetwork#CollaborativeFiltering#MatrixFactorization#WWW
Issue Date: 2018-02-16 Neural Collaborative Filtering, He+, WWW17 CommentCollaborative FilteringをMLPで一般化したNeural Collaborative Filtering、およびMatrix Factorizationはuser, item-embeddingのelement-wise product + linear transofmrat ... #NeuralNetwork#MachineTranslation#NLP#Transformer#FoundationModel#Attention#NeurIPS
Issue Date: 2018-01-19 Attention is all you need, Vaswani+, NIPS17 CommentTransformer (self-attentionを利用) 論文 解説スライド：https://www.slideshare.net/DeepLearningJP2016/dlattention-is-all-you-need 解説記事：https://qiita.com/nishiba/i分か ... #NeuralNetwork#NaturalLanguageGeneration#NLP#DataToTextGeneration#EMNLP
Issue Date: 2018-01-01 Challenges in Data-to-Document Generation, Wiseman+ （with Rush）, EMNLP17 Comment・RotoWire（NBAのテーブルデータ + サマリ）データを収集し公開 【 ... #Single#DocumentSummarization#NeuralNetwork#Document#Supervised#NLP#Abstractive#ACL
Issue Date: 2017-12-31 Get To The Point: Summarization with Pointer-Generator Networks, See+, ACL17 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/get-to-the-point-summarization-with-pointergenerator-networks/1単語の生成と単語のコピーの両方を行えるハイブリッドなニューラル文書 ... #NeuralNetwork#Sentence#Embeddings#NLP#ICLR
Issue Date: 2017-12-28 A structured self-attentive sentence embedding, Li+ （Bengio group）, ICLR17 CommentOpenReview:https://openreview.net/forum?id=BJC_jUqxe ... #RecommenderSystems#SessionBased#ICLR#SequentialRecommendation
Issue Date: 2019-08-02 SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS, Hidasi+, ICLR16 CommentRNNを利用したsequential recommendation (session-based recommendation)の先駆け的論文。日本語解説: https://qiita.com/tatamiya/items/46e278a808a51893deac ... #RecommenderSystems#NeuralNetwork#Pocket#RecSys
Issue Date: 2018-12-27 Deep Neural Networks for YouTube Recommendations, Covington+, RecSys16 #NeuralNetwork#MachineLearning#Pocket#GraphConvolutionalNetwork#NeurIPS
Issue Date: 2018-03-30 Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering, Defferrard+, NIPS16 CommentGCNを勉強する際は読むと良いらしい。 あわせてこのへんも： Semi-Supervised Classification with Graph Convolutional Networks, Kipf+, ICLR'17 https://github.com/tkipf/gcn ... #NeuralNetwork#MachineLearning#Normalization
Issue Date: 2018-02-19 Layer Normalization, Ba+, arXiv16 Comment解説スライド： https://www.slideshare.net/KeigoNishida/layer-normalizationnipsTraining state-of-the-art, deep neural networks is computationally expensive. O ... #NeuralNetwork#NaturalLanguageGeneration#Pocket#NLP#CoNLL
Issue Date: 2018-02-14 Generating Sentences from a Continuous Space, Bowman+, CoNLL16 CommentVAEを利用して文生成【Variational Autoencoder徹底解説】 https://qiita.com/kenmatsu4/items/b029d697e9995d93aa24 ... #RecommenderSystems#NeuralNetwork#CollaborativeFiltering#WSDM
Issue Date: 2018-01-02 Collaborative Denoising Auto-Encoders for Top-N Recommender Systems, Wu+, WSDM16 CommentDenoising Auto-Encoders を用いたtop-N推薦手法、Collaborative Denoising Auto-Encoder (CDAE)を提案。 モデルベースなCollaborative Filtering手法に相当する。corruptedなinputを復元するようなDe# ... #Single#DocumentSummarization#NeuralNetwork#Document#Supervised#NLP#Abstractive#ACL
Issue Date: 2017-12-31 Incorporating Copying Mechanism in Sequence-to-Sequence Learning, Gu+, ACL16 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/incorporating-copying-mechanism-in-sequene-to-sequence-learning単語のコピーと生成、両方を行えるネットワークを提案。 locati ... #NeuralNetwork#MachineTranslation#NLP#ACL
Issue Date: 2017-12-28 Pointing the unknown words, Gulcehre+, ACL16 Commentテキストを生成する際に、source textからのコピーを行える機構を導入することで未知語問題に対処した話CopyNetと同じタイミングで（というか同じconferenceで）発表 ... #NeuralNetwork#MachineTranslation#Pocket#NLP#Attention#ICLR
Issue Date: 2025-05-12 Neural Machine Translation by Jointly Learning to Align and Translate, Dzmitry Bahdanau+, ICLR15 Comment(Cross-)Attentionを初めて提案した研究。メモってなかったので今更ながら追加。Attentionはここからはじまった（と認識している） ... #MachineLearning#Pocket#LanguageModel#Transformer#ICML#Normalization
Issue Date: 2025-04-02 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, Sergey Ioffe+, ICML15 Commentメモってなかったので今更ながら追加した共変量シフトやBatch Normalizationの説明は#261記載のスライドが分かりやすい。 ... #NeuralNetwork#MachineTranslation#NLP#EMNLP
Issue Date: 2021-06-02 Effective Approaches to Attention-based Neural Machine Translation, Luong+, EMNLP15 CommentLuong論文。attentionの話しはじめると、だいたいBahdanau+か、Luong+論文が引用される。 Global Attentionと、Local Attentionについて記述されている。Global Attentionがよく利用される。 Global Attentionやはり菊 ... #NLP#LanguageModel#ACL#IJCNLP
Issue Date: 2018-03-30 Unsupervised prediction of acceptability judgements, Lau+, ACL-IJCNLP15 Comment文のacceptability（容認度）論文。 文のacceptabilityとは、native speakerがある文を読んだときに、その文を正しい文として容認できる度合いのこと。 acceptabilityスコアが低いと、Readabilityが低いと判断できる。 言語モデルをトレーニング ... #NeuralNetwork#MachineLearning#ICML
Issue Date: 2018-02-19 An Empirical Exploration of Recurrent Network Architectures, Jozefowicz+, ICML15 CommentGRUとLSTMの違いを理解するのに最適 ... #NeuralNetwork#NLP#ACL
Issue Date: 2018-02-13 Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks, Tai+, ACL15 CommentTree-LSTM論文 ... #DocumentSummarization#NeuralNetwork#Sentence#Supervised#NLP#Abstractive#EMNLP
Issue Date: 2017-12-31 A Neural Attention Model for Sentence Summarization, Rush+, EMNLP15 Comment解説スライド：https://www.slideshare.net/akihikowatanabe3110/a-neural-attention-model-for-sentence-summarization-65612331 ... #Single#DocumentSummarization#NeuralNetwork#Sentence#Document#NLP#Dataset#Abstractive#EMNLP
Issue Date: 2017-12-28 LCSTS: A large scale chinese short text summarizatino dataset, Hu+, EMNLP15 CommentLarge Chinese Short Text Summarization (LCSTS) datasetを作成 データセットを作成する際は、Weibo上の特定のorganizationの投稿の特徴を利用。 Weiboにニュースを投稿する際に、投稿の冒頭にニュースのvery short sCop ... #DocumentSummarization#NeuralNetwork#Sentence#NLP#EMNLP
Issue Date: 2017-12-28 Sentence Compression by Deletion with LSTMs, Fillipova+, EMNLP15 Commentslide:https://www.slideshare.net/akihikowatanabe3110/sentence-compression-by-deletion-with-lstms ... #Multi#DocumentSummarization#NLP#Extractive#ACL
Issue Date: 2017-12-28 Hierarchical Summarization: Scaling Up Multi-Document Summarization, Christensen+, ACL14 Comment## 概要 だいぶ前に読んだ。好きな研究。 テキストのsentenceを階層的にクラスタリングすることで、抽象度が高い情報から、関連する具体度の高いsentenceにdrill downしていけるInteractiveな要約を提案している。 ## 手法 通常のMDSでのデータセットの規模は上位に紐 ... #Multi#DocumentSummarization#NLP#Dataset#QueryBiased#Extractive#ACL
Issue Date: 2017-12-28 Query-Chain Focused Summarization, Baumel+, ACL14 Comment[Query-Chain Focused Summarization.pdf](https://github.com/AkihikoWatanabe/paper_notes/files/1590916/Query-Chain.Focused.Summarization.pdf)上記スライドは私が当時 ... #RecommenderSystems#NeuralNetwork#MatrixFactorization#NeurIPS
Issue Date: 2018-01-11 Deep content-based music recommendation, Oord+, NIPS13 CommentContents-Basedな音楽推薦手法(cold-start problemに強い)。 Weighted Matrix Factorization (WMF) (Implicit Feedbackによるデータに特化したMatrix Factorization手法) #225 に、Convolu ... #NeuralNetwork#ComputerVision#NeurIPS#ImageClassification
Issue Date: 2025-05-13 ImageNet Classification with Deep Convolutional Neural Networks, Krizhevsky+, NIPS12 CommentILSVRC 2012において圧倒的な性能示したことで現代のDeepLearningの火付け役となった研究AlexNet。メモってなかったので今更ながら追加した。AlexNet以前の画像認識技術については牛久先生がまとめてくださっている（当時の課題とそれに対する解決法、しかしまだ課題が…と次々と課題 ... #RecommenderSystems#CollaborativeFiltering#MatrixFactorization#SIGKDD
Issue Date: 2018-01-11 Collaborative topic modeling for recommending scientific articles, Wang+, KDD11 CommentProbabilistic Matrix Factorization (PMF) #227 に、Latent Dirichllet Allocation (LDA) を組み込んだCollaborative Topic Regression (CTR)を提案。 LDAによりitemのlatent vC ... #RecommenderSystems#Survey
Issue Date: 2018-01-01 Collaborative Filtering Recommender Systems, Ekstrand+ （with Joseph A. Konstan）, Foundations and TrendsR in Human–Computer Interaction11 #Multi#PersonalizedDocumentSummarization#InteractivePersonalizedSummarization#NLP#EMNLP
Issue Date: 2017-12-28 Summarize What You Are Interested In: An Optimization Framework for Interactive Personalized Summarization, Yan+, EMNLP11, 2011.07 Comment ユーザとシステムがインタラクションしながら個人向けの要約を生成するタスク ... #RecommenderSystems#MachineLearning#CollaborativeFiltering#FactorizationMachines#ICDM
Issue Date: 2018-12-22 Factorization Machines, Steffen Rendle, ICDM10 Comment解説ブログ：http://echizen-tm.hatenablog.com/entry/2016/09/11/024828 DeepFMに関する動向：https://data.gunosy.io/entry/deep-factorization-machines-2018#Extractive#ECIR
Issue Date: 2018-01-17 A study of global inference algorithms in multi-document summarization, Ryan McDonald, ECIR07 Comment文書要約をナップサック問題として定式化し、厳密解（動的計画法、ILP Formulation）、近似解(Greedy)を求める手法を提案。 ... #InformationRetrieval#LearningToRank#ListWise#ICML
Issue Date: 2018-01-01 Learning to Rank: From Pairwise Approach to Listwise Approach （ListNet）, Cao+, ICML2007 Comment解説スライド：http://www.nactem.ac.uk/tsujii/T-FaNT2/T-FaNT.files/Slides/liu.pdf 解説ブログ：https://qiita.com/koreyou/items/a69750696fd0b9d88608従来行われてきたLearning t ... #RecommenderSystems#Survey#Explanation
Issue Date: 2018-01-01 A Survey of Explanations in Recommender Systems, Tintarev+, ICDEW07 #RecommenderSystems#Survey#CollaborativeFiltering#MatrixFactorization
Issue Date: 2018-01-01 Matrix Factorization Techniques for Recommender Systems, Koren+, Computer07 CommentMatrix Factorizationについてよくまとまっている ... #MachineLearning#DomainAdaptation#NLP#ACL
Issue Date: 2017-12-31 Frustratingly easy domain adaptation, Daume, ACL07 Comment domain adaptationをする際に、Source側のFeatu ... #InformationRetrieval#LearningToRank#PairWise#ICML
Issue Date: 2018-01-01 Learning to Rank using Gradient Descent （RankNet）, Burges+, ICML2005 Commentpair-wiseのlearning2rankで代表的なRankNet論文 解説ブログ：https://qiita.com/sz_dr/items/0e50120318527a928407 lossは2個のインスタンスのpair、A, Bが与えられたとき、AがBよりも高くランクされる場合は確 ... #RecommenderSystems#Survey
Issue Date: 2018-01-01 Toward the next generation of recommender systems: a survey of the state-of-the-art and possible extensions, Adomavicius+, IEEE Transactions on Knowledge and Data Engineering05 Comment有名なやつ ... #Single#DocumentSummarization#Document#GraphBased#NLP#Extractive#EMNLP
Issue Date: 2018-01-01 TextRank: Bringing Order into Texts, Mihalcea+, EMNLP04 CommentPageRankベースの手法で、キーワード抽出/文書要約 を行う手法。 キーワード抽出/文書要約 を行う際には、ノードをそれぞれ 単語/文 で表現する。 ノードで表現されている 単語/文 のsimilarityを測り、ノード間のedgeの重みとすることでAffinity Graphを構築。 あ単一文 ... #RecommenderSystems#Survey
Issue Date: 2018-01-01 Evaluating Collaborative Filtering Recommener Systems, Herlocker+, TOIS04 CommentGroupLensのSurvey ... #InformationRetrieval#LearningToRank#PointWise#NeurIPS
Issue Date: 2018-01-01 PRanking with Ranking, Crammer+, NIPS01 CommentPoint-WiseなLearning2Rankの有名手法 ... #RecommenderSystems#CollaborativeFiltering#ItemBased#WWW
Issue Date: 2018-01-01 Item-based collaborative filtering recommendation algorithms, Sarwar+（with Konstan）, WWW01 Commentアイテムベースな協調フィルタリングを提案した論文（GroupLens） ... #DocumentSummarization#Document#NLP#NAACL
Issue Date: 2018-01-21 Cut and paste based text summarization, Jing+, NAACL00 CommentAbstractiveなSummarizationの先駆け的研究。 AbstractiveなSummarizationを研究するなら、押さえておいたほうが良い。 ... #DocumentSummarization#InformationRetrieval#NLP#SearchEngine#SIGIR
Issue Date: 2018-01-17 The Use of MMR, Diversity-Based Reranking for Reordering Documents and Producing Summaries, Carbonell+, SIGIR98 CommentMaximal Marginal Relevance (MMR) 論文。 検索エンジンや文書要約において、文書/文のランキングを生成する際に、既に選んだ文書と類似度が低く、かつqueryとrelevantな文書をgreedyに選択していく手法を提案。 ILPによる定式化が提案される以前のMult ... #Article#NLP#LanguageModel#InstructionTuning#PostTraining
Issue Date: 2025-05-12 Stanford Alpaca: An Instruction-following LLaMA Model, Taori +, 2023.03 Comment今更ながらメモに追加。アカデミアにおけるOpenLLMに対するInstruction Tuningの先駆け的研究。 ... #Article#NeuralNetwork#ComputerVision#CVPR
Issue Date: 2021-11-04 Deep Residual Learning for Image Recognition, He+, Microsoft Research, CVPR’16 CommentResNet論文 ResNetでは、レイヤーの計算する関数を、残差F(x)と恒等関数xの和として定義する。これにより、レイヤーが入力との差分だけを学習すれば良くなり、モデルを深くしても最適化がしやすくなる効果ぎある。数レイヤーごとにResidual Connectionを導入し、恒等関数によるショ同 ... #Article#NeuralNetwork#Survey#NLP#LanguageModel
Issue Date: 2019-11-09 事前学習言語モデルの動向 _ Survey of Pretrained Language Models Comment[2019/06まで] ・ELMo（双方向2層LSTM言語モデル） ・GPT（left-to-rightの12層Transformer自己回帰言語モデル） ・BERT（24層のTransformer双方向言語モデル） ・MT-DNN（BERTの上にマルチタスク層を追加した研究） ・XLM（ELMo, ... #Article#RecommenderSystems#Library
Issue Date: 2019-09-11 Implicit CommentImplicitデータに対するCollaborative Filtering手法がまとまっているライブラリ Bayesian Personalized Ranking, Logistic Matrix Factorizationなどが実装。Implicitの使い方はこの記事がわかりやすい： http ... #Article#RecommenderSystems#Dataset
Issue Date: 2019-04-12 Recommender System Datasets, Julian McAuley CommentRecommender Systems研究に利用できる各種データセットを、Julian McAuley氏がまとめている。 氏が独自にクロールしたデータ等も含まれている。 非常に有用。 ... #Article#RecommenderSystems#Tutorial#Explanation
Issue Date: 2019-01-23 Designing and Evaluating Explanations for Recommender Systems, Tintarev+, Recommender Systems Handbook, 2011 CommentRecommender Systems HandbookのChapter。#162 のSurveyと同じ著者による執筆。 推薦のExplanationといえばこの人というイメージ。D論：http://navatintarev.com/papers/Nava%20Tintarev_PhD_Thesis ... #Article#AdaptiveLearning#StudentPerformancePrediction#NeurIPS
Issue Date: 2018-12-22 Deep Knowledge Tracing, Piech+, NIPS, 2015 CommentKnowledge Tracingタスクとは： 特定のlearning taskにおいて、生徒によってとられたインタラクションの系列x0, ..., xtが与えられたとき、次のインタラクションxt+1を予測するタスク 典型的な表現としては、xt={qt, at}, where qt=knowkn ... #Article#Survey#AdaptiveLearning#EducationalDataMining#LearningAnalytics
Issue Date: 2018-12-22 Educational Data Mining and Learning Analytics, Baker+, 2014 CommentRyan BakerらによるEDM Survey ... #Article#RecommenderSystems#Classic#ContextAware
Issue Date: 2018-12-22 Context-Aware Recommender Systems, Adomavicius+, Recommender Systems Handbook, 2011 CommentContext-aware Recsysのパイオニア的研究通常のuser/item paradigmを拡張して、いかにコンテキストの情報を考慮するかを研究。 コンテキスト情報は、 Explicit: ユーザのマニュアルインプットから取得 Implicit: 自動的に取得 inferred: ユーザ ... #Article#Classic#AdaptiveLearning#LearningStyle
Issue Date: 2018-12-22 LEARNING AND TEACHING STYLES IN ENGINEERING EDUCATION, Felder, Engr. Education, 78（7）, 674–681 （1988） CommentLearningStyleに関して研究している古典的な研究。 context-aware recsysの研究初期の頃は、だいたいはこのFelder-Silverman Theoryというのをベースに研究されていたらしい。 ... #Article#NeuralNetwork#Tutorial#NLP#Slide
Issue Date: 2018-01-15 自然言語処理のためのDeep Learning, Yuta Kikuchi #Article#RecommenderSystems#CollaborativeFiltering#MatrixFactorization
Issue Date: 2018-01-11 Collaborative filtering for implicit feedback datasets, Hu+, International Conference on Data Mining, 2008 CommentImplicit Feedbackなデータに特化したMatrix Factorization (MF)、Weighted Matrix Factorization (WMF)を提案。 ユーザのExplicitなFeedback（ratingやlike, dislikeなど）がなくても、MFが適用可日 ... #Article#RecommenderSystems#NeuralNetwork#CollaborativeFiltering#MatrixFactorization#SIGKDD
Issue Date: 2018-01-11 Collaborative Deep Learning for Recommender Systems Wang+, KDD’15 CommentRating Matrixからuserとitemのlatent vectorを学習する際に、Stacked Denoising Auto Encoder（SDAE）によるitemのembeddingを活用する話。 Collaborative FilteringとContents-based Fil解 ... #Article#DocumentSummarization#NLP#Alignment#SIGIR
Issue Date: 2018-01-11 The Decomposition of Human-Written Summary Sentences. Hongyan Jing et al. SIGIR’99. Comment参照要約 原文書対が与えられた時に、参照要約中の単語と原文書中の単語のアライメントをとるHMMベースな手法を提案。  Document Summarization手法。 ほぼ #214 と同じ手法。 2種類の手法が提案されている： * [LexRank] tf-idfスコアでsentenceのbag-of-wordsベクトルを作り、cosine similarit ... #Article#RecommenderSystems#Survey
Issue Date: 2018-01-01 推薦システムのアルゴリズム, 神嶌, 2016 #Article#RecommenderSystems#CollaborativeFiltering#Novelty
Issue Date: 2017-12-28 Discovery-oriented Collaborative Filtering for Improving User Satisfaction, Hijikata et al., IUI’09 Comment・従来のCFはaccuracyをあげることを目的に研究されてきたが，ユーザがすでに知っているitemを推薦してしまう問題がある．おまけに（推薦リスト内のアイテムの観点からみた）diversityも低い．このような推薦はdiscoveryがなく，user satisfactionを損ねるので，ユーザが ... #Article#PersonalizedDocumentSummarization#NLP#NAACL
Issue Date: 2017-12-28 A Study for Documents Summarization based on Personal Annotation, HLT-NAACL-DUC’03, Zhang+, 2003, 2003.05 Comment ![image](https://user-images.githubuse重 ... #Article#PersonalizedDocumentSummarization#RecommenderSystems
Issue Date: 2017-12-28 User-model based personalized summarization, Diaz+, Information Processing and Management 2007.11 CommentPDSの先駆けとなった重要論文。必ずreferすべき。 ...