Extractive
#DocumentSummarization#NaturalLanguageGeneration#NLP#Abstractive
Issue Date: 2023-07-18 Abstractive Summarizers are Excellent Extractive Summarizers, ACL23 Summary本研究では、抽出型要約と要約型要約の相乗効果を探求し、シーケンス・トゥ・シーケンス・アーキテクチャを使用した3つの新しい推論アルゴリズムを提案しています。これにより、要約型システムが抽出型システムを超えることができることを示しました。また、要約型システムは抽出型のオラクル要約にさらされることなく、両方の要約を単一のモデルで生成できることも示しました。これは、抽出型ラベルの必要性に疑問を投げかけるものであり、ハイブリッドモデルの有望な研究方向を示しています。 #DocumentSummarization#NaturalLanguageGeneration#NLP#Faithfulness
Issue Date: 2023-07-18 Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization, ACL23 Summary本研究では、抽出的な要約の不正確さの問題について議論し、それを5つのタイプに分類します。さらに、新しい尺度であるExtEvalを提案し、不正確な要約を検出するために使用することを示します。この研究は、抽出的な要約の不正確さに対する認識を高め、将来の研究に役立つことを目指しています。 CommentExtractive SummarizatinoのFaithfulnessに関する研究。 >抽出的な要約は抽象的な要約の一般的な不正確さの問題にはあまり影響を受けにくいですが、それは抽出的な要約が正確であることを意味するのでしょうか？結論はノーです。 >本研究では、抽出的な要約に現れる広範な不正 ... #DocumentSummarization#NeuralNetwork#NLP
Issue Date: 2023-08-28 Text Summarization with Pretrained Encoders, Liu+ （with Lapata）, EMNLP-IJCNLP19 Summary本研究では、最新の事前学習言語モデルであるBERTを使用して、テキスト要約のための一般的なフレームワークを提案します。抽出型モデルでは、新しいエンコーダを導入し、文の表現を取得します。抽象的な要約については、エンコーダとデコーダの最適化手法を異ならせることで不一致を緩和します。さらに、2段階のファインチューニングアプローチによって要約の品質を向上させました。実験結果は、提案手法が最先端の結果を達成していることを示しています。 CommentBERTSUMEXT論文通常のBERTの構造と比較して、文ごとの先頭に[CLS]トークンを挿入し、かつSegment Embeddingsを文ごとに交互に変更することで、文のrepresentationを取得できるようにする。 その後、encodingされたsentenceの[CLS]トークンに対応 ...
Issue Date: 2023-07-18 Abstractive Summarizers are Excellent Extractive Summarizers, ACL23 Summary本研究では、抽出型要約と要約型要約の相乗効果を探求し、シーケンス・トゥ・シーケンス・アーキテクチャを使用した3つの新しい推論アルゴリズムを提案しています。これにより、要約型システムが抽出型システムを超えることができることを示しました。また、要約型システムは抽出型のオラクル要約にさらされることなく、両方の要約を単一のモデルで生成できることも示しました。これは、抽出型ラベルの必要性に疑問を投げかけるものであり、ハイブリッドモデルの有望な研究方向を示しています。 #DocumentSummarization#NaturalLanguageGeneration#NLP#Faithfulness
Issue Date: 2023-07-18 Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization, ACL23 Summary本研究では、抽出的な要約の不正確さの問題について議論し、それを5つのタイプに分類します。さらに、新しい尺度であるExtEvalを提案し、不正確な要約を検出するために使用することを示します。この研究は、抽出的な要約の不正確さに対する認識を高め、将来の研究に役立つことを目指しています。 CommentExtractive SummarizatinoのFaithfulnessに関する研究。 >抽出的な要約は抽象的な要約の一般的な不正確さの問題にはあまり影響を受けにくいですが、それは抽出的な要約が正確であることを意味するのでしょうか？結論はノーです。 >本研究では、抽出的な要約に現れる広範な不正 ... #DocumentSummarization#NeuralNetwork#NLP
Issue Date: 2023-08-28 Text Summarization with Pretrained Encoders, Liu+ （with Lapata）, EMNLP-IJCNLP19 Summary本研究では、最新の事前学習言語モデルであるBERTを使用して、テキスト要約のための一般的なフレームワークを提案します。抽出型モデルでは、新しいエンコーダを導入し、文の表現を取得します。抽象的な要約については、エンコーダとデコーダの最適化手法を異ならせることで不一致を緩和します。さらに、2段階のファインチューニングアプローチによって要約の品質を向上させました。実験結果は、提案手法が最先端の結果を達成していることを示しています。 CommentBERTSUMEXT論文通常のBERTの構造と比較して、文ごとの先頭に[CLS]トークンを挿入し、かつSegment Embeddingsを文ごとに交互に変更することで、文のrepresentationを取得できるようにする。 その後、encodingされたsentenceの[CLS]トークンに対応 ...
#Multi#DocumentSummarization#NeuralNetwork#Document#Supervised#GraphBased#NLP#GraphConvolutionalNetwork
Issue Date: 2017-12-31 Graph-based Neural Multi-Document Summarization, Yasunaga+, arXiv17 CommentGraph Convolutional Network (GCN)を使って、MDSやりましたという話。 既存のニューラルなMDSモデル [Cao et al., 2015, 2017] では、sentence間のrelationが考慮できていなかったが、GCN使って考慮した。 また、MDSの学習デー ... #Single#DocumentSummarization#Document#DomainAdaptation#Supervised#NLP
Issue Date: 2018-01-01 Learning from Numerous Untailored Summaries, Kikuchi+, PRICAI16 CommentNew York Times Annotated Corpus（NYTAC）に含まれる大量の正解要約データを利用する方法を提案。 NYTACには650,000程度の人手で生成された参照要約が付与されているが、このデータを要約の訓練データとして活用した事例はまだ存在しないので、やりましたという話。 ... #Single#DocumentSummarization#NeuralNetwork#Document#Supervised#NLP
Issue Date: 2017-12-31 Neural Summarization by Extracting Sentences and Words, Cheng+, ACL16 CommentExtractiveかつNeuralな単一文書要約ならベースラインとして使用した方がよいかも ... #Multi#Single#DocumentSummarization#Document#Unsupervised#GraphBased#NLP
Issue Date: 2018-01-01 CTSUM: Extracting More Certain Summaries for News Articles, Wan+, SIGIR14 Comment要約を生成する際に、情報の”確実性”を考慮したモデルCTSUMを提案しましたという論文（今まではそういう研究はなかった） ``` "However, it seems that Obama will not use the platform to relaunch his stalled d解説ス ... #Single#DocumentSummarization#Document#Supervised#NLP#Abstractive
Issue Date: 2018-01-01 Learning to Generate Coherent Sumamry with Discriminative Hidden Semi-Markov Model, Nishikawa+, COLING14 CommentHidden-semi-markovモデルを用いた単一文書要約手法を提案。 通常のHMMでは一つの隠れ状態に一つのunit（要約の文脈だと文？）が対応するが、hidden-semi-markov(HSMM)モデルでは複数のunitを対応づけることが可能。 隠れ状態に対応するunitを文だと考評価に ... #Multi#DocumentSummarization#NLP
Issue Date: 2017-12-28 Hierarchical Summarization: Scaling Up Multi-Document Summarization, Christensen+, ACL14 Comment## 概要 だいぶ前に読んだ。好きな研究。 テキストのsentenceを階層的にクラスタリングすることで、抽象度が高い情報から、関連する具体度の高いsentenceにdrill downしていけるInteractiveな要約を提案している。 ## 手法 通常のMDSでのデータセットの規模は上位に紐 ... #Multi#DocumentSummarization#Document#NLP#IntegerLinearProgramming (ILP)
Issue Date: 2018-01-17 A study of global inference algorithms in multi-document summarization, Ryan McDonald, ECIR07 Comment文書要約をナップサック問題として定式化し、厳密解（動的計画法、ILP Formulation）、近似解(Greedy)を求める手法を提案。 ... #DocumentSummarization#GraphBased#Comments#NLP
Issue Date: 2017-12-28 Comments-Oriented Blog Summarization by Sentence Extraction, CIKM07, Hu+, 2007, 2007.11 #Multi#DocumentSummarization#Document#NLP
Issue Date: 2018-01-17 A Formal Model for Information Selection in Multi-Sentence Text Extraction, Filatova+, COLING04 Comment初めて文書要約を最大被覆問題として定式化した研究。 ... #Single#DocumentSummarization#Document#GraphBased#NLP
Issue Date: 2018-01-01 TextRank: Bringing Order into Texts, Mihalcea+, EMNLP04 CommentPageRankベースの手法で、キーワード抽出/文書要約 を行う手法。 キーワード抽出/文書要約 を行う際には、ノードをそれぞれ 単語/文 で表現する。 ノードで表現されている 単語/文 のsimilarityを測り、ノード間のedgeの重みとすることでAffinity Graphを構築。 あ単一文 ... #Single#DocumentSummarization#Document#NLP
Issue Date: 2018-01-01 Automatic condensation of electronic publications by sentence selection, Brandow+, Information Processing & Management95 Comment報道記事要約において、自動要約システムがLead文に勝つのがhardだということを示した研究 ... #DocumentSummarization#Document#Supervised#NLP
Issue Date: 2017-12-31 A Trainable Document Summarizer, Kupiec+, SIGIR95 #Article#DocumentSummarization#Document#NLP
Issue Date: 2018-01-17 Machine-made index for technical literature: an experiment, IBM Journal of Research and Development, 1958. Comment初期の要約研究。Luhnらの研究よりはcitation countが少ない。 ... #Article#Multi#Single#DocumentSummarization#Document#Unsupervised#GraphBased#NLP
Issue Date: 2018-01-01 LexRank: Graph-based Lexical Centrality as Salience in Text Summarization, Erkan+, Journal of Artificial Intelligence Research, 2004 Comment代表的なグラフベースな(Multi) Document Summarization手法。 ほぼ #214 と同じ手法。 2種類の手法が提案されている： * [LexRank] tf-idfスコアでsentenceのbag-of-wordsベクトルを作り、cosine similarit ... #Article#DocumentSummarization#Document#StructuredLearning#DomainAdaptation#Supervised#NLP
Issue Date: 2017-12-31 転移学習による抽出型要約の精度向上, 西川+, 情報処理学会研究報告, 2011 Comment構造学習を利用した文書要約モデル #126 なども利用し転移学習を行なっている。 ... #Article#Multi#DocumentSummarization#NLP#Dataset#QueryBiased
Issue Date: 2017-12-28 Query-Chain Focused Summarization, Baumel+, ACL.14 Comment[Query-Chain Focused Summarization.pdf](https://github.com/AkihikoWatanabe/paper_notes/files/1590916/Query-Chain.Focused.Summarization.pdf) ... #Article#Multi#DocumentSummarization#NLP
Issue Date: 2017-12-28 NewsInEssence: Summarizing ONLINE NEWS TOPICS, Radev+, Communications of the ACM, 05, 2005.10 Comment・Centroid-Basedな手法(MEADと同じ手法)で要約を生成 ・Personalizationはかけていない ... #Article#DocumentSummarization#GraphBased#Comments#NLP
Issue Date: 2017-12-28 Comments-Oriented Document Summarization: Understanding Documents with Reader’s Feedback, Hu+, SIGIR’08, 2008.07
Issue Date: 2017-12-31 Graph-based Neural Multi-Document Summarization, Yasunaga+, arXiv17 CommentGraph Convolutional Network (GCN)を使って、MDSやりましたという話。 既存のニューラルなMDSモデル [Cao et al., 2015, 2017] では、sentence間のrelationが考慮できていなかったが、GCN使って考慮した。 また、MDSの学習デー ... #Single#DocumentSummarization#Document#DomainAdaptation#Supervised#NLP
Issue Date: 2018-01-01 Learning from Numerous Untailored Summaries, Kikuchi+, PRICAI16 CommentNew York Times Annotated Corpus（NYTAC）に含まれる大量の正解要約データを利用する方法を提案。 NYTACには650,000程度の人手で生成された参照要約が付与されているが、このデータを要約の訓練データとして活用した事例はまだ存在しないので、やりましたという話。 ... #Single#DocumentSummarization#NeuralNetwork#Document#Supervised#NLP
Issue Date: 2017-12-31 Neural Summarization by Extracting Sentences and Words, Cheng+, ACL16 CommentExtractiveかつNeuralな単一文書要約ならベースラインとして使用した方がよいかも ... #Multi#Single#DocumentSummarization#Document#Unsupervised#GraphBased#NLP
Issue Date: 2018-01-01 CTSUM: Extracting More Certain Summaries for News Articles, Wan+, SIGIR14 Comment要約を生成する際に、情報の”確実性”を考慮したモデルCTSUMを提案しましたという論文（今まではそういう研究はなかった） ``` "However, it seems that Obama will not use the platform to relaunch his stalled d解説ス ... #Single#DocumentSummarization#Document#Supervised#NLP#Abstractive
Issue Date: 2018-01-01 Learning to Generate Coherent Sumamry with Discriminative Hidden Semi-Markov Model, Nishikawa+, COLING14 CommentHidden-semi-markovモデルを用いた単一文書要約手法を提案。 通常のHMMでは一つの隠れ状態に一つのunit（要約の文脈だと文？）が対応するが、hidden-semi-markov(HSMM)モデルでは複数のunitを対応づけることが可能。 隠れ状態に対応するunitを文だと考評価に ... #Multi#DocumentSummarization#NLP
Issue Date: 2017-12-28 Hierarchical Summarization: Scaling Up Multi-Document Summarization, Christensen+, ACL14 Comment## 概要 だいぶ前に読んだ。好きな研究。 テキストのsentenceを階層的にクラスタリングすることで、抽象度が高い情報から、関連する具体度の高いsentenceにdrill downしていけるInteractiveな要約を提案している。 ## 手法 通常のMDSでのデータセットの規模は上位に紐 ... #Multi#DocumentSummarization#Document#NLP#IntegerLinearProgramming (ILP)
Issue Date: 2018-01-17 A study of global inference algorithms in multi-document summarization, Ryan McDonald, ECIR07 Comment文書要約をナップサック問題として定式化し、厳密解（動的計画法、ILP Formulation）、近似解(Greedy)を求める手法を提案。 ... #DocumentSummarization#GraphBased#Comments#NLP
Issue Date: 2017-12-28 Comments-Oriented Blog Summarization by Sentence Extraction, CIKM07, Hu+, 2007, 2007.11 #Multi#DocumentSummarization#Document#NLP
Issue Date: 2018-01-17 A Formal Model for Information Selection in Multi-Sentence Text Extraction, Filatova+, COLING04 Comment初めて文書要約を最大被覆問題として定式化した研究。 ... #Single#DocumentSummarization#Document#GraphBased#NLP
Issue Date: 2018-01-01 TextRank: Bringing Order into Texts, Mihalcea+, EMNLP04 CommentPageRankベースの手法で、キーワード抽出/文書要約 を行う手法。 キーワード抽出/文書要約 を行う際には、ノードをそれぞれ 単語/文 で表現する。 ノードで表現されている 単語/文 のsimilarityを測り、ノード間のedgeの重みとすることでAffinity Graphを構築。 あ単一文 ... #Single#DocumentSummarization#Document#NLP
Issue Date: 2018-01-01 Automatic condensation of electronic publications by sentence selection, Brandow+, Information Processing & Management95 Comment報道記事要約において、自動要約システムがLead文に勝つのがhardだということを示した研究 ... #DocumentSummarization#Document#Supervised#NLP
Issue Date: 2017-12-31 A Trainable Document Summarizer, Kupiec+, SIGIR95 #Article#DocumentSummarization#Document#NLP
Issue Date: 2018-01-17 Machine-made index for technical literature: an experiment, IBM Journal of Research and Development, 1958. Comment初期の要約研究。Luhnらの研究よりはcitation countが少ない。 ... #Article#Multi#Single#DocumentSummarization#Document#Unsupervised#GraphBased#NLP
Issue Date: 2018-01-01 LexRank: Graph-based Lexical Centrality as Salience in Text Summarization, Erkan+, Journal of Artificial Intelligence Research, 2004 Comment代表的なグラフベースな(Multi) Document Summarization手法。 ほぼ #214 と同じ手法。 2種類の手法が提案されている： * [LexRank] tf-idfスコアでsentenceのbag-of-wordsベクトルを作り、cosine similarit ... #Article#DocumentSummarization#Document#StructuredLearning#DomainAdaptation#Supervised#NLP
Issue Date: 2017-12-31 転移学習による抽出型要約の精度向上, 西川+, 情報処理学会研究報告, 2011 Comment構造学習を利用した文書要約モデル #126 なども利用し転移学習を行なっている。 ... #Article#Multi#DocumentSummarization#NLP#Dataset#QueryBiased
Issue Date: 2017-12-28 Query-Chain Focused Summarization, Baumel+, ACL.14 Comment[Query-Chain Focused Summarization.pdf](https://github.com/AkihikoWatanabe/paper_notes/files/1590916/Query-Chain.Focused.Summarization.pdf) ... #Article#Multi#DocumentSummarization#NLP
Issue Date: 2017-12-28 NewsInEssence: Summarizing ONLINE NEWS TOPICS, Radev+, Communications of the ACM, 05, 2005.10 Comment・Centroid-Basedな手法(MEADと同じ手法)で要約を生成 ・Personalizationはかけていない ... #Article#DocumentSummarization#GraphBased#Comments#NLP
Issue Date: 2017-12-28 Comments-Oriented Document Summarization: Understanding Documents with Reader’s Feedback, Hu+, SIGIR’08, 2008.07