ConceptToTextGeneration

#PersonalizedDocumentSummarization #DocumentSummarization #NaturalLanguageGeneration #Metrics #NLP #DataToTextGeneration #DialogueGeneration #PersonalizedGeneration
Issue Date: 2021-06-02 NUBIA, EvalNLGEval'20 CommentTextGenerationに関するSoTAの性能指標。BLEU, ROUGE等と比較して、人間との相関が高い。

image



image

pretrainedされたlanguage model（GPT-2=sentence legibility, RoBERTa_MNLI=logical inference, RoBERTa_STS=semantic similarity）を使い、Fully Connected Layerを利用してquality スコアを算出する。算出したスコアは最終的にcalibrationで0~1の値域に収まるように補正される。意味的に同等の内容を述べた文間でのexample

image

BLEU, ROUGE, BERTのスコアは低いが、NUBIAでは非常に高いスコアを出せている。 #Survey #NaturalLanguageGeneration #NLP #DataToTextGeneration
Issue Date: 2017-12-31 Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation, Gatt+, JAIR'18 Comment割と新し目のNLGのSurvey #NeuralNetwork #NaturalLanguageGeneration #Controllable #NLP #DataToTextGeneration #ICML
Issue Date: 2017-12-31 Toward Controlled Generation of Text, Hu+, ICML'17 CommentText Generationを行う際は、現在は基本的に学習された言語モデルの尤度に従ってテキストを生成するのみで、outputされるテキストをcontrolすることができないので、できるようにしましたという論文。 VAEによるテキスト生成にGANを組み合わせたようなモデル。 decodingする元となるfeatureのある次元が、たとえばpolarityなどに対応しており、その次元の数値をいじるだけで生成されるテキストをcontrolできる。



テキストを生成する際に、生成されるテキストをコントロールするための研究。 テキストを生成する際には、基本的にはVariational Auto Encoder(VAE)を用いる。



VAEは、入力をエンコードするEncoderと、エンコードされた潜在変数zからテキストを生成するGeneratorの2つの機構によって構成されている。



この研究では、生成されるテキストをコントロールするために、VAEの潜在変数zに、生成するテキストのattributeを表す変数cを新たに導入。



たとえば、一例として、変数cをsentimentに対応させた場合、変数cの値を変更すると、生成されるテキストのsentimentが変化するような生成が実現可能。



次に、このような生成を実現できるようなパラメータを学習したいが、学習を行う際のポイントは、以下の二つ。



cで指定されたattributeが反映されたテキストを生成するように学習



潜在変数zとattributeに関する変数cの独立性を保つように学習 （cには制御したいattributeに関する情報のみが格納され、その他の情報は潜在変数zに格納されるように学習する)



1を実現するために、新たにdiscriminatorと呼ばれる識別器を用意し、VAEが生成したテキストのattributeをdiscriminatorで分類し、その結果をVAEのGeneratorにフィードバックすることで、attributeが反映されたテキストを生成できるようにパラメータの学習を行う。 （これにはラベル付きデータが必要だが、少量でも学習できることに加えて、sentence levelのデータだけではなくword levelのデータでも学習できる。）



また、2を実現するために、VAEが生成したテキストから、生成する元となった潜在変数zが再現できるようにEncoderのパラメータを学習。



実験では、sentimentとtenseをコントロールする実験が行われており、attributeを表す変数cを変更することで、以下のようなテキストが生成されており興味深い。



[sentimentを制御した例]



this movie was awful and boring. (negative)

this movie was funny and touching. (positive)

[tenseを制御した例]



this was one of the outstanding thrillers of the last decade

this is one of the outstanding thrillers of the all time

this will be one of the great thrillers of the all timeVAEは通常のAutoEncoderと比較して、奥が深くて勉強してみておもしろかった。 Reparametrization Trickなどは知らなかった。管理人による解説資料:
[Controllable Text Generation.pdf](https://github.com/AkihikoWatanabe/paper_notes/files/1595121/Controllable.Text.Generation.pdf)

slideshare: https://www.slideshare.net/akihikowatanabe3110/towards-controlled-generation-of-text

#Survey #NaturalLanguageGeneration #NLP #DataToTextGeneration Issue Date: 2017-12-31 Neural Text Generation: A Practical Guide, Xie+, arXiv'17 #NeuralNetwork #NaturalLanguageGeneration #NLP #Dataset #EMNLP Issue Date: 2017-12-31 Neural Text Generation from Structured Data with Application to the Biography Domain, Lebret+, Lebret+, EMNLP'16 #Survey #NaturalLanguageGeneration #NLP #DataToTextGeneration Issue Date: 2017-12-31 Content Selection in Data-to-Text Systems: A Survey, arXiv'16, Gkatzia CommentGkatziaの"content selection"に関するSurvey #NaturalLanguageGeneration #SingleFramework #NLP #EMNLP Issue Date: 2017-12-31 Inducing document plans for concept-to-text generation, Konstas+, EMNLP'13 #NaturalLanguageGeneration #SingleFramework #NLP #NAACL Issue Date: 2017-12-31 Unsupervised concept-to-text generation with hypergraphs, Konstas+, NAACL-HLT'12 #NaturalLanguageGeneration #SingleFramework #NLP #COLING Issue Date: 2017-12-31 Generative alignment and semantic parsing for learning from ambiguous supervision, Kim+, COLING'10 #NaturalLanguageGeneration #Others #NLP #ACL #IJCNLP Issue Date: 2017-12-31 Learning semantic correspondences with less supervision, Liang+, ACL-IJCNLP'09 #NaturalLanguageGeneration #Others #NLP #EMNLP Issue Date: 2017-12-31 A generative model for parsing natural language to meaning representations, Lu+, EMNLP'08 #NaturalLanguageGeneration #SingleFramework #NLP Issue Date: 2017-12-31 Automatic generation of textual summaries from neonatal intensive care data, Porter+, AIME'07 CommentBabyTalk論文 #Survey #NaturalLanguageGeneration #NLP #DataToTextGeneration Issue Date: 2017-12-31 An Architecture for Data to Text Systems, Reiter, ENLG'07 CommentNLG分野で有名なReiterらのSurvey。

NLGシステムのアーキテクチャなどが、体系的に説明されている。



image

#NaturalLanguageGeneration #DataDriven #NLP #NAACL Issue Date: 2017-12-31 Aggregation via set partitioning for natural language generation, Barzilay+, HLT-NAACL'06 #NaturalLanguageGeneration #DataDriven #NLP #EMNLP Issue Date: 2017-12-31 Collective content selection for concept-to-text generation, Barzilay+, HLT_EMNLP'05 #NaturalLanguageGeneration #RuleBased #NLP Issue Date: 2017-12-31 Coral: Using natural language generation for navigational assistance, Dale+, Australasian computer science conference'03 #Article #NaturalLanguageGeneration #SingleFramework #NLP Issue Date: 2017-12-31 A Global Model for Concept-to-Text Generation, Konstas+, Journal of Artificial Intelligence Research, Vol. 48, pp.305--346, 2013