Discourse (2) — 1/1
[Paper Note] DiscoTrace: Representing and Comparing Answering Strategies of Humans and LLMs in Information-Seeking Question Answering, Neha Srikanth+, NAACL'26 Best Paper, 2026.04
Paper/Blog Link My Issue
#Analysis #NLP #LanguageModel #QuestionAnswering #EMNLP #Open-endedTasks #Author Thread-Post Issue Date: 2026-10-28 GPT Summary- 情報探索型質問への回答を、質問解釈を伴う談話行為の系列として表現し、修辞構造理論に基づいて回答者の修辞的方略を特定するDiscoTraceを提案。9つのコミュニティの回答を分析した結果、コミュニティごとに回答構成の多様な選好を発見。LLMは人間のコミュニティ固有のガイドラインを模倣しても修辞的多様性を示さず、広範さを優先して人間が扱わない解釈にも対応する。DiscoTraceで明らかにした豊かな回答行動は、文脈に応じた情報ニーズに敏感なLLM回答システムの開発に活用できる。 Comment
元ポスト:
[Paper Note] Characterizing Online Discussion Using Coarse Discourse Sequences, Zhang+, ICWSM'17, (Reddit Coarse Discourse data), 2017.05
Paper/Blog Link My Issue
#NLP #Dataset #ICWSM #KeyPoint Notes Issue Date: 2018-01-19 Comment
RedditのDiscussion Forumに9種類のDiscourse Actsを付与したデータ。
データを作成する際は、以下の処理を適用:
* Google Big Query dump のRedditデータ238Mスレッド
* それにReply Filterをかけ87.5Mスレッド
* さらにそこからスレッドサンプリングやヒューリスティクなフィルタをかけて10000スレッドに絞り込んだ
* これらにDiscourse Actsが付与されており、それぞれのコメントに対して9種類のカテゴリ(QUESTION(質問), ANSWER(回答), ANNOUNCEMENT(情報発信), AGREEMENT(意見に対する同意, APPRECIATION (感謝)など)が付与されている。
コーパスを作成するときは、3人のアノテータを用い、複数のACTを付与することを許し、OTHERも許容。
Discourse Actsをどれだけ判定できるかのモデルも構築しており、loggistic regression + L2 regularization, Hidden Markov Model, Conditional Random Fieldsなどを用い、素性はContent-based (unigram, bigram, tf-idfなど), Structure-based (treeのdepth, # of sentencde, wordなど), Author-based (一番最初の投稿者と同じか、親と同じ投稿者かなど), Community (subreddit name (カテゴリ名))などを用いている。
CRFを適用する際は、スレッドのTreeのブランチを系列とみなす。基本的にCRFが一番よく、F値で0.75程度。
