TrainedMetrics
SummScore: A Comprehensive Evaluation Metric for Summary Quality Based on Cross-Encoder, Wuhang Lin+, N_A, arXiv'22
Paper/Blog Link My Issue
#DocumentSummarization #Metrics #NLP #Evaluation Issue Date: 2023-08-13 GPT Summary- 要約の品質評価メトリクスの問題を解決するために、SummScoreという包括的な評価メトリクスを提案する。SummScoreはCrossEncoderに基づいており、要約の多様性を抑制せずに要約の品質を評価することができる。さらに、SummScoreは一貫性、一貫性、流暢さ、関連性の4つの側面で評価することができる。実験結果は、SummScoreが既存の評価メトリクスを上回ることを示している。また、SummScoreの評価結果を16の主要な要約モデルに提供している。
BLEURT: Learning Robust Metrics for Text Generation, Sellam+, ACL'20
Paper/Blog Link My Issue
#DocumentSummarization #Metrics #NLP #Evaluation #Reference-based Issue Date: 2023-08-13
[Paper Note] Machine Translation Evaluation with BERT Regressor, Hiroki Shimanaka+, arXiv'19, 2019.07
Paper/Blog Link My Issue
#DocumentSummarization #MachineTranslation #NLP #Evaluation Issue Date: 2023-08-13 GPT Summary- BERTを用いた機械翻訳の自動評価指標を提案し、WMT-2017 Metrics Shared Taskデータセットにおいて、すべての英語翻訳ペアに対して最先端の性能を達成した。
Supervised automatic evaluation for summarization with voted regression model, Hirao+, Information and Processing & Management'07
Paper/Blog Link My Issue
#DocumentSummarization #Metrics #NLP #Evaluation #Reference-based Issue Date: 2023-08-14 Comment
VRM