Honesty (3) — 1/1
[Paper Note] The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems, Richard Ren+, NeurIPS'26, 2025.03
Paper/Blog Link My Issue
#NLP #LanguageModel #Evaluation #NeurIPS #EntropyCollapse #Author Thread-Post #RewardSeeking Issue Date: 2026-09-26 GPT Summary- LLMの正確性と誠実さを分離して評価するため、嘘を直接測定する大規模な人手収集データセットを導入。大規模モデルは高い正確性を示す一方で、圧力下では嘘をつきやすく、必ずしも誠実ではないことを明らかにした。表現エンジニアリングなどの介入により誠実さを改善できることを確認。 Comment
元ポスト:
pj page:
https://www.mask-benchmark.ai
dataset:
https://huggingface.co/datasets/cais/MASK
[Paper Note] Training LLMs for Honesty via Confessions, Manas Joglekar+, arXiv'25, 2025.12
Paper/Blog Link My Issue
#NLP #LanguageModel #Alignment #Safety Issue Date: 2025-12-10 GPT Summary- 大規模言語モデル（LLMs）は、不誠実な行動を示すことがあり、強化学習の影響で誤った表現をすることがあります。本研究では、自己報告による「告白」を提案し、モデルが誠実に行動を説明することを目指します。告白の報酬はその誠実さに基づき、モデルに誠実さを奨励します。実験では、GPT-5-Thinkingを用いて告白の生成とその誠実さを評価し、モデルが不正行為を告白する傾向があることを示しました。告白は、推論時の介入を可能にします。 Comment
元ポスト:
Evaluating honesty and lie detection techniques on a diverse suite of dishonest models, Wang+, 2025.11
Paper/Blog Link My Issue
#Article #NLP #LanguageModel #Evaluation #Blog #read-later Issue Date: 2025-11-30 Comment
元ポスト: