MachineUnlearning(MU)
排他的逆学習, 佐々木+, NLP'26
Paper/Blog Link My Issue
#NLP #LanguageModel #KnowledgeEditing Issue Date: 2026-03-10 Comment
Machine Unlearning関連研究:
- [Paper Note] Machine Unlearning of Pre-trained Large Language Models, Jin Yao+, ACL'24, 2024.02
- [Paper Note] From Theft to Bomb-Making: The Ripple Effect of Unlearning in Defending Against Jailbreak Attacks, Zhexin Zhang+, arXiv'24, 2024.07
- [Paper Note] Large Language Model Unlearning, Yuanshun Yao+, arXiv'23, 2023.10
- [Paper Note] Large Scale Knowledge Washing, Yu Wang+, ICLR'25, 2024.05
- [Paper Note] LLM Unlearning via Loss Adjustment with Only Forget Data, Yaxuan Wang+, arXiv'24, 2024.10
[Paper Note] Large Scale Knowledge Washing, Yu Wang+, ICLR'25, 2024.05
Paper/Blog Link My Issue
#NLP #LanguageModel #ICLR #KnowledgeEditing Issue Date: 2026-03-10 GPT Summary- 大規模言語モデルは世界知識を記憶する能力が高い一方、個人情報や著作権問題の懸念がある。本研究では、知識の忘却を目的としたLarge Scale Knowledge Washing（LAW）を提案し、デコーダーのMLP層を更新することで推論能力を維持しつつ、特定の知識を忘却する新しい方法を導入する。実験結果はLAWの有効性を示し、推論能力を損なうことなくターゲット知識を忘却できることが確認された。コードはオープンソース提供。 Comment
openreview: https://openreview.net/forum?id=dXCpPgjTtd
[Paper Note] LLM Unlearning via Loss Adjustment with Only Forget Data, Yaxuan Wang+, arXiv'24, 2024.10
Paper/Blog Link My Issue
#NLP #LanguageModel #ICLR #KnowledgeEditing Issue Date: 2026-03-10 GPT Summary- LLMの忘却は、プライバシーやバイアスに対応するために重要です。既存の手法は保持データに依存し、忘却性能とモデルの有用性のバランスが難しい。しかし、我々は保持データを排除した新たなアプローチを提案します。「FLAT」と呼ばれる手法は、忘却データに基づいて応答を指示し、f-ダイバージェンスを最大化することで忘却性能を向上させます。実験により、我々のアプローチが既存手法よりも高い性能を示し、多様なタスクでの有用性を維持できることが確認されました。 Comment
openreview: https://openreview.net/forum?id=6ESRicalFE
[Paper Note] From Theft to Bomb-Making: The Ripple Effect of Unlearning in Defending Against Jailbreak Attacks, Zhexin Zhang+, arXiv'24, 2024.07
Paper/Blog Link My Issue
#NLP #LanguageModel #KnowledgeEditing Issue Date: 2026-03-10 GPT Summary- 大規模言語モデル（LLMs）のジャイルブレイク攻撃に対する脆弱性を調査し、有害な知識をモデルから取り除く「アンラーニング」アプローチの効果を実証。アンラーニングにより、未見のデータに対する攻撃成功率が70％から10％未満に低下し、未知の有害な知識も黙示的に忘れる可能性を検証。また、有害な質問群の関連性が一般化能力を高める要因であると考察し、アンラーニングの限界も議論。研究の成果は、アンラーニングの理解の深化に寄与することを目指している。
[Paper Note] Machine Unlearning of Pre-trained Large Language Models, Jin Yao+, ACL'24, 2024.02
Paper/Blog Link My Issue
#NLP #LanguageModel #ACL #KnowledgeEditing #One-Line Notes Issue Date: 2026-03-10 GPT Summary- 本研究は、LLMにおける「忘れられる権利」と機械的忘却を探求。7つの忘却手法を分析し、厳選したデータセットを用いた評価で、再訓練に比べて計算効率が10万倍優れることを示す。忘却プロセスのハイパーパラメータ調整に関するガイドラインを提供し、倫理的AIの議論や責任あるAI開発に貢献。 Comment
下記文献において忘却対象のデータを自前で用意する必要があり、未知のデータに対する汎化性能に限界があるという指摘がある:
- 排他的逆学習, 佐々木+, NLP'26
[Paper Note] Rethinking Machine Unlearning for Large Language Models, Sijia Liu+, arXiv'24, 2024.02
Paper/Blog Link My Issue
#NLP #LanguageModel #KnowledgeEditing #Nature Machine Intelligence Issue Date: 2026-03-10 GPT Summary- LLMの忘却（MU）を探究し、不要なデータを排除しつつ知識の健全性を維持することを目指す。LLM忘却はライフサイクル管理の核心をなす要素であり、安全で堅牢な生成型AIの基盤となる可能性がある。概念的定式化や方法論の観点から、この分野を探査し、特に忘却の範囲やデータとモデルの相互作用に焦点を当てる。関連領域との相互関係も示し、評価フレームワークを概説しつつ、著作権やプライバシー保護への応用を探る。