AISTATS
[Paper Note] Fundamental Limits of Perfect Concept Erasure, Somnath Basu Roy Chowdhury+, AISTATS'25
Paper/Blog Link My Issue
#NLP #LanguageModel #ConceptErasure #KnowledgeEditing #Author Thread-Post Issue Date: 2025-04-03 GPT Summary- 概念消去は、性別や人種などの情報を消去しつつ元の表現を保持するタスクであり、公平性の達成やモデルのパフォーマンスの解釈に役立つ。従来の技術は消去の堅牢性を重視してきたが、有用性とのトレードオフが存在する。本研究では、情報理論的視点から概念消去の限界を定量化し、完璧な消去を達成するためのデータ分布と消去関数の制約を調査。提案する消去関数が理論的限界を達成し、GPT-4を用いたデータセットで既存手法を上回ることを示した。 Comment
元ポスト:
[Paper Note] Communication-Efficient Learning of Deep Networks from Decentralized Data, H. Brendan McMahan+, AISTATS'17, 2016.02
Paper/Blog Link My Issue
#NeuralNetwork #MachineLearning #DistributedLearning Issue Date: 2026-04-26 GPT Summary- モバイル端末上のデータを用いて、プライバシーを保ちながら学習モデルを改善するために、「フェデレーテッド学習」を提案。反復的なモデル平均化に基づく方法で、五つのモデルアーキテクチャと四つのデータセットで実証評価を実施。非均衡かつ非IIDデータに対し頑健で、通信コストを大幅に削減できることを示した。