Intelligence
[Paper Note] Intelligence from Learnable Novelty, Yanbo Zhang+, arXiv'26, 2026.07
Paper/Blog Link My Issue
#NLP #LanguageModel #read-later Issue Date: 2026-08-03 GPT Summary- 知性は様々な分野で異なる形で現れ、目的に応じた学習可能な驚き（learnable novelty）が知性の多様な投影を生む。驚きを扱う際、各目的は異なる結果をもたらし、特に、新奇性探索は環境のノイズに妨げられ、大きな驚きを避ける自由エネルギー原理は低い満足に甘んじる。提案する閉形式の推定量は、監督なしで複雑性の分類を復元し、セルオートマトンの計算能力を高める。これにより、教師なしでMNISTデータセットを整理し、強化学習エージェントに内的報酬を提供することで、探索を促し、複数の環境でタスクの基準を超える成果を達成する。探索、生成、抽象化は一つの微分可能な量に基づき、知性の発展に寄与する。 Comment
元ポスト:
[Paper Note] From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence, Marc Finzi+, arXiv'26, 2026.01
Paper/Blog Link My Issue
#Analysis #MachineLearning #Metrics #Dataset #read-later #Selected Papers/Blogs #OOD #Generalization #Reference Collection Issue Date: 2026-01-09 GPT Summary- 本研究では、データから新たな情報を生成する可能性や、情報の評価方法について探求する。シャノン情報やコルモゴロフの複雑性が無力である理由を示し、情報理論における三つの矛盾する現象を特定する。新たに導入した「エピプレキシティ」は、計算制約のある観察者がデータから学べる情報を捉え、データの構造的内容を評価する手法である。これにより、情報生成のメカニズムやデータの順序依存性を明らかにし、エピプレキシティを用いたデータ選択の理論的基盤を提供する。 Comment
元ポスト:
解説:
ポイント解説: