CLIP
#ComputerVision#Pocket
Issue Date: 2024-09-30 Long-CLIP: Unlocking the Long-Text Capability of CLIP, Beichen Zhang+, N_A, ECCV24 #ComputerVision#Pocket#NLP#Dataset#MulltiModal#NeurIPS
Issue Date: 2025-05-06 LAION-5B: An open large-scale dataset for training next generation image-text models, Christoph Schuhmann+, NeurIPS22 #NeuralNetwork#ComputerVision#MachineLearning#Pocket#Supervised-FineTuning (SFT)#ICLR#OOD
Issue Date: 2023-05-15 Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution, Ananya Kumar+, N_A, ICLR22 Summary事前学習済みモデルをダウンストリームタスクに転移する際、ファインチューニングと線形プロービングの2つの方法があるが、本研究では、分布のシフトが大きい場合、ファインチューニングが線形プロービングよりも分布外で精度が低くなることを発見した。LP-FTという2段階戦略の線形プロービング後の全体のファインチューニングが、両方のデータセットでファインチューニングと線形プロービングを上回ることを示唆している。 Comment事前学習済みのニューラルモデルをfinetuningする方法は大きく分けて1. linear layerをヘッドとしてconcatしヘッドのみのパラメータを学習2. 事前学習済みモデル全パラメータを学習の2種類がある。前者はin-distributionデータに強いが、out-of-dis ...
Issue Date: 2024-09-30 Long-CLIP: Unlocking the Long-Text Capability of CLIP, Beichen Zhang+, N_A, ECCV24 #ComputerVision#Pocket#NLP#Dataset#MulltiModal#NeurIPS
Issue Date: 2025-05-06 LAION-5B: An open large-scale dataset for training next generation image-text models, Christoph Schuhmann+, NeurIPS22 #NeuralNetwork#ComputerVision#MachineLearning#Pocket#Supervised-FineTuning (SFT)#ICLR#OOD
Issue Date: 2023-05-15 Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution, Ananya Kumar+, N_A, ICLR22 Summary事前学習済みモデルをダウンストリームタスクに転移する際、ファインチューニングと線形プロービングの2つの方法があるが、本研究では、分布のシフトが大きい場合、ファインチューニングが線形プロービングよりも分布外で精度が低くなることを発見した。LP-FTという2段階戦略の線形プロービング後の全体のファインチューニングが、両方のデータセットでファインチューニングと線形プロービングを上回ることを示唆している。 Comment事前学習済みのニューラルモデルをfinetuningする方法は大きく分けて1. linear layerをヘッドとしてconcatしヘッドのみのパラメータを学習2. 事前学習済みモデル全パラメータを学習の2種類がある。前者はin-distributionデータに強いが、out-of-dis ...