Skip to content

memo.md

Latest commit

 

History

History
147 lines (107 loc) · 8.65 KB

memo.md

File metadata and controls

147 lines (107 loc) · 8.65 KB
Raw

2025/07/10

Claude調査

file

  • 2022, Probing Representation Forgetting in Supervised and Unsupervised Continual Learning

    • 線形分類に関する破壊的忘却に関する調査

  • 学習が進むにつれて、どのように表現特徴量の分布がシフトするか、急激なシフトが発生するか、安定しているか調査する必要性

Gemini 調査

  • タスクフリー継続学習 (TFCL) というものがあるらしい。
  • k-NN法 は Lienar Probingと高い相関を持つもので、ノンパラメトリックな代替手法。いいかもね。

結論として、提案された再構成誤差に基づく指標は、I-JEPAが本来耐性を持つように設計されている種類の忘却を直接測定するものではない。むしろ、それは「固定されたデコード関数に対する表現多様体の安定性」を測定している。これは安定性の指標としては有用なシグナルであるが、忘却を測定する唯一あるいは主要な指標とすべきではない。より直接的な指標は、JEPAの主目的である予測誤差自体が時間とともにどのように劣化するかを評価することであろう。

これは本当にそうだと思ったので、 Image JEPAの損失そのものを使って評価するべきだよね。

所感

まずは Image JEPA の論文に書かれている評価指標に関しては必ず調べようね。

JEPAの論文から

  • 基本的には Linear Probingで表現の良さを図るよね。

Probing Representation Forgetting in Supervised and Unsupervised Continual Learning

なんか CapyMOA[https://capymoa.org/index.html]とかいう面白そうなライブラリを発見。Continuous Learningのためのなんか ライブラリらしい？

River[https://riverml.xyz/latest/] というものがCapyMOAの前身にあるらしい。こちらも調べて良いかも

動画データセットの調べ

Gemini

  • Ego4D, EPIC-KITCHENS, UT Egocentric, DoMSEV があるって

    • UT Egocentricは4videoで 1つあたり3時間くらい、1.4GBくらいなので扱いやすそう。

    • Ego4D

      5分から20分程度の長さに切り出された「正準クリップ（canonical clips）」も提供されており、特定の研究課題に焦点を当てることも容易です 。  

      扱いやすそう。Ego4Dはデファクトスタンダードとなっているので扱うのも良いかもね。

  • AVA (Atomic Visual Actions)は良さそう。

    30本の映画から抽出された、それぞれ連続した15分間のクリップで構成されています 。この15分という長さは、時間的に一貫性のある長期的なシーンを分析するのに十分な長さです。  

教師なし継続学習に関する文献

  • 2019, Continual Unsupervised Representation Learning

    • Dushyant Rao, Francesco Visin, Andrei Rusu, Razvan Pascanu, Yee Whye Teh, Raia Hadsell

    • 割と重要そう

    • 2022, The Challenges of Continuous Self-Supervised Learning

      • S Purushwalkam, P Morgado, A Gupta
      • MinRedとかいう非iidデータセット、ストリームデータに対するバッファを提案しているので気になる。

    • 2022, Self-Supervised Models Are Continual Learners

      • Enrico Fini, Victor G. Turrisi da Costa, Xavier Alameda-Pineda, Elisa Ricci, Karteek Alahari, Julien Mairal
      • なんかハイパラチューニングをオンライン学習中にやらんでもよくなる？的なこと書いてあった。気になる。

    • 2021, DualNet: Continual Learning, Fast and Slow

      • Quang Pham, Chenghao Liu, Steven C. Hoi
      • あんま関係なさそうだけどなんか面白そう。新しい継続学習のフレームワーク自体を提案するんだとか何とか。
        • Fast and Slowがちょっと刺さったな。

継続学習に関する調べ

  • 2020, Embracing Change: Continual Learning in Deep Neural Networks

    • Raia Hadsell,1,*,@ Dushyant Rao,1,@ Andrei A. Rusu,1,@ and Razvan Pascanu1,@
    • DNNにおける継続学習について体系的に整理したもの。かなり良さそう

  • 2023, Survey on Online Streaming Continual Learning

    • Nuwan Gunasekara1, Bernhard Pfahringer1, Heitor Murilo Gomes2 and Albert Bifet1,3
    • OnlineでStreamデータから継続学習する研究のサーベイ。
    • 一番関係がありそう🔥
      • 2018, Machine learning for data streams: with practical examples in MOA
        • Albert Bifet, Ricard Gavaldà, Geoffrey Holmes, Bernhard Pfahringer
        • Streaming Learning について記述された 本
        • 正直読まなくても良いかな
      • [Mai et al., 2022] "Online continual learning in image classification: An empirical survey"
        • OCLの実証的な比較研究として最も包括的、ER、MIRなどの手法の詳細な性能評価
        • Online Continual Learningについてのもの
          • 2013, An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks
      • 2014, A survey on concept drift adaptation.
        • コンセプトドリフトを扱う

  • 2022, Unifying Importance Based Regularisation Methods for Continual Learning

    • Frederik Benzing
    • 継続学習をバッファベースの方法ではなくパラメータ正則化によって安定的に学習させる方法のサーベイ
    • Elastic Weight Consolidation (EWC), Synaptic Intelligence (SI) and Memory Aware Synapses (MAS) とかについて書いてある。
    • 具体手法に踏み込む際はこれを起点にすると良いかも。

  • 2019, Experience Replay for Continual Learning

    • David Rolnick, Arun Ahuja, Jonathan Schwarz, Timothy Lillicrap, Gregory Wayne
    • 継続学習においてリプレイバッファを用いることで学習データを擬似的にi.i.d.にする類のもの
    • PAMIQ Coreの RandomReplacementBufferを考えるときに良さげ

  • 2017, Overcoming catastrophic forgetting in neural networks

    • James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A. Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, Demis Hassabis, Claudia Clopath, Dharshan Kumaran, Raia Hadsell
    • Elastic Weight Consolidation（EWC）が提案

  • 1989, Catastrophic Interference in Connectionist Networks

    • Michael McCloskey, Neal J . Cohen
    • 壊滅的忘却について述べた最初の論文
    • 割と読んでよさそう

  • 2013, An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks

    • Ian J. Goodfellow, Mehdi Mirza, Da Xiao, Aaron Courville, Yoshua Bengio
    • 継続学習でも、タスクインクリメンタルなやつ。でも大御所の人たちがいるので気になる。

  • 2014, A survey on concept drift adaptation

    • Gama et al
    • 第4章で適応戦略を体系的に分類, Single model vs Ensemble approaches, Active vs Passive adaptation
    • コンセプトドリフトについてと適応戦略について知れば良いかも。
    • 正直PAMIQは評価が重要

  • 1989, Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem

    • Michael McCloskey, Neal J . Cohen
    • 破壊的忘却を示した論文。
    • 逐次的に学習すると壊滅的に以前のタスクの性能が下がる問題が指摘されている。
    • 勾配法そのものが分散的にネットワークに記憶された情報を全て消してしまう...？
    • 次に読みたい論文
      • 1999, Catastrophic forgetting in connectionist networks
        • 包括的な評価
      • 2017, Continual Learning Through Synaptic Intelligence
        • Synaptic Intelligenceによる解決

  • 2017, Continual Learning Through Synaptic Intelligence

    • Friedemann Zenke * 1 Ben Poole * 1 Surya Ganguli 1
    • 人口ニューロン（シナプス）をインテリジェントにする、そこを改良することで、重要をシナプスレベルで評価可能にする
    • **Elastic Weight Consolidation (EWC)**よりもダイナミックでオンライン学習むき。
      • EWCは各タスク終了後に別フェーズでFisher情報行列を計算
    • 計算効率も良い、モデルサイズも増加しない。
    • かなり気になる🔥