Autoencoding with a classifier system

論文: https://ieeexplore.ieee.org/abstract/document/9427963?casa_token=U9Xrb5dcV8UAAAAA:DbVlHpzfSynnRPLXcZHyTx1AX65APb59CA8pXmfzAZUQXxqCFWDsc8IqjkmiIFtHAC6NotRb1ks

  • Preen, Wilson, & Bull, 2021 LCSの有名人たちの論文

Intro

  • 従来のAutoencoder(Neural Network)は問題空間すべてをカバーする1つのグローバルなモデルを構築していた
    • 時間と計算コストがかかる
    • 改善案
      • 枝刈り,スパース化
      • Dynamic neural networks
        • 入力に応じてモデルの構造やパラメータを変更
      • Conditional computation
        • 入力ごとにモデルの一部を活性化(疎にする)
  • LCS(XCSF)は入力空間をいい感じに細分化し,局所的な近似モデルのアンサンブルにして領域をカバーする
  • AEの話
    • 計算資源があれば大きなモデルを学習できるけど,モバイルデバイスとかだと無理だよね
    • 画像圧縮でAEのアンサンブルがJPEGよりよい性能
      • アンサンブル内のどのAEを使用するかを識別するために追加の符号化が必要
  • LCSを使用して入力ドメインを小さいオートエンコーダのアンサンブルに適応的に分解して,局所解を出す
    • 収束時間や計算コスト,コードサイズを削減した
  • 貢献
    • XCSF分類器システムをオートエンコーダ問題に適応させ,初めて多数のデータセットでテストした.
    • ニューロン数および接続性を進化させたニューラルネットワークの性能について検討し,異種ニッチエンコーダが出現する可能性を示した.
    • 自己適応方式を導入し,各層が局所的な勾配降下率に適応するようにする.
    • 目標誤差を指定することで,システムが自動的に所望の再構成誤差を持つ最大圧縮ネットワークを設計する平均が提供される.これは,ネットワークアーキテクチャを手動で指定し、あらかじめ定義されたペナルティ関数やスパース性制約を課す従来のアプローチと対照的である.
    • LCS適応ニッチングが性能の向上をもたらすという仮説を,グローバルモデル構築と同等のものと比較することで実証的に検証する.

関連(NNの構造最適化)

  • ベイズ的手法
  • 強化学習手法
    • 高次元問題でEAと競合
  • 進化的手法(NAS)
    • 入力に対して構造とパラメータが変化しないことが前提
    • 確率的勾配降下法と進化的探索
      • 勾配なくても最適化できる
    • 組み合わせたもの
      • 重みを遺伝子として持つ
      • 遺伝子には持たないが選択時に考慮される

関連 LCSとNN

  • 分類子とNNのニューロンの比較
  • Fitness Sharingを用いてNNのレイヤーを最適化していく
  • LCSの表現形としてNNを用いる(Bull)

手法

  • XCSFを派生
  • 各分類子が小さなAEを持ち,入力を再現するように学習
    • 入力に照合するかと判定するモデル(cl.C)と復元した結果を返すモデル(cl.p)を持つ
  • Covering
    • 照合するまでランダムなネットワークが生成される
  • cl.Cが0.5以上でMatchSetへ
  • UpdateとEA
    • 強化部
      • [M]に対して実行
      • [M]の適合度加重平均を出力に使用
      • 分類子の誤差の更新にはMSEを使用
        • いつも通りWidrow-Hoffデルタルール
      • cl.Pは確率的勾配降下で重みを更新
        • cl.Cは更新しない
    • 発見部
      • 交叉なし(参照36より),突然変異使用
        • 進化戦略のアプローチに近い
      • 分類子のNN各層は変異率ベクトルを保持
        • 4種類の変異方法が検討されている
      • Coveringに一定回数以上マッチしない分類子は削除
      • 汎化度の指標
        • 照合した入力の割合を保存

実験

  • データセット4つ
    • USPS DIGITS,MNIST DIGITS,Fashion-MNSIT,CIFAR10
  • すべてのデータセットでXCSFはEAより収束が速い
  • ネットワークの接続変異は単純なモデルでは収束が遅くなるが,複雑なデータセットでは速くなる
  • 再構成誤差も有意に小さくなる
  • 今後,教師ありや強化学習のタスクに適用,事前学習を行う等の取り組み

tag: Learning Classifier System, Autoencoder, Evolutional Algorithm, XCSF, self-adaptation

先頭に戻る