- Preen, Wilson, & Bull, 2021 LCSの有名人たちの論文
Intro
- 従来のAutoencoder(Neural Network)は問題空間すべてをカバーする１つのグローバルなモデルを構築していた
- 時間と計算コストがかかる
- 改善案
- 枝刈り，スパース化
- Dynamic neural networks
- 入力に応じてモデルの構造やパラメータを変更
- Conditional computation
- 入力ごとにモデルの一部を活性化（疎にする）
- LCS(XCSF)は入力空間をいい感じに細分化し，局所的な近似モデルのアンサンブルにして領域をカバーする
- AEの話
- 計算資源があれば大きなモデルを学習できるけど，モバイルデバイスとかだと無理だよね
- 画像圧縮でAEのアンサンブルがJPEGよりよい性能
- アンサンブル内のどのAEを使用するかを識別するために追加の符号化が必要
- LCSを使用して入力ドメインを小さいオートエンコーダのアンサンブルに適応的に分解して，局所解を出す
- 収束時間や計算コスト，コードサイズを削減した
- 貢献
- XCSF分類器システムをオートエンコーダ問題に適応させ，初めて多数のデータセットでテストした．
- ニューロン数および接続性を進化させたニューラルネットワークの性能について検討し，異種ニッチエンコーダが出現する可能性を示した．
- 自己適応方式を導入し，各層が局所的な勾配降下率に適応するようにする．
- 目標誤差を指定することで，システムが自動的に所望の再構成誤差を持つ最大圧縮ネットワークを設計する平均が提供される．これは，ネットワークアーキテクチャを手動で指定し、あらかじめ定義されたペナルティ関数やスパース性制約を課す従来のアプローチと対照的である．
- LCS適応ニッチングが性能の向上をもたらすという仮説を，グローバルモデル構築と同等のものと比較することで実証的に検証する．
関連（NNの構造最適化）
- ベイズ的手法
- 強化学習手法
- 高次元問題でEAと競合
- 進化的手法（NAS）
- 入力に対して構造とパラメータが変化しないことが前提
- 確率的勾配降下法と進化的探索
- 勾配なくても最適化できる
- 組み合わせたもの
- 重みを遺伝子として持つ
- 遺伝子には持たないが選択時に考慮される
関連 LCSとNN
- 分類子とNNのニューロンの比較
- Fitness Sharingを用いてNNのレイヤーを最適化していく
- LCSの表現形としてNNを用いる(Bull)
手法
- XCSFを派生
- 各分類子が小さなAEを持ち，入力を再現するように学習
- 入力に照合するかと判定するモデル(cl.C)と復元した結果を返すモデル(cl.p)を持つ
- Covering
- 照合するまでランダムなネットワークが生成される
- cl.Cが0.5以上でMatchSetへ
- UpdateとEA
- 強化部
- [M]に対して実行
- [M]の適合度加重平均を出力に使用
- 分類子の誤差の更新にはMSEを使用
- いつも通りWidrow-Hoffデルタルール
- cl.Pは確率的勾配降下で重みを更新
- cl.Cは更新しない
- 発見部
- 交叉なし(参照36より)，突然変異使用
- 進化戦略のアプローチに近い
- 分類子のNN各層は変異率ベクトルを保持
- 4種類の変異方法が検討されている
- Coveringに一定回数以上マッチしない分類子は削除
- 汎化度の指標
- 照合した入力の割合を保存
- 交叉なし(参照36より)，突然変異使用
- 強化部
実験
- データセット4つ
- USPS DIGITS，MNIST DIGITS，Fashion-MNSIT，CIFAR10
- すべてのデータセットでXCSFはEAより収束が速い
- ネットワークの接続変異は単純なモデルでは収束が遅くなるが，複雑なデータセットでは速くなる
- 再構成誤差も有意に小さくなる
- 今後，教師ありや強化学習のタスクに適用，事前学習を行う等の取り組み
tag: Learning Classifier System, Autoencoder, Evolutional Algorithm, XCSF, self-adaptation
