memo - DAIKI's Lab

Butz, Pier, and Wilson, 2006
論文URL: https://dl.acm.org/doi/abs/10.1145/1143997.1144237

XCSは分類，強化学習タスクの他に，関数近似もできる
- XCSは空間分割を学習し，最大の精度と一般的な関数近似を可能にする
近年の関数近似のアプローチXCS
- 超直方体表現を超楕円形表現に
  - 多くの関数近似問題で楕円形表現が有効であることが示された(参照5)
- 反復線形近似を再帰的最小二乗法RLSに(参照13, 14)
本論文ではこれらを組み合わせたアプローチの有効性を検証
突然変異演算子を変更し，楕円体を回転させる角度突然変異を実装
これらにより非線形関数におけるXCSの性能が向上
- 関数に形状に応じて楕円体を伸縮させ回転させたことを確認
進化的アルゴリズムは問題空間をいい感じに分割する方法を探索する
- 突然変異はよい解の近傍を探索
- 削除と選択により汎化の圧力を強める
- 問題空間全体をカバーする分類子集合の進化を偏らせる
- XCSは進化的手法と勾配学習手法を組み合わせて分散局所探索を行い，大域的な問題を解決
XCSFのパラメータ依存性の調査
- N = 6400, β = η = 0.5, α = 1, ε0 =.01, ν = 5, θGA = 50, τ = .4, χ = 1.0, = 0.05, r0 = .5, θdel = 20, δ = 0.1, θsub = 20.
- 学習率βが大きいのはよくない
  - 条件部を大きく変えるより
  - 突然変異みたいな小さい反復的な学習がいい？
- RLSは近似値の学習にはよいが問題空間の分割には直接役立たない
- 角度突然変異は，最大に適した問題空間への進化を可能にし，RLSは進化した分割でより高速に関数近似が可能
実験：関数最適化
- 独立した次元を持つ関数（軸に依存しない正弦関数）　正弦関数
  - 楕円の回転が有効なのは次元が互いに非線形に依存している場合だけという仮説があった
  - 依存関係がない関数では確かに角度変異は影響を及ぼさず，学習率も性能に変化をあまり与えない
- 独立ではない関数　正弦関数を重ねたもの
  - 角度変異が進化に役立つ
- 非連続微分可能な関数
  - 微分の非連続点で線形近似が大きく狂ってしまう
    - 正しく分割する必要あり
  - 角度変異によって速い学習性能とより正確な分類子が得られる
  - RLSも学習性能を向上させるが，角度変異の方が影響が大きい
- 交叉の影響
  - 交叉は交叉しない場合と比べて学習速度を速め，精度を向上させている
  - しかし，影響がほとんどない場合関数（軸に依存しない正弦関数）もあった
Fature work
- 楕円形条件部ではサブサンプションはほんとど起きない
- ルール凝縮アルゴリズムの改良
- ランダムな分類器を削除して頑健性をテストするといいかも

論文: https://ieeexplore.ieee.org/abstract/document/9427963?casa_token=U9Xrb5dcV8UAAAAA:DbVlHpzfSynnRPLXcZHyTx1AX65APb59CA8pXmfzAZUQXxqCFWDsc8IqjkmiIFtHAC6NotRb1ks

Preen, Wilson, & Bull, 2021 LCSの有名人たちの論文

Intro

従来のAutoencoder(Neural Network)は問題空間すべてをカバーする１つのグローバルなモデルを構築していた
- 時間と計算コストがかかる
- 改善案
  - 枝刈り，スパース化
  - Dynamic neural networks
    - 入力に応じてモデルの構造やパラメータを変更
  - Conditional computation
    - 入力ごとにモデルの一部を活性化（疎にする）
LCS(XCSF)は入力空間をいい感じに細分化し，局所的な近似モデルのアンサンブルにして領域をカバーする
AEの話
- 計算資源があれば大きなモデルを学習できるけど，モバイルデバイスとかだと無理だよね
- 画像圧縮でAEのアンサンブルがJPEGよりよい性能
  - アンサンブル内のどのAEを使用するかを識別するために追加の符号化が必要
LCSを使用して入力ドメインを小さいオートエンコーダのアンサンブルに適応的に分解して，局所解を出す
- 収束時間や計算コスト，コードサイズを削減した
貢献
- XCSF分類器システムをオートエンコーダ問題に適応させ，初めて多数のデータセットでテストした．
- ニューロン数および接続性を進化させたニューラルネットワークの性能について検討し，異種ニッチエンコーダが出現する可能性を示した．
- 自己適応方式を導入し，各層が局所的な勾配降下率に適応するようにする．
- 目標誤差を指定することで，システムが自動的に所望の再構成誤差を持つ最大圧縮ネットワークを設計する平均が提供される．これは，ネットワークアーキテクチャを手動で指定し、あらかじめ定義されたペナルティ関数やスパース性制約を課す従来のアプローチと対照的である．
- LCS適応ニッチングが性能の向上をもたらすという仮説を，グローバルモデル構築と同等のものと比較することで実証的に検証する．

カテゴリー: memo

Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

Evolving SimGANs to improve abnormal electrocardiogram classification

Hyper-ellipsoidal conditions in XCS: rotation, linear approximation, and solution structure

Autoencoding with a classifier system