[ANN] Self-Adaptation Gaussian Mutation

• Self-Adaptation Gaussian Mutation

在上一篇[ANN] Spatial Layer Effect我們看到良好的Spatial Layer可以有效提昇學習效率，但是光只是這樣的提昇還不能滿足我們追求更好結果慾望。這一篇裡我們要更動原先的Gaussian Mutation變成Self-Adaptation Gaussian Mutation，而Gaussian Mutation部份則是沿用了Gaussian Random Distribution[ANN] Gaussian Random為基礎，藉由字適應參數的使用來觀察網路學習能力的變化。

• Mutation

Mutation在演化計算裡非常的重要，因為他扮演著繁延後代的角色，而之前的模擬裡我們都只是當純的使用Gaussian Mutation或者是更簡易的[-1, 1]的Standard Random Distribution，來更改weights跟biases的值，這樣的使用方式雖然可以有效的找出最佳解，但是卻會形成網路不穩定的狀況，所以這裡我們加了一個Self-Adaptation的參數，讓突變的過程雖著網路演化的代數增加讓每一個weight依造著適應參數去調整他們的改變量，但前提是你的網路架構良好，且其他參數都沒問題時才能這樣使用。Self-Adaptation Gaussian Mutation公式如下：




其中

i = 1, 2, 3, ...... 50 （每一代裡有50個parents）

j = 1, 2, 3, ...... 76 （總共有76個weights(包含biases)）


J = 76 (weights 和 biases的總數量)

如此可以算出tau為0.239左右。

• Simulation Parameters

Population: 100

Generation: 1000

Win/Lose Score: Winner: +1, Loser: -1 , Draw: 0

Number of Games: 10

Selection : Tournament Selection

Trainer: AI_Level III with random moves

除此之外，我還稍微對AI_Level III的亂數因子做小幅度的修正，以及activation function的a值做了一些調整。已達到有效的非線性轉換。

• Results
  • Neural Network v.s. AI

  

  由上面的數據可以很明顯的感覺到網路學習能力下降許多，這樣的結果並不是我們所期望的。
  

  • Survival Times
  

  到了1000代平均存活次數已經高達到650次，從這個數據看來這個模擬沒有必要在繼續跑下去，因為他已經收斂了。

• • Standard Deviation for Number of Win Games
  

  平均得分值的數據並沒有給予我們太多的訊息。
  

• Discussion

在這個例子裡Self-Adaptation Parameters並沒有有效的的幫神經網路演化出好的策略，但並不代表Self-Adaptation Gaussian Mutation是一個不好的突變方式，整個模擬失敗可以從兩個方面來探討，第一，training set的部份並沒有非常的完善，也許這是導致網路收斂至某個局部最佳解。第二，網路架構的完整性，在這個範例裡網路架構只用了76個weights，以tic-tac-toe這個問題來說可以說是相當的少，在這麼少的wieght架構之下使用Self-Adaptation反而會讓網路失去尋找global maximum的解，進而導致網路演化失敗。（這部份的影響我也在解XOR的問題中發生過。）。所以解單的來講如果你的網路架構複雜，使用Self-Adaptation Gaussian Mutation的確能幫你在短時間演化出好的結果，但是不免也有失敗的可能性就是了。