- Gaussian Random
Download: GaussianRandom.c
一般在初始化網路的Weight和Bias值時我們通常會使用Gaussian Random來取代一般的Random函式,因為Gaussian Random的機率分佈曲線並不像一般的random函式一樣成水平狀,而是以中心向外遞減,如下圖(此圖是將GaussianRandom.c所產生的數據去作圖的):
這樣的機率分佈狀況非常符合我們做初始化的需求,因為初始化的值往往會影響到結果,而Gaussian Random的值讓大部分的Weight值靠近0,讓收斂不完全的機率降至更低。
核心程式碼如下:
詳細的Gaussian Random資訊你可以參考下面的網頁
http://www.bearcave.com/misl/misl_tech/wavelets/hurst/random.html
No comments:
Post a Comment