tensor flow + tensorboardいじりちゅう。

いろいろと触りながら、重みの初期値を変えることによる影響などを体感しております。

MNISTの数字認識問題を、隠れ層4層のNNを標準偏差0.01で学習したところこんな感じ。

出力層では重みがほぼ真ん中に偏っている。これはreluを活性化関数に使っている状態で0.01や0.001などを標準偏差にしてランダム初期化すると起こるみたい。

He重みとか、重みがあまり関係ないバッチノーマライゼーションとかも試そう。明後日。(今日明日はインターンで手を出せそうにない。)

まず今日はGeForce1080を積んだ、VR Ready + カジュアルML ReadyのPCの購入ボタンを押すところから始める...！