いろいろと触りながら、重みの初期値を変えることによる影響などを体感しております。 MNISTの数字認識問題を、隠れ層4層のNNを標準偏差0.01で学習したところこんな感じ。 出力層では重みがほぼ真ん中に偏っている。これはreluを活性化関数に使っている状態…