ハイパーパラメータ MNISTコード XORコード 結論 ハイパーパラメータ ニューロンの数や学習係数などをハイパーパラメータと言います。これらは幾通りもあり、なおかつ値によって結果がかなり異なることがあります。ハイパーパラメータをランダムに選び、実験…

誤差逆伝播法 加算ノード 定義 コード 乗算ノード 定義 コード Affineノード 定義 コード ReLU 定義 コード SoftmaxWithLoss コード レイヤの生成 順伝播 逆伝播を追加 誤差逆伝播法 前回までは、勾配の計算は数値微分で行いました。数値微分は、実行に時間…

重みの初期値 Xavier 定義 コード He 定義 コード 他にも 標準偏差0.01 間違ったら良くなった初期値 出力 Xavier He 標準偏差0.01 間違ったら良くなった初期値 結論 重みの初期値 ハイパラメータとして他にも重要なのが、重みの初期値です。ここでは、Xavier…