レイヤーリファレンスに「MeanSubtraction」以外にも、精度が向上する効果があるって書かている箇所がもう一箇所あります。
引用してみますね。
入力値を平均0分散1に正規化します。
ConvolutionやAffineの後に挿入することで精度向上、および収束を早める効果があります。
これは、「BatchNormalization」の説明です。
前に、「MeanSubtraction」を試した時ははなかなかの成果がありました。
じゃあ、こっちも試してみないとねえ。
BatchNormalization の出力を視覚化する
ニューラルネットワークコンソール（Neural Network Console）を起動します。
まず、事前に「BatchNormalization」の出力が、どうなるのかを確認してみます。
前に処理結果の出力を確認する方法をやりました。
同じやり方、（inputとsquaredErrorの間に挟み込んで、MaxPoolingを0にする）で確認できます。
上記記事の「ImageAugmentation」を「BatchNormalization」に置き換えればいいわけですね。
結果はこんな感じ。
なかなか、激しいです。
人間の感覚だと・・これで精度があがるってのがピンときませんね。
CNNに組み込んで効果を試す
ベースになるシンプルなCNNを組んでみます。
ベースになるCNNは過去記事を参考に
ベースにするのは、例によって「使い方５」で説明しているものです。
上記を元に、「使い方6」で初期値のチューニングをして保存したプロジェクトを、今回のベースで開いて、別名で保存しておきます。
もっとも、下の説明で実際に組んだハードコピーを貼り付けていますので、それを見て新規プロジェクトでペタペタ作ってもらっても全然構わないのですけれど。
BatchNormalizationを、inputの直後においてみる
これに、「BatchNormalization」を組み込んでいくわけです。
BatchNormalizationは、ConvolutionやAffineの後に挿入するのが普通です。
でも、せっかくなのでちょっとイレギュラーなことをして試してみます。
試しにinputの直後においてみます。
こんなん見たことないですけど。
おもしろいので。
さて、こんな感じでinputの直後に置くと、この出力が「convolution」の入力になるわけですよね・・・大丈夫かな。
この構成で、データはMNISTではなくて、前につかったオリジナルのアルファベットの独自データをDATASETにしてやってみます。
別にMNISTのままでも全然いいです。
けど、以下の結果とはちょっと変わるかもしれませんので、ご容赦ください。
上記の構成で学習してみた結果がこちらです。
最後の方で、なんかおかしな動きしてますが、まあまあ、学習はできてるぽいですよね。
評価結果はこんな感じ。
99,20%・・ということは、変更する前の結果と同じということです。
どうも、悪さもしないが、良くもならない。
あまり、意味がないみたいですね。
BatchNormalizationを、convolutionの直後に動かしてみる
じゃあ、今度は、正規の位置・・つまり、convolutionの直後に動かしてみます。
他の設定はまったく変えずに、学習と評価をやって、どう変わるか見てみます。
学習した結果はこちら。
かなりきれいな学習曲線になりました。
ちょっと、期待できそうです。
でもって、評価した結果がこちら。
おお！・・99.31%になった。
リファレンスの
ConvolutionやAffineの後に挿入することで精度向上、および収束を早める効果があります。
は、本当なんだなあ・・と実感できますね。
調子にのって、DropOutを追加して、さらなる向上を狙ってみる。
こうなると、「DropOut」を組み合わせるとどうなるか？
興味がでてきます。
ここで、inputの直後にDropOutを挿入してやってみましょう。
設定はデフォルトのままでさわらないことにします。
さきほどの、99.31%の構成にDropOutが加わっただけですね。
これで、学習と評価をやってみます。
学習結果はこちら。
うーん。なんとなく、学習が収束していない（終わってない）感じがしますね。
DropOutをはさむと、やっぱり学習に必要なEpoch数が増えてしまうみたいです。
案の定、評価結果もこんな感じ。
学習が途中で終わってしまったぜ・・感、満載ですね。
Max Epoch を200に変更して再挑戦
じゃあ、しょうがないから、CONFIGタブで、Max Epoch を倍の200にしてみます。
これで、再度学習と評価をしてみます。
学習結果は、こんな感じ。
うーん。学習が進んでるかどうか微妙ですね。
で、評価結果。
98.06%・・変わらないですね。
本日の結論
過学習抑制で利用した「BatchNormalization」が、精度を向上させる効果もあるというのが本当だ・・ということが確認できました。
最後の「DropOut」を追加したのは余計でしたけど、まあ、こういうやり方で使うのはよろしくない・・のがわかったので良いかな。
おそらく、もっと複雑なニューラルネットワークを組んだときに、過学習のリスクを抑えるために「DropOut」は効果あるみたいなんですけど、こんなシンプルなCNNに使っても仕方ない・・ってことなんですかね。
もちろん、今回試してみた感覚では・・ですけどね。
でも、本を読んで概念的なものを理解するだけより、実際にためして、感覚的につかんでいるのは応用を考える時の引き出しが増えます。
だから、時間がある時に、いろいろ試すのは面白いですね。