"BOKU"のITな日常

BOKUが勉強したり、考えたことを頭の整理を兼ねてまとめてます。

0:機械学習知識

Pythonでニューラルネットワークの学習を算術微分だけでやったらどうなるか確かめる

今回は、ディープラーニングの「学習」の肝になるのは「微分」なんだということを、numpyだけで簡単なニューラルネットワークの学習をするプログラムを書いて確かめてみようかと思います。

SOFTMAX関数と損失関数について数式なしでざっくりと整理/ディープラーニング

今回は「SOFTMAX関数」と「損失関数」について、できるだけ・・数学チックにならないように気をつけながら、ざっくりと整理してみます。

ディープラーニングモデルの分類性能評価指標についてざっくり整理

モデルの分類性能の評価指標をの見方を、整理してみようかなと思います。題材には、「Neural Network Console」を使います。

標準化と正規化の違いは何だろう?

データを「正規化する」と「標準化する」という紛らわしい言葉を整理します。。

CNNの「MaxPooling」について数式なしでざっくり整理/ディープラーニング

今回はPoolingについて、頭の整理を兼ねて、ざっくり整理してみます。Pooling層は、画像認識に優れた性能がある「CNN(Convolutional Neural Network)」の構成要素のひとつですね。

CNNの畳み込み層(Convolution)について数式なしでざっくり整理/ディープラーニング

今回は、 Convolution=「畳み込み層」について頭の整理を兼ねて、ざっくり整理してみます。

活性化関数「Tanh」「Sigmoid」「ReLu」について数式なしでざっくり整理/ディープラーニング

ディープラーニングの活性化関数の「そもそも」の話をざっくり整理してみます。

全結合層(Affine)について数式なしでざっくり整理/ディープラーニング

ディープラーニングで頻繁に登場する「全結合層」は、Neural Network Consoleの場合は「Affine」レイヤーにあたります。この仕組というか、動作のイメージを頭の整理を兼ねて、ざっくり整理しておこう。それが今回のテーマです。

過学習抑制「Weight Decay」はSGDと相性が良く、Adamと良くない?/NNCで確かめる

Neural Network Consoleで、Weight Decayを使った過学習抑制と、Optimizerとの相性の検証をざっくりやってみます。

Epoch数とバッチサイズの解説と、変化させた時の精度の変化について確かめる

Neural Network Console(ニューラルネットワークコンソール)で、学習回数や学習単位を変えることで、学習精度が変わっていくのを体験します。