"BOKU"のITな日常

BOKUが勉強したり、考えたことを頭の整理を兼ねてまとめてます。

知識を整理した(機械学習)

ニューラルネットワークの学習を算術微分だけでやれるかをPythonでやってみる

今回は、ディープラーニングの「学習」の肝になるのは「微分」なんだということを、numpyだけで簡単なニューラルネットワークの学習をするプログラムを書いて確かめてみようかと思います。

ニューラルネットワークの学習を部品(レイヤー)別にざっくり整理/SOFTMAX関数と損失関数

今回は「SOFTMAX関数」と「損失関数」について、できるだけ・・数学チックにならないように気をつけながら、ざっくりと整理してみます。

機械学習(ニューラルネットワーク)の性能をはかる分類性能評価指標の見方を整理する

モデルの分類性能の評価指標をの見方を、整理してみようかなと思います。題材には、「Neural Network Console」を使います。

機械学習の話に頻繁に登場する「標準化」と「正規化」の違いは何だろう?

データを「正規化する」と「標準化する」という紛らわしい言葉を整理します。。

ニューラルネットワークの学習を部品(レイヤー)別にざっくり整理/CNNのPooling(プーリング)層

今回はPoolingについて、頭の整理を兼ねて、ざっくり整理してみます。Pooling層は、画像認識に優れた性能がある「CNN(Convolutional Neural Network)」の構成要素のひとつですね。

ニューラルネットワークの学習を部品(レイヤー)別にざっくり整理/CNNの畳み込み層(Convolution)

今回は、 Convolution=「畳み込み層」について頭の整理を兼ねて、ざっくり整理してみます。

ニューラルネットワークの学習を部品(レイヤー)別にざっくり整理/活性化関数「Tanh」「Sigmoid」「ReLu」

ディープラーニングの活性化関数の「そもそも」の話をざっくり整理してみます。

ニューラルネットワークの学習を部品(レイヤー)別にざっくり整理/全結合層(Affine)

ディープラーニングで頻繁に登場する「全結合層」は、Neural Network Consoleの場合は「Affine」レイヤーにあたります。この仕組というか、動作のイメージを頭の整理を兼ねて、ざっくり整理しておこう。それが今回のテーマです。

過学習抑制「Weight Decay」はSGDと相性が良く、Adamと良くない?/ニューラルネットワーク

Neural Network Consoleで、Weight Decayを使った過学習抑制と、Optimizerとの相性の検証をざっくりやってみます。

自然言語の学習に必要なテキストデータ(コーパス)を集める方法あれこれ。

自然言語の学習・推論の勉強に必要なテキストデータ(コーパス)を集める方法について書いてみようと思います。

CNNの認識精度向上に学習データ(画像)の水増しは効果あり/ニューラルネットワーク

今回は、少ない(1カテゴリあたり40枚~60枚しかない)カラー画像データを、水増しして、前回71%と散々だった学習精度向上にチャレンジしてみます。

CNNで分類するときのモノクロ画像とカラー画像の違い/ニューラルネットワーク

久しぶりに画像分類に戻ります。今回は、カルフォルニア工科大学が機械学習用に配布してくれている「Computational Vision At CALTECH」のカラー画像データを使います。

CNNにBatchNormalizationを適用して認識精度向上効果を試す/ニューラルネットワーク

BatchNormalization(ニューラルネットワークコンソール)で、BatchNormalizationで学習精度が向上するかを試してみます。

エポック(Epoch)数とバッチサイズの解説と、変化させた時の精度の変化について確かめる/ニューラルネットワーク

Neural Network Console(ニューラルネットワークコンソール)で、学習回数や学習単位を変えることで、学習精度が変わっていくのを体験します。

重み(Weight)の初期値の種類と使い分け及び「Optimizer」の種類/ニューラルネットワーク

Neural Network Console(ニューラルネットワークコンソール)で、重み(W)の初期値の与え方と、Optimizerの違いで学習精度が変わるのを試します。