データを「正規化する」と「標準化する」という紛らわしい言葉を整理します。
その例として、超有名なアヤメ（iris）のデータをネタにそれで精度がどう変化するのかをNeural Network Consoleで試してみます。
今回の目的
機械学習関係の勉強をすると「標準化」と「正規化」と言う言葉が頻繁にでてきます。
この２つの言葉が実にわかりづらいです。
この２つの言葉がどう違うのか、どのように使い分けるべきなのか・・。
これを整理してちゃんと理解したい。
それが今回の目的です。
でも、それだけだと記事が短くなるので、おまけに、Neural Network Consoleをつかって「正規化」ってものをやってみることにします。
同じ単語が違う意味で使われている！？
なんで、こんなに混乱してしまうのか？
確かに正規化という言葉は、いろんなところで使われてます。
例えば、「ベクトル」にも「パターン認識」にも「数値」にも、それぞれの「正規化」が存在するわけです。
ベクトルの正規化とは、ベクトルの方向は維持しつつ大きさを「1」にする事。
パターン認識の正規化とは、対象の特徴をあらかじめ決められた基準に沿うように加工すること。
数量の正規化とは、数量を代表値で割るなどして次元をそろえて、互いに比較できるようにすること。
などなど・・・。
機械学習だけにフォーカスしてもおんなじだ
でもまあ。
機械学習だけにフォーカスをあてたら同じ言葉は同じ意味なんだろうと思って調べてみると、例えば、scikit-learnというライブラリやディープラーニングの技術の説明の中で使われる意味合いが微妙に違うわけです。
例えば、Scikit-learnライブラリでは、StandardScaler と MinMaxScaler がそれぞれ 標準化（standardization） と 正規化（normalization） のモジュールだという説明があって、その意味合いだと、標準化は「平均が0、標準偏差が1になるようにデータを加工（スケーリング）」し、正規化は「最低が0、最高が1になるようにデータを加工（スケーリング）する」モジュールになるわけです。
対して。
ディープラーニングには「バッチノーマライゼーション（Batch Normalization）」という手法があります。
これも「平均が0、分散が1になるようにデータを加工」します。
scikit-learnの場合はこれを「標準化」と言ってますが、こちらでは正規化（normalization）とか正則化という言葉で説明されてます。
どうやら。
標準化と呼ばれる時はこうだ。
正規化と呼ばれる時ならこうだ。
そんな風に無理やり一般化した正解はないみたいです。
すべて正規化ということで良いのではないか
混乱したので調べてみました。
すると。
標準化（standardization） と 正規化（normalization）の違いというのは、英語圏でもとても多い質問みたいです。
こんな感じで。
そこでも明確な結論はでていないです。
例えば。
通常は、正規化とは値の範囲が「0.0〜1.0に正規化される」ことを意味して、標準化とは値の範囲が「標準化」され、その値がその平均からどれだけの標準偏差であるかを測定することを意味するが、誰もがそれに同意するわけではないので、定義を使用する前に説明することをお勧めします。
みたいな感じなのですね。
ということで。
結論としては、一般的には「こうだ」という意味はあるけど絶対的な定義ではないので、使うときにきちんと説明をしていれば、どちらを使っても間違いではないよ・・って感じみたいです。
アヤメ（iris）のデータの正規化をやってみます
ということで。
釈然としないのですが、言葉の違いは「そういうことだ」と理解しました。
せっかくなので。
正規化という作業はどんな感じかをやってみます。
Neural Network Consoleアヤメ（iris）のデータを使います。
アヤメのデータの概要については、前回もふれているので、繰り返しはしません。
今回は正規化なので、データがどんな分布なのか？がポイントになります。
特徴変数は４つあります。
- sepal length :萼片（がくへん）の長さ
- sepal width: 萼片（がくへん）の幅
- petal length:花びらの長さ
- petal width:花びらの幅
最初は視覚的な分布状況の確認
まず、ヒストグラムで視覚的に確認すると。
見た感じは。
sepal （がくへん）は、length、widthともなんとなく正規分布っぽい。
petal （花びら）は両方とも・・ぽくない。
そういう印象です。
統計的手法（正規性検定）を用いた確認
ここはちゃんと先人の知恵を借りて確認します。
SHAPIRO-WILKの正規性検定（シャピロ・ウィルク検定）を行います。
データが正規分布に従っているという仮説に対する検定です。
計算でP値を求めて、それが0.05より大きければ棄却されない（＝正規分布である）ですし、0.05以下なら棄却される（＝正規分布ではない）と判断します。
上記４つの変数について、検定してみます。
import numpy as np import pandas as pd from sklearn.datasets import load_iris import scipy.stats as stats ''' アヤメ（iris)のデータをpandasのDataFrameに変換する。 scipy.statsのSHAPIRO-WILKの正規性検定で正規分布か否かを検定する ''' class MyDataFrame(): def get_iris(self): iris = load_iris() return pd.DataFrame(data= np.c_[iris['data'], iris['target']],columns=iris['feature_names'] + ['target']) mdf = MyDataFrame() mpd = mdf.get_iris() a = stats.shapiro(mpd['sepal length (cm)'].values) print(a) b = stats.shapiro(mpd['sepal width (cm)'].values) print(b) c = stats.shapiro(mpd['petal length (cm)'].values) print(c) d = stats.shapiro(mpd['petal width (cm)'].values) print(d)
結果は以下の通りです。
sepal length (cm) ： (0.9760897755622864, 0.01017984002828598)
sepal width (cm) ： (0.9849170446395874, 0.10113201290369034)
petal length (cm) ： (0.8762688040733337, 7.412849778454245e-10)
petal width (cm) ： (0.9018339514732361, 1.6802413682626138e-08)
結果は（統計量W、p値）の順です。
チェックするのは後ろの方（p値）です。
判断の仕方は
です。
見る限り二番目の「sepal width (cm)」のみが正規分布で、残り３つは0.05以下のため正規分布ではないということになります。
結果をふまえて正規化手法をとりあえず決定する
でも。
一番目の「sepal length (cm)」は、棄却されたとは言え、約0.01で近いので、まあ、今回は大目に見て（笑：普通はありえないですが）、2番目の「sepal width (cm)」と同じ扱いで考えてみます。
つまり、正規化の方針は以下のようにしてみます。
sepal （がくへん）の２つは「StandardScaler」で正規化し、
petal （花びら）の２つは「MinMaxScaler」で正規化します。
方針を踏まえて正規化＆CSVデータを吐き出すpythonソース
正規化して、元データと置き換えてCSVに吐き出す処理です。
import numpy as np import pandas as pd from sklearn.datasets import load_iris from sklearn.preprocessing import StandardScaler,MinMaxScaler ''' アヤメ（iris)のデータをpandasのDataFrameに変換する。 sklearnのStandardScalerとMinMaxScalerを使って正規化し、結果をDataFrameに書き戻してCSVに保存する ''' class MyDataFrame(): def get_iris(self): iris = load_iris() return pd.DataFrame(data= np.c_[iris['data'], iris['target']],columns=iris['feature_names'] + ['target']) def norm(norm,ar): ar1 = ar.reshape(ar.shape[0],-1) ar2 = norm.fit_transform(ar1) return ar2.flatten() mdf = MyDataFrame() mpd = mdf.get_iris() std = StandardScaler() minmax = MinMaxScaler(feature_range=(-1, 1)) a = norm(std,mpd['sepal length (cm)'].values) b = norm(std,mpd['sepal width (cm)'].values) c = norm(minmax,mpd['petal length (cm)'].values) d = norm(minmax,mpd['petal width (cm)'].values) cnt = 0 for index,row in mpd.iterrows(): mpd.at[index,'sepal length (cm)'] = a[cnt] mpd.at[index,'sepal width (cm)'] = b[cnt] mpd.at[index,'petal length (cm)'] = c[cnt] mpd.at[index,'petal width (cm)'] = d[cnt] print(row[0],row[1],row[2],row[3]) cnt += 1 mpd.to_csv('iris_norm.csv')
補足します。
正規化処理自体は「sklearn.preprocessing」の「StandardScaler（平均0分散１で正規化）」と「MinMaxScaler（最小値から最大値の間の値に正規化）」を使います。
MinMaxScalerはデフォルトだと0から1の範囲で正規化するのですが、平均0分散1の正規化の値が-1から1の範囲になるので、「MinMaxScaler(feature_range=(-1, 1))」で範囲をあわせてます。
正規化は「fit_transform()」メソッドなのですが、引数が2次元配列前提になってます。
ですが、DataFrameからvaluesで抽出したままだと１次元配列です。
なので、一旦「ar.reshape(ar.shape[0],-1)」で２次元配列に変換して、「fit_transform()」で処理して、結果を「ar2.flatten()」で１次元に戻すという、若干面倒くさいことをやってます。
あとは、ループの中でDataFrameの各値を正規化後の値に置き換えて、置き換え済の結果をCSVに吐き出すわけです。
Neural Network Consoleで学習・評価をやってみる
例によって「Neural Network Console」で学習評価をしてみます。
CSV出力しただけだと、左端に連番が出力されていたり、ヘダーの名称が「sepal length (cm)」とかになっています。
るので、EXCELで開き、余分な列である左端の列（連番）を消して、ヘダーの名称を「x__1」のようにNeural Network Consoleのルールに沿って修正する必要があります。
あとは、全体で150件のデータを適当に割り振って、トレーニング用とテスト用のCSVにわけて、それぞれ「iris_train_norm.csv」「iris_test_norm.csv」とでも名前をつけておきます。
trainが0.7：testが0.3くらいの比率に普通はするのですが、今回は条件を厳しくするために、0.5：0.5で75件ずつにバッサリわけてみました。
この辺のCSVデータの加工は手作業です。
データも小さいし、難しい加工でもないので・・。
ネットワークモデル
さて。
学習用のネットワークモデルはこんな感じ。
inputは以下のようなCSVで、xの列が４つなので「4」です。
内容のデータは、正規化後の数値に置き換わってます。
このCSVをDataSetに登録して学習を実行します。
学習結果と評価結果
正規化前と同じMaxEpoch数 100だと、学習が完了しても、Accuracyは92%くらいしかいきません。
Best Validationも100ですし、明らかに学習不足です。
それから増やして試行しましたが、自分の環境では810がベストでした。
学習曲線と評価結果です。
Accuracyは98.66%でした。
単純比較すると、正規化前が約97%だったので改善はしてます。
劇的な改善はないけど、若干効果は感じられた
もちろん。
学習データとテストデータを入れ替えながら試行してみると、96%から100%までの振れ幅がありました。
だから、単純に正規化したから結果が良くなったなどとは言えません。
でも。
正規化することで、Epoch数を増やしても元データよりも、過学習になりづらくなったのは事実です。
アヤメのデータのような小さく既に整っているデータなので大した効果は感じられなかったのですが、精度をあげる方法のひとつであることは間違いなさそうですねえ。
ではでは。
※2019/3/1の記事を補正・リライトしました。