自然言語処理の必要最低限の知識だけ簡単にまとめる（２）／単語数カウントとTF-IDFなど+Pythonサンプル

自然言語処理をざっくり整理する2回目です。

f:id:arakan_no_boku:20180926201236j:plain

前回は、文章（テキストデータ）を、単語に分割し品詞情報を付与（形態素解析）する部分を書きました。

arakan-pgm-ai.hatenablog.com

今回は、それを数値化してDeepLearningで学習可能なデータにするあたりを、さっくりと整理してみます。

数値化の最初の一歩は単語にインデックスをつけること

前回、例にあげた「私は田舎で育ちました」って文章を、Janome（前回参照）で分解して、名詞と動詞だけを取り出す前処理結果を説明用に使います。

# -*- coding: utf-8 -*-
from janome.tokenizer import Tokenizer
import re

pat = r'名詞|動詞'
regex = re.compile(pat)

t = Tokenizer()
malist = t.tokenize("私は田舎で育ちました。")
for n in malist:
    if(regex.match(n.part_of_speech)):
        print(n.surface,end=' ')

そうすると、以下の３つの単語になります。

私田舎育ち

ですが。

この単語のままでは、Deeplearningで処理できません。

なんとかして、計算で扱える数字データにしてやる必要があります。

そのための準備として、適当に（文章に現れた順番とかなんとか）番号をふって、インデックスにします。

例えば「1:私　2：田舎　3:育ち」みたいな感じです。

こうすると、文字のままよりデータとして扱いやすくなります。

一番シンプルな数値化は「単語の数を数えること」です

さて、次です。

DeepLearningを使って、やりたいことは「文章を識別できる特徴を学習する」です。

文章の特徴を数字で表すとすると、一番シンプルなのは、「どの単語が文章の中に何回でてくるか」を数えることです。

例えば「希望」や「夢」や「素敵」みたいな単語がたくさんでてくる文章は、おそらくポジティブな特徴があるし、「絶望」や「病気」や「嫌い」みたいな単語がでてくる文章はネガティブな特徴がある・・みたいに。

せっかくなので、「希望」「好き」「絶望」「嫌い」をネタに前に書いたみたいにインデックスをつけて、その単語が「希望はみんな好きだ。絶望が好きな人はいない。たいてい、絶望は嫌いだよな。」という文章に何回でてくるかを数えてみます。

1:希望

2:好き

3:絶望

4:嫌い

簡単にpythonで書くとこんな感じです。

# -*- coding: utf-8 -*-
from janome.tokenizer import Tokenizer

idx = {"希望":1,"好き":2,"絶望":3,"嫌い":4}
d = {"希望":0,"好き":0,"絶望":0,"嫌い":0}
t = Tokenizer()
malist = t.tokenize("希望はみんな好きだ。絶望が好きな人はいない。たいてい、絶望は嫌いだよな。")

for n in malist:
    if(n.surface in d):
        d[n.surface] += 1

for k, v in sorted(idx.items(), key=lambda x: x[1]):
    print(str(v) + "(" + k + ")=" + str(d[k]))

動かした結果はこんな感じです。

1(希望)=1
2(好き)=2
3(絶望)=2
4(嫌い)=1

でも、単純に回数を数えるだけだとうまくいきません。

1万語の中で「幸せ」が1回でてくるのと、10語の文章で「幸せ」が1回でてくるのを同じに扱っていいわけないです。

なので、シンプルなやり方として、単語の出現回数を、全単語数で割って、出現率みたいなものを計算したらいいんじゃないかというのは思いつきます。

上記のソースに「total」という全体カウンターを追加して最後に除算してみます。

# -*- coding: utf-8 -*-
from janome.tokenizer import Tokenizer

total = 0
idx = {"希望":1,"好き":2,"絶望":3,"嫌い":4}
d = {"希望":0,"好き":0,"絶望":0,"嫌い":0}
t = Tokenizer()
malist = t.tokenize("希望はみんな好きだ。絶望が好きな人はいない。たいてい、絶望は嫌いだよな。")

for n in malist:
    if(n.surface in d):
        d[n.surface] += 1
        total += 1
        
for k, v in sorted(idx.items(), key=lambda x: x[1]):
    print(str(v) + "(" + k + ")=" + str(d[k]/total))

その結果、以下のようになります。