文章データの単語数カウントやベクトル化の前処理の形態素解析／Python

DeepLearningで日本語を学習させるには「自然言語処理」は避けて通れません。

勉強しようと、参考資料や本とかを読むわけですけれど。

まあ、難しい。

f:id:arakan_no_boku:20180926201236j:plain

そのうえ、「英語」を前提に説明していることが多いので、日本語の場合はどうなんだと、都度考えないといけないことも多く、わかりにくさを増幅してる感があります。

なので。

完璧に理論の詳細まで理解するのは、後まわしにして、使うために必要最低限の知識を自分なりに整理してみることにします。

長くなるので、3回位にわけて記事には書きます。

ちなみに各回のテーマは。

（１）単語分割（形態素解析）と前処理　＜今回＞

（２）単語の出現頻度に着目した文章データの数値化＜8/9予定＞

（３）単語のベクトル化

です。

まずは「何をやりたいか？」が大事

さて、まず前提です。

何冊か本を読んで、サンプルを動かして勉強しました。

その結果、自然言語処理にはすべてのケースに適合するようなオールマイティな正解はないんだなと思い知りました。

つまり、自分は「自然言語処理」を使って、何をやりたいのか？

これが決まらないと、同じ方法でも正解になったり、いまいちになったりするので、何も始まらないんだなと。

とはいえ、バリエーションはあれど、根っこは、たぶん、同じです。

つまり

含まれる単語等に着目して、テキストデータの特徴を数値化する。
特徴を数値化したデータで学習し、分類・予測（文生成含む）する。

です。

今回は、これを「なんちゃって」で割り切って整理する切り口にしてみます。

含まれる単語等に着目して、テキストデータの特徴を数値化する

自然言語処理で何かをするには、文章を単語単位に分割する必要があります。

ここは、どんな用途でもほぼ一緒みたいです。

しかし、この「単語に分割する」が、英語と違い、日本語ではとても困難です。

英語は単語ごとに空白で区切られていますが、日本語の文章には単語毎の区切りがありませんから。

例えば。

I grew up in the countryside.

みたいな英文を「I」「grew」「up」「in」「the」「countryside」に分けるなら、半角空白でSplitすれば良いだけなので、超簡単です。

でも、同じ意味の

私は田舎で育ちました。

を単語に分割するのは難しい。

英語みたいに明確な区切り文字（英語だと半角空白）がありません。

そのうえ、同じ文字でも前後の単語との関係で品詞が変わり、区切られる位置も変わる日本語の特性もあります。

でも、有難いことに先人の研究で、自分らでも使えるツールが存在します。

ここは有難く、研究の成果を使わせていただくだけにしようと思います。

文章を単語に分割して、品詞を割り当ててくれるツールの主なものです。

MeCab

多分、一番有名で利用されているものです。

JavaやC++、python他様々な言語で使えます。

なんと、EXCELのVBAで使えるものを公開してくれている方とかも居ます。

Janome

pythonで使うなら一番手軽に使えます。

辞書はMeCabと同じものが標準で同梱されてます。

速度が遅いとか言われてますが、正直、自分程度の使い方なら、MeCabと比べて遅いなと感じることはほとんどない感じです。

以降の説明では、Janomeを使って行っていきます。

形態素解析した結果ってこんな感じ

janomeを使って、前に例で出した「私は田舎で育ちました」をやってみます。

# -*- coding: utf-8 -*-
from janome.tokenizer import Tokenizer

t = Tokenizer()
malist = t.tokenize("私は田舎で育ちました。");
for n in malist:
    print(n.surface + ":" + n.part_of_speech);

結果はこんな感じです。

私:名詞,代名詞,一般,*
は:助詞,係助詞,*,*
田舎:名詞,一般,*,*
で:助詞,格助詞,一般,*
育ち:動詞,自立,*,*
まし:助動詞,*,*,*
た:助動詞,*,*,*
。:記号,句点,*,*

単語に分かれて、品詞情報が付与されているという意味合いが、よくわかります。

英語ベースの説明だと、単語に分割したら、いきなり後続の処理（ベクトル化とか）が始まりますが、日本語だと、そういうわけにはいきません。

２つの理由があります。

文章を特徴づけるのに不要な文字（単語）が含まれていること。
同じ意味なのに異なる文字で表現されている言葉がたくさんあること。

文章を特徴づけるのに不要な文字（単語）が含まれていること

例えば、前の「私は田舎で育ちました。」なら、この文章の特徴を強く表現するのは「名詞・動詞」である「私・田舎・育ち」の3語です。

助詞の「は」「で」とか、記号の「。」とかは文章の特徴にあまり関係しません。

なので、単純に文章の特徴をとらえて何かできればよいのなら、「名詞」「動詞」だけを残して、他の品詞を取り除いてから、後続処理に渡す方が効率が良いです。

ですが、例えばネガポジ判定とかをしたいとなると、話が変わってきます。

同じ名詞・動詞が登場しても、ネガの場合もあれば、ポジの場合もありえますので。

例えば、前の例を否定文にしてみます。

私は田舎以外で育ちました。

この例なら、否定の「以外」が名詞なので、なんとかいけますけど。

私:名詞,代名詞,一般,*
は:助詞,係助詞,*,*
田舎:名詞,一般,*,*
以外:名詞,非自立,副詞可能,*
で:助詞,格助詞,一般,*
育ち:動詞,自立,*,*
まし:助動詞,*,*,*
た:助動詞,*,*,*
。:記号,句点,*,*

私は田舎で育ちませんでした。

これだと、名詞と動詞だけ抜き出したら同じ文章になってしまいますので、否定にあたる助動詞の部分も判断に必要になったりします。

私:名詞,代名詞,一般,*
は:助詞,係助詞,*,*
田舎:名詞,一般,*,*
で:助詞,格助詞,一般,*
育ち:動詞,自立,*,*
ませ:助動詞,*,*,*
ん:助動詞,*,*,*
でし:助動詞,*,*,*
た:助動詞,*,*,*
。:記号,句点,*,*

このように、何をしたいか・・によって、どの品詞を残すかの検討が必要です。

目指す品詞だけを処理する前処理の簡単に例を書くとすると。

# -*- coding: utf-8 -*-
from janome.tokenizer import Tokenizer
import re

#正規表現
pat = r'名詞|動詞|助動詞'
regex = re.compile(pat)

t = Tokenizer()
malist = t.tokenize("私は田舎で育っていません。")
for n in malist:
    if(regex.match(n.part_of_speech)):
        print(n.surface + ":" + n.part_of_speech)

こんな感じです。

上記を実行すると、指定の品詞のみが抽出されます。

私:名詞,代名詞,一般,*
田舎:名詞,一般,*,*
育っ:動詞,自立,*,*
い:動詞,非自立,*,*
ませ:助動詞,*,*,*
ん:助動詞,*,*,*

基本、この応用でいけるはずです。

同じ意味なのに異なる文字で表現されている言葉がたくさんあること

例えば、「私は田舎で育ちました。」の「私」ひとつとっても、「わたし」「ワタシ」「俺」「僕」「おいら」「自分」など・・バリエーションは沢山あります。

意味合い的には「私は田舎で育ちました」と「わたしはいなかでそだちました」と「僕はイナカで育ちました」は、まったく同じなんですが、文字コードで学習・判定させてしまうと、まったく違うものとして扱われてしまいます。

自分のやりたいことに、この違いがどう影響するか？

これをよく考えないといけません。

「私」「わたし」「ワタシ」「僕」「俺」「自分」を、同一のものとして扱わないと具合が悪い場合なら、前処理で置き換えて、例えば「私」に無理やり統一してしまうなどが必要になります。

例えば、こんな感じですかね。

# -*- coding: utf-8 -*-
from janome.tokenizer import Tokenizer

d = {"僕":"私","俺":"私","自分":"私"}
t = Tokenizer()
malist = t.tokenize("俺は田舎で育ちました。")
for n in malist:
    if(n.surface in d):
        print(d[n.surface] + ":" + n.part_of_speech)
    else:
        print(n.surface + ":" + n.part_of_speech)

実行すると、俺を私に置き換えて出力されます。