置換前と後の単語の組合せを辞書管理し、文章の複数単語を一括置換／pythonのtranlate()とre.sub()

今回は、文章中のある単語を別の単語に置き換える処理を、辞書を使って一括処理したい時の２つのやり方「str.translate()とre.sub()」を整理してみます。

f:id:arakan_no_boku:20190223210405j:plain

今回やりたいこと

例えば、こんな文章があった時。

東京大学と大阪大学では社会人向けの「AI講座」を開いている。
また経済産業省は「AIプログラム技術」や課題解決を企業や学生らが教え合う「AI学校」を9月にも立ち上げる。
実務経験を積んだ人材が互いに鍛え合い、専門人材を育成する。

「」に囲まれたAIがついた単語・・「AI講座」や「AI学校」・「AIプログラム技術」など・・を、「AI関連」みたいな一つの単語に置き換えるのなら、正規表現をつかってこんな感じで「re.sub()」で可能です。

intext = '''東京大学と大阪大学では社会人向けの「AI講座」を開いている。
また経済産業省は「AIプログラム技術」や課題解決を企業や学生らが教え合う「AI学校」を9月にも立ち上げる。
実務経験を積んだ人材が互いに鍛え合い、専門人材を育成する。
'''
print(re.sub('「AI.+?」','「ＡＩ関連」',intext))

でも、「AI学校」は「AIスクール」、「AIプログラム技術」は「AIスキル」、「AI講座」は「AIクラス」に、それぞれ変更したい場合は、これでは無理です。

こんな時にどうしたらよいのか？・・をテーマとします。

str.translate()は使えるか？

最初に頭に浮かぶ選択肢は「str.translate()」です。

これは置換対象が1文字の場合だと、見事に機能します。

例えば、半角の「A」を全角の「Ａ」、「i」を全角の「I」、漢字の「実」を「業」に置き換えるような用途なら、以下のようにすればできます。

def trans_single(inputtext):
    encode_dic = {'A':'Ａ','i':'Ｉ','実':'業'}
    encode_table = str.maketrans(encode_dic)
    return inputtext.translate(encode_table)
    
intext = '''東京大学と大阪大学では社会人向けの「AI講座」を開いている。
また経済産業省は「AIプログラム技術」や課題解決を企業や学生らが教え合う「AI学校」を9月にも立ち上げる。
実務経験を積んだ人材が互いに鍛え合い、専門人材を育成する。
'''
print(trans_single(intext))

この結果はこんな感じ。

東京大学と大阪大学では社会人向けの「ＡI講座」を開いている。
また経済産業省は「ＡIプログラム技術」や課題解決を企業や学生らが教え合う「ＡI学校」を9月にも立ち上げる。
業務経験を積んだ人材が互いに鍛え合い、専門人材を育成する。

きれいに辞書通りに置き換わってます。

これで辞書を以下のように単語レベルに変更してみます。

replacements = {'AI講座':'ＡＩクラス','AIプログラム技術':'ＡＩスキル','AI学校':'ＡＩスクール'}

すると、こんなエラーをはいて終了してしまいます。

string keys in translate table must be of length 1

長さが１じゃなきゃダメ・・ということです。

長さ1を超える単語の置き換えは「re.sub()」でないと無理

じゃあ、やっぱり「re.sub()」じゃないと無理・・なのですが、普通にやると、辞書通りの置き換えはできません。

でも、laambda式と組合せてやると、以下のような感じでできます。

import re

def trans_word2(inputtext):
    replacements = {'AI講座':'ＡＩクラス','AIプログラム技術':'ＡＩスキル','AI学校':'ＡＩスクール'}
    print('({})'.format('|'.join(map(re.escape, replacements.keys()))))
    return re.sub('({})'.format('|'.join(map(re.escape, replacements.keys()))), lambda m: replacements[m.group()], inputtext)
   
intext = '''東京大学と大阪大学では社会人向けの「AI講座」を開いている。
また経済産業省は「AIプログラム技術」や課題解決を企業や学生らが教え合う「AI学校」を9月にも立ち上げる。
実務経験を積んだ人材が互いに鍛え合い、専門人材を育成する。
'''
print(trans_word2(intext))

これを実行すると。