Neural Network Consoleが1.4.0で強化された機能のうち、「エラー(誤分類)解析」「推論結果のソート」に注目してみました。
評価結果の差異を表示できるってのは良いかも
さて、1.4.0で何を機能強化したのかを見てました。
色々改善されています。
その中で、自分の目を引いたのがこれです。
1. エラー(誤分類)解析機能、推論結果のソート機能
何故かというと。
学習・評価やって、エラーが何%あったとかわかると、その内訳=「どんな画像やデータがエラー(誤分類)になっているのか」を確認したくなることは多々あるからです。
実際、自分もEXCEL使ってやったりしてますしね。
早速、使ってみます。
エラー(誤分類)解析機能
例によって、LeNet.sdcprjで学習・評価やりました。
Confusion Matrixを表示して、エラー(誤分類)しているところを選択して右クリックしたところです。
y:label=2(正解は2)なので、y'_2に数字がカウントされているのが正解。
それ以外のところにカウントされていれば、エラーです。
なので。
上記の例でいくと、y:label=2(正解=2)なのに、y'_3・・つまり「3」に誤認識しているものを「List」するってわけですね。
表示したのがこちら。
なるほど・・。
推論結果のソート機能
こちらはOutput Resultです。
並び変えをしたい列を選択して、右クリックして「Sort」を選びます。
こうすると、昇順で並びます。
うーん。
なるほどね・・。
ちょっと惜しいなと思ったこと
機能追加されたのは良かったです。
でも。
なんか惜しい・・と思った部分もあります。
例えば。
エラー(誤認識)解析は、Confusion Matrixを表示して、「y:label=2(正解=2)なのに、y'_3・・つまり「3」に誤認識しているもののList」だと、パッと認識して使える人にとっては十分な機能だと思います。
でも、初級者にとっては、「y:label=2(正解=2)なのに、y'_3・・つまり「3」に誤認識している」とパッと認識するのは、ちょっとハードルが高い。
どうしても。
y:label=2の横に、y'の列(つまりy'=3を表示する)があればなあ。
それだけで、劇的に直観的なわかりやすさは向上するのにな・・惜しいな・・などと思ってしまうわけです。
Sortも同じで、ロス率とかをソートして確認するみたいな用途だといいのですが、y:labelの列の横に、y'の列が1列あれば、y:labelで並び替えて「y」と「y'」を並べてみることで、エラーの行を見分ける使い方ができたら、もっといいのにな・・とか。
まあ、細かいことかもしれませんが。
ではでは。