SE_BOKUのまとめノート的ブログ

SE_BOKUが知ってること・勉強したこと・考えたことetc

ソニーのニューラルネットワークコンソールのクラウド版でデータセットを追加する。

ニューラルネットワークコンソール(Neural Network Console)が公開されたので、色々試してみます。 

今回はデータのアップロードを試してみようかと思います。

 

まず、クラウドにサインイン

 

ここの「start the cloud version」ボタンから入ります。

dl.sony.com

 

ユーザ登録したメールアドレスとパスワードでログインします。

f:id:arakan_no_boku:20171108213341j:plain

 

ログインした画面で、今回はDatasetタブを選びます。

f:id:arakan_no_boku:20171109193240j:plain

 

データセットの追加はアップロードのみ

 

今回は、データセットを追加します。 

Windows版だと「Create Dataset」と「Open Dataset」が2つあったところに、クラウド版の場合は「Upload Dataset」ひとつしかありません。

f:id:arakan_no_boku:20171109193725j:plain

 

とりあえず、「Upload Dataset」を押します。 

すると、このようなダイアログが表示されます。

f:id:arakan_no_boku:20181112201530j:plain

英語の意味は「次のハッシュコードをコピーし、データセットアップローダまたはNNablaコマンドラインで使用しなさい。」ということです。 

重要なのは、赤枠で囲っているハッシュコードの部分です。

これはとても長いので右端の「全選択ボタン」を押して選択状態にしてから、右クリックでコピーしておいてください。

クリップボートから消えるといけないので、ハッシュコードをコピーしたら、できたらエディタかなんかに貼り付けて消えないようにしておくことをお勧めします。 

アップロードの手段は2種類ります。

NNablaのコマンドラインで何らかの命令を打ち込む方法(Check Command)

と、データ・セットアップローダー(Get Uploader)を使う方法です。 

正直、コマンドラインは難易度が高いので、特に理由がなければ「Get Uploader」ボタンの方を押します。

「Get Uploader」ボタンを押すと、アップローダーダウンロードページに遷移します。

f:id:arakan_no_boku:20171109195717j:plain

Windows10 64ビット版をダウンロードします。 

ZIPファイルを解凍すると「nnc_uploader.exe」という実行ファイルになります。

f:id:arakan_no_boku:20171109200635j:plain

 

データ・セットCSVの準備

 

残念ながら、Windows版のように画像ファイルだけ用意しておいて、データ・セットCSVを生成するような機能はクラウド版にはありません。 

アップロードするのは作成済のデータセットCSVになります。 

だから、まずデータ・セットCSVを作成して、それからアップロードですかね。 

手順としては。 

今回は、アップロードする手順を確かめたいだけなので、以前にWindowsニューラルネットワークコンソール用に作ったデータ・セットCSVを使います。 

Windows版でのデータ・セットCSVの作成方法自体は、何度か記事にしているので、 そちらを参照ください。

arakan-pgm-ai.hatenablog.com

arakan-pgm-ai.hatenablog.com

 

とりあえず、データセットCSVを作成した前提で、次にいきます。

 

アップローダーでロードする

 

解凍した「nnc_uploader.exe」で起動します。

f:id:arakan_no_boku:20171109200635j:plain

忘れずに、ハッシュコードはクリップボードにコピーしておきます。

この画面の赤枠の部分ですね。

f:id:arakan_no_boku:20171109222445j:plain

 以下のようなシンプルな画面が開くので、「Paste」ボタンを押して、ハッシュコードを貼り付けます。

f:id:arakan_no_boku:20171109213856j:plain

 続けて、Selectボタンで、アップロード対象のデータ・セットCSVファイルを指定します。 

startボタンを押して、アップロードします。

f:id:arakan_no_boku:20171109215908j:plain

 ログが出力されて、Finishedと表示されました。 

ニューラルネットワークコンソールクラウドの画面に戻って、Datasetタブを開くと、さきほどUploadしたデータ・セットCSVファイル名が追加されてます。

画像ファイルがある場合は、CSVファイルをアップロードするとき、データセットCSVに書かれたパス上の画像ファイルも一緒にアップロードされます。

そのため、アップロードにはそれなりに時間がかかります。

上記で「Finished」とでても、クラウド上ではloadingと表示されていて、すぐには使えません。

これが、かなりの時間がかかります。

画像ファイル2つくらいでも、数分は待つことになります。

ファイル数が多い時は、それなりに覚悟して待たないとダメでしょうね。 

今回は2つだけなので、とりあえず、数分待つと、以下のように追加されました。

f:id:arakan_no_boku:20171109220637j:plain

 

赤枠で囲った部分が、今回追加したデータ・セットCSVです。 

一応、うまく追加できたみたいですね。 

よしよし。 

なお、こちらのページにもアップロードの仕方が書いてあります。

support.dl.sony.com

 

おまけ-コマンドラインをお勧めしない理由

 

NNabla(Neural network Libraries)を使ったコマンドラインからのアップロード方法もこのページに書いてあります。 

ただ、貼り付けるパスフレーズ(ハッシュコード)が馬鹿みたいに長いので、コマンドラインでやると、ちょっとどころではなく・・面倒でした。 

だから、よほどの理由がない限り(例えば、バッチ処理でデータアップロードを自動化したいとか・・)GUIのアップロードツールを使った方がいいですね。 

だって、貼り付けるハッシュコードってこんなんですよ。(笑)

EzJhbGciOiJSUzI1NiIsInR5cCI6IkpXVCIsImtpZCI6IjE1MDU0NTg4OTQifQ.eyJpc3MiOiJodHRwczovL2FwaS5hY20uYWNjb3VudC5zb255LmNvbSIsImF1ZCI6IjVhMzNjYTQ5LTJiMjgtNDQ0NS1hMTJhLTdhMDJkZTViMjljNyIsImV4cCI6MTUxMDIyNjc4MiwiaWF0IjoxNTEwMjIzMTgyLCJzdWIiOiIxNjg4MDM5MjAyMTMxOTMyNTgiLCJhdXRoX3RpbWUiOjE1MTAyMjMxODAsIm5vbmNlIjoiczE1ZWEyNzc2XzaerdMjQwZGMwODU2NWE5MDRmZDc4MmY4ZjY1Nzc1YTUyY2EyMjk2NzZlMWIwZjQ4Y2NiY2JlYSJ9.jYRfLIoc9cK4_xEe3wGT0DIyTxBBsaTbNe2ATizFxDsyy8oQGaDue1ckqlVio0VDiLaXQ-65iHqrTfC9m0Va2mT2nsUbxmFmlGikEeFI6xRU3xCRSBXdK9LhS5vQ-X-6kLKWkyaydOoVHuNsR1xFlxYyYDHFzNCAbfHmSIKPUN2XH0X19JZGDXyuQZSvNPgCF7qxweOAUgBi9eP2JBOolXFfBXYxpbI4kVtKyNB2ogsr4Lkzm2vluzwGdkKoSPE61cDMtXdBmI1Tg34LABVSk0jq6K8LNCUKJKvAn3z5rjvBKSbTGm9rqU9umw4dYEQJDzaFzeSfbQqWBc0KKZcn8w

 

あ、ちなみに、セキュリティを考慮して、一部書き換えてあるので、上記をコピーして使おうとしても無駄ですよ。 

まさか、する人はいないと思いますけど・・念のため。 

ちゃんと、クラウドに登録して、正しい手順でハッシュコードを入手してください。 

ではでは。 

 

2018/11/14追記

com,com.png みたいにファイル名に「,(カンマ)」が含まれていても、Neural Network Console(Windows版)の「create dataset」では、「".\0\com,com/png",0」みたいに、""(ダブルコーテーション)で囲むことで、エラーにせずにデータセットCSVを作ってしまいます。
じゃあ、OKなんだと思うと、世間はそう甘くなく。

Neural Network Consoleクラウド版では以下のようなエラーになって、アップロードできません。

f:id:arakan_no_boku:20181114204806j:plain

APP版とクラウド版で基準を統一してほしいとは思いますが。

とにかく、この状態になったら「ファイル名を疑え」ってことみたいです。

 

f:id:arakan_no_boku:20171115215731j:plain