目次
- ラグビーのゲーム分析に使われる「スポーツコード」というアプリの話
- 調べる競技はラグビーにする
- スポーツコード（Sportscode）
- コード（タグ）付けとラベルの入力は大変そう
- ビデオからの自動タグ付けの研究とか
- 自動分類を行うシステムのアプローチとは
- まとめ
ラグビーのゲーム分析に使われる「スポーツコード」というアプリの話
テレビのスポーツ中継を見ていると、時折、スタッフらしき人がパソコンて何かをやっているのに気づきました。
試合のデータを後で分析するために入力したり、以前のデータを見て、監督・コーチに情報として提供できるよう分析したり、レポーティングをしているそうです。
スポーツで入力するデータってどんなものなのか？
どういうソフトを使っているのか？
などなど、気になる点は多々あって、調べてみることにしました。
調べる競技はラグビーにする
調べるにあたって、競技をしぼることにしました。
今回は、自分の好きな「ラグビー」にします。
すると「スポーツコード」というソフトに行き当たりました。
ラグビー専用ではありませんが、利用ユーザ欄を見て驚愕しました。
ラグビーのW杯にでていた代表チームがズラリと並んでいます。
主だった代表チームを列挙してみると
- アルゼンチン代表チーム（ロス・プーマス）
- カナダ代表チーム（メイプル・リーフス）
- イングランド代表チーム（レッドローズ）
- フィジー代表チーム（フライング・フィジアンズ）
- フランス代表チーム（レ・ブルー）
- ジョージア代表チーム（レロス）
- アイルランド代表チーム（愛称なし）
- イタリア代表チーム（アズーリ）
- 日本代表チーム（ブレイブ・ブロッサムス）
- ニュージーランド代表チーム（オールブラックス）
- ロシア代表チーム（ベアーズ）
- スコットランド代表チーム（愛称なし）
- 南アフリカ代表チーム（スプリングボクス）
- ウェールズ代表チーム（レッドドラゴンズ）
- ウルグアイ代表チーム（ロス・テロス）
- アメリカ代表チーム（イーグルス）
です。
オーストラリア代表（ワラビーズ）、サモア代表（マヌ・サモア）、トンガ代表（イカレ・タヒ）、ナミビア代表（ウェルウィッチアス）の４ケ国を除く代表チームが勢ぞろい・・すごいシェアです。
ラグビー界におけるデファクトスタンダードなのでしょう。
スポーツコード（Sportscode）
スポーツコードというのは、何ができるソフトなのでしょうか。
サイトを見る限り「動画の各シーンに分類用のコード（タグみたいなものかな）を付けて、効率的にビデオ分析をすることができる」ようです。
引用すると。
インスタンスを選択してクリックするだけで、［オーストラリアのラインアウト］など、見たいプレーだけを編集、再生して見ることができます。
とか
個々のプレーに、さらに細かい情報を追加できます。
例えば［ラインアウト］に［人数］［位置］［獲得]か[ターンオーバー]かなどの情報を追加できます。
とか
プレーの数やそこに記録されているラベルの情報は、コードマトリックス（集計表）上で一目で確認できます。
単に回数の集計ができるだけでなく、ラベルを組み合わせての絞り込み検索、さらに数値をクリックすると該当するシーンを即座に再生してくれます。
とか
複数の試合から、ミーティングで説明するシーンだけを選んで準備しておきたいとき、ムービーオーガナイザーにドラッグ＆ドロップで登録して長さを調節しておけば、ミーティングでいちいち各試合のデータを開かなくとも、プレゼン用ムービーが作れます。
とか・・。
確かに、試合の動画のポイントとなるシーンにタグをつけて、検索したり、抜き出しておけると、監督・コーチがゲームの分析をして作戦をたてたり、ミーティング等で選手に説明・指示する場合に、ものすごく便利だというのは、よーくわかります。
コード（タグ）付けとラベルの入力は大変そう
機能がわかれば、何をしているか？は簡単に推測できます。
あの人たちは
- ビデオデータをスポーツコードに取り込む
- ビデオデータに分析に必要なコード（タグ）付けとラベルの入力
をしているのに間違いありません。
とはいえ。
どういうコード（タグ）やラベルをつけるかは、事前に監督やコーチと決めておくとしても、ラグビーだと、各局面局面での「スクラム」「ラインアウト」「タックル」「成功」・・などなど多岐にわたります。
それを試合映像をタイムラインで追いながら、手作業でポチポチつけていくとしたら、いやあ・・想像するに大変ですね。
相当な根気が必要なこともありますし、ラグビーは密集戦も多いですし、ゲームの映像を見て瞬時に何のプレーかを判断するには、かなりの知識や経験と集中力が必要です。
しかも。
スピードも求められるはずです。
W杯みたいな連戦が続く場合だと、とりあえずビデオだけとっておいて、試合映像のコード（タグ）やラベル付けは後でのんびりやろうってわけにはいきません。
試合中にでも、必死にデータを取り込み、コード（タグ）やラベル付けをやってたのだろうなと思うと・・しんどいだろうなあ・・ってのが正直な気持ちです。
ビデオからの自動タグ付けの研究とか
スポーツコードはすごいけど、人手でコード（タグ）やラベル付けを「人手」でやるというのは、やっぱ、ちょっとしんどいな。
なんて考えていると、同じように考えて、研究されている方がいました。
図を引用すると。
この説明には。
一台のカメラで撮影したラグビー試合映像を対象に、画像処理と深層学習を用いて選手やボールの位置を取得しながら、ラグビーの戦術分析に必要な主要プレーの自動分類を行うシステムを東芝と共同で開発しています（図1）
とあります。
おーー。
まさにこれですよ。
今のところ、「スポーツコード」的な検索とかシーン識別などの機能も、自前で実装しようとされているように見えます。
でも、インタフェースとして「スポーツコード」互換のコード・ラベル付きデータなどを出力・取込みできたりするようになれば、世界中のスポーツコードユーザが欲しがるでしょうし、ビジネスにもなるよな・・なんてことを勝手に夢想してしまいました。
自動分類を行うシステムのアプローチとは
上記の「ラグビーの戦術分析に必要な主要プレーの自動分類を行うシステム」なんてキーワードを聞くと、当然、どんなアプローチで実現しようとされているのかな？・・と興味がわきます。
まず、タグ付けをする前提として、動画から「選手」とか「密集領域（スクラムとかモールとか）」を検出する必要があるようです。
それには、Faster R-CNNという手法を使っているそうです。
Faster R-CNNってのは、2015年にMicrosoftが発明した物体検出アルゴリズムです。
それをそのまま使っているのですね。
かつ。
最初にVOC2012で公開されているデータセットで学習したものをベースにして、入手したラグビー画像を転移学習して性能向上を試みたとのこと。
で。
物体検出した後の「プレイ推定」には、CNNとLSTNを使っている・・と。
どうも。
- 動画を1枚ずつ画像データとして切り出す。
- CNNにかけて特徴量に変換したものを512ノードにそろえる。
- 上記をLSTNのインプットにする
みたいな感じで学習・推論して、適切なタグ・ラベルを自動分類させようという、なんとなく、ディープラーニングでなじみのある手順がでてきます。
今のところ（2019年7月）、80%程度の正答率ということです。
80%というのは「まだまだ、実用化には遠い」ので、これから様々な手法を組み合わせてチューニングしながら、実用化を目指していくとのことでした。
まとめ
スポーツの世界も、今はコンピュータを使ったデータ処理や分析能力なんかが、とても重要になっているみたいですし、自分が知らないだけで、いろんなソフトや技術が裏では活躍してるんでしょうね。
そういうのを調べてみるのも興味深い。
そう思えるきっかけになりましたし、実際、調べてて面白かったです。
ということで・・ではでは。
