JP5858261B2

JP5858261B2 - 仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法

Info

Publication number: JP5858261B2
Application number: JP2014501008A
Authority: JP
Inventors: ウクジャン、ヒュン; ダムジョン、ヒュン; ジンパーク、ヒュン; シクユーン、ヒュン
Original assignee: ゴルフゾンユウォンホールディングスカンパニーリミテッド
Priority date: 2011-03-22
Filing date: 2012-03-22
Publication date: 2016-02-10
Anticipated expiration: 2032-03-22
Also published as: CA2830499A1; AU2012231931A1; CA2830499C; AU2012231931B2; KR101048090B1; JP2014508625A; TW201244776A; WO2012128574A3; CN103442773B; TWI445564B; US20140004969A1; WO2012128574A2; US9333409B2; CN103442773A

Description

本発明は、仮想ゴルフシミュレーション装置及びその方法と、これに用いられるセンシング装置及びセンシング方法に係り、特に、仮想のゴルフコースが映像としてシミュレーションされ、使用者が打撃したゴルフボールの軌跡がセンシング装置によりセンシングされて上記仮想のゴルフコースでシミュレーションされる仮想ゴルフシミュレーション装置及びその方法と、これに用いられるセンシング装置及びセンシング方法に関する。

近年、野球、サッカー、バスケットボール、そしてゴルフのような人気スポーツを室内や特定の場所でシミュレーションを通じてインタラクティブスポーツゲーム（ＩｎｔｅｒａｃｔｉｖｅＳｐｏｒｔｓＧａｍｅ）の形態で楽しめるようにする多種多様な装置の開発が活発に行われている。

特に、最近では、いわばスクリーンゴルフシステムが登場し、使用者がゴルフクラブを持ってスイングをして打撃マット上のボールを打撃すると、センシング装置がそれをセンシングし、移動するゴルフボールの物理的特性を抽出し、これに基づいて仮想のゴルフコースでボールの軌跡がシミュレーションされるようにすることによって、使用者が仮想の現実上でゴルフを楽しめるようになった。

このようなインタラクティブスポーツゲームにおいてゴルフボールのような球を使用するスポーツに対するシミュレーションでは、運動するボールの動きに関する物理的情報を正確にセンシングする必要があり、そのための各種センシングシステムの研究開発が活発に行われている。

例えば、赤外線センサーを用いたセンシング装置、レーザーセンサーを用いたセンシング装置、音響センサーを用いたセンシング装置、そしてカメラセンサーを用いたセンシング装置などを含め、種々のセンシング方式が登場しており、特に、運動するボールの状態を正確にセンシングするために、運動するボールのイメージを取得して分析するカメラセンサー方式のセンシング装置に関する研究が活発である。

しかしながら、カメラセンサー方式において正確なセンシングのためには高い解像度の超高速カメラが必要であるが、これはセンシング装置の価格を非常に上昇させるため限界があり、このような限界から、比較的低解像度及び低速度のカメラを使用すると、取得されるイメージの品質が低いため、そのイメージからボールを正確に抽出して分析し難いという問題につながる。

本発明は、仮想ゴルフシミュレーションを利用する使用者がゴルフクラブでボールを打撃することをセンシングするために、使用者がボールを打撃することに対するイメージを取得し、該イメージからボールを見つけてその運動軌跡を算出することによって、ボールの軌跡に対するシミュレーション映像が具現されるようにするもので、特に、カメラで取得されたイメージ上でボールとして判断されるボール候補に対する２次元軌跡を分析することによって正確で迅速にボールを抽出できるため、低い解像度及び速度のカメラを用いるにもかかわらず、運動するボールの物理的特性情報を正確で迅速に算出することができる仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法を提供することにある。

本発明の一実施例に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置は、使用者がスイングによりボールを打撃することに対して複数のフレームのイメージを取得するカメラユニットと、前記取得した各フレーム別イメージからボール候補を抽出し、前記各ボール候補の３次元座標を２次元座標に変換して２次元軌跡を分析することによってボールの軌跡を抽出し、運動するボールに関する物理的特性情報を算出する、センシング処理ユニットと、を備える。

一方、本発明の一実施例に係る仮想ゴルフシミュレーション装置は、使用者がスイングによりボールを打撃することに対してそれぞれ複数のフレームのイメージを取得するカメラユニットと、該取得したイメージに対して各フレーム別にボール候補を抽出し、連続したフレームに対して前記各ボール候補を連結するボール軌跡リストを生成するボール軌跡リスト手段、及び前記生成された全てのボール軌跡リストに対して２次回帰分析を行ってボール軌跡候補を生成し、あらかじめ設定された条件に基づいて前記ボール軌跡候補からボールの軌跡を抽出するボール軌跡認識手段を有するセンシング処理ユニットと、を備えるセンシング装置と；前記センシング処理ユニットで抽出された情報に基づいて、ボールの軌跡に対するシミュレーション映像を具現する映像具現ユニットと；を備える。

一方、本発明の一実施例に係る仮想ゴルフシミュレーションのためのセンシング方法は、使用者がスイングによりボールを打撃することに対して複数のフレームのイメージを取得する段階と、前記取得したイメージに対して各フレーム別にボール候補を抽出する段階と、前記ボール候補に対する３次元座標を２次元座標に変換して２次元軌跡を抽出する段階と、前記２次元軌跡を分析してボールの軌跡を抽出することによって、運動するボールの物理的特性情報を算出する段階と、を含む。

本発明に係る仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法は、仮想ゴルフシミュレーションを利用する使用者がゴルフクラブでボールを打撃することをセンシングするために、使用者がボールを打撃することに対するイメージを取得し、該イメージからボールを見つけてその運動軌跡を算出することによって、ボールの軌跡に対するシミュレーション映像が具現されるようにしたもので、特に、カメラで取得されるイメージ上でボールとして判断されるボール候補に対する２次元軌跡を分析することによって正確で迅速にボールを抽出できるため、低い解像度及び速度のカメラを用いるにもかかわらず、運動するボールの物理的特性情報を正確で迅速に算出できる効果を奏する。

本発明の一実施例に係る仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例を示す図である。本発明の一実施例に係る仮想ゴルフシミュレーション装置の構成を示すブロック図である。図２に示したセンシング装置の具体的な構成、及び各構成要素の機能を示す概略図である。（ａ）は、カメラユニットで取得したイメージであり、（ｂ）は、（ａ）のイメージからあらかじめ設定された区間に対する領域を分離したソースイメージである。（ａ）は、ソースイメージであり、（ｂ）は、静止した背景映像を示すイメージであり、（ｃ）は、ソースイメージから背景映像を除去した状態のイメージである。（ａ）は、図４及び図５に示すように処理されてボール候補が抽出された複数のフレームを一つに合わせ、一つのイメージで複数のフレームのボール候補を示す図であり、（ｂ）は、ボールに対する基準イメージとしてあらかじめ設定されて保存されたボールテンプレートを示す図である。最終的に選定された各フレーム上のボール候補を示す図である。図７に示した各フレーム上のボール候補を互いに組み合わせてボール軌跡リストを生成した一例を示す図である。本発明の一実施例に係る仮想ゴルフシミュレーション装置のセンシング装置で利用する座標系を示す図である。図８に示したボール軌跡リストに対してｙｚ平面にマッピングして導出されたボール軌跡候補を示す図である。ボールの運動に関する物理的特性を説明するための図である。本発明の一実施例に係る仮想ゴルフシミュレーションのためのセンシング方法を示すフローチャートである。

本発明に係る仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法の実施例を、図面を参照して詳しく説明する。

まず、図１及び図２を参照して、本発明の一実施例に係る仮想ゴルフシミュレーション装置及びこれに用いられるセンシング装置について説明する。

図１は、本発明の一実施例に係る仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例を示す図であり、図２は、図１に示したスクリーンゴルフシステムに適用された仮想ゴルフシミュレーション装置の構成を示すブロック図である。

図１及び図２に示すように、本発明の一実施例に係る仮想ゴルフシミュレーション装置は、使用者がボールＢを打撃することをセンシングするためのセンシング装置Ｓと、仮想のゴルフコースに関する映像を具現し、センシング装置Ｓのセンシング結果に基づいて仮想のゴルフコースでボールの軌跡に対するシミュレーション映像を提供するようにして仮想ゴルフシミュレーションを進行するシミュレータ１と、を備えている。

図１に示すように、本発明の一実施例に係る仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムは、所定大きさの空間を提供するゴルフブース２の床面に設けられたスイングプレート１００上に使用者がゴルフスイングをするための打席１１０が設けられ、該打席１１０の一側には打撃マット１２０が設けられており、使用者が打席１１０で打撃マット１２０上のボールＢをゴルフスイングにより打撃でき、且つ前方にはスクリーン３が設けられており、シミュレータ１から伝達された映像情報を映像として出力するための装置（図２の映像出力部３０に相当し、例えばビームプロジェクトなどがある。）がスクリーン３上に仮想ゴルフシミュレーションに関する映像を投影できるようになっている。

ここで、打席１１０及び打撃マット１２０は、ゴルフブース２の床面に設けられてもよいが、図１に示すように、スイングプレート１００上に設けられてもよい。

スイングプレート１００は、前後左右方向に所定角度で傾斜可能に設けられており、シミュレータ１に接続して、現在具現されている仮想のゴルフコースの地形に対応して勾配を形成するようになっている。

一方、図１に示すように、ゴルフブース２内にはセンシング装置Ｓが設けられており、使用者がボールＢを打撃することをセンシングする。

すなわち、図２に示すように、センシング装置Ｓは、複数個のカメラ５１，５２で構成されるカメラユニット５０と、カメラユニット５０で取得したイメージを処理することによって、移動するボールの物理的特性を抽出するセンシング処理ユニット６０と、を備えている。

カメラユニット５０は、一つのイメージセンシングのためのカメラで構成されてもよく、２つ以上のカメラで構成されてもよいが、移動するボールＢのイメージを取得して３次元空間におけるボールの座標を抽出するには、図１に示すように、２つ以上のカメラ５１，５２が相互連動して駆動するステレオ（Ｓｔｅｒｅｏ）方式のカメラユニットとすることが好ましい。

ここで、移動するボールの物理的特性としては、ボールの速度、ボールの移動方向（水平方向の移動角度）、ボールの高さ角（垂直方向の移動角度）、ボールにかかるスピン（Ｓｐｉｎ）などが含まれるとよい。

センシング処理ユニット６０は、カメラユニット５０で取得したイメージをフレーム単位で順次に入手して収集するグラバー７１と、グラバー７１から伝送されたイメージを処理することによって、打撃準備が完了したか否か、及び使用者による打撃がなされたか否かを感知するショットディテクタ７２と、ショットディテクタ７２で打撃が感知されると、ショットディテクタ７２から打撃に関連したイメージを受信して所定のイメージ処理をすることによって、移動するボールの物理的特性情報を抽出するイメージ処理部８０と、ショットディテクタ７２から伝達されたイメージからゴルフクラブの運動軌跡を分析することによって、ボールのスピン（Ｓｐｉｎ）に関する情報を抽出するクラブイメージ処理部９０と、を備えている。

さらに、センシング処理ユニット６０は、複数個のカメラ５１，５２のそれぞれで取得するイメージを相互マッチングすることで、それぞれのカメライメージの２次元情報（１台のカメラから抽出される情報は２次元情報である）を３次元情報に変換したり、逆に、複数個のカメライメージを相互マッチングして抽出した３次元情報を２次元情報に逆変換したりするための変換手段７３を備えることが好ましい。

一方、本発明の一実施例に係る仮想ゴルフシミュレーション装置を構成するシミュレータ１は、制御部Ｍ、データベース１０、映像処理部２０及び映像出力部３０などを備えることが好ましい。

データベース１０は、仮想ゴルフシミュレーションに必要な全てのデータを保存する。例えば、システム駆動に必要なデータと、仮想のゴルフコースの映像の具現に関するデータ、ボールの軌跡に対するシミュレーション映像の具現に関するデータなどを保存する。

映像処理部２０は、仮想のゴルフコースに関する映像や仮想のゴルフコースで展開されるボールの軌跡に対するシミュレーション映像などを具現するための所定の映像処理を行う。

映像出力部３０は、映像処理部２０から伝送された映像情報をスクリーン上に出力し、使用者が見ることができるようにする。

制御部Ｍは、センシング装置Ｓからセンシング結果に基づく情報を受信し、データベース１０、映像処理部２０及び映像出力部３０などの全ての構成要素の動作を制御する。すなわち、制御部Ｍ、データベース１０、映像処理部２０などは、センシング装置Ｓのセンシング結果に基づいてボールの軌跡に対するシミュレーション映像を具現する映像具現手段として機能する。

一方、図３を参照して、図２に示したセンシング装置Ｓの具体的な構成、及び各構成要素の機能について説明する。

図３に示すように、本発明に係るセンシング装置において情報の流れは、カメラユニット５０→グラバー７１→ショットディテクタ７２→ボールイメージ処理部８０及びクラブイメージ処理部９０→シミュレータ１の順となる。

カメラユニット５０は、打席及び打撃マットが設けられている部分を含む一定範囲を撮影しながら１秒当たり数百フレームのイメージを取得する。

このように取得されたイメージはグラバー７１に伝達され、グラバー７１は、カメラユニット５０からのイメージを保存しながらショットディテクタ７２に伝達し、イメージ処理がなされるようにする。

ショットディテクタ８０は、グラバー７１から伝達されたイメージからボールを見つけて、あらかじめ設定された条件を満たすか否かを判断することによって、打撃準備が完了したか否かを感知し、打撃準備が完了した位置からボールが移動するか否かを判断することによって、使用者により打撃がなされたか否かを感知する。

ショットディテクタ７２の打撃準備感知及び打撃感知に関する具体的な方法は、本発明の肝心な事項でないから、その具体的な説明は省略する。

もし打撃がなされた場合に、ショットディテクタ７２は、打撃時点のイメージ及びそれ以降の複数フレームのイメージの両方を保存するが、これはボールイメージ処理部８０に実時間伝送してイメージ処理がなされるようにするためである。

また、ショットディテクタ７２は、打撃がなされた場合に、打撃時点以前の複数フレームのイメージも共に保存してクラブイメージ処理部９０に伝送し、クラブイメージ処理部９０は、ショットディテクタ７２から伝送されてきたイメージ及びボールイメージ処理部８０で処理されたイメージからゴルフクラブを抽出して処理することによって、ゴルフクラブヘッドの運動軌跡を導出し、ボールのスピンを推定する。

ボールイメージ処理部８０及びクラブイメージ処理部９０で抽出されたボールの物理的特性情報はシミュレータ１に伝送され、この情報に基づいて、シミュレータ１は仮想のゴルフコースでボールが移動するシミュレーション映像を出力し、これで、仮想ゴルフシミュレーションが進行される。

ここで、ボールイメージ処理部８０は基本的に、カメラユニット５０から取得した各フレーム別イメージからボール候補を抽出し、これら各ボール候補の３次元座標を２次元座標に変換して２次元軌跡を分析することによって最終的なボールの軌跡を抽出し、運動するボールに関する物理的特性情報を算出する機能を担う。

具体的に、ボールイメージ処理部８０は、カメラユニット５０から取得したイメージに対して各フレーム別にボール候補を抽出し、連続したフレームに対して各ボール候補を連結するボール軌跡リストを生成するボール軌跡リスト手段８１と、生成された全てのボール軌跡リストに対して２次回帰分析（２ｎｄ−ｏｒｄｅｒＰｏｌｙｎｏｍｉａｌＲｅｇｒｅｓｓｉｏｎＡｎａｌｙｓｉｓ）を行ってボール軌跡候補を生成し、あらかじめ設定された条件に基づいて、上記ボール軌跡候補からボールの軌跡を抽出するボール軌跡認識手段８２と、を備えることが好ましい。

ボール軌跡リスト手段８１は、各フレームイメージに対して所定のイメージ処理をすることによってそれぞれのフレームからボール候補を抽出するボール候補抽出手段８１ａと、各フレーム上のボール候補を互いに組み合わせることでボール軌跡リストを生成するリスト生成手段８１ｂと、を備えることが好ましい。

そして、ボール軌跡認識手段８２は、リスト生成手段８１ｂで生成されたボール軌跡リストの各ボール候補の座標を、３次元座標系の一側平面にマッピング（Ｍａｐｐｉｎｇ）させて、すなわち各ボール候補の３次元座標を一側平面上の２次元座標にマッピングして２次元軌跡、すなわちボール軌跡候補を生成することによって２次回帰分析を行うボール軌跡抽出手段８２ａと、各ボール軌跡候補に対する２次関数をチェックし、あらかじめ設定された条件を満たすボール軌跡候補を抽出する回帰分析手段８２ｂと、回帰分析手段８２ｂで抽出されたボール軌跡候補に対して、ボールの運動に関する物理的特性に基づくあらかじめ設定された条件を満たすか否かをチェックし、最終的なボールの軌跡を選別するボール軌跡チェック手段８２ｃと、を備えることが好ましい。

すなわち、カメラで取得したイメージにはボールのイメージも含まれているが、ボールに似た形状の様々なノイズ（例えば、周辺地形物の特定部分、使用者の一部身体、ゴルフクラブのヘッド部分など）も共に存在しているため、このようなイメージから正確にボールを抽出するために、３次元座標を２次元座標にマッピングして２次元軌跡を得、この２次元軌跡を分析して、ボールの軌跡とは認められない軌跡を除去し、物理的にボールの運動軌跡と認められる軌跡を抽出して最終的にボールの軌跡として選定し、このボール軌跡上のボールの座標を獲得することによって、最終的なボールの物理的特性を算出できるように構成されている。

まず、図３から図８を参照して、ボール軌跡リスト手段８１によるボール候補抽出及び抽出されたボール候補の組み合わせによるリスト生成について説明する。

まず、ボール軌跡リスト手段８１のボール候補抽出手段８１ａは、図４（ａ）に示すように、カメラから取得したイメージ２００から、図４（ｂ）に示すようなソースイメージ２２０を分離する。

これは、カメラから取得したイメージ２００は、広い撮影領域のイメージを含んでいるため、これを全部処理するには時間がかかり、よって、イメージ２００から必要な部分のみを抽出し、該抽出されたイメージのみを処理することによってイメージ処理時間を短縮するためである。

図４（ｂ）に示すソースイメージ２２０は、図４（ａ）に示したイメージにおいて打撃の行われた地点Ｐ１を基準にして所定距離前方の地点Ｐ２までの区間に対するイメージと定義されるとよい。

すなわち、ボールが打撃されると、前方のスクリーン３（図１参照）に向かって飛んで行くため、打撃の行われた地点から所定距離前方に離れた地点までのボールの動きを分析することによって、ボールの速度、方向及び高さ角などの情報を充分に算出することができる。

ここで、図４（ａ）において地点Ｐ２は、スクリーン３（図１参照）に該当する地点であってもよく、スクリーンよりも所定距離奥側のあらかじめ設定された地点であってもよい。

カメラから取得したイメージにおいて地点Ｐ１と地点Ｐ２を指定し、その区間に該当するイメージを分離することによって、図４（ｂ）に示すようなソースイメージを得ることができる。

一方、上記のように、得られたソースイメージは、図５に示すように、差演算を用いて背景映像が除去することによって、ボール候補に関するイメージのみを得ることができる。すなわち、図５（ａ）のソースイメージ２２０から図５（ｂ）の背景映像２３０を差演算して除去することによって、図５（ｃ）に示すように、動く映像のみが抽出される。

差演算により抽出されたイメージ２４０上で動く部分がいずれもボールとは認められず、その中には、ゴルフクラブのヘッド部分や使用者の身体一部などのノイズも存在することがある。

そのため、ボール候補抽出手段８１ａは、差演算により抽出されたイメージ２４０において、ボールの幾何学的特性に基づいてボールと認められる客体をボール候補として指定する。例えば、縦横比が大きすぎる客体は「ボール」と認められず、除外されることが好ましく、小さすぎて１〜２個程度のピクセルで表示される客体も「ボール」と認められないため除外する。

このようにボールの幾何学的特性に基づいて除去された客体以外がボール候補と１次的に指定され、さらに、１次的に指定されたボール候補はボールテンプレートと比較し、ボールテンプレートに一定程度以上類似しているものがボール候補と２次的に指定される。

ここで、ボールテンプレートは、ボールの基準イメージとしてあらかじめ設定されて保存されているイメージである。ボール候補がボールテンプレートに数値的に一定数値以上似ている場合にのみボール候補として指定される。

ボール候補抽出手段８１ａは、１次的に抽出されたボール候補に対してボールテンプレートとマッチングして類似度を抽出することによって２次的にボール候補を抽出するためのテンプレートマッチング手段を備えることが好ましい。

ところが、上記のようにボール候補とボールテンプレートとを比較して正確にボールを見つけることは容易でない。その理由は、同一のボールに対するイメージであっても、フレームごとに異なる大きさで現れることがあるからである。すなわち、カメラの撮影領域は固定しており、その撮影領域においてボールの動きに従ってカメラとの距離が変化するため、動くボールに対するイメージはフレームごとに別々の大きさで現れざるを得ず、各フレームごとに同一のボールに対しても大きさが異なってくるわけである。これに対し、ボールテンプレートの大きさは固定しているため、ボール候補とボールテンプレートとの類似度を正確に判断することは容易でない。

そこで、上記テンプレートマッチング手段は、ボール候補の大きさを推定し、該推定した大きさによってボール候補とボールテンプレートとを可変的にマッチングさせて類似度を抽出することによって、高い正確性でボールを見つけるようになっている。

図６（ａ）は、上記のテンプレートマッチング手段がボールテンプレートを可変的にマッチングさせることを説明するために複数のフレームのボール候補（１次的に抽出されたボール候補）を一枚のイメージに表した図であり、図６（ｂ）は、ボールテンプレートＴを示している。

図６（ａ）で、Ｃ１−１及びＣ１−２は、第１フレームのソースイメージから抽出されたボール候補であり、Ｃ２−１は第２フレームから、Ｃ３−１は第３フレームから、そしてＣ４−１は第４フレームからそれぞれ抽出されたボール候補を表す。ボール候補の大きさがフレームごとに異なって現れたことがわかる。

テンプレートマッチング手段は、ボールテンプレートを可変的にマッチングさせるために、まず、各ボール候補（Ｃ１−１など）の大きさを推定する。すなわち、一つのボール候補を複数個のカメラが同時に撮影する場合に、該ボール候補の３次元空間上の座標を獲得でき（それぞれのカメラが獲得したイメージ上の２次元情報は変換手段７３（図２及び図３参照）により３次元情報に変換されて抽出されればよい）、その座標からボール候補とカメラとの距離などに関する情報を得、該情報から当該ボール候補の大きさを推定できる。

そして、上記のようにして推定されたそれぞれのボール候補の大きさをボールテンプレートに合うように変形したり、逆に、ボールテンプレートの大きさをそれぞれのボール候補に合うように変形したりして相互比較することによって、それぞれのボール候補がボールテンプレートにどれくらい類似しているかを正確に判断でき、複数のボール候補のうち、いずれのボールが本物のボールに近いかを容易に見分けることができる。

すなわち、推定されたそれぞれのボール候補の大きさを考慮してボールテンプレートＴに対応する大きさにノーマルライズ（Ｎｏｒｍａｌｉｚｅ）処理したり、ボールテンプレートＴ自体をそれぞれのボール候補の大きさに対応するようにノーマルライズ処理したりして、ボール候補とボールテンプレートＴとを比較する。

ここで、ノーマルライズ処理とは、ボール候補イメージの形状、ピクセル比率などをそのまま維持しながら、ボールテンプレートＴと比較し易くなるよう、ボールテンプレートＴに対応する大きさにイメージを変形することを指す。一方、ボールテンプレートＴをノーマルライズ処理することは、ボールテンプレートＴイメージの形状、ピクセル比率などをそのまま維持しながら、該当ボール候補と比較し易くなるよう、該当ボール候補に対応する大きさにイメージを変形することを指す。

上記のように、ノーマルライズ処理後にボール候補とボールテンプレートとを比較して類似度を抽出し、あらかじめ設定された値以上の類似度を有するボール候補を２次的なボール候補として選定する。

ここで、類似度は、全体的な形状、ピクセル比率、ピクセル値の分布などを含め、様々な判断基準で判断された結果が数値として換算されて導出される。

一方、上記のようにボール候補抽出手段８１ａにより各フレームのイメージからボール候補が抽出された例を、図７に示す。

図７に示す例では、１番フレーム（Ｆｒａｍｅ１）において１＿１と１＿２の最終的なボール候補が抽出され、２番フレーム（Ｆｒａｍｅ２）において２＿１と２＿２の最終的なボール候補が抽出され、３番フレーム（Ｆｒａｍｅ３）で３＿１と３＿２の最終的なボール候補が抽出されている。勿論、実際には数十または数百のフレームに対して上記のようなボール候補が抽出されるだろう。

ボール軌跡リスト手段８１のリスト生成手段８１ｂは、図７に例示されたボール候補を、可能な場合の数によって相互組み合わせてボール軌跡リストを生成する。

すなわち、図８に示すように、各フレーム別にボール候補を互いに組み合わせるが、このとき、可能なあらゆる場合に対して組み合わせて生成する。図８では、３個のフレームに対してボール軌跡リストとしてＴｒａｃｋ１からＴｒａｃｋ５のみを表示しているが、数十または数百フレームに対して遥かに多いボール候補組み合わせによるＴｒａｃｋが生成される。

一方、このようにボール軌跡リスト手段８１によりボール軌跡リストが生成されると、ボール軌跡認識手段８２（図３参照）はこのリストから本物のボールによる軌跡を抽出し、この軌跡から、運動するボールの物理的特性情報を算出する。

ボール軌跡認識手段８２のボール軌跡抽出手段８２ａは、リスト生成手段８１ｂにより生成されたボール軌跡リスト（図８参照）のそれぞれのＴｒａｃｋ上のボール候補の３次元座標値を抽出し（変換手段７３（図２及び図３参照）により各カメライメージを相互マッチングすることで３次元情報を抽出すればよい）、これを２次元平面にマッピングする。

すなわち、図９に示すように、打席１１０及び打撃マット１２０を基準にして横方向をｘ軸、スクリーン３が置かれた縦方向はｙ軸、そして垂直方向をｚ軸にして座標系を定義する。

このようなｘ軸、ｙ軸及びｚ軸の座標系において、ボール軌跡抽出手段８２ａは、ボール軌跡リストのそれぞれのＴｒａｃｋ上のボール候補の座標をｙｚ平面上にマッピングする。この時、変換手段７３（図２及び図３参照）は、各リスト上のボール候補の３次元座標情報をｙｚ平面に対する２次元座標情報に変換すればよい。

図１０には、ボール軌跡抽出手段８２ａによりそれぞれのボール軌跡リストのボール候補をｙｚ平面にマッピングした一例を示す。

図１０に示すように、ｙｚ平面においてそれぞれのボール候補１＿１〜４＿２に対してボール軌跡リスト上の組み合わせにより２次元軌跡の曲線１〜曲線３、すなわちボール軌跡候補を導出することができる。

そして、それぞれのボール軌跡候補、すなわち２次元軌跡に対する２次関数を算出でき、ｚ＝Ａ＋Ｂｙ＋Ｃｙ^２の形態で算出すればよい。ここで、Ａ、Ｂ及びＣはそれぞれ定数であり、Ｂは１次係数、Ｃは２次係数であり、Ｃ＞０の場合に２次元軌跡は下方に膨らんだ形状となり、Ｃ＜０の場合に２次元軌跡は上方に膨らんだ形状となる。

ボール軌跡認識手段８２の回帰分析手段８２ｂは、上記それぞれのボール軌跡候補の２次関数の２次係数をチェックすることによって、ボールの軌跡に近似するボール軌跡候補を１次的に抽出する。

すなわち、図１０に示したそれぞれの２次元軌跡のうち、曲線２と曲線３は下方に過度に膨らんだ形状をし、地面の下まで膨らんで形成されたことがわかる。

実際にボールを打撃すると、ボールは地面上を浮いて運動し、地面を開けては運動しないため、地面の下まで膨らんで形成された曲線２と曲線３は、誤った軌跡であるか、ゴルフクラブの軌跡が混じった軌跡であるということができる。

したがって、地面の下に過度に膨らんで形成された軌跡である曲線２と曲線３は除外するとよい。

すなわち、このような誤った軌跡やゴルフクラブの軌跡は、それぞれの２次関数の２次係数をチェックすることから見分けられるが、２次係数があらかじめ設定された設定値に至らないと、誤った軌跡またはゴルフクラブの軌跡と判断して除外すればよい。ここで、設定値は、実験により適度の値を探し、あらかじめ設定しておけばよい。

上記のように回帰分析手段８２ｂにより抽出されたボール軌跡候補が１個ある場合には、そのボール軌跡候補をボールの軌跡として認識すればよい。しかし、回帰分析手段８２ｂにより抽出されたボール軌跡候補が複数個である場合には、別の特定基準に基づいて誤った軌跡を除去することによって最終的なボールの軌跡を得るとよい。

ボール軌跡認識手段８２のボール軌跡チェック手段８２ｃは、回帰分析手段８２ｂにより抽出されたボール軌跡候補が複数個である場合に、それぞれのボール軌跡候補の軌跡上の各ボール候補の座標移動が、あらかじめ設定された条件を満たすか否かをチェックし、それを満たすボール軌跡候補を最終的なボールの軌跡として選別する。

ボール軌跡チェック手段８２ｃによるあらかじめ設定された条件は、図１１に示すように、ボールの運動に関する物理的特性から設定されるとよい。

図１１に示すように、ボールが初期速度Ｖ_０、高さ角θで運動する時、水平方向速度はＶ_０ｃｏｓθ、垂直方向速度はＶ_０ｓｉｎθと定義できる。

ボールが運動をするにつれて、水平方向速度Ｖ_ｙはＶ_０ｃｏｓθとそのまま維持され、垂直方向速度Ｖ_ｚは、重力加速度（ｇ）の影響により、Ｖ_０ｓｉｎθ−ｇｔとなる（ここで、ｔはボールの運動時間を表す）。

すなわち、図１１に示すように、理論的に、ボールが運動をするとき、ｙ軸方向への座標移動は等速度運動をし、ｚ軸方向には等加速度運動をする。

ところが、現実ではボールが運動をする時、空気の抵抗など、様々な周辺環境によって多種多様な変数が存在するため、図１１のように理論的には運動しない。ただし、ボールが非常に短い区間で運動する場合には、多種多様な変数による影響をすべて無視してもよく、よって、図１１に示すような理論的な特性がある程度は正確に適用される。

すなわち、図１に示したスクリーンゴルフシステムでは、打撃マット１２０からスクリーン３までボールが運動することをセンシング装置がセンシングする場合、その区間は約５ｍ〜７ｍしかならない非常に短い区間であるから、ボールは、図１１に示したような理論的な特性によって運動すると見なしてもよい。

したがって、ボール軌跡チェック手段８２ｃは、ボール軌跡候補上の各ボール候補の座標移動をチェックすることで、ｙ軸方向に略等速度運動をし、且つｚ軸方向に略等加速度運動をするボール軌跡候補を抽出し、これを最終的なボールの軌跡として認識する。

上記のようにして最終的なボールの軌跡として抽出された軌跡上の各ボールの座標は、再び３次元座標に変換され（変換手段７３（図２及び図３参照）により２次元情報が３次元情報に変換されればよい）、３次元空間上の各ボールの座標移動を分析することによって、運動するボールの物理的特性情報を算出することができる。

一方、図１２を参照して、本発明の一実施例に係る仮想ゴルフシミュレーションのためのセンシング方法について説明する。

まず、仮想ゴルフシミュレーションが開始すると、使用者は、打撃マット上にボールを置いて打撃準備をする。この時、センシング装置は、打撃マット上に置かれたボールのイメージを取得し、該取得したイメージからボールを探す（Ｓ１０）。このようなボール検索過程はショットディテクタで行われる。

取得したイメージからボールを探してボールの置かれた座標情報などを確認した後、あらかじめ設定された要件を満たすことで打撃準備が完了する（Ｓ１１）。

打撃準備が完了した後には、ショットディテクタは、使用者がボールを打撃したか否かを感知し始め（Ｓ１２）、もし打撃がなされたものと感知すると（Ｓ２０）、打撃時点を正確に把握し、打撃時点及びそれ以降の複数のフレームのイメージを入手してボールイメージ処理部に伝達する。一方、打撃がなされていないものと感知されると、再び打撃感知段階（Ｓ１２）に戻る。

打撃感知後、ショットディテクタが複数のフレームのイメージを入手して実時間でボールイメージ処理部に伝送すると、ボールイメージ処理部は、受信したイメージからあらかじめ設定された領域を分離してソースイメージを抽出する（Ｓ３２）。

そして、抽出されたソースイメージから背景映像を除去し（Ｓ３３）、ボール候補を抽出する（Ｓ３４）。ボール候補の抽出に関する具体的な説明は、上述した通りである。

それぞれのフレーム別にボール候補が抽出されると、連続したフレームに対してそれぞれのボール候補を組み合わせてボール軌跡リストを生成する（Ｓ４０）。

そして、それぞれのボール軌跡リストに対してｙｚ平面に回帰して２次元軌跡、すなわちボール軌跡候補を抽出する（Ｓ５１）。

それぞれのボール軌跡候補は２次元軌跡であるから、それに対する２次関数をそれぞれ算出し（Ｓ５２）、算出されたそれぞれの２次関数の２次係数をあらかじめ設定された設定値と比較し、設定値以上の２次係数を有するボール軌跡候補のみを抽出する（Ｓ５３）。

このようにして抽出されたボール軌跡候補に対しては、それぞれのボール軌跡候補上の各ボール候補の座標移動が、あらかじめ設定された条件（図１１に示すように、水平方向への等速度運動及び垂直方向への等加速度運動という条件）を満たすボール軌跡候補を、最終的なボールの軌跡として認識する（Ｓ６１）。

続いて、認識されたボールの軌跡上の各ボールの座標を３次元座標に変換し（Ｓ６２）、該座標値から、運動するボールの物理的特性情報を算出する（Ｓ６３）。

算出された物理的特性情報はシミュレータに伝達され、該シミュレータは、受信した物理的特性情報に基づいて、ボールの軌跡に対するシミュレーション映像を具現する（Ｓ７０）。

以上、発明の実施のための最良の形態が具体的に記載された。

本発明に係る仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法は、仮想現実基盤のゴルフシミュレーションを可能にすることによって、使用者が仮想のゴルフ競技を楽しむことができるゴルフゲームや謂わばスクリーンゴルフ産業の分野などに利用可能である。

Claims

仮想ゴルフシミュレーション装置に用いられるセンシング装置であって、
使用者がスイングによりボールを打撃することに対して複数のフレームのイメージを取得するカメラユニットと、
前記取得した各フレーム別のイメージからボール候補を抽出し、前記ボール候補のそれぞれの３次元座標を２次元座標に変換して２次元軌跡を分析することによってボールの軌跡を抽出し、運動するボールに関する物理的特性情報を算出する、センシング処理ユニットと、
を備え、
前記センシング処理ユニットは、
前記取得したイメージに対して各フレーム別に前記ボール候補を抽出し、連続したフレームに対して前記ボール候補のそれぞれを連結するボール軌跡リストを生成するボール軌跡リスト手段と、
前記生成されたあらゆる前記ボール軌跡リストに対して２次回帰分析を行ってボール軌跡候補を生成し、あらかじめ設定された条件に基づいて前記ボール軌跡候補からボールの軌跡を抽出するボール軌跡認識手段と
を備える、センシング装置。
前記ボール軌跡リスト手段は、
各フレームのイメージに対して所定の処理をしてそれぞれ前記ボール候補を抽出するボール候補抽出手段と、
各フレーム上の前記ボール候補を互いに組み合わせることによって前記ボール軌跡リストを生成するリスト生成手段と、
を備えることを特徴とする、請求項１に記載のセンシング装置。
前記ボール候補抽出手段は、
ボールの基準イメージとしてボールテンプレートをあらかじめ設定して保存し、前記取得されたイメージから、前記ボールテンプレートにマッチングされる前記ボール候補を抽出するテンプレートマッチング手段を備えることを特徴とする、請求項２に記載のセンシング装置。
前記ボール軌跡認識手段は、
前記生成されたボール軌跡リストの座標を３次元座標系の一側平面にマッピングしてボール軌跡候補を生成することによって２次回帰分析を行うボール軌跡抽出手段と、
前記ボール軌跡候補のそれぞれに対する２次関数をチェックし、あらかじめ設定された条件を満たす前記ボール軌跡候補を抽出する回帰分析手段と、
を備えることを特徴とする、請求項１から３のいずれか一項に記載のセンシング装置。
前記回帰分析手段は、
前記ボール軌跡候補のそれぞれに対する２次関数の２次係数があらかじめ設定された設定値に至らない場合を除外するやり方でボール軌跡候補を抽出するように構成されたことを特徴とする、請求項４に記載のセンシング装置。
前記ボール軌跡認識手段は、
前記回帰分析手段により抽出された前記ボール軌跡候補に対して、ボールの運動に関する物理的特性に基づくあらかじめ設定された条件を満たすか否かをチェックすることによって、最終的なボールの軌跡を選別するボール軌跡チェック手段をさらに備えることを特徴とする、請求項４に記載のセンシング装置。
前記ボール軌跡チェック手段は、
前記回帰分析手段により抽出された前記ボール軌跡候補の軌跡上の前記ボール候補のそれぞれの座標移動が、あらかじめ設定された条件を満たすか否かをチェックし、それを満たすボール軌跡候補を最終的なボールの軌跡として選別するように構成されたことを特徴とする、請求項６に記載のセンシング装置。
使用者がスイングによりボールを打撃することに対してそれぞれ複数のフレームのイメージを取得するカメラユニットと、該取得したイメージに対して各フレーム別にボール候補を抽出し、連続したフレームに対して前記ボール候補のそれぞれを連結するボール軌跡リストを生成するボール軌跡リスト手段、及び前記生成された全てのボール軌跡リストに対して２次回帰分析を行ってボール軌跡候補を生成し、あらかじめ設定された条件に基づいて前記ボール軌跡候補からボールの軌跡を抽出するボール軌跡認識手段を有するセンシング処理ユニットと、を備えるセンシング装置と、
前記センシング処理ユニットで抽出された情報に基づいて、ボールの軌跡に対するシミュレーション映像を具現する映像具現ユニットと、
を備える仮想ゴルフシミュレーション装置。
仮想ゴルフシミュレーションのためのセンシング方法であって、
使用者がスイングによりボールを打撃することに対して複数のフレームのイメージを取得する段階と、
前記取得したイメージに対して各フレーム別にボール候補を抽出する段階と、
前記ボール候補に対する３次元座標を２次元座標に変換して２次元軌跡を抽出する段階と、
前記２次元軌跡を分析してボールの軌跡を抽出することによって、運動するボールの物理的特性情報を算出する段階と、
を含み、
前記２次元軌跡を抽出する段階は、
連続したフレームに対して前記ボール候補のそれぞれを連結するボール軌跡リストを生成する段階と、
前記生成された全ての前記ボール軌跡リストに対して２次回帰分析を行ってボール軌跡候補を生成する段階と
を含む、センシング方法。
前記ボールの軌跡を抽出することによって、運動するボールの物理的特性情報を算出する段階は、
前記ボール軌跡候補のうち、あらかじめ設定された条件を満たすボール軌跡候補をボールの軌跡として認識する段階と、
前記認識されたボール軌跡上の各ボールの座標を３次元座標に変換する段階と、
前記変換された各ボールの座標移動を分析することによって、運動するボールの物理的特性を算出する段階と、
を含むことを特徴とする、請求項９に記載のセンシング方法。
前記ボール候補を抽出する段階は、
前記取得したイメージから背景映像を除去する段階と、
ボールの基準イメージとしてあらかじめ設定されて保存されたボールテンプレートと、前記背景映像の除去されたイメージに存在する客体とをマッチングさせることによってボール候補を抽出する段階と、
を含むことを特徴とする、請求項９または１０に記載のセンシング方法。
前記ボール軌跡リストを生成する段階は、
各フレーム上の前記ボール候補を組み合わせ可能な場合の数によって互いに組み合わせることによって、組み合わせ可能な場合の数だけの前記ボール軌跡リストを生成する段階と、
を含むことを特徴とする、請求項９に記載のセンシング方法。
前記ボール軌跡候補を生成する段階は、
前記生成された前記ボール軌跡リスト上の前記ボール候補のそれぞれの座標を３次元座標系の一側平面にマッピングして２次元軌跡を生成する段階と、
前記３次元座標系の一側平面上の２次元軌跡に対する２次関数を算出する段階と、
を含むことを特徴とする、請求項１０に記載のセンシング方法。
前記ボールの軌跡として認識する段階は、
前記ボール軌跡候補のそれぞれに対する２次関数の２次係数が予め設定された設定値に至らない場合を除外するやり方でボール軌跡候補を抽出する段階と、
を含むことを特徴とする、請求項１３に記載のセンシング方法。
前記ボールの軌跡として認識する段階は、
前記抽出されたボール軌跡候補の２次元軌跡が、ボールの運動に関する物理的特性に基づくあらかじめ設定された条件を満たすか否かをチェックする段階と、
前記ボールの運動に関する物理的特性に基づくあらかじめ設定された条件を満たすボール軌跡候補をボールの軌跡として認識する段階と、
をさらに含むことを特徴とする、請求項１４に記載のセンシング方法。