JP7669675B2 - 特定方法、投写方法、特定システム、情報処理装置、及びプログラム - Google Patents

Description

本開示は、特定方法、投写方法、特定システム、情報処理装置、及びプログラム、に関する。

特許文献１には、物体を含む被写体の撮影画像から物体に対応する領域を検出する技術が開示されている。特許文献１に開示の技術では、撮像装置と被写体の各部との間の距離であるデプス値の分布を示すデプスマップを用いて物体に対応する領域と背景に対応する領域とが大まかに検出される。そして、特許文献１に開示の技術では、ノイズやオクルージョン等の影響によりデプス値を取得できなかった領域については、色に基づいて物体に対応する領域であるか背景に対応する領域であるかが判断される。

特開２０１７-０９１２９８号公報

特許文献１に開示の技術では、色に基づく判定の際にはデプス値が用いられないので、被写体に写っている物体の色と背景の色との差が小さい場合には、誤判断が発生する虞がある。同様に、撮像装置の特性又は個体差により特定波長域の色を高精度に撮像することができない場合も、誤判断が発生する虞がある。

上記課題を解決するために、本開示の特定方法は、物体を含む第１被写体を第１カメラにより撮像することによって得られる第１画像に基づいて、前記第１被写体からの反射光に関する第１情報を、前記第１画像を構成する第１画素毎に取得し、前記第１被写体から前記第１カメラまでの距離に応じた第２情報を前記第１画素毎に取得し、前記第１情報と前記第２情報とを変数とする演算を実行し、前記演算の結果である指標値を前記第１画素毎に算出し、前記指標値に基づいて、前記物体に対応する前記第１画像の第１領域に属する否かを前記第１画素毎に判定することによって、前記第１領域を特定する。

また、上記課題を解決するために、本開示の投写方法は、物体を含む第１被写体を第１カメラにより撮像することによって得られる第１画像に基づいて、前記第１被写体からの反射光に関する第１情報を、前記第１画像を構成する第１画素毎に取得し、前記第１被写体から前記第１カメラまでの距離に応じた第２情報を前記第１画素毎に取得し、前記第１情報と前記第２情報とを変数とする演算を実行し、前記演算の結果である指標値を前記第１画素毎に算出し、前記指標値に基づいて、前記物体に対応する前記第１画像の第１領域に属する否かを前記第１画素毎に判定することによって、前記第１領域を特定し、プロジェクターから前記第１被写体へ投写する投写画像を前記第１領域に対応する第２領域と前記第２領域以外の第３領域とに区分けし、前記第２領域を第１色で塗りつぶし、且つ前記第３領域を第２色で塗りつぶした前記投写画像を前記プロジェクターに投写させる。

また、上記課題を解決するために、本開示の特定システムは、第１カメラと、情報処理装置と、を備える。この特定システムにおいて、情報処理装置は、物体を含む第１被写体を前記第１カメラにより撮像することによって得られる第１画像に基づいて、前記第１被写体からの反射光に関する第１情報を、前記第１画像を構成する第１画素毎に取得すること、前記第１被写体から前記第１カメラまでの距離に応じた第２情報を前記第１画素毎に取得すること、前記第１情報と前記第２情報とを変数とする演算を実行し、前記演算の結果である指標値を前記第１画素毎に算出すること、及び、前記指標値に基づいて、前記物体に対応する前記第１画像の第１領域に属する否かを前記第１画素毎に判定することによって、前記第１領域を特定すること、を実行する。

また、上記課題を解決するために、本開示の情報処理装置は、物体を含む第１被写体を第１カメラにより撮像することによって得られる第１画像に基づいて、前記第１被写体からの反射光に関する第１情報を、前記第１画像を構成する第１画素毎に取得すること、前記第１被写体から前記第１カメラまでの距離に応じた第２情報を前記第１画素毎に取得すること、前記第１情報と前記第２情報とを変数とする演算を実行し、前記演算の結果である指標値を前記第１画素毎に算出すること、及び、前記指標値に基づいて、前記物体に対応する前記第１画像の第１領域に属する否かを前記第１画素毎に判定することによって、前記第１領域を特定すること、を実行する。

また、上記課題を解決するために、本開示のプログラムは、コンピューターに、物体を含む第１被写体を第１カメラにより撮像することによって得られる第１画像に基づいて、前記第１被写体からの反射光に関する第１情報を、前記第１画像を構成する第１画素毎に取得すること、前記第１被写体から前記第１カメラまでの距離に応じた第２情報を前記第１画素毎に取得すること、前記第１情報と前記第２情報とを変数とする演算を実行し、前記演算の結果である指標値を前記第１画素毎に算出すること、及び、前記指標値に基づいて、前記物体に対応する前記第１画像の第１領域に属する否かを前記第１画素毎に判定することによって、前記第１領域を特定すること、を実行させる。

本開示の実施形態に係る投写方法を実行する情報処理装置３０を含む投写システム１の構成例を示すブロック図である。 前景領域を代表する画素及び背景領域を代表する画素のユーザーによる設定例を示す図である。 情報処理装置３０の処理装置３３０がプログラム３２１に従って実行する投写方法の流れを示すフローチャートである。 本実施形態の効果を説明するための図である。 反射光情報のみに基づいて前景領域を特定する場合の不具合を説明するための図である。 距離情報のみに基づいて前景領域を特定する場合の不具合を説明するための図である。 反射光情報の示すヒストグラムの一例を示す図である。 反射光情報の示すヒストグラムの一例を示す図である。 反射光情報の示すヒストグラムの一例を示す図である。 距離情報の示すヒストグラムの一例を示す図である。 距離情報の示すヒストグラムの一例を示す図である。

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

１．実施形態
図１は、本開示の一実施形態に係る投写システム１の一例を示す概略図である。図１に示すように投写システム１は、プロジェクター１０と、撮像装置２０と、情報処理装置３０と、を含む。図１に示す投写システム１は、３次元形状を有する物体ＳＣ１に画像を投写するためのシステムである。投写システム１では、物体ＳＣ１と背景物ＳＣ２とを含む被写体ＳＣの画像が撮像装置２０により撮像される。被写体ＳＣは本開示における第１被写体の一例である。撮像装置２０は本開示における第１カメラの一例である。撮像装置２０による被写体ＳＣの撮像画像は本開示における第１画像の一例である。

投写システム１では、撮像装置２０によって撮像される被写体ＳＣの撮像画像において物体ＳＣ１に対応する領域が情報処理装置３０によって特定される。そして、情報処理装置３０は、物体ＳＣ１に対応する領域を第１色で塗りつぶし、物体ＳＣ１に対応する領域以外の領域、即ち背景物ＳＣ２に対応する領域を第１色とは異なる第２色で塗りつぶした投写画像を被写体ＳＣに投写するようにプロジェクター１０を制御する。

プロジェクター１０は、投影画像を投影するための液晶ライトバルブ、投写射レンズ、及び液晶駆動部を備える。また、プロジェクター１０は、光源として超高圧水銀ランプ又はメタルハライドランプを備える。プロジェクター１０は、例えばケーブルによって情報処理装置３０と通信可能に接続される。プロジェクター１０は、ケーブルを介した通信により情報処理装置３０から画像を表す画像データを取得する。プロジェクター１０は、取得した画像データの示す画像を被写体ＳＣに投写する。本実施形態では、プロジェクター１０と情報処理装置３０との間の通信は、例えば、イーサネットやＵＳＢ（Universal Serial Bus）等の規格に準拠した有線通信である。しかし、プロジェクター１０と情報処理装置３０との間の通信は、Ｗｉ－Ｆｉ等の規格に準拠した無線通信であってもよい。なお、ＷＩ－ＦＩ及びイーサネットは登録商標である。

撮像装置２０は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたカメラである。以下では、説明を簡略化するため、撮像装置２０は、静止画像を撮像するものとする。なお、撮像装置２０は、静止画像を撮像することに代えて、動画像を撮像してもよい。撮像装置２０は、被写体ＳＣを撮像する。撮像装置２０は、プロジェクター１０と同様に、例えばケーブルによって情報処理装置３０と通信可能に接続される。撮像装置２０は、撮像した画像を表す画像データを情報処理装置３０へ送信する。本実施形態では、撮像装置２０と情報処理装置３０との間の通信は、例えばイーサネットやＵＳＢ等の規格に準拠した有線通信であるが、Ｗｉ－Ｆｉ等の規格に準拠した無線通信であってもよい。

情報処理装置３０は、例えばパーソナルコンピューターである。図１に示すように、情報処理装置３０は、通信装置３００、タッチパネル３１０、記憶装置３２０、及び処理装置３３０を有する。通信装置３００には、ケーブルを介してプロジェクター１０が接続される。また、通信装置３００には、ケーブルを介して撮像装置２０が接続される。通信装置３００は、撮像装置２０から送信される画像データを受信する。また、通信装置３００は、処理装置３３０による制御の下、被写体ＳＣに投写する画像を表す画像データをプロジェクター１０へ送信する。

タッチパネル３１０は、画像を表示する表示装置と、ユーザーにより情報を入力される入力装置とが、一体化された装置である。入力装置は、例えば透明なシート状の接触センサーである。入力装置は、表示装置の表示面を覆うように設けられる。入力装置は、当該入力装置に接触する物体と当該入力装置とによって特定される静電容量を用いてタッチ位置を検出する。入力装置は、検出したタッチ位置を示すデータを処理装置３３０へ出力する。これにより、タッチパネル３１０に対するユーザーの操作内容が処理装置３３０へ伝達される。

記憶装置３２０は、処理装置３３０が読み取り可能な記録媒体である。記憶装置３２０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Radom Access Memory）である。

記憶装置３２０の不揮発性メモリーには、処理装置３３０によって実行されるプログラム３２１が予め記憶される。記憶装置３２０の揮発性メモリーはプログラム３２１を実行する際のワークエリアとして処理装置３３０によって利用される。プログラム３２１は、「アプリケーションプログラム」、「アプリケーションソフトウェア」又は「アプリ」とも称され得る。プログラム３２１は、例えば、通信装置３００を介して不図示のサーバー等から取得され、その後、記憶装置３２０に記憶される。

処理装置３３０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含んで構成される。処理装置３３０は、単一のコンピューターで構成されてもよいし、複数のコンピューターで構成されてもよい。処理装置３３０は、プログラム３２１の実行開始を指示する操作が不図示の入力装置に対して為されたことを契機としてプログラム３２１を不揮発性メモリーから揮発性メモリーに読み出す。処理装置３３０は、揮発性メモリーに読み出したプログラム３２１を実行する。プログラム３２１に従って作動中の処理装置３３０は、図１に示す第１取得部３３１、第２取得部３３２、算出部３３３、特定部３３４、及び投写制御部３３５として機能する。図１に示す第１取得部３３１、第２取得部３３２、算出部３３３、特定部３３４、及び投写制御部３３５は、処理装置３３０をプログラム３２１に従って動作させることで実現されるソフトウェアモジュールである。第１取得部３３１、第２取得部３３２、算出部３３３、特定部３３４、及び投写制御部３３５の各々の機能は次の通りである。

第１取得部３３１は、被写体ＳＣからの反射光に関する反射光情報を、撮像装置２０による被写体ＳＣの撮像画像、即ち第１画像に基づいて第１画像を構成する画素毎に取得する。第１画像を構成する画素は本開示における第１画素の一例である。本実施形態における反射光情報は被写体ＳＣからの反射光の輝度を示す輝度情報である。本実施形態において撮像装置２０による撮像画像は、画素値が被写体からの反射光の輝度を表す輝度画像である。このため、本実施形態では、撮像装置２０から出力される画像データが反射光情報となる。なお、反射光情報は、被写体からの反射光におけるＲ、Ｇ、及びＢの各色の階調を示す階調情報であってもよい。また、反射光情報は、反射光の輝度と階調の両方を示す情報であってもよい。反射光情報は本開示における第１情報の一例である。

第２取得部３３２は、被写体ＳＣの各部から撮像装置２０までの距離に応じた距離情報を、第１画素毎に取得する。本実施形態では、第２取得部３３２は、距離情報を取得するためのパターン画像をプロジェクター１０から被写体ＳＣへ投写させる。プロジェクター１０から被写体ＳＣへ投写するパターン画像の具体例としては、グレイコードパターンの画像、バイナリコードパターンの画像、又は位相シフトパターンの画像が挙げられる。次いで、第２取得部３３２は、パターン画像を投写されている状態の被写体ＳＣを撮像装置２０に撮像させる。パターン画像を投写されている状態の被写体ＳＣの撮像装置２０による撮像画像は本開示における第２画像の一例である。第２画像を構成する複数の画素は第１画像を構成する複数の第１画素に一対一に対応する第３画素の一例である。そして、第２取得部３３２は、パターン画像とこのパターン画像を投写されている状態の被写体ＳＣの撮像画像とに基づいて、三角測量の原理により距離情報を第１画素毎に取得する。距離情報は本開示における第２情報の一例である。

本実施形態では、プロジェクター１０及び撮像装置２０の各々の位置を示す情報、即ちプロジェクター１０及び撮像装置２０の外部パラメーターは記憶装置３２０に予め記憶されている。また、プロジェクター１０の投写レンズの焦点及びレンズ歪みを示す情報、即ちプロジェクター１０の内部パラメーターも記憶装置３２０に予め記憶されている。また、撮像装置２０の撮像レンズの焦点及びレンズ歪みを示す情報、即ち撮像装置２０の内部パラメーターも記憶装置３２０に予め記憶されている。これら外部パラメーター及び内部パラメーターは三角測量を実施する際に使用される。

算出部３３３は、まず、第１画像において前景領域を代表する画素と背景領域を代表する画素とをユーザーに設定させる。前景領域とは、第１画像において物体ＳＣ１に対応する領域のことをいう。前景領域を代表する画素とは、前景領域に属する画素のうちの少なくとも１つの画素である。前景領域は本開示における第１領域の一例である。第１画像において前景領域を代表する画素は本開示における第２画素の一例である。背景領域とは、第１画像において背景物ＳＣ２に対応する領域のことをいう。背景領域を代表する画素とは、背景領域に属する画素のうちの少なくとも１つの画素である。

本実施形態では、算出部３３３は、タッチパネル３１０の表示装置に第１画像を表示させる。ユーザーは、表示装置に第１画像を表示させている状態のタッチパネル３１０に対して前景領域を代表する画素を指定する操作及び背景領域を代表する画素を指定する操作を行うことで、前景領域を代表する画素及び背景領域を代表する画素を設定する。前景領域を代表する画素を指定する操作の具体例としては、前景領域において線又は点を描く操作が挙げられる。線又は点を描く操作により前景領域を代表する画素を指定する態様では、前景領域内に描かれた線又は点上の画素が前景領域を代表する画素となる。背景領域を代表する画素を指定する操作も同様である。図２には、第１画像Ｇ１に対して点線で示す線を描く操作により前景を代表する画素を指定し、一点鎖線で示す線を描く操作により背景領域を代表する画素を指定する態様が例示されている。

次いで、算出部３３３は、反射光情報と距離情報とを変数とする演算を、第１画像を構成する画素の各々ついて実行することで、演算の結果である指標値を画素毎に算出する。本実施形態において算出部３３３は、第１画像を構成する画素の各々ついて、第１指標値と第２指標値とを算出する。以下では、指標値の算出対象となる画素は対象画素と称される。

第１指標値は、前景領域を代表する画素の反射光情報の示す輝度及び前景領域を代表する画素の距離情報の示す距離を基準として算出される指標値である。以下では、前景領域を代表する画素の反射光情報の示す輝度は第１輝度基準と称される。また、前景領域を代表する画素の距離情報の示す距離は第１距離基準と称される。前景領域を代表する画素が１つである場合には、当該画素の反射光情報の示す輝度を第１輝度基準とすればよい。前景領域を代表する画素が複数設定された場合には、当該複数の画素の各々の反射光情報の示す輝度の平均値を第１輝度基準とすればよい。第１距離基準も同様である。

第２指標値は、背景領域を代表する画素の反射光情報の示す輝度及び背景領域を代表する画素の距離情報の示す距離を基準として算出される指標値である。以下では、背景領域を代表する画素の反射光情報の示す輝度は第２輝度基準と称される。また、背景領域を代表する画素の距離情報の示す距離は第２距離基準と称される。第２輝度基準及び第２距離基準も、第１輝度基準及び第１距離基準と同様に算出されればよい。

本実施形態において、第１指標値を算出する演算は、対象画素の反射光情報の示す輝度と第１輝度基準との差に第１係数αを乗算した結果と、対象画素の距離情報の示す距離と第１距離基準との差に第２係数βを乗算した結果との和である。第１係数αはゼロ又は正の値である。第２係数βもゼロ又は正の値である。但し、第１係数αと第２係数βとがともにゼロに設定されることはない。本実施形態では、第１係数α及び第２係数βは、プログラム３２１に予め設定された固定値である。例えば、対象画素の反射光情報の示す輝度と第１輝度基準との差がｄ１１の平方根で表されたとする。また、対象画素の距離情報の示す距離と第１距離基準との差がｄ１２の平方根で表されたとする。この対象画素について、算出部３３３は、以下の式（１）に従って第１指標値Ｊ１を算出する。対象画素が前景領域を代表する画素である場合、ｄ１１及びｄ１２は共にゼロ又はゼロ近傍の値となるため、第１指標値Ｊ１は０又は０近傍の値となる。

なお、反射光情報が被写体ＳＣからの反射光におけるＲ、Ｇ、及びＢの各色の階調を示す階調情報である場合には、対象画素の反射光情報の示す各色の階調と前景領域を代表する画素の各色の階調のＳＳＤ（Sum of Squared Distance）の平方根に第１係数αを乗算した値を上記式（１）の右辺第１項として第１指標値Ｊ１を算出すればよい。

本実施形態において、第２指標値を算出する演算は、対象画素の輝度情報の示す輝度と第２輝度基準との差に第１係数αを乗算した結果と、対象画素の距離情報の示す距離と第２距離基準との差に第２係数βを乗算した結果との和である。例えば、対象画素の反射光情報の示す輝度と第２輝度基準との差がｄ２１の平方根で表されたとする。また、対象画素の距離情報の示す距離と第２距離基準との差がｄ２２の平方根で表されたとする。この対象画素について、算出部３３３は、以下の式（２）に従って第２指標値Ｊ２を算出する。対象画素が背景領域を代表する画素である場合、ｄ２１及びｄ２２は共にゼロ又はゼロ近傍の値となるため、第２指標値Ｊ２は０又は０近傍の値となる。

なお、反射光情報が被写体ＳＣからの反射光におけるＲ、Ｇ、及びＢの各色の階調を示す階調情報である場合には、対象画素の反射光情報の示す各色の階調と背景領域を代表する画素の各色の階調のＳＳＤ（Sum of Squared Distance）の平方根に第１係数αを乗算した値を上記式（２）の右辺第１項として第２指標値Ｊ２を算出すればよい。

特定部３３４は、算出部３３３により算出された指標値に基づいて、被写体ＳＣの撮像画像を構成する画素の各々について前景領域に属するか否かを判定することによって、前景領域を特定する。具体的には、特定部３３４は、第１指標値Ｊ１が０又は０近傍の値である画素を前景領域に属する画素と判定する。また、特定部３３４は、第２指標値Ｊ２が０又は０近傍の値である画素を背景領域に属する画素と判定する。また、特定部３３４は、第１指標値Ｊ１が第２指標値Ｊ２よりも小さい画素を前景領域に属する画素と判定し、第２指標値Ｊ２が第１指標値Ｊ１よりも小さい画素を背景領域に属する画素と判定してもよい。このように、被写体ＳＣの撮像画像を構成する各画素のうち前景領域に属する画素を特定することで、第１画像を前景領域と背景領域とに区分けするセグメンテーションが実現される。

投写制御部３３５は、プロジェクター１０から被写体ＳＣへ投写する投写画像を、特定部３３４により特定された前景領域に対応する第２領域と、第２領域以外の第３領域とに区分けする。そして、投写制御部３３５は、第２領域を第１色で塗りつぶし、且つ第３領域を第２色で塗りつぶした投写画像を表す画像データをプロジェクター１０に与えることで、第２領域を第１色で塗りつぶし、且つ第３領域を第２色で塗りつぶした投写画像を被写体ＳＣに対してプロジェクター１０に投写させる。また、投写制御部３３５は、第２領域に第１のコンテンツ画像が描画され、且つ第３領域に第１のコンテンツ画像とは異なる第２のコンテンツ画像が描画される投写画像を被写体ＳＣに対してプロジェクター１０に投写させてもよい。コンテンツ画像は、例えば、写真や絵などを示す画像である。投写制御部３３５がプロジェクター１０に投写させる投写画像は上記の様態に限定されず、第２領域と第３領域とが異なる様態であればよい。

また、プログラム３２１に従って作動している処理装置３３０は、本開示の投写方法を実行する。図３は本開示の投写方法の流れを示すフローチャートである。図３に示すように、本開示の投写方法は、第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、算出処理ＳＡ１３０、特定処理ＳＡ１４０、及び投写制御処理ＳＡ１５０を含む。

第１取得処理ＳＡ１１０では、処理装置３３０は、第１取得部３３１として機能する。第１取得処理ＳＡ１１０では、処理装置３３０は、被写体ＳＣからの反射光に関する反射光情報を、被写体ＳＣの撮像画像に基づいて、当該撮像画像を構成する画素毎に取得する。

第２取得処理ＳＡ１２０では、処理装置３３０は、第２取得部３３２として機能する。第２取得処理ＳＡ１２０では、処理装置３３０は、被写体ＳＣの各部から撮像装置２０までの距離に応じた距離情報を、被写体ＳＣの撮像画像を構成する画素毎に取得する。

算出処理ＳＡ１３０では、処理装置３３０は、算出部３３３として機能する。算出処理ＳＡ１３０では、処理装置３３０は、前景領域を代表する画素と背景領域を代表する画素とをユーザーに設定させ、被写体ＳＣの撮像画像を構成する画素毎に第１指標値と第２指標値とを算出する。

特定処理ＳＡ１４０では、処理装置３３０は、特定部３３４として機能する。特定処理ＳＡ１４０では、処理装置３３０は、算出処理ＳＡ１３０にて算出した第１指標値及び第２指標値に基づいて、被写体ＳＣの撮像画像を構成する画素毎に前景領域に属する否かを判定することによって、当該撮像画像における前景領域を特定する。

投写制御処理ＳＡ１５０では、処理装置３３０は、投写制御部３３５として機能する。投写制御処理ＳＡ１５０では、処理装置３３０は、プロジェクター１０から被写体ＳＣへ投写する投写画像を前景領域に対応する第２領域と第２領域以外の第３領域とに区分けし、第２領域を第１色で塗りつぶし、且つ第３領域を第２色で塗りつぶした投写画像をプロジェクター１０に投写させる。

本実施形態では、被写体ＳＣからの反射光の輝度と被写体ＳＣから撮像装置２０までの距離とに基づいて算出される指標値を用いて前景領域が特定される。図４は、第１係数αを１とし、第２係数βを０．１とした場合において本実施形態にて特定される前景領域ＡＣ１と背景領域ＡＣ２の一例を示す図である。図４における領域Ａ１は物体ＳＣ１から撮像装置２０までの距離と背景物ＳＣ２から撮像装置２０までの距離の差が小さい領域である。また、図４における領域Ａ２は物体ＳＣ１からの反射光の輝度と背景物ＳＣ２からの反射光の輝度との差が小さい領域である。

距離情報のみに基づいて前景領域を特定する態様であれば、領域Ａ１に属する画素については誤判断が発生し得る。このため、距離情報のみに基づいて前景領域を特定する態様においては図５に示すように、領域Ａ１において前景領域ＡＣ１と背景領域ＡＣ２との境界線にがたつきが生じる場合がある。これに対して、本実施形態によれば、反射光情報と距離情報とから算出される指標値に基づいて前景領域に属する画素であるか否かの判断が行われるため、領域Ａ１に属する画素について誤判断の発生を回避できる。

一方、反射光情報のみに基づいて前景領域を特定する態様であれば、領域Ａ２に属する画素について誤判断が発生し得る。このため、反射光情報のみに基づいて前景領域を特定する態様においては図６に示すように、領域Ａ２において前景領域ＡＣ１と背景領域ＡＣ２との境界線にがたつきが生じ得る。これに対して、本実施形態によれば、反射光情報と距離情報とから算出される指標値に基づいて前景領域に属する画素であるか否かの判断が行われるため、領域Ａ２に属する画素について誤判断の発生を回避できる。

以上説明したように、本実施形態によれば、物体ＳＣ１の色と背景物ＳＣ２の色とに差がない場合、又はカメラの特性等により特定波長域の色を高精度に撮像することができない場合であっても、前景領域を精度良く特定することが可能になる。

２．変形例
上記実施形態は、以下のように変更されてもよい。
（１）上記実施形態における第２取得部３３２は、プロジェクター１０から被写体ＳＣに投写する投写画像と撮像装置２０による被写体ＳＣの撮像画像とを用いて三角測量の原理により、被写体ＳＣの各部から撮像装置２０までの距離に応じた第２情報を撮像装置２０の撮像画像を構成する画素毎に取得した。しかし、プロジェクター１０からパターン画像を投写されている状態の被写体ＳＣの撮像装置２０による撮像画像と、撮像装置２０とは異なる位置に配置される第２カメラによる当該被写体ＳＣの撮像画像とを用いて三角測量の原理により、撮像装置２０の撮像画像を構成する画素毎に第２情報が取得されてもよい。パターン画像を投写されている状態の被写体ＳＣを第２カメラにより撮像して得られる撮像画像は本開示における第３画像の一例である。第３画像を構成する複数の画素は第２画像を構成する複数の第３画素に一対一に対応する第４画素の一例である。また、撮像装置２０とは別個に距離カメラを設け、この距離カメラにより被写体ＳＣを撮像して得られる距離画像から第２情報が取得されてもよい。距離カメラにより被写体ＳＣを撮像して得られる距離画像は本開示における第４画像の一例である。

（２）上述した実施形態では、前景領域を代表する画素と背景領域を代表する画素とがユーザーよって設定された。しかし、前景領域を代表する画素と背景領域を代表する画素のうちの何れか一方がユーザーによって設定されてもよい。前景領域を代表する画素のみがユーザーによって設定される態様であれば、第１指標値のみを用いて前景領域が特定される。具体的には、第１指標値が予め定めた閾値未満の画素が前景領域に属する画素と判定される。背景領域を代表する画素のみがユーザーによって設定される態様であれば、第２指標値のみを用いて前景領域が特定される。具体的には、第２指標値が予め定めた閾値以上の画素が前景領域に属する画素と判定される。また、被写体ＳＣの撮像画像において前景領域を代表する画素と背景領域を代表する画素の少なくとも一方が、各画素の距離情報に基づいて自動設定されてもよい。物体ＳＣ１から撮像装置２０までの距離と背景物ＳＣ２から撮像装置２０までの距離とは異なることが一般的であるから、前景領域の輪郭は各画素の距離情報に基づいて大まかに抽出され得る。そこで、距離情報に基づいて抽出された輪郭を収縮させた線上の画素が、前景領域を代表する画素とされてもよい。同様に、上記輪郭を膨張させた線上の画素が背景領域を代表する画素とされてもよい。

（３）上記実施形態では式（１）に従って第１指標値Ｊ１が算出されたが、以下の式（３）又は式（４）に従って第１指標値Ｊ１が算出されてもよい。第２指標値も同様である。要は、算出部３３３における演算は、第１情報と前記第２情報とを変数として指標値を算出する演算であればよい。

（４）上記実施形態における算出部３３３は、予め設定された固定値の第１係数及び第２係数を用いて指標値を算出した。しかし、算出部３３３は、指標値の演算に先立って、第１係数及び第２係数の設定をユーザーに促す画面をタッチパネル３１０に表示させ、第１係数及び第２係数を設定する操作をユーザーから受け付けてもよい。そして、算出部３３３は、ユーザーにより設定された第１係数及び第２係数に応じて指標値を算出してもよい。本態様によれば、色差に基づく判断と距離差に基づく判断の何れを優先するのかを状況に応じて柔軟にユーザーに設定させることが可能になる。

また、算出部３３３は、指標値の演算に先立って、反射光情報の示す第１画像における輝度又は階調の出現頻度のヒストグラムに応じて第１係数を設定し、距離情報の示す距離の出現頻度のヒストグラムに応じて第２係数を設定してもよい。本態様によれば、例えば、第１画像が、物体ＳＣ１の動画像を構成する各フレームの画像である場合に、動画像のフレーム毎に好適な第１係数及び第２係数を自動設定することが可能になる。

物体ＳＣ１の色と背景物ＳＣ２の色との差が小さい場合には、図７に示すように、反射光情報に基づいて算出されるＳＳＤの出現頻度のヒストグラムにはピークが１つだけ現れる。なお、図７では、物体ＳＣ１の輪郭線が点線で描画されている。図８及び図９についても同様に物体ＳＣ１の輪郭線が点線で描画されている。これに対して、物体ＳＣ１の色と背景物ＳＣ２の色との差が大きい場合には、図８に示すように、ＳＳＤの出現頻度のヒストグラムにはピークが２つ現れる。そして、物体ＳＣ１の色と背景物ＳＣ２の色との境界がグラデーションとなっている場合のように、両者の境目がはっきりとしない場合には、図９に示すように２つのピークの境目もなだらかになる。図７に示すようにＳＳＤの出現頻度のヒストグラムにはピークが１つだけ現れている場合には、第１係数をゼロ又はゼロ近傍の値とすることで、物体ＳＣ１の色と背景物ＳＣ２の色との差が小さいことに起因する誤判断の発生が回避される。

図１０に示すように、物体ＳＣ１から撮像装置２０までの距離Ｘと背景物ＳＣ２から撮像装置２０までの距離Ｙとの差が小さい場合には、距離情報に基づいて算出される距離差の出現頻度のヒストグラムには距離差＝０付近にピークが１つだけ現れる。これに対して、図１１に示すように、物体ＳＣ１から撮像装置２０までの距離Ｘと背景物ＳＣ２から撮像装置２０までの距離Ｙとの差が大きい場合には、距離差の出現頻度のヒストグラムにはピークが２つ現れる。図１０に示すように距離差の出現頻度のヒストグラムにピークが１つだけ現れている場合には、第２係数をゼロ又はゼロ近傍の値とすることで、物体ＳＣ１から撮像装置２０までの距離Ｘと背景物ＳＣ２から撮像装置２０までの距離Ｙとの差が小さいことに起因する誤判断の発生が回避される。

また、算出部３３３は、指標値の演算に先立って、第１輝度基準と第２輝度基準との差分、及び、第１距離基準と第２距離基準との差分に基づき、第１係数及び第２係数を設定してもよい。より詳細には、第１輝度基準と第２輝度基準との差分値が第１距離基準と第２距離基準との差分値より大きい場合には、算出部３３３は、第１係数を第２係数より大きい値となるように設定する。一方、第１輝度基準と第２輝度基準との差分値が第１距離基準と第２距離基準との差分値より小さい場合には、算出部３３３は、第１係数を第２係数より小さい値となるように設定する。また、算出部３３３は、第１輝度基準と第２輝度基準との差分値に応じて第１係数を設定し、第１距離基準と第２距離基準との差分に基づき、第２係数を設定してもよい。より詳細には、算出部３３３は、第１輝度基準と第２輝度基準との差分値が大きいほど、第１係数の値が大きくなるように設定する。また、算出部３３３は、第１距離基準と第２距離基準との差分値が大きいほど、第２係数の値が大きくなるように設定する。本様態によれば、より好適な第１係数及び第２係数を自動設定することが可能になる。

（５）上記実施形態における第１取得部３３１、第２取得部３３２、算出部３３３、特定部３３４、及び投写制御部３３５はソフトウェアモジュールであった。しかし、第１取得部３３１、第２取得部３３２、算出部３３３、特定部３３４、及び投写制御部３３５の一部又は全部がハードウェアであってもよい。このハードウェアの一例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）が挙げられる。第１取得部３３１、第２取得部３３２、算出部３３３、特定部３３４、及び投写制御部３３５の一部又は全部がハードウェアであっても、上記実施形態と同一の効果が奏される。

（６）上記実施形態では、第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、算出処理ＳＡ１３０、特定処理ＳＡ１４０、及び投写制御処理ＳＡ１５０を含む投写方法が説明された。しかし、この投写方法から投写制御処理ＳＡ１５０を省略した方法、即ち被写体ＳＣの撮像画像において被写体ＳＣに含まれる物体ＳＣ１に対応する前景領域を特定する特定方法が提供されてもよい。また、情報処理装置３０から投写制御部３３５を省略し、第１取得部３３１、第２取得部３３２、算出部３３３、及び特定部３３４を備える情報処理装置が提供されてもよい。この情報処理装置と撮像装置２０とを組み合わせることによって、撮像装置２０による被写体ＳＣの撮像画像において被写体ＳＣに含まれる物体ＳＣ１に対応する前景領域を特定する特定システムが構成される。また、上記実施形態では、情報処理装置３０とは別個に撮像装置２０が設けられたが、情報処理装置３０が撮像装置２０を含んでいてもよい。撮像装置２０を含む情報処理装置３０の具体例としては、スマートフォン又はタブレット端末が挙げられる。また、上記実施形態では、情報処理装置３０が表示装置を含んでいたが、液晶ディスプレイ等の表示装置を情報処理装置３０とは別個に設けてもよい。また、プロジェクター１０が表示装置として用いられてもよい。

（７）上記実施形態では、プログラム３２１が記憶装置３２０に記憶済であった。しかし、プログラム３２１は単体で製造又は配布されてもよい。プログラム３２１の具体的な配布方法としては、フラッシュＲＯＭ（Read Only Memory）等のコンピューター読み取り可能な記録媒体に上記プログラム３２１を書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。

３．実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

上述の課題を解決するために本開示の特定方法は、以下の第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、算出処理ＳＡ１３０、及び特定処理ＳＡ１４０を含む。第１取得処理ＳＡ１１０では、物体を含む第１被写体を第１カメラにより撮像することによって得られる第１画像に基づいて、前記第１被写体からの反射光に関する第１情報が、前記第１画像を構成する第１画素毎に取得される。第２取得処理ＳＡ１２０では、前記第１被写体から前記第１カメラまでの距離に応じた第２情報が前記第１画素毎に取得される。算出処理ＳＡ１３０では、前記第１情報と前記第２情報とを変数とする演算が実行され、前記演算の結果である指標値が前記第１画素毎に算出される。特定処理ＳＡ１４０では、前記指標値に基づいて、前記物体に対応する前記第１画像の第１領域に属する否かを前記第１画素毎に判定することによって、前記第１領域が特定される。本態様の特定方法によれば、被写体に含まれる物体の色と当該物体以外の背景物の色との差が小さい場合、又はカメラの特性等により特定波長域の色を高精度に撮像することができない場合であっても、物体に対応する領域を精度良く特定することが可能になる。

より好ましい態様の特定方法において、前記第１情報は、前記反射光の輝度を示す輝度情報及び前記反射光の色毎の階調を示す階調情報の少なくとも一方であってもよい。本態様の特定方法によれば、第１画像の画素毎に、被写体からの反射光に輝度又は階調と被写体から第１カメラまでの距離とから算出される指標値に基づく一回の判定を行うことで、物体に対応する領域を精度良く特定することが可能になる。

別の好ましい態様の特定方法において、算出処理ＳＡ１３０では、指標値を算出する演算の実行に先立って、第１領域に属する第２画素がユーザーの指示又は前記第２情報に基づいて設定されてもよい。そして、算出処理ＳＡ１３０にて実行される演算は、第１画素についての第１情報と第２画素についての第１情報との差に第１係数を乗算した結果と、第１画素についての第２情報と第２画素についての第２情報との差に第２係数を乗算した結果と、の和であってもよい。本態様の特定方法によれば、第１画素についての第１情報と第２画素についての第１情報との差に第１係数を乗算した結果と、第１画素についての第２情報と第２画素についての第２情報との差に第２係数を乗算した結果と、の和に基づいて、物体に対応する領域を特定することが可能になる。

更に好ましい態様の特定方法においては、前記第２情報は、プロジェクター１０から被写体ＳＣへ投写されるパターン画像と、このパターン画像を投写されている状態の被写体ＳＣを撮像装置２０により撮像して得られる第２画像とに基づいて生成されてもよい。第２画像は、第１画像を構成する複数の第１画素に一対一に対応する複数の第３画素から構成されることが好ましい。別の好ましい態様の特定方法においては、第２情報は、プロジェクター１０からパターン画像を投写されている状態の被写体ＳＣを撮像装置２０により撮像して得られる第２画像と、当該被写体ＳＣを第２カメラにより撮像して得られる第３画像とに基づいて生成されてもよい。第２画像は、第１画像を構成する複数の第１画素に一対一に対応する複数の第３画素から構成されることが好ましい。第３画像は、第２画像を構成する複数の第３画素に一対一に対応する複数の第４画素から構成されることが好ましい。また、好ましい態様の特定方法においては、前記第２情報は、画素値が被写体までの距離を表す距離画像を撮像する距離カメラにより前記第１被写体を撮像して得られる第４画像に基づいて生成されてもよい。

別の更に好ましい態様の特定方法においては、前記第１係数及び前記第２係数は予め設定されていてもよい。本態様によれば、物体に対応する領域に属する画素であるか否かを画素毎に判定するための指標値を、予め設定された第１係数及び第２係数に基づいて算出することが可能になる。

別の更に好ましい態様の特定方法においては、前記指標値の算出に先立って、前記第１係数及び前記第２係数の設定を受け付け、受け付けた前記第１係数及び前記第２係数の設定に応じて前記指標値が算出されてもよい。本態様の特定方法によれば、物体に対応する領域に属する画素であるか否かを画素毎に判定するための指標値を、ユーザーにより設定された第１係数及び第２係数に基づいて算出することが可能になる。

別の更に好ましい態様の特定方法においては、前記指標値の算出に先立って、前記第１情報の示す前記第１画像における輝度又は階調の出現頻度のヒストグラムに応じて前記第１係数が設定され、前記第２情報の示す距離の出現頻度のヒストグラムに応じて前記第２係数が設定されてもよい。本態様の特定方法によれば、物体に対応する領域に属する画素であるか否かを画素毎に判定するための指標値を、第１画像における輝度又は階調の出現頻度のヒストグラムに応じて設定される第１係数、及び第２情報の示す距離の出現頻度のヒストグラムに応じて設定される第２係数に基づいて算出することが可能になる。

また、上記課題を解決するために本開示の投写方法は、前述の第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、算出処理ＳＡ１３０、及び特定処理ＳＡ１４０を含み、更に、以下の投写制御処理ＳＡ１５０を含む。投写制御処理ＳＡ１５０では、プロジェクターから前記第１被写体へ投写する投写画像が前記第１領域に対応する第２領域と前記第２領域以外の第３領域とに区分けされ、前記第２領域を第１色で塗りつぶし、且つ前記第３領域を第２色で塗りつぶした前記投写画像を前記プロジェクターに投写させる。本態様の投写方法によれば、被写体に含まれる物体の色と当該物体以外の背景物の色との差が小さい場合、又はカメラの特性等により特定波長域の色を高精度に撮像することができない場合であっても、物体に対応する領域を精度良く特定することが可能になる。物体に対応する領域を第１色で精度良く塗りつぶし、且つ物体以外の背景物に対応する領域を第２色で精度良く塗りつぶした投写画像を第１被写体に投写することが可能になる。

また、上記課題を解決するために本開示の特定システムは、第１カメラと、情報処理装置と、を備える。この情報処理装置は、前述の第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、算出処理ＳＡ１３０、及び特定処理ＳＡ１４０を実行する。本態様の特定システムによれば、被写体に含まれる物体の色と当該物体以外の背景物の色との差が小さい場合、又はカメラの特性等により特定波長域の色を高精度に撮像することができない場合であっても、物体に対応する領域を精度良く特定することが可能になる。

また、上記課題を解決するために本開示の情報処理装置は、前述の第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、算出処理ＳＡ１３０、及び特定処理ＳＡ１４０を実行する。本態様の情報処理装置によれば、被写体に含まれる物体の色と当該物体以外の背景物の色との差が小さい場合、又はカメラの特性等により特定波長域の色を高精度に撮像することができない場合であっても、物体に対応する領域を精度良く特定することが可能になる。

また、上記課題を解決するために本開示のプログラムは、コンピューターに、前述の第１取得処理ＳＡ１１０、第２取得処理ＳＡ１２０、算出処理ＳＡ１３０、及び特定処理ＳＡ１４０を実行させる。本態様のプログラムによれば、被写体に含まれる物体の色と当該物体以外の背景物の色との差が小さい場合、又はカメラの特性等により特定波長域の色を高精度に撮像することができない場合であっても、物体に対応する領域を精度良く特定することが可能になる。

１…投写システム、１０…プロジェクター、２０…撮像装置、３０…情報処理装置、３００…通信装置、３１０…タッチパネル、３２０…記憶装置、３３０…処理装置、３３１…第１取得部、３３２…第２取得部、３３３…算出部、３３４…特定部、３３５…投写制御部、３２１…プログラム、ＳＣ１…物体、ＳＣ２…背景物、ＳＣ…被写体。

Claims (13)

1. 物体を含む第１被写体を第１カメラにより撮像することによって得られる第１画像に基づいて、前記第１被写体からの反射光に関する第１情報を、前記第１画像を構成する第１画素毎に取得し、
   前記第１被写体から前記第１カメラまでの距離に応じた第２情報を前記第１画素毎に取得し、
   前記第１情報と前記第２情報とを変数とする演算を実行し、前記演算の結果である指標値を前記第１画素毎に算出し、
   前記指標値に基づいて、前記物体に対応する前記第１画像の第１領域に属するか否かを前記第１画素毎に判定することによって、前記第１領域を特定する、
   特定方法。
2. 前記第１情報は、前記反射光の輝度を示す輝度情報及び前記反射光の色毎の階調を示す階調情報の少なくとも一方である、請求項１に記載の特定方法。
3. 前記演算の実行に先立って、前記第１領域に属する第２画素をユーザーの指示又は前記第２情報に基づいて設定し、
   前記演算は、前記第１画素についての前記第１情報と前記第２画素についての前記第１情報との差に第１係数を乗算した結果と、前記第１画素についての前記第２情報と前記第２画素についての前記第２情報との差に第２係数を乗算した結果と、の和である、請求項１又は請求項２に記載の特定方法。
4. 前記第２情報は、
   プロジェクターから前記第１被写体へ投写されるパターン画像と、
   前記パターン画像を投写されている状態の前記第１被写体を前記第１カメラにより撮像して得られ、前記第１画像を構成する複数の前記第１画素に一対一に対応する複数の第３画素から構成される第２画像と、
   に基づいて生成される、請求項１乃至３のうちの何れか１項に記載の特定方法。
5. 前記第２情報は、
   プロジェクターからパターン画像を投写されている状態の前記第１被写体を前記第１カメラにより撮像して得られ、前記第１画像を構成する複数の前記第１画素に一対一に対応する複数の第３画素から構成される第２画像と、
   前記パターン画像を投写されている状態の前記第１被写体を第２カメラにより撮像して得られ、前記第２画像を構成する複数の前記第３画素に一対一に対応する複数の第４画素から構成される第３画像と、
   に基づいて生成される、請求項１乃至３のうちの何れか１項に記載の特定方法。
6. 前記第２情報は、画素値が被写体までの距離を表す距離画像を撮像する距離カメラにより前記第１被写体を前記被写体として撮像して得られる第４画像に基づいて生成される、
   請求項１乃至３のうちの何れか１項に記載の特定方法。
7. 前記第１係数及び前記第２係数が予め設定されている、請求項３に記載の特定方法。
8. 前記演算の実行に先立って、前記第１係数及び前記第２係数の設定を受け付け、受け付けた前記第１係数及び前記第２係数の設定に応じて前記指標値を算出する、請求項３に記載の特定方法。
9. 前記演算の実行に先立って、前記第１情報の示す前記第１画像における輝度又は階調の出現頻度のヒストグラムに応じて前記第１係数を設定し、前記第２情報の示す距離の出現頻度のヒストグラムに応じて前記第２係数を設定する、請求項３に記載の特定方法。
10. 物体を含む第１被写体を第１カメラにより撮像することによって得られる第１画像に基づいて、前記第１被写体からの反射光に関する第１情報を、前記第１画像を構成する第１画素毎に取得し、
    前記第１被写体から前記第１カメラまでの距離に応じた第２情報を前記第１画素毎に取得し、
    前記第１情報と前記第２情報とを変数とする演算を実行し、前記演算の結果である指標値を前記第１画素毎に算出し、
    前記指標値に基づいて、前記物体に対応する前記第１画像の第１領域に属する否かを前記第１画素毎に判定することによって、前記第１領域を特定し、
    プロジェクターから前記第１ 被写体へ投写する投写画像を前記第１領域に対応する第２領域と前記第２領域以外の第３領域とに区分けし、前記第２領域を第１色で塗りつぶし、且つ前記第３領域を第２色で塗りつぶした前記投写画像を前記プロジェクターに投写させる、
    投写方法。
11. 第１カメラと、
    情報処理装置と、を備え、
    前記情報処理装置は、
    物体を含む第１被写体を前記第１カメラにより撮像することによって得られる第１画像に基づいて、前記第１被写体からの反射光に関する第１情報を、前記第１画像を構成する第１画素毎に取得すること、
    前記第１被写体から前記第１カメラまでの距離に応じた第２情報を前記第１画素毎に取得すること、
    前記第１情報と前記第２情報とを変数とする演算を実行し、前記演算の結果である指標値を前記第１画素毎に算出すること、及び、
    前記指標値に基づいて、前記物体に対応する前記第１画像の第１領域に属する否かを前記第１画素毎に判定することによって、前記第１領域を特定すること、
    を実行する特定システム。
12. 物体を含む第１被写体を第１カメラにより撮像することによって得られる第１画像に基づいて、前記第１被写体からの反射光に関する第１情報を、前記第１画像を構成する第１画素毎に取得すること、
    前記第１被写体から前記第１カメラまでの距離に応じた第２情報を前記第１画素毎に取得すること、
    前記第１情報と前記第２情報とを変数とする演算を実行し、前記演算の結果である指標値を前記第１画素毎に算出すること、及び、
    前記指標値に基づいて、前記物体に対応する前記第１画像の第１領域に属する否かを前記第１画素毎に判定することによって、前記第１領域を特定すること、
    を実行する情報処理装置。
13. コンピューターに、
    物体を含む第１被写体を第１カメラにより撮像することによって得られる第１画像に基づいて、前記第１被写体からの反射光に関する第１情報を、前記第１画像を構成する第１画素毎に取得すること、
    前記第１被写体から前記第１カメラまでの距離に応じた第２情報を前記第１画素毎に取得すること、
    前記第１情報と前記第２情報とを変数とする演算を実行し、前記演算の結果である指標値を前記第１画素毎に算出すること、及び、
    前記指標値に基づいて、前記物体に対応する前記第１画像の第１領域に属する否かを前記第１画素毎に判定することによって、前記第１領域を特定すること、
    を実行させるプログラム。

Images