JP2018032991A - 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム - Google Patents

Abstract

【課題】撮影時に通信装置のポートがケーブルに隠れていてもそのポートを画像上で特定可能な画像表示装置を提供する。【解決手段】画像表示装置は、複数のポートを有する通信装置におけるケーブルの接続状態が第１の状態であるその通信装置の像が写っている第１の画像と、ケーブルの接続状態が第２の状態であるその通信装置の像が写っている第２の画像のうちの少なくとも一方についてその画像の各画素に所定の透明度を設定する透明度設定部（１２）と、第１の画像に写っている通信装置の像と第２の画像に写っている通信装置の像とを位置合わせする位置合わせ部（１３）と、位置合わせされた第１の画像と第２の画像とを所定の透明度に応じて合成して合成画像を生成する合成部（１４）と、合成画像を表示装置（２）に表示させる表示制御部（１５）とを有する。【選択図】図２

Description

本発明は、例えば、画像表示装置、画像表示方法及び画像表示用コンピュータプログラムに関する。

従来より、拡張現実感（Augmented Reality, AR）を利用して、ユーザに様々な情報を提供したり、ユーザの行動を支援する研究がなされている（例えば、特許文献１及び２を参照）。例えば、特許文献１に開示された技術では、所定の場所において表示する映像が、所定の場所において現在撮像された映像、所定の場所において過去に撮像された映像、またはそれらを組み合わせて得られる複合映像間で切り替えられる。

また、特許文献２に開示された技術では、ケーブル端に取り付けられた目標コネクタの識別番号が入力されるとそのコネクタの位置情報が取得され、作業者を目標コネクタの場所に誘導する誘導情報がヘッドマウントディスプレイの表示部に表示される。

特開２０１４−３８５２３号公報 特開２０１２−１５２０１６号公報

ルータまたはスイッチングハブといった通信装置は、複数のポートを有し、それらポートのそれぞれにケーブルが接続される。そして複数のケーブルが通信装置に接続されると、何れかのポートがそれらケーブルにより隠されて作業者がそのポートを視認できなくなることがある。そのため、このような通信装置におけるケーブルの接続、取り外しあるいは交換といった作業（以下では、便宜上、ケーブル接続作業と呼ぶ）を支援するために、ARを利用することが好ましい。

しかしながら、特許文献１に開示された技術では、現在の映像及び過去の映像とも、同じ場所で撮影されることが前提となっている。しかしながら、通信装置の設置時と、ケーブル接続作業の実行時とでは、対象となる通信装置を撮影する位置及びその通信装置に対するカメラの向きが異なることがある。特に、作業者が所持する撮影機器、例えば、デジタルカメラあるいはカメラ付きの携帯電話機などで対象となる通信装置を撮影する場合には、撮影位置などが設置時と作業の実行時とで異なる可能性が高い。

また、特許文献２に開示された技術では、目標コネクタが作業者から視認できない状況が想定されておらず、そのような場合に、この技術は、コネクタの接続作業を適切に支援できないおそれがある。

一つの側面では、本発明は、撮影時に通信装置のポートがケーブルに隠れていてもそのポートを画像上で特定可能な画像表示装置を提供することを目的とする。

一つの態様では、画像表示装置が提供される。この画像表示装置は、複数のポートを有する通信装置におけるケーブルの接続状態が第１の状態であるその通信装置の像が写っている第１の画像と、ケーブルの接続状態が第２の状態であるその通信装置の像が写っている第２の画像のうちの少なくとも一方についてその画像の各画素に所定の透明度を設定する透明度設定部と、第１の画像に写っている通信装置の像と第２の画像に写っている通信装置の像とを位置合わせする位置合わせ部と、位置合わせされた第１の画像と第２の画像とを所定の透明度に応じて合成して合成画像を生成する合成部と、合成画像を表示装置に表示させる表示制御部とを有する。

他の一つの態様では、画像表示方法が提供される。この画像表示方法は、複数のポートを有する通信装置におけるケーブルの接続状態が第１の状態であるその通信装置の像が写っている第１の画像と、ケーブルの接続状態が第２の状態であるその通信装置の像が写っている第２の画像のうちの少なくとも一方についてその画像の各画素に所定の透明度を設定し、第１の画像に写っている通信装置の像と第２の画像に写っている通信装置の像とを位置合わせし、位置合わせされた第１の画像と第２の画像とを所定の透明度に応じて合成して合成画像を生成し、合成画像を表示装置に表示させることを含む。

さらに他の一つの態様では、画像表示用コンピュータプログラムが提供される。この画像表示用コンピュータプログラムは、複数のポートを有する通信装置におけるケーブルの接続状態が第１の状態であるその通信装置の像が写っている第１の画像と、ケーブルの接続状態が第２の状態であるその通信装置の像が写っている第２の画像のうちの少なくとも一方についてその画像の各画素に所定の透明度を設定し、第１の画像に写っている通信装置の像と第２の画像に写っている通信装置の像とを位置合わせし、位置合わせされた第１の画像と第２の画像とを所定の透明度に応じて合成して合成画像を生成し、合成画像を表示装置に表示させることをコンピュータに実行させるための命令を含む。

撮影時に通信装置のポートがケーブルに隠れていてもそのポートを画像上で特定できる。

一つの実施形態による画像表示装置が組み込まれた端末のハードウェア構成図である。 画像表示処理に関する制御部の機能ブロック図である。 （ａ）は、加工が施される前の参照画像の一例を示す図であり、（ｂ）は、加工が施された後の参照画像の一例を示す図である。 参照画像登録処理の動作フローチャートである。 （ａ）は、現画像の一例を示す図であり、（ｂ）は、合成画像の一例を示す図である。 画像表示処理の動作フローチャートである。 上記の実施形態またはその変形例による画像表示装置が実装されたサーバクライアントシステムの概略構成図である。

以下、図を参照しつつ、画像表示装置について説明する。この画像表示装置は、ルータあるいはスイッチングハブといった、ケーブルを接続するためのポートを複数有する通信装置を、互いに異なるケーブルの接続状態において撮影することにより得られた二つの画像を重畳して得られる合成画像を表示する。その際、この画像表示装置は、例えば、ケーブルが接続されていないときの通信装置の画像と、１以上のケーブルが接続されたときの通信装置の画像のうちの一方を半透明に設定するとともに、各画像上の通信装置の像を位置合わせすることで合成画像を生成する。

図１は、一つの実施形態による画像表示装置が組み込まれた端末のハードウェア構成図である。端末１は、ユーザインターフェース部２と、撮像部３と、位置情報取得部４と、記憶媒体アクセス装置５と、記憶部６と、制御部７とを有する。ユーザインターフェース部２、撮像部３、位置情報取得部４、記憶媒体アクセス装置５及び記憶部６は、信号線を介して制御部７と接続される。なお、端末１は、例えば、携帯電話機、携帯情報端末、あるいは、タブレット型コンピュータである。さらに、端末１は、端末１を他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。なお、図１は、端末１が有する構成要素を説明するための図であり、端末１の各構成要素の実際の配置を表した図ではないことに留意されたい。

ユーザインターフェース部２は、表示装置の一例であり、例えば、液晶ディスプレイ、あるいは有機エレクトロルミネッセンスディスプレイを有する。そしてユーザインターフェース部２は、その表示画面において、撮像部３により生成された画像あるいは合成画像など、ユーザに対して様々な情報を表示する。またユーザインターフェース部２は、ユーザが端末１に対する操作を行うための複数の操作ボタンを有していてもよい。あるいは、ユーザインターフェース部２は、タッチパネルディスプレイを有してもよい。この場合、ユーザインターフェース部２は、例えば、様々なアイコンまたは操作ボタンを、制御部７からの制御信号に応じて表示する。そしてユーザインターフェース部２は、表示されたアイコンまたは操作ボタンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部７へ出力する。

撮像部３は、例えば、２次元アレイ状に配置された固体撮像素子を有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系とを有する。なお、撮像光学系は単焦点光学系であってもよく、あるいは、ズーム光学系であってもよい。

撮像部３は、ユーザの操作に応じて被写体である通信装置を撮影することで、その通信装置が写った画像を生成する。本実施形態では、撮像部３は、RGB表色系で表されるカラー画像を生成する。そして撮像部３は、画像を生成する度に、生成した画像を制御部７へ出力する。なお、撮像部３は、端末１に内蔵されていてもよい。あるいは、端末１とは別個に設けられていてもよい。撮像部３が端末１と別個に設けられる場合、撮像部３は、例えば、ビデオケーブルあるいは周辺機器接続用のケーブルを介して、端末１と接続されればよい。

位置情報取得部４は、端末１の位置、及び、撮像部３の撮影方向を表す情報を取得する。なお、端末１の位置、及び、撮像部３の撮影方向を表す情報を、以下では、単に位置情報と呼ぶ。位置情報取得部４は、例えば、全地球測位システム(Global Positioning System, GPS)信号を受信する受信機と、GPS信号から端末１の位置を算出する演算回路と、撮像部３の撮影方向を測定する方位センサとを有する。また方位センサは、例えば、ジャイロセンサ及び磁気センサを有する。なお、撮像部３が端末１と別個に設けられる場合、撮像部３の位置及び撮影方向を正確に測定するために、位置情報取得部４、特に方位センサは、撮像部３内に設けられることが好ましい。なお、位置情報取得部４は、位置情報を取得可能な他のセンサを有していてもよい。

位置情報取得部４は、撮像部３により画像が得られたときの位置情報を取得し、その位置情報を制御部７へ出力する。

記憶媒体アクセス装置５は、例えば、半導体メモリカードといった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置５は、例えば、記憶媒体８に記憶された、制御部７上で実行されるコンピュータプログラムを読み込み、制御部７に渡す。また、後述するように、制御部７が画像表示装置としての機能を実現するコンピュータプログラムを実行する場合には、記憶媒体アクセス装置５は、記憶媒体８から画像表示用コンピュータプログラムを読み込んで、制御部７に渡してもよい。また、記憶媒体アクセス装置５は、制御部７から受け取った、表示対象の通信装置の画像そのもの、あるいは、加工が施された画像と画像取得時の位置情報、通信装置の位置、撮像部３の画角及び焦点距離などを記憶媒体８に保存する。さらに記憶媒体アクセス装置５は、制御部７から受け取った、画像上で通信装置が写っている位置を表す情報などを記憶媒体８に保存してもよい。

記憶部６は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。そして記憶部６は、制御部７上で実行される各種のアプリケーションプログラム及び各種のデータを記憶する。また記憶部６は、画像表示処理の対象となる画像、及び、画像表示処理に利用される各種のデータあるいは画像表示処理の途中で生成される各種のデータを記憶してもよい。

制御部７は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部７は、端末１の各部と信号線を介して接続されており、端末１全体を制御する。
また制御部７は、画像表示装置として動作する。

図２は、画像表示処理に関する制御部７の機能ブロック図である。制御部７は、被写体検出部１１と、画像加工部１２と、位置合わせ部１３と、合成部１４と、表示制御部１５とを有する。制御部７が有するこれらの各部は、例えば、制御部７上で実行されるコンピュータプログラムにより実現される。なお、制御部７が有するこれらの各部は、制御部７が有するプロセッサとは別個に、これらの各部の機能を実現する一つまたは複数の集積回路として、端末１に実装されてもよい。

制御部７は、参照画像登録処理と、画像表示処理とを実行する。参照画像登録処理は、ケーブル接続作業の対象となる通信装置において全てのポートが見える状態であるときにその通信装置を撮影して得られる参照画像を事前登録する処理である。一方、画像表示処理は、参照画像と作業時の通信装置を撮影して得られる画像とを合成して得られる合成画像をユーザインターフェース部２に表示させる処理である。そして被写体検出部１１及び画像加工部１２は、参照画像登録処理に関連する。一方、位置合わせ部１３、合成部１４及び表示制御部１５は、画像表示処理に関連する。

以下では、参照画像登録処理と画像表示処理とに分けて、制御部７が有する各部の処理を説明する。
（参照画像登録処理）

被写体検出部１１は、制御部７が作業対象となる通信装置において全てのポートが見える状態であるときにその通信装置をポート側から撮影して得られる参照画像を撮像部３から取得すると、その参照画像から作業対象となる通信装置を検出する。なお、以下では、作業対象となる通信装置を、単に通信装置と呼ぶ。

例えば、被写体検出部１１は、通信装置上に、ARマーカのような、所定の形状を有する識別用のマーカが設けられている場合、参照画像上でその識別用マーカを検出する。例えば、被写体検出部１１は、識別用マーカのテンプレートを用いたテンプレートマッチングにより、参照画像上で識別用マーカが写っている領域を検出する。なお、参照画像上での識別用マーカのサイズは、端末１と通信装置間の距離に応じて変化するので、被写体検出部１１は、識別用マーカのサイズが互いに異なる複数のテンプレートを用いてもよい。

あるいは、被写体検出部１１は、識別用マーカ検出用に予め学習された識別器を利用して、参照画像上で識別用マーカが写っている領域を検出してもよい。例えば、被写体検出部１１は、識別器として、AdaBoost識別器、サポートベクトルマシン、あるいはディープニューラルネットワークを用いることができる。被写体検出部１１は、参照画像の一部にウインドウを設定し、そのウインドウから識別器に入力するための特徴、例えば、Haar-like特徴を抽出し、その特徴を識別器に入力することで、そのウインドウ内に識別用マーカが写っているか否かを判定すればよい。被写体検出部１１は、参照画像上でのウインドウの位置及びサイズを変えながら、上記の処理を繰り返すことで、参照画像上のどこに識別用マーカが写っていても、識別用マーカを検出できる。通信装置上での識別用マーカの位置は既知であるため、被写体検出部１１は、参照画像上で識別用マーカを検出すると、識別用マーカと通信装置の位置関係に応じて、参照画像上での通信装置が写っている領域を特定する。

あるいは、被写体検出部１１は、参照画像から通信装置そのものを検出してもよい。この場合も、被写体検出部１１は、通信装置のテンプレートを用いたテンプレートマッチングにより、参照画像上で通信装置が写っている領域を検出してもよい。あるいは、被写体検出部１１は、通信装置検出用に予め学習された識別器を利用して、参照画像上で通信装置が写っている領域を検出してもよい。この場合も、被写体検出部１１は、上記の識別用マーカ検出用の識別器を用いるときと同様の処理を行うことで、通信装置が写っている領域を検出できる。

あるいはまた、被写体検出部１１は、参照画像から、通信装置の特徴点を複数検出してもよい。例えば、被写体検出部１１は、通信装置の各コーナーを特徴点として検出してもよい。そのような特徴点を検出するために、被写体検出部１１は、例えば、Harrisフィルタといったコーナー検出フィルタを用いることができる。そして被写体検出部１１は、検出された特徴点のうち、４個の特徴点の組で囲まれた領域のサイズ及び形状が参照画像上で想定される通信装置のサイズ及び形状と一致する場合、その特徴点の組で囲まれた領域を、通信装置が写っている領域として検出する。

被写体検出部１１は、参照画像上で通信装置の識別用マーカを検出した場合、その識別用マーカが写っている領域の位置及びサイズを表す情報を画像加工部１２へ通知する。また被写体検出部１１は、参照画像上で通信装置そのものを検出した場合、通信装置が写っている領域の位置及びサイズを表す情報を画像加工部１２へ通知する。

画像加工部１２は、合成画像を生成するために利用可能なように参照画像を加工する。本実施形態では、画像加工部１２は、透明度設定部の一例であり、参照画像の各画素、あるいは、少なくとも、参照画像上で通信装置が写っている領域に含まれる各画素に所定の透明度を設定する。例えば、画像加工部１２は、参照画像の各画素について、透明度を表すアルファ値の値を、半透明となるような所定の透明度に相当する値（例えば、α値が0〜255で表される場合、100〜150程度の値）に設定する。なお、画像加工部１２は、参照画像上で通信装置が写っている領域内の各画素の透明度と、その領域外の各画素の透明度とを異ならせてもよい。例えば、画像加工部１２は、通信装置が写っている領域内の各画素の透明度の方が、その領域外の各画素の透明度よりも低く設定されてもよい。これにより、合成画像上では、通信装置以外については、参照画像の情報が見え難くなるので、複数の画像が重畳されて見える領域が小さくなり、その結果として全体として見易い合成画像が得られる。

また、画像加工部１２は、参照画像上での通信装置の向き、位置及びサイズが所定の向き、位置及びサイズとなるように、参照画像の各画素に対してアフィン変換を行ってもよい。これにより、ケーブル接続作業時に取得される画像と参照画像との間で行われる位置合わせが容易となる。例えば、参照画像上で識別用マーカが検出されている場合、識別用マーカの所定の辺（例えば、底辺）が参照画像の何れか一辺（例えば、底辺）と平行となるように、画像加工部１２は、アフィン変換の回転角度の係数を設定すればよい。また、テンプレートマッチングにより識別用マーカが検出されている場合には、画像加工部１２は、テンプレートと参照画像が最も一致したときのテンプレートの傾き角に対して正負を反転させたものを、アフィン変換の回転角度の係数とすればよい。また、画像加工部１２は、識別用マーカの所定の辺に沿った長さが所定のサイズとなるように、アフィン変換のスケールに関する係数を設定すればよい。さらに、画像加工部１２は、参照画像上での識別用マーカが写っている領域の重心が参照画像で所定の位置となるように、アフィン変換の平行移動の係数を設定すればよい。

同様に、参照画像上で通信装置そのものが検出されている場合、通信装置の所定の辺（例えば、底辺）が参照画像の何れか一辺（例えば、底辺）と平行となるように、画像加工部１２は、アフィン変換の回転角度の係数を設定すればよい。その際、テンプレートマッチングにより通信装置が検出されている場合には、画像加工部１２は、テンプレートと参照画像が最も一致したときのテンプレートの傾き角に対して正負を反転させたものを、アフィン変換の回転角度の係数とすればよい。また、画像加工部１２は、通信装置の所定の辺に沿った長さが所定のサイズとなるように、アフィン変換のスケールに関する係数を設定すればよい。さらに、画像加工部１２は、参照画像上での通信装置が写っている領域の重心が参照画像で所定の位置となるように、アフィン変換の平行移動の係数を設定すればよい。

画像加工部１２は、参照画像の各画素に対して上記のように設定したアフィン変換の各係数を用いてアフィン変換を実行することで、参照画像上での通信装置の向き、位置及びサイズを所定の向き、位置及びサイズに設定できる。なお、画像加工部１２は、参照画像上での通信装置の向き、位置及びサイズのうち、何れか一つまたは二つのみを所定の値となるように各画素に対してアフィン変換を実行してもよい。なお、アフィン変換後の各画素の位置は、複数の画素間に跨ることがあるため、画像加工部１２は、アフィン変換の実行後に、バイリニアあるいはバイキュービックといった補間処理を実行してもよい。

なお、詳細は後述するように、視点変換処理を用いて参照画像上の通信装置の像とケーブル接続作業時の画像上の通信装置の像とが位置合わせされる場合には、参照画像上での通信装置の向き、位置及びサイズの補正に関しては省略される。

さらに、画像加工部１２は、参照画像上の各画素の輝度値の平均値が所定値となるように、参照画像の各画素の輝度値を変換してもよい。あるいは、画像加工部１２は、参照画像のコントラストが所定のコントラストとなるように、参照画像の各画素の輝度値を変換してもよい。

この場合には、画像加工部１２は、参照画像の各画素の値を、RGB表色系の値からHLS表色系の値に変換する。画像加工部１２は、各画素の輝度成分の平均値を算出し、輝度の所定値からその平均値を減じて得られる差分値を算出する。そして画像加工部１２は、その差分値を各画素の輝度成分に加算することで、各画素の輝度成分を補正する。あるいは、画像加工部１２は、参照画像の輝度成分の最大値と最小値を求め、その最大値と最小値の差が所定のコントラストに相当する値となるように、各画素の輝度成分を補正する。そして画像加工部１２は、参照画像の各画素の値を、補正後の輝度成分を用いてHLS表色系の値からRGB表色系の値に変換する。

さらに、画像加工部１２は、参照画像上で通信装置が写っている領域をトリミングしてもよい。

画像加工部１２は、加工された参照画像、その参照画像上の通信装置の位置、及び、参照画像取得時の位置情報を記憶媒体アクセス装置５に渡して、記憶媒体８に保存させる。また、撮像部３がズーム光学系を有している場合には、画像加工部１２は、参照画像取得時における、撮像部３の画角及び焦点距離を、参照画像とともに記憶媒体アクセス装置５に渡して、記憶媒体８に保存させる。

図３（ａ）は、加工が施される前の参照画像の一例を示す図であり、図３（ｂ）は、加工が施された後の参照画像の一例を示す図である。図３（ａ）に示される通り、加工が施される前の参照画像３００では、通信装置３１０は、参照画像３００の水平方向に対して右肩下がりに傾いて写っている。これに対して、図３（ｂ）に示される、加工が施された後の参照画像３０１では、通信装置３１０は、参照画像３００の水平方向と通信装置３１０の長手方向が平行となるように、通信装置３１０の向きが修正されている。また参照画像３０１では、通信装置３１０が半透明となるように、各画素に透明度が設定されている。

図４は、参照画像登録処理の動作フローチャートである。制御部７は、参照画像が得られる度に、この動作フローチャートに従って参照画像を登録する。

被写体検出部１１は、参照画像から通信装置を検出する（ステップＳ１０１）。画像加工部１２は、参照画像の各画素に所定の透明度を設定する（ステップＳ１０２）。また画像加工部１２は、参照画像上での通信装置の向き、位置及びサイズを所定の向き、位置及びサイズとなるように、参照画像の各画素に対してアフィン変換を実行する（ステップＳ１０３）。そして画像加工部１２は、参照画像の各画素の輝度値を補正する（ステップＳ１０４）。さらに、画像加工部１２は、参照画像から通信装置が写っている領域をトリミングする（ステップＳ１０５）。画像加工部１２は、加工が施された参照画像、その参照画像上の通信装置の位置、及び、参照画像取得時の位置情報を記憶媒体アクセス装置５に渡して、記憶媒体８に保存させる（ステップＳ１０６）。そして制御部７は、参照画像登録処理を終了する。なお、ステップＳ１０２〜Ｓ１０５の処理の順序は適宜入れ替えられてもよい。また、ステップＳ１０３〜Ｓ１０５は、省略されてもよい。

（画像表示処理）
以下、画像表示処理について説明する。

位置合わせ部１３は、ケーブル接続作業時において通信装置を撮影することにより得られた通信装置の画像（以下、現画像と呼ぶ）と、その通信装置の参照画像（例えば、加工が施されたもの）との間で、通信装置の像同士が一致するように位置合わせを行う。

例えば、位置合わせ部１３は、参照画像をテンプレートとして、現画像との間でテンプレートマッチングを行うことにより、テンプレートが最も一致する位置及びテンプレートの向きをもとめる。その際、位置合わせ部１３は、テンプレートの位置及び向きを変えながら、現画像とテンプレートとの間で正規化相互相関値を算出し、その正規化相互相関値が最大となる位置及び向きを、テンプレートが最も一致する位置及び向きとする。なお、位置合わせ部１３は、正規化相互相関値を算出するために、参照画像及び現画像のそれぞれについて、赤色成分、青色成分、緑色成分の何れか一つを利用してもよい。あるいは、位置合わせ部１３は、画像加工部１２と同様に、各画素について表色系変換を行って得られる輝度成分を正規化相互相関値を算出するために利用してもよい。

なお、テンプレートマッチングを行う前に、位置合わせ部１３は、現画像に対して被写体検出部１１及び画像加工部１２の処理を実行して、現画像上での通信装置のサイズが所定のサイズとなるように、現画像を加工してもよい。これにより、現画像上及び参照画像上の通信装置のサイズが略等しくなるので、位置合わせ部１３は、テンプレートマッチングによる位置合わせ精度を向上できる。

位置合わせ部１３は、テンプレートが現画像と最も一致する位置及び向きとなるようにテンプレートとなる参照画像の各画素をシフトすることで、現画像と合成される仮想画像を生成する。

あるいは、位置合わせ部１３は、視点変換処理を利用して、参照画像と現画像とを位置合わせしてもよい。位置合わせ部１３は、例えば、参照画像取得時における位置情報と、現画像取得時における位置情報とを利用して、参照画像について、仮想的に現画像取得時における撮像部３の位置からその撮影方向へ向けて通信装置を撮影した時の画像となるように視点変換する。

位置合わせ部１３は、参照画像上で通信装置が写っている領域に含まれる各画素について、その画素に写っている点の実空間での位置を次式に従って算出する。
（１）式は、ピンホールカメラモデルに従った式であり、参照画像上の画素(x_d,y_d)に対応する実空間での位置(X_d,Y_d,Z_d)として、参照画像取得時の撮像部３を基準とするカメラ座標系での位置が求められる。カメラ座標系では、Xd軸方向及びYd軸方向は、それぞれ、撮像部３の光軸と直交する面において、参照画像の水平方向及び垂直方向に対応する方向に設定される。またZd軸方向は、撮像部３の光軸方向と平行となるように設定される。またf_drは、参照画像取得時における撮像部３の焦点距離を表し、DW及びDHは、それぞれ、参照画像の水平方向画素数及び垂直方向画素数を表す。DfovDrは、参照画像取得時における撮像部３の対角視野角を表す。また、Z_dは、参照画像上の画素(x_d,y_d)に対応する位置にある通信装置上の点と撮像部３間のZd軸に沿った距離であり、参照画像取得時の位置情報に示される撮像部３の位置と、通信装置の位置との位置関係により算出される。また、通信装置のサイズ、撮像部３の画角及び焦点距離は既知であることから、参照画像上での通信装置のサイズが分かれば、撮像部３から通信装置までの距離も分かる。そこで位置合わせ部１３は、参照画像上での通信装置のサイズ（例えば、特定の方向に沿った通信装置の長さ）に基づいて、距離Z_dを算出してもよい。なお、ケーブル接続作業を支援するためには、参照画像及び現画像上に通信装置の各ポートが写っていることが好ましい。そのため、通信装置のポートが設けられた面の略正面から通信装置が撮影されると想定される。そこで、参照画像上で表された通信装置の各点について、撮像部３とその点間の光軸方向に沿った距離Z_dは同一であると仮定されてもよい。

さらに、位置合わせ部１３は、参照画像上で通信装置が写っている領域に含まれる各画素について、その画素に写っている点のカメラ座標系での座標を、次式に従って、現画像取得時の撮像部３の位置を基準とする仮想視点座標系での座標(X_W,Y_W,Z_W)に変換する。仮想視点座標系では、例えば、現画像取得時の撮像部３の光軸方向と平行となるようにZw軸が設定され、Zw軸と直交する面において、視点変換後の画像における水平方向と対応する方向にXw軸が設定される。そしてXw軸及びZw軸と直交するようにYw軸が設定される。
ここでR_DWは、カメラ座標系から仮想視点座標系へのアフィン変換に含まれる、回転量を表す回転行列であり、t_DWは、そのアフィン変換に含まれる平行移動量を表す平行移動ベクトルである。そしてDLocX、DLocY、DLocZは、それぞれ、仮想視点座標系のXw軸方向、Yw軸方向、Zw軸方向における、参照画像取得時の撮像部３のセンサ面の中心の座標、すなわち、カメラ座標系の原点の座標である。またDRotX、DRotY、DRotZは、それぞれ、Xw軸、Yw軸、Zw軸に対する、参照画像取得時の撮像部３の光軸方向の回転角度を表す。

次に、位置合わせ部１３は、次式に従って、通信装置が写っている領域に含まれる各画素について、仮想視点座標系で表されたその画素に写っている点を、現画像取得時の撮像部３の位置から見た仮想画像上に投影する。これにより、仮想画像上の通信装置の像は、現画像上の通信装置の像と位置合わせされる。
（３）式は、（１）式と同様に、ピンホールカメラモデルに従った式である。そして(x_p,y_p)は、実空間上の点(X_W,Y_W,Z_W)に対応する、仮想画像上での水平方向の位置及び垂直方向の位置を表す。またf_dcは、現画像取得時における撮像部３の焦点距離を表し、DfovDcは、現画像取得時における撮像部３の対角視野角を表す。なお、撮像部３が有する撮像光学系が単焦点光学系であれば、常にf_dr=f_dcかつDfovDr=DfovDcである。

現画像において通信装置の一部がケーブルに隠されて見えない場合、テンプレートマッチングでは、現画像上の通信装置の像と参照画像上の通信装置の像とを良好に位置合わせできないことがある。しかしこのように、位置合わせ部１３は、視点変換処理を用いることにより、現画像において通信装置の一部がケーブルに隠されて見えない場合でも、現画像上の通信装置の像と参照画像上の通信装置の像とを位置合わせすることができる。

さらに、位置合わせ部１３は、視点変換処理により求められた参照画像上での通信装置の位置を中心とする所定範囲に限定して、参照画像と現画像との間でテンプレートマッチングを行ってもよい。これにより、位置合わせ部１３は、現画像上の通信装置の像と参照画像上の通信装置の像とをより高精度で位置合わせすることができる。

位置合わせ部１３は、得られた仮想画像を合成部１４へ出力する。

合成部１４は、仮想画像と現画像とを合成して合成画像を生成する。その際、合成部１４は、仮想画像の各画素について、その画素に設定された透明度に応じて、その画素の値と現画像上の対応画素の値とを合成することで、参照画像上の通信装置の像と現画像上の通信装置との像とが合成された合成画像を生成する。そして合成部１４は、合成画像を表示制御部１５に渡す。

表示制御部１５は、得られた合成画像をユーザインターフェース部２の表示画面上に表示させる。なお、表示制御部１５は、ケーブル接続作業の実行時において、作業対象となるポートを特定する情報を端末１が他の機器から通信インターフェースを介して受信している場合、特定されたポートを表す指標を合成画像とともに表示してもよい。そのような指標として、表示制御部１５は、例えば、ポートの配列を模式的に示す図形において、特定されたポートの色を他のポートの色と変えたものを用いることができる。

図５（ａ）は、現画像の一例を示す図であり、図５（ｂ）は、合成画像の一例を示す図である。現画像５００では、通信装置５１０に複数のケーブルが接続されており、それら複数のケーブルに隠されて視認できないポートもある。一方、合成画像５０１では、現画像５００において視認できなかった通信装置５１０のポート、例えば、ポート５１１も視認可能となっている。そのため、現画像５００では視認できなかったポートがケーブル接続作業の対象となっている場合でも、作業者は、合成画像５０１を参照することにより、そのポートを特定できるので、その作業が容易化される。

図６は、画像表示処理の動作フローチャートである。制御部７は、例えば、撮像部３から現画像を取得すると、この動作フローチャートに従って画像表示処理を実行する。

位置合わせ部１３は、参照画像に写っている通信装置の像と現画像に写っている通信装置の像とを位置合わせする（ステップＳ２０１）。そして合成部１４は、位置合わせされた参照画像（すなわち、仮想画像）と現画像とを、参照画像の各画素に設定された透明度に応じて合成することで、参照画像上の通信装置の像と現画像上の通信装置の像とが合成された合成画像を生成する（ステップＳ２０２）。そして表示制御部１５は、その合成画像をユーザインターフェース部２の表示画面上に表示させる（ステップＳ２０３）。そして制御部７は、画像表示処理を終了する。

以上に説明してきたように、この画像表示装置は、通信装置を互いに異なるケーブルの接続状態において撮影することにより得られた二つの画像を位置合わせした上で合成する。その際、この画像表示装置は、一方の画像については通信装置の像がある程度透明となるように、各画素について透明度を設定することで、二つの画像のそれぞれの通信装置の像が合成された合成画像を生成できる。そのため、この画像表示装置は、一方の画像において通信装置の一部のポートが視認不能となっている場合でも、そのポートを視認可能な合成画像を作業者に見せることができるので、作業者が合成画像上で各ポートの位置を特定することを容易化できる。その結果として、この画像表示装置は、通信装置に対する作業者のケーブル接続作業を支援できる。

変形例によれば、制御部７は、参照画像の代わりに、現画像に対して被写体検出部１１及び画像加工部１２の処理を実行してもよい。そして現画像上の通信装置の像がある程度透明となるように、現画像の各画素に対して所定の透明度が設定されてもよい。この場合、制御部７は、撮像部３から参照画像を取得すると、参照画像そのものを参照画像取得時の位置情報とともに記憶媒体アクセス装置５に渡して記憶媒体８に保存させてもよい。
この変形例においても、上記の実施形態と同様に、参照画像上の通信装置の像と現画像上の通信装置の像とが合成された合成画像が得られるので、作業者は、その合成画像を参照して通信装置の各ポートの位置を特定できる。

また他の変形例によれば、制御部７は、画像表示処理の一部として、参照画像に対して被写体検出部１１及び画像加工部１２の処理を実行してもよい。この場合、制御部７は、撮像部３から参照画像を取得すると、参照画像そのものを参照画像取得時の位置情報とともに記憶媒体アクセス装置５に渡して記憶媒体８に保存させてもよい。この変形例においても、上記の実施形態と同様の効果が得られる。なお、この場合、画像加工部１２は、現画像の各画素に対しても、所定の透明度を設定してもよい。

さらに他の変形例によれば、参照画像上で通信装置が写っている位置及び領域は、作業者がその参照画像を参照しながら決定してもよい。この場合には、制御部７は、撮像部３から取得した参照画像をユーザインターフェース部２の表示画面上に表示させる。そして作業者は、表示画面上に表示された参照画像を参照しながら、通信装置の位置及び領域を示す情報、例えば、通信装置の４個のコーナーの参照画像上の座標を、ユーザインターフェース部２を介して入力すればよい。

さらに他の変形例によれば、端末１は、通信装置の画像が表示されたカタログまたは通信装置の写真を端末１と接続されたスキャナ（図示せず）で読み込んだり、撮像部３にて撮像することにより得られた画像を、参照画像として利用してもよい。この場合には、参照画像上に通信装置以外のものが写っていることもあるので、制御部７は、参照画像から通信装置が写っている領域をトリミングし、その領域を改めて参照画像としてもよい。

さらに他の変形例によれば、位置合わせ部１３が視点変換処理を利用しない場合には、位置情報取得部４は省略されてもよい。一方、位置合わせ部１３が視点変換処理を利用する場合には、参照画像と現画像の両方について通信装置の像の位置が検出されていなくても、位置合わせ部１３はその二つの画像間で通信装置の像を位置合わせすることができる。そのため、被写体検出部１１は省略されてもよい。

また他の変形例によれば、参照画像として取得される際の通信装置に関して、一部のポートにケーブルが接続されていてもよい。ただし、合成画像上で全てのポートが特定可能なように、現画像取得時においてケーブルが接続されているポートと、参照画像取得時においてケーブルが接続されているポートとは、互いに異なっていることが好ましい。

また上記の実施形態または変形例による画像表示装置は、サーバクライアント型のシステムに実装されてもよい。
図７は、上記の実施形態またはその変形例による画像表示装置が実装されたサーバクライアントシステムの概略構成図である。
サーバクライアントシステム１００は、端末１１０とサーバ１２０とを有し、端末１１０とサーバ１２０とは、通信ネットワーク１３０を介して互いに通信可能となっている。なお、サーバクライアントシステム１００が有する端末１１０は複数存在してもよい。同様に、サーバクライアントシステム１００が有するサーバ１２０は複数存在してもよい。なお、図７において、図１に示される端末１の構成要素と同じ構成要素については、同じ参照番号を付した。

端末１１０は、ユーザインターフェース部２と、撮像部３と、位置情報取得部４と、記憶媒体アクセス装置５と、記憶部６と、制御部７と、通信部９とを有する。ユーザインターフェース部２、撮像部３、位置情報取得部４、記憶媒体アクセス装置５、記憶部６及び通信部９は、例えば、制御部７と信号線を介して接続されている。なお、ユーザインターフェース部２、撮像部３、位置情報取得部４、記憶媒体アクセス装置５及び記憶部６については、上記の実施形態における対応する構成要素の説明を参照されたい。

制御部７は、１個または複数個のプロセッサとその周辺回路とを有し、端末１１０の各部を制御する。また制御部７は、撮像部３から通信装置の画像を取得するとともに、位置情報取得部４から端末１１０の位置情報を取得すると、画像及び位置情報を、端末１１０の識別情報（例えば、IPアドレス）とともに通信部９を介してサーバ１２０へ送信する。

また制御部７は、サーバ１２０から通信部９を介して合成画像を受け取ると、その合成画像をユーザインターフェース部２の表示画面に表示させる。

通信部９は、端末１１０を通信ネットワーク１３０に接続するためのインターフェース回路を有する。そして通信部９は、制御部７から受け取った、画像、端末１１０の位置情報及び端末１１０の識別情報を含む送信信号を、通信ネットワーク１３０を介してサーバ１２０へ送信する。また通信部９は、サーバ１２０から通信ネットワーク１３０を介して合成画像を含む信号を受信すると、その信号を制御部７へ渡す。

サーバ１２０は、通信部１２１と、記憶部１２２と、制御部１２３とを有する。通信部１２１及び記憶部１２２は、制御部１２３と信号線を介して接続されている。

通信部１２１は、サーバ１２０を通信ネットワーク１３０に接続するためのインターフェース回路を有する。そして通信部１２１は、通信装置の画像及び端末１１０の位置情報を端末１１０の識別情報とともに含む信号を端末１１０から通信ネットワーク１３０を介して受信して制御部１２３に渡す。また通信部１２１は、合成画像及び宛先情報としての端末１１０の識別情報を含む送信信号を制御部１２３から受け取ると、その送信信号を通信ネットワーク１３０へ出力する。

記憶部１２２は、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。さらに、記憶部１２２は、ハードディスク装置または光記録装置を有していてもよい。そして記憶部１２２は、サーバ１２０を制御するためのコンピュータプログラムなどを記憶する。また記憶部１２２は、画像表示処理を実行するためのコンピュータプログラム及び端末１１０から受信した画像及び端末１１０の位置情報を記憶していてもよい。さらに、記憶部１２２は、通信装置の位置を記憶していてもよい。

制御部１２３は、一つまたは複数のプロセッサとその周辺回路を有する。そして制御部１２３は、上記の実施形態または変形例による、制御部７が有する各部の処理のうち、表示制御部１５以外の処理を実行する。そして制御部１２３は、通信装置についての参照画像と現画像との合成画像を生成する。制御部１２３は、合成画像を含み、端末１１０を宛先とする送信信号を生成し、その送信信号を通信部１２１及び通信ネットワーク１３０を介して端末１１０へ送信する。なお、サーバ１２０が複数存在する場合には、複数のサーバ１２０が協働して、制御部７が有する各部の処理を実行してもよい。

この実施形態によれば、端末１１０は、通信装置の画像が得られる度に、その画像及び端末１１０の位置情報をサーバ１２０へ送信するだけでよい。したがって、端末１１０の演算負荷が軽減される。

なお、端末１１０の制御部７が、上記の実施形態または変形例による制御部７の各部の処理のうちのいくつかを実行してもよい。例えば、端末１１０の制御部７が、画像表示処理に関連する、位置合わせ部１３、合成部１４及び表示制御部１５の処理を実行してもよい。一方、サーバ１２０の制御部１２３が、参照画像登録処理に関連する被写体検出部１１と画像加工部１２の処理を実行してもよい。この場合には、端末１１０は、通信装置の参照画像が得られると、その参照画像をサーバ１２０へ送信する。一方、サーバ１２０は、受信した参照画像に対して参照画像登録処理を実行する。そしてサーバ１２０は、加工された参照画像及び参照画像上での通信装置の位置を表す情報などを端末１１０へ送信する。端末１１０は、受信した、加工された参照画像及び参照画像上での通信装置の位置を表す情報などを記憶媒体アクセス装置５を介して記憶媒体８に保存する。あるいは、端末１１０が通信画像の現画像を取得したときに、端末１１０は、サーバ１２０に対して加工された参照画像を要求する要求信号を送信してもよい。サーバ１２０は、その要求信号を受信すると、加工された参照画像及び参照画像上での通信装置の位置を表す情報などを端末１１０へ送信してもよい。そして端末１１０は、通信装置の現画像が得られたときに、画像表示処理を実行すればよい。この場合にも、合成画像を生成するための処理の一部がサーバ１２０で実行されるので、端末１１０の演算負荷が軽減される。

なお、参照画像を取得してサーバ１２０へ送信する端末と、現画像を取得してサーバ１２０へ送信したり、サーバ１２０から合成画像を受信する端末とは、互いに異なっていてもよい。

上記の実施形態またはその変形例による画像表示装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。ただし、その記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 端末
２ ユーザインターフェース部
３ 撮像部
４ 位置情報取得部
５ 記憶媒体アクセス装置
６ 記憶部
７ 制御部
８ 記憶媒体
９ 通信部
１１ 被写体検出部
１２ 画像加工部
１３ 位置合わせ部
１４ 合成部
１５ 表示制御部
１１０ 端末
１２０ サーバ
１３０ 通信ネットワーク
１２１ 通信部
１２２ 記憶部
１２３ 制御部

Claims (4)

1. 複数のポートを有する通信装置におけるケーブルの接続状態が第１の状態である前記通信装置の像が写っている第１の画像と、前記接続状態が第２の状態である前記通信装置の像が写っている第２の画像のうちの少なくとも一方について当該画像の各画素に所定の透明度を設定する透明度設定部と、
   前記第１の画像に写っている前記通信装置の像と前記第２の画像に写っている前記通信装置の像とを位置合わせする位置合わせ部と、
   前記位置合わせされた前記第１の画像と前記第２の画像とを前記所定の透明度に応じて合成して合成画像を生成する合成部と、
   前記合成画像を表示装置に表示させる表示制御部と、
   を有する画像表示装置。
2. 前記通信装置を撮影して前記第１の画像及び前記第２の画像を生成する撮像部と、
   前記第１の画像生成時における前記撮像部の位置及び撮影方向を表す第１の位置情報と、前記第２の画像生成時における前記撮像部の位置及び撮影方向を表す第２の位置情報とを取得する位置情報取得部とをさらに有し、
   前記位置合わせ部は、前記第１の画像上の前記通信装置の像を、前記第２の画像生成時における前記撮像部の位置から前記第２の画像生成時における前記撮影方向において前記通信装置を撮影して得られる像となるように、前記第１の位置情報及び前記第２の位置情報とに基づいて前記第１の画像に対して視点変換処理を実行することで、前記第１の画像上の前記通信装置の像と前記第２の画像上の前記通信装置の像とを位置合わせする、請求項１に記載の画像表示装置。
3. 複数のポートを有する通信装置におけるケーブルの接続状態が第１の状態である前記通信装置の像が写っている第１の画像と、前記接続状態が第２の状態である前記通信装置の像が写っている第２の画像のうちの少なくとも一方について当該画像の各画素に所定の透明度を設定し、
   前記第１の画像に写っている前記通信装置の像と前記第２の画像に写っている前記通信装置の像とを位置合わせし、
   前記位置合わせされた前記第１の画像と前記第２の画像とを前記所定の透明度に応じて合成して合成画像を生成し、
   前記合成画像を表示装置に表示させる、
   ことを含む画像表示方法。
4. 複数のポートを有する通信装置におけるケーブルの接続状態が第１の状態である前記通信装置の像が写っている第１の画像と、前記接続状態が第２の状態である前記通信装置の像が写っている第２の画像のうちの少なくとも一方について当該画像の各画素に所定の透明度を設定し、
   前記第１の画像に写っている前記通信装置の像と前記第２の画像に写っている前記通信装置の像とを位置合わせし、
   前記位置合わせされた前記第１の画像と前記第２の画像とを前記所定の透明度に応じて合成して合成画像を生成し、
   前記合成画像を表示装置に表示させる、
   ことをコンピュータに実行させるための画像表示用コンピュータプログラム。