JP6205071B2 - 撮像制御装置、撮像制御方法、カメラシステム及びプログラム - Google Patents

Description

本発明は、撮像制御装置、撮像制御方法、カメラシステム及びプログラムに係り、特に撮像部をパン方向及びチルト方向に回動可能なカメラを用いる撮像制御に関する。

従来、パン・チルトカメラのパン及びチルトの制御を行う装置において、パン・チルトカメラのパン及びチルトの限界により規定される撮像限界視野を示す第１の矩形枠と、第１の矩形枠内に現在の撮影範囲を示す第２の矩形枠とを表示する技術が知られている（特許文献１、２を参照）。

また、パン・チルトカメラで撮像した複数枚の撮像画像から広角画像を生成し、広角画像を仮想的な球面に貼りつけた三次元の球面画像のデータを生成する画像処理技術が知られている（特許文献３を参照）。三次元の球面画像の一部を表示画像平面に投影する画像処理を行うことで、球の中心を視点とした所望の角度の平面画像を生成できる。

特開平８−２１４２０６号公報 特開平９−１０２９０２号公報 特開２０１０−０４９３４６号公報

図１６に示すように、パン・チルトカメラ９１０の撮像部９１２で撮像されたライブビュー画像をユーザの携帯端末９２０で表示するシステムにおいて、被写体の移動に合わせてパン・チルトカメラ９１０の撮像部９１２をパン方向及びチルト方向で回動させる場合、パン・チルトカメラ９１０の撮像部９１２の視点移動と携帯端末９２０を手に持っているユーザの視点移動とを比較すると、被写体を追尾している点では共通しているが、実際には全く異なる動きの視点移動であることが解る。このような視点移動の相違から、一般のユーザがパン・チルトカメラ９１０の撮像部９１２の視点移動を直感的に理解することは、そもそも難しいといえる。

また、図１７に示すように、特許文献１、２記載の技術をライブビューに採用し、パン・チルトカメラ９１０のパン及びチルトの限界により規定される撮像限界視野を示す第１の矩形枠９４２と、第１の矩形枠９４２の枠内に現在の撮影範囲を示す第２の矩形枠９４４とをユーザの携帯端末９２０で表示し、かつ第２の矩形枠９４４内にパン・チルトカメラ９１０の撮像部９１２で撮像されたライブビュー画像を表示する場合を考察してみる。そうすると、被写体像を囲む第２の矩形枠９４４の動きは、パン・チルトカメラ９１０の撮像部９１２のパン及びチルトの動き（回動）、及びパン・チルトカメラ９１０の撮像部９１２の視点から見た実際の被写体の動きのいずれとも、全く異なる動きになることが解る。例えば、図１６に示す実際の被写体の動きに対してパン・チルトカメラ９１０の撮像部９１２のパン及びチルトの回動が完全に同期している場合、パン・チルトカメラ９１０の撮像部９１２の動きはパンの回動軸及びチルトの回動軸を中心とした回動であり、またパン・チルトカメラ９１０の撮像部９１２から見た実際の被写体の動きは相対的に無いのであり、いずれも、第２の矩形枠９４４の動き（図１７では線形の動きである場合を示した）とは全く異なる。このような動きの相違から、特許文献１、２記載のように携帯端末９２０で第１の矩形枠９４２及び第２の矩形枠９４４を表示する構成をライブビューに採用しても、一般のユーザが、パン・チルトカメラ９１０の撮像部９１２の動き及びパン・チルトカメラ９１０の撮像部９１２の視点で見た実際の被写体の動きを直感的に把握することは、難しいといえる。

また、被写体像を囲む第２の矩形枠９４４の移動速度は、ユーザの操作量（例えばドラッグの操作量）、或いはパン及びチルトの角速度に対応すると考えられ、ユーザが直接的に被写体を見たときにユーザの目に映る実際の被写体の移動速度と一致するわけではない。このような相違から、特許文献１、２記載のように携帯端末９２０で第１の矩形枠９４２及び第２の矩形枠９４４を表示する構成をライブビューに採用しても、一般のユーザが却って困惑する場合もあると考えられる。

また、図１７に示すように、第１の矩形枠９４２として、パン・チルトカメラ９１０の撮像部９１２の撮像限界視野（撮像可能領域の縁である）が線状に表示されるだけなので、撮像限界視野の外側にある撮像不可能領域の幅（撮像不可能な角度範囲の幅に対応する）を、ユーザは把握できない。

以上のように、第１に、パン・チルトカメラ９１０の撮像部９１２の視点移動を一般のユーザが直感的に理解することはそもそも難しい。第２に、特許文献１、２記載の技術をライブビューに採用したとしても、ユーザが、パン・チルトカメラ９１０の撮像部９１２の動き及びパン・チルトカメラ９１０の撮像部９１２の視点で見た実際の被写体の動きを把握することが、難しい。第３に、特許文献１、２記載の技術をライブビューに適用しても、撮像不可能領域の幅を、ユーザは把握できない。これらの理由から、ユーザが撮像限界視野を把握することは、実際には難しいといえる。

また、特許文献３記載のように、広角画像から三次元の球面画像のデータを生成する画像処理技術、及び三次元の球面画像のデータから二次元の平面画像を生成する画像処理技術は公知だが、特許文献３は、移動速度の大きな被写体を遠隔のユーザの端末でライブビューする際に撮像限界を判り易く表示する観点が欠けている。よって、特許文献１、２記載の構成に特許文献３記載の画像処理技術を組み合わせること自体がそもそも困難であるといえる。仮に組み合わせたとしても、三次元の球面画像データを一旦作成してから、撮像部９１２の視点から見た所望の角度の平面画像（ライブビュー画像に相当）を生成することが限度である。よって、特許文献３を参照しても、ユーザが撮像限界視野を把握し難いという課題が解決されるわけではない。

本発明は上述の事情に鑑みてなされたものであり、撮像部をパン方向及びチルト方向に回動可能なカメラで撮像された画像を遠隔の装置で表示する場合に、ユーザが撮像限界を把握し易くすることを目的とする。

本発明の一態様は、撮像レンズ及び撮像素子を含む撮像部と、撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、パン・チルト機構を駆動する駆動部と、を備えたカメラを制御する撮像制御装置において、カメラのパン・チルト機構のパン方向及びチルト方向のうち少なくとも一方向の回動指示の入力を受け付ける回動指示入力部と、回動指示をカメラに対して出力する回動指示出力部と、回動指示に応じてカメラのパン・チルト機構が駆動された状態で撮像されたライブビュー画像を、カメラから入力する画像入力部と、カメラの撮像部の回動限界内及び回動限界外にそれぞれ対応する撮像可能領域及び撮像不可能領域を示す二次元表示した球面の限界表示画像の中に、カメラから入力されたライブビュー画像を重ね合わせ、かつ回動指示の入力に応じて限界表示画像を二次元表示した球面に沿って回動させる表示を表示部に行わせる表示制御部と、を備えた撮像制御装置に関する。

本態様によれば、ユーザは、ライブビュー画像が重ね合わされた二次元表示の球面の限界表示画像であって、回動指示の入力に応じて球面に沿って回動する限界表示画像を観察することで、ユーザは、回動指示の入力に応じて変化するライブビューをカメラの視点から見る感覚で観察することができ、かつ撮像不可能領域の幅を観察することが可能になるので、撮像限界を直感的に把握し易くなる。

本発明の一態様では、回動指示がカメラの撮像部の回動限界を超える角度への回動指示である場合、回動指示出力部によりカメラの撮像部の角度を回動限界内に設定し、かつ表示制御部により限界表示画像の中で撮像可能領域と撮像不可能領域との境界を超えてライブビュー画像を移動させる。

本態様によれば、カメラの撮像部の回動限界を超える角度への回動指示であっても、限界表示画像の中で撮像可能領域と撮像不可能領域との境界を超えてライブビュー画像が移動するので、ユーザは回動指示通りに移動するライブビュー画像を見て撮像制御装置が反応していることを認識でき、かつ回動指示入力とライブビュー画像の移動とが常にマッチングしているので操作し易く、ユーザに違和感を抱かせないようにすることができる。尚、ユーザは、限界表示画像中の撮像不可能領域の表示とライブビュー画像とを同時に観察することで、自分の入力した回動指示が回動限界を超える角度への回動指示であることを容易に認識することができる。

本発明の一態様では、回動指示がカメラの撮像部の回動限界を超える角度又は回動限界に達する角度への回動指示である場合、回動指示出力部によりカメラの撮像部の角度を回動限界内に設定し、かつ表示制御部により限界表示画像の撮像可能領域と撮像不可能領域との境界でライブビュー画像を揺らす表示を行う。

本態様によれば、カメラの撮像部の回動限界を超える角度又は回動限界に達する角度への回動指示である場合、限界表示画像の撮像可能領域と撮像不可能領域との境界でライブビュー画像を揺らす表示が行われるので、ユーザは、回動指示に対して装置が反応していることを認識でき、かつ自分の入力した回動指示が回動限界を超える角度又は回動限界に達する角度への回動指示であることを容易に認識することができる。

本発明の一態様では、表示制御部は、限界表示画像内に、カメラの撮像部を時計回りの回動限界及び反時計回りの回動限界のうち現在の角度から近い回動限界に向けて回動すると撮像不能であるが現在の角度から遠い回動限界に向けて回動すると撮像可能となる領域を表示させる。

本態様によれば、限界表示画像内に、カメラの撮像部を時計回りの回動限界及び反時計回りの回動限界のうち現在の角度から近い回動限界に向けて回動すると撮像不能であるが現在の角度から遠い回動限界に向けて回動すると撮像可能となる領域が表示されるので、ユーザは、反対方向の回動指示に反転すれば撮像可能であることを把握することができる。

本発明の一態様では、表示制御部は、限界表示画像のうち回動限界内に対応する撮像可能領域に、カメラの撮像部によりパン方向及びチルト方向の回動可能な角度で事前に撮像した静止画を表示させる。

本態様によれば、ユーザは、撮像可能領域に表示される静止画と撮像不可能領域の表示とを観察することにより、実際の空間中のライブビュー画像の位置を的確に把握することができるとともに、撮像不可能領域を的確に把握することができる。

本発明の一態様では、表示制御部は、カメラの撮像部によりパン方向及びチルト方向の回動可能な全周で撮像した静止画を、撮像可能領域に表示させる。

本態様によれば、カメラの撮像部の回動可能な全周で撮像された静止画像と撮像不可能領域の表示とを観察することにより、実際の空間中のライブビュー画像の位置をより的確に把握することができるとともに、撮像不可能領域をより的確に把握することができる。

本発明の一態様では、カメラにおけるライブビュー画像の光学的又は電子的なズーム指示の入力を受け付けるズーム指示入力部と、ズーム指示をカメラに対して出力するズーム指示出力部と、を備え、画像入力部は、ズーム指示に応じてカメラでズームされたライブビュー画像を、カメラから入力し、表示制御部は、ライブビュー画像をズーム指示に対応したサイズで表示部に表示させる。

本態様によれば、限界表示画像内の撮像可能領域及びライブビュー画像がズーム指示に対応したサイズで限界表示画像に重ね合わせられるので、ユーザは、ズーム指示に応じて変化するライブビューを的確に把握することができる。

本発明の一態様では、表示制御部は、限界表示画像に重ね合わせたライブビュー画像とは別に、ライブビュー画像を表示部に表示させる。

本態様によれば、ユーザは、限界表示画像（二次元表示された球面の画像である）の中のライブビュー画像によって現在のライブビューと撮像不可能領域との関係を容易に把握することができ、かつ限界表示画像外のライブビュー画像（二次元表示された非球面の画像である）によって現在のライブビューを的確に把握することが可能になる。

本発明の一態様は、撮像制御装置と、カメラとを備えたカメラシステムに関する。

本発明の一態様は、撮像レンズ及び撮像素子を含む撮像部と、撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、パン・チルト機構を駆動する駆動部と、を備えたカメラを制御する撮像制御方法において、カメラのパン・チルト機構のパン方向及びチルト方向のうち少なくとも一方向の回動指示の入力を受け付けるステップと、回動指示をカメラに対して出力するステップと、回動指示に応じてカメラのパン・チルト機構が駆動された状態で撮像されたライブビュー画像を、カメラから入力するステップと、カメラの撮像部の回動限界内及び回動限界外にそれぞれ対応する撮像可能領域及び撮像不可能領域を示す二次元表示した球面の限界表示画像の中に、カメラから入力されたライブビュー画像を重ね合わせ、かつ回動指示の入力に応じて限界表示画像を二次元表示した球面に沿って回動させるステップと、を含む撮像制御方法に関する。

本発明の一態様は、撮像レンズ及び撮像素子を含む撮像部と、撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、パン・チルト機構を駆動する駆動部と、を備えたカメラを制御するプログラムにおいて、カメラのパン・チルト機構のパン方向及びチルト方向のうち少なくとも一方向の回動指示の入力を受け付けるステップと、回動指示をカメラに対して出力するステップと、回動指示に応じてカメラのパン・チルト機構が駆動された状態で撮像されたライブビュー画像を、カメラから入力するステップと、カメラの撮像部の回動限界内及び回動限界外にそれぞれ対応する撮像可能領域及び撮像不可能領域を示す二次元表示した球面の限界表示画像の中に、カメラから入力されたライブビュー画像を重ね合わせ、かつ回動指示の入力に応じて限界表示画像を二次元表示した球面に沿って回動させるステップと、をコンピュータに実行させるプログラムに関する。このプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体も本発明の一態様に含まれる。

本発明によれば、撮像部をパン方向及びチルト方向に回動可能なカメラで撮像された画像を遠隔の装置で表示する場合に、ユーザが撮像限界視野を把握し易くすることができる。

パン・チルトカメラ及びスマートフォンの一例の外観を示す斜視図 パン・チルトカメラの一例の内部構成を示すブロック図 撮像制御装置の一例であるスマートフォンのハードウェア構成例を示すブロック図 本発明の要部の内部構成例を示すブロック図 （Ａ）はパン方向の回動限界の一例を示すパン・チルトカメラの平面図、（Ｂ）はチルト方向の回動限界の一例を示すパン・チルトカメラの側面図 回動限界と限界表示画像の撮像不可能領域との関係の説明に用いる第１の説明図 回動限界と限界表示画像の撮像不可能領域との関係の説明に用いる第２の説明図 回動限界と限界表示画像の撮像不可能領域との関係の説明に用いる第３の説明図 表示制御処理の一例の流れを示すフローチャート 限界表示画像及びライブビュー画像の表示例を示す説明図 （Ａ）〜（Ｃ）は、回動指示の入力に応じて限界表示画像が二次元表示した球面に沿って回動することの説明に用いる説明図 回動限界を超える角度への回動指示に対する表示制御の説明図 反対方向に回動した場合の撮像可能領域を表示させる表示制御の説明図 撮像可能領域に事前に撮像した静止画を表示させる表示制御の説明図 （Ａ）〜（Ｄ）は、ズーム指示と限界表示画像との関係の説明に用いる説明図 本発明の課題の説明に用いる第１の説明図 本発明の課題の説明に用いる第２の説明図

以下、図面を参照して本発明の実施形態について説明する。

［パン・チルトカメラ及びスマートフォンの外観例］
図１（パン・チルトカメラ１０及びスマートフォン１００の一例の外観を示す斜視図）に示すように、パン・チルトカメラ１０は、装置本体１２と、台座１４と、台座１４に固定されるとともに、撮像部２０を回動自在に保持する保持部１６と、撮像部２０を覆うドームカバー１８と、撮像部２０とを有している。

台座１４は、装置本体１２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図２）により垂直方向Ｚの軸を中心にして回転する。

保持部１６は、水平方向Ｘの軸と同軸上に設けられたギア１６Ａを有し、チルト駆動部３６（図２）からギア１６Ａを介して駆動力が伝達されることにより、撮像部２０を上下方向に回動（チルト動作）させる。

ドームカバー１８は、防塵及び防滴用のカバーであり、撮像部２０の光軸方向Ｌにかかわらず、撮像部２０の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。

また、装置本体１２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。

パン・チルトカメラ１０には、電源スイッチ１９Ａ及び撮影開始を指示する撮像開始ボタン１９Ｂ、が設けられているが、パン・チルトカメラ１０は、カメラ無線通信部５０（図２）を有し、主として外部の端末機（本例では、スマートフォン）１００との無線通信によりスマートフォン１００から各種の操作用の指示入力が加えられるようになっている。

［パン・チルトカメラの内部構成例］
図２は撮像制御装置の一例であるパン・チルトカメラ１０の内部構成例を示すブロック図である。

このパン・チルトカメラ１０は、通常の静止画及び動画の撮影を行うことができるものであり、大別して撮像部２０と、パン・チルト装置３０と、カメラ制御部４０と、カメラ無線通信部５０とを備えている。

撮像部２０は、撮像レンズ２２、及び撮像素子２４等を有している。撮像レンズ２２は、単焦点レンズ又はズームレンズにより構成され、被写体像を撮像素子２４の撮像面上に結像させる。尚、撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ（ズームレンズの場合）及び絞り２３は、それぞれレンズ駆動部２６により駆動される。

本例の撮像素子２４は、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタが所定のパターンで配列（ベイヤ配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）されたカラー撮像素子であり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサにより構成されている。尚、ＣＭＯＳ型イメージセンサに限らず、ＣＣＤ（Charge Coupled Device）型イメージセンサでもよい。

撮像素子２４は、垂直ドライバ及び水平ドライバ等を有する撮像素子ドライバ２８、及びタイミングジェネレータ（ＴＧ）２９により駆動され、撮像素子２４からは、被写体光の入射光量に応じた画素信号（画素毎に蓄積された信号電荷に対応するデジタル信号）が読み出される。

パン・チルト装置３０は、図１に示したように撮像部２０を装置本体１２に対して水平方向（パン方向）に回転されるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構（以下、「パン・チルト機構」と称す）３２、パン駆動部３４、及びチルト駆動部３６等を備えている。パン・チルト機構３２は、パン方向の回転角（パン角）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角）の基準位置を検出するホームポジションセンサを有している。

パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。パン駆動部３４及びチルト駆動部３６を、以下ではパン・チルト駆動部３３という。

カメラ制御部４０は、主として信号処理部４１、撮像制御部４２、レンズ制御部４３、パン・チルト制御部４４、カメラワーク制御部４６、及び角度検出部４８を備えている。

信号処理部４１は、撮像部２０から入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理）、ＲＧＢ／ＹＣ変換処理等の信号処理を行う。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。また、ＲＧＢ／ＹＣ変換処理は、デモザイク処理されたＲＧＢ画像データから輝度データＹと、色差データＣｂ，Ｃｒとを生成する処理である。

撮像制御部４２は、撮像素子ドライバ２８、ＴＧ２９を介して撮像素子２４の画素毎のキャパシタに蓄積された電荷の排出、又はキャパシタに蓄積された電荷に対応する信号の読出し等を指令する部分であり、タイムラプス撮影等における撮像制御を行う。

レンズ制御部４３は、レンズ駆動部２６を介して撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ、及び絞り２３を制御する部分であり、フォーカスレンズを合焦位置に移動させるオートフォーカス（ＡＦ）制御等を行う。ＡＦ制御は、ＡＦエリアに対応するデジタル信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）が最大となる合焦位置を検出し、検出した合焦位置にフォーカスレンズを移動させることにより行う。

パン・チルト制御部４４は、パン・チルト装置３０を制御する部分である。

カメラワーク制御部４６は、レンズ制御部４３、及びパン・チルト制御部４４を制御する指令信号を出力する。

角度検出部４８は、パン・チルト機構３２のパン角度及びチルト角度をそれぞれ検出する部分である。

カメラ無線通信部５０は、図１に示したスマートフォン１００等の外部の端末機との間で無線通信を行う部分であり、無線通信によりスマートフォン１００から各種の操作用の指示入力を受信する。また、カメラ無線通信部５０は、撮像された画像等をスマートフォン１００に送信する。カメラ無線通信部５０は、撮像部２０により動画撮影され、信号処理部４１により処理された画像（ライブビュー画像）をスマートフォン１００に送信することができる。これにより、動画等の記録用の画像をスマートフォン１００の内部又は外付け記録媒体に記録したり、ライブビュー画像をスマートフォン１００の表示部に表示させることができる。

カメラ操作部６０は、装置本体１２に設けられた電源スイッチ１９Ａ（図１）、撮像開始ボタン１９Ｂ（図１）等を含み、スマートフォン１００からの操作用の指示入力と同様の操作用の指示入力を行うことができる。

カメラ表示部６１は、ライブビュー画像、再生画像等を表示する画像表示部として機能するとともに、カメラ操作部６０と協働してメニュー画面の表示、各種のパラメータを設定・入力するためのユーザインターフェース部（ＵＩ部）として機能する。

メモリ６２は、順次撮像される画像を一時的に格納される記憶領域、各種の演算処理等を行う作業用領域となるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）や、撮像用のプログラム及び制御に必要な各種データ等が格納されるＲＯＭ（Read Only Memory）等を含む。

［スマートフォンのハードウェア構成例］
図３は、図１に示したスマートフォン１００のハードウェア構成を示すブロック図である。

図３に示すように、スマートフォン１００の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ(Global Positioning System)受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。本例では、スマートフォン１００の無線通信部１１０は、パン・チルトカメラ１０に各種の操作用の指示入力を送信したり、パン・チルトカメラ１０からライブビュー画像、記録用の画像等を受信する。

表示入力部１２０は、主制御部１０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。３Ｄ画像を鑑賞する場合には、表示パネル１２１は、３Ｄ表示パネルであることが好ましい。

表示パネル１２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル１２２は、表示パネル１２１の表示画面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図１に示すように、スマートフォン１００の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１に示すように、例えば、スピーカ１３１及びマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部１４０は、スマートフォン１００の筐体１０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。尚、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimediacard micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１００の内部の各構成要素に伝達することや、スマートフォン１００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン１００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。この検出結果は、主制御部１０１に出力されるものである。

電源部１９０は、主制御部１０１の指示に従って、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御するものである。また、主制御部１０１は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

更に、主制御部１０１は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１０１は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部１０１は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１０１の制御により、撮影によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図１に示すスマートフォン１００において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影することもできる。

また、カメラ部１４１はスマートフォン１００の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１００のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

本例では、ネットワーク等を介してパン・チルトカメラ１０を操作するためのアプリケーションソフトウェアをダウンロードして記憶部１５０に記憶させ、スマートフォン１００のアプリケーション処理機能により、ダウンロードしたアプリケーションソフトウェアに従って主制御部１０１を動作させることにより、汎用のスマートフォン１００を、パン・チルトカメラ１０を操作するためのユーザインターフェース部（ＵＩ部）として機能させるようにしている。

図４は、本発明の要部の内部構成例を示すブロック図である。図４において、スマートフォン１００は、本発明の撮像制御装置の一例である。

スマートフォン１００の無線通信部１１０は、パン・チルトカメラ１０からライブビュー画像を受信（入力）する画像入力部２０２、パン・チルトカメラ１０からパン・チルトカメラ１０の撮像部２０のパン角度及びチルト角度を受信（入力）するパン・チルト角度入力部２０４、回動指示をパン・チルトカメラ１０に対して無線通信で送信（出力）する回動指示出力部２０６、ズーム指示をパン・チルトカメラ１０に対して無線通信で送信（出力）するズーム指示出力部２０８として、用いられる。

回動指示出力部２０６によってパン・チルトカメラ１０に対して回動指示が出力された場合、画像入力部２０２は、回動指示に応じてパン・チルトカメラ１０のパン・チルト機構３２が駆動された状態で撮像されたライブビュー画像を、パン・チルトカメラ１０から入力する。また、回動指示出力部２０６によってパン・チルトカメラ１０に対して回動指示が出力された場合、パン・チルト角度入力部２０４は、回動指示に応じてパン・チルトカメラ１０のパン・チルト機構３２が駆動された状態の撮像部２０のパン角度及びチルト角度を、パン・チルトカメラ１０から入力する。

ズーム指示出力部２０８によってパン・チルトカメラ１０に対してズーム指示が出力された場合、画像入力部２０２は、ズーム指示に応じた画角で撮像されたライブビュー画像（すなわちズームされたライブビュー画像）を、パン・チルトカメラ１０から入力する。

スマートフォン１００の表示入力部１２０は、図１を用いて説明したように表示パネル１２１（表示部の一態様である）と操作パネル１２２とを重ねて配置した構成であり、パン・チルトカメラ１０のパン・チルト機構３２のパン方向及びチルト方向のうち少なくとも一方向の回動指示の入力を受け付ける回動指示入力部２１２として、用いられる。

スマートフォン１００の記憶部１５０は、回動限界内におけるパン角度及びチルト角度の各組み合わせにおける限界表示画像の情報を記憶する限界表示画像情報記憶部２２２として、用いられる。限界表示画像情報記憶部２２２に記憶される限界表示画像の情報は、限界表示画像そのものには限定されない。例えば、限界表示画像の情報として、限界表示画像中の撮像可能領域の輪郭（縁）を示す情報を限界表示画像情報記憶部２２２に記憶させておくことが考えられる。限界表示画像の情報は、球面の緯線及び経線の描画方法を示す情報を含んでいてもよい。

スマートフォン１００の主制御部１０１は、回動指示入力部２１２に入力された回動指示がパン・チルトカメラ１０の撮像部２０の回動限界を超える角度への回動指示であるか否かを判定する回動限界判定部２３２と、限界表示画像情報記憶部２２２に記憶された複数の限界表示画像の情報から、パン・チルトカメラ１０の撮像部２０のパン角度及びチルト角度に対応する限界表示画像の情報を選択する情報選択部２３４と、限界表示画像中にパン・チルトカメラ１０から入力されたライブビュー画像を重ね合わせる表示制御部２３６と、記憶部１５０に記憶されたプログラムに従って、スマートフォン１００の各部の実行を制御する実行制御部２３８と、を備える。

限界表示画像３００（図６〜図８）は、パン・チルトカメラ１０の撮像部２０の回動限界内及び回動限界外にそれぞれ対応する撮像可能領域及び撮像不可能領域を示す二次元表示した球面の画像である。限界表示画像３００は、表示制御部２３６の制御により、回動指示の入力に応じて二次元表示した球面に沿って回動する。

また、限界表示画像３００は、回動限界判定部２３２によって回動限界を超える角度への回動指示であると判定された場合、表示制御部２３６の制御により、回動限界を超える回動指示であることを示す表示に切替えられる。また、回動限界判定部２３２によって回動限界に達する角度への回動指示であるか否かを判定し、回動限界に達する角度への回動指示である場合には、表示制御部２３６の制御により、回動限界に達する回動指示であることを示す表示に切替えてもよい。

パン・チルトカメラ１０の撮像部２０の回動限界は、パン・チルトカメラ１０の機種により異なる。特に、パン・チルトカメラ１０の回動限界は、パン・チルト機構３２の構造によって異なる。また、プライバシー保護等の目的で、実際に回動可能な角度の範囲を、物理的に回動可能な角度の範囲よりも、狭く設定する場合がある。

図５（Ａ）及び（Ｂ）は、パン・チルトカメラ１０の撮像部２０の回動限界の一例を示す。本実施形態の説明の便宜上、パン方向の回動可能な角度の範囲は−１５０度〜１５０度であり、チルト方向の回動可能な角度の範囲は０度〜６０度に制限されているものとする。図５（Ａ）及び（Ｂ）において、ＣＷは時計回りの回動を示し、ＣＣＷは反時計回りの回動を示す。尚、本発明において、回動可能な角度範囲は、図５に記載の角度範囲に限定されない。図５では、本発明の理解を容易にするために回動可能な角度範囲が狭い場合を紹介したが、例えば、図５（Ａ）及び（Ｂ）に点線の矢印で示すように、パンの回動可能な角度範囲が−１７０度〜１７０度であり、チルトの回動可能な角度範囲が−３０度〜１２０度であってもよい。

図６は、撮像部２０のパン角度が０度であってチルト角度が３０度である場合の限界表示画像３００の一例を示す。図７は、撮像部２０のパン角度が１５０度であってチルト角度が３０度である場合の限界表示画像３００の一例を示す。図８は、撮像部２０のパン角度が−１５０度であってチルト角度が３０度である場合の限界表示画像３００の一例を示す。図中の（）内は、左から、パン角度θ及びチルト角度φの順に角度を示す。

パン方向及びチルト方向における撮像可能領域３１０は、回動限界内の角度範囲と比較して、パン・チルトカメラ１０の画角の分だけ広い。仮にパン・チルトカメラ１０の画角が水平方向（パン方向）及び垂直方向（チルト方向）の両方向においてそれぞれ６０度（±３０度）である場合、撮像可能領域３１０は、上記の回動限界内の角度範囲（パン角度θが−１５０度〜１５０度、チルト角度φが０度〜６０）と比較して画角（６０度）の分だけ広くなる。つまり、本例の撮像可能領域３１０は、パン角度θにおいて−１８０度〜１８０度、チルト角度φにおいて−３０度〜９０度であるものとする。ただし、パン・チルトカメラ１０の画角は、パン・チルトカメラ１０の機種（特に撮像部２０の仕様）、及びズーム倍率によって異なる。

図６、図７及び図８に例示した限界表示画像３００は、次のような画像である。
（１）二次元表示される球面の画像である。三次元の球面画像を平面に投影した画像と等価である。
（２）球面上の緯線及び経線が、それぞれ、パン・チルトカメラ１０の撮像部２０のパン方向の等角度を示す線（等パン角度線）、及びチルト方向の等角度を示す線（等チルト角度線）に、相当する。
（３）パン・チルトカメラ１０の撮像部２０の回動限界内及び回動限界外にそれぞれ対応する撮像可能領域３１０及び撮像不可能領域３２０を示す。
（４）撮像不可能領域３２０は、撮像可能領域３１０と比較して、より低い明度で表示される。例えば、黒で表示される。以下では、撮像可能領域３１０よりも低い明度で表示することを、「ブラックアウト表示」という。
（５）パン・チルトカメラ１０の撮像部２０の現在のパン角度及びチルト角度（或いは回動指示に対応するパン角度及びチルト角度）を、球の中心点とする。よって、限界表示画像３００の中央部に、パン・チルトカメラ１０の撮像部２０で撮像されるライブビュー画像が重ね合わせられる。
（６）ライブビュー画像は、球の内面に貼りつけるようにして、重ね合される。
（７）球面は、真円球を二次元表示した場合に限定されず、楕円球を二次元表示した場合であってもよいし、ライブビュー画像を変形せずに貼りつけられるように真円球や楕円球の一部を変形したもの（例えば球の中央部を円柱状にしたもの）を二次元表示した場合であってもよい。

尚、図６、図７及び図８には、限界表示画像が二次元表示した球面の画像であることを視覚的に把握し易いように、パン方向の等角度を示す線（経線）、及びチルト方向の等角度を示す線（緯線）を描いた。好ましくは、限界表示画像に経線及び緯線を描画するが、本発明は経線及び緯線を描画しない場合を含む。また、図６、図７及び図８に、パン角度及びチルト角度の把握を容易にするため、基準の角度を示す黒いドットと基準の角度の数値（パン角度θ及びチルト角度φ）とを描いたが、実際の限界表示画像には黒いドット及び角度が描かれなくてもよい。

図９は、表示制御処理の一例の流れを示すフローチャートである。図９において、スマートフォン１００の処理は、スマートフォン１００の実行制御部２３８によって、スマートフォン１００の記憶部１５０に記憶されたプログラムに従って実行される。パン・チルトカメラ１０の処理は、パン・チルトカメラ１０のカメラ制御部４０によって、パン・チルトカメラ１０のメモリ６２に記憶されたプログラムに従って実行される。

尚、パン・チルトカメラ１０は、既に電源スイッチ１９Ａ及び撮像開始ボタン１９Ｂがオンされており、パン・チルト機構３２、パン・チルト駆動部３３等の初期化を終了して被写体の撮像を開始した状態であるものとする。

パン・チルトカメラ１０では、撮像部２０により撮像されたライブビュー画像と、撮像部２０のパン角度及びチルト角度とを、カメラ無線通信部５０によってスマートフォン１００に対して送信（出力）する（ステップＳ１０２）。スマートフォン１００の無線通信部１１０は、画像入力部２０２及びパン・チルト角度入力部２０４として機能し、ライブビュー画像とパン角度及びチルト角度とを受信（入力）する（ステップＳ１０４）。

本例のパン・チルトカメラ１０は、一定の時間間隔でライブビュー画像の撮像を行い、かつ一定の時間間隔でスマートフォン１００に対してライブビュー画像を送信する。ここで、「一定の時間間隔」とは、完全に同一の時間間隔である場合に限定されず、一定の許容範囲内のゆらぎが生じている場合を含む。また、本発明は、ライブビュー画像の撮像時間間隔及び送信時間間隔が一定である場合に、限定されない。パン・チルトカメラ１０は、パン・チルトカメラ１０の各部の負荷状態や通信環境等に応じて、不定の時間間隔でライブビュー画像の撮像及び送信出力を行ってもよい。例えば、撮像画像の変化量が閾値以下であることを検知した場合、パン・チルトカメラ１０での処理の負荷が許容範囲外であることを検知した場合、あるいは通信環境が許容範囲外であることを検知した場合には、撮像及び送信の少なくとも一方を一時的に停止してもよい。尚、ライブビュー画像には、撮像時刻情報（いわゆるタイムスタンプ）が付加されているので、スマートフォン１００は、ライブビュー画像に付加された撮像時刻情報から撮像時刻を検知することが可能である。

スマートフォン１００の情報選択部２３４によって、限界表示画像情報記憶部２２２として機能する記憶部１５０に記憶されている限界表示画像の情報のうちから、パン・チルトカメラ１０から入力されたパン角度及びチルト角度に対応する限界表示画像の情報を選択する（ステップＳ１０６）。

スマートフォン１００の表示制御部２３６によって、図１０に示すように、表示入力部１２０に二次元表示された球面の限界表示画像３００の中央部に、パン・チルトカメラ１０から入力されたライブビュー画像３３０が重ね合わせて表示される（ステップＳ１０８）。図１０に示す例では、限界表示画像３００外のライブビュー・ウィンドウ１２１Ａ内にも、ライブビュー画像３３０が表示される。

スマートフォン１００の回動指示入力部２１２として機能する表示入力部１２０によって、パン方向及びチルト方向のうち少なくとも一方向の回動指示の入力を受け付ける（ステップＳ１１０）。回動指示の入力は、表示入力部１２０のうち限界表示画像３００外の操作で受け付けられる。図１０に示す例では、表示入力部１２０のライブビュー・ウィンドウ１２１Ａ内で指等をタッチしたまま素早くスライドした場合（すなわち「フリック」が行われた場合）、回動指示としての入力を受ける。例えば左方向に指等をスライドした場合、図５（Ａ）において反時計回りＣＣＷ（左方向）にパンを行う回動指示であると判定される。例えば右方向に指等をスライドした場合、図５（Ａ）において時計回りＣＷ（右方向）にパンを行う回動指示であると判定される。例えば上方向に指等をスライドした場合、図５（Ｂ）において時計回りＣＷ（上方向）にチルトを行う回動指示であると判定される。例えば下方向に指等をスライドした場合、図５（Ｂ）において反時計回りＣＣＷ（下方向）にチルトを行う回動指示であると判定される。

また、図１０において、上方向を示すアイコン（上キー１２２Ｕ）、下方向を示すアイコン（下キー１２２Ｄ）、左方向を示すアイコン（左キー１２２Ｌ）、及び右方向を示すアイコン（右キー１２２Ｒ）からなる十字キー１２２Ｃによって、回動指示を入力することができる。左キー１２２Ｌを押した場合、図５（Ａ）において反時計回りＣＣＷ（左方向）にパンを行う回動指示であると判定する。右キー１２２Ｒを押した場合、図５（Ａ）において時計回りＣＷ（右方向）にパンを行う回動指示であると判定する。上キー１２２Ｕを押した場合、図５（Ｂ）の時計回りＣＷ（上方向）にチルトを行う回動指示であると判定する。下キー１２２Ｄを押した場合、図５（Ｂ）において反時計回りＣＣＷ（下方向）にチルトを行う回動指示であると判定する。

スマートフォン１００の回動限界判定部２３２によって、入力された回動指示がパン・チルトカメラ１０のパン・チルト機構３２の回動限界を超える角度への回動指示であるか否かを判定する（ステップＳ１１２）。回動限界を超える角度への回動指示である場合（ステップＳ１１２でＹＥＳの場合）、スマートフォン１００の実行制御部２３８によって、回動指示の角度を回動限界内の角度に変更する（ステップＳ１１４）。

スマートフォン１００の無線通信部１１０は、回動指示出力部２０６として機能し、回動指示をパン・チルトカメラ１０に対して送信（出力）する（ステップＳ１１６）。パン・チルトカメラ１０のカメラ無線通信部５０は、回動指示を受信（入力）する（ステップＳ１１８）。

パン・チルトカメラ１０のパン・チルト駆動部３３は、回動指示に従って、パン・チルトカメラ１０のパン・チルト機構３２を駆動することにより、パン・チルトカメラ１０の撮像部２０を回動する（ステップＳ１２０）。

ステップＳ１０２に戻り、回動指示に応じてパン・チルトカメラ１０のパン・チルト機構３２が駆動された状態で撮像されたライブビュー画像と、パン・チルトカメラ１０の撮像部２０のパン角度及びチルト角度とが、カメラ無線通信部５０によってスマートフォン１００に対して送信（出力）される（ステップＳ１０２）。スマートフォン１００の無線通信部１１０は、ライブビュー画像とパン角度及びチルト角度とを受信（入力）する（ステップＳ１０４）。

パン角度及びチルト角度に変化があった場合には、限界表示画像の情報が選択し直され（ステップＳ１０６）、現在のパン角度及びチルト角度に対応した限界表示画像が表示されて、この限界表示画像中に新たなライブビュー画像が重ね合わされて表示される（ステップＳ１０８）。

図１１（Ａ）、（Ｂ）及び（Ｃ）では、ライブビュー・ウィンドウ１２１Ａのライブビュー画像３３０の表示を左側に示し、限界表示画像３００の表示を右側に示した。例えば、図１１（Ａ）の左側のライブビュー・ウィンドウ１２１Ａ内でパンの反時計回りＣＣＷを指示するスライド操作を行うと、図１１（Ａ）の右側に矢印で示すように限界表示画像３００が二次元表示した球面に沿って左方向に回動し、図１１（Ｂ）の右側に示すように限界表示画像３００が表示される。また、図１１（Ｂ）の左側のライブビュー・ウィンドウ１２１Ａ内でパンの反時計回りＣＣＷ及びチルトの反時計回りＣＣＷを指示するスライド操作を行うと、図１１（Ｂ）の右側に矢印で示すように限界表示画像３００が二次元表示した球面に沿って左下方向に回動し、図１１（Ｃ）の右側に示すように限界表示画像３００が表示される。このように撮像可能領域３１０及び撮像不可能領域３２０を示す限界表示画像３００が、回動指示の入力に応じて、二次元表示した球面に沿って回動する。このような限界表示画像の動きは、回動指示に応じたパン・チルトカメラ１０の撮像部２０の視点移動に近似しているので、ユーザは、パン・チルトカメラ１０の撮像部２０の視点から観察している感覚で、撮像限界を的確に把握することが可能となる。

＜表示制御のバリエーション＞
（回動限界を超える角度への回動指示に対する表示制御）
回動限界を超える角度への回動指示がユーザにより入力された場合、単にパン・チルトカメラ１０の撮像部２０の角度を回動限界に設定するだけでは、ユーザの指示入力に対して撮像制御装置（スマートフォン１００）が何も反応していない状態であるのかどうか分からずに、ユーザが困惑する場合がある。また、回動限界を超えたことを文字や音声のメッセージで出力するだけでは、ユーザは装置が反応していることを認識できるにしても、ユーザの指示入力に対して画像が変化するわけではないので、ユーザは自分の指示入力と画像とが対応していないことにより、違和感を抱くと考えられる。

以下では、回動限界を超える角度への回動指示又は回動限界に達する角度への回動指示に対して、限界表示画像及びライブビュー画像に変化を与えることで、ユーザに違和感を与えないようにすることが可能な表示制御のバリエーションについて、説明する。

第１のバリエーションでは、例えばパン・チルトカメラ１０の撮像部２０が回動限界に達し、表示制御部２３６により図１２（Ａ）に示す表示が行われているときに、パン・チルトカメラ１０の撮像部２０の回動限界を超える角度への回動指示が行われた場合、回動指示出力部２０６によりパン・チルトカメラ１０の撮像部２０の角度を回動限界内に設定し、かつ図１２(Ｂ)に示すように表示制御部２３６により限界表示画像３００の中で撮像可能領域３１０と撮像不可能領域３２０との境界３２３を超えてライブビュー画像３３０を移動させる。図１２（Ｂ）に示すように、ライブビュー・ウィンドウ１２１Ａ内にも、撮像不可能領域３２２が表示される。

また、図１２（Ｂ）に示すようにライブビュー画像３３０が撮像可能領域３１０と撮像不可能領域３２０との境界３２３を超えて移動した状態で、回動限界内の角度へ戻す回動指示が入力された場合、パン・チルトカメラ１０の撮像部２０の実際の角度を回動限界内に維持しつつ、図１２（Ａ）に示したように、表示制御部２３６により限界表示画像３００の中でライブビュー画像３３０を撮像可能領域３１０内に移動させる。

このように、第１のバリエーションでは、回動指示がパン・チルトカメラ１０の撮像部２０の回動限界を超える角度への回動指示である場合、パン・チルトカメラ１０の撮像部２０の実際の角度を回動限界内に設定し、かつライブビュー画像３３０は回動指示に従って撮像可能領域と撮像不可能領域との境界を超えて移動するので、ユーザは限界表示画像を見て回動限界を超えたことをユーザはひと目で把握することができるだけでなく、ユーザは回動指示通りに移動するライブビュー画像を見てスマートフォン１００が反応していることを認識でき、かつ回動指示入力とライブビュー画像３３０の移動とが常にマッチングしているので操作し易いといえる。

第２のバリエーションでは、回動指示がパン・チルトカメラ１０の撮像部２０の回動限界を超える角度又は回動限界に達する角度への回動指示である場合、回動指示出力部２０６によりパン・チルトカメラ１０の撮像部２０の角度を回動限界内に設定し、かつ、表示制御部２３６により限界表示画像３００の撮像可能領域３１０と撮像不可能領域３２０との境界でライブビュー画像３３０を揺らす表示（以下「揺らし表示」という）を行う。

このように、第２のバリエーションでは、回動指示がパン・チルトカメラ１０の撮像部２０の回動限界を超える角度への回動指示又は回動限界に達する角度への回動指示である場合、パン・チルトカメラ１０の撮像部２０の実際の角度を回動限界内に設定し、かつライブビュー画像３３０は限界表示画像３００の撮像可能領域３１０と撮像不可能領域３２０との境界で揺れて表示されるので、ユーザは回動指示に対してスマートフォン１００が反応していることを認識でき、かつ回動限界を超える角度への回動指示又は回動限界に達する角度への回動指示であることをユーザは認識し易くなる。

尚、揺らし表示では、ライブビュー画像を複数回又は１回揺らした後、パン・チルトカメラ１０の撮像部２０の実際のパン角度及びチルト角度に対応する位置にライブビュー画像３３０を設定する。つまり、揺らし後に、ライブビュー画像３３０を撮像可能領域３１０内に配置する。揺らしの回数及び幅は特に限定されない。徐々に揺らしの幅を小さくする演出を行ってもよい。

（反対方向に回動した場合の撮像可能領域を表示させる表示制御）
パン・チルトカメラ１０の撮像部２０を、時計回りの回動限界及び反時計回りの回動限界のうち、現在の角度から近い回動限界に向けて回動すると撮像不可能となるが、現在の角度から遠い回動限界に向けて回動すると撮像可能となる場合がある。

例えば、図５（Ａ）に示すようにパンの時計回りＣＷの回動限界が１５０度であって画角が±３０度である場合、図７に示すように時計回りのパンの回動限界（１５０度）において、１８０度を超える角度の範囲が撮像不可能領域３２０である。しかしながら、例えば、図５（Ａ）に示すようにパンの反時計回りＣＣＷの回動限界が−１５０度である場合、図８に示すように反時計回りのパンの回動限界（−１５０度）において、−１８０度以上の角度の範囲（時計回りＣＷなら１８０度を超える角度の範囲である）が撮像可能領域３１０である。つまり、図５（Ａ）に示す回動限界を有するパン・チルトカメラ１０では、時計回りＣＷのパンにおける撮像不可能領域３２０内に反時計回りＣＣＷのパンにおける撮像可能領域３１０が存在し、かつ反時計回りＣＣＷのパンにおける撮像不可能領域３２０内に時計回りＣＷのパンにおける撮像可能領域３１０が存在する。

図１３は、限界表示画像３００内に、時計回りの回動限界及び反時計回りの回動限界のうち現在の角度から近い回動限界に向けて回動すると撮像不可能であるが現在の角度から遠い回動限界に向けて回動すると撮像可能である領域３４０（以下「反転時撮像可能領域）という）を表示させるバリエーションを示す。図１３では、反転時撮像可能領域３４０内に、反対方向に回動指示すれば撮像可能となることを示すアイコン（反転マーク３４２）を併せて表示している。上記の表示制御は、スマートフォン１００の表示制御部２３６により行われる。

（撮像可能領域に事前に撮像した静止画を表示させる表示制御）
図１４（Ａ）及び（Ｂ）は、撮像可能領域３１０に事前に撮像した静止画を表示させるバリエーションの説明に用いる説明図である。

図１４（Ａ）に示すように、表示制御部２３６は、限界表示画像３００のうち回動限界内に対応する撮像可能領域３１０に、パン・チルトカメラ１０の撮像部２０によりパン方向及びチルト方向の回動可能な角度で事前に撮像した静止画を表示させる。

静止画の撮像は、スマートフォン１００の実行制御部２３８の制御により、スマートフォン１００の無線通信部１１０を介して、パン・チルトカメラ１０のパン・チルト駆動部３３を駆動して行う。例えば、図５（Ａ）及び（Ｂ）に示す回動限界を有するパン・チルトカメラ１０では、パン方向において−１５０度〜１５０度の回動、チルト方向において０度から６０度の回動を行いながら撮像を行うことで、複数枚の静止画（図１４（Ｂ）の３５０）を撮像する。次に、図１４（Ｂ）に示すように、スマートフォン１００の表示制御部２３６により、複数枚の静止画像３５０を仮想的な三次元の球面３６０の内面に貼りつけることでパン方向及びチルト方向の物理的に回動可能な全周で撮像した静止画（以下、「全周撮像の静止画」という）を生成する。図１４（Ａ）に示すように限界表示画像３００をスマートフォンで表示する際には、三次元の球面３６０から必要な部分を平面に投影することで、二次元表示の球面の限界表示画像３００の撮像可能領域３１０の静止画を抽出する。

尚、図１４（Ｂ）では、全周撮像の静止画を生成する場合を例に説明したが、本発明は、全周撮像を行わない場合を含む。例えば、撮像部２０の回動範囲が実際の物理的な回動可能範囲よりも強制的に狭く制限されている場合や、被写体の撮像の角度範囲が限られている場合には、撮像部２０の回動可能な全周で静止画の撮像を行わなくてもよい。

（ズーム指示と限界表示画像との関係）
以上の説明では、本発明の理解を容易にするため、ズーム指示入力が行われない場合の表示制御を説明した。パン・チルトカメラ１０の撮像部２０が光学的なズーム機能を有している場合と、パン・チルトカメラ１０のカメラ制御部４０又はスマートフォン１００の主制御部１０１が電子的なズーム機能を有している場合には、スマートフォン１００の表示制御部２３６は、ズーム指示に対応したサイズで、限界表示画像３００中にライブビュー画像３３０を表示させる。また、スマートフォン１００の表示制御部２３６は、ズーム指示に対応した形状で、限界表示画像３００中に撮像可能領域３１０及び撮像不可能領域３２０を表示させる。例えば、図１０のテレ・キー１２２Ｔ及びワイド・キー１２２Ｗにより、ユーザからズーム指示が受け付けられる。

図１５（Ａ）は、テレ端（望遠端）で撮像したライブビュー画像３３０を限界表示画像３００中に表示した場合の一例を示す。図１５（Ｂ）は、標準の画角で撮像したライブビュー画像３３０を限界表示画像３００中に表示した場合の一例を示す。図１５（Ｃ）は、ワイド端（広角端）で撮像したライブビュー画像３３０を限界表示画像３００中に表示した場合の一例を示す。図１５（Ｄ）は、ユーザがワイドの限界を超えるズームの指示を入力した場合に、ライブビュー画像３３０の周囲に事前に撮像した静止画３７０を表示した様子を示す。この静止画３７０は、事前に撮像した静止画から、ライブビュー画像３３０の周囲に相当する部分を抽出した画像である。

［システム構成のバリエーション］
本発明の要部である「表示制御部」をスマートフォン１００に配置した態様を、詳細に説明したが、上記の要部を、パン・チルトカメラ１０及びスマートフォン１００以外の他の装置（例えば一般に「サーバ」と呼ばれるコンピュータ装置）に、配置してもよい。この場合、サーバ単独により、或いはサーバを含んで、本発明の撮像制御装置が構成される。本発明は、このような構成を含む。

また、上記の要部をパン・チルトカメラ１０に配置してもよい。この場合、パン・チルトカメラ１０に配置された要部により、或いはパン・チルトカメラ１０に配置された要部を含んで、本発明の撮像制御装置が構成される。本発明は、このような構成を含む。

尚、本発明における「回動指示入力部」は、直接的にユーザの回動指示の入力を受け付ける場合に限定されず、無線通信及び有線通信の少なくとも一方を介して、間接的にユーザの回動指示の入力を受け付ける場合を含む。このような場合、サーバ単独で本発明の撮像制御装置を構成することが可能である。

また、上記の要部を、複数の装置に分散して配置することも可能である。この場合、複数の装置により、本発明の撮像制御装置が構成される。

また、本発明において、撮像制御装置は、スマートフォンに限らず、タブレット端末、パーソナルコンピュータ等の他のユーザ端末によって構成することが可能である。

本発明は、本明細書及び添付図面に記載された例には特に限定されず、本発明の要旨を逸脱しない限りにおいて本明細書及び添付図面に記載された例とは異なる態様で実施してもよい。

１０：パン・チルトカメラ、２０：撮像部、２２：撮像レンズ、２４：撮像素子、３２：パン・チルト機構、３３：パン・チルト駆動部、１００：スマートフォン（撮像制御装置）、２０２：画像入力部、２０４：パン・チルト角度入力部、２０６：回動指示出力部、２０８：ズーム指示入力部、２１２：回動指示入力部、２２２：限界表示画像情報記憶部、２３２：回動限界判定部、２３４：情報選択部、２３６：表示制御部、２３８：実行制御部

Claims (12)

1. 撮像レンズ及び撮像素子を含む撮像部と、前記撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、前記パン・チルト機構を駆動する駆動部と、を備えたカメラを制御する撮像制御装置において、
   前記カメラの前記パン・チルト機構のパン方向及びチルト方向のうち少なくとも一方向の回動指示の入力を受け付ける回動指示入力部と、
   前記回動指示を前記カメラに対して出力する回動指示出力部と、
   前記回動指示に応じて前記カメラの前記パン・チルト機構が駆動された状態で撮像されたライブビュー画像を、前記カメラから入力する画像入力部と、
   前記カメラの前記撮像部の回動限界内及び回動限界外にそれぞれ対応する撮像可能領域及び撮像不可能領域を示す二次元表示した球面の限界表示画像の中に、前記カメラから入力されたライブビュー画像を重ね合わせ、かつ前記回動指示の入力に応じて前記限界表示画像を前記二次元表示した球面に沿って回動させる表示を表示部に行わせる表示制御部と、
   を備えた撮像制御装置。
2. 前記回動指示が前記カメラの前記撮像部の回動限界を超える角度への回動指示である場合、前記回動指示出力部により前記カメラの前記撮像部の角度を回動限界内に設定し、かつ前記表示制御部により前記限界表示画像の中で前記撮像可能領域と前記撮像不可能領域との境界を超えて前記ライブビュー画像を移動させる、
   請求項１に記載の撮像制御装置。
3. 前記回動指示が前記カメラの前記撮像部の回動限界を超える角度又は回動限界に達する角度への回動指示である場合、前記回動指示出力部により前記カメラの前記撮像部の角度を前記回動限界内に設定し、かつ前記表示制御部により前記限界表示画像の前記撮像可能領域と前記撮像不可能領域との境界で前記ライブビュー画像を揺らす表示を行う、
   請求項１に記載の撮像制御装置。
4. 前記表示制御部は、前記限界表示画像内に、前記カメラの前記撮像部を時計回りの回動限界及び反時計回りの回動限界のうち現在の角度から近い回動限界に向けて回動すると撮像不能であるが現在の角度から遠い回動限界に向けて回動すると撮像可能となる領域を表示させる、
   請求項１から３のうちいずれか一項に記載の撮像制御装置。
5. 前記表示制御部は、前記限界表示画像のうち回動限界内に対応する前記撮像可能領域に、前記カメラの前記撮像部により前記パン方向及び前記チルト方向の回動可能な角度で事前に撮像した静止画を表示させる、
   請求項１から４のうちいずれか一項に記載の撮像制御装置。
6. 前記表示制御部は、前記カメラの前記撮像部により前記パン方向及び前記チルト方向の回動可能な全周で撮像した静止画を、前記撮像可能領域に表示させる、
   請求項５に記載の撮像制御装置。
7. 前記カメラにおけるライブビュー画像の光学的又は電子的なズーム指示の入力を受け付けるズーム指示入力部と、
   前記ズーム指示を前記カメラに対して出力するズーム指示出力部と、
   を備え、
   前記画像入力部は、前記ズーム指示に応じて前記カメラでズームされた前記ライブビュー画像を、前記カメラから入力し、
   前記表示制御部は、前記ライブビュー画像を前記ズーム指示に対応したサイズで前記表示部に表示させる、
   請求項１から６のうちいずれか一項に記載の撮像制御装置。
8. 前記表示制御部は、前記限界表示画像に重ね合わせたライブビュー画像とは別に、前記ライブビュー画像を前記表示部に表示させる、
   請求項１から７のうちいずれか一項に記載の撮像制御装置。
9. 請求項１から８のうちいずれか一項に記載の撮像制御装置と、前記カメラとを備えたカメラシステム。
10. 撮像レンズ及び撮像素子を含む撮像部と、前記撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、前記パン・チルト機構を駆動する駆動部と、を備えたカメラを制御する撮像制御方法において、
    前記カメラの前記パン・チルト機構のパン方向及びチルト方向のうち少なくとも一方向の回動指示の入力を受け付けるステップと、
    前記回動指示を前記カメラに対して出力するステップと、
    前記回動指示に応じて前記カメラの前記パン・チルト機構が駆動された状態で撮像されたライブビュー画像を、前記カメラから入力するステップと、
    前記カメラの前記撮像部の回動限界内及び回動限界外にそれぞれ対応する撮像可能領域及び撮像不可能領域を示す二次元表示した球面の限界表示画像の中に、前記カメラから入力されたライブビュー画像を重ね合わせ、かつ前記回動指示の入力に応じて前記限界表示画像を前記二次元表示した球面に沿って回動させるステップと、
    を含む撮像制御方法。
11. 撮像レンズ及び撮像素子を含む撮像部と、前記撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、前記パン・チルト機構を駆動する駆動部と、を備えたカメラを制御するプログラムにおいて、
    前記カメラの前記パン・チルト機構のパン方向及びチルト方向のうち少なくとも一方向の回動指示の入力を受け付けるステップと、
    前記回動指示を前記カメラに対して出力するステップと、
    前記回動指示に応じて前記カメラの前記パン・チルト機構が駆動された状態で撮像されたライブビュー画像を、前記カメラから入力するステップと、
    前記カメラの前記撮像部の回動限界内及び回動限界外にそれぞれ対応する撮像可能領域及び撮像不可能領域を示す二次元表示した球面の限界表示画像の中に、前記カメラから入力されたライブビュー画像を重ね合わせ、かつ前記回動指示の入力に応じて前記限界表示画像を前記二次元表示した球面に沿って回動させるステップと、
    をコンピュータに実行させるプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。

Images