JP2013219541A - 撮影システムおよび撮影方法 - Google Patents

Abstract

【課題】 自然な装着感のセンサーユニットを装着した撮影者が、自分の目で被写体を見ることで、撮像装置が被写体を自動的に追従して正しく撮影できる撮影システム、撮影方法を提供する。
【解決手段】 撮影者に装着され、前記撮影者の動きを検出する第１のモーションセンサー６０を含むセンサーユニット５と、撮像装置を取り付ける雲台１１と一体に設けられ、前記雲台の動きを検出する第２のモーションセンサー３８を含み、前記第１のモーションセンサーが検出した前記撮影者の動きに基づいて、前記第２のモーションセンサーにより前記雲台の動きを制御して前記撮像装置を被写体に追従させる被写体追従装置１０と、を含む。
【選択図】図４

Description

本発明は、撮影システムおよび撮影方法等に関する。

一般に、撮像装置（例えば、カメラやビデオカメラ）は、被写体を撮影するためにファインダーを覗く、又は背面のモニターを確認する必要がある。そのため、撮影中は撮像装置を顔の近くまで持ってくる煩わしさがあった。

特許文献１および特許文献２の発明では、撮像装置と分離された独立ファインダーを備える撮影システムを提案する。特許文献１および特許文献２の撮影システムでは、独立ファインダーの向きに撮像装置の撮影方向を追従させるため、撮影中でも撮像装置を顔の近くまで持ってくる必要がない。

特開平７−１９９２８１号公報 特開平７−２０９７００号公報 特開２０００−３３３１６１号公報

ここで、特許文献１および特許文献２は、撮像装置を撮影者から離すことも可能であると記載しているが、実際には被写体を正しく撮影できない。例えば、撮像装置と撮影者との間に被写体がある場合には、撮像装置は被写体の方向を向かないために問題が生じる。

特許文献３の発明は、遠隔操作によって撮像装置を監視者（前記の撮影者に対応）の視線に追従させる監視システムを提案する。この監視システムでは、特許文献１および特許文献２と同じ問題は生じない。

しかし、特許文献３の発明では、モニターを内蔵する眼鏡（すなわち、ヘッドマウントディスプレイ）を用いる必要があり、撮影者が大きくて重いヘッドマウントディスプレイを装着しながら撮影することは現実的ではない。例えば、運動会などで撮影する場合に、その重さから被写体を捉えることが困難になる。また、外見が不自然であり他人から奇異に思われる可能性がある。また、ヘッドマウントディスプレイを用いるので、システムが高価になるという問題も生じる。

本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、自然な装着感のセンサーユニットを装着した撮影者が、自分の目で被写体を見ることで、撮像装置が被写体を自動的に追従して正しく撮影できる撮影システム、撮影方法を提供することができる。

（１）本発明は、撮影システムであって、撮影者に装着され、前記撮影者の動きを検出する第１のモーションセンサーを含むセンサーユニットと、撮像装置を取り付ける雲台と一体に設けられ、前記雲台の動きを検出する第２のモーションセンサーを含み、前記第１のモーションセンサーが検出した前記撮影者の動きに基づいて、前記第２のモーションセンサーにより前記雲台の動きを制御して前記撮像装置を被写体に追従させる被写体追従装置と、を含む。

（２）この撮影システムにおいて、前記センサーユニットは前記撮影者の頭部に装着されてもよい。

（３）この撮影システムにおいて、前記第１のモーションセンサーおよび前記第２のモーションセンサーが、加速度センサー、角速度センサーおよび磁気センサーの少なくとも１つであってもよい。

これらの発明の撮影システムは、撮影者の動きを検出する第１のモーションセンサーを含むセンサーユニットと、撮像装置を取り付ける雲台と一体に設けられ、雲台の動きを検出する第２のモーションセンサーを含む被写体追従装置と、を含む。ここで、第１のモーションセンサーは、被写体を目で追う動きと連動する頭部の動きを検出することが考えられる。すなわち、センサーユニットは前記撮影者の頭部に装着されてもよい。

センサーユニットと被写体追従装置との間は、例えば無線又は有線の通信がされる。そして、被写体追従装置は、撮影者の動き（すなわち、第１のモーションセンサーからの信号）と雲台の動き（すなわち、第２のモーションセンサーからの信号）に基づいて、撮像装置を被写体に追従させることができる。

このとき、撮影者の動きと雲台の動きとは単純に連動するわけではなく、例えば撮影前のキャリブレーションで撮影角度の補正等も可能である。そのため、特許文献１および特許文献２の発明とは異なり、撮像装置を撮影者から離しても被写体を正しく撮影できる。

このとき、これらの発明の撮影システムは、実際の雲台の動きをモーションセンサーで計測する。そのため、特許文献３の発明のようにモニターを内蔵したヘッドマウントディスプレイで撮影者が確認しなくても、雲台の動きを補正して、撮像装置を被写体に正しく追従させる。ヘッドマウントディスプレイのような重くて大きい部材を撮影者の頭部に装着しなくても、例えば自然な装着感の眼鏡などにセンサーユニットを装着して撮影者の動きを検出するだけでよい。

従って、これらの発明の撮影システムは、自然な装着感のセンサーユニットを装着した撮影者が、自分の目で被写体を見ることで、撮像装置が被写体を自動的に追従して正しく撮影することを可能にする。なお、眼鏡の他にも、帽子やサングラスやヘアーバンドなどにセンサーユニットを装着してもよい。また、撮影者の頭部以外にセンサーユニットを装着してもよい。

ここで、第１のモーションセンサー、第２のモーションセンサーは、それぞれ撮影者の動き、雲台の動きを計測するものである。これらのモーションセンサーとして、加速度センサー、角速度センサーおよび磁気センサーの少なくとも１つが使用されてもよい。

例えば、第１のモーションセンサーを例にとると、３軸の加速度センサーによって撮影者の動きを精度よく正確に測定できる。さらに、角速度センサーも備えていれば、例えば撮影者の頭部に装着した場合に、首の動きがスムーズでないときでも角速度センサーからの信号に基づいて補正が可能になり、検出精度を高めることができる。そして、磁気センサーを備えていれば、第１のモーションセンサーが取り付けられた部位（例えば頭部）の位置をより正確に検出することができる。

第１のモーションセンサーと第２のモーションセンサーの構成が異なっていてもよいが、これらのモーションセンサーが同じ構成であることが好ましい。このとき、センサーの軸を合わせるキャリブレーション（被写体を撮影する前の調整）を容易にすることができる。

なお、雲台とは撮像装置を取り付ける可動部であって、例えば三脚等の一部である。ここで、雲台は電気信号によって動く雲台であって、取り付けた撮像装置の撮影方向（例えば三脚の正面方向といった１つの方向を基準とした場合には、その基準に対する撮影角度）を例えば制御信号によって変えることが可能である。

（４）この撮影システムにおいて、前記被写体追従装置は、前記撮影者が前記撮像装置と同じ位置で静止した被写体である基準点を見た場合に前記撮像装置が前記基準点を撮影するように調整する第１のキャリブレーションと、前記撮影者が前記撮像装置から離れて前記基準点を見た場合に前記撮像装置が前記基準点を撮影するように調整する第２のキャリブレーションと、を行ってもよい。

本発明の撮影システムは、撮像装置に基準点を撮影させて雲台の動きを調整するキャリブレーションを行う。ここで、基準点は特定の物に限定されず、静止した被写体であればよい。

本発明の撮影システムは、撮影者が撮像装置と同じ位置で基準点を見た場合に実行する第１のキャリブレーションと、撮影者が撮像装置から離れた位置、すなわち被写体を観察する場所で基準点を見た場合に実行する第２のキャリブレーションと、を行う。

このうち、第１のキャリブレーションでは、撮影者の視線と雲台に取り付けられた撮像装置の撮影方向とを合わせた状態で、第１のモーションセンサーと第２のモーションセンサーの軸合わせを行うことで、その後の撮影者の動きに合わせて雲台を動かすことができる。

そして、第２のキャリブレーションによって、実際の観察場所における撮影者の視線と雲台に取り付けられた撮像装置の撮影方向とのずれを、撮影角度の補正により吸収することを可能にする。このため、特許文献１および特許文献２の発明では問題となる、撮像装置と撮影者との間に被写体がある場合に正しく撮れないという問題を解決することができる。

本発明によれば、遠隔の撮像装置で被写体を撮影する撮影者は、２つの簡単なキャリブレーションを実行するだけで、撮像装置に被写体を自動的に追従させて正しく撮影させることが可能になる。

（５）この撮影システムにおいて、前記センサーユニットは、前記撮影者の頭部に装着される表示部を備えた部材に装着され、前記表示部に、前記撮像装置の撮影方向および撮影範囲の少なくとも一方に応じた表示をさせる表示制御信号を生成してもよい。

（６）この撮影システムにおいて、前記センサーユニットは、前記撮影者の眼鏡に装着されてもよい。

これらの発明によれば、センサーユニットは、撮影者の頭部に装着される表示部を備えた部材に装着されてもよい。このとき、表示部に撮影方向および撮影範囲の少なくとも一方に応じた表示をすることで、利便性を向上させることができる。

撮影者は、モニターを備えたヘッドマウントディスプレイのような大きくて重い部材を頭部に取り付ける必要はない。しかし、遠隔で撮影中に、撮影方向および撮影範囲について知りたい場合がある。これらの発明によれば、撮影者の頭部に装着される部材が表示部を備えることで、このような情報を撮影者に知らせることができる。

ここで、撮影者の頭部に装着される部材は眼鏡であってもよい。このとき、センサーユニットを自然な装着感で頭部に装着でき、他人から奇異に思われることもない。また、眼鏡であれば被写体を追うことに困難は生じない。このとき、表示部は眼鏡のレンズ部分にとりつけられた液晶シートであってもよいし、ＬＥＤ等の光を発するものであってもよい。

（７）本発明は、撮影方法であって、撮影者に装着され、前記撮影者の動きを検出する第１のモーションセンサーを含むセンサーユニットと、撮像装置を取り付ける雲台と一体に設けられ、前記雲台の動きを検出する第２のモーションセンサーを含み、前記第１のモーションセンサーが検出した前記撮影者の動きに基づいて、前記第２のモーションセンサーにより前記雲台の動きを制御して前記撮像装置を被写体に追従させる被写体追従装置と、を利用して、前記撮影者が前記撮像装置と同じ位置で静止した被写体である基準点を見た場合に前記撮像装置が前記基準点を撮影するように調整するステップと、前記撮影者が前記撮像装置から離れて前記基準点を見た場合に前記撮像装置が前記基準点を撮影するように調整するステップと、を含む。

本発明の撮影方法は、撮像装置に基準点を撮影させて雲台の動きを調整するキャリブレーションのステップを含む。

本発明によれば、遠隔の撮像装置で被写体を撮影する撮影者は、２つの簡単なキャリブレーションのステップを実行するだけで、撮像装置に被写体を自動的に追従させて正しく撮影させることが可能になる。

図１（Ａ）〜図１（Ｂ）は、本実施形態の撮影システムの概要の説明図。 図２（Ａ）〜図２（Ｂ）は、被写体追従装置の構成の一例を示す図。 図３（Ａ）〜図３（Ｂ）は、センサーユニットの構成の一例を示す図。 本実施形態の撮影システムのブロック図。 本実施形態の被写体追従装置のキャリブレーションの制御を示すフローチャート。 本実施形態のセンサーユニットのキャリブレーションの制御を示すフローチャート。 図７（Ａ）〜図７（Ｂ）はキャリブレーションを説明する図。 本実施形態の被写体追従装置の撮影動作の制御を示すフローチャート。 本実施形態のセンサーユニットの撮影動作の制御を示すフローチャート。

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

１．撮影システムの概要
図１（Ａ）〜図１（Ｂ）は、撮影システムの概要についての説明図である。本実施形態の撮影システムでは、図１（Ａ）に示すように、撮像装置３と離れた位置にいる撮影者７が被写体９を見ている。そして、電動雲台（不図示）に装着された撮像装置３も被写体９を撮影している。撮影者７は眼鏡（不図示）をかけており、眼鏡に装着されたセンサーユニット（不図示）が撮影者７の頭部の動きを検出する。なお、電動雲台は雲台の一種であって、電気信号によって装着された撮像装置３を自由な方向に向けて固定することが可能である。

なお、図１（Ａ）〜図１（Ｂ）は、撮像装置３、撮影者７、被写体９を上から見ている図である。そして、撮影者７の視線８は鼻（撮影者７の丸い頭部に付いている三角形）の先にあるものとし、撮像装置３の撮影方向４はレンズ（本体をあらわす長方形の短辺に付された突起部分）が向いた方向であるとする。

例えば図１（Ａ）の状態から、図１（Ｂ）の状態に変化したとする。このとき、撮影者７が被写体９を視線８で追うと、センサーユニットが撮影者７の頭部の動きを検出して、電動雲台と一体となって設けられている被写体追従装置（不図示）に送信する。そして、撮像装置３は被写体９を自動的に追従して撮影し続けることができる。

ここで、図１（Ａ）〜図１（Ｂ）の撮影者７の視線８の変化と、撮像装置３の撮影方向４の変化とは同一ではない。すなわち、視線８は撮影者７の左方約３０度から正面へと変化し、撮影方向４は撮影者７の正面から右方約３０度へと変化している。

つまり、本実施形態の撮影システムでは、単純に撮影者７の視線８の変化の通りに撮像装置３が動くのではなく、撮影者７と撮像装置３との位置関係に基づいて補正がされている。従って、撮像装置３は、撮影者７が離れた位置にいても、被写体９を自動的に追従して正しく撮影できる。

なお、図１（Ａ）〜図１（Ｂ）は撮像装置３、撮影者７、被写体９を上から見ているので、高さ方向（紙面手前と奥行きの方向）が図示されないが、撮像装置３は、高さ方向も含めて被写体９を自動的に追従して正しく撮影する。

図２（Ａ）および図２（Ｂ）は、被写体追従装置の構成の一例を示す図であり、具体的には撮像装置３の外観および被写体追従装置１０との関係を表すものである。まず、撮像装置３は図２（Ａ）のようにビデオカメラであってもよいし、図２（Ｂ）のように主に静止画を撮るカメラであってもよいし、撮影機能を備えたスマートフォンのような他の撮像装置であってもよい。なお、それ以外の要素は図２（Ａ）と図２（Ｂ）とで共通であるので、図２（Ａ）のみを用いて説明する。

図２（Ａ）のように、撮像装置３は三脚１２の一部である電動雲台１１に取り付けられる。被写体追従装置１０は電動雲台１１と一体に設けられており、図２（Ａ）の例では電動雲台１１の内部にあって、電動雲台１１を動かすことが可能であるとする。すなわち、電動雲台１１を動かすことで、撮像装置３の撮影方向、撮影角度を変更することが可能である。また、電動雲台１１の動きを検出することも可能である。なお、撮影角度は撮影方向をある方向に対する角度で表現したものであり、例えば三脚１２の正面の水平方向を基準方向として、基準方向に対する角度で表してもよい。

図３（Ａ）および図３（Ｂ）は、センサーユニットの構成の一例を示す図であり、具体的にはセンサーユニット５の外観および眼鏡６との関係を表すものである。まず、図３（Ａ）のように、本実施形態のセンサーユニット５は直方体の外観であり、撮影者７が装着する眼鏡６のフレームに取り付けることが可能である。そのため、本実施形態の撮影システムを使用して撮影を行うときにも、撮影者７は自然な装着感を得ることが可能である。

センサーユニット５は、例えば長さ約３０ｍｍ、高さ１５ｍｍ、厚さ１０ｍｍ程度であってもよい。このとき、撮影者７はその存在をほとんど気にすることなく、撮影することが可能である。なお、センサーユニット５に例えば紐、ゴム等が付いており撮影者７の頭部に直接装着されてもよい。

図３（Ｂ）は、眼鏡６のレンズ部分、その周りのフレームにある表示部の例を示す。なお、レンズ周辺以外のフレームの図示は省略している。表示部は例えば、レンズ部分に貼り付けられた液晶表示部８２であってもよいし、レンズ周りのフレームに付されたＬＥＤが点灯するＬＥＤ表示部８４であってもよい。センサーユニット５は、有線又は無線によって、撮像装置３の撮影状態や異常の発生を液晶表示部８２、又はＬＥＤ表示部８４に表示させて撮影者７に知らせる。

ここで、本実施形態のセンサーユニット５は一般に使用される眼鏡６に取り付けることが可能であり、ヘッドマウントディスプレイなどを必要としない。そのため、撮像装置３が撮影した画像をそのまま見ることはない。そのため、例えば撮像装置３のズームの状態や、撮影方向（撮影角度）などを液晶表示部８２、ＬＥＤ表示部８４によって撮影者７に知らせる。

図３（Ｂ）の液晶表示部８２のように、例えば撮像装置３のズームに対応して、撮影範囲が点線で表示されてもよい。また、撮像装置３の撮影方向が変化したときには、ＬＥＤ表示部８４の点灯するＬＥＤが変化して知らせてもよい。また、被写体追従装置１０側から、送信したデータが受け取られなかった、撮像装置３が電動雲台１１から外れた、三脚１２が転等した等の異常の知らせを受けて、例えばＬＥＤ表示部８４の全てのＬＥＤを点滅させて撮影者７に知らせてもよい。

なお、本実施形態ではセンサーユニット５は眼鏡６に取り付けて図３（Ｂ）のような表示を行うが、これらの表示機能を省略してもよい。このとき、センサーユニット５は頭部に限らず、撮影の邪魔にならない体や服の一部に装着することが可能である。例えば、撮影者は肩、腕、服の胸ポケットや腰のベルト等にセンサーユニット５を装着してもよい。このとき、体の正面に被写体９があるものとして、センサーユニット５は撮影者７の動きを検出する。また、撮影者が被写体９を指さす場合には、指にセンサーユニット５を装着してもよい。

２．撮影システムの構成
２−１．全体構成
図４は、本実施形態の撮影システムの構成例を示す図である。本実施形態の撮影システムは、図４の構成要素（各部）の一部を省略又は変更してもよいし、他の構成要素を付加した構成としてもよい。

図４に示すように、本実施形態の撮影システム１は、センサーユニット５と被写体追従装置１０とを含み、これらが無線で通信する。なお、通信の方法は無線に限らず、有線であってもよい。このとき、例えばケーブルの長さの範囲で、撮影者７は撮像装置３から離れることが可能である。

なお、本実施形態の撮影システム１では、センサーユニット５と被写体追従装置１０は直接に無線通信を行うが、インターネットやＬＡＮ等の通信ネットワークを介して通信を行ってもよい。

センサーユニット５は、例えば撮像装置３の撮影状態や異常の発生を、撮影システム１に含まれない眼鏡６の液晶表示部８２、又はＬＥＤ表示部８４に表示させて撮影者７に知らせる。後述する表示制御部５３が液晶表示部８２、又はＬＥＤ表示部８４への表示制御信号を生成する。

被写体追従装置１０は、撮像装置３に被写体を追従させるために、撮影システム１に含まれない電動雲台１１に駆動信号を生成して出力する。後述する駆動信号生成部２６が駆動信号を生成する。電動雲台１１の制御部８６は、この駆動信号を受け取り、変換処理を行って又はそのままで電動雲台１１の駆動部８８に出力する。電動雲台１１の駆動部８８は例えばモーター等であって電動雲台１１を動かす。これにより、撮像装置３が被写体に追従するように、その撮影角度を変化させることができる。

２−２．センサーユニットの構成
図４に示すように、センサーユニット５は、コマンド受信部４０、処理部（ＣＰＵ）５０、モーションセンサー６０、記憶部６６、記録媒体６８、通信部７４を含んで構成されている。モーションセンサー６０は本発明の第１のモーションセンサーに対応する。

コマンド受信部４０は、撮影者７が撮像装置３に例えばリモコンを用いて送信するコマンドを受信して、撮像装置３の動作に連動してセンサーユニット５が動作可能であるようにする。例えば、撮影者７がリモコンで撮像装置３の電源をＯＮ又はＯＦＦするコマンドを送信した場合に、コマンド受信部４０はこれらのコマンドを受信して処理部（ＣＰＵ）５０に出力する。そして、処理部（ＣＰＵ）５０は、これらのコマンドに連動して、一連の処理を開始、又は終了するように制御してもよい。

モーションセンサー６０は撮影者７の頭部の動きを検出して、処理部（ＣＰＵ）５０に出力する。本実施形態のモーションセンサー６０は、直交する３軸のそれぞれに設けられた３つの加速度センサーと３つの角速度センサーを含むＩＭＵ（Inertial Measurement Unit：慣性姿勢計測装置）であってもよい。３軸の加速度センサーによって頭部の動きを精度よく正確に測定できる。さらに、角速度センサーによって、首の動きがスムーズでない場合でも、角速度センサーからの信号に基づいて補正が可能になり、検出精度を高めることができる。そして、含まれるセンサーの数や種類はこれに限らず、例えば磁気センサー、気圧センサー等をさらに含んでいてもよい。例えば、磁気センサーを備えていれば、頭部の位置をより正確に検出することができる。

記憶部６６は、処理部（ＣＰＵ）５０が計算処理や制御処理を行うためのプログラムやデータ等を記憶している。また、記憶部６６は、処理部（ＣＰＵ）５０の作業領域として用いられ、記録媒体６８から読み出されたプログラムやデータ、通信部７４を介して被写体追従装置１０から受信したデータ、処理部（ＣＰＵ）５０が各種プログラムに従って実行した演算結果等を一時的に記憶するためにも使用される。

処理部（ＣＰＵ）５０は、記憶部６６や記録媒体６８に記憶されているプログラムに従って、各種の計算処理や制御処理を行う。例えば、処理部（ＣＰＵ）５０は、モーションセンサー６０からモーションデータを受け取って、被写体追従装置１０に所定の形式で送信できるように変換処理を行ってもよい。また、処理部（ＣＰＵ）５０は、コマンド受信部４０が受け取ったコマンドに応じた各種の処理、通信部７４を介した被写体追従装置１０とのデータ通信を制御する処理等を行う。

本実施形態では、処理部（ＣＰＵ）５０は、通信制御部５２、表示制御部５３を含む。ただし、本実施形態の処理部（ＣＰＵ）５０は、これらの一部の構成（要素）を省略又は変更してもよいし、他の構成（要素）を追加した構成としてもよい。

本実施形態の処理部（ＣＰＵ）５０は、記録媒体６８に記憶されているプログラムを実行することで、通信制御部５２、表示制御部５３として機能する。なお、通信制御部５２、表示制御部５３の少なくとも一部をハードウェア（専用回路）で実現してもよい。

記録媒体６８は、例えば、メモリー（ＲＯＭ、フラッシュメモリーなど）により実現することができる。なお、センサーユニット５のサイズが大きい場合には、各種の光ディスクや磁気ディスクで実現されてもよい。

通信制御部５２は、通信部７４を介して被写体追従装置１０との間で行うデータ通信を制御する処理を行う。本実施形態では、通信制御部５２はモーションセンサー６０からのモーションデータを、通信部７４を介して被写体追従装置１０に送信する処理を行う。また、通信制御部５２は、通信部７４を介して被写体追従装置１０から撮像装置３の撮影状態や異常の発生を受信する処理をしてもよい。

表示制御部５３は、撮像装置３の撮影状態や異常の発生を受信した場合に、表示制御信号を生成して、眼鏡６の液晶表示部８２やＬＥＤ表示部８４に表示させる。

２−３．被写体追従装置の構成
図４に示すように、被写体追従装置１０は、処理部（ＣＰＵ）２０、記憶部３０、記録媒体３２、通信部３４、コマンド受信部３６、モーションセンサー３８を含んで構成されている。モーションセンサー３８は本発明の第２のモーションセンサーに対応する。本実施形態の被写体追従装置１０は、図４の構成要素（各部）の一部を省略又は変更してもよいし、他の構成要素を付加した構成としてもよい。

コマンド受信部３６は、センサーユニット５のコマンド受信部４０と同様であるため、その説明を省略する。なお、本実施形態の撮影システム１では、コマンド受信部３６とコマンド受信部４０が共に存在するが、一方だけであってもよい。このとき、コマンド受信部を持つセンサーユニット５又は被写体追従装置１０は、他方に通信部３４、通信部７４を介してコマンドを送信してもよい。

モーションセンサー３８は、電動雲台１１のモーションデータを取得することを除けば、センサーユニット５のモーションセンサー６０と同様であるため、その説明を省略する。

記憶部３０は、撮影角度補正データを含むことを除けば、センサーユニット５の記憶部６６と同様であるため、その説明を省略する。なお、撮影角度補正データは、後述するキャリブレーションで用いる、被写体追従装置１０と撮影者７との距離、基準点までの距離、撮影者７の頭部の動き（モーションデータ）等と補正すべき撮影角度の値をデータ化したもので、例えばテーブルとして記憶部３０に保存されている。

記録媒体３２は、センサーユニット５の記録媒体６８と同様であるため、その説明を省略する。

処理部（ＣＰＵ）２０は、記憶部３０や記録媒体３２に記憶されているプログラムに従って、各種の計算処理や制御処理を行う。具体的には、処理部（ＣＰＵ）２０は、通信部３４を介してセンサーユニット５からの撮影者７の頭部のモーションデータを受け取って電動雲台１１を動かす駆動信号を生成する。

また、処理部（ＣＰＵ）２０は、コマンド受信部３６からのコマンドに応じた各種の処理、モーションセンサー３８からの電動雲台１１のモーションデータによる駆動信号の補正処理、電界強度に応じた距離の計算処理、センサーユニット５等とのデータ通信を制御する処理等を行う。

本実施形態では、処理部（ＣＰＵ）２０は、データ取得部２２、通信制御部２４、駆動信号生成部２６、距離計算部２８を含む。ただし、本実施形態の処理部（ＣＰＵ）２０は、これらの一部の構成（要素）を省略又は変更してもよいし、他の構成（要素）を追加した構成としてもよい。

データ取得部２２は、通信部３４を介して撮影者７の頭部のモーションデータを受け取る。距離計算部２８は、無線の電界強度を測ることで、撮影者７と撮像装置３との距離を測定する。なお、撮影者７が撮像装置３にコマンドを送るのに用いるリモコンの赤外線を利用して距離を測定してもよい。この距離は、キャリブレーションで撮影角度補正データによって補正値を定める際に使用されてもよい。

通信制御部２４は、通信部３４を介して行う、センサーユニット５とのデータ通信等を制御する処理を行う。

駆動信号生成部２６は、駆動信号を生成する。電動雲台１１の制御部８６は、この駆動信号を受け取り、変換処理を行って又はそのままで電動雲台１１の駆動部８８に出力する。電動雲台１１の駆動部８８は例えばモーター等であって電動雲台１１を動かす。これにより、撮像装置３が被写体に追従するように、その撮影角度を変化させることができる。

また、駆動信号生成部２６は駆動信号の補正も行う。モーションセンサー３８からの電動雲台１１のモーションデータに基づいて、駆動信号を補正して正確な被写体の追従を可能にする。

３．撮影システムの処理
３−１．キャリブレーション
図５および図６は、本実施形態の撮影システム１の処理のフローチャートを示す図である。また、図７（Ａ）〜図７（Ｂ）はキャリブレーションを説明する図である。図７（Ａ）〜図７（Ｂ）は、図１（Ａ）〜図１（Ｂ）と同じように上から見ている図であって、図１（Ａ）〜図１（Ｂ）と同じ要素については同じ符号を付しており説明を省略する。

図５は、被写体追従装置１０の処理部（ＣＰＵ）２０による処理のフローチャートの一例を示す図であり、図６は、センサーユニット５の処理部（ＣＰＵ）５０による処理のフローチャートの一例を示す図である。まず、図５および図６のフローチャートに沿って、撮像装置３が被写体９を撮影する動作（以下、単に撮影動作とする）を開始する前のキャリブレーションについて説明する。キャリブレーションとは調整処理であり、具体的には撮影角度の調整を意味する。また、適宜図７（Ａ）〜図７（Ｂ）も用いて説明する。

被写体追従装置１０の処理部（ＣＰＵ）２０は、例えばリモコンを用いて、撮影者７が撮像装置３の電源をＯＮするコマンド（以下、電源ＯＮコマンド）をコマンド受信部３６で受け取り、以下に述べる処理を開始する（Ｓ１０のＹ）。逆に、電源ＯＮコマンドを受け取るまでは待機する（Ｓ１０のＮ）。

センサーユニット５の処理部（ＣＰＵ）５０も、電源ＯＮコマンドをコマンド受信部４０で受け取り、以下に述べる処理を開始する（Ｓ１１０のＹ）。逆に、電源ＯＮコマンドを受け取るまでは待機する（Ｓ１１０のＮ）。

被写体追従装置１０の処理部（ＣＰＵ）２０は、基準点が設定されるまで待機する（Ｓ２０のＮ）。基準点１８（図７（Ａ）〜図７（Ｂ）参照）はキャリブレーションで使用される、静止した被写体である。撮影者７は基準点１８を設定した場合、例えばリモコン等を用いて１種のコマンドとして被写体追従装置１０に知らせてもよいし、別の方法、例えば三脚１２にあるボタン（不図示）を押して知らせてもよい。基準点までの距離は、例えば撮像装置３のオートフォーカス機能などを利用して得られる。以下では、基準点１８（および被写体９）までの距離は、電動雲台１１を介して被写体追従装置１０に伝えられるものとする。

被写体追従装置１０の処理部（ＣＰＵ）２０は、基準点が設定されると（Ｓ２０のＹ）、センサーユニット５に撮影者７の頭部の動き（ここでは、頭部の姿勢すなわち視線の方向）を表すモーションデータを要求する（Ｓ２２）。そして、モーションデータを受け取るまで待機する（Ｓ２４のＮ）。

センサーユニット５の処理部（ＣＰＵ）５０は、モーションデータの送信要求を受け取るまで待機しているが（Ｓ１２０のＮ）、被写体追従装置１０からの要求を受けて（Ｓ１２０のＹ）モーションデータを送信する（Ｓ１２２）。このとき、キャリブレーションはまだ終了していないので（Ｓ１４４のＮ）、次のモーションデータの送信要求を受け取るまで待機する（Ｓ１２０のＮ）。

被写体追従装置１０の処理部（ＣＰＵ）２０は、センサーユニット５からモーションデータを受け取ると（Ｓ２４のＹ）、センサーユニット５のモーションセンサー６０と被写体追従装置１０のモーションセンサー３８の軸合わせを実行する（Ｓ２６）。ここで、本実施形態ではモーションセンサー６０とモーションセンサー３８とは同じ構成のセンサーを用いており、軸合わせとは対応する各センサーの軸を合わせることを意味する。

このステップＳ２２〜Ｓ２６の処理は、第１のキャリブレーションに対応する。第１のキャリブレーションについて図７（Ａ）を用いて説明する。第１のキャリブレーションでは、図７（Ａ）のように撮影者７が撮像装置３と同じ位置で基準点１８を見る。例えば、撮影者７は撮像装置３のファインダーを覗きながら基準点１８を見てもよい。このとき、撮影者７の視線８と撮像装置３の撮影方向４が一致する。

撮影者７の眼鏡６に装着されたセンサーユニット５のモーションセンサー６０の軸と、撮像装置３を取り付けた電動雲台１１と一体となった被写体追従装置１０のモーションセンサー３８の軸とを合わせることで、その後の撮影者７の頭部の動きに合わせて電動雲台１１を動かすことができる。

再び図５、図６を用いて撮影システム１の処理を説明する。被写体追従装置１０の処理部（ＣＰＵ）２０は、撮影者７が撮像装置３から離れて、被写体９を見る実際の場所（以下、観察場所）に移動するまで待機する（Ｓ３０のＮ）。撮影者７は観察場所に移動した場合に、例えばリモコン等を用いて１種のコマンドとして被写体追従装置１０に知らせてもよい。また、別の方法、例えばセンサーユニット５にあるボタン（不図示）を押して、センサーユニット５の通信部７４を介して被写体追従装置１０に知らせてもよい。

被写体追従装置１０の処理部（ＣＰＵ）２０は、撮影者７が観察場所に移動すると（Ｓ３０のＹ）、センサーユニット５に撮影者７の頭部の動き（ここでは、頭部の姿勢すなわち視線の方向）を表すモーションデータを要求する（Ｓ３２）。そして、モーションデータを受け取るまで待機する（Ｓ３４のＮ）。

センサーユニット５の処理部（ＣＰＵ）５０は、被写体追従装置１０からの要求を受けて（Ｓ１２０のＹ）モーションデータを送信する（Ｓ１２２）。

被写体追従装置１０の処理部（ＣＰＵ）２０は、センサーユニット５からモーションデータを受け取ると（Ｓ３４のＹ）、撮影角度補正データを記憶部３０から読み出して、撮影角度を補正する（Ｓ３６）。ここでの補正とは、基準点１８に対する、撮影者７の視線８と撮像装置３の撮影方向４とが成す角度（以下、基準点補正角）を求めることに対応する。

そして、撮影動作においては、例えば撮像装置３と移動する被写体との距離と、撮像装置３と基準点まで距離との比率を求めて、基準点補正角をもとに撮影角度を計算することで、被写体を追従することを可能にする。

このステップＳ３２〜Ｓ３６の処理は、第２のキャリブレーションに対応する。第２のキャリブレーションについて図７（Ｂ）を用いて説明する。第２のキャリブレーションでは、図７（Ｂ）のように撮影者７が観察場所に移動して、撮像装置３から離れて基準点１８を見る。このとき、撮影者７の視線８と撮像装置３の撮影方向４が成す角度を求めて、撮影角度を補正する。

第２のキャリブレーションを実行することによって、実際の観察場所における撮影者７の視線と電動雲台１１に取り付けられた撮像装置３の撮影方向とのずれを吸収するための撮影角度を求めることができる。このため、撮像装置と撮影者との間に被写体がある場合でも、正しく被写体に追従して撮影できる。

その後、被写体追従装置１０の処理部（ＣＰＵ）２０は、撮影者７が試し撮りを実行し（Ｓ４０）、目的の対象物が撮影されていることを確認したならば（Ｓ４２のＹ）、センサーユニット５にキャリブレーションが終了したことを伝える（Ｓ４４）。もし、目的の対象物が撮影されていなければ（Ｓ４２のＮ）、ステップＳ３２に戻って第２のキャリブレーションを再度実行する。

その後、被写体追従装置１０の処理部（ＣＰＵ）２０は、撮影者７が撮像装置３の電源をＯＦＦするコマンド（以下、電源ＯＦＦコマンド）を受け取るまで（Ｓ５２のＮ）、撮影動作を実行し（Ｓ５０）、電源ＯＦＦコマンドを受け取ると（Ｓ５２のＹ）処理を終了する。なお、被写体追従装置１０の撮影動作（被写体追従装置側撮影動作）については後述する。

センサーユニット５の処理部（ＣＰＵ）５０は、被写体追従装置１０からキャリブレーションが終了したことを受け取ると（Ｓ１４４のＹ）、電源ＯＦＦコマンドを受け取るまで（Ｓ１５２のＮ）、撮影動作を実行し（Ｓ１５０）、電源ＯＦＦコマンドを受け取ると（Ｓ１５２のＹ）処理を終了する。なお、センサーユニット５の撮影動作（センサーユニット側撮影動作）については後述する。

３−２．撮影動作
図８および図９は、本実施形態の撮影システム１の撮影動作における処理のフローチャートを示す図である。図８は、被写体追従装置１０の処理部（ＣＰＵ）２０による処理のフローチャートの一例を示す図であり、図９は、センサーユニット５の処理部（ＣＰＵ）５０による処理のフローチャートの一例を示す図である。

被写体追従装置１０の処理部（ＣＰＵ）２０は、例えばリモコンを用いて、撮影者７が撮像装置３に撮影を開始させるコマンド（以下、撮影開始コマンド）をコマンド受信部３６で受け取り、以下に述べる処理を開始する（Ｓ２１０のＹ）。逆に、撮影開始コマンドを受け取るまでは待機する（Ｓ２１０のＮ）。

センサーユニット５の処理部（ＣＰＵ）５０も、撮影開始コマンドをコマンド受信部４０で受け取り、以下に述べる処理を開始する（Ｓ３１０のＹ）。逆に、撮影開始コマンドを受け取るまでは待機する（Ｓ３１０のＮ）。

センサーユニット５の処理部（ＣＰＵ）５０は、撮影者７が被写体９を見て視線８を動かす動きを計測してモーションデータを送信する。つまり、モーションセンサー６０が撮影者７の頭部の動きを計測して（Ｓ３１２）、通信部７４を介してモーションデータを被写体追従装置１０に送信する（Ｓ３１４）。

被写体追従装置１０の処理部（ＣＰＵ）２０は、モーションデータを受け取るまで待機する（Ｓ２１２のＮ）。そして、センサーユニット５からモーションデータを受け取った場合には（Ｓ２１２のＹ）、ＡＣＫ（ACKnowledge：肯定応答）信号をセンサーユニット５に送信する（Ｓ２１４）。

センサーユニット５の処理部（ＣＰＵ）５０は、駆動信号生成部２６によって、まず電動雲台１１を動かすための駆動信号を生成する。このとき、第２のキャリブレーションの結果に基づいて撮影角度の補正も行われる。つまり、基準点補正角をもとに、撮像装置３と移動する被写体との距離と、撮像装置３と基準点まで距離との比率を求めて、基準点補正角をもとに撮影角度を計算する。そして、計算結果に合わせて駆動信号を生成する。この駆動信号によって、撮像装置３が被写体９を追従するように電動雲台１１を動かすことができる。

しかし、本実施形態では撮影者７は実際の被写体９を映像で見ることはできない。そのため、撮像装置３が被写体９を正しく追従していることを確認する機能を備えることが好ましい。被写体追従装置１０は、モーションセンサー３８で電動雲台１１の動きを計測する（Ｓ２１８）。そして、モーションセンサー３８が計測した電動雲台１１のモーションデータと、駆動信号生成部２６が生成した駆動信号とを比較する（Ｓ２２０）。このとき、比較可能なように、モーションデータ又は駆動信号の一方を他方の形式に合わせる変換処理をしてから比較してもよい。

被写体追従装置１０の処理部（ＣＰＵ）２０は、差異がある場合には（Ｓ２２２のＹ）、駆動信号を補正して（Ｓ２２４）、再びステップＳ２１８に戻って電動雲台１１の動きを計測する。

被写体追従装置１０の処理部（ＣＰＵ）２０は、差異がない場合（Ｓ２２２のＮ）には、撮影者７が撮像装置３に撮影を停止させるコマンド（以下、撮影停止コマンド）を送信したかを確認する（Ｓ２２６）。なお、ステップＳ２２２の差異がない場合とは、駆動信号生成部２６が生成した駆動信号の通りに電動雲台１１が動いている場合である。

被写体追従装置１０の処理部（ＣＰＵ）２０は、撮影停止コマンドがあった場合には（Ｓ２２６のＹ）、一連の撮影動作の処理を終了する。撮影停止コマンドがない場合には（Ｓ２２６のＮ）、ステップＳ２１２に戻って、一連の撮影動作の処理を繰り返す。

センサーユニット５の処理部（ＣＰＵ）５０は、モーションデータを被写体追従装置１０に送信した後に、被写体追従装置１０からＡＣＫ信号を受け取らない場合には（Ｓ３１６のＮ）、警告を表示させて（Ｓ３２０）、一連の処理を終了する。なお、警告の表示とは、例えばＬＥＤ表示部８４を点滅させる表示であってもよい。

センサーユニット５の処理部（ＣＰＵ）５０は、被写体追従装置１０からＡＣＫ信号を受け取った場合には（Ｓ３１６のＹ）、撮影停止コマンドを確認する。撮影停止コマンドがあった場合には（Ｓ３２６のＹ）、一連の撮影動作の処理を終了する。撮影停止コマンドがない場合には（Ｓ３２６のＮ）、ステップＳ３１２に戻って、一連の撮影動作の処理を繰り返す。

なお、図９では省略しているが、センサーユニット５の処理部（ＣＰＵ）５０は、撮影開始コマンドを受け取った後で（Ｓ３１０のＹ）、撮影者７が撮像装置３のズームを調整するコマンドをコマンド受信部４０で受け取った場合には、例えば液晶表示部８２に対応した枠（図３（Ｂ）参照）を表示させてもよい。また、被写体追従装置１０から例えば三脚が転倒した等の異常を、通信部７４を介して受け取った場合には、ＬＥＤ表示部８４を点滅させてもよい。

以上のように、本実施態様によれば、例えば眼鏡６の一部と一体化する自然な装着感のセンサーユニットを装着した撮影者７が、自分の目で被写体９を見ることで、離れた場所にある撮像装置３に被写体９を自動的に追従させることが可能になる。このとき、被写体追従装置１０は、撮像装置３が取り付けられた電動雲台１１の動きを計測して、被写体９の追従に必要な補正を行う。そのため、撮影者７が撮像装置３の映像をヘッドマウントディスプレイ等で見なくても、撮像装置３が被写体９を正しく撮影することを可能にする。

４．その他
本発明は、実施形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成）を含む。また、本発明は、実施形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。

１ 撮影システム、３ 撮像装置、４ 撮影方向、５ センサーユニット、６ 眼鏡、７ 撮影者、８ 視線、９ 被写体、１０ 被写体追従装置、１１ 電動雲台、１２ 三脚、１８ 基準点、２０ 処理部（ＣＰＵ）、２２ データ取得部、２４ 通信制御部、２６ 駆動信号生成部、２８ 距離計算部、３０ 記憶部、３２ 記録媒体、３４ 通信部、３６ コマンド受信部、３８ モーションセンサー、４０ コマンド受信部、５０ 処理部（ＣＰＵ）、５２ 通信制御部、５３ 表示制御部、６０ モーションセンサー、６６ 記憶部、６８ 記録媒体、７４ 通信部、８２ 液晶表示部、８４ ＬＥＤ表示部、８６ 制御部、８８駆動部

Claims (7)

1. 撮影者に装着され、前記撮影者の動きを検出する第１のモーションセンサーを含むセンサーユニットと、
   撮像装置を取り付ける雲台と一体に設けられ、前記雲台の動きを検出する第２のモーションセンサーを含み、前記第１のモーションセンサーが検出した前記撮影者の動きに基づいて、前記第２のモーションセンサーにより前記雲台の動きを制御して前記撮像装置を被写体に追従させる被写体追従装置と、を含む、撮影システム。
2. 請求項１に記載の撮影システムにおいて、
   前記センサーユニットは前記撮影者の頭部に装着される、撮影システム。
3. 請求項１又は２に記載の撮影システムにおいて、
   前記第１のモーションセンサーおよび前記第２のモーションセンサーが、加速度センサー、角速度センサーおよび磁気センサーの少なくとも１つである、撮影システム。
4. 請求項１乃至３のいずれか１項に記載の撮影システムにおいて、
   前記被写体追従装置は、
   前記撮影者が前記撮像装置と同じ位置で静止した被写体である基準点を見た場合に前記撮像装置が前記基準点を撮影するように調整する第１のキャリブレーションと、
   前記撮影者が前記撮像装置から離れて前記基準点を見た場合に前記撮像装置が前記基準点を撮影するように調整する第２のキャリブレーションと、を行う、撮影システム。
5. 請求項１乃至４のいずれか１項に記載の撮影システムにおいて、
   前記センサーユニットは、
   前記撮影者の頭部に装着される表示部を備えた部材に装着され、
   前記表示部に、前記撮像装置の撮影方向および撮影範囲の少なくとも一方に応じた表示をさせる表示制御信号を生成する、撮影システム。
6. 請求項５に記載の撮影システムにおいて、
   前記センサーユニットは、
   前記撮影者の眼鏡に装着される、撮影システム。
7. 撮影者に装着され、前記撮影者の動きを検出する第１のモーションセンサーを含むセンサーユニットと、撮像装置を取り付ける雲台と一体に設けられ、前記雲台の動きを検出する第２のモーションセンサーを含み、前記第１のモーションセンサーが検出した前記撮影者の動きに基づいて、前記第２のモーションセンサーにより前記雲台の動きを制御して前記撮像装置を被写体に追従させる被写体追従装置と、を利用して、前記撮影者が前記撮像装置と同じ位置で静止した被写体である基準点を見た場合に前記撮像装置が前記基準点を撮影するように調整するステップと、
   前記撮影者が前記撮像装置から離れて前記基準点を見た場合に前記撮像装置が前記基準点を撮影するように調整するステップと、を含む、撮影方法。