JP2012080411A - 撮像装置及びその制御方法 - Google Patents
撮像装置及びその制御方法 Download PDFInfo
- Publication number
- JP2012080411A JP2012080411A JP2010225046A JP2010225046A JP2012080411A JP 2012080411 A JP2012080411 A JP 2012080411A JP 2010225046 A JP2010225046 A JP 2010225046A JP 2010225046 A JP2010225046 A JP 2010225046A JP 2012080411 A JP2012080411 A JP 2012080411A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- imaging
- motion
- axis
- acceleration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像装置の動きの質に応じて、撮像時のボケの低減とランダム感の抑制とを両立可能な技術を提供する。
【解決手段】撮像装置は、対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を出力する撮像部と、撮像時の撮像装置自体の動きを検出する動き検出部と、検出された動きの質に応じて、第１の映像信号と第２の映像信号を切り換え又は合成することにより出力映像信号を生成する出力制御部と、を有する。出力制御部は、等速度又は等加速度の動きである場合には第１の映像信号を出力し、等速度又は等加速度の動きでない場合には第２の映像信号を出力する。或いは、等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、第２の映像信号の重みを大きくする。
【選択図】図１
【解決手段】撮像装置は、対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を出力する撮像部と、撮像時の撮像装置自体の動きを検出する動き検出部と、検出された動きの質に応じて、第１の映像信号と第２の映像信号を切り換え又は合成することにより出力映像信号を生成する出力制御部と、を有する。出力制御部は、等速度又は等加速度の動きである場合には第１の映像信号を出力し、等速度又は等加速度の動きでない場合には第２の映像信号を出力する。或いは、等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、第２の映像信号の重みを大きくする。
【選択図】図１
Description
本発明は撮像装置及びその制御方法に関する。
撮像時に撮像装置（ビデオカメラ）自体が動いてしまうと、映像中の対象物に動きボケ（モーションブラー、動きぶれとも呼ばれる）が発生することがある。このようなボケ（ぶれ）は、撮像素子の撮像時間を短く（シャッタ速度を速く）することで改善できることが知られている。特許文献１には、ビデオカメラ自体の動きを検出した場合に、絞りが開放または開放近傍になるまでシャッタ速度を速くすることで、ボケの少ない画像を得ることが開示されている。
上記のように、撮像時間を短くすることで、動きボケの少ないくっきりとした映像信号を得ることが可能になる。
しかしながら、本発明者の検討により、そのような映像信号をインパルス型ディスプレイで表示する場合に、以下のような問題が発生することがわかってきた。撮像装置の動きが等速度又は等加速度である場合、映像中の対象物もおおむね等速度又は等加速度で移動する。このような映像であれば、観測者は表示映像中の対象物を追従視することが容易であるため、高品位な動画表示が可能となる。一方、撮像装置の動きがランダムの場合、映像中の対象物の動き（方向・速度）もランダムとなり、追従視が困難となる。このような追従視の困難な動きを、動きボケの少ない映像で表示すると、対象物の動きの連続性が視覚的に感じられなくなり、対象物がランダムな位置に現れては消えるように見えることがある。この妨害感を本明細書ではランダム感とよぶ。従来方法では、このようなランダム感の発生を回避することはできない。
しかしながら、本発明者の検討により、そのような映像信号をインパルス型ディスプレイで表示する場合に、以下のような問題が発生することがわかってきた。撮像装置の動きが等速度又は等加速度である場合、映像中の対象物もおおむね等速度又は等加速度で移動する。このような映像であれば、観測者は表示映像中の対象物を追従視することが容易であるため、高品位な動画表示が可能となる。一方、撮像装置の動きがランダムの場合、映像中の対象物の動き（方向・速度）もランダムとなり、追従視が困難となる。このような追従視の困難な動きを、動きボケの少ない映像で表示すると、対象物の動きの連続性が視覚的に感じられなくなり、対象物がランダムな位置に現れては消えるように見えることがある。この妨害感を本明細書ではランダム感とよぶ。従来方法では、このようなランダム感の発生を回避することはできない。
本発明は上記実情に鑑みてなされたものであり、動きのある映像を表示する際の表示品質のさらなる改善を目的とする。より詳しくは、本発明は、撮像装置の動きの質に応じて、撮像時のボケの低減とランダム感の抑制とを両立可能な技術を提供することを目的とする。
本発明の第１態様は、対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を出力する撮像部と、撮像時の撮像装置自体の動きを検出する動き検出部と、前記動き検出部で検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成する出力制御部と、を有し、前記出力制御部は、検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号を出力し、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号を出力する撮像装置を提供する。
本発明の第２態様は、対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を出力する撮像部と、撮像時の撮像装置自体の動きを検出する動き検出部と、前記動き検出部で検出された動きの質に応じて、前記第１の
映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成する出力制御部と、を有し、前記出力制御部は、検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする撮像装置を提供する。
映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成する出力制御部と、を有し、前記出力制御部は、検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする撮像装置を提供する。
本発明の第３態様は、撮像時間を変更可能なカメラと、撮像時の撮像装置自体の動きを検出する動き検出部と、検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御する制御部と、を有する撮像装置を提供する。
本発明の第４態様は、対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、撮像時の撮像装置自体の動きを加速度センサにより検出するステップと、検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成するステップと、を有し、検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号が出力され、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号が出力される撮像装置の制御方法を提供する。
本発明の第５態様は、対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、撮像時の撮像装置自体の動きを加速度センサにより検出するステップと、検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成するステップと、を有し、検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする撮像装置の制御方法を提供する。
本発明の第６態様は、撮像時間を変更可能なカメラを有する撮像装置の制御方法であって、撮像時の撮像装置自体の動きを加速度センサにより検出するステップと、検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御するステップと、を有する撮像装置の制御方法を提供する。
本発明によれば、動きのある映像を表示する際の表示品質のさらなる改善が可能となる。また、本発明によれば、撮像装置の動きの質に応じて、撮像時のボケの低減とランダム感の抑制とを両立することができる。
本発明は、インパルス型ディスプレイを用いて映像信号を表示する際に、撮像時のボケを低減するとともに、追従視の困難な映像部分に対してランダム感の発生を抑制可能な技術に関する。本発明は、例えば、家庭用ビデオカメラを初めとする可搬型の撮像装置、並びに、そのような撮像装置と表示装置からなる映像システムに好ましく適用できる。インパルス型ディスプレイは、典型的には、ＣＲＴ、線順次駆動を行うＦＥＤ（Field Emission Display）やＳＥＤ（Surface-conduction Electron-emitter Display）などである。
ただし、本発明では、黒フレームを挿入したり、あるいはバックライトの発光時間を短くすることで、ホールドボケ（動きぼやけ）を改善したＬＣＤ（液晶ディスプレイ）も、インパルス型ディスプレイの範疇とする。
ただし、本発明では、黒フレームを挿入したり、あるいはバックライトの発光時間を短くすることで、ホールドボケ（動きぼやけ）を改善したＬＣＤ（液晶ディスプレイ）も、インパルス型ディスプレイの範疇とする。
（撮像時のボケ）
初めに、撮像時のボケについて説明する。撮像時のボケは撮像素子の撮像時間内で被写体である対象物が動いた場合に発生するものであり、モーションブラー（動きぶれ）ともよばれる。また、対象物が静止していても、撮像装置（ビデオカメラ装置）自体が動いたために、対象物が撮像装置の視野角に対して相対的に動いた場合も同様に、撮像時のボケが発生する。本発明は、後者の撮像装置の動きによる撮像時のボケの良好な改善方法を提供するものである。
撮像時のボケを少なくするためには、撮像素子の電子シャッタの速度を制御し、１フレーム時間より短い撮像時間で対象物を撮像する方法がある。例えば1/1000秒の撮像時間で対象物を撮像した場合、映像信号のそれぞれのフレームはぶれの無いシャープな映像となる。
初めに、撮像時のボケについて説明する。撮像時のボケは撮像素子の撮像時間内で被写体である対象物が動いた場合に発生するものであり、モーションブラー（動きぶれ）ともよばれる。また、対象物が静止していても、撮像装置（ビデオカメラ装置）自体が動いたために、対象物が撮像装置の視野角に対して相対的に動いた場合も同様に、撮像時のボケが発生する。本発明は、後者の撮像装置の動きによる撮像時のボケの良好な改善方法を提供するものである。
撮像時のボケを少なくするためには、撮像素子の電子シャッタの速度を制御し、１フレーム時間より短い撮像時間で対象物を撮像する方法がある。例えば1/1000秒の撮像時間で対象物を撮像した場合、映像信号のそれぞれのフレームはぶれの無いシャープな映像となる。
撮像時のボケ（動きぶれ）は、被写体の輪郭をぼやけさせたり、色や明暗のコントラストを低下させる。そのため、同一対象物を異なる撮像時間（シャッタ速度）で撮像した複数種類の映像について空間周波数成分を比較すると、撮像時間の短い映像信号ほど高周波成分が多く、撮像時間の長い映像信号ほど高周波成分が少なくなる。よって、撮像時間の短い映像信号を「高周波成分の多い映像信号」、撮像時間の長い映像信号を「高周波成分の少ない映像信号」とよぶことができる。また、時間軸方向の画素値（又は輝度又は色）の変化に着目した場合は、撮像時間の短い映像信号を「時間応答性の良い映像信号」、撮像時間の長い映像信号を「時間応答性の悪い映像信号」とよぶこともできる。また、映像中の対象物の動きぶれの有無に着目した場合は、撮像時間の短い映像信号を「対象物のぶれを含まない映像信号」、撮像時間の長い映像信号を「対象物のぶれを含む映像信号」とよぶこともできる。
（撮像装置の動きと撮像時のボケ）
次に撮像装置自体の動きと撮像時のボケについて説明する。
図５（ａ）は撮像装置自体の動きを説明するための、撮像装置の座標と被写体である対象物を模式的に示した図である。図５（ａ）において９０は被写体、１００は撮像装置の座標の軸を示している。
撮像時の撮像装置の動きは、図５（ａ）に示すＸ、Ｙ、Ｚ方向の平行な動き、Ｘ、Ｙ、Ｚ軸を回転軸とした回転方向の動きがある。ここでは、撮像装置の光軸方向にＺ軸をとり、Ｚ軸に垂直な面内において撮像装置の垂直方向にＹ軸、水平方向にＸ軸をとる。
次に撮像装置自体の動きと撮像時のボケについて説明する。
図５（ａ）は撮像装置自体の動きを説明するための、撮像装置の座標と被写体である対象物を模式的に示した図である。図５（ａ）において９０は被写体、１００は撮像装置の座標の軸を示している。
撮像時の撮像装置の動きは、図５（ａ）に示すＸ、Ｙ、Ｚ方向の平行な動き、Ｘ、Ｙ、Ｚ軸を回転軸とした回転方向の動きがある。ここでは、撮像装置の光軸方向にＺ軸をとり、Ｚ軸に垂直な面内において撮像装置の垂直方向にＹ軸、水平方向にＸ軸をとる。
撮像装置がＸ方向に平行移動するか、Ｙ軸まわりに回転移動すると、対象物がＸ方向に
移動する映像が得られ、撮像装置がＹ方向に平行移動するか、Ｘ軸まわりに回転移動すると、対象物がＹ方向に移動する映像が得られる。ただし、対象物の移動方向は撮像装置の移動方向と逆になる。
撮像装置がＺ方向に平行移動すると、対象物からピントが外れたり、対象物の映像中の大きさが変化するような映像が得られる。また撮像装置がＺ軸まわりに回転すると、対象物がＺ軸まわり逆方向に回転移動する映像が得られる。
したがって、撮像素子の撮像時間が長い場合、映像中の対象物には撮像装置の動きと逆方向の動きボケ（ぶれ）が発生する。
移動する映像が得られ、撮像装置がＹ方向に平行移動するか、Ｘ軸まわりに回転移動すると、対象物がＹ方向に移動する映像が得られる。ただし、対象物の移動方向は撮像装置の移動方向と逆になる。
撮像装置がＺ方向に平行移動すると、対象物からピントが外れたり、対象物の映像中の大きさが変化するような映像が得られる。また撮像装置がＺ軸まわりに回転すると、対象物がＺ軸まわり逆方向に回転移動する映像が得られる。
したがって、撮像素子の撮像時間が長い場合、映像中の対象物には撮像装置の動きと逆方向の動きボケ（ぶれ）が発生する。
図５（ｂ）、（ｃ）に、撮像装置をＹ軸まわりに回転して撮像した映像信号の例を模式的に示す。図５（ｂ）は撮像時間の短い映像信号の例であり、１０１は１フレームの画像であり、９０ａは、対象物を示している。撮像時間が短い場合は、対象物９０ａのボケがほとんど無い。図５（ｃ）は撮像時間の長い映像信号の例であり、１０１は１フレームの画像であり、９０ｂは、対象物を示している。撮像時間が長い場合は、撮像装置の動きに起因して、対象物９０ｂにＹ方向のボケ（ぶれ）が発生している。
（ホールドボケ）
次に、ホールドボケについて説明する。ホールドボケは、画面上の動く対象物を追従視した場合に発生する。追従視とは、対象物の動きに対して視線を追従させながら、動く対象物を観測することをいう。前述した撮像時のボケは映像信号に含まれているものであったのに対し、ホールドボケは観察者の視覚的な作用により発生するものである。
ここで、動く対象物とは、映像中（画面上）の位置が変化している対象物のことをいい、対象物が現実に動いているか否かは無関係である。前述のように、対象物が静止している場合でも、撮像装置が動くことで対象物と撮像装置の視野が相対移動すれば、動く対象物の映像が得られる。
次に、ホールドボケについて説明する。ホールドボケは、画面上の動く対象物を追従視した場合に発生する。追従視とは、対象物の動きに対して視線を追従させながら、動く対象物を観測することをいう。前述した撮像時のボケは映像信号に含まれているものであったのに対し、ホールドボケは観察者の視覚的な作用により発生するものである。
ここで、動く対象物とは、映像中（画面上）の位置が変化している対象物のことをいい、対象物が現実に動いているか否かは無関係である。前述のように、対象物が静止している場合でも、撮像装置が動くことで対象物と撮像装置の視野が相対移動すれば、動く対象物の映像が得られる。
ＣＲＴ、線順次駆動のＦＥＤやＳＥＤ（Surface-conduction Electron-emitter Display）を初めとするインパルス型ディスプレイでは、各フレーム（又はフィールド）におけ
る表示時間（発光時間）が非常に短い。そのため、動く対象物を追従視した場合でもボケは発生しない。
これに対し、ＬＣＤを初めとするホールド型ディスプレイでは、１フレームのあいだ発光強度が保持されるため、動く対象物を追従視した場合に、対象物が移動方向に広がって網膜上に結像される。これがホールドボケとなって観測される。ホールドボケは、動く対象物を追従視した場合、ホールド型ディスプレイでは必ず発生する。このホールドボケを回避するためには、ホールド型ディスプレイで動く対象物を表示する際、バックライトの発光時間を短く制御して、インパルス型ディスプレイのように表示することが好ましい。最近では、ＬＣＤのバックライトの発光時間を短くする技術や、映像フレーム間に黒フレームを挿入する技術により、ＬＣＤもインパルス型ディスプレイの特性に近づいている。このような制御を行っているＬＣＤに対しても、本発明の映像処理方法は有効である。本明細書では、このようなＬＣＤもインパルス型ディスプレイの範疇として考える。
る表示時間（発光時間）が非常に短い。そのため、動く対象物を追従視した場合でもボケは発生しない。
これに対し、ＬＣＤを初めとするホールド型ディスプレイでは、１フレームのあいだ発光強度が保持されるため、動く対象物を追従視した場合に、対象物が移動方向に広がって網膜上に結像される。これがホールドボケとなって観測される。ホールドボケは、動く対象物を追従視した場合、ホールド型ディスプレイでは必ず発生する。このホールドボケを回避するためには、ホールド型ディスプレイで動く対象物を表示する際、バックライトの発光時間を短く制御して、インパルス型ディスプレイのように表示することが好ましい。最近では、ＬＣＤのバックライトの発光時間を短くする技術や、映像フレーム間に黒フレームを挿入する技術により、ＬＣＤもインパルス型ディスプレイの特性に近づいている。このような制御を行っているＬＣＤに対しても、本発明の映像処理方法は有効である。本明細書では、このようなＬＣＤもインパルス型ディスプレイの範疇として考える。
（インパルス型ディスプレイでの妨害感）
次に、インパルス型ディスプレイで表示を行った場合の妨害感について説明する。
前述したように、インパルス型ディスプレイでは、ホールドボケという妨害感は発生しない。しかし、インパルス型ディスプレイでは、撮像時のボケの無い映像を表示した場合、ある条件で妨害感が発生する。
すなわち、撮像時のボケの無い対象物をインパルス型ディスプレイで観測すると、追従視できる対象物はホールドボケが発生することなくはっきり見ることができる。一方、追従視の困難な動きの対象物の場合は、観測者の視線の動きと映像上の対象物の動きとがずれてしまい、網膜上の位置がずれてしまう。
実際このような運動を行う対象物の映像をインパルス型ディスプレイに表示すると、観測者は対象物の動きの連続性を視覚的に感じられなくなり、対象物がランダムな位置に現れては消えるような不自然な表示に見える。この妨害感は、撮像時のボケより不自然であり違和感が大きい。
追従視が困難な映像の例としては、例えば、撮影者が撮像装置を手で持ち、歩いたり走ったりしながら撮像した映像があげられる。この場合、撮像装置に対して、撮影者の意図した動きの他に、細かな振動やランダムな動きが加わる。この撮像装置自体の振動やランダムな動きは、映像の画面全体の（逆方向の）振動やランダムな動きとなってあらわれる。このような動きは追従視が困難なため、観測者はフレームごとの連続性を感じることができず、ランダム感と呼ばれる妨害感が発生する。
次に、インパルス型ディスプレイで表示を行った場合の妨害感について説明する。
前述したように、インパルス型ディスプレイでは、ホールドボケという妨害感は発生しない。しかし、インパルス型ディスプレイでは、撮像時のボケの無い映像を表示した場合、ある条件で妨害感が発生する。
すなわち、撮像時のボケの無い対象物をインパルス型ディスプレイで観測すると、追従視できる対象物はホールドボケが発生することなくはっきり見ることができる。一方、追従視の困難な動きの対象物の場合は、観測者の視線の動きと映像上の対象物の動きとがずれてしまい、網膜上の位置がずれてしまう。
実際このような運動を行う対象物の映像をインパルス型ディスプレイに表示すると、観測者は対象物の動きの連続性を視覚的に感じられなくなり、対象物がランダムな位置に現れては消えるような不自然な表示に見える。この妨害感は、撮像時のボケより不自然であり違和感が大きい。
追従視が困難な映像の例としては、例えば、撮影者が撮像装置を手で持ち、歩いたり走ったりしながら撮像した映像があげられる。この場合、撮像装置に対して、撮影者の意図した動きの他に、細かな振動やランダムな動きが加わる。この撮像装置自体の振動やランダムな動きは、映像の画面全体の（逆方向の）振動やランダムな動きとなってあらわれる。このような動きは追従視が困難なため、観測者はフレームごとの連続性を感じることができず、ランダム感と呼ばれる妨害感が発生する。
本発明者の検討により、撮像装置にランダムな動きが加わった場合に、撮像時間を長く設定し、わざと撮像時のボケを加えて撮像することによってランダム感を除去できることが分かった。また、電子シャッタを用いて短い撮像時間で撮影した映像信号に対して、撮像時のボケに相当するボケを信号処理により加えることによっても、同じようにランダム感を低減できることも見出した。なお、撮像時のボケは対象物の移動方向に沿って現れるため、ランダム感に比べて不自然さは少ない。
（撮像装置の動きと撮像された対象物の動き）
撮像装置の動きと、それによる撮像された対象物の動きを説明する。
前述したように、撮像装置の動きに対して撮像した対象物の動きは逆方向となる。
撮像装置の動きと、それによる撮像された対象物の動きを説明する。
前述したように、撮像装置の動きに対して撮像した対象物の動きは逆方向となる。
初めに、撮像装置のＸ方向の平行な動きについて説明する。撮像装置のＸ方向の平行な動きにより、映像上の対象物はＸ方向逆向きに動く。Ｙ方向についても同様に考えればよい。
図６（ａ）は、撮像装置のＸ方向の平行移動を示している。図６（ａ）において、１１０は撮像装置のＸ方向を示す直線、１１１は対象物が置かれている平面であり、撮像装置のＺ方向に垂直な平面である。撮像装置と対象物は距離Ｓ離れている。
１１２ａはある時刻の撮像装置の画角を示す点線、１１２ｂは例えば１フレーム時間経過後の撮像装置の画角を示す一点鎖線であり、画角はいずれもθである。またこの時の撮像装置のＸ方向の速度をｖｘとする。この速度ｖｘは、例えば１フレーム時間に撮像装置がＸ方向に進んだ距離で定義する。
この時、撮像された対象物の速度Ｖｘは、Ｘ方向の表示画面の長さを１と正規化して考えると、
Vx=-vx/[2・S・tan(θ/2)] ・・・・式１）
となる。
同様に、撮像装置のＸ方向の加速度については、撮像装置の加速度（１フレームあたりの速度の変化）を、ａｘとすると、撮像された対象物の加速度Ａｘは、Ｘ方向の表示画面の長さを１と正規化して考えると、
Ax=-ax/[2・S・tan(θ/2)] ・・・・式２）
となる。
図６（ａ）は、撮像装置のＸ方向の平行移動を示している。図６（ａ）において、１１０は撮像装置のＸ方向を示す直線、１１１は対象物が置かれている平面であり、撮像装置のＺ方向に垂直な平面である。撮像装置と対象物は距離Ｓ離れている。
１１２ａはある時刻の撮像装置の画角を示す点線、１１２ｂは例えば１フレーム時間経過後の撮像装置の画角を示す一点鎖線であり、画角はいずれもθである。またこの時の撮像装置のＸ方向の速度をｖｘとする。この速度ｖｘは、例えば１フレーム時間に撮像装置がＸ方向に進んだ距離で定義する。
この時、撮像された対象物の速度Ｖｘは、Ｘ方向の表示画面の長さを１と正規化して考えると、
Vx=-vx/[2・S・tan(θ/2)] ・・・・式１）
となる。
同様に、撮像装置のＸ方向の加速度については、撮像装置の加速度（１フレームあたりの速度の変化）を、ａｘとすると、撮像された対象物の加速度Ａｘは、Ｘ方向の表示画面の長さを１と正規化して考えると、
Ax=-ax/[2・S・tan(θ/2)] ・・・・式２）
となる。
次に、撮像装置のＹ軸まわりの角速度と、撮像した対象物のＸ方向の速度の関係を図６（ｂ）を用いて説明する。Ｘ軸まわりの回転についても同様に考えればよい。
図６（ｂ）において、１１０は撮像装置のＸ方向を示す直線、１１１は対象物が置かれている平面であり、撮像装置のＺ方向に垂直な平面である。撮像装置と対象物は距離Ｓ離れている。
１１３ａはある時刻の撮像装置の画角を示す点線、１１３ｂは例えば１フレーム時間経過後の撮像装置の画角を示す一点鎖線であり、画角はいずれもθである。またこの時のＹ軸まわりの角速度を、ｖωｘとする。この角速度ｖωｘは１フレーム時間に撮像装置がＹ
軸を回転軸として回転した角度で考える。
この時、撮像された対象物の速度Ｖωｘは、Ｘ方向の表示画面の長さを１と正規化して考えると、
Vωx＝-vωx/θ ・・・・式３）
となる。
同様に、撮像装置のＹ軸まわりの角加速度と、撮像した対象物の加速度の関係について考える。Ｙ軸まわりの角加速度を、ａωｘとすると、撮像された対象物の加速度Ａωｘは、Ｘ方向の表示画面の長さを１と正規化して考えると、
Aωx=-aωx/θ ・・・・式４）
となる。
図６（ｂ）において、１１０は撮像装置のＸ方向を示す直線、１１１は対象物が置かれている平面であり、撮像装置のＺ方向に垂直な平面である。撮像装置と対象物は距離Ｓ離れている。
１１３ａはある時刻の撮像装置の画角を示す点線、１１３ｂは例えば１フレーム時間経過後の撮像装置の画角を示す一点鎖線であり、画角はいずれもθである。またこの時のＹ軸まわりの角速度を、ｖωｘとする。この角速度ｖωｘは１フレーム時間に撮像装置がＹ
軸を回転軸として回転した角度で考える。
この時、撮像された対象物の速度Ｖωｘは、Ｘ方向の表示画面の長さを１と正規化して考えると、
Vωx＝-vωx/θ ・・・・式３）
となる。
同様に、撮像装置のＹ軸まわりの角加速度と、撮像した対象物の加速度の関係について考える。Ｙ軸まわりの角加速度を、ａωｘとすると、撮像された対象物の加速度Ａωｘは、Ｘ方向の表示画面の長さを１と正規化して考えると、
Aωx=-aωx/θ ・・・・式４）
となる。
以上、説明したように、撮像装置のＸ、Ｙ方向の平行な動き（速度、加速度）や、Ｘ、Ｙ軸まわりの回転方向の動き（角速度、角加速度）は、撮像された対象物のＸ、Ｙ方向の平行な動き（速度、加速度）と比例することがわかる。
撮像装置がＺ方向に平行移動すると、対象物からピントが外れたり、対象物の大きさが変化する。撮像装置がＺ軸まわりに回転すると、対象物が撮像装置の回転方向と逆向きに回転する。これらの動きは一般に追従視が困難であるため、これらの動きの質（等速度、等加速度）の評価を行うまでも無く、これらの動きの有無（または大きさ）により、追従視できないと判断すると良い。
一般に、距離Ｓが大きい場合、撮像装置のＸ、Ｙ方向の平行な動きに対して、撮像した対象物の動きは小さなものになる。そのため後述する撮像装置のＸ、Ｙ方向の平行な動きは、評価しなくとも画質の影響が少ない。
また、撮像装置のＺ方向の平行な動きについては、撮影者が動かせる距離に対して距離Ｓがはるかに大きい場合が一般的であるため、ピントのずれや対象物の大きさの変化は非常に小さい。よって、Ｚ方向の平行な動きは、評価しなくとも画質の影響が少ない。
そのため、処理を単純化する場合、撮像装置のＸ、Ｙ、Ｚ方向の平行な動きについては評価を行わなくても良い。言い換えれば、Ｘ、Ｙ、Ｚ方向の平行な動きの評価が必要な場合は、距離Ｓが小さい対象物を撮像する場合、すなわち、マクロレンズを用いた撮像装置で撮像する場合である。
また、撮像装置のＺ方向の平行な動きについては、撮影者が動かせる距離に対して距離Ｓがはるかに大きい場合が一般的であるため、ピントのずれや対象物の大きさの変化は非常に小さい。よって、Ｚ方向の平行な動きは、評価しなくとも画質の影響が少ない。
そのため、処理を単純化する場合、撮像装置のＸ、Ｙ、Ｚ方向の平行な動きについては評価を行わなくても良い。言い換えれば、Ｘ、Ｙ、Ｚ方向の平行な動きの評価が必要な場合は、距離Ｓが小さい対象物を撮像する場合、すなわち、マクロレンズを用いた撮像装置で撮像する場合である。
＜第１の実施形態＞
本発明の第１の実施形態は、撮像装置の動きの質（等速度、等加速度）を評価し、その評価結果すなわち追従視のしやすさに応じて、出力映像信号の撮像時間の長さを変化させる。具体的には、撮像時間の短い第１の映像信号（対象物のぶれを含まない映像信号）と撮像時間の長い第２の映像信号（対象物のぶれを含む映像信号）を適宜切り換え又は合成して、出力映像信号を生成する。このような出力映像信号をディスプレイに出力することにより、追従視の容易な対象物についてはボケ（ぶれ）の無いシャープな画質を実現し、追従視の困難な対象物についてはランダム感を抑えた自然な画質を実現する。
なお、以下の説明において、「追従視の容易な／困難な撮像装置の動き」という簡略化した表現を用いるが、これは、「撮像装置の動きに起因する映像中の対象物の動きが追従視の容易な／困難な動きとなる、撮像装置の動き」を意味する。
本発明の第１の実施形態は、撮像装置の動きの質（等速度、等加速度）を評価し、その評価結果すなわち追従視のしやすさに応じて、出力映像信号の撮像時間の長さを変化させる。具体的には、撮像時間の短い第１の映像信号（対象物のぶれを含まない映像信号）と撮像時間の長い第２の映像信号（対象物のぶれを含む映像信号）を適宜切り換え又は合成して、出力映像信号を生成する。このような出力映像信号をディスプレイに出力することにより、追従視の容易な対象物についてはボケ（ぶれ）の無いシャープな画質を実現し、追従視の困難な対象物についてはランダム感を抑えた自然な画質を実現する。
なお、以下の説明において、「追従視の容易な／困難な撮像装置の動き」という簡略化した表現を用いるが、これは、「撮像装置の動きに起因する映像中の対象物の動きが追従視の容易な／困難な動きとなる、撮像装置の動き」を意味する。
（追従視可能な条件）
第１の実施形態の説明の前に、表示装置で表示した対象物に対する追従視可能な条件を説明する。そして、前述した対象物の動きと撮像装置の動きの関係式により、追従視可能な撮像装置の動きの質（速度、角速度、加速度、角加速度）の条件を示す。
本発明者が、追従視できる対象物の動きを観察したところ、テロップの様な等速度で移動している対象物、あるいは、等加速度で移動する対象物については人間の目が良好に追
従できることがわかった。
このことから、等速度あるいは等加速度運動する対象物であれば、撮像時間の短い映像信号（時間応答性の良い映像信号）を出力し、撮像時のボケの無い映像を表示する。それによって、追従視できる対象物のボケ（ぶれ）を防止する。その他の対象物の動きについては追従視が難しいので、ランダム感が発生しないように、撮像時間が長い映像信号に切り換えるか、撮像時間が短い映像信号と長い映像信号を合成し、撮像時のボケ（ぶれ）を含む映像を表示する。前述したように撮像時のボケ（動きぶれ）はランダム感に比べ不自然さが小さいことから、映像全体の総合的な表示品質は向上する。
第１の実施形態の説明の前に、表示装置で表示した対象物に対する追従視可能な条件を説明する。そして、前述した対象物の動きと撮像装置の動きの関係式により、追従視可能な撮像装置の動きの質（速度、角速度、加速度、角加速度）の条件を示す。
本発明者が、追従視できる対象物の動きを観察したところ、テロップの様な等速度で移動している対象物、あるいは、等加速度で移動する対象物については人間の目が良好に追
従できることがわかった。
このことから、等速度あるいは等加速度運動する対象物であれば、撮像時間の短い映像信号（時間応答性の良い映像信号）を出力し、撮像時のボケの無い映像を表示する。それによって、追従視できる対象物のボケ（ぶれ）を防止する。その他の対象物の動きについては追従視が難しいので、ランダム感が発生しないように、撮像時間が長い映像信号に切り換えるか、撮像時間が短い映像信号と長い映像信号を合成し、撮像時のボケ（ぶれ）を含む映像を表示する。前述したように撮像時のボケ（動きぶれ）はランダム感に比べ不自然さが小さいことから、映像全体の総合的な表示品質は向上する。
（等速度の評価）
初めに、撮像された対象物の等速度の評価を行う例について記す。
図７（ａ）に等速度運動の評価を説明するためのグラフを示す。図７（ａ）において、縦軸は時刻、横軸はＸ方向を示す。Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１はフレーム毎の時刻を示している。横軸はＸ方向として説明するが、Ｘ，Ｙ軸の両方で判断すると好適である。図７（ａ）において４０１ａ、４０１ｂ、４０１ｃ、４０１ｄはそれぞれ時刻Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１の時の追従視している視線を模式的に示す。４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは動く対象物であり、おおよそ等速度運動をしている。観測者はフレーム毎に視線を対象物の動きに合わすことはできず、対象物の平均的な動きに追従し等速度に視線を移動させる。すなわち、対象物４０２ｃの様な等速度から外れた対象物については、視線４０１ｃとのずれ（ΔＸ）が発生する。このずれは網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
初めに、撮像された対象物の等速度の評価を行う例について記す。
図７（ａ）に等速度運動の評価を説明するためのグラフを示す。図７（ａ）において、縦軸は時刻、横軸はＸ方向を示す。Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１はフレーム毎の時刻を示している。横軸はＸ方向として説明するが、Ｘ，Ｙ軸の両方で判断すると好適である。図７（ａ）において４０１ａ、４０１ｂ、４０１ｃ、４０１ｄはそれぞれ時刻Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１の時の追従視している視線を模式的に示す。４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは動く対象物であり、おおよそ等速度運動をしている。観測者はフレーム毎に視線を対象物の動きに合わすことはできず、対象物の平均的な動きに追従し等速度に視線を移動させる。すなわち、対象物４０２ｃの様な等速度から外れた対象物については、視線４０１ｃとのずれ（ΔＸ）が発生する。このずれは網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
このボケの出具合、すなわち等速度で追従視する視線に対して対象物がどの程度ずれているかの比を「ずれ係数：Ｋ」として、本明細書では定義する。このずれ係数Ｋが小さな値であればランダム感は発生しにくいため、撮像時間が短い映像信号を良好な表示品質でインパルス型ディスプレイに表示できる。
ｍ番目のフレームにおける対象物の速度をＶｍ、観測者の視線の速度をＶａｖｅとすると、現時刻であるｎ番目のフレームにおけるずれ係数Ｋを、
と定義する。
ずれ係数Ｋは図７（ａ）に示したように、対象物の位置と視線の位置の差（ΔＸ）を１フレームあたりの視線の移動距離（Ｖａｖｅ）で割った値で定義する。
ずれ係数Ｋは図７（ａ）に示したように、対象物の位置と視線の位置の差（ΔＸ）を１フレームあたりの視線の移動距離（Ｖａｖｅ）で割った値で定義する。
ずれ係数Ｋが例えば０であれば、視線の位置と対象物の位置がずれていないので、撮像時間が短い映像信号を表示し、追従視できる対象物のボケを防止する。この場合、ランダム感のような妨害感は生じない。一方、ずれ係数Ｋが０．５以上になると、追従視した時に１フレーム期間に動く距離の半分の距離、対象物がずれていることなり、ランダム感が顕著になり始める。
そのため、ずれ係数Ｋの値が大きくなるのに応じて、撮像時間が短い映像信号Ｖ１から撮像時間が長い映像信号Ｖ２に切り換えるか、あるいは、映像信号Ｖ１に対する映像信号Ｖ２の合成率（重み）を増加させることで、意図的に対象物に撮像時のボケを加える。それによって、追従視の困難な映像信号におけるランダム感の発生を抑制する。
そのため、ずれ係数Ｋの値が大きくなるのに応じて、撮像時間が短い映像信号Ｖ１から撮像時間が長い映像信号Ｖ２に切り換えるか、あるいは、映像信号Ｖ１に対する映像信号Ｖ２の合成率（重み）を増加させることで、意図的に対象物に撮像時のボケを加える。それによって、追従視の困難な映像信号におけるランダム感の発生を抑制する。
ずれ係数Ｋの定義式をより簡略化するために、以下の様な式の変形を行い、ずれ係数を求めても好適である。すなわち式５）は、
と、変形できる。現時刻nより前までは追従視できている（すなわち、視線の位置と対象
物の位置がずれていない）と仮定する。式で示すと、
となる。
式６）に式７）を代入し
K=|Vn-Vave|/|Vave| ・・・・式８）
が求まる。
式５）あるいは、式８）により、ずれ係数Ｋを求め、追従視可能かを判断すると好適である。
物の位置がずれていない）と仮定する。式で示すと、
式６）に式７）を代入し
K=|Vn-Vave|/|Vave| ・・・・式８）
が求まる。
式５）あるいは、式８）により、ずれ係数Ｋを求め、追従視可能かを判断すると好適である。
次に、ずれ係数Ｋを撮像装置の速度ｖｘ、角速度ｖωｘから求める。Ｙ方向についても同様に導出できるのは言うまでも無い。
初めに、撮像装置の速度とずれ係数Ｋの関係を示す。ｍ番目のフレームにおける撮像装置の速度をｖｘｍとすると、式１）を式５）、式８）に代入し、
となる。
ここで、ｖｘａｖｅは撮像装置のＸ方向の速度の平均を示す。
初めに、撮像装置の速度とずれ係数Ｋの関係を示す。ｍ番目のフレームにおける撮像装置の速度をｖｘｍとすると、式１）を式５）、式８）に代入し、
ここで、ｖｘａｖｅは撮像装置のＸ方向の速度の平均を示す。
次に、撮像装置の角速度とずれ係数Ｋの関係を示す。ｍ番目のフレームにおける撮像装置の角速度ｖωｘｍとすると、式３）を式５）、式８）に代入し、
となる。
ここで、ｖωｘａｖｅは撮像装置のＹ軸まわりの角速度の平均を示す。
以上の式９）〜式１２）によって、撮像装置の動き（速度、角速度）からずれ係数Ｋを導出できる。
ここで、ｖωｘａｖｅは撮像装置のＹ軸まわりの角速度の平均を示す。
以上の式９）〜式１２）によって、撮像装置の動き（速度、角速度）からずれ係数Ｋを導出できる。
次に、撮像装置のＸ方向の速度の平均ｖｘａｖｅ、撮像装置のＹ軸まわりの角速度の平均ｖωｘａｖｅの導出方法を説明する。
速度の平均ｖｘａｖｅ、角速度の平均ｖωｘａｖｅは現時刻ｎより以前の速度、角速度の平均値であるから、
と、求めることができる。
式１３）、式１４）の開始時刻は、例えば、シーンが変わったときを基点として、過去から計算すればよい。
速度の平均ｖｘａｖｅ、角速度の平均ｖωｘａｖｅは現時刻ｎより以前の速度、角速度の平均値であるから、
式１３）、式１４）の開始時刻は、例えば、シーンが変わったときを基点として、過去から計算すればよい。
撮像装置が静止している場合はｖｘａｖｅ、ｖωｘａｖｅが０となり、式１１）、式１２）の分母が０となる。撮像装置が静止しているときは追従視可能であると推定できるので、この場合は、式１１）、式１２）の計算は行わず、Ｋの値として小さな値（例えばＫ＝０）を出力する。
これらの計算は、1フレーム毎に計算を行えばよいので、マイクロコントローラ等のソ
フトウエアで処理することが可能である。
これらの計算は、1フレーム毎に計算を行えばよいので、マイクロコントローラ等のソ
フトウエアで処理することが可能である。
一方、速度の平均ｖｘａｖｅ、角速度の平均ｖωｘａｖｅは、より過去の重みを少なくした平均である式１５）〜式１８）で示した巡回型のフィルタで計算できる。この計算は、簡便であるばかりでなく、実際の観測者の追従とよく合致する。
時刻ｎ番目のフレームの時の速度の平均をｖｘａｖｅｎ、角速度の平均をｖωｘａｖｅｎとすると、ｖｘａｖｅｎを求める式は、
vxaven=S1・vxn-1+S2・vxaven-1 ・・・・式１５）
ただし、
S1+S2=1 ・・・・式１６）
となり、
ｖωｘａｖｅｎを求める式は、
vωxaven=S1・vωxn-1+S2・vωxaven-1 ・・・式１７）
ただし、
S1+S2=1 ・・・・式１８）
となる。
Ｓ１、Ｓ２により、１フレーム前の視線の速度と１フレーム前の撮像装置の速度の重みを変えることができる。通常、Ｓ２がＳ１より大きくなるように、Ｓ１とＳ２を設定すると良い。
時刻ｎ番目のフレームの時の速度の平均をｖｘａｖｅｎ、角速度の平均をｖωｘａｖｅｎとすると、ｖｘａｖｅｎを求める式は、
vxaven=S1・vxn-1+S2・vxaven-1 ・・・・式１５）
ただし、
S1+S2=1 ・・・・式１６）
となり、
ｖωｘａｖｅｎを求める式は、
vωxaven=S1・vωxn-1+S2・vωxaven-1 ・・・式１７）
ただし、
S1+S2=1 ・・・・式１８）
となる。
Ｓ１、Ｓ２により、１フレーム前の視線の速度と１フレーム前の撮像装置の速度の重みを変えることができる。通常、Ｓ２がＳ１より大きくなるように、Ｓ１とＳ２を設定すると良い。
さらに、速度の平均ｖｘａｖｅ、角速度の平均ｖωｘａｖｅをより容易に求めるために、現時刻の直前の複数フレームの速度ｖｘの平均、角速度ｖωｘの平均を用いても良い。より簡便化する場合は、直前の１フレーム（１フレーム前の）の速度ｖｘ、角速度ｖωｘをそのまま平均として用いても良い。この計算方法はより簡便であり、計算は誤差が多少大きくなるが計算量を少なくできるという大きな利点がある。
（等加速度の評価）
次に、撮像された対象物の等加速度の評価を行う例について記す。
図７（ｂ）に等加速度運動の評価を説明するためのグラフを示す。
図７（ｂ）において、縦軸は時刻、横軸はＸ方向の速度を示す。Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１はフレーム毎の時刻を示している。横軸はＸ方向の速度として説明するが、Ｘ，Ｙ軸の両方の速度で判断すると好適である。図７（ｂ）において４０１ａ、４０１ｂ、４０１ｃ、４０１ｄはそれぞれ時刻Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１の時の追従視している視線を模式的に示す。４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは動く対象物であり、おおよそ等加速度運動をしている。観測者はフレーム毎に視線を対象物の動きに
合わすことはできず、対象物の平均的な動きに追従し等加速度で視線を移動させる。すなわち、対象物４０２ｃの様な等加速度から外れた対象物については、視線４０１ｃとの速度のずれ（ΔＶ）が発生する。この速度のずれ（ΔＶ）は網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
次に、撮像された対象物の等加速度の評価を行う例について記す。
図７（ｂ）に等加速度運動の評価を説明するためのグラフを示す。
図７（ｂ）において、縦軸は時刻、横軸はＸ方向の速度を示す。Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１はフレーム毎の時刻を示している。横軸はＸ方向の速度として説明するが、Ｘ，Ｙ軸の両方の速度で判断すると好適である。図７（ｂ）において４０１ａ、４０１ｂ、４０１ｃ、４０１ｄはそれぞれ時刻Ｔｎ−２、Ｔｎ−１、Ｔｎ、Ｔｎ＋１の時の追従視している視線を模式的に示す。４０２ａ、４０２ｂ、４０２ｃ、４０２ｄは動く対象物であり、おおよそ等加速度運動をしている。観測者はフレーム毎に視線を対象物の動きに
合わすことはできず、対象物の平均的な動きに追従し等加速度で視線を移動させる。すなわち、対象物４０２ｃの様な等加速度から外れた対象物については、視線４０１ｃとの速度のずれ（ΔＶ）が発生する。この速度のずれ（ΔＶ）は網膜上でボケとなる。このボケに起因して、インパルス型ディスプレイにおけるランダム感が発生する。
このボケの出具合、すなわち等加速度で追従視する視線に対して対象物の加速度がどの程度ずれているかの比を「ずれ係数：Ｌ」として、本明細書では定義する。このずれ係数Ｌが小さな値であればランダム感は発生しにくいため、撮像時間が短い映像信号を良好な表示品質でインパルス型ディスプレイに表示できる。
Ａｎをｎ番目のフレームにおける対象物の加速度、Ａａｖｅを対象物の平均加速度（すなわち観測者が追従視する平均加速度）とすると、ずれ係数Ｌを以下のように定義する。
L=|An-Aave|/|Aave| ・・・・式１９）
すなわち、ずれ係数Ｌは、現時刻における対象物の加速度と観測者の視線の平均加速度の差を、観察者の視線の平均加速度で割った値である。この比が０であれば、観測者の視線と対象物の動きが同じであるので、撮像時間が短い映像信号を表示し、追従視できる対象物のボケを防止する。この場合、ランダム感のような妨害感は生じない。一方、ずれ係数Ｌが０．５以上になると、追従視した時に１フレーム期間に変化する速度の半分の速度に当たる距離、対象物がずれていることなり、ランダム感が顕著になり始める。
そのため、ずれ係数Ｌの値が大きくなるのに応じて、撮像時間が短い映像信号Ｖ１から撮像時間が長い映像信号Ｖ２に切り換えるか、あるいは、映像信号Ｖ１に対する映像信号Ｖ２の合成率（重み）を増加させることで、意図的に対象物に撮像時のボケを加える。それによって、追従視の困難な映像信号におけるランダム感の発生を抑制する。
L=|An-Aave|/|Aave| ・・・・式１９）
すなわち、ずれ係数Ｌは、現時刻における対象物の加速度と観測者の視線の平均加速度の差を、観察者の視線の平均加速度で割った値である。この比が０であれば、観測者の視線と対象物の動きが同じであるので、撮像時間が短い映像信号を表示し、追従視できる対象物のボケを防止する。この場合、ランダム感のような妨害感は生じない。一方、ずれ係数Ｌが０．５以上になると、追従視した時に１フレーム期間に変化する速度の半分の速度に当たる距離、対象物がずれていることなり、ランダム感が顕著になり始める。
そのため、ずれ係数Ｌの値が大きくなるのに応じて、撮像時間が短い映像信号Ｖ１から撮像時間が長い映像信号Ｖ２に切り換えるか、あるいは、映像信号Ｖ１に対する映像信号Ｖ２の合成率（重み）を増加させることで、意図的に対象物に撮像時のボケを加える。それによって、追従視の困難な映像信号におけるランダム感の発生を抑制する。
次に、ずれ係数Ｌを撮像装置の加速度ａｘ、角加速度ａωｘから求める方法について説明する。Ｙ方向についても同様に導出できるのは言うまでも無い。
初めに、撮像装置の加速度とずれ係数Ｌの関係を示す。ｍ番目のフレームにおける撮像装置の加速度をａｘｍとすると、式２）を式１９）に代入し、
L=|axn-axave|/|axave| ・・・・式２０）
となる。
ここで、ａｘａｖｅは撮像装置のＸ方向の加速度の平均を示す。
次に、撮像装置の角加速度とずれ係数Ｌの関係を示す。ｍ番目のフレームにおける撮像装置の角加速度ａωｘｍとすると、式４）を式１９）に代入し
L=|aωxn-aωxave|/|aωxave| ・・・・式２１）
となる。
ここで、ａωｘａｖｅは撮像装置のＹ軸まわりの角加速度の平均を示す。
初めに、撮像装置の加速度とずれ係数Ｌの関係を示す。ｍ番目のフレームにおける撮像装置の加速度をａｘｍとすると、式２）を式１９）に代入し、
L=|axn-axave|/|axave| ・・・・式２０）
となる。
ここで、ａｘａｖｅは撮像装置のＸ方向の加速度の平均を示す。
次に、撮像装置の角加速度とずれ係数Ｌの関係を示す。ｍ番目のフレームにおける撮像装置の角加速度ａωｘｍとすると、式４）を式１９）に代入し
L=|aωxn-aωxave|/|aωxave| ・・・・式２１）
となる。
ここで、ａωｘａｖｅは撮像装置のＹ軸まわりの角加速度の平均を示す。
次に、撮像装置のＸ方向の加速度の平均ａｘａｖｅ、撮像装置のＹ軸まわりの角加速度の平均ａωｘａｖｅの導出方法を説明する。
加速度の平均ａｘａｖｅ、角加速度の平均ａωｘａｖｅは現時刻ｎより以前の加速度、角加速度の平均値であるから、
と、求めることができる。
式２２）、式２３）の開始時刻は、例えば、シーンが変わったときを基点として、過去
から計算すればよい。
加速度の平均ａｘａｖｅ、角加速度の平均ａωｘａｖｅは現時刻ｎより以前の加速度、角加速度の平均値であるから、
式２２）、式２３）の開始時刻は、例えば、シーンが変わったときを基点として、過去
から計算すればよい。
撮像装置が等速運動（等角速度運動）している場合はａｘａｖｅ、ａωｘａｖｅが０となり、式２２）、式２３）の分母が０となる。撮像装置が等速運動や等角速度運動しているときは追従視可能であると推定できるので、この場合は、式２２）、式２３）の計算は行わず、Ｌの値として小さな値（例えばＬ＝０）を出力する。
これらの計算は、１フレーム毎に計算を行えばよいので、マイクロコントローラ等のソフトウエアで処理することが可能である。
これらの計算は、１フレーム毎に計算を行えばよいので、マイクロコントローラ等のソフトウエアで処理することが可能である。
一方、加速度の平均ａｘａｖｅ、角加速度の平均ａωｘａｖｅは、より過去の重みを少なくした平均である式２４）〜式２７）で示した巡回型のフィルタで計算できる。この計算は、簡便であるばかりでなく、実際の観測者の追従とよく合致する。
時刻ｎ番目のフレームの時の加速度の平均をａｘａｖｅｎ、角加速度の平均をａωｘａｖｅｎとすると、ａｘａｖｅｎを求める式は、
axaven=S1・axn-1+S2・axaven-1 ・・・・式２４）
ただし、
S1+S2=1 ・・・・式２５）
となり、
ａωｘａｖｅｎを求める式は、
aωxaven=S1・aωxn-1+S2・aωxaven-1 ・・・・式２６）
ただし、
S1+S2=1 ・・・・式２７）
となる。
Ｓ１、Ｓ２により、１フレーム前の視線の加速度（角加速度）と１フレーム前の撮像装置の加速度（角加速度）の重みを変えることができる。通常、Ｓ２がＳ１より大きくなるように、Ｓ１とＳ２を設定すると良い。
時刻ｎ番目のフレームの時の加速度の平均をａｘａｖｅｎ、角加速度の平均をａωｘａｖｅｎとすると、ａｘａｖｅｎを求める式は、
axaven=S1・axn-1+S2・axaven-1 ・・・・式２４）
ただし、
S1+S2=1 ・・・・式２５）
となり、
ａωｘａｖｅｎを求める式は、
aωxaven=S1・aωxn-1+S2・aωxaven-1 ・・・・式２６）
ただし、
S1+S2=1 ・・・・式２７）
となる。
Ｓ１、Ｓ２により、１フレーム前の視線の加速度（角加速度）と１フレーム前の撮像装置の加速度（角加速度）の重みを変えることができる。通常、Ｓ２がＳ１より大きくなるように、Ｓ１とＳ２を設定すると良い。
さらに、加速度の平均ａｘａｖｅ、角加速度の平均ａωｘａｖｅをより容易に求めるために、現時刻の直前の複数フレームの加速度ａｘの平均、角加速度ａωｘの平均を用いても良い。より簡便化する場合は、直前の１フレーム（１フレーム前の）の加速度ａｘ、角加速度ａωｘをそのまま平均として用いても良い。この計算方法はより簡便であり、計算は誤差が多少大きくなるが計算量を少なくできるという大きな利点がある。
以上説明したように、撮像装置の動き（速度、角速度、加速度、角加速度）から、追従視のしやすさを表す評価値であるずれ係数Ｋ、ずれ係数Ｌを求めることができる。
（装置構成）
本発明の第１の実施形態の撮像装置のブロック図を図１に示す。
図１において、１は撮像装置の動きを検出する動き検出部としての加速度センサである。２は加速度センサ１の出力に基づいて、出力映像信号の撮像時間の長さを制御するための制御信号ＣＳ１を出力する撮像時間制御部である。４は制御信号ＣＳ１に従って、撮像時間の短い映像Ｖ１と撮像時間の長い映像Ｖ２とを切り換え又は合成するスイッチ（出力制御部）である。９１ａは撮像時間の短い高速シャッタカメラであり、９１ｂは撮像時間の長い（例えば１フレーム時間の１／６０秒）低速シャッタカメラであり、９２は被写体９０からの光を２つのカメラ９１ａ及び９１ｂに導くハーフミラーである。
本発明の第１の実施形態の撮像装置のブロック図を図１に示す。
図１において、１は撮像装置の動きを検出する動き検出部としての加速度センサである。２は加速度センサ１の出力に基づいて、出力映像信号の撮像時間の長さを制御するための制御信号ＣＳ１を出力する撮像時間制御部である。４は制御信号ＣＳ１に従って、撮像時間の短い映像Ｖ１と撮像時間の長い映像Ｖ２とを切り換え又は合成するスイッチ（出力制御部）である。９１ａは撮像時間の短い高速シャッタカメラであり、９１ｂは撮像時間の長い（例えば１フレーム時間の１／６０秒）低速シャッタカメラであり、９２は被写体９０からの光を２つのカメラ９１ａ及び９１ｂに導くハーフミラーである。
図１の構成において、高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂはハーフミラー９２を介して被写体である対象物９０を撮像する。高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂ、ハーフミラー９２の位置は、高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂの映像が完全に重なるように、調整されている。第１の実施形態で
は、２台のカメラ９１ａ、９ｂとハーフミラーにより撮像部が構成されている。
また、高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂの映像は同期しており、同じタイミングで撮像時間（シャッタ速度）の異なる２つの映像が得られる。対象物９０を撮像した高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂの映像出力は、それぞれ映像信号Ｖ１、Ｖ２としてスイッチ４の入力端子に入力される。
は、２台のカメラ９１ａ、９ｂとハーフミラーにより撮像部が構成されている。
また、高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂの映像は同期しており、同じタイミングで撮像時間（シャッタ速度）の異なる２つの映像が得られる。対象物９０を撮像した高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂの映像出力は、それぞれ映像信号Ｖ１、Ｖ２としてスイッチ４の入力端子に入力される。
加速度センサ１は３軸の加速度センサであり、撮像装置の６方向（Ｘ、Ｙ、Ｚ方向、Ｘ、Ｙ、Ｚ軸を回転軸とした回転方向）の加速度を検出し、更に検出された加速度を積分し速度を算出する。そして、１フレーム時間を単位時間として加速度及び速度を出力する。出力される速度は、Ｘ方向速度：ｖｘ、Ｙ方向速度：ｖｙ、Ｚ方向速度：ｖｚ、Ｘ軸角速度：ｖωｙ、Ｙ軸角速度：ｖωｘ、Ｚ軸角速度：ｖωｚの６種類である。また出力される加速度は、Ｘ方向加速度：ａｘ、Ｙ方向加速度：ａｙ、Ｚ方向加速度：ａｚ、Ｘ軸角加速度：ａωｙ、Ｙ軸角加速度：ａωｘ、Ｚ軸角加速度：ａωｚの６種類となる。
撮像時間制御部２は加速度センサ１の出力である加速度及び速度を元に、高速シャッタカメラ９１ａからの映像信号Ｖ１と低速シャッタカメラ９１ｂからの映像信号Ｖ２を切り換える制御信号ＣＳ１を出力する。
そして、スイッチ４は、制御信号ＣＳ１に応じて、映像信号Ｖ１とＶ２を切り換え又は合成し、出力端子１０ａから出力映像信号を出力する。出力映像信号はインパルス型ディスプレイなどの表示装置に入力される。
そして、スイッチ４は、制御信号ＣＳ１に応じて、映像信号Ｖ１とＶ２を切り換え又は合成し、出力端子１０ａから出力映像信号を出力する。出力映像信号はインパルス型ディスプレイなどの表示装置に入力される。
（等速度の評価を行う撮像時間制御部）
図８に、等速度の評価を行う場合の撮像時間制御部２の構成を示す。
図８において、２０１は加速度センサ１より、速度、角速度が入力される入力端子である。２０２は追従視速度算出部、２０３はずれ係数Ｋを求めるＫ算出部、２０４は変換テーブル、２０５は最小値選択部、２０６はローパスフィルタ、２０７はｚ速度判断部、２０８は出力端子である。
図８に、等速度の評価を行う場合の撮像時間制御部２の構成を示す。
図８において、２０１は加速度センサ１より、速度、角速度が入力される入力端子である。２０２は追従視速度算出部、２０３はずれ係数Ｋを求めるＫ算出部、２０４は変換テーブル、２０５は最小値選択部、２０６はローパスフィルタ、２０７はｚ速度判断部、２０８は出力端子である。
加速度センサ１より入力される速度（Ｘ方向速度：ｖｘ、Ｙ方向速度：ｖｙ、Ｚ方向速度：ｖｚ、Ｘ軸角速度：ｖωｙ、Ｙ軸角速度：ｖωｘ、Ｚ軸角速度：ｖωｚ）は、追従視速度算出部２０２、Ｋ算出部２０３、ｚ速度判断部２０７に入力される。追従視速度算出部２０２は、Ｘ方向速度：ｖｘ、Ｙ方向速度：ｖｙ、Ｘ軸角速度：ｖωｙ、Ｙ軸角速度：ｖωｘから、式１３）、式１４）あるいは、式１５）、式１７）により追従視の速度を求める。また前述したように、現時刻の直前の複数フレームの撮像装置の速度の平均から求めても良い。前述した式では、Ｘ方向について記したが、Ｙ方向についても同様に求めることができる。
次に、Ｋ算出部２０３は、入力された現時刻の速度と、追従視速度算出部２０２で求めた追従視の速度とから、式１０）、式１２）により、各方向（Ｘ、Ｙ方向、Ｘ、Ｙ軸回転方向）のずれ係数Ｋを求める。
求められた各方向のずれ係数Ｋは、変換テーブル２０４において、例えば図９（ａ）、（ｂ）、（ｃ）に示す特性により、映像信号Ｖ１の重みに変換される。図９（ａ）、（ｂ）、（ｃ）の特性からわかるように、ずれ係数Ｋが小さければ、視線と対象物とのずれが少なく追従視が容易であるので、撮像時間が短い映像信号Ｖ１を選択、又は、支配的にする。一方、ずれ係数Ｋが大きくなり追従視が困難になると、撮像時間が長い映像信号Ｖ２を選択、又は、支配的にする。
求められた各方向のずれ係数Ｋは、変換テーブル２０４において、例えば図９（ａ）、（ｂ）、（ｃ）に示す特性により、映像信号Ｖ１の重みに変換される。図９（ａ）、（ｂ）、（ｃ）の特性からわかるように、ずれ係数Ｋが小さければ、視線と対象物とのずれが少なく追従視が容易であるので、撮像時間が短い映像信号Ｖ１を選択、又は、支配的にする。一方、ずれ係数Ｋが大きくなり追従視が困難になると、撮像時間が長い映像信号Ｖ２を選択、又は、支配的にする。
図９（ａ）の変換テーブル２０４は、ずれ係数Ｋが閾値０．５より小さい場合に、等速度の動きであるとみなし、映像信号Ｖ１を出力し、ずれ係数Ｋが閾値０．５以上の場合に、等速度の動きでないとみなし、映像信号Ｖ２を出力する例である。なお、映像信号Ｖ１
とＶ２を選択的に切り換えるのではなく、映像信号Ｖ１とＶ２の合成率（重み）を変更する構成も好適である。このときも、例えば、ずれ係数Ｋが０．５以上の場合（つまり等速度の動きでない場合）に、ずれ係数が０．５より小さい場合（つまり等速度の動きである場合）に比べ、映像信号Ｖ２の重みが大きくなるようにすれば、上記と同様の効果が得られる。好ましくは、等速度の動きである場合には、Ｖ１の重みをＶ２の重みよりも大きくし（例えば、Ｖ１の重みを０．６〜１．０、Ｖ２の重みを０．４〜０．０）、等速度の動きでない場合には、Ｖ２の重みをＶ１の重みよりも大きくする（例えば、Ｖ１の重みを０．０〜０．４、Ｖ２の重みを１．０〜０．６）とよい。これにより、ボケ（ぶれ）の抑制とランダム感の発生の抑制をより確実に制御できる。
とＶ２を選択的に切り換えるのではなく、映像信号Ｖ１とＶ２の合成率（重み）を変更する構成も好適である。このときも、例えば、ずれ係数Ｋが０．５以上の場合（つまり等速度の動きでない場合）に、ずれ係数が０．５より小さい場合（つまり等速度の動きである場合）に比べ、映像信号Ｖ２の重みが大きくなるようにすれば、上記と同様の効果が得られる。好ましくは、等速度の動きである場合には、Ｖ１の重みをＶ２の重みよりも大きくし（例えば、Ｖ１の重みを０．６〜１．０、Ｖ２の重みを０．４〜０．０）、等速度の動きでない場合には、Ｖ２の重みをＶ１の重みよりも大きくする（例えば、Ｖ１の重みを０．０〜０．４、Ｖ２の重みを１．０〜０．６）とよい。これにより、ボケ（ぶれ）の抑制とランダム感の発生の抑制をより確実に制御できる。
さらに、ずれ係数が大きくなるほどＶ２の重みが大きくなるように、ずれ係数Ｋの大きさに応じて重み（合成率）を連続的に変化させることが好ましい。図９（ｂ）、（ｃ）の変換テーブル２０４は、映像信号Ｖ１とＶ２の切り換えが不自然とならないように、ずれ係数Ｋの大きさに応じた重み（合成率）で映像信号Ｖ１とＶ２を重み付け合成して出力映像信号を生成する例である。なお図９（ｂ）、（ｃ）では、Ｖ１の重みを１．０〜０．０の範囲で変化させているが、重みの上限を１．０より小さくしたり、重みの下限を０．０より大きくしたりしてもよい。例えば、Ｖ１の重みを１．０〜０．１（Ｖ２の重みを０．０〜０．９）の範囲で変化させたり、Ｖ１の重みを０．９〜０．０（Ｖ２の重みを０．１〜１．０）の範囲で変化させたり、Ｖ１の重みを０．９〜０．１（Ｖ２の重みを０．１〜０．９）の範囲で変化させてもよい。図９（ａ）〜（ｃ）の特性は一例であり、主観評価を行い適切な変換特性を決定することが好ましい。
なお、図８における点線２０９で示したＸ、Ｙ方向の速度判断部は方向ごとに独立に設けるとよい。
上記の例では、ずれ係数Ｋが０．５より小さい場合を「等速度の動きである」、ずれ係数Ｋが０．５以上の場合を「等速度の動きでない」と評価しているが、等速度の動きか否かを判定する閾値はこれに限られない。また、ずれ係数Ｋ以外の指標により等速度の動きか否かを評価してもよい。
上記の例では、ずれ係数Ｋが０．５より小さい場合を「等速度の動きである」、ずれ係数Ｋが０．５以上の場合を「等速度の動きでない」と評価しているが、等速度の動きか否かを判定する閾値はこれに限られない。また、ずれ係数Ｋ以外の指標により等速度の動きか否かを評価してもよい。
加速度センサ１の出力であるＺ方向速度：ｖｚ、Ｚ軸角速度：ｖωｚは、ｚ速度判断部２０７に入力される。ｚ速度判断部２０７は入力されたｖｚ、ｖωｚの大きさから、映像信号Ｖ１の重みを各々出力する。Ｚ方向の動きやＺ軸まわりの動きは前述したように追従視が困難である。したがって、一例として、ｖｚ、ｖωｚの大きさが所定の閾値を超えた場合は、Ｖ１の重みとして０を出力するとよい。また、ｖｚ、ｖωｚの大きさが閾値以下であれば、他の方向の動きでＶ１の重みを決定できるように（つまり変換テーブル２０４から出力されるＶ１の重みが用いられるように）、Ｖ１の重みとして十分大きな値（たとえば１）を出力する。
変換テーブル２０４及びｚ速度判断部２０７からの出力である各方向（各方向、各軸の回転方向）のＶ１の重みは、最小値選択部２０５に入力される。最小値選択部２０５はこれらの中から最小値を選択し、出力する。すなわち、どの方向（各方向、各軸の回転方向）であっても追従視の困難な方向が１つでもあれば、映像中の対象物を追従視することが困難となりランダム感が生じる可能性があるため、映像信号Ｖ１の重みを小さくするのである。
ローパスフィルタ２０６は、最小値選択部２０５の出力であるＶ１の重みに対して時間方向のローパスフィルタ処理を行う。ローパスフィルタは、Ｖ１の重みの時間的な変化、すなわち映像信号Ｖ１とＶ２の合成率の変化を緩やかにし、映像信号の切り換えによる違和感を小さくする効果がある。
ローパスフィルタ２０６は、最小値選択部２０５の出力であるＶ１の重みに対して時間方向のローパスフィルタ処理を行う。ローパスフィルタは、Ｖ１の重みの時間的な変化、すなわち映像信号Ｖ１とＶ２の合成率の変化を緩やかにし、映像信号の切り換えによる違和感を小さくする効果がある。
撮像時間制御部２により、以上説明したように計算されたＶ１の重みは、スイッチ４に
制御信号ＣＳ１として入力される。スイッチ４は制御信号ＣＳ１（Ｖ１の重み）を入力し、１からＶ１の重みを減算してＶ２の重みを算出し、入力映像信号Ｖ１、Ｖ２に対してＶ１の重み、Ｖ２の重みをそれぞれ乗算しさらに乗算結果を加算して出力する。
ここで、スイッチ４の入力映像信号Ｖ１、Ｖ２は輝度と比例した関係のデータであることが望ましい。ガンマ変換されている映像信号などは逆ガンマ変換を行い輝度の比例するデータとした上で処理を行うと、スイッチ４から出力される映像信号の輝度が変化しないので好適である。
なお、最小値選択部２０５は各方向のＶ１の重みの中から最も小さい値を選択したが、各方向のＶ１の重みの平均や、小さいほうから順に選んだ所定個のＶ１の重みの平均など、別の値を選択することも好ましい。また、ローパスフィルタ２０６を省略し、最小値選択部２０５の出力を、直接、制御信号ＣＳ１としてスイッチ４に入力しても良い。
制御信号ＣＳ１として入力される。スイッチ４は制御信号ＣＳ１（Ｖ１の重み）を入力し、１からＶ１の重みを減算してＶ２の重みを算出し、入力映像信号Ｖ１、Ｖ２に対してＶ１の重み、Ｖ２の重みをそれぞれ乗算しさらに乗算結果を加算して出力する。
ここで、スイッチ４の入力映像信号Ｖ１、Ｖ２は輝度と比例した関係のデータであることが望ましい。ガンマ変換されている映像信号などは逆ガンマ変換を行い輝度の比例するデータとした上で処理を行うと、スイッチ４から出力される映像信号の輝度が変化しないので好適である。
なお、最小値選択部２０５は各方向のＶ１の重みの中から最も小さい値を選択したが、各方向のＶ１の重みの平均や、小さいほうから順に選んだ所定個のＶ１の重みの平均など、別の値を選択することも好ましい。また、ローパスフィルタ２０６を省略し、最小値選択部２０５の出力を、直接、制御信号ＣＳ１としてスイッチ４に入力しても良い。
（等加速度の評価を行う撮像時間制御部）
図１０に、等加速度の評価を行う場合の撮像時間制御部２の構成を示す。
図１０において、２１１は加速度センサ１より、加速度、角加速度が入力される入力端子である。２１２は追従視加速度算出部、２１３はずれ係数Ｌを求めるＬ算出部、２１４は変換テーブル、２１５は最小値選択部、２１６はローパスフィルタ、２１７はｚ加速度判断部、２１８は出力端子である。
図１０に、等加速度の評価を行う場合の撮像時間制御部２の構成を示す。
図１０において、２１１は加速度センサ１より、加速度、角加速度が入力される入力端子である。２１２は追従視加速度算出部、２１３はずれ係数Ｌを求めるＬ算出部、２１４は変換テーブル、２１５は最小値選択部、２１６はローパスフィルタ、２１７はｚ加速度判断部、２１８は出力端子である。
加速度センサ１より入力される加速度（Ｘ方向加速度：ａｘ、Ｙ方向加速度：ａｙ、Ｚ方向加速度：ａｚ、Ｘ軸角加速度：ａωｙ、Ｙ軸角加速度：ａωｘ、Ｚ軸角加速度：ａωｚ）は、追従視加速度算出部２１２、Ｌ算出部２１３、ｚ加速度判断部２１７に入力される。追従視加速度算出部２１２は、Ｘ方向加速度：ａｘ、Ｙ方向加速度：ａｙ、Ｘ軸角加速度：ａωｙ、Ｙ軸角加速度：ａωｘから、式２２）、式２３）あるいは、式２４）、式２６）により追従視の加速度を求める。また前述したように、現時刻の直前の複数フレームの撮像装置の加速度の平均から求めても良い。前述した式では、Ｘ方向について記したが、Ｙ方向についても同様に求めることができる。
次に、Ｌ算出部２０１３は、入力された現時刻の加速度と、追従視加速度算出部２１２で求めた追従視の加速度とから、式２０）、式２１）により、各方向（Ｘ、Ｙ方向、Ｘ、Ｙ軸の回転方向）のずれ係数Ｌを求める。
求められた各方向のずれ係数Ｌは、変換テーブル２１４において、例えば図１１（ａ）、（ｂ）、（ｃ）に示す特性により、映像信号Ｖ１の重みに変換される。図１１（ａ）、（ｂ）、（ｃ）の特性からわかるように、ずれ係数Ｌが小さければ、視線と対象物とのずれが少なく追従視が容易であるので、撮像時間が短い映像信号Ｖ１を選択、又は、支配的にする。一方、ずれ係数Ｌが大きくなり追従視が困難になると、撮像時間が長い映像信号Ｖ２を選択、又は、支配的にする。図１１（ａ）〜（ｃ）の特性の違いは、図９（ａ）〜（ｃ）で説明したのと同様である。また図１１（ａ）〜（ｃ）の特性も一例であり、主観評価を行い適切な変換特性を決定することが好ましい。
なお、ここでは、ずれ係数Ｌが０．５より小さい場合を「等加速度の動きである」、ずれ係数Ｌが０．５以上の場合を「等加速度の動きでない」と評価すればよい。ただし、等加速度の動きか否かを判定する閾値はこれに限られない。また、ずれ係数Ｌ以外の指標により等加速度の動きが否かを評価してもよい。
求められた各方向のずれ係数Ｌは、変換テーブル２１４において、例えば図１１（ａ）、（ｂ）、（ｃ）に示す特性により、映像信号Ｖ１の重みに変換される。図１１（ａ）、（ｂ）、（ｃ）の特性からわかるように、ずれ係数Ｌが小さければ、視線と対象物とのずれが少なく追従視が容易であるので、撮像時間が短い映像信号Ｖ１を選択、又は、支配的にする。一方、ずれ係数Ｌが大きくなり追従視が困難になると、撮像時間が長い映像信号Ｖ２を選択、又は、支配的にする。図１１（ａ）〜（ｃ）の特性の違いは、図９（ａ）〜（ｃ）で説明したのと同様である。また図１１（ａ）〜（ｃ）の特性も一例であり、主観評価を行い適切な変換特性を決定することが好ましい。
なお、ここでは、ずれ係数Ｌが０．５より小さい場合を「等加速度の動きである」、ずれ係数Ｌが０．５以上の場合を「等加速度の動きでない」と評価すればよい。ただし、等加速度の動きか否かを判定する閾値はこれに限られない。また、ずれ係数Ｌ以外の指標により等加速度の動きが否かを評価してもよい。
加速度センサ１の出力であるＺ方向加速度：ａｚ、Ｚ軸角加速度：ａωｚは、ｚ加速度判断部２１７に入力される。ｚ加速度判断部２１７は入力されたａｚ、ａωｚの大きさから、映像信号Ｖ１の重みを各々出力する。Ｚ方向の動きやＺ軸まわりの動きは前述したように追従視が困難である。したがって、一例として、ａｚ、ａωｚの大きさが所定の閾値を超えた場合は、Ｖ１の重みとして０を出力するとよい。また、ａｚ、ａωｚの大きさが閾値以下であれば、他の方向の動きでＶ１の重みを決定できるように、Ｖ１の重みとして
十分大きな値（たとえば１）を出力する。
十分大きな値（たとえば１）を出力する。
最小値選択部２１５及びローパスフィルタ２１６の構成及び動作は、図８の最小値選択部２０５及びローパスフィルタ２０６と同じである。
以上、速度を評価する方法と、加速度を評価する方法をそれぞれ説明したが、速度及び加速度の両方を評価することもできる。その場合は、図８で示したＸ、Ｙ方向の速度判断部２０９とｚ速度判断部２０７、及び、図１０で示したＸ、Ｙ方向の加速度判断部２１９とｚ加速度判断部２１７で、速度と加速度について独立に評価し、それぞれＶ１の重みを計算する。そして、求められたＶ１の重みの中から最小値を選択して、制御信号ＣＳ１を生成すればよい。
また、１２種類の方向の全てについて評価するのではなく、いくつかの方向の評価を省略し、処理を簡便化することも好適である。
例えば、前述したように、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の速度、加速度：ｖｘ、ｖｙ、ｖｚ、ａｘ、ａｙ、ａｚについては、撮像装置の動きに対して撮像された対象物の動きが一般的に小さいので、省略してもよい。さらに、撮影者が撮像装置を等加速度、等角加速度で動かすことは難しいため、このような撮影が行われる可能性は極めて低い。そのため、等加速度及び等角加速度の評価を省略して処理の簡素化を行ってもかまわない。また、撮影者が故意にＺ軸の回転運動を行い撮像することはまれであるので、Ｚ軸回転方向の速度、加速度についても評価を省略して処理の簡素化を行ってもかまわない。
すなわち、最低限、Ｘ軸方向、Ｙ軸方向の角速度：ｖωｘ、ｖωｙを評価し、時間応答性の良い映像信号と時間応答性の悪い映像信号の選択することを行うことにより、本発明の効果を最小限の処理で実現できる。
本発明の第１の実施形態の説明では、ハードウエア構成で実現する説明を行ったが、機能を実現できればソフトウエアによる処理であってももちろんかまわない。
例えば、前述したように、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の速度、加速度：ｖｘ、ｖｙ、ｖｚ、ａｘ、ａｙ、ａｚについては、撮像装置の動きに対して撮像された対象物の動きが一般的に小さいので、省略してもよい。さらに、撮影者が撮像装置を等加速度、等角加速度で動かすことは難しいため、このような撮影が行われる可能性は極めて低い。そのため、等加速度及び等角加速度の評価を省略して処理の簡素化を行ってもかまわない。また、撮影者が故意にＺ軸の回転運動を行い撮像することはまれであるので、Ｚ軸回転方向の速度、加速度についても評価を省略して処理の簡素化を行ってもかまわない。
すなわち、最低限、Ｘ軸方向、Ｙ軸方向の角速度：ｖωｘ、ｖωｙを評価し、時間応答性の良い映像信号と時間応答性の悪い映像信号の選択することを行うことにより、本発明の効果を最小限の処理で実現できる。
本発明の第１の実施形態の説明では、ハードウエア構成で実現する説明を行ったが、機能を実現できればソフトウエアによる処理であってももちろんかまわない。
（第１の実施形態の利点）
第１の実施形態の撮像装置によれば、撮像装置自体の動きの質（等速度、等加速度）を評価することで、撮像により得られる映像の追従視のしやすさを推定（判定）する。そして、追従視が容易な動きである場合は、動きぶれを含まない撮像時間の短い映像信号Ｖ１を出力し、追従視が容易な動きでない場合は、動きぶれを含む撮像時間の長い映像信号Ｖ２、又はＶ１とＶ２の合成信号を出力する。このような出力映像信号をインパルス型ディスプレイに出力することにより、追従視の容易な映像についてはボケ（ぶれ）の無いシャープな画質を実現し、追従視の困難な映像についてはランダム感を抑えた自然な画質を実現することができる。
また本実施形態では、加速度センサにより検出した撮像装置の動きに基づき、映像中の対象物の動きを推定することとした。この方法は、カメラから入力される各フレーム画像を解析して対象物の動きを求める（例えば動きベクトル解析）方法に比べ、リアルタイム処理が容易に実現できる。また、画像解析用の回路やフレームメモリが不要であるため、装置構成の簡易化及び低コスト化も実現できるという利点がある。
第１の実施形態の撮像装置によれば、撮像装置自体の動きの質（等速度、等加速度）を評価することで、撮像により得られる映像の追従視のしやすさを推定（判定）する。そして、追従視が容易な動きである場合は、動きぶれを含まない撮像時間の短い映像信号Ｖ１を出力し、追従視が容易な動きでない場合は、動きぶれを含む撮像時間の長い映像信号Ｖ２、又はＶ１とＶ２の合成信号を出力する。このような出力映像信号をインパルス型ディスプレイに出力することにより、追従視の容易な映像についてはボケ（ぶれ）の無いシャープな画質を実現し、追従視の困難な映像についてはランダム感を抑えた自然な画質を実現することができる。
また本実施形態では、加速度センサにより検出した撮像装置の動きに基づき、映像中の対象物の動きを推定することとした。この方法は、カメラから入力される各フレーム画像を解析して対象物の動きを求める（例えば動きベクトル解析）方法に比べ、リアルタイム処理が容易に実現できる。また、画像解析用の回路やフレームメモリが不要であるため、装置構成の簡易化及び低コスト化も実現できるという利点がある。
＜第２の実施形態＞
次に本発明の第２の実施形態について説明する。第１の実施形態では、シャッタ速度の異なる２台のカメラで映像信号Ｖ１とＶ２を取得し、それらを適宜切り換えて出力映像信号を生成した。これに対し第２の実施形態では、加速度センサで検出した撮像装置の動きの質の評価結果に基づいてカメラのシャッタ速度（撮像時間）を制御することにより、第１の実施形態で生成した出力映像信号と同等の映像を直接取得可能な撮像装置を示す。
次に本発明の第２の実施形態について説明する。第１の実施形態では、シャッタ速度の異なる２台のカメラで映像信号Ｖ１とＶ２を取得し、それらを適宜切り換えて出力映像信号を生成した。これに対し第２の実施形態では、加速度センサで検出した撮像装置の動きの質の評価結果に基づいてカメラのシャッタ速度（撮像時間）を制御することにより、第１の実施形態で生成した出力映像信号と同等の映像を直接取得可能な撮像装置を示す。
本発明の第２の実施形態の撮像装置のブロック図を図２に示す。
図２において、１は撮像装置の動きを検出する加速度センサ、３は加速度センサ１の出力に基づいて適切な撮像時間を算出し、撮像時間を指示する制御信号ＣＳ２を出力する撮像時間算出部（制御部）である。１０ｃは撮像装置の出力である映像信号を出力する出力端子である。９０は被写体、９１ｃは制御信号ＣＳ２により撮像時間（シャッタ速度）を変更可能な可変シャッタカメラである。第２の実施形態では可変シャッタカメラ９１ｃが撮像部に対応する。
図２において、１は撮像装置の動きを検出する加速度センサ、３は加速度センサ１の出力に基づいて適切な撮像時間を算出し、撮像時間を指示する制御信号ＣＳ２を出力する撮像時間算出部（制御部）である。１０ｃは撮像装置の出力である映像信号を出力する出力端子である。９０は被写体、９１ｃは制御信号ＣＳ２により撮像時間（シャッタ速度）を変更可能な可変シャッタカメラである。第２の実施形態では可変シャッタカメラ９１ｃが撮像部に対応する。
第２の実施形態である撮像装置において、撮像装置の動きの質として等速度の評価を行う例を説明する。
等速度を評価する場合、撮像時間算出部３の構成は図８と同様の構成である。第１の実施形態と異なる部分は、ずれ係数Ｋに対する最適な撮像時間が変換テーブル２０４に記憶されている点である。ずれ係数Ｋに対する最適な撮像時間の例を、図１２（ａ）、（ｂ）、（ｃ）に記す。図１２（ａ）、（ｂ）、（ｃ）はずれ係数Ｋに対して好ましい撮像時間を出力する変換テーブル２０４の変換の例である。横軸はずれ係数Ｋを示し、縦軸は撮像時間を示している。撮像時間は０から１の範囲で規格化されており、１のときに最大の撮像時間となる。なお図に示した特性は一例にすぎず、実際に主観評価を行い最適な特性を決定することが好適である。
等速度を評価する場合、撮像時間算出部３の構成は図８と同様の構成である。第１の実施形態と異なる部分は、ずれ係数Ｋに対する最適な撮像時間が変換テーブル２０４に記憶されている点である。ずれ係数Ｋに対する最適な撮像時間の例を、図１２（ａ）、（ｂ）、（ｃ）に記す。図１２（ａ）、（ｂ）、（ｃ）はずれ係数Ｋに対して好ましい撮像時間を出力する変換テーブル２０４の変換の例である。横軸はずれ係数Ｋを示し、縦軸は撮像時間を示している。撮像時間は０から１の範囲で規格化されており、１のときに最大の撮像時間となる。なお図に示した特性は一例にすぎず、実際に主観評価を行い最適な特性を決定することが好適である。
図１２（ａ）は、単純に、ずれ係数Ｋが閾値（図の例では０．５）以上か否かで、撮像時間の長さを切り換える例である。すなわち、ずれ係数Ｋが閾値より小さい場合は、追従視が容易であるため、撮像時間を短くしてボケ（ぶれ）の無い映像を撮影し、ずれ係数Ｋが閾値以上の場合は、追従視が困難であるため、撮影時間を長くして意図的にボケ（ぶれ）を発生させる。これにより、第１の実施形態における図９（ａ）の制御と同等の映像信号を得ることができる。
図１２（ｂ）、（ｃ）は、撮像時間の切り換え時の映像の変化や違和感を低減するために、ずれ係数Ｋに応じて撮像時間を連続的に変化させるようにした例である。このようなテーブルを用いることで、第１の実施形態における図９（ｂ）、（ｃ）の制御と同等の映像信号を得ることができる。
図１２（ｂ）、（ｃ）は、撮像時間の切り換え時の映像の変化や違和感を低減するために、ずれ係数Ｋに応じて撮像時間を連続的に変化させるようにした例である。このようなテーブルを用いることで、第１の実施形態における図９（ｂ）、（ｃ）の制御と同等の映像信号を得ることができる。
第２の実施形態の撮像装置において、撮像装置の動きの質として等加速度の評価を行う場合は、撮像時間算出部３の構成は図１０と同様の構成となる。そして、図１０の変換テーブル２１４に図１３（ａ）、（ｂ）、（ｃ）のような特性のテーブルをもたせ、ずれ係数Ｌに応じて各ブロックの撮像時間を制御することで、上記の等速度評価を行う場合と同等の映像信号を得ることができる。
最小値選択部２０４、２１４、ローパスフィルタ２０６、２１６、ｚ速度判断部２０７、ｚ加速度判断部２１７の構成及び動作は、第１の実施形態で説明したものと同じであるため、説明は省略する。
以上述べた第２の実施形態の撮像装置でも、第１の実施形態と同じように、インパルス型ディスプレイにおいて高品位な表示が実現できる映像信号を得ることができる。また、カメラが２台必要であり、且つ、幾何光学的な調整が必要な第１の実施形態に比べ、カメラが１台である第２の実施形態はコストメリットが大きく、有用な構成である。
＜第３の実施形態＞
次に、本発明の第３の実施形態を示す。第１の実施形態では、シャッタ速度の異なる２台のカメラで高周波成分の多い映像信号Ｖ１と高周波成分の少ない映像信号Ｖ２を取得した。これに対し第３の実施形態では、低速シャッタカメラで得られた映像信号Ｖ２に対し、高域強調処理を施すことにより、高周波成分の多い映像信号Ｖ１を生成する。撮像装置の動きの質により映像信号Ｖ１とＶ２を適宜切り換え又は合成して出力映像信号を生成す
る点は、第１の実施形態のものと同様である。
次に、本発明の第３の実施形態を示す。第１の実施形態では、シャッタ速度の異なる２台のカメラで高周波成分の多い映像信号Ｖ１と高周波成分の少ない映像信号Ｖ２を取得した。これに対し第３の実施形態では、低速シャッタカメラで得られた映像信号Ｖ２に対し、高域強調処理を施すことにより、高周波成分の多い映像信号Ｖ１を生成する。撮像装置の動きの質により映像信号Ｖ１とＶ２を適宜切り換え又は合成して出力映像信号を生成す
る点は、第１の実施形態のものと同様である。
本発明の第３の実施形態の撮像装置のブロック図を図３に示す。
第１の実施形態（図１）と異なる構成は、高速シャッタカメラの代わりに、動き方向高域強調フィルタ２０が設けられている点と、低速シャッタカメラ９１ｂの映像信号を遅延するフレーム遅延部２１が設けられている点である。それ以外は、第１の実施形態の構成と同じである。第３の実施形態では、低速シャッタカメラ９１ｂと動き方向高域強調フィルタ２０が撮像部に対応する。
第１の実施形態（図１）と異なる構成は、高速シャッタカメラの代わりに、動き方向高域強調フィルタ２０が設けられている点と、低速シャッタカメラ９１ｂの映像信号を遅延するフレーム遅延部２１が設けられている点である。それ以外は、第１の実施形態の構成と同じである。第３の実施形態では、低速シャッタカメラ９１ｂと動き方向高域強調フィルタ２０が撮像部に対応する。
動き方向高域強調フィルタ（ボケ低減部）２０は、低速シャッタカメラ９１ｂの映像信号に対し動き方向の高域強調を施す。これにより、低速シャッタカメラ９１ｂの映像信号に含まれる撮像時のボケ（ぶれ）がキャンセルされ、高速シャッタカメラで得られる映像信号と同等の高周波成分の多い映像信号が得られる。例えば動きが早い（動き量が大きい）場合、撮像時のボケは大きくなるので、低い空間周波数から高域を持ち上げる処置を行うとよい。動きの方向や量は、加速度センサ１の出力から判断するとよい。フレーム遅延部２１は、動き方向高域強調フィルタ２０の処理時間と同じ時間だけ、低速シャッタカメラ９１ｂから出力される映像信号を遅延させる。これにより、映像信号Ｖ１とＶ２が同じタイミングでスイッチ４に入力されるようにする。
このように、第３の実施形態の撮像装置では、低速シャッタカメラから得られる映像信号に高域強調を施したものを、映像信号Ｖ１として使用する点が、第１の実施形態と異なる。加速度センサ１、撮像時間制御部２、及びスイッチ４の構成、動作は、第１の実施形態と同じであるので、説明は省略する。
このように、第３の実施形態の撮像装置では、低速シャッタカメラから得られる映像信号に高域強調を施したものを、映像信号Ｖ１として使用する点が、第１の実施形態と異なる。加速度センサ１、撮像時間制御部２、及びスイッチ４の構成、動作は、第１の実施形態と同じであるので、説明は省略する。
以上述べた第３の実施形態の撮像装置でも、第１の実施形態と同じように、インパルス型ディスプレイにおいて高品位な表示が実現できる映像信号を得ることができる。また、カメラが２台必要であり、且つ、幾何光学的な調整が必要な第１の実施形態に比べ、カメラが１台である第３の実施形態はコストメリットが大きく、有用な構成である。
＜第４の実施形態＞
次に、本発明の第４の実施形態を示す。第１の実施形態では、シャッタ速度の異なる２台のカメラで高周波成分の多い映像信号Ｖ１と高周波成分の少ない映像信号Ｖ２を取得した。これに対し第４の実施形態では、高速シャッタカメラで得られた映像信号Ｖ１に対し、ローパスフィルタをかけることにより、高周波成分の少ない映像信号Ｖ２を生成する。撮像装置の動きの質により映像信号Ｖ１とＶ２を適宜切り換え又は合成して出力映像信号を生成する点は、第１の実施形態のものと同様である。
次に、本発明の第４の実施形態を示す。第１の実施形態では、シャッタ速度の異なる２台のカメラで高周波成分の多い映像信号Ｖ１と高周波成分の少ない映像信号Ｖ２を取得した。これに対し第４の実施形態では、高速シャッタカメラで得られた映像信号Ｖ１に対し、ローパスフィルタをかけることにより、高周波成分の少ない映像信号Ｖ２を生成する。撮像装置の動きの質により映像信号Ｖ１とＶ２を適宜切り換え又は合成して出力映像信号を生成する点は、第１の実施形態のものと同様である。
本発明の第４の実施形態の撮像装置のブロック図を図４に示す。
第１の実施形態（図１）と異なる構成は、低速シャッタカメラの代わりに、動き方向ローパスフィルタ３０が設けられている点と、高速シャッタカメラ９１ａの映像信号を遅延するフレーム遅延部３１が設けられている点である。高速シャッタカメラ９１ａは撮像時間の短いカメラであり、例えば１フレーム時間の数分の１あるいは数百分の１の撮像時間（１／１００〜１／２０００秒）である。それ以外は、第１の実施形態の構成と同じである。第４の実施形態では、高速シャッタカメラ９１ａと動き方向ローパスフィルタ３０が撮像部に対応する。
第１の実施形態（図１）と異なる構成は、低速シャッタカメラの代わりに、動き方向ローパスフィルタ３０が設けられている点と、高速シャッタカメラ９１ａの映像信号を遅延するフレーム遅延部３１が設けられている点である。高速シャッタカメラ９１ａは撮像時間の短いカメラであり、例えば１フレーム時間の数分の１あるいは数百分の１の撮像時間（１／１００〜１／２０００秒）である。それ以外は、第１の実施形態の構成と同じである。第４の実施形態では、高速シャッタカメラ９１ａと動き方向ローパスフィルタ３０が撮像部に対応する。
動き方向ローパスフィルタ（ボケ付加部）３０は、高速シャッタカメラ９１ａの映像信号に対し動き方向のローパスフィルタ処理を施す。これにより、高速シャッタカメラ９１ａのシャープな映像信号に対して、撮像時のボケ（ぶれ）のようなボケが付加され、低速シャッタカメラで得られる映像信号と同等の高周波成分の少ない映像信号が得られる。例えば動きが早い（動き量が大きい）場合、撮像時のボケは大きくなるので、低い空間周波
数から高域を低減する処置を行うとよい。動きの方向や量は加速度センサ１の出力から判断するとよい。フレーム遅延部３１は、動き方向ローパスフィルタ３０の処理時間と同じ時間だけ、高速シャッタカメラ９１ａから出力される映像信号を遅延させる。これにより、映像信号Ｖ１とＶ２が同じタイミングでスイッチ４に入力されるようにする。
このように、第４の実施形態の撮像装置では、高速シャッタカメラから得られる映像信号にローパスフィルタ処理を施したものを、映像信号Ｖ２として使用する点が、第１の実施形態と異なる。加速度センサ１、撮像時間制御部２、及びスイッチ４の構成、動作は、第１の実施形態と同じであるので、説明は省略する。
数から高域を低減する処置を行うとよい。動きの方向や量は加速度センサ１の出力から判断するとよい。フレーム遅延部３１は、動き方向ローパスフィルタ３０の処理時間と同じ時間だけ、高速シャッタカメラ９１ａから出力される映像信号を遅延させる。これにより、映像信号Ｖ１とＶ２が同じタイミングでスイッチ４に入力されるようにする。
このように、第４の実施形態の撮像装置では、高速シャッタカメラから得られる映像信号にローパスフィルタ処理を施したものを、映像信号Ｖ２として使用する点が、第１の実施形態と異なる。加速度センサ１、撮像時間制御部２、及びスイッチ４の構成、動作は、第１の実施形態と同じであるので、説明は省略する。
以上述べた第４の実施形態の撮像装置でも、第１の実施形態と同じように、インパルス型ディスプレイにおいて高品位な表示が実現できる映像信号を得ることができる。また、カメラが２台必要であり、且つ、幾何光学的な調整が必要な第１の実施形態に比べ、カメラが１台である第４の実施形態はコストメリットが大きく、有用な構成である。
＜その他の実施形態＞
図１で示した高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂ、ハーフミラー９２で構成する撮像部は、図１４に示すＣＣＤあるいはＣＭＯＳで構成される半導体撮像素子により実現しても好適である。図１４は１つの半導体撮像素子のチップに高速シャッタで動作する撮像素子、及び低速シャッタで動作する撮像素子を実装した半導体撮像素子である。
図１で示した高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂ、ハーフミラー９２で構成する撮像部は、図１４に示すＣＣＤあるいはＣＭＯＳで構成される半導体撮像素子により実現しても好適である。図１４は１つの半導体撮像素子のチップに高速シャッタで動作する撮像素子、及び低速シャッタで動作する撮像素子を実装した半導体撮像素子である。
図１４において、９００は半導体撮像素子のチップ（ダイ）外形を模式的に示す線、９０１は半導体撮像素子の１受光素子の部分を示す破線である。９０２は半導体撮像素子の高速シャッタ用のホトダイオード等で実現する受光部分、９０３は半導体撮像素子の低速シャッタ用のホトダイオード等で実現する受光部分である。その他、受光した映像データの転送回路やタイミング回路や映像データの出力回路等については、本発明には直接影響しないので、図１４では省略している。図１４において、受光部分９０２で受光した光は、短い撮像時間で光電変換される。一方、受光部分９０３で受光した光は、長い撮像時間で光電変換される。
受光部分９０２と受光部分９０３の面積比は、撮像時間の逆数の比に比例するように設計すると、光電変換される電圧がほぼ同じになるので好適である。２つの映像信号のずれは不図示のゲイン調整回路で行うと良い。
受光部分９０２と受光部分９０３の面積比は、撮像時間の逆数の比に比例するように設計すると、光電変換される電圧がほぼ同じになるので好適である。２つの映像信号のずれは不図示のゲイン調整回路で行うと良い。
この半導体撮像素子は通常の半導体撮像素子同様の光学系を有し、１受光素子９０１で撮像時間の短い映像信号と撮像時間の長い映像信号の２つを同時に得る事ができる。第１の実施形態に比べ光学系が通常のカメラと同じでよいので、非常に簡単な構成で、撮像時間の長さが異なる２つの映像信号を同時に得ることができる。これらの映像信号を第１の実施形態に適応することによって、撮像部分を簡便化できる。
また、図１で示した高速シャッタカメラ９１ａ、低速シャッタカメラ９１ｂ、ハーフミラー９２で構成する撮像部は、図１５に示す構成で実現しても好適である。図１５は１フレームを２つのサブフレームに時間分割し、高速シャッタ、及び低速シャッタの映像信号を順次出力するダブルシャッタカメラを使用した構成である。
図１５において、９１ｇは１フレームを２つのサブフィールド（一方は撮像時間の短い映像信号、もう一方は撮像時間の長い映像信号）に分割し、それらサブフィールドを時分割で出力するダブルシャッタカメラである。６００は、ダブルシャッタカメラ９１ｇの出力ＶＳ１を受けて、通常の１フレーム時間の長さで、撮像時間の短い映像信号ＶＳ２と長い映像信号ＶＳ３の２つの信号を同時に出力するシリパラ変換部である。６０１はフレームメモリ、６０２はタイミング発生回路、６０３は撮像時間の短い映像信号ＶＳ２を出力
する出力端子、６０４は撮像時間の長い映像信号ＶＳ３を出力する出力端子である。
する出力端子、６０４は撮像時間の長い映像信号ＶＳ３を出力する出力端子である。
図１６にダブルシャッタカメラ９１ｇを使用した構成のタイミング図を示す。図１６のタイミング図において、横軸はフレームを単位とする時間軸である。図１５と、図１６を用いて以下動作を説明する。
ダブルシャッタカメラ９１ｇは、例えば、ｎ番目のフレーム時刻において撮像時間の短い映像信号（ＳＳｎ）と撮像時間の長い映像信号（ＳＬｎ）を時分割で出力する。撮像時間が異なるため映像信号ＳＳｎと映像信号ＳＬｎの信号レベルは異なるが、不図示のゲイン調整回路で２つの映像信号が同じレベルとなるように調整するとよい。
シリパラ変換部６００は、ｎ番目のフレーム時刻において、撮像時間の短い映像信号（ＳＳｎ）、撮像時間の長い映像信号（ＳＬｎ）をフレームメモリ６０１に書き込む。
次に、ｎ＋１番目のフレーム時刻において、ダブルシャッタカメラ９１ｇは、撮像時間の短い映像信号（ＳＳｎ＋１）、撮像時間の長い映像信号（ＳＬｎ＋１）を時分割で出力する。ｎ＋１番目のフレーム時刻において、シリパラ変換部６００はフレームメモリ６０１に撮像時間の短い映像信号（ＳＳｎ＋１）及び撮像時間の長い映像信号（ＳＬｎ＋１）を書き込む。同時に、シリパラ変換部６００はフレームメモリ６０１からｎ＋１番目のフレーム時刻において、前フレーム時間に書き込んだ撮像時間の短い映像信号（ＳＳｎ）および撮像時間の長い映像信号（ＳＬｎ）を１フレーム時間をかけて並列に読み出す。そして、撮像時間の短い映像信号（ＳＳｎ）は出力端子６０３に、撮像時間の長い映像信号（ＳＬｎ）は出力端子６０４にそれぞれ出力される。
タイミング発生回路６０２は、これらの動作で必要なタイミングを生成する。
シリパラ変換部６００は、ｎ番目のフレーム時刻において、撮像時間の短い映像信号（ＳＳｎ）、撮像時間の長い映像信号（ＳＬｎ）をフレームメモリ６０１に書き込む。
次に、ｎ＋１番目のフレーム時刻において、ダブルシャッタカメラ９１ｇは、撮像時間の短い映像信号（ＳＳｎ＋１）、撮像時間の長い映像信号（ＳＬｎ＋１）を時分割で出力する。ｎ＋１番目のフレーム時刻において、シリパラ変換部６００はフレームメモリ６０１に撮像時間の短い映像信号（ＳＳｎ＋１）及び撮像時間の長い映像信号（ＳＬｎ＋１）を書き込む。同時に、シリパラ変換部６００はフレームメモリ６０１からｎ＋１番目のフレーム時刻において、前フレーム時間に書き込んだ撮像時間の短い映像信号（ＳＳｎ）および撮像時間の長い映像信号（ＳＬｎ）を１フレーム時間をかけて並列に読み出す。そして、撮像時間の短い映像信号（ＳＳｎ）は出力端子６０３に、撮像時間の長い映像信号（ＳＬｎ）は出力端子６０４にそれぞれ出力される。
タイミング発生回路６０２は、これらの動作で必要なタイミングを生成する。
このようにして、１つのカメラから、撮像時間の短い映像信号と撮像時間の長い映像信号の２種類の映像信号を得ることができる。このダブルシャッタカメラ９１ｇによる構成は、通常のカメラと同じ光学系でよいので、非常に簡単な構成で、１つの受光素子で撮像時間の短い映像信号と長い映像信号の両方を同時に得ることができる。かかる構成を第１の実施形態に適用することによって、撮像部分の構成を簡単化できる。
また、近年、加速度センサにより撮像装置の動きを検出し、レンズ光学系あるいは撮像素子自体を、撮像装置の動きを打ち消す方向に移動させることで、所謂手ぶれを補正する方法が実現されている。また、必要な撮像範囲より大きい画像を取り込み、撮像装置の動きにしたがって切り取り範囲を変化させることで、手ぶれを補正する方法も実現されている。これらの方法を一般的に手ぶれ補正と呼んでいる。
このような手ぶれ補正を行った場合、映像中の対象物の動き量は、撮像装置自体の動きによる動き量から、手ぶれ補正による補正量を引いた量となる。よって、手ぶれ補正を行っている撮像装置に本発明を適用する場合は、手ぶれ補正後の動きの質を評価することが好ましい。
このような手ぶれ補正を行った場合、映像中の対象物の動き量は、撮像装置自体の動きによる動き量から、手ぶれ補正による補正量を引いた量となる。よって、手ぶれ補正を行っている撮像装置に本発明を適用する場合は、手ぶれ補正後の動きの質を評価することが好ましい。
さらに、本発明者は、撮像装置の動きが非常に速い場合は、たとえ等速度、等加速度という追従視できる条件であっても、撮像時間を長くとり撮像時のボケがある映像信号の方が違和感が少ないことを見出した。すなわち、撮像装置の動きが速すぎると、もはや追従視することができなくなるために、撮像時のボケ（動きぶれ）を含む映像のほうが自然に見えることがわかった。
撮像装置のＸ、Ｙ方向の動きでは、前述したように、このような早い動きは実現が難しいので、現実的にこのような早い動きとしては、式３）で示した撮像装置のＸ、Ｙ軸まわりの回転による対象物の速度によるものである。
例えば、Ｘ方向の表示画面の長さを１秒から２秒以下で移動する動きでは追従視が困難になる。１秒あたりのフレーム数をＮとし、Ｘ方向の表示画面の長さを１と正規化した場合、式３）のＶｘが１フレームあたり１／Ｎから１／２Ｎを越えると追従が困難になり、
撮像時間を長くした映像信号を出力した方が好適であった。
つまり、１フレームあたり例えば１／Ｎを越えると追従視が困難になるとすれば、
|vωx/θ|≧(1/N) ・・・・式２８)
となる場合は、第１、第３、第４の実施形態ではスイッチ４のＶ１の重みを０にし、第２の実施形態では撮像時間を長く（１フレーム時間）にすると好適である。
前述の追従視可能な条件は、ハイビジョン映像信号を標準視距離で見た場合の一例であり、表示装置の画角等により変わるものである。そのため、撮像するフォーマットに合わせ主観評価を行い、判定する条件を決定すると好適である。
撮像装置のＸ、Ｙ方向の動きでは、前述したように、このような早い動きは実現が難しいので、現実的にこのような早い動きとしては、式３）で示した撮像装置のＸ、Ｙ軸まわりの回転による対象物の速度によるものである。
例えば、Ｘ方向の表示画面の長さを１秒から２秒以下で移動する動きでは追従視が困難になる。１秒あたりのフレーム数をＮとし、Ｘ方向の表示画面の長さを１と正規化した場合、式３）のＶｘが１フレームあたり１／Ｎから１／２Ｎを越えると追従が困難になり、
撮像時間を長くした映像信号を出力した方が好適であった。
つまり、１フレームあたり例えば１／Ｎを越えると追従視が困難になるとすれば、
|vωx/θ|≧(1/N) ・・・・式２８)
となる場合は、第１、第３、第４の実施形態ではスイッチ４のＶ１の重みを０にし、第２の実施形態では撮像時間を長く（１フレーム時間）にすると好適である。
前述の追従視可能な条件は、ハイビジョン映像信号を標準視距離で見た場合の一例であり、表示装置の画角等により変わるものである。そのため、撮像するフォーマットに合わせ主観評価を行い、判定する条件を決定すると好適である。
１：加速度センサ、２：撮像時間制御部、３：撮像時間算出部、４：スイッチ、９１ａ：高速シャッタカメラ、９１ｂ：低速シャッタカメラ、９１ｃ：可変シャッタカメラ
Claims (15)
- 対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を出力する撮像部と、
撮像時の撮像装置自体の動きを検出する動き検出部と、
前記動き検出部で検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成する出力制御部と、
を有し、
前記出力制御部は、検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号を出力し、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号を出力する
ことを特徴とする撮像装置。 - 撮像装置の光軸方向をＺ軸、垂直方向をＹ軸、水平方向をＸ軸とした場合に、
前記動き検出部は、Ｘ軸まわりの角速度とＹ軸まわりの角速度を検出し、
前記出力制御部は、Ｘ軸まわりの角速度とＹ軸まわりの角速度がいずれも等速度である場合には前記第１の映像信号を出力し、Ｘ軸まわりの角速度とＹ軸まわりの角速度の少なくとも一方が等速度でない場合には前記第２の映像信号を出力する
ことを特徴とする請求項１に記載の撮像装置。 - 前記動き検出部は、Ｚ方向の速度とＺ軸まわりの角速度の少なくともいずれかを検出し、
前記出力制御部は、Ｚ方向の速度とＺ軸まわりの角速度の少なくともいずれかが閾値を超えた場合には、Ｘ軸まわりの角速度とＹ軸まわりの角速度が等速度であるかどうかによらず、前記第２の映像信号を出力する
ことを特徴とする請求項２に記載の撮像装置。 - 対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を出力する撮像部と、
撮像時の撮像装置自体の動きを検出する動き検出部と、
前記動き検出部で検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成する出力制御部と、
を有し、
前記出力制御部は、検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする
ことを特徴とする撮像装置。 - 前記出力制御部は、検出された動きが等速度又は等加速度の動きである場合には、前記第１の映像信号の重みを前記第２の映像信号の重みより大きくし、検出された動きが等速度又は等加速度の動きでない場合には、前記第２の映像信号の重みを前記第１の映像信号の重みより大きくする
ことを特徴とする請求項４に記載の撮像装置。 - 前記出力制御部は、
検出された動きと等速度又は等加速度の動きとのずれを算出し、
ずれが大きくなるほど前記第２の映像信号の重みを大きくする
ことを特徴とする請求項４又は５に記載の撮像装置。 - 撮像装置の光軸方向をＺ軸、垂直方向をＹ軸、水平方向をＸ軸とした場合に、
前記動き検出部は、Ｘ軸まわりの角速度とＹ軸まわりの角速度を検出し、
前記出力制御部は、Ｘ軸まわりの角速度とＹ軸まわりの角速度がいずれも等速度である場合には前記第１の映像信号の重みを前記第２の映像信号の重みより大きくし、Ｘ軸まわりの角速度とＹ軸まわりの角速度の少なくとも一方が等速度でない場合には前記第２の映像信号の重みを前記第１の映像信号の重みより大きくする
ことを特徴とする請求項４又は５に記載の撮像装置。 - 前記動き検出部は、Ｚ方向の速度とＺ軸まわりの角速度の少なくともいずれかを検出し、
前記出力制御部は、Ｚ方向の速度とＺ軸まわりの角速度の少なくともいずれかが閾値を超えた場合には、Ｘ軸まわりの角速度とＹ軸まわりの角速度が等速度であるかどうかによらず、前記第２の映像信号の重みを前記第１の映像信号の重みより大きくする
ことを特徴とする請求項７に記載の撮像装置。 - 前記撮像部は、撮像時間の異なる２つのカメラを有しており、
前記第１の映像信号は、撮像時間が短いほうのカメラで撮像された映像信号であり、
前記第２の映像信号は、撮像時間が長いほうのカメラで撮像された映像信号である
ことを特徴とする請求項１〜８のうちいずれか１項に記載の撮像装置。 - 前記撮像部は、１フレーム時間よりも短い撮像時間のカメラと、映像信号に対しボケを付加するボケ付加部とを有し、
前記第１の映像信号は、前記カメラで撮像された映像信号であり、
前記第２の映像信号は、前記カメラで撮像された映像信号に対し前記ボケ付加部でボケが付加された映像信号である
ことを特徴とする請求項１〜８のうちいずれか１項に記載の撮像装置。 - 前記撮像部は、１フレーム時間と同じ撮像時間のカメラと、映像信号に対しボケを低減するボケ低減部とを有し、
前記第１の映像信号は、前記カメラで撮像された映像信号に対し前記ボケ低減部でボケが低減された映像信号であり、
前記第２の映像信号は、前記カメラで撮像された映像信号である
ことを特徴とする請求項１〜８のうちいずれか１項に記載の撮像装置。 - 撮像時間を変更可能なカメラと、
撮像時の撮像装置自体の動きを検出する動き検出部と、
検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御する制御部と、
を有することを特徴とする撮像装置。 - 対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、
撮像時の撮像装置自体の動きを加速度センサにより検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を切り換えることにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きである場合には前記第１の映像信号が出力され、検出された動きが等速度又は等加速度の動きでない場合には前記第２の映像信号が出力される
ことを特徴とする撮像装置の制御方法。 - 対象物を撮像し、前記対象物のぶれを含まない第１の映像信号と前記対象物のぶれを含む第２の映像信号を取得するステップと、
撮像時の撮像装置自体の動きを加速度センサにより検出するステップと、
検出された動きの質に応じて、前記第１の映像信号と前記第２の映像信号を重み付け合成することにより出力映像信号を生成するステップと、
を有し、
検出された動きが等速度又は等加速度の動きでない場合には、等速度又は等加速度の動きである場合に比べ、前記第２の映像信号の重みを大きくする
ことを特徴とする撮像装置の制御方法。 - 撮像時間を変更可能なカメラを有する撮像装置の制御方法であって、
撮像時の撮像装置自体の動きを加速度センサにより検出するステップと、
検出された動きが等速度又は等加速度の動きである場合は撮像時間が短く、検出された動きが等速度又は等加速度の動きでない場合は撮像時間が長くなるように、前記カメラの撮像時間を制御するステップと、
を有することを特徴とする撮像装置の制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010225046A JP2012080411A (ja) | 2010-10-04 | 2010-10-04 | 撮像装置及びその制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010225046A JP2012080411A (ja) | 2010-10-04 | 2010-10-04 | 撮像装置及びその制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012080411A true JP2012080411A (ja) | 2012-04-19 |
Family
ID=46240125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010225046A Withdrawn JP2012080411A (ja) | 2010-10-04 | 2010-10-04 | 撮像装置及びその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012080411A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018058189A (ja) * | 2016-10-07 | 2018-04-12 | 株式会社マキタ | 電動工具 |
| JP2018081289A (ja) * | 2016-11-18 | 2018-05-24 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム |
| US10780563B2 (en) | 2016-10-07 | 2020-09-22 | Makita Corporation | Electric power tool and method of controlling rotational speed of motor in electric power tool |
-
2010
- 2010-10-04 JP JP2010225046A patent/JP2012080411A/ja not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018058189A (ja) * | 2016-10-07 | 2018-04-12 | 株式会社マキタ | 電動工具 |
| US10780563B2 (en) | 2016-10-07 | 2020-09-22 | Makita Corporation | Electric power tool and method of controlling rotational speed of motor in electric power tool |
| US10953532B2 (en) | 2016-10-07 | 2021-03-23 | Makita Corporation | Electric power tool configured to detect twisted motion |
| JP2018081289A (ja) * | 2016-11-18 | 2018-05-24 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101362651B1 (ko) | 화상 처리 장치, 및 화상 처리 방법, 및 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 기록 매체 | |
| US20180342066A1 (en) | Apparatus and method for hybrid eye tracking | |
| KR101528860B1 (ko) | 디지털 촬영 장치의 흔들림 보정 방법 및 장치 | |
| JPWO2019171522A1 (ja) | ヘッドマウントディスプレイ、注視点検出器、および画素データ読み出し方法 | |
| JP2006133752A (ja) | ディスプレイ装置 | |
| WO2021261248A1 (ja) | 画像処理装置、画像表示システム、方法及びプログラム | |
| CN114967917B (zh) | 用于确定当前注视方向的方法和系统 | |
| JP2012078590A (ja) | 画像表示装置及びその制御方法 | |
| KR20050056894A (ko) | 화상 처리 방법 및 장치, 및 프로그램 | |
| JP5128668B2 (ja) | 画像信号処理装置、画像信号処理方法、画像表示装置、テレビジョン受像機、電子機器 | |
| JPWO2020071029A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
| JP2012080411A (ja) | 撮像装置及びその制御方法 | |
| WO2022057834A1 (zh) | Vr系统中多摄像头曝光中心点的对齐方法、系统 | |
| JP2013258537A (ja) | 撮像装置、及びその画像表示方法 | |
| CN115209055B (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
| CN106293046A (zh) | 信息处理方法、信息处理装置及用户设备 | |
| US20240031676A1 (en) | Method And System For Camera Motion Blur Reduction | |
| JP4715366B2 (ja) | 複数画像合成方法及び複数画像合成装置 | |
| JP2012080355A (ja) | 画像処理装置、撮像装置、及びそれらの制御方法 | |
| JP2020096280A (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
| JP7685849B2 (ja) | 画像処理装置、情報処理システム、および画像取得方法 | |
| JP2012100066A (ja) | 撮像装置 | |
| JP7562498B2 (ja) | 間接視システムおよびフレームレートを調整するための方法 | |
| JP2006287813A (ja) | ３次元画像表示装置 | |
| JP2008060981A (ja) | 画像観察装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140107 |