JP2010124088A - 撮像装置 - Google Patents

Abstract

【課題】動画によるパノラマ撮影時に、撮影フレーム間でずれのない滑らかなパノラマ画像を撮影することは困難である。
【解決手段】本発明のビデオカメラ１０１は、被写体を撮像する撮像部１１０と、撮像部１１０の出力を画像処理する画像処理部１４０と、少なくとも撮像部１１０及び画像前処理部１４１のいずれかを制御し、振れ補正を行う振れ補正制御部１６０と、画像処理部１４０の出力画像を表示する表示部１６４と、パノラマ撮影時に、撮影方向をアシストするパノラマアシスト表示枠と撮像部１１０の光学軸中心とを、表示部１６４に表示するよう制御し、撮像部１１０の光学軸中心の位置を基に振れ補正制御部を制御する制御部１６０と、画像処理部１４０の出力画像を記録媒体１６３に記録する記録制御部１６２と、を備える。
【選択図】図１

Description

本発明は動画を撮像する撮像装置に関し、特に撮影者の周囲３６０度を撮影するパノラマ撮影を行う撮像装置に関するものである。

デジタルカメラにおいて、１つの撮影コマで撮影可能な画角以上の画像を得るために複数の撮影コマの各画像を合成してパノラマ画像を得るようにしたカメラが提案されている。このようなパノラマ画像を得るにあたって、いかに撮影コマ間を滑らかに繋ぐかが課題となる。特許文献１では、複数の画像を撮像し、撮像した複数の画像からパノラマ画像を得るようにしたカメラにおいて、先に撮影した画像の撮影範囲を示す既撮影フレームと、これから撮影する画像の撮影範囲を示す撮影フレームとを同時に表示する。これにより、既撮影フレームを基準とし、これに撮影フレームを重ねるようにして位置決めを行うことができ、先の撮影画像と次の撮影画像とを隣接した状態に、撮影することができる。
特開２００６−２０１１１号公報

しかしながら、上記のカメラは静止画を対象にパノラマ撮影を行うことを対象とした技術であり、動画によるパノラマ撮影を行う際に、撮影者が、一定の速度で撮影方向を変更しつつ、先の撮影画像と次の撮影画像とが合わさるように位置決めするのは、極めて困難である。

本発明は、上記課題を解決することを目的としたものであり、動画によるパノラマ撮影時に、撮影フレーム間でずれのない滑らかなパノラマ画像を撮影する撮像装置を提供する。

上記の課題を解決するために、本発明の撮像装置は、被写体を撮像する撮像部と、前記撮像部の出力を画像処理する画像処理部と、少なくとも前記撮像部及び前記画像処理部のいずれかを制御し、振れ補正を行う振れ補正制御部と、前記画像処理部の出力画像を表示する表示部と、パノラマ撮影時に、撮影方向をアシストするパノラマアシスト表示枠と前記撮像部の光学軸中心とを、前記表示部に表示するよう制御し、前記撮像部の光学軸中心の位置を基に前記振れ補正制御部を制御する制御部と、前記画像処理部の出力画像を記録媒体に記録する記録制御部と、を備える。

上記の構成によって、本発明の撮像装置は、動画によるパノラマ撮影時に、撮影フレーム間でずれのない滑らかなパノラマ画像を撮影することができる。

本発明の撮像装置の実施の形態について、図面を用いて詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置であるビデオカメラ１０１の構成を示すブロック図である。ビデオカメラ１０１は、光学系１１０により形成された被写体像を撮像素子１２１で撮像する。撮像素子１２１で生成された画像データは、画像処理部１４０で各種画像処理が施される。マイクロホン１５０で集音された音声データは、音声処理部１５１で各種音声処理が施される。画像処理部１４０で処理された画像データ、及び音声処理部１５１で処理された音声データは、システムエンコーダ１５５でシステムエンコード処理が施され、メモリーカード１６３に格納される。また、メモリーカード１６３などに格納されたＡＶデータの内、画像データは液晶モニタ１６４で表示可能であり、音声データはスピーカ１６５で出力可能である。以下、ビデオカメラ１０１の構成を詳細に説明する。

光学系１１０は、対物レンズ１１１、ズームレンズ１１２、絞り１１３、ＯＩＳユニット１１４、フォーカスレンズ１１５を含む。光学系１１０は、被写体からの光を集光し、被写体像を形成する。

対物レンズ１１１は、最も被写体側に配置されたレンズである。ズームレンズ１１２は、光学系１１０の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。絞り１１３は、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、光学系１１０を透過する光の量を調整する。ＯＩＳユニット１１４は、内部に、光軸に垂直な面内で移動可能な補正レンズを有する。コントローラ１６０は、動き検出部１９０で検出された手振れ情報を基に、駆動系１１６を介して、ビデオカメラ１０１のぶれを相殺する方向に補正レンズを駆動することにより、被写体像のぶれを低減する。フォーカスレンズ１１５は、光学系１１０の光軸に沿って移動することにより、被写体像のピントを調整する。

駆動系１１６は、光学系１１０内の各光学素子を駆動する。

撮像素子１２１は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。撮像素子１２１は、ＣＣＤイメージセンサー、又はＣＭＯＳイメージセンサーである。タイミングジェネレータ１２２は、撮像素子１２１を駆動するためのタイミング信号を生成する。撮像素子１２１は、タイミングジェネレータ１２２で生成されるタイミング信号に従って、露光、転送、電子シャッタなどの各種の動作を行う。ＡＤコンバータ１３１は、撮像素子１２１で生成された画像データをデジタル信号に変換する。

画像処理部１４０は、ＡＤコンバータ１３１で変換された画像データに対して各種の処理を施す。画像処理部１４０は、システムエンコーダ１５５へ入力する画像データを生成したり、液晶モニタ１６４に表示するための画像データを生成する。また、画像処理部１４０は、システムデコーダ１５６が出力する画像データに対して画像処理を施し、液晶モニタ１６４に表示するための画像データを生成したり、システムエンコーダ１５５へ再入力するための画像データを生成したりする。画像処理部１４０は、ＤＳＰやマイコンなどで実現可能である。

画像前処理部１４１は、ＡＤコンバータ１３１で変換された画像データに対して、ガンマ補正やホワイトバランス補正、傷補正などの各種画像処理を行う。さらに、画像前処理部１４１は、電子式手振れ補正を行う。これはＡＤコンバータ１３１から出力された画像データを、バッファメモリ１６１に読み込み、手振れ量に応じてバッファメモリ上の画像データの切り出し位置を変更することで、手振れを補正するものである。

画像圧縮部１４２は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、画像データを圧縮する。画像圧縮部１４２は、例えば、ＭＰＥＧ−２や、Ｈ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。但し、本発明は、ＭＰＥＧ−２や、Ｈ．２６４の形式の画像データに限定されない。

画像伸張部１４３は、システムデコーダ１５６から出力された圧縮済みの画像データを液晶モニタ１６４で再生する場合などに、この画像データを非圧縮の状態に復号化する。

マイクロホン１５０は、音声を集音し、音声データを生成する。ステレオ音声やマルチチャンネル音声の入力に対応するため、マイクロホン１５０は、複数のマイクロホンで構成されても良い。

音声処理部１５１は、マイクロホン１５０の音声データに対して各種の処理を施す。音声処理部１５１は、システムエンコーダ１５５へ入力する音声データを生成したり、スピーカ１６５に出力するための音声データを生成する。また、音声処理部１５１は、システムデコーダ１５６が出力する音声データに対して音声処理を施し、スピーカ１６５に出力するための音声データを生成したり、システムエンコーダ１５５へ入力するための音声データを生成したりする。音声処理部１５１は、ＤＳＰやマイコンなどで実現可能である。

音声前処理部１５２は、マイクロホン１５０で集音されたアナログの音声データを変換し、ディジタル信号の音声データを生成する。また、ステレオ音声やマルチチャンネル音声の生成などの各種音声処理を行う。

音声圧縮部１５３は、例えば、ＭＰ３や、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｎｇ）等に準拠した圧縮形式により音声データを圧縮する。但し、本発明は、ＭＰ３や、ＡＡＣの形式の音声データに限定されない。

音声伸張部１５４は、システムデコーダ１５６から出力された圧縮済みの音声データをスピーカ１６５で出力する場合などに、この音声データを非圧縮の状態に復号化する。

システムエンコーダ１５５は、画像処理部１４０が出力する圧縮画像データ、及び音声処理部１５１が出力する圧縮音声データから、メモリカード１６３に記録するＡＶデータを生成する。

システムデコーダ１５６は、メモリカード１６３に記録されたＡＶデータを復号化し、圧縮画像データ、及び圧縮音声データを生成する。システムデコーダ１５６は、生成した圧縮画像データを画像伸張部１４３へ、圧縮音声データを音声伸張部１５４へそれぞれ出力する。

コントローラ１６０は、ビデオカメラ１０１全体を制御する制御手段である。コントローラ１６０は、半導体素子などで実現可能である。コントローラ１６０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。コントローラ１６０は、マイクロコンピュータで実現できる。コントローラ１６０は、後述のように、手振れ情報を基に、ビデオカメラ１０１の光学軸情報を表すアイコンや、パノラマ撮影をアシストする表示枠のアイコン等を生成し、液晶モニタ１６４に画像データとともに、表示する。

バッファメモリ１６１は、画像処理部１４０及びコントローラ１６０のワークメモリとして機能する。バッファメモリ１６１は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

カードスロット１６２は、メモリーカード１６３を着脱可能である。カードスロット１６２は、機械的及び電気的にメモリーカード１６３と接続可能である。メモリーカード１６３は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。本実施の形態１では、記録媒体としてメモリカードを用いたが、本発明はこれに限らず、記録媒体としてハードディスクや、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、Ｂｌｕ−ｌａｙ Ｄｉｓｃ等を用いても良い。

コントローラ１６０は、生成したＡＶファイルをメモリーカード１６３に格納可能である。

液晶モニタ１６４は、撮像素子１２１で生成した画像データが示す画像や、メモリーカード１６３などから読み出したＡＶデータ中の画像データが示す画像を表示可能である。また、液晶モニタ１６４は、ビデオカメラ１０１の各種の設定情報や、撮影時間などを表示可能である。本実施の形態１では、表示部として液晶モニタ１６４を用いたが、本発明はこれに限らず、例えば表示部としてＥＶＦ（電子ビューファインダ）を用いてもよい。

スピーカ１６５は、マイクロホン１５０で集音した音声データや、メモリーカード１６３などから読み出したＡＶデータ中の音声データを出力可能である。

操作部材１７０は、各種操作手段を総称した構成要素である。操作部材１７０は、使用者の指示を受け付け、その指示をコントローラ１６０に伝える。

動き検出部１９０は、ビデオカメラ１０１の水平方向、及び垂直方向の動きを検出する。コントローラ１６０は、動き検出部１９０が検出したビデオカメラ１０１の動き状態に関する情報を取得することができる。例えば、動き検出部１９０は、ジャイロセンサや、回転センサや、角速度センサで実現できる。

以上のように構成されたビデオカメラ１０１について、その動作を図２及び図３を用いて説明する。図２は、パノラマ動画を撮影する際のビデオカメラ１０１の動作を示すフローチャートである。図３は、パノラマ動画撮影時の、液晶モニタ１６４の表示画面を示す説明図である。ここで、パノラマ動画とは、３６０度全景を一篇の連続動画として撮影し、始点と終点をシームレスにつなぎ合わせて作成した動画である。

ビデオカメラ１０１は、操作部材１７０を用いた撮影者による電源オン操作により、起動する。撮影者は、液晶モニタ１６４に表示される設定情報について、操作部材１７０を用いて変更可能であり、パノラマ動画撮影時には、パノラマ撮影モードに設定する（Ｓ２０１）。この際、撮影者は、パノラマ動画撮影時のカメラ回転速度を、設定する。カメラ回転速度は、全周３６０度を回転するのに要する時間を設定してもよいし、１秒あたりにカメラを回転する度数を設定してもよい。例えば１２度／秒と設定された場合には、３６０度を撮影するのに要する時間は３０秒であり、３０秒で一周するパノラマ動画が撮影される。

撮影者は、パノラマ動画の撮影を開始するために、操作釦をオンする（Ｓ２０２）。コントローラ１６０は、動き検出部１９０で検出した手振れ情報を受信する（Ｓ２０３）。コントローラ１６０は、手振れ量が大きく、手振れによる水平角速度が規定値を超える場合、手振れ補正による補正が出来ないため、手振れが治まるまで待つ（Ｓ２０４）。コントローラ１６０は、水平角速度が規定値以下となった場合、カードスロット１６２を介して、メモリカード１６３への画像データの記録を開始する（Ｓ２０５）。なお、パノラマ撮影モードを設定し、撮影釦オンによりパノラマ撮影を開始するとしたが、パノラマ撮影用の専用釦を設け、専用釦オンによりパノラマ撮影を開始するとしても良い。

コントローラ１６０は、動き検出部１９０からの手振れ情報から、累積角度情報、及び角度誤差情報を算出する。コントローラ１６０は、算出した角度誤差情報を相殺する方向に、駆動系１１６及び画像前処理部１４１のいずれか、若しくは両方を制御する（Ｓ２０７）。

コントローラ１６０は、図３に示すように、液晶モニタ１６４にパノラマアシスト表示枠３０４と、現在の光学軸中心を表すアイコン３０５とを表示する（Ｓ２０８）。通常、ビデオカメラ１０１を用いてパノラマ動画を撮影する場合、手振れ等の原因によって、スムーズなパノラマ画像が撮影できない場合が多い。これは、手振れにより画像縦方向のずれが生じ、さらに、ビデオカメラ１０１の回転角速度のばらつきにより水平方向のずれが生じるためである。撮影者は、液晶モニタ１６４を見ながら、常に、光学軸中心表示アイコン３０５がパノラマアシスト表示枠３０４の枠内に入るように、ビデオカメラ１０１の撮影方向を変化させる。図３において、コントローラ１６０は、補正を行わない場合に記録される記録・表示領域３０１を、駆動系１１６及び画像前処理部１４１のいずれか、若しくは両方を制御することで、補正後の記録・表示領域３０２を抽出する。これにより、パノラマ動画撮影時の水平方向、及び垂直方向の振れを補正する。パノラマアシスト表示枠３０４は、光学軸中心表示アイコン３０５がこの枠内に入っている限り、駆動系１１６及び画像前処理部１４１を制御することにより、パノラマ動画撮影時の水平方向、及び垂直方向の振れを補正することが可能な範囲を示す。コントローラ１６０は、補正後の記録・表示領域３０２を、カードスロット１６２を介してメモリカード１６３に記録する（Ｓ２０９）。

コントローラ１６０は、動き検出部１９０からの累積角度情報を基に、その累積角度が３６０度に達した際に（Ｓ２１０）、メモリカード１６３への記録を停止する（Ｓ２１１）。このように、累積角度を検出し、その角度が３６０度に達した際に、自動的に記録を停止することにより、パノラマ撮影を自動的に停止することができる。

コントローラ１６０は、記録停止時に、記録した画像データが、パノラマ撮影であることを示す情報を、画像データの管理情報等に記録する。これにより、パノラマ撮影の画像データを再生する際に、再生装置は、管理情報等からパノラマ撮影であることを認識することができ、被写体が静止物である場合には、開始点の画像と終了時点の画像が一致している事から、エンドレスの連続再生を行うことができる。
（その他の実施の形態）
以上により、本発明の実施の形態として、実施の形態１を説明した。しかし、本発明は、これに限定されない。そこで、本発明の他の実施の形態を本欄にまとめて説明する。

本発明の実施の形態１では、図３において、パノラマアシスト表示枠３０４として、円形状の枠を表示した。パノラマアシスト表示枠は、円形状に限らず、例えば図４に示すような四角形状のパノラマアシスト表示枠４０４でもよい。さらに他の形状であってもよい。

本発明の実施の形態では、パノラマアシスト表示枠として、枠を表示する形態について説明したが、本発明はこれに限られず、例えば図５に示すように、補正領域中心表示アイコン５０４を表示してもよい。この場合、撮影者は、光学軸中心表示アイコン５０５が、補正領域中心表示アイコン５０４と一致するように、ビデオカメラ１０１の撮影方向を変更する。光学軸中心表示アイコン５０５が、補正領域中心表示アイコン５０４を中心とする一定の領域内にある際には、振れを制御することにより、パノラマ動画撮影時の水平方向、及び垂直方向の振れを補正することができる。

また、図６に示すように、光軸ズレ量表示アイコン６０４を表示してもよく、図７に示すように、光軸ズレ補正方向表示アイコン７０４を表示してもよい。この場合、撮影者は、ズレを表すアイコンが表示されないように、ビデオカメラ１０１の撮影方向の変更を調整する。

本発明は、動画のみならず、静止画を対象としたパノラマ撮影を行うデジタルビデオカメラ、又はデジタルスチルカメラに適用することができ、有用である。

本発明の実施の形態１における撮像装置の構成を示すブロック図 本発明の実施の形態１におけるパノラマ撮影時の動作を示すフローチャート 本発明の実施の形態１における液晶モニタの表示画面を示す図 本発明の他の実施の形態における液晶モニタの表示画面を示す図 本発明の他の実施の形態における液晶モニタの表示画面を示す図 本発明の他の実施の形態における液晶モニタの表示画面を示す図 本発明の他の実施の形態における液晶モニタの表示画面を示す図

符号の説明

１０１ ビデオカメラ
１１０ 光学系
１１１ 対物レンズ
１１２ ズームレンズ
１１３ 絞り
１１４ ＯＩＳユニット
１１５ フォーカスレンズ
１１６ 駆動系
１２１ 撮像素子
１２２ タイミングジェネレータ
１３１ ＡＤコンバータ
１４０ 画像処理部
１４１ 画像前処理部
１４２ 画像圧縮部
１４３ 画像伸張部
１５０ マイクロホン
１５１ 音声処理部
１５２ 音声前処理部
１５３ 音声圧縮部
１５４ 音声伸張部
１５５ システムエンコーダ
１５６ システムでコーダ
１６０ コントローラ
１６１ バッファ
１６２ カードスロット
１６３ メモリカード
１６４ 液晶モニタ
１６５ スピーカ
１７０ 操作部材
１８０ 通信部
１９０ 動き検出部

Claims (4)

1. 被写体を撮像する撮像部と、
   前記撮像部の出力を画像処理する画像処理部と、
   少なくとも前記撮像部及び前記画像処理部のいずれかを制御し、振れ補正を行う振れ補正制御部と、
   前記画像処理部の出力画像を表示する表示部と、
   パノラマ撮影時に、撮影方向をアシストするパノラマアシスト表示枠と前記撮像部の光学軸中心とを、前記表示部に表示するよう制御し、前記撮像部の光学軸中心の位置を基に前記振れ補正制御部を制御する制御部と、
   前記画像処理部の出力画像を記録媒体に記録する記録制御部と、
   を備えた撮像装置。
2. 前記制御部は、
   パノラマ撮影時の撮像方向の変更角度を基に、
   前記記録媒体への前記出力画像の記録を停止するよう前記記録制御部を制御する
   請求項１に記載の撮像装置。
3. 前記制御部は、
   パノラマ撮影時に、前記記録制御部を制御し、前記記録媒体にパノラマ撮影であることを示す情報を記録する
   請求項１又は２に記載の撮像装置。
4. パノラマ撮影モード、及びパノラマ撮影時の撮影方向の変更速度を含む設定情報を操作する操作部を備え、
   前記制御部は、
   前記パノラマ撮影モード設定時に、前記パノラマアシスト表示枠を、前記変更速度に基づいて前記表示部に表示するよう制御する
   請求項１から３のいずれかに記載の撮像装置。

Images