JP2006129175A

JP2006129175A - 撮像装置

Info

Publication number: JP2006129175A
Application number: JP2004315964A
Authority: JP
Inventors: Takashi Ebato; 尚江波戸
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-10-29
Filing date: 2004-10-29
Publication date: 2006-05-18

Abstract

【課題】光学的な手振れ補正を行ったときに、レンズの光収差のために、撮影画像の周縁部に伸び縮みが生じてしまうの防止する。
【解決手段】デジタルカメラでは、光収差に対する歪曲補正処理を行うときの基準位置Ｐｓが設定さており、この基準位置と各画素の距離に基づいて補正量を変えて歪曲補正を行う。ジャイロセンサによって手振れが検出され、補正演算回路でずれ補正量が演算されて、演算されたズレ補正量に基づいて光学的に振れ補正を行ったときには、補正方向及び補正量を示す補正ベクトルデータ（補正ベクトルＡｖ）に基づいて、撮影領域８０内で基準位置を移動し、移動した基準位置に基づいて、各画素に対する歪曲補正を行う。これにより、ぶれ補正量に応じた適正な歪曲補正が可能となり、撮影画像の四隅などに画像の伸び縮みが現れてしまうのを確実に防止して、高品質の撮影画像を得ることができる。
【選択図】図４

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラなどの撮影画像に応じた画像データを得る撮像装置に関する。

デジタルビデオカメラ、デジタルスチルカメラなどは勿論、銀塩写真カメラなどにおいても、所謂手振れによる撮影画像のブレを補正する手振れ補正機能を備えたものがある。

手振れ補正機能は、装置本体の加速度、角加速度、角速度などを検出するセンサ（例えばジャイロセンサ）を用い、このセンサの出力信号に基づいて、レンズの中玉を、光軸と直交する方向に沿ってシフトし、レンズ内で入射光の傾きをかえることで光軸ズレを補正する光学式が一般的となっている。

光学式の手振れ補正機構は、信号処理系と半独立して動くジャイロセンサを使用し、任意の周期でサンプリングするジャイロセンサの出力から、ぶれによる画像移動量を計算してレンズのシフト量を求めてアクチュエータを制御することにより光軸をずらすようにしている。

デジタルビデオカメラでは、時間的に連続する動画の、画像間のフレーミングのズレを補正する必要があるのに対して、デジタルスチルカメラでは、１画面（１回のシャッター時間）内で発生する画像のブレを補正する必要がある。

一方、手振れ補正は、撮像素子の画素ピッチに応じて行う必要があることから、撮像素子の画素ピッチに基づいて設定した信号と、振動検出手段によって検出した振れ検出信号を合成して生成した駆動信号で補正光学系を駆動する提案がなされている（例えば、特許文献１参照。）。

これにより、レンズ交換が行われるときにも撮像装置に応じた手振れ補正が可能となるようにしている。

ところで、レンズの周縁部では、レンズの光収差の影響で画像が歪曲するという現象が生じる。この画像歪曲は、レンズ形状によって決まり、レンズの光軸を中心に、光軸の中心から離れるにしたがって画像が縮小されるなどして発生する。すなわち、レンズの光軸を中心に同心円状に歪曲が発生する。

このような画像歪曲を防止するために、デジタルカメラでは、デジタル演算によって画素ごとに位置補正を行うようにしている。

レンズシフト又は可変プリズムによる光学的な手振れ補正は、ＣＣＤなどの撮像素子に対して、光軸をずらすことで画像のブレを防止しており、このために、手振れ補正によって画像（被写体）が静止しているように見えたときに、画像歪曲によって撮影画像の周縁部が伸び縮みしているように見えることがある。

ここから、歪曲補正回路に連続した複数の画像をバッファリングすると共に、バッファリングしている複数の画像の周縁部に発生する歪曲量の差分から画像間のぶれ量を求め、このぶれ量に基づいて歪曲補正回路から読み出す撮影画像の位置を制御することにより、ジャイロセンサなどの手振れ検出用のセンサを設けずに、手振れの検出及び手振れ補正を行う方法が提案されている（例えば、特許文献２参照。）。

一方、撮影画像の周辺部の歪み（歪曲）の補正には、ディストレーション補正が用いられる。このディストレーション補正では、適応的にパラメータを変えることが好ましい。

しかしながら、複雑な二次元の補間演算を行うために適応的にパラメータを変えるのは実質的に困難となっている。このために、特許文献１、２の提案においてもパラメータを固定して手振れ補正を行うようにしており、必ずしも高精度の手振れ補正を補償しうるものではなかった。
特開２００２−３５４３３６号公報特開平６−１９７２６１号公報

本発明は上記事実に鑑みてなされたものであり、より高精度の手振れ補正を行うことにより、撮影画像の周辺部の伸び縮みの発生を的確に抑えることができる撮像装置を提案することを目的とする。

上記目的を達成するために本発明は、レンズによって集光して撮像素子に結像された撮影画像の画像データを出力する撮像装置であって、前記レンズを含む装置本体の振れを検出する振れ検出手段と、前記振れ検出手段の検出結果に基づいて前記レンズの光軸をシフトして前記撮像素子に結像される画像の位置を戻すレンズ駆動手段と、撮影領域内の予め設定した位置を基準として各画素の位置に応じて前記レンズの光収差による画像の歪曲を補正すると共に、前記振れ検出手段の検出結果に基づいて基準位置を変更して変更した基準位置に基づいた歪曲補正を行う歪曲補正手段と、を含むことを特徴とする。

この発明によれば、振れ検出手段の検出結果に基づいてレンズ駆動手段を作動させることにより、光学的な振れ補正を行い、手振れによって撮像素子上に結像される画像の位置にズレが生じるのを抑える。レンズの光収差に対する歪曲補正を行う歪曲補正手段は、基準位置に対する各画素の位置に基づいて歪曲補正を行う。

また、歪曲補正手段は、振れ検出手段によって手振れが検出されると、振れ検出手段の検出結果に基づいて基準位置を変更して、画素ごとに歪曲補正を行う。

これにより、光学的に手振れ補正を行うためのレンズの光軸の移動に合わせて画素ごとの歪曲補正量を変えることができ、光学的に手振れ補正を行ったときに、撮影画像の四隅などの周縁部に、画像の伸びや縮が生じてしまうのを確実に抑えることができる。

このような本発明においては、前記歪曲補正手段が、前記レンズ駆動手段による振れ補正の補正方向及び補正量に基づいて前記基準位置を設定することを特徴とする。

この発明によれば、撮影画像の中心位置に対して、歪曲補正を行うときの中心位置を、振れ検出手段の検出結果に基づいた光学的な振れ補正の補正方向及び補正量に基づいて移動する。

また、本発明は、前記歪曲補正手段が、前記撮影領域よりも広い領域内で画素ごとの歪曲補正量が設定された作業メモリと、前記レンズ駆動手段による振れ補正の補正方向及び補正量に基づいて、前記作業領域への前記撮影画像の書込み位置を設定する書込み手段と、を含むことを特徴とする。

この発明によれば、歪曲補正を行うための作業メモリ上への撮影画像の書込み位置を、振れ検出手段の検出結果に基づいた光学的な振れ補正の補正方向及び補正量に基づいて移動する。

これにより、歪曲補正手段の基本的な処理内容を変えることなく、簡単に適切な歪曲補正を行うことができる。

このような本発明の撮像装置としては、前記撮像素子から出力されるデータに応じて画像データを生成すると共に前記歪曲補正手段を含む画像処理システムＩＣと、前記レンズ駆動手段及び前記振動検出手段を含む振れ補正モジュールと、
を含み、前記画像処理システムに設けているＤＭＡ（Direct Memory Access）によって前記振れ補正モジュールから出力される前記振れ検出手段の検出結果を前記歪曲補正手段へ入力することができ、これにより、画像処理等を行うＣＰＵや、ＣＰＵが使用するシステムバスに負荷をかけることなく、適正な歪曲補正処理を行うことができる。

以上説明したように本発明によれば、光学的な手振れ補正及び、レンズの光収差に応じた歪曲補正処理を行い、レンズによって撮像素子上に結像した画像データを出力するときに、光学的な手振れ補正とレンズの光収差によって、撮影画像の四隅などの周縁部に、画像の伸びや縮みが生じてしまうのを確実に防止して、高品質の撮影画像が得られるという優れた効果を有する。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
〔第１の実施の形態〕
図１には、本実施の形態に撮像装置として適用したデジタルスチルカメラ（以下、デジタルカメラとする）１０の外観の概略構成を示している。

このデジタルカメラ１０には、被写体像を結像させるためのレンズ１２、撮影する被写体の構図を決定するためのファインダ１４、撮影時に押下されるレリーズボタン（所謂シャッターボタン）１６、電源スイッチ１８などを備えている。なお、デジタルカメラ１０では、レリーズボタン１６が、中間位置まで押下される半押し状態と、中間位置を越えて最終位置まで押下される全押し状態と、の２段階の押下操作が可能となっている。

デジタルカメラ１０の背面には、撮影によって得られたデジタル画像データに応じた被写体像や各種のメニュー画面、メッセージ等の表示に用いる液晶ディスプレイ（以下、ＬＣＤとする）２０と共に、撮影モード及び撮影モード時のモード（静止画モードと動画モード）に設定するときに操作される撮影スイッチ２２、撮影画像をＬＣＤ２０に表示する再生モードに設定するときに操作される再生スイッチ２４、ＬＣＤ２０にメニュー画面を表示したときに操作される十字カーソルボタン２６、撮影時に被写体像のズーミング（拡大及び縮小）を行うときに操作されるズームボタン２８などが設けられている。

さらに、デジタルカメラ１０の底面には、外部装置とＵＳＢ（Universal Serial Bus）などの所定のインターフェイス規格で接続可能とするレセプタクル３０が設けられている。なお、デジタルカメラ１０としては、セルフタイマ機能を用いて画像撮影を行うときの撮影タイミングの到来を点滅間隔によって報知するセルフタイマＬＥＤ３４などが設けられていてもよく、外部から作動用の電力を供給可能とするためのＤＣ端子３６などが設けられていてもよい。

このデジタルカメラ１０は、静止画モード（静止画撮影モード）に設定されているときに、レリーズボタン１６を半押し状態とすることにより、ＡＥ（Automatic Exposure、自動露出）機能が働いて、シャッタースピード、絞り状態などの露出状態が設定され、この後、ＡＦ（Auto Focus、自動合焦）機能が働いて合焦制御される。また、デジタルカメラ１０は、レリーズボタン１６の半押し状態から、続いて全押し状態とすることにより画像露光（画像撮影）が行われる。

また、デジタルカメラ１０は、動画モード（動画撮影モード）が設定されているときに、レリーズボタン１６を全押し状態とすることにより動画撮影が開始され、全押し状態から半押し状態に戻した後、さらに全押し状態とすることにより動画撮影が停止される。なお、自導露出機能や合焦制御等は、従来公知の手法が適用可能であり、本実施の形態では詳細な説明を省略する。また、本発明が適用される撮像装置の動作はこれに限るものではない。

図２には、第１の実施の形態に係るデジタルカメラ１０の要部の概略構成を示している。デジタルカメラ１０には、被写体からの光を集光するレンズ１２と共に、ＣＣＤ、ＣＭＯＳイメージセンサなどを用いた撮像素子４０が設けられている。

レンズ１２は、例えば、固定レンズ１２Ａ、変倍を行うズームレンズ１２Ｂ及び、変倍に伴う焦点面の移動補正と共に焦点調節機能を備えたフォーカスレンズ１２Ｃなどを含んで形成されている。なお、図２では、図示しない絞りないしシャッター等の図示を省略している。

これにより、デジタルカメラ１０では、固定レンズ１２Ａによって集光された光によって撮像素子４０上に被写体像が結像され、撮像素子４０から、画素ごとの受光量に応じた電気信号（アナログ画像信号）が出力される。

また、デジタルカメラ１０には、増幅部４２が設けられている。増幅部４２は、撮像素子４０から出力されるアナログ信号を増幅する。

さらに、デジタルカメラ１０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、データバス、システムバスなどを含むマイクコンピュータを備え、このマイクロコンピュータによって前処理部４４等が形成されている。前処理部４４では、増幅部４２から入力されるアナログ信号に対して、Ａ／Ｄ変換を行うことにより撮影画像（被写体像）に応じたデジタル画像データを生成する。このとき、前処理部４４では、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の信号を例えば１２ビットのＲ、Ｇ、Ｂ信号に変換する。

また、デジタルカメラ１０には、ＳＤＲＡＭ等を用いた画像バッファ４６が設けられていると共に、図示しないマイクロコンピュータによって形成されている信号処理部４８及び出力回路５０が設けられており、前処理部４４によって生成された画像データが、順に画像バッファ４６に蓄積される。

信号処理部４８では、画像バッファ４６に蓄積された画像データに対して光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行うと共に、γ処理、シャープネス処理等を行って例えば８ビットの画像データを生成する。また、信号処理部４８では、画像データに対してＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）を生成する。

このＹＣ信号は、図示しない画像バッファに格納され、ＬＣＤ２０に画像を表示するときには、このＹＣ信号を用いることができ、これにより、ＬＣＤ２０にスルー画像の表示が可能となっている。

ここで、静止画の撮影が設定され、レリースボタン１６が押下（全押し）されたときには、このＹＣ信号が読み出されて出力回路５０へ出力される。出力回路５０では、このＹＣ信号をＪＰＥＧなどの所定の圧縮形式で圧縮処理する。これにより、撮影画像の画像ファイルとして出力回路５０から出力される。

出力回路５０から出力される画像ファイルは、デジタルカメラ１０に装着されている記録メディア（例えば、スマートメディア、ＩＣカード、ＣＤ−Ｒ、ＣＤ−ＲＷなど）に記録される。また、出力回路５０から出力される画像ファイルや、記録メディアに記録された画像ファイルは、レセプタクル３０を介して、パーソナルコンピュータ（ＰＣ）や、ＴＶなどへ出力可能となっている。

また、動画撮影が設定されているときには、レリーズボタン１６が全押しされることにより動画撮影を開始し、レリーズボタン１６が半押し状態に戻された後、全押しされるまでの期間、すなわち、動画の撮影を行っている期間において、所定の時間ごと（例えば、１／３０secごとなどの予め設定されている時間）に図示しない画像バッファに格納されているＹＣ信号が出力回路５０に出力され、所定形式（例えば、Motion ＪＰＥＧ形式など）で圧縮処理される。これにより、出力回路５０から動画像の画像ファイルが出力される。

なお、デジタルカメラ１０には、ＣＰＵが設けられており、これらの処理はＣＰＵによって制御されて実行される。

ところで、デジタルカメラ１０には、振動検出手段としてジャイロセンサ５２が設けられていると共に、補正演算回路５４及びレンズ駆動回路５６が設けられている。また、レンズ１２には、シフトレンズ５８が設けられており、レンズ駆動回路５６は、図示しないアクチュエータを駆動することによりシフトレンズ５８を垂直方向及び水平方向にシフトする。

また、デジタルカメラ１０には、前処理部４４と信号処理部４８の手前の画像バッファ４６の間に、画像バッファ６０及び歪曲補正部６２が設けられ、これにより、デジタルカメラ１０では、手振れ補正が可能となっている。

図３に示すように、ジャイロセンサ５２は、垂直角速度センサ６４及び水平角速度センサ６６を備えている。垂直角速度センサ６４及び水平角速度センサ６６は、デジタルカメラ１０の水平方向の角速度、水平方向の角速度を検出し、検出した角速度に応じた信号を出力する。なお、角速度センサに換えて、加速度センサや角加速度センサ等を用いてもよい。

ジャイロセンサ５２は、高域信号を通過するＨＰＦ６８、増幅器（Ａｍｐ）７０及びＡ／Ｄ変換器７２を備えており、垂直角速度センサ６４及び水平角速度センサ６６から出力される信号は、直流成分が除去されて振動成分のみが増幅処理及びＡ／Ｄ変換処理される。これにより、垂直方向の角速度に応じた信号（垂直方向角速度信号）及び水平方向の角速度に応じた信号（水平方向角速度信号）が得られる。

また、ジャイロセンサ５２には、ＨＰＦ７４及び積分器７６が設けられており、垂直方向角速度信号及び水平方向角速度信号のそれぞれに対して帯域制限及び積分処理を施すことにより、垂直方向の角変位信号（垂直方向角変位信号）及び水平方向の角変位信号（水平方向角変位信号）が得られるようにしている。

図２に示すように、ジャイロセンサ５２の出力、すなわち、垂直方向角速度信号、水平方向角速度信号、垂直方向角変位信号及び水平方向角変位信号は、補正演算回路５４に入力される。

補正演算回路５４では、ジャイロセンサ５２によって検出する垂直方向角速度信号、水平方向角速度信号、垂直方向角変位信号及び水平方向角変位信号に基づいて、ぶれ補正量を演算する。

補正演算回路５４で演算されたぶれ補正量は、レンズ駆動回路５６へ入力される。レンズ駆動回路５６は、補正演算回路５４によって演算されたぶれ補正量に基づいて図示しないアクチュエータを駆動し、シフトレンズ５８を垂直方向及び水平方向へ移動する。これにより、デジタルカメラ１０では、撮像素子４０上での被写体像の結像位置をずらすようにしている。

すなわち、デジタルカメラ１０に手振れが生じることにより、撮像素子４０上での被写体の結像位置が移動する。このときにシフトレンズ５８をジャイロセンサ５２の検出結果に基づいて垂直方向ないし水平方向へ移動することにより、レンズ１２の光軸を傾けて、撮像素子４０上での被写体位置を戻すようにしている。

また、デジタルカメラ１０では、補正演算回路５４で演算されたぶれ補正量として撮影画像の中心位置である光軸の位置に基づいた補正方向及び補正量、すなわち補正ベクトルデータ（補正ベクトルＡｖ）が歪曲補正部６２に入力される。

前処理部４４から出力される画像データは、画像バッファ６０に格納される。歪曲補正部５４では、画像バッファ６０に格納された画像データに対して歪曲補正処理を施す。

レンズ１２には、少なからず光収差があり、この光収差によって撮像素子４０上に結像される撮影画像の周辺部に歪みが生じる。歪曲補正部６２では、撮影画像（画像データ）の周辺部に対して補間処理を施すことにより、レンズ１２の光収差によって撮影画像の周辺部に歪みが生じるのを防止し、歪曲補正を施した画像データが画像バッファ４６に格納されるようにしている。

図４（Ａ）示すように、歪曲補正部６２では、通常、光軸の中心Ｐ₀を補正の中心（補正中心）Ｐｓとして補間処理を行う。このときの補正量（補正パラメータ）は、補正中心Ｐｓから離れるにしたがって大きくなるようにしている。

すなわち、歪曲補正の補正パラメータは、補正中心Ｐｓに対して同心円状に設定され、補正中心Ｐｓからの距離に応じたパラメータに基づいて各画素に対して歪曲補正処理を行う。

これにより、歪曲補正部６２では、主に撮影画像の領域（撮影領域８０）の四隅に対して補間処理が行われるようにしている。なお、歪曲補正部６２での基本的な歪曲補正は任意の構成を適用でき本実施の形態では詳細な説明を省略する。

これに対して、手振れが発生することにより、歪曲補正部６２には、手振れに応じて補正演算回路５４から補正ベクトルデータが入力される。歪曲補正部６２では、補正ベクトルデータが入力されることにより、この補正ベクトルデータに基づき、光軸の中心Ｐ₀に対して補正中心Ｐｓを変更し、変更した補正中心Ｐｓからの距離に応じて、画像バッファ６０に格納している画像データに対して歪曲補正処理を行う。

このとき、手振れによって光軸が下向きとなり、これを補正するために光軸を上にシフトした時には、図４（Ｂ）に示すように、補正ベクトルデータに基づく補正ベクトルＡｖによって補正中心Ｐｓが上に移動される。

歪曲補正部６２では、補正ベクトルデータ（補正ベクトルＡｖ）に応じて移動した補正中心Ｐｓに基づいて、撮影領域８０内の各画素に対して、歪曲補正処理を施す。

これにより、撮影領域８０の下側の隅の画素に対する補正量が小さくなって歪曲補正による画像の伸びが抑えられると共に、撮影領域８０の上側の隅の画素に対する補正量が大きくなって、歪曲補正により画像の伸びが大きくなる。

また、光学的手振れ補正を行うために光軸を下にシフトしたときには、図４（Ｃ）に示すように、補正ベクトルデータに基づく補正ベクトルＡｖによって補正中心Ｐｓが下に移動されるようにしている。

これにより、撮影領域８０の上側の隅の画素に対する補正量が小さくなって歪曲補正による画像の伸びが抑えられると共に、撮影領域８０の下側の隅の画素に対する補正量が大きくなって、歪曲補正により画像の伸びが大きくなる。

したがって、光学的に手振れ補正を行ったときに、ずれ補正量に応じて撮影領域８０内の画素ごとのパラメータが変えられて歪曲補正が行われるため、デジタルカメラ１０では、手振れ補正を行ったときにレンズの光収差によって撮影画像の周辺部に伸び縮みが生じるのを確実に防止するようにしている。

一方、図２に示すように、デジタルカメラ１０では、前処理部４４、歪曲補正部６２、信号処理部４８及び出力回路５０が、画像処理システムＩＣ８２によって構成され、この画像処理システムＩＣ８２に、図示しないデータバスを介して画像バッファ４６、６０が接続している。

また、ジャイロセンサ５２、補正演算回路５４及びレンズ駆動回路５６は、振れ補正モジュール８４上に形成されており、この振れ補正モジュール８４が画像処理システムＩＣ８２と、３線の通信線で接続され、シリアル通信によって補正方向及び補正量を示す補正ベクトルデータが、振れ補正モジュール８４から画像処理システムＩＣ８２に伝送されるようにしている。

また、画像処理システムＩＣ８２には、ＤＭＡ（Direct Memory Access）８６が設けられており、このＤＭＡ８６によって、振れ補正モジュール８４から出力される補正ベクトルデータを読み込んで図示しないメモリに格納すると共に、補正ベクトルデータの受信完了をトリガとして、メモリに格納した補正ベクトルデータを歪曲補正部６２へ出力するようにしている。

このように構成されているデジタルカメラ１０では、電源スイッチ１８のオン操作及び撮影スイッチ２２が操作されることにより、レンズ１２によって被写体が撮像素子４０上に結像される。

撮像素子４０は、結像された被写体像に応じたデータを出力する。このデータは、増幅処理された後に、Ａ／Ｄ変換されることにより、画像データとして読み込まれて、先ず、画像バッファ６０に蓄積される。

歪曲補正部６２は、画像バッファ６０に格納された画像データに対して、レンズ１２の光収差に基づいた歪曲補正処理を施す。これにより、周辺部の歪曲が補正された画像データが画像バッファ４６に格納され、この画像データに対して所定の処理を施すことにより、周辺部に歪みのない画像をＬＣＤ２０に表示することができると共に、周辺部に歪みのない撮影画像の画像ファイルが得られる。

ところで、デジタルカメラ１０には、手振れ補正機能が設けられており、手振れが生じるとジャイロセンサ５２によって検出されて、振れに応じて垂直角変位信号、水平角変位信号、垂直角速度信号及び水平角速度信号が出力される。

補正演算回路５４では、ジャイロセンサ５２から入力される垂直角変位信号、水平角変位信号、垂直角速度信号及び水平角速度信号に基づいて、ずれ補正量を演算する。レンズ駆動回路５６は、このずれ補正量に基づいてシフトレンズ５８を移動する。

これによりデジタルカメラ１０では、手振れが発生しても、撮像素子４０上での被写体像の結像位置がずれてしまうのを抑えることができるようにしている。

一方、デジタルカメラ１０では、補正演算回路５４を設けている振れ補正モジュール８４と、歪曲補正部６２等が設けられている画像処理システムＩＣ８２が、３線接続されてシリアル通信が可能となっている。補正演算回路５４は、手振れが検出されてずれ補正量を演算すると、演算したずれ補正量を補正ベクトルデータとして、シリアル通信によって画像処理システムＩＣ８２に伝送する。

このとき、画像処理システムＩＣ８２では、ＤＭＡ８６が設けられており、シリアル通信によって伝送される補正ベクトルデータを図示しないメモリに格納すると、格納した補正ベクトルデータを歪曲補正部６２へ出力する。歪曲補正部６２では、補正ベクトルデータが入力されることにより、補正ベクトルデータ（補正ベクトルＡｖ）に基づいた歪曲補正処理を行う。

このときにも、画像処理システムＩＣ８２では、ＤＭＡ８６によって画像バッファ４６、６０のそれぞれへの画像データの入出力（書込み及び読出し）を制御する。

これにより、デジタルカメラ１０では、手振れ補正を行うときの図示しないＣＰＵやＣＰＵの用いるシステムバスの負荷軽減を図ることができるようにしていると共にＣＰＵを用いずに、歪曲補正部６２で用いるデータの設定を行うことができるようにしている。

すなわち、ＣＰＵによって補正ベクトルデータを取り込むようにした場合、定期的にＣＰＵがこのための割り込み処理を実行する必要があるが、データをシリアル通信によって伝送し、ＣＰＵによる制御が不要なＤＭＡ８６がメモリに取り込むことにより、ＣＰＵによる制御が不要となる。

したがって、手振れ補正機能を設けたときのＣＰＵやＣＰＵが使用するシステムバスの負荷が増加してしまうのを抑えることができる。

一方、歪曲補正部６２では、補正中心Ｐｓを中心にして同心円状に補正用のパラメータが設定されており、このパラメータに基づいて画素ごとに歪曲補正を実行するようにしている。

また、歪曲補正部６２では、補正ベクトルデータが入力されることにより、この補正ベクトルデータに応じた補正ベクトルＡｖに基づいて補正中心Ｐｓを移動し、移動した補正中心Ｐｓに対する各画素ごとの位置からパラメータを設定して歪曲補正を行う。

これにより、例えば、手振れによってレンズ１２の光軸が上向きとなったときには、シフトレンズ５８が下方に移動され、レンズ１２の光軸が下方に向けられ、撮像素子４０上の被写体像が、手振れによって移動してしまうのを抑える。また、このシフトレンズ５８の移動によって、撮影領域８０内でのレンズ１２の光収差も変化する。

このときに、歪曲補正部６２では、ぶれ補正量に基づいた補正ベクトルデータが入力されることにより、補正ベクトルデータ（補正ベクトルＡｖ）に基づいて、撮影領域８０内での補正中心Ｐｓを移動し、移動した補正中心Ｐｓに基づいて、撮影領域８０内の画素ごとに歪曲補正を施す。

これにより、シフトレンズ５８の移動することにより変化する光収差に応じた適正な歪曲補正が施された画像データが、画像バッファ４６に格納される。したがって、デジタルカメラ１０では、シフトレンズ５８を移動する光学式の手振れ補正を行ったときに、光収差が変化するにもかかわらず、光収差の変化に応じた歪曲補正がなされないことによる撮影画像の周辺部に伸びや縮み生じてしまうのを確実に防止することができる。

なお、第１の実施の形態では、歪曲補正部６２を挟んで画像バッファ４６、６０を設けたが、歪曲補正処理を実時間で行うときには、画像バッファ６０を省略することができる。すなわち、画像バッファ４６、６０の一方を省略してもよい。
〔第２の実施の形態〕
次に本発明の第２の実施の形態を説明する。なお、第２の実施の形態の基本的構成は、前記した第１の実施の形態と同一であり、第２の実施の形態において第１の実施の形態と同一の部品には同一の符号を付与してその説明を省略する。

図５には、第２の実施の形態に適用したデジタルカメラ９０の概略構成を示している。

このデジタルカメラ９０には、画像処理システムＩＣ８２Ａに歪曲補正部６２Ａが形成されている。この歪曲補正部６２Ａは、作業メモリ９２とアドレス制御部９４が形成されている。

図６（Ａ）に示すように、作業メモリ９２は、メモリ容量、すなわち、画像領域９２Ａが、撮影領域８０よりも広くなっている。歪曲補正部６２Ａでは、作業メモリ９２内の各アドレスごとに歪曲補正を行うパラメータを設定している。

この歪曲補正のパラメータは、手振れが生じていないときの撮影画像の中心（光軸）Ｐ₀と補正中心Ｐｓが一致しており、この補正中心Ｐｓに基づいて各アドレスごとに補正パラメータが設定されている。

アドレス制御部９４は、画像バッファ６０から入力される画像データの書込み位置、例えば、画像書込みを行うときの先頭アドレスＰ（ｘ、ｙ）を制御する。

この先頭アドレスＰ（ｘ、ｙ）は、手振れが生じていないときに、原位置Ｐ（０、０）としており、通常は、原位置Ｐ（０、０）から画像データの書込みを行うと共に、歪曲補正の終了した画像データを、原位置Ｐ（０、０）から読み出す。

また、アドレス制御部９４では、手振れが検出されて、振れ補正モジュール８４からぶれ補正量として補正ベクトルデータが入力されると、この補正ベクトルデータに応じた補正ベクトルに基づいて先頭アドレスＰ（ｘ、ｙ）を変更し、変更した先頭アドレスＰ（ｘ、ｙ）から画像データの書込み及び、歪曲補正の終了した画像データの読出しを行うようにしている。

例えば、図６（Ｂ）に示すように、手振れによってレンズ１２の光軸が上方にシフトし、この光軸のシフトに合わせて、シフトレンズ５８が下方へシフトされたときには、このときの補正ベクトルＡｖ（補正ベクトルデータ）に基づいて、先頭アドレスＰ（ｘ、ｙ）を変更する。

また、図６（Ｃ）に示すように、手振れによってレンズ１２の光軸が下方にシフトし、この光軸のシフトに応じたぶれ補正量に基づいてシフトレンズ５８が上方にシフトされたときには、このときの補正ベクトルＡｖに基づいて、先頭アドレスＰ（ｘ、ｙ）を変更する。

これにより、歪曲補正部６２Ａでは、手振れが発生したときに、撮影領域８０内の各画素に対して歪曲補正を行うときのパラメータが適正に変更されるようにしている。

このように構成されているデジタルカメラ９０においても、シフトレンズ５８を用いた光学的な振れ補正を行ったときに、撮影領域８０内の各画素を、光収差の変化に応じたパラメータに基づいて、適正な歪曲補正を施すことができる。

したがって、手振れ補正を行ったために、撮影画像の四隅などに画像の伸びや縮みが現れてしまうのを確実に抑え、高品質の画像表示や画像撮影が可能となる。

なお、第２の実施の形態では、画像バッファ６０と別に作業メモリ９２を設けたが、画像バッファ６０を作業メモリとして用いてもよい。このときには、前処理部４４に補正ベクトルデータを入力し、前処理部４４で画像バッファ６０への画像データの書込み位置を制御し、歪曲補正部６２Ａでは、画像バッファ６０内の画素ごとのアドレスから歪曲補正を行うパラメータを設定して、設定したパラメータに基づいた歪曲補正を行い、歪曲補正の終了した画像データを画像バッファ４６に格納するようにするなどの方法を用いることができる。

また、第２の実施の形態では、光学式の手振れ補正を行ったが、この光学的な手振れ補正を省略すると共に、画像バッファ６０に撮影領域８０よりも広い領域（例えば、画像領域９２Ａの容量）の画像を格納するようにして、補正ベクトルデータに基づいて、画像バッファ６０から撮影画像として読み出す領域（撮影領域８０）を制御するようにしてもよい。

また、以上説明した第１及び第２の実施の形態は、本発明の構成を限定するものではない。例えば、本実施の形態では、デジタルカメラ（デジタルスチルカメラ）１０、９０を例に説明したが、本発明は光学式の手振れ補正機能と、レンズ１２の光収差を補正する歪曲補正機能を備えたものであれば、任意の構成のデジタルスチルカメラに適用することができる。

また、本発明は、デジタルスチルカメラに限らず、デジタルビデオカメラなど、レンズによって集光した光を撮像素子に結像することにより、被写体像に応じた画像データを生成する任意の構成の撮像装置に適用することができる。

本実施の形態に適用したデジタルカメラの一例を示す概略外観図である。第１の実施の形態に適用したデジタルカメラの要部の概略構成を示すブロック図である。振動検出手段として用いるジャイロセンサの一例を示す概略ブロック図である。（Ａ）から（Ｃ）のそれぞれは撮影領域に対する歪曲補正を行うときのパラメータの変化を示す概略図であり、（Ａ）は手振れ補正が行われていないとき、（Ｂ）は手振れ補正によって光軸を下側にシフトしたとき、（Ｃ）は手振れ補正によって光軸を上側にシフトしたときを示している。第２の実施の形態に適用したデジタルカメラの要部の概略構成を示すブロック図である。（Ａ）から（Ｃ）のそれぞれは作業領域に対する歪曲補正を行うときのパラメータの変化と撮影領域を示す概略図であり、（Ａ）は手振れ補正が行われていないとき、（Ｂ）は手振れ補正によって光軸を下側にシフトしたとき、（Ｃ）は手振れ補正によって光軸を上側にシフトしたときを示している。

符号の説明

１０、９０デジタルカメラ（撮像装置）
１２レンズ
４０撮像素子
４６、６０画像バッファ
５２ジャイロセンサ（振れ検出手段）
５４補正演算回路
５６レンズ駆動回路
５８シフトレンズ
６２歪曲補正部
８０撮影領域
８２、８２Ａ画像処理システムＩＣ
８４、８４Ａ振れ補正モジュール
８６ＤＭＡ
９２作業メモリ
９４アドレス制御部

Claims

レンズによって集光して撮像素子に結像された撮影画像の画像データを出力する撮像装置であって、
前記レンズを含む装置本体の振れを検出する振れ検出手段と、
前記振れ検出手段の検出結果に基づいて前記レンズの光軸をシフトして前記撮像素子に結像される画像の位置を戻すレンズ駆動手段と、
撮影領域内の予め設定した位置を基準として各画素の位置に応じて前記レンズの光収差による画像の歪曲を補正すると共に、前記振れ検出手段の検出結果に基づいて基準位置を変更して変更した基準位置に基づいた歪曲補正を行う歪曲補正手段と、
を含むことを特徴とする撮像装置。
前記歪曲補正手段が、前記レンズ駆動手段による振れ補正の補正方向及び補正量に基づいて前記基準位置を設定することを特徴とする請求項１に記載の撮像装置。
前記歪曲補正手段が、
前記撮影領域よりも広い領域内で画素ごとの歪曲補正量が設定された作業メモリと、
前記レンズ駆動手段による振れ補正の補正方向及び補正量に基づいて、前記作業領域への前記撮影画像の書込み位置を設定する書込み手段と、
を含むことを特徴とする撮像装置。
前記撮像素子から出力されるデータに応じて画像データを生成すると共に前記歪曲補正手段を含む画像処理システムＩＣと、
前記レンズ駆動手段及び前記振動検出手段を含む振れ補正モジュールと、
を含み、前記画像処理システムに設けているＤＭＡによって前記振れ補正モジュールから出力される前記振れ検出手段の検出結果を前記歪曲補正手段へ入力することを特徴とする請求項１から請求項３の何れか１項に記載の撮像装置。