JP2005328411A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 本発明は、画像処理装置及び画像処理方法に関し、たとえば電子スチルカメラに適用して、消費電力の増大を有効に回避して、簡易な構成により、少ないメモリ容量で、高解像度により撮像結果等を表示することができるようにする。
【解決手段】 本発明は、記録手段８に記録した静止画による画像データＤ１の垂直解像度及び水平解像度を、それぞれビデオ出力の垂直解像度及び水平解像度以下に解像度変換して画像メモリ９に記録し、この画像メモリ９に記録した画像データＤ２を順次循環的に読み出して水平解像度を再変換してビデオ信号Ｄ３により出力する。
【選択図】 図１

Description

本発明は、画像処理装置及び画像処理方法に関し、例えば電子スチルカメラに適用することができる。本発明は、記録手段に記録した静止画による画像データの垂直解像度及び水平解像度を、それぞれビデオ出力の垂直解像度及び水平解像度以下に解像度変換して画像メモリに記録し、この画像メモリに記録した画像データを順次循環的に読み出して水平解像度を再変換して出力することにより、消費電力の増大を有効に回避して、簡易な構成により、少ないメモリ容量で、高解像度により撮像結果等を表示することができるようにする。

従来、電子スチルカメラは、高解像度の撮像結果をメモリに記録して保持するようになされ、またメモリに記録した撮像結果を表示手段で表示して確認できるようになされている。このため従来の電子スチルカメラは、例えば特開２０００−７８５１３号公報に従来技術として開示されているように、ＤＲＡＭ（Dynamic Random Access Memory）に記録した撮像結果による画像データの解像度を変換して表示用の画像データを生成し、この表示用の画像データを画像メモリに格納して表示手段に出力するようになされている。

しかしながらこのように画像メモリを用いる場合にあって、撮像結果を高解像度により表示する場合、この画像メモリの容量が大容量化する問題がある。すなわち例えば表示に供する画像データの画素数が１４４０×５４０の場合であって、それぞれ１６ビットの輝度データ及び色差データによる４：１：１の画像データを記録する場合、画像メモリは、９〔Ｍｂｉｔ〕もの容量が必要になる。

この問題を解決する１つの方法として、例えば特開２０００−７８５１３号公報に開示の手法を適用することが考えられる。すなわちこの特開２０００−７８５１３号公報に開示の手法においては、ＤＲＡＭに記録した撮像結果による画像データを表示に供する解像度に変換しながらラスタ走査順に表示手段に出力することにより、画像メモリを省略するようにしたものである。

しかしながらこの場合には、撮像結果を高解像度により表示する場合、消費電力が増大し、さらに構成が煩雑になる問題がある。すなわちＮＴＳＣ（National Television System Committee）方式による場合には、１フィールドが７２０×２４０画素により形成されるのに対し、ＨＤＴＶ（High Definition Television）による場合にあっては、１フィールドがＮＴＳＣ方式の約４．５倍の１４４０×５４０画素により形成される。これにより高解像度による撮像結果を表示する場合、ＤＲＡＭより高速度でデータ転送することが必要になり、このために動作用のクロックの周波数を高速度化したり、データ転送用のバス幅を大きくする等の工夫が必要になり、その分、ＤＲＡＭに係る構成が複雑になる。またフィールド周波数で繰り返しＤＲＡＭから画像データを読み出すことが必要なことにより、画像メモリを用いる場合に比して消費電力が増大する問題もある。
特開２０００−７８５１３号公報

本発明は以上の点を考慮してなされたもので、消費電力の増大を有効に回避して、簡易な構成により、少ないメモリ容量で、高解像度により撮像結果等を表示することができる画像処理装置及び画像処理方法を提案しようとするものである。

かかる課題を解決するため請求項１の発明においては、静止画による画像データを記録して保持し、画像データによるビデオ信号を出力する画像処理装置に適用して、静止画による画像データを記録する記録手段と、記録手段に記録した静止画による画像データの垂直解像度を、ビデオ信号の垂直解像度に解像度変換すると共に、静止画による画像データの水平解像度を、ビデオ信号の水平解像度以下に解像度変換して出力する解像度変換回路と、解像度変換回路から出力される画像データを記録して保持し、ビデオ信号に対応するタイミングにより順次循環的に出力する画像メモリと、画像メモリから出力される画像データの水平解像度を、静止画のアスペクト比に対応する水平解像度に変換してビデオ信号により出力する解像度再変換回路とを備えるようにする。

また請求項５の発明においては、静止画による画像データを記録手段に記録して保持し、画像データによるビデオ信号を出力する画像処理方法に適用して、記録手段に記録した静止画による画像データの垂直解像度を、ビデオ信号の垂直解像度に解像度変換すると共に、静止画による画像データの水平解像度を、ビデオ信号の水平解像度以下に解像度変換し、画像メモリに記録する解像度変換のステップと、画像メモリから画像データを順次循環的に読み出し、該画像データの水平解像度を、静止画のアスペクト比に対応する水平解像度に変換してビデオ信号により出力する解像度再変換のステップとを備えるようにする。

請求項１の構成によれば、記録手段に記録した静止画による画像データの垂直解像度を、ビデオ信号の垂直解像度に解像度変換すると共に、静止画による画像データの水平解像度を、ビデオ信号の水平解像度以下に解像度変換して出力する解像度変換回路と、解像度変換回路から出力される画像データを記録して保持し、ビデオ信号に対応するタイミングにより順次循環的に出力する画像メモリと、画像メモリから出力される画像データの水平解像度を、静止画のアスペクト比に対応する水平解像度に変換してビデオ信号により出力する解像度再変換回路とを備えることにより、画像メモリについては、ビデオ信号の１フィールド分以下の容量により構成して静止画によるビデオ信号を出力することができる。また記録手段からは１回の画像データの読み出しにより処理を完了することができ、これにより繰り返しの読み出しによる消費電力の増大を防止することができ、さらには高速度により読み出す必要が無いことにより構成を簡略化することができる。

これにより請求項５の構成によれば、消費電力の増大を有効に回避して、簡易な構成により、少ないメモリ容量で、高解像度により撮像結果等を表示することができる画像処理方法を提供することができる。

本発明によれば、消費電力の増大を有効に回避して、簡易な構成により、少ないメモリ容量で、高解像度により撮像結果等を表示することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例１に係る電子スチルカメラを示すブロック図である。この電子スチルカメラ１において、光学系２は、続く撮像素子３の撮像面に入射光を集光する。撮像素子３は、正方画素配列による例えばＣＣＤ（Charge Coupled Device ）固体撮像素子により形成され、撮像面に形成された光学像を光電変換して撮像信号を出力する。この処理において、撮像素子３は、制御回路４の制御により、通常の動作状態においては、動画による撮像信号を出力し、ユーザーが静止画の取得を指示した場合、静止画による撮像信号を出力する。

アナログディジタル変換回路（Ａ／Ｄ）５は、撮像素子３から出力される撮像信号をアナログディジタル変換処理して画像データを出力する。信号処理回路６は、このアナログディジタル変換回路５から出力される画像データをディジタル信号処理することにより、この撮像結果による画像データを輝度データ及び色差データによる画像データに変換し、さらにはガンマ調整、カラーバランス調整等して出力する。

画像データ処理回路７は、信号処理回路６から出力される画像データを処理してＤＲＡＭ８、画像メモリ９に出力し、また同様にＤＲＡＭ８に保持した画像データを処理して画像メモリ９に出力する。すなわち画像データ処理回路７は、通常の動作モードにおいては、信号処理回路６から出力される動画による画像データをこの電子スチルカメラ１のビデオ出力に対応する解像度により画像メモリ９に出力する。なおこの処理において、画像データ処理回路７は、手振れ補正、電子ズームの処理を実行する。具体的にこの実施例においては、このビデオ出力にＨＤＴＶ方式の画素数１４４０×５４０による画像データによりビデオ信号を出力するようになされ、これにより画像データ処理回路７は、順次入力される動画による撮像結果をＨＤＴＶ方式による画素数１４４０×５４０の解像度に変換して画像メモリ９に出力する。

この処理において、画像データ処理回路７は、画像メモリ９の記録領域を複数のバンクに区切って、画像メモリ９からの画像データの読み出しを後追いするように、順次循環的にバンクを切り換えて画像データを記録する。これにより画像データ処理回路７は、小さなメモリ容量による画像メモリ９をリングバッファとして使用して、動画による画像データを表示に供するようになされている。具体的に、この実施例においては、ＨＤＴＶ方式による画素数１４４０×５４０の画像データを１フィールド分、記録するのに必要な容量の約６７〔％〕の容量６〔Ｍｂｉｔ〕により画像メモリ９が形成されるようになされている。

これに対してユーザーにより静止画の記録が指示されると、信号処理回路６から出力される静止画による画像データをＤＲＡＭ８に記録する。このとき画像データ処理回路７は、図２（Ａ）及び図３（Ａ）に示すように、制御回路４の制御により、ユーザーの指示したアスペクト比、解像度となるように、信号処理回路６から出力される画像データを切り出すと共に、解像度を変換してＤＲＡＭ８に記録する。しかして図２（Ａ）は、アスペクト比１６：９、画素数１９２０×１０８０の解像度による静止画の記録をユーザーが指示した場合であり、図３（Ａ）は、アスペクト比４：３、画素数１９２０×１４４０の解像度による静止画の記録をユーザーが指示した場合である。これによりこの電子スチルカメラ１では、種々の解像度、アスペクト比により静止画を記録して保持できるようになされている。

画像データ処理回路７は、このようにして静止画による画像データＤ１をＤＲＡＭ８に記録する場合、このＤＲＡＭ８に記録する画像データＤ１を解像度変換回路７Ａにより処理して画像メモリ９に出力し、一定期間の間、動画による撮像結果に代えてこの静止画の画像データをビデオ信号により出力する。またユーザーがＤＲＡＭ８に記録した静止画による撮像結果のモニタを指示した場合、指示に係る静止画の画像データＤ１をＤＲＡＭ８から読み出し、この読み出した画像データＤ１を解像度変換回路７Ａにより処理して画像メモリ９に出力する。

ここで解像度変換回路７Ａは、例えば２次元のＦＩＲ（Finite Impulse Response ）フィルタにより形成され、画像データＤ１の垂直方向の解像度をビデオ出力の解像度に低減して出力する。またこのようにして垂直方向の解像度をビデオ出力の解像度に低減して、画像メモリ９に１枚の静止画に係る画像データを格納するように、水平方向の解像度を低減して出力する。しかしてこの実施例においては、この水平方向への解像度の低下がビデオ出力以下の解像度となるように設定されるようになされている。

すなわちこの実施例において、ビデオ出力にあっては、図２（Ｃ）に示すように、ＨＤＴＶ方式による解像度１４４０×５４０画素に設定されていることにより、例えば１９２０×１０８０画素による静止画（図２（Ａ））について、解像度変換回路７Ａは、図２（Ｂ）に示すように、垂直方向の解像度を１０８０画素から５４０画素に解像度変換するようになされている。また画像メモリ９の容量が６〔Ｍｂｉｔ〕（６×１０２４×１０２４〔ｂｉｔ〕）であり、また１画素当たりの画像データＤ１のビット数が１２ビットであることにより、水平方向については、９７０（（６×１０２４×１０２４）／（５４０×１２））画素の解像度に解像度変換するようになされている。

またアスペクト比４：３、解像度１９２０×１４４０による静止画（図３（Ａ））にあっては、図３（Ｂ）に示すように、垂直方向の解像度を１４４０画素から５４０画素に解像度変換し、水平方向の解像度を１９２０画素から９７０画素に解像度変換するようになされている。

これらにより画像メモリ９は、動画については、バンクを順次循環的に切り換えて、画像データ処理回路７から出力される画像データを順次記録しながら、この記録した画像データを出力するようになされている。また静止画については、解像度変換回路７Ａにより解像度を低減してなる画像データＤ２を記録して保持し、またこの保持した画像データＤ２をビデオ出力に対応するタイミングにより順次循環的に出力するようになされている。

ビデオ出力回路１０は、この画像メモリ９より順次画像データＤ２を読み出し、図示しない液晶表示パネル等による表示手段に出力し、また外部出力端子に出力する。これによりこの電子スチルカメラ１では、動画、静止画により被写体を撮像して撮像結果を確認できるようになされている。なおこの実施例においては、このビデオ出力による画像データをデータ圧縮して記録媒体に記録して動画による撮像結果を記録するようになされている。

この処理において、動画による画像データを画像メモリ９から読み出して出力する場合、ビデオ出力に係るタイミングにより順次画像メモリ９から画像データを読み出して出力する。これに対して静止画による画像データＤ２を画像メモリ９から読み出して出力する場合、画像メモリ９からビデオ出力に係るタイミングにより順次画像データＤ２を読み出し、解像度再変換回路１０Ａによりビデオ出力に係る解像度に再変換して出力する。

すなわち解像度再変換回路１０Ａは、例えば水平方向に係る１次元のＦＩＲフィルタにより形成され、ＤＲＡＭ８に記録してなる静止画のアスペクト比によりビデオ出力するように、画像メモリ９から出力される静止画による画像データＤ２の水平解像度を解像度変換する。具体的に、ＨＤＴＶ方式による１４４０×５４０画素のビデオ出力にあっては、正方画素による配列ではなく、アスペクト比は１６：９である。これに対して１９２０×１０８０画素による正方画素の静止画（図２（Ａ））にあっては、アスペクト比が１６：９であり、これによりこの１９２０×１０８０画素による静止画に係る画像データＤ２については、図２（Ｂ）及び（Ｃ）に示すように、水平方向の解像度を９７０画素から１４４０画素に約１．５倍に画素数を増大させるように変換して画像データＤ３により出力する。

これに対して１９２０×１４４０画素によるアスペクト比４：３の静止画（図３（Ａ））については、図３（Ｂ）及び（Ｃ）に示すように、９７０画素による水平方向の画素数を１０８０（＝（１４４０／１６）×（４×（９／３）））画素に増大させて画像データＤ３により出力する。なおこの場合、水平方向への画素数の増大は、約１．１倍となる。またこのようにしてアスペクト比を維持して水平方向の画素数を増大して、ビデオ出力の水平方向の画素数１４４０に満たない場合、水平走査方向の左右に、黒レベルによる画像データを付加し、これにより画面の左右に黒色の縁取りを形成してアスペクト比を補正する。

制御回路４は、演算処理手段により構成され、図示しない操作子の操作に電子スチルカメラ１の各部の動作を制御する。この一連の制御において、制御回路４は、この電子スチルカメラ１に登録された複数種類の記録フォーマットによりユーザーの選択を受け付け、これにより記録に供する静止画のアスペクト比、解像度の設定を受け付ける。またユーザーが静止画の記録を指示すると、この設定によるアスペクト比、解像度による画像データの記録を画像データ処理回路７に指示する。またこのアスペクト比、解像度に基づいて、解像度変換回路７Ａ、解像度再変換回路１０Ａに解像度の変換を指示する。またユーザーにより静止画の再生が指示されると、同様に、再生の指示に係る静止画のアスペクト比、解像度に基づいて、解像度変換回路７Ａ、解像度再変換回路１０Ａに解像度の変換を指示する。

（２）実施例の動作
以上の構成において、この電子スチルカメラ１では、通常の動作においては、撮像素子３より動画による撮像信号が出力され、この撮像信号がアナログディジタル変換回路５により画像データに変換される。またこの画像データが信号処理回路６により補正された後、画像データ処理回路７によりこの電子スチルカメラ１のビデオ出力に対応する解像度に変換された後、画像メモリ９に順次記録される。またこのようにして画像メモリ９に記録されてなる画像データは、順次読み出され、ビデオ出力回路１０より出力される。これによりこの電子スチルカメラ１では、動画による撮像結果を表示手段によりモニタできるようになされ、またモニタ装置等によりモニタできるようになされている。このようにして画像メモリ９を介して動画による画像データを出力するにつき、この電子スチルカメラ１では、複数バンクにより画像メモリ９が形成され、この画像メモリ９からの画像データの読み出しを追いかけるように、順次、循環的にバンクを切り換えて画像データが画像メモリ９に記録される。これによりこの電子スチルカメラ１では、このビデオ出力に係る画像データの１フィールド分以下の小容量により画像メモリ９を構成して、動画による撮像結果をモニタできるようになされている。

これに対してユーザーが静止画の記録を指示した場合、同様の処理に係る静止画の撮像結果による画像データが、画像データ処理回路７において、ユーザーにより指示されたアスペクト比、解像度に補正されてＤＲＡＭ８に記録される。このときこのＤＲＡＭ８に記録する画像データＤ１が、解像度変換回路７Ａにより、ビデオ出力に供する垂直解像度に解像度変換され、また画像メモリ９に記録可能な水平解像度であるビデオ出力以下の水平解像度に解像度変換され、この解像度変換による画像データＤ２が画像メモリ９に記録される。またこのようにして記録された画像データＤ２がビデオ出力に対応するタイミングにより順次循環的に繰り返し読み出され、ビデオ出力回路１０の解像度再変換回路１０Ａにおいて、元の静止画によるアスペクト比によりビデオ出力するように水平解像度が再変換されて出力される。

これによりこの実施例においては、ビデオ出力の１フィールド以下の少容量の画像メモリ９を用いて、高解像度の撮像結果を表示することができるようになされている。

またこの垂直方向及び水平方向への解像度の変換が、ビデオ出力に供する垂直解像度、画像メモリ９に記録可能な水平解像度への変換であり、この水平解像度を元の静止画によるアスペクト比により再変換する処理であることにより、種々の解像度により静止画を記録する場合にあっても、小容量による一定容量の画像メモリを用いてビデオ信号を出力することができる。またこのようにして表示して、水平方向の画素数が不足する場合には、黒レベルの画像データが水平方向の左右に付加され、これによりビデオ出力に係るアスペクト比と異なるアスペクト比による撮像結果を表示する場合の違和感が防止される。

これに対してＤＲＡＭ８に記録した静止画による撮像結果をモニタする場合、電子スチルカメラ１では、ＤＲＡＭ８に記録した静止画による画像データＤ１が読み出され、画像データ処理回路７の解像度変換回路７Ａにおいて、ビデオ出力に供する垂直解像度に解像度変換され、また画像メモリ９に記録可能な水平解像度であるビデオ出力以下の水平解像度に解像度変換され、この解像度変換による画像データＤ２が画像メモリ９に記録される。またこのようにして記録された画像データＤ２がビデオ出力に対応するタイミングにより順次循環的に繰り返し読み出され、ビデオ出力回路１０の解像度再変換回路１０Ａにおいて、元の静止画によるアスペクト比によりビデオ出力するように水平解像度が再変換されて出力される。

これにより種々の解像度により記録して保持した静止画を確認する場合でも、ビデオ出力の１フィールド以下の少容量の画像メモリ９を用いて表示することができるようになされている。またこのようにして表示して、水平方向の画素数が不足する場合には、黒レベルの画像データが水平方向の左右に付加され、これによりビデオ出力に係るアスペクト比と異なるアスペクト比による撮像結果を表示する場合の違和感が防止される。

（３）実施例の効果
以上の構成によれば、記録手段に記録した静止画による画像データの垂直解像度及び水平解像度を、それぞれビデオ出力の垂直解像度及び水平解像度以下に解像度変換して画像メモリに記録し、この画像メモリに記録した画像データを順次循環的に読み出して水平解像度を再変換することにより、消費電力の増大を有効に回避して、簡易な構成により、少ないメモリ容量で、高解像度により撮像結果等を表示することができる。

またこの記録に供する静止画による画像データが、ユーザーにより設定された種々の解像度、アスペクト比による画像データであることにより、電子スチルカメラに適用して種々の解像度により静止画を記録する場合でも、一定容量による小容量の画像メモリを用いてビデオ信号を出力することができる。

また静止画による画像データの水平方向の両端に、黒レベルの画像データを付加してアスペクト比を補正することにより、ビデオ出力に係るアスペクト比と異なるアスペクト比による撮像結果を表示する場合の違和感を防止することができる。

また動作の切り換えにより、静止画による画像データに代えて、動画による画像データをビデオ出力するようにして、画像メモリによりこの動画による画像データを記録してビデオ信号を出力することにより、静止画及び動画によるビデオ信号の出力に画像メモリを兼用する場合に、小容量の画像メモリによりビデオ信号を出力することができる。

なお上述の実施例においては、６〔Ｍｂｉｔ〕により画像メモリを構成する場合について述べたが、本発明はこれに限らず、必要に応じて種々の容量により構成することができる。

また上述の実施例においては、水平方向の両側に黒レベルによる画像データを付加する場合について述べたが、本発明はこれに限らず、水平方向の一端に黒レベルによる画像データを付加するようにしてもよい。

また上述の実施例においては、ＤＲＡＭに撮像結果を記録する場合について述べたが、本発明はこれに限らず、例えば光ディスク装置により記録手段を構成して撮像結果を記録する場合等、種々の記録手段により静止画を記録する場合に広く適用することができる。

また上述の実施例においては、電子スチルカメラに本発明を適用する場合について述べたが、本発明はこれに限らず、例えばビデオカメラ、携帯電話等、静止画の撮像機能を備えた種々の画像処理装置に広く適用することができる。

本発明は、例えば電子スチルカメラに適用することができる。

本発明の実施例に係る電子スチルカメラを示すブロック図である。 図１の電子スチルカメラにおける静止画の処理の説明に供する略線図である。 図１の電子スチルカメラにおける他の例による静止画の処理の説明に供する略線図である。

符号の説明

１……電子スチルカメラ、３……撮像素子、４……制御回路、５……アナログディジタル変換回路、６……信号処理回路、７……画像データ処理回路、７Ａ……解像度変換回路、８……ＤＲＡＭ、９……画像メモリ、１０……ビデオ出力回路、１０Ａ……解像度再変換回路

Claims (5)

1. 静止画による画像データを記録して保持し、前記画像データによるビデオ信号を出力する画像処理装置において、
   前記静止画による画像データを記録する記録手段と、
   前記記録手段に記録した静止画による画像データの垂直解像度を、前記ビデオ信号の垂直解像度に解像度変換すると共に、前記静止画による画像データの水平解像度を、前記ビデオ信号の水平解像度以下に解像度変換して出力する解像度変換回路と、
   前記解像度変換回路から出力される画像データを記録して保持し、前記ビデオ信号に対応するタイミングにより順次循環的に出力する画像メモリと、
   前記画像メモリから出力される画像データの水平解像度を、前記静止画のアスペクト比に対応する水平解像度に変換して前記ビデオ信号により出力する解像度再変換回路と
   を備えることを特徴とする画像処理装置。
2. 撮像結果を取得して前記静止画による画像データを出力する撮像手段と、
   前記静止画による画像データの解像度及びアスペクト比をユーザーによる設定値に設定する画像データ処理回路とを有し、
   前記記録手段により記録する前記画像データが、前記画像データ処理回路により設定された解像度及びアスペクト比による画像データである
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記解像度再変換回路は、
   前記静止画による画像データの水平方向の両端又は一端に、黒レベルの画像データを付加してアスペクト比を補正する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記撮像手段及び画像データ処理回路は、
   動作の切り換えにより、前記静止画による画像データに代えて、動画による画像データを出力し、
   前記画像メモリは、
   動作の切り換えにより、前記静止画による画像データに代えて、前記撮像手段及び画像データ処理回路による動画による画像データを順次循環的に記録すると共に、記録した画像データを順次出力して前記ビデオ信号を出力する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 静止画による画像データを記録手段に記録して保持し、前記画像データによるビデオ信号を出力する画像処理方法において、
   前記記録手段に記録した静止画による画像データの垂直解像度を、前記ビデオ信号の垂直解像度に解像度変換すると共に、前記静止画による画像データの水平解像度を、前記ビデオ信号の水平解像度以下に解像度変換し、画像メモリに記録する解像度変換のステップと、
   前記画像メモリから前記画像データを順次循環的に読み出し、該画像データの水平解像度を、前記静止画のアスペクト比に対応する水平解像度に変換して前記ビデオ信号により出力する解像度再変換のステップと
   を備えることを特徴とする画像処理方法。
   

Images