JP2012044714A - デジタルカメラ及びその制御方法 - Google Patents

Abstract

【課題】複数出力をもつ撮像素子とデジタルカメラの画像処理（画素補間を含むカラー処理、ＪＰＥＧ圧縮、間引き処理）を行うＩＣブロックを複数個並列に配置してほぼ同時に動作させることにより、処理の高速化を図る。
【解決手段】撮像素子１からの各出力毎に実際の画像処理を行うＩＣブロック３１，３２を接続し、各出力を個別に処理したうえで最終的に１つの画像を構成し、ファイルとして外部メモリに記憶する。複数チップ間で画像のやり取りを行うことで効率的な画像処理を実現し、例えば撮影画像の駒毎にメイン処理（最終的な画像形成）を切り替えるという方法によって高遠化を達成する。
【選択図】図１

Description

本発明は、デジタルカメラ及びその制御方法に関し、特に高速な画像処理や多機能のカメラシステムを構成する場合の応用技術に適用されるものである。

従来、デジタルカメラ等として適用される撮像装置としては、例えば図８に示すような構成のデジタルスチルカメラがある。なお、図示の例では、撮影者自身による不図示のカメラ操作スイッチ (カメラのメインＳＷ及びレリーズＳＷで構成される)の状態変化を全
体制御ＣＰＵ１１６が検出し、その他の各回路ブロックへの電源供給及び初期設定を行うようにする。

撮影画面範囲内の被写体像は、主撮影光学系１１８を通して撮像素子（この場合ではＣＣＤ）１００上に結像し、この撮像素子１００からの出力信号をＣＤＳ／ＡＧＣ／ＡＤ回路１０３を介して各画素毎に順々に所定のデジタル信号に変換する。

ここで、撮像手段（撮像素子）１００は、全体の駆動タイミングを決定しているタイミングジェネレータ（ＴＧ／ＳＳＧ）１０２からの信号に基づき、各画素毎の水平駆動並びに垂直駆動のためのドライバー回路１０１の出力で所定駆動することにより、画像信号出力を発生する。

ＣＤＳ／ＡＧＣ／ＡＤ回路１０３の出力信号は、補正ブロック１０４に入力し、ここで撮像素子１００と主撮影光学系１１８との組み合わせ等で生ずるシェーディング補正を実行したり、センサ固有のパターンノイズを除去するための補正を実行する。

以上のように、補正ブロック１０４の出力は、フロントメモリコントローラ１０５を介してバッファメモリ１０６へ順々にフレームデータとして記憶し、カメラの連写撮影時の画像を一時的に記憶してゆくことになる。

なお、図示したようにフロントメモリコントローラ１０５は、タイミングジェネレータ１０２と同期して動作するタイミング制御ブロック１０７の信号に基づいて動作することにより、撮像素子１００との同期をとっている。

最低でも１駒以上の撮影が完了した時点で、フロントメモリコントローラ１０５の制御により、撮影データを記憶しているバッファメモリ１０６のデータを、リアメモリコントローラ１０８を介してワークメモリ１１１へ一時的に転送する。

なお、このリアメモリコントローラ１０８は、同様にタイミングジェネレータ１０２と同期して動作するタイミング制御ブロック１０９の信号に基づいて動作する。

次に、ワークメモリ１１１のデータを、同じバスＡに接続されているカラー処理処理ブロック１１２にて色補間処理やマトリックス補正等のいわゆる絵作りを実施してＲ，Ｇ，Ｂ更にはＹ，Ｃｒ，Ｃｂの変換処理を行ってその結果を再度ワークメモリ１１１に記憶する。

ワークメモリ１１１に記憶したデータは、ＪＰＥＧ処理ブロック１１３を介して所定の圧縮フォーマットに基づきデータ圧縮し、その結果をカードコントローラ１１４を介して
カードメモリ１１５(通常では、フラッシュメモリ等の不揮発性メモリを使用する。)に記憶する。

また、逆に撮影済みの画像データを観察する場合には、カードメモリ１１５に圧縮記憶さレータデータをＪＰＥＧ処理ブロック１１３を通して通常の撮影画素毎のデータに伸張し、その結果をワークメモリ１１１へ転送することにより、不図示のモニター表示手段を通して外部表示することができる。

一方、カメラ全体の制御に関しては、全体制御ＣＰＵ１１６が、同じバスＢに接続されたインストラクションメモリ１１７に記憶してあるインストラクションコードに従って命令を実行し、レンズ制御手段１１９を介して主撮影光学系１１８を駆動制御すると共に、通信Ｉ／Ｆ１１０を介して画像に添付する様々な情報をカードメモリのデータとして記録する。

特開２０００−２５３３０５号公報

上述したように、通常のデジタルカメラにおける画像処理の場合、途中迄連写撮影駒を生データとしてバッファメモリに記憶しておきながら、順次後方の処理ブロックに転送してカラー処理及びＪＰＥＧ処理を実行するが、実際の動作の中では撮像素子からの読み出し速度をより高速化させることにより、いわゆるプロ仕様の銀塩カメラと同等の８駒／秒以上のスペックを実現することが可能となってきている。

撮像素子の読み出し速度を上げる方法としては、タイミングジェネレータの駆動クロックの周波数をアップさせてドライバーの駆動を単に高速化させる方法や、撮像素子からの読み出しを２つ以上の出力から同時に実行し、その後のバッファメモリに記憶するまでの処理をその読み出し出力数に合わせた複数ラインで並列に行う方法が提案されている。

しかしながら、前述したように、バッファメモリの内容をメモリコントローラを介してワークメモリに展開した後、そのデータを順次カラー処理ブロックに引き渡した上で所定のＲ，Ｇ，Ｂ画像データ若しくはＹ，Ｃｒ，Ｃｂ画像データに変換して再度ワークメモリに順次一時的に記憶し、更に引き続きこのデータをＪＰＥＧ処理ブロックへ転送する場合には、いわゆるラスターブロック変換に伴う８×８単位でのブロック単位での読み出しを図示した各ブロック間に接続されたバスＡを介して行うため、この処理ではバスＡをかなりの頻度で占有してしまう。

また、ＪＰＥＧ処理を介して実際に圧縮した画像データはカードメモリに記憶することになるが、この場合、カードメモリ自体の書き込み速度がネックとなり、当然のことながらＪＰＥＧ処理した結果をワークメモリから掃出する速度が遅くなってしまい、結果的にはワークメモリに多くのデータが溜まった状態となる。

この結果、撮影者自身にとっては、如何にカメラの駒速がアップしたとしても、実際の後処理の遅さがネックとなり、バッファメモリ又はワークメモリの容量を相当数増加させない限り、連写撮影した後のレリーズ動作に直ぐには移行できないという撮影上の不具合が発生してしまう。

本発明は、上記の課題に鑑みてなされたものであり、撮影シーケンスの中で撮像手段からのデータ読み出しと組み合わせて撮影後の処理を高速化させ、撮影上の不具合を解消して信頼性の高いデジタルカメラ及びその制御方法を提供することを目的とする。

本発明のデジタルカメラは、被写体像を撮像することにより得られたＲＡＷデータを出力する撮像部と、各々が個別に共通の画像処理が可能な複数の画像処理部と、前記撮像部から出力された第１駒目に対応する第１のＲＡＷデータを、前記複数の画像処理部のうちの一つの画像処理部で画像処理をしている期間中に、前記撮像部から前記第１の電気信号の後に出力された第２駒目に対応する第２のＲＡＷデータを、前記複数の画像処理部のうちの他の一つの画像処理部で画像処理を行うように制御する制御部とを備える。

本発明のデジタルカメラは、被写体像を撮像することにより得られた画像データを出力する撮像部と、各々が個別に共通の静止画を生成するための静止画画像処理を行う複数の画像処理部と、前記撮像部から出力された第１駒目に対応する第１の画像データを、前記複数の画像処理部のうちの一つの画像処理部で静止画画像処理をしている期間中に、前記撮像部から前記第１の電気信号の後に出力された第２駒目に対応する第２の画像データを、前記複数の画像処理部のうちの他の一つの画像処理部で静止画画像処理を行うように制御する制御部とを備える。

本発明のデジタルカメラの制御方法は、被写体像を撮像することにより得られたＲＡＷデータを出力する撮像部と、各々が個別に共通の画像処理が可能な複数の画像処理部と、を備えるデジタルカメラの制御方法であって、前記撮像部から出力された第１駒目に対応する第１のＲＡＷデータを、前記複数の画像処理部のうちの一つの画像処理部で画像処理をしている期間中に、前記撮像部から前記第１の電気信号の後に出力された第２駒目に対応する第２のＲＡＷデータを、前記複数の画像処理部のうちの他の一つの画像処理部で画像処理を行うように制御する。

本発明のデジタルカメラの制御方法は、被写体像を撮像することにより得られた画像データを出力する撮像部と、各々が個別に共通の画像処理が可能な複数の画像処理部と、を備えるデジタルカメラの制御方法であって、前記撮像部から出力された第１駒目に対応する第１の画像データを、前記複数の画像処理部のうちの一つの画像処理部で静止画画像処理をしている期間中に、前記撮像部から前記第１の電気信号の後に出力された第２駒目に対応する第２の画像データを、前記複数の画像処理部のうちの他の一つの画像処理部で静止画画像処理を行うように制御する。

本発明によれば、撮影シーケンスの中で撮像手段からのデータ読み出しと組み合わせて撮影後の処理を高速化させ、撮影上の不具合を解消して、通常画像処理の遅さによって連写撮影時の駒数が制限されるという問題点を大幅に改善し、信頼性の高い撮像装置及び方法が実現する。

本実施形態に係る撮像装置全体のハードウェア構成を示すブロック図である。 本実施形態に係る実際の動作タイミングを表したタイミング図である。 本実施形態に用いる撮像素子の具体的構成図である。 本実施形態に係る画像処理の構成を示すブロック図である。 本実施形態に係る非可逆タイプの圧縮処理の構成を示すブロック図である。 本実施形態に係る可逆タイプの圧縮処理の構成を示すブロック図である。 本実施形態に用いる撮像素子における画像処理範囲を示す概念図である。 従来の撮像装置全体のハードウェア構成を示すブロック図である。

本発明は、撮影画像をそのまま取り込むメモリコントローラブロック、実際に絵作りを行うためのカラー処理ブロック、ＪＰＥＧ処理ブロック、カードメモリコントローラ及びカードメモリを含む画像処理手段（画像処理ブロック）に関しては、同一機能を有するものを撮像手段に対して２つ以上並列で接続配置する構成とする。

具体的には、連写撮影時に撮像手段からの画像データを、例えば２チャンネル出力を通して読み出したうえで、各チャンネル毎のデータを別々のバッファメモリに記憶する。
この撮影データの一方側の出力は第１の画像処理ブロックで処理し、同時に他方側の出力は第２の画像処理ブロックで処理するというように、１つの撮影画像を同時に２つの画像処理ブロックで処理するという方法が考えられる。

この場合、それぞれが画像処理に必要な領域分だけは多少のオーバーラップ(ＣＨ１側
とＣＨ２側とで撮像素子上の同一領域をそれぞれ処理するということ)をさせて処理した
うえで、ＪＰＥＧ処理に関しては片方側にデータを転送することにより１つの処理ブロックで行う方が望ましく、その場合には撮影の奇数駒と偶数駒で処理ブロックを切り替えるという方法を採るものとする。

以下、本発明を適用した及び方法の具体例について、図面を参照しながら詳細に説明する。
図１は、本実施形態による撮像装置全体のハードウェア構成を示すブロック図である。図示の例では、撮影者自身による不図示のカメラ操作スイッチ (カメラのメインＳＷ及びレリーズＳＷで構成される)の状態変化を全体制御ＣＰＵ２６が検出し、その他の各回路ブロックへの電源供給並びに初期設定を開始する。

この撮像装置は、被写体像を結像し、その像データを各画素毎に電気信号に変換する撮像手段である撮像素子１と、撮像素子１から出力された電気信号を処理して画像信号を生成する画像処理手段である２つの画像処理ブロック３１，３２を有し、撮像素子１の出力端子であるＣＨ１，ＣＨ２に画像処理ブロック３１，３２が接続され、撮像素子１に対して並列接続とされて構成される。

画像処理ブロック３１は、撮像素子１から出力された電気信号を一時的に記憶する一時記憶手段を構成するメモリコントローラ８及びバッファメモリ９と、メモリコントローラ８の撮像素子１との同期をとるためのタイミング制御ブロック１０と、一時記憶手段に記憶されている電気信号を読み出して前記画像信号を生成する画像信号生成手段を構成するＪＰＥＧ処理ブロック１４、カラー処理ブロック１３及びワークメモリ１２と、ワークメモリ１２に記憶された画像データをカードコントローラ１５を介して記憶するカードメモリ１６と、通信Ｉ／Ｆ１１とを有し、メモリコントローラ８、ＪＰＥＧ処理ブロック１４、カラー処理ブロック１３、ワークメモリ１２、カードコントローラ１５及び通信Ｉ／Ｆ１１がバスＡ１に接続されている。

画像処理ブロック３２も、画像処理ブロック３１と同様に、撮像素子１から出力された電気信号を一時的に記憶する一時記憶手段を構成するメモリコントローラ１７及びバッファメモリ１８と、メモリコントローラ１７の撮像素子１との同期をとるためのタイミング制御ブロック１９と、一時記憶手段に記憶されている電気信号を読み出して前記画像信号を生成する画像信号生成手段を構成するＪＰＥＧ処理ブロック２３、カラー処理ブロック２２及びワークメモリ２１と、ワークメモリ２１に記憶された画像データをカードコントローラ２４を介して記憶するカードメモリ２５と、通信Ｉ／Ｆ２０とを有し、メモリコントローラ１７、ＪＰＥＧ処理ブロック２３、カラー処理ブロック２２、ワークメモリ２１、カードコントローラ１７及び通信Ｉ／Ｆ２０がバスＡ２に接続されている。

撮影画面範囲内の被写体像は、主撮影光学系２８を通して撮像素子（この場合はＣＣＤ）１上に結像し、この撮像素子１からの出力信号であるＣＨ１出力を、ＣＤＳ／ＡＧＣ／ＡＤ回路４を介して各画素毎に相関二重サンプリング、ゲイン設定、ＡＤ変換を順次実施して順々に所定のデジタル信号に変換し、撮像素子１からのもう一方の出力信号であるＣＨ２出力を、ＣＤＳ／ＡＧＣ／ＡＤ回路６を介して各画素毎に相関二重サンプリング、ゲイン設定、ＡＤ変換を順次実施して順々に所定のデジタル信号に変換する。

撮像素子１は、全体の駆動タイミングを決定しているタイミングジェネレータ（ＴＧ／ＳＳＧ）３からの信号に基づき、各画素毎の水平駆動並びに垂直駆動のためのドライバー回路２の出力で所定駆動することにより画像信号出力を発生するが、図１に示すように、出力チャンネルを２ＣＨ（実際にはこれ以上のチャンネル数を持つことも可能である。）を有しており、このチャンネルから同時に画像データを読み出すことで、図７に示したような単一チャンネルしか持たない撮像素子と比較してより高速に画像データを読み出すことが可能となる。

ここで、本実施形態で使用する撮像素子の具体的構成に関して、図３の構成図を用いて説明を行う。
図３は、ＣＨ１とＣＨ２の２つの出力を持つ撮像素子の内部構成を示したものであり、ａは実際の受光入力を電荷量に変換するフォトダイオード部、ｂはこのフォトダイオードで発生した電荷を図上の上から下へ向かっていわゆるバケツリレー形式で転送するための垂直ＣＣＤ部、ｃはこの垂直ＣＣＤによって運ばれた電荷を左右の出力へ向かって水平方向にバケツリレー形式で転送するための水平ＣＣＤ部を表したものであり、画面の中央から左右対称に各画素を読み出すタイプのものである。

画面の右側点線部４０で示した各画素は、水平ＣＣＤ部４２から右側出力チャンネルＣＨ１を介してデータを読み出してＣＤＳ／ＡＧＣ／ＡＤ４４へ入力し、一方画面の左側点線部４１で示した各画素は、水平ＣＣＤ部４３から左側出力チャンネルＣＨ２を介してデータを読み出してＣＤＳ／ＡＧＣ／ＡＤ４５へ入力するようになっている。

再び図１に戻り、ＣＤＳ／ＡＧＣ／ＡＤ回路４の出力信号は補正ブロック５に入力し、ここで撮像素子１と主撮影光学系２８との組み合わせ等で生ずるシェーディング補正を実行したり、センサ固有のパターンノイズを除去するための補正を実行するためのものであり、２次元画像データの水平方向及び垂直方向に対して、内部に組み込んでいる乗算回路や加算回路及びデータ記憶用のメモリを使って各画素毎の補正を行う。

同様にして、ＣＤＳ／ＡＧＣ／ＡＤ回路６の出力信号は補正ブロック７に入力し、ここでも撮像素子１と主撮影光学系２８との組み合わせ等で生ずるシェーディング補正や固定パターンノイズの除去といった補正を実行する。

続いて、図１に示すように、メモリコントローラ８は、タイミングジェネレータ３と同期して動作するタイミング制御ブロック１０の信号に基づいて動作することで撮像素子１との同期をとっていて、上述したように撮像素子１からのセンサ信号を、ＣＤＳ／ＡＧＣ／ＡＤ回路４、補正回路ブロック５を順次通して所定のバス巾データに変換し、バースト（連続）書き込みによってバッファメモリ９へデータを転送する。

同様の方法により、メモリコントローラ１７は、タイミングジェネレータ３と同期して動作するタイミング制御ブロック１９の信号に基づいて動作することで撮像素子１との同期をとっていて、上述したように撮像素子１からのセンサ信号を、ＣＤＳ／ＡＧＣ／ＡＤ回路６、補正回路ブロック７を順次通して所定のバス巾データに変換し、バースト（連続）書き込みによってバッファメモリ１８へデータを転送する。

以上のように、撮像素子１のＣＨ１側出力（図３に示した撮像素子の右画面）はバッファメモリ９へ、撮像素子１のＣＨ２側出力（図３に示した撮像素子の左画面）はバッファメモリ１８へそれぞれ記録されることになり、その結果、１枚の撮影画像が物理的にも論理的にも別空間に存在するメモリに記憶されることになる。

所定サイズの画像書き込みが完了した時点で、メモリコントローラ８は撮影データを記憶しているバッファメモリ９のデータをワークメモリ１２へ一時的に転送する。

次に、このメモリコントローラ８は、ワークメモリ１２のデータを同じバスＡ１に繋がっているカラー処理ブロック１３に順次転送し、いわゆる絵作り動作を行う。

この動作に関しては、図４に示したカラー処理ブロックの内部構成図を使って説明する。
バスＡを介してワークメモリ１２から入力した画像データは、データ入出力Ｉ／Ｆ５０を通してここで所定のデータ巾に変換した後、色補間ブロック５２へ入力するが、ここではまず通常センサの画素配列がいわゆるベイヤー配列で構成されているものに対して、色補間処理を行ってＲＧＢの３プレーンのデータに変換する。

この色補間処理に続いてマトリックス補正ブロック５３へ入力し、センサ固有のカラーフィルターの持つ分光特性から所望の色を出力するためのマトリックス補正を実行してＲＧＢからＲＧＢへ変換を行う。

次に、ガンマ変換ブロック５４へ入力して、通常ＣＤＳ／ＡＧＣ／ＡＤでデジタルデータに変換したデータ巾１２ビットを８ビットに変換する処理を行い、所定のダイナミックレンジに入るようにデータの変換いわゆるγ変換を行う。

続いて、ＲＧＢからＹＣｒＣｂ変換ブロック５５へ入力してＲＧＢからＹＣｒＣｂの色変換処理を行った後、偽色除去ブロック５６へ入力してＣｒＣｂ成分に対する偽色除去処理を行う。

ここで、偽色除去処理としては、いわゆるサンプリング周波数と画像周波数との関係から生ずる色モアレ等の発生に対してメディアンフィルター（中間値フィルター）を使用する等が挙げられる。

更に、エッジ強調ブロック５７へ入力し、いわゆる画像の中間周波数付近のゲインを持ち上げるエッジ強調処理を行って画像の輪郭強調等の加工を行った後、解像度変換ブロック５８へ入力して所定の画像サイズにリサイズする。

ここで、所定の画像サイズにリサイズする場合には、実際にフィルター処理を行ってから間引き処理を行うことになるが、水平及び垂直方向に対して同等の処理を行う。

以上の動作を１フレーム分順々に行ってゆき、その結果をデータ入出力Ｉ／Ｆ５０を介して再度ワークメモリ１２上の別領域上に展開してゆくことになる。

以上の動作が、図１に示した実際のカラー処理ブロック１３の実際の動作であるが、各ブロックの動作は基本的にパラメーター設定ブロック５１を介してその特性の設定を自由に全体制御ＣＰＵ２６からのデータによって変更可能であり、撮影駒毎に絵作り条件を変更することができる。

続いて、メモリコントローラ８は、このワークメモリ１２に展開したカラー処理後のデータを同じバスＡ１に繋がっているＪＰＥＧ処理ブロック１４に順次転送し、ここで実際の画像の圧縮処理を実行する。

このＪＰＥＧ処理ブロック１４の動作に関しては、図５及び図６に示した内部構成図を使って説明する。
図５はいわゆる非可逆タイプのＪＰＥＧ処理に関するものであり、ＤＣＴ変換をベースにした周波数変換を基本としている。

はじめに上述した方法でカラー処理を行った結果を記憶しているワークメモリ１２の画像処理後のデータを、データ入出力Ｉ／Ｆ６０を介して読み込み、ラスターブロック変換ブロック６３へ入力して、画像データを水平８画素、垂直８画素単位での２次元単位でのブロックに変換する。

次に、ＤＣＴ変換ブロック６４にデータを入力し、ここでは８×８ブロック単位でいわゆる周波数成分毎の８×８のデータに変換するＤＣＴ変換を行い、２次元単位での低周波成分から高周波成分への係数を算出する。

次に、量子化ブロック６５へ入力して上記ＤＣＴ変換で算出した係数値に対する量子化を行うが、この量子化に関しては事前に値が設定されている量子化テーブル６１の値に基づいて各係数毎の除算にて実現している。

更に、この量子化した結果を所定のスキャン方向に沿ってデータを読み出しながら、ハフマン符号化ブロック６６へ入力して、ここではやはり事前に値が設定されているハフマンテーブル６２の値に沿ったエントロピー符号化を実施する。

上記の方法で圧縮したデータを、再度データ入出力Ｉ／Ｆ６０を介してワークメモリ１２の所定領域内に書き戻すことで一連の圧縮処理を終了する。

一方、別のタイプのＪＰＥＧ処理としては可逆タイプの圧縮方法があるが、この方法に関しては図６の内部ブロック構成図を用いて説明を行う。
図６は、いわゆるＤＰＣＭをベースにした可逆タイプのＪＰＥＧ処理に関するものであり、はじめに上述した方法でカラー処理を行った結果を記憶しているワークメモリ１２の画像処理後のデータを、データ入出力Ｉ／Ｆ７０を介して読み込み、ＤＰＣＭ変換ブロック７２へ入力して、予測値との差分データとして画像データを変換する。

次に、このＤＰＣＭ変換したデータを読み出しながらハフマン符号化ブロック７３へ入力して、ここでは事前に値が設定されているハフマンテーブル７１の値に沿ったエントロピー符号化を実施する。

上記の方法で圧縮したデータを、再度データ入出力Ｉ／Ｆ７０を介してワークメモリ１２の別の所定領域内に書き戻すことで一連の圧縮処理を終了する。

以上の方法で、ＪＰＥＧ処理ブロック１４を介して所定の圧縮フォーマットに基づきデータ圧縮した上で、その圧縮データをカードコントローラ１５を介してカードメモリ１６(通常フラッシュメモリ等の不揮発性メモリを使用)に記憶する。

また、逆に撮影済みの画像データを観察する場合には、上記カードメモリ１６に圧縮記憶さレータデータをＪＰＥＧ処理ブロック１４（但し前述した図５及び図６のＪＰＥＧ処理ブロック構成図の中では圧縮したデータを伸張するブロックは記載していない。）を通して通常の撮影画素毎のデータに伸張し、その結果をワークメモリ１２へ転送することで、不図示のモニター表示手段を通して撮影画像を縮小して外部表示することができる。

以上が図１の破線で示した画像処理ブロック３１の構成を説明したものであるが、全く同様にメモリコントローラ６を介して出力されるデータを処理する画像処理ブロック３２が同様に破線で示されている。

この画像処理ブロック３２では、補正ブロック７からのデータをメモリコントローラ１７を介してバッファメモリ１８に予め記憶しておき、その撮影画像をメモリコントローラ１７を介してワークメモリ２１へ転送する。

更に、メモリコントローラ１７はタイミング制御ブロック１９からのタイミング信号に基づいて、ワークメモリ２１のデータを読み出してカラー処理ブロック２２へ転送し、ここで前述した方法に沿って実際の絵作り処理を行い、その結果を再度ワークメモリ２１へ転送する。

続いて、メモリコントローラ１７はワークメモリ２１に記憶した画像処理後のデータを読み出してＪＰＥＧ処理ブロック２３へ転送し、ここで前述した方法に沿ってＪＰＥＧ圧縮処理を行って、その圧縮データを再度ワークメモリ２１へ書き戻すことになる。

更に、この圧縮後のデータをカードコントローラ２４を介してカードメモリ２５へ書き込み、撮影画像の記録を完了する。

一方、カメラ全体の制御及び上記コントローラに対するシーケンス制御に関しては、全体制御ＣＰＵ２６がバスＢに接続されているインストラクションメモリ２７に記憶してあるインストラクションコードに従って命令を実行することで動作を行い、レンズ制御手段２９を介して主撮影光学系２８を駆動制御（レンズ内のフォーカス駆動や絞り駆動制御）したり不図示のシャッター制御手段を介して実際のシャッター露光制御を行い、通信Ｉ／Ｆ１１を介して画像処理ブロック３１内での撮影処理画像に対してヘッダー情報を付加したり、撮影条件等の情報をカードメモリ内のデータとして付加したりして記録する。

同様に、画像処理ブロック３２に対しても、通信Ｉ／Ｆ２０を介して上記と同様の処理を行い、様々な情報を付加して記録する。

以上が図１に示した全体ブロックの構成に関する説明であるが、上記構成にもあるように撮像素子１の画面右側は画像処理ブロック３１で処理し、画面左側は画像処理ブロック３２で処理する形を採っているので、実際にはカラー処理のところでのフィルター処理に関しては、画面中央部の領域について画像処理ブロック３１，３２の両方でオーバーラップさせながら処理する必要がある。

また、ＪＰＥＧ処理に関しても１つの撮影駒を左右に分割して処理するという方法は現実的ではなく、実際にはカラー処理が完了した時点で画像処理ブロック３１，３２のいずれかにデータを転送して、一方のＪＰＥＧ処理ブロックを使って圧縮処理を行うという方法が採られる。

この場合、画像処理ブロック３１と画像処理ブロック３２の間では、何らかのデータ受け渡しが必要になるが、画像処理ブロック３１，３２間のデータ受け渡し方法に関して、図２に示した撮影シーケンスタイミング図を用いて説明を行う。

図２は、実際のカメラで連写撮影等を行った場合のタイミングを簡単に表したものである。
ここで、一番上にシャッター露光タイミングを示しており、この場合連写撮影動作としてほぼ同間隔で撮影を行い１０駒目迄の撮影を行っている。

その下はセンサ読出しタイミングを示したものであり、各駒共にシャッター露光完了と同時にセンサ読出しを行い、前述したように画像処理ブロック３１内のメモリコントローラ８の制御に従ってバッファメモリ９に撮影画像データを書き込んでいる。

同様に、上から８番目のタイミングが画像処理ブロック３２に対するセンサ読み出しタイミングを示したものであり、画像処理ブロック３１のタイミングと全く同じようにしてメモリコントローラ１７の制御に従ってバッファメモリ１８に撮影データを書き込んでいる。

次に、この最初の１駒目の撮影画像に対しての画像処理を開始するが、この場合上から７番目に示した通信Ｉ／Ｆタイミングのように、全体制御ＣＰＵ２６からの指示によってメモリコントローラ８が動作を開始し、図２の上から３番目に示したタイミングのように、バッファメモリ９の記憶画像をワークメモリ１２に転送する。

同様に、画像処理ブロック３２に対しても図２の１番下のタイミングに示したように、全体制御ＣＰＵ２６からの指示によってメモリコントローラ１７が動作を開始し、図２の下から５番目に示したタイミングのように、バッファメモリ１８の記録画像をワークメモリ２１に転送する。

上から４番目は画像処理ブロック３１におけるカラー処理の動作タイミングの様子を示したものであり、その下は同様に画像処理ブロック３１におけるＪＰＥＧ処理の動作タイミングの様子を示したものである。
同様に下から４番目は、画像処理ブロック３２におけるカラー処理の動作タイミングの様子を示したものであり、その下は画像処理ブロック３２におけるＪＰＥＧ処理の動作タイミングの様子を示したものである。

ここで、それぞれのブロックでカラー処理を実行する場合は、図３に示したような撮像素子を前提として画像処理を行う時に、画面中央部の境界付近を互いにオーバーラップさせる（図７に模式的に示したように画面中央を境界としてある所定範囲に関しては、画面の左側も画像処理ブロック３１側でも処理し、画面の右側も画像処理ブロック３２側で処理する）必要がある。

従ってこの場合には、図２の通信Ｉ／Ｆのタイミングに示したように、この画像データを互いに相手側に転送する動作を行っている。
例えば、図２の上から７番目に示した通信Ｉ／Ｆタイミングでは、ワークメモリ間転送としてワークメモリ２１に記憶している画像の一部をワークメモリ１２に転送し、同様に図２の一番下に示した通信Ｉ／Ｆタイミングでは、ワークメモリ間転送としてワークメモリ１２に記憶している画像の一部をワークメモリ２１に転送するという方法を採っている。

また、ＪＰＥＧ処理に関しては、通信Ｉ／Ｆを介して一方のブロックから一方のブロックに対して、上記カラー処理ブロックで処理した結果を記憶しているワークメモリ上の画像データを転送したうえで、一方のＪＰＥＧ処理ブロックで圧縮動作を行うものとする。

これは、通信Ｉ／Ｆタイミングに示したように、１駒目の撮影データに関しては画像処理ブロック３２側でカラー処理した結果を記憶している画像データの内容を画像処理ブロック３１のワークメモリ１２に転送したうえで、１駒目の全体画像をＪＰＥＧ処理ブロック１４で処理することになる。

更に、上から６番目のタイミングに示したように、ワークメモリ１２に記憶してある圧縮データをカードコントローラ１５を介してカードメモリ１６へ書き込む。

最後に、画像処理ブロック３１における１駒目のカード書込み動作が完了した時点で、メモリコントローラ８からの完了割り込み信号を全体制御ＣＰＵ２６へ伝達して１駒目の処理が完了したことを通知する。

次に、２駒目の撮影画像に対する処理の場合は、前述したのと同様に通信Ｉ／Ｆ１１及び２０を介して画像処理ブロック３１内のメモリコントローラ８及び画像処理ブロック３２内のメモリコントローラ１７の動作を開始し、同様のカラー処理及びＪＰＥＧ処理を各ブロックで同時に開始する。

但し今回の場合には、カラー処理の結果を通信Ｉ／Ｆ１１及び２０を介して画像処理ブロック３１から画像処理ブロック３２のワークメモリに転送したうえで、画像処理ブロック３２内のＪＰＥＧ処理ブロック２３で圧縮処理を実行し、カードコントローラ２４を介してカードメモリ２５へデータを書き込む。

最後に、画像処理ブロック３２での１駒目のカード書込み動作が完了した時点で、メモリコントローラ１７からの完了割り込み信号を全体制御ＣＰＵ２６へ伝達して２駒目の処理が完了したことを通知する。
実際の動作では画像処理ブロック３１での１駒目の画像圧縮処理が完了する前に、２駒目の撮影画像に対する画像圧縮処理を開始するので１駒目の撮影画像と２駒目の撮影画像は別々のカードメモリに記憶することになる。

この図で示したタイミングでは、奇数撮影駒に対する処理は画像処理ブロック３１で、偶数撮影駒に対する処理は画像処理ブロック３２で処理する構成となっているが、必ずしもそういう撮影駒に限定する必要はなく、処理を開始する前に動作が完了しているブロックを使用する方法も考えられる。

例えば、１駒目の処理が画像処理ブロック３１で完了する前に、２駒目の処理が画像処理ブロック３２で完了した場合（１駒目と２駒目はこのタイミング図では時間差があるが、処理が進むにつれ画像処理ブロック３１と画像処理ブロック３２が処理を開始するタイミングは近づいてゆき、処理時間が逆転する場合もある。）には、３駒目の処理は画像処理ブロック３２で続けて行うことも可能である。

これは、各ブロック内のメモリコントローラからの処理完了割り込みを各通信Ｉ／Ｆブロックを介して全体制御ＣＰＵ２６が検出することにより、次の撮影駒に対する処理をどちらのブロックで実行するかを決定することによって実現している。

なお、本実施形態では、撮像素子１に２つの画像処理ブロック３１，３２が並列接続された場合を例示したが、本発明はこの構成に限定されるものではなく、３つ以上の画像処理ブロックを並列接続し、撮影状況等に適合させて適宜切り替えるように構成しても良い。

以上説明したように、本実施形態によれば、撮影シーケンスの中で撮像手段からのデータ読み出しと組み合わせて撮影後の処理を高速化させ、撮影上の不具合を解消して信頼性の高い撮像装置が実現する。即ち、カメラの高速連写撮影時などで撮像素子からの画像データを複数ライン出力を介して高速に読み出して、一時的にそのままの形（ＲＡＷデータ形式）で各ライン毎に接続したコントローラ経由で各々のバッファメモリに連続的に記憶してゆきながら、１駒目の撮影画像に対する処理を同時に別々のブロックで分割処理する一方で、２駒目の撮影画像に対する処理も一部の動作は開始するという方法を採ることにより、通常画像処理の遅さによって連写撮影時の駒数が制限されるという問題点が大幅に改善される。

また、このようなマルチ処理を実行する際に、単に奇数駒に対する処理は第１の画像処理ブロックで行い、偶数駒に対する処理は第２の画像処理ブロックで行うというような固定的な構成とする替わりに、複数の画像処理ブロックにおいて、その時その時で画像処理が完了しており、次の処理を開始できる準備が整っている画像処理ブロックを優先的に使用するというように、より高機能のマルチ処理システムを構成することにより、更に高速な画像処理システムを実現することができる。

本発明によれば、撮影シーケンスの中で撮像手段からのデータ読み出しと組み合わせて撮影後の処理を高速化させ、撮影上の不具合を解消して、通常画像処理の遅さによって連写撮影時の駒数が制限されるという問題点を大幅に改善し、信頼性の高い撮像装置及び方法が実現する。

１ 撮像素子
２ ドライバー回路
３ ＴＧ／ＳＳＧ
４，６ ＣＤＳ／ＡＧＣ／ＡＤ回路
５，７ 補正ブロック
８，１７ メモリコントローラ
９，１８ バッファメモリ
１０，１９ タイミング制御ブロック
１１，２０ 通信Ｉ／Ｆ
１２，２１ ワークメモリ
１３，２２ カラー処理ブロック
１４，２３ ＪＰＥＧ処理ブロック
１５，２４ カードコントローラ
１６，２５ カードメモリ
２６ 全体制御ＣＰＵ
２７ インストラクションメモリ
２８ 主撮影光学系
２９ レンズ制御手段
３１，３２ 画像処理ブロック

本発明のデジタルカメラは、被写体像を撮像することにより得られたＲＡＷデータを出力する撮像部と、各々が個別にＲＡＷデータの画像処理が可能な第１及び第２の画像処理部と、前記撮像部から出力された第１駒目に対応する第１のＲＡＷデータを、前記第１の画像処理部で画像処理をしている期間中に、前記撮像部から前記第１の電気信号の後に出力された第２駒目に対応する第２のＲＡＷデータを、前記第２の画像処理部で画像処理を行うように制御する制御部と、を備え、前記制御部は、前記第１及び第２の画像処理部から画像処理の完了通知を受けることが可能であり、前記第１の画像処理部よりも先に前記第２の画像処理部から画像処理の完了通知を受けた場合、第３駒目に対応する第３のＲＡＷデータを、前記第２の画像処理部で画像処理を行うように制御する。

本発明のデジタルカメラの制御方法は、被写体像を撮像することにより得られたＲＡＷデータを出力する撮像部と、各々が個別にＲＡＷデータの画像圧縮処理が可能な第１及び第２の画像処理部と、を備えるデジタルカメラの制御方法であって、前記撮像部から出力された第１駒目に対応する第１のＲＡＷデータを、前記第１の画像処理部で画像処理をしている期間中に、前記撮像部から前記第１の電気信号の後に出力された第２駒目に対応する第２のＲＡＷデータを、前記第２の一つの画像処理部で画像処理を行うように制御し、前記第１及び第２の画像処理部から画像処理の完了通知のうち、前記第１の画像処理部よりも先に前記第２の画像処理部から画像処理の完了通知を受けた場合、第３駒目に対応する第３のＲＡＷデータを、前記第２の画像処理部で画像処理を行うように制御する。

本発明によれば、撮影シーケンスの中で撮像手段からのデータ読み出しと組み合わせて撮影後の処理を高速化させ、撮影上の不具合を解消して、通常画像処理の遅さによって連続撮影の速さが制限されるという問題点を大幅に改善し、信頼性の高い撮像装置及び方法が実現する。

Claims (20)

1. 被写体像を撮像することにより得られたＲＡＷデータを出力する撮像部と、
   各々が個別に共通の画像処理が可能な複数の画像処理部と、
   前記撮像部から出力された第１駒目に対応する第１のＲＡＷデータを、前記複数の画像処理部のうちの一つの画像処理部で画像処理をしている期間中に、前記撮像部から前記第１の電気信号の後に出力された第２駒目に対応する第２のＲＡＷデータを、前記複数の画像処理部のうちの他の一つの画像処理部で画像処理を行うように制御する制御部と
   を備えることを特徴とするデジタルカメラ。
2. 前記画像処理は、ＲＡＷデータの色補間処理を含むことを特徴とする請求項１に記載のデジタルカメラ。
3. 前記画像処理は、色空間変換処理を含むことを特徴とする請求項１に記載のデジタルカメラ。
4. 前記色空間変換処理は、輝度信号及び色差信号を生成する処理を含むことを特徴とする請求項３に記載のデジタルカメラ。
5. 前記画像処理は、圧縮処理を含むことを特徴とする請求項１に記載のデジタルカメラ。
6. 前記画像処理は、ＲＡＷデータの色補間処理及び圧縮処理を含むことを特徴とする請求項１に記載のデジタルカメラ。
7. 前記制御部は、前記第１のＲＡＷデータが画像処理されたデータを圧縮処理している期間中に、前記第２のＲＡＷデータを色処理するように前記複数の画像処理部を制御することを特徴とする請求項１に記載のデジタルカメラ。
8. 前記圧縮処理は、ＪＰＥＧ画像への圧縮処理であることを特徴とする請求項５〜７の何れか１項に記載のデジタルカメラ。
9. 前記第１及び第２のＲＡＷデータは、前記撮像部による連写撮影により得られたＲＡＷデータであることを特徴とする請求項１〜８の何れか１項に記載のデジタルカメラ。
10. 被写体像を撮像することにより得られた画像データを出力する撮像部と、
    各々が個別に共通の静止画を生成するための静止画画像処理を行う複数の画像処理部と、
    前記撮像部から出力された第１駒目に対応する第１の画像データを、前記複数の画像処理部のうちの一つの画像処理部で静止画画像処理をしている期間中に、前記撮像部から前記第１の電気信号の後に出力された第２駒目に対応する第２の画像データを、前記複数の画像処理部のうちの他の一つの画像処理部で静止画画像処理を行うように制御する制御部と
    を備えることを特徴とするデジタルカメラ。
11. 前記静止画画像処理は、色処理を含むことを特徴とする請求項１０に記載のデジタルカメラ。
12. 前記色処理は、輝度信号及び色差信号を生成する処理を含むことを特徴とする請求項１１に記載のデジタルカメラ。
13. 前記静止画画像処理は、圧縮処理を含むことを特徴とする請求項１０に記載のデジタルカメラ。
14. 前記静止画画像処理は、色処理及び圧縮処理を含むことを特徴とする請求項１０に記載のデジタルカメラ。
15. 前記制御部は、前記第１の画像データが前記画像処理されたデータを圧縮処理している期間中に、前記第２の画像データを色処理するように前記複数の画像処理部を制御することを特徴とする請求項１０に記載のデジタルカメラ。
16. 前記圧縮処理は、ＪＰＥＧ画像への圧縮処理であることを特徴とする請求項１３〜１５の何れか１項に記載のデジタルカメラ。
17. 前記第１及び第２の画像データは、前記撮像部による連写撮影により得られた画像データであることを特徴とする請求項１０〜１６の何れか１項に記載のデジタルカメラ。
18. 前記第１及び第２の画像データは、ＲＡＷデータであることを特徴とする請求項１０〜１７の何れか１項に記載のデジタルカメラ。
19. 被写体像を撮像することにより得られたＲＡＷデータを出力する撮像部と、各々が個別に共通の画像処理が可能な複数の画像処理部と、を備えるデジタルカメラの制御方法であって、
    前記撮像部から出力された第１駒目に対応する第１のＲＡＷデータを、前記複数の画像処理部のうちの一つの画像処理部で画像処理をしている期間中に、前記撮像部から前記第１の電気信号の後に出力された第２駒目に対応する第２のＲＡＷデータを、前記複数の画像処理部のうちの他の一つの画像処理部で画像処理を行うように制御することを特徴とするデジタルカメラの制御方法。
20. 被写体像を撮像することにより得られた画像データを出力する撮像部と、各々が個別に共通の画像処理が可能な複数の画像処理部と、を備えるデジタルカメラの制御方法であって、
    前記撮像部から出力された第１駒目に対応する第１の画像データを、前記複数の画像処理部のうちの一つの画像処理部で静止画画像処理をしている期間中に、前記撮像部から前記第１の電気信号の後に出力された第２駒目に対応する第２の画像データを、前記複数の画像処理部のうちの他の一つの画像処理部で静止画画像処理を行うように制御することを特徴とするデジタルカメラの制御方法。

Images