JP2005278025A - 輝度・色差信号生成装置、画像圧縮装置、及び画像処理システム - Google Patents

Abstract

【課題】 固体撮像素子から得られた色信号を圧縮処理するまでの工程において、省電力化と小型化を図ることのできる輝度・色差信号生成装置等を提供することを目的とするものである。
【解決手段】 複数の画素からなる受光面に、所定の色配列を有する色フィルタが貼付された固体撮像素子より出力される色信号から、任意の画素に対して、画素に係る前記色フィルタの色属性とは異なる色属性の色信号を補間演算により生成する手段と、任意の画素に係る複数の前記色信号から、画素に係る輝度信号或いは１つ以上の色差信号の内の少なくとも一方の信号を生成する手段と、輝度信号及び色差信号を生成する画素を注目画素として設定する手段とにより、省電力化と小型化を図ることのできる輝度・色差信号生成装置等を提供する。
【選択図】 図１

Description

本発明は、色信号から輝度信号、色差信号を生成処理する輝度・色差信号生成装置、色信号から生成された輝度信号、色差信号を圧縮処理する画像圧縮装置、及び色信号から生成された輝度信号、色差信号の圧縮、伸長、及び再生処理を行う画像処理システムに関し、特に、カプセル内視鏡や携帯電話等の比較的画質よりも省電力や小型化が要求される製品に用いて好適な輝度・色差信号生成装置、画像圧縮装置、及び画像処理システムに関する。

従来の一般的な画像処理システムは、図１２に示すように、撮像装置１０１に、被写体からの光を受光し、受光量に応じた色信号を出力する固体撮像素子が備えられており、固体撮像素子からの色信号が画像データとして転送される。画像データの効率的な転送を図るために、画像データは、通常、画像データ圧縮装置１０２の処理を介して転送される。画像データ圧縮装置１０２は、入力された画像データに対してＪＰＥＧ（Joint Photograhic ExpertGroup）や、ＭＰＥＧ（Moving Picture ExpertGroup）等の規格に基づいた圧縮処理を行い、その後、圧縮処理済みの画像データを転送する。

ところで、固体撮像素子を単板式であると仮定すると、従来の撮像装置１０１においては、画像データ圧縮装置１０２での圧縮処理による画像データの劣化を軽減するために、撮像によって得られた色信号を補間処理によって、色信号の総数に対して信号の総数が３倍になる色信号Ｒ（赤）、Ｇ（緑）、Ｂ（青）に変換し、その後、これらの色信号に対して色空間変換処理を施すことによって、画像データ圧縮装置１０２への入力信号である輝度信号Ｙ、色差信号Ｕ、Ｖを生成していた。

そして、転送された圧縮処理済みの画像データを受け取った画像データ伸長装置１０３は、規格に基づいた伸長処理を行い、得られた輝度信号Ｙ、色差信号Ｕ、Ｖに対して画像再生装置１０４は、色空間変換処理の逆演算によって、これらの信号を色信号Ｒ、Ｇ、Ｂに変換して画像として表示していた。

以下、このような撮像装置１０１と、撮像装置１０１から出力される画像データを圧縮処理する画像データ圧縮装置１０２と、画像データ圧縮装置１０２から出力される圧縮処理済みの画像データを伸長処理する画像データ伸長装置１０３と、画像再生装置１０４からなる画像処理システムについて、更に詳細に説明する。

撮像装置１０１の前段部２０１は、図１３に示すように、色フィルタ２０１１と、固体撮像素子２０１２と、補間処理手段２０１３と、輝度・色差信号生成手段２０１４とを備えている。色フィルタ２０１１は、例えば図２（Ａ）に示すように、Ｒ、Ｇ、Ｂの各色フィルタがベイヤ配列されており、被写体からの光が色フィルタ２０１１を介して固体撮像素子２０１２に入射するように固体撮像素子２０１２の前面に貼付されている。

固体撮像素子２０１２は、色フィルタ２０１１を介して被写体からの光を受光し、受光量に応じた色信号を出力するものであり、色フィルタ２０１１の各色フィルタに対応した複数の受光素子を備えている。固体撮像素子２０１２からの出力は色信号として補間処理手段２０１３に入力される。

補間処理手段２０１３は、固体撮像素子２０１２から出力された色信号に基づいて、各画素ごとに補間処理を行い、色信号Ｒ、Ｇ、Ｂを生成する回路であり、色信号Ｒ、Ｇ、Ｂは、輝度・色差信号生成手段２０１４に入力される。輝度・色差信号生成手段２０１４は、補間処理手段２０１３から出力された色信号Ｒ、Ｇ、Ｂに基づいて、輝度信号Ｙ、色差信号Ｕ、Ｖを生成するものである。これら輝度信号Ｙ、色差信号Ｕ、Ｖは画像データとして、画像圧縮部２０２に入力される。

画像圧縮部２０２は、図１３に示すように、周波数変換手段２０２１と、量子化手段２０２２と、符号化手段２０２３とを備えている。周波数変換手段２０２１は、所定のブロック内の輝度信号Ｙ、色差信号Ｕ、Ｖに対して、空間周波数成分を算出するものである。例えば、ＪＰＥＧの規格では、１ブロックは、輝度信号Ｙ、色差信号Ｕ、Ｖのそれぞれにおいて水平８信号、垂直８信号、つまり、８×８信号を１ブロックとして構成され、８×８信号に対して、直交変換の一種であるＤＣＴ（離散コサイン変換）を施して、空間周波数成分に変換される。空間周波数成分は、量子化手段２０２２に入力される。

量子化手段２０２２は、周波数変換手段２０２１から出力された空間周波数成分に対して、量子化を施すものであり、量子化手段２０２２から出力される量子化された空間周波数成分は、符号化手段２０２３へ入力される。符号化手段２０２３は、量子化手段２０２２から出力される量子化された空間周波数成分に対して、符号データを形成するものである。例えば、ＪＰＥＧの規格では、量子化手段２０２２から出力される量子化された空間周波数成分に対して、ランレングス符号化、ハフマン符号化処理が施される。符号データは、画像伸長部２０３に入力される。

画像伸長部２０３は、図１３に示すように、復号化手段２０３１と、逆量子化手段２０３２と、逆周波数変換手段２０３３とを備えている。画像伸長部２０３は、画像圧縮部２０２で施した圧縮処理に対応した伸長処理を施すもので、輝度信号Ｙ、色差信号Ｕ、Ｖを出力する。例えば、ＪＰＥＧの規格では、ハフマン復号化、ランレングス復号化、逆量子化、逆ＤＣＴが施される。画像伸長部２０３から出力される輝度信号Ｙ、色差信号Ｕ、Ｖは、後段部２０４に入力される。

後段部２０４は、図１３に示すように、色信号生成手段２０４１を備えている。色信号生成手段２０４１は、画像伸長部２０３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖに基づいて、色信号Ｒ、Ｇ、Ｂを生成するものである。

このように、従来の画像処理システムでは、固体撮像素子から得られた色信号から、各画素ごとの補間処理によって色信号Ｒ、Ｇ、Ｂを生成し、色信号Ｒ、Ｇ、Ｂから、色空間変換処理によって、輝度信号Ｙ、色差信号Ｕ、Ｖを生成しているため、処理データ量が多く、且つ多くの処理を必要としていた。したがって、固体撮像素子から得られた色信号を圧縮処理するまでの処理工程で、多くの電力を必要とした。また、色信号Ｒ、Ｇ、Ｂ、及び輝度信号Ｙ、色差信号Ｕ、Ｖを保持する手段が必要であったため、小型化が困難であった。

このような撮像信号処理に関連して、単板式の撮像素子から出力されたベイヤ配列の色信号Ｒ、Ｇ、Ｂを、色信号ごとに分離し、分離された色信号Ｒ、Ｇ、Ｂを、圧縮手段による画質劣化が少なくなるように補間処理し、補間処理された色信号Ｒ、Ｇ、Ｂを圧縮する撮像信号処理手法について開示がなされている（例えば、特許文献１参照。）。
特開平４−２８４０８７号公報

しかしながら、この撮像信号処理手法においても、補間処理を行ってから圧縮処理を行うため、圧縮処理する際には、やはり処理データ量が増加してしまうという問題は解消できていない。

そこで、本発明は、上述の問題点に鑑みてなされたものであり、被写体の撮像から、撮像によって得られる画像データの圧縮処理までを、処理データを低減して省電力で行うことによって、固体撮像素子から得られた色信号を圧縮処理するまでの処理工程において、省電力化と小型化を図ることのできる輝度・色差信号生成装置、画像圧縮装置、及び画像処理システムを提供することを目的とするものである。

本発明は、上述の課題を解決するために、以下の手段を提案している。
請求項１に係る発明は、複数の画素からなる受光面に、所定の色配列を有する色フィルタが貼付された固体撮像素子より出力される色信号から、任意の画素に対して、該画素に係る前記色フィルタの色属性とは異なる色属性の色信号を補間演算により生成する補間手段と、任意の画素に係る複数の前記色信号から、該画素に係る輝度信号或いは１つ以上の色差信号の内の少なくとも一方の信号を生成する輝度・色差信号生成手段と、該輝度信号及び色差信号を生成する画素を注目画素として設定する設定手段とを有することを特徴とする輝度・色差信号生成装置を提案している。

この発明によれば、輝度信号及び色差信号を生成する画素を注目画素として、注目画素に係る複数の色信号から、輝度信号、色差信号の生成処理を行う。これにより、固体撮像素子から得られる色信号から輝度信号、色差信号を生成処理するときに扱う信号数を少なくすることができるため、省電力化、及び、小型化を図った輝度・色差信号生成装置を実現することができる。

請求項２に係る発明は、請求項１に記載された輝度・色差信号生成装置において、前記設定手段は、前記注目画素を、前記色属性として緑に係る色信号を出力する画素に設定することを特徴とする輝度・色差信号生成装置を提案している。

この発明によれば、固体撮像素子の前面に緑の色フィルタが貼付された座標位置から得られる信号と同座標位置に輝度信号、色差信号が生成されるように処理を行う。これにより、他色の色フィルタが貼付された座標位置から得られる信号と比べ、比較的輝度信号成分と相関性が強い緑の信号を、補間処理で生成された信号ではなく固体撮像素子から得られる信号をそのまま使用して生成することができるので、輝度信号の劣化を抑えることができる。

請求項３に係る発明は、請求項１または請求項２に記載された輝度・色差信号生成装置において、前記輝度・色差信号生成手段は、前記輝度信号と、１つの色差信号のみを生成することを特徴とする輝度・色差信号生成装置を提案している。

この発明によれば、一般的に、圧縮による画質の劣化が少ないといわれる輝度信号と第1の色差信号と前記第１の色差信号とは異なる第２の色差信号との割合が２：１：１で生成されるので、画質の劣化を抑えることができる。

請求項４に係る発明は、請求項３に記載された輝度・色差信号生成装置において、前記色フィルタはベイヤ配列であり、前記輝度・色差信号生成手段は、前記注目画素が前記固体撮像素子上で奇数行に位置するときは、前記輝度信号と第１の色差信号を、偶数行に位置するときは、前記輝度信号と前記第１の色差信号とは異なる第２の色差信号を生成することを特徴とする輝度・色差信号生成装置を提案している。

この発明によれば、ベイヤ配列の色フィルタが貼付された固体撮像素子の座標位置において、１行おきに輝度信号と第1の色差信号、及び、輝度信号と前記第1の色差信号とは異なる第２の色差信号の生成処理を行う。これにより、固体撮像素子の座標位置において、位置的に等間隔に輝度信号、色差信号が生成されるので、周辺信号との相関性を利用する非可逆圧縮方式による圧縮処理を行った場合に、画質の劣化を抑えることができる。

請求項５に係る発明は、請求項１に記載された輝度・色差信号生成装置において、前記輝度・色差信号生成手段は、前記注目画素に係る前記色フィルタの色属性に応じて、生成する前記輝度信号及び前記色差信号が設定されていることを特徴とする輝度・色差信号生成装置を提案している。
この発明によれば、所定の色配列を有する色フィルタの色の種類ごとに生成される信号が決定するため、生成する輝度信号、色差信号の信号数を制御することができる。

請求項６に係る発明は、請求項５に記載された輝度・色差信号生成装置において、前記輝度・色差信号生成手段は、前記注目画素に係る前記色属性が緑のときは輝度信号を生成し、赤のときは第１の色差信号を生成し、青のときは前記第１の色差信号とは異なる第２の色差信号を生成することを特徴とする輝度・色差信号生成装置を提案している。

この発明によれば、固体撮像素子の前面に貼付された色フィルタが緑の場合は、その座標位置から得られる信号と、同座標位置に輝度信号が生成されるように処理を行い、固体撮像素子の前面に貼付された色フィルタが赤の場合は、他色信号と比べ、赤と比較的相関性の強い第1の色差信号の生成処理を行い、固体撮像素子の前面に貼付された色フィルタが青の場合は、他色信号と比べ、青と比較的相関性の強い前記第1の色差信号とは異なる第２の色差信号の生成処理を行う。これにより、生成される輝度信号、色差信号に対して、比較的相関性が強い信号を、補間処理で生成された信号ではなく、固体撮像素子から得られる信号をそのまま使用して輝度信号、色差信号を生成することができるため、輝度信号、色差信号の劣化を抑えることができる。

請求項７に係る発明は、複数の画素からなる受光面に、所定の色配列を有する色フィルタが貼付された固体撮像素子より出力される色信号から、任意の画素に対して、その画素に係る前記色フィルタの色属性とは異なる色属性の色信号を補間演算により生成する補間手段と、任意の画素に係る複数の前記色信号から、該画素に係る輝度信号或いは１つ以上の色信号の内の少なくとも一方の信号を生成する輝度・色差信号生成手段と、前記固体撮像素子上の特定行、又は、特定列に属する画素を、前記輝度信号及び色差信号を生成する注目画素として設定する設定手段とを有することを特徴とする輝度・色差信号生成装置を提案している。

この発明によれば、固体撮像素子上の座標位置における特定行または特定列から得られる信号を注目画素として、注目画素と、固体撮像素子上において同座標位置に輝度信号、色差信号が生成されるよう処理を行う。これにより、固体撮像素子から得られる色信号から輝度信号、色差信号を生成処理するときに扱う信号数を少なくすることができるので、省電力化、及び、小型化を図った輝度・色差信号生成装置を実現することができる。また、固体撮像素子上の座標位置に対して、縦・横に整列されて輝度信号、色差信号が生成されるので、周辺画素との相関性を利用する非可逆圧縮方式による圧縮処理を行った場合に、画質の劣化を抑えることができる。

請求項８に係る発明は、請求項７に記載された輝度・色差信号生成装置において、前記設定手段は、前記特定行とする行または、特定列とする列を一定パターンに従って設定することを特徴とする輝度・色差信号生成装置を提案している。

この発明によれば、一定の規則に従って輝度信号、色差信号が生成されるので、扱う信号数を制御でき、また、周辺画素との相関性を利用する非可逆圧縮方式による圧縮処理を行った場合に、画質の劣化を抑えることができる。

請求項９に係る発明は、請求項７に記載された輝度・色差信号生成装置において、前記輝度・色差信号生成手段は、前記特定行、または、前記特定列ごとに、生成する前記輝度信号及び前記色差信号が設定されていることを特徴とする輝度・色差信号生成装置を提案している。
この発明によれば、固体撮像素子の座標位置において、特定行、または、特定列ごとに生成される信号が決定するので、生成する輝度信号、色差信号の信号数を制御することができる。

請求項１０に係る発明は、請求項７に記載された輝度・色差信号生成装置において、前記色フィルタはベイヤ配列であり、前記輝度・色差信号生成手段は、前記特定行が奇数行のときは前記輝度信号と第１の色差信号を、偶数行のときは前記輝度信号と前記第１の色差信号とは異なる第２の色差信号を夫々生成し、または、前記特定列が奇数列のときは前記輝度信号と第１の色差信号を、偶数列のときは前記輝度信号と前記第1の色差信号とは異なる第２の色差信号を夫々生成することを特徴とする輝度・色差信号生成装置を提案している。

この発明によれば、ベイヤ配列の色フィルタが貼付された固体撮像素子の座標位置において、１行おきに、または、１列おきに、輝度信号と一方の色差信号、及び、輝度信号と他方の色差信号の生成処理を行う。これにより、固体撮像素子の座標位置において、位置的に等間隔に輝度信号、色差信号が生成されるので、周辺信号との相関性を利用する非可逆圧縮方式による圧縮処理を行った場合に、画質の劣化を抑えることができる。

請求項１１に係る発明は、請求項１または請求項７に記載された輝度・色差信号生成装置において、処理対象の異なる複数の前記輝度・色差信号生成手段と、前記複数の輝度・色差信号生成手段から対応する輝度・色差信号生成手段を選択する選択手段とを更に有することを特徴とする輝度・色差信号生成装置を提案している。

この発明によれば、選択手段により、最適な輝度・色差信号生成手段を選択して、選択された輝度・色差信号生成手段により、輝度信号、色差信号を生成する。これにより、処理対象の異なる輝度・色差信号生成手段を、用途により、最適な輝度・色差信号生成手段を選択することができるので、画質の向上、高速処理、省電力化等を実現できる。

請求項１２に係る発明は、請求項１または請求項７に記載された輝度・色差信号生成装置において、前記補間手段は、前記任意の画素の近傍に位置する画素の色信号から、その画素に係る前記色フィルタの色属性とは異なる色属性の色信号を演算することを特徴とする輝度・色差信号生成装置を提案している。
この発明によれば、補間演算する際に、注目画素の近傍信号しか使用しないため、必要とするメモリを少なくすることができる。

請求項１３に係る発明は、請求項１または請求項７に記載された輝度・色差信号生成装置と、
前記輝度・色差信号生成装置から出力される輝度信号及び色差信号に対して、各信号ごとにブロック単位で空間周波数成分を算出する周波数変換手段と、前記空間周波数成分を量子化する量子化手段と、量子化された前記空間周波数成分を符号化する符号化手段と、を備える画像圧縮部とを有することを特徴とする画像圧縮装置を提案している。
この発明によれば、輝度・色差信号生成装置で生成された輝度信号、色差信号を圧縮処理することができる。

請求項１４に係る発明は、請求項１３に記載の画像圧縮装置と、前記画像圧縮装置からの出力から、前記量子化された空間周波数成分を復号化する復号化手段と、復号化された前記空間周波数成分を逆量子化する逆量子化手段と、逆量子化された前記空間周波数成分に基づいて、前記ブロック単位で輝度信号及び色差信号を算出する逆周波数変換手段と、を備える画像伸長部と、前記画像伸長部から出力される前記輝度信号、色差信号を外部機器が要求する出力フォーマットに変換するフォーマット変換手段とを有することを特徴とする画像処理システムを提案している。
この発明によれば、画像圧縮装置で圧縮処理された輝度信号、色差信号を伸長処理し、外部機器が要求する出力フォーマットに変換することができる。

請求項１５に係る発明は、請求項１４に記載された画像処理システムにおいて、前記フォーマット変換手段は、前記輝度信号及び色差信号を前記色信号に変換する画像信号生成手段と、前記画像信号生成手段からの前記色信号に対して、前記注目画素以外の画素に係る色信号を補間処理する色信号生成手段とを有することを特徴とする画像処理システムを提案している。

この発明によれば、固体撮像素子から得られる色信号から、色信号変換、補間処理と、この順の過程を経て、固体撮像素子の座標サイズと同サイズのカラー画像信号を、得ることができる。

請求項１６に係る発明は、請求項１４に記載された画像処理システムにおいて、前記フォーマット変換手段は、前記輝度信号及び色差信号から、前記注目画素以外の画素に係る輝度信号及び色差信号を補間する輝度・色差信号補間手段と、前記輝度・色差信号補間手段からの前記輝度信号及び色差信号を前記色信号に変換する画像信号生成手段とを有することを特徴とする画像処理システムを提案している。

この発明によれば、固体撮像素子から得られる色信号から、補間処理、色信号変換と、この順の過程を経て、固体撮像素子の座標サイズと同サイズのカラー画像信号を得ることができる。

本発明によれば、被写体の撮像から、撮像によって得られる画像データの圧縮処理までを、処理データを低減して省電力で行うことによって、固体撮像素子から得られた色信号を圧縮処理するまでの処理工程において、省電力化と小型化を図ることのできる。

以下、本発明の実施例に係る画像処理システムについて図１から図１２を参照して詳細に説明する。

本発明の第１の実施例に係る画像処理システムは、図１に示すように、色フィルタ１１と、単板式の固体撮像素子１２と、設定手段１３と、補間手段１４と、輝度・色差信号生成手段１５とからなる前段部１と、周波数変換手段２１と、量子化手段２２と、符号化手段２３とからなる画像圧縮部２と、復号化手段３１と、逆量子化手段３２と、逆周波数変換手段３３とからなる画像伸長部３と、画像信号生成手段４１と色信号生成手段４２からなる後段部４とから構成されている。

前段部１は、光を受光して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成するものであり、前述のように、色フィルタ１１と、固体撮像素子１２と、設定手段１３と、補間手段１４と、輝度・色差信号生成手段１５とから構成されている。色フィルタ１１としては、例えば、図２の（Ａ）に示すように、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各色フィルタがベイヤ配列された原色フィルタが用いられており、被写体からの光が色フィルタを介して固体撮像素子１２に入射するように、固体撮像素子１２の前面に設置されている。

なお、前記色フィルタ１１としては、図２の（Ｂ）に示すような補色フィルタであってもよい。固体撮像素子１２は、色フィルタ１１を介して被写体からの光を受光し、その受光量に応じた色信号を出力するものであり、色フィルタ１１に対応した複数の受光素子を備えている。設定手段１３は、輝度信号及び色差信号を生成する画素を設定する。なお、設定方法については後述する。

補間手段１４は、設定手段１３からの設定に基づいて、固体撮像素子１２から出力される色信号と、固体撮像素子の同座標位置における色信号とは異なる色の信号とを、補間処理して生成する。なお、補間処理方法については後述する。輝度・色差信号生成手段１５は、補間手段１４から出力される信号から、輝度信号Ｙ、色差信号Ｕ、Ｖを生成する。なお、輝度信号Ｙ、色差信号Ｕ、Ｖの生成方法については後述する。以上のようにして生成された輝度信号Ｙ、色差信号Ｕ、Ｖは、画像圧縮部２に入力される。

次に、画像圧縮部２、及び画像伸長部３の処理動作について説明する。
画像圧縮部２、及び画像伸長部３として画像処理ＣＯＤＥＣのＪＰＥＧを利用する場合について説明すると、輝度信号Ｙ、色差信号Ｖ、Ｕは、図３の（Ａ）、（Ｂ）、（Ｃ）に示すように、各々の信号ごとに水平８信号×垂直８信号を単位としてブロック化され、前記ブロックごとに画像圧縮部２による圧縮処理が行われる。

画像圧縮部２は、前段部１で生成された輝度信号Ｙ、色差信号Ｕ、Ｖに対して、符号データを生成するものであり、前述のように、周波数変換手段２１と、量子化手段２２と、符号化手段２３とから構成されている。周波数変換手段２１は、離散コサイン変換を行い、空間周波数成分に変換する。量子化手段２２は、前記周波数変換手段２１から出力された空間周波数成分に対して、量子化を行う。

符号化手段２３は、前記量子化手段２２から出力された量子化された空間周波数成分に対して、ランレングス符号化、及びハフマン符号化を行い、符号データを生成する。以上のようにして画像圧縮部２で生成された符号データは、メモリ等に記録して保存され、あるいは受信側へ伝送される。そして、保存、又は伝送された符号データは、画像伸長部３に入力される。

画像伸長部３は、画像圧縮部２で圧縮された符号データに対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成するものであり、前述のように、復号化手段３１と、逆量子化手段３２と、逆周波数変換手段３３とから構成されている。復号化手段３１は、ハフマン復号化、及びランレングス復号化を行い、復号化処理をする。逆量子化手段３２は、前記復号化手段３１から出力された空間周波数成分に対して、逆量子化を行う。

逆周波数変換手段３３は、逆量子化手段３２から出力された逆量子化された空間周波数成分に対して、逆離散コサイン変換を行い、輝度信号Ｙ、色差信号Ｕ、Ｖを生成する。以上のようにして画像伸長部３で生成された輝度信号Ｙ、色差信号Ｕ、Ｖは、後段部４に入力される。後段部４は、画像伸長部３で伸長された輝度信号Ｙ、色差信号Ｕ、Ｖに対して、画像信号を生成するものであり、前述のように、画像信号生成手段４１と色信号生成手段４２とから構成されている。

画像処理生成手段４１は、画像伸長部３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖから、前段部１の設定手段１３、補間手段１４及び輝度・色差信号生成手段１５における処理に対応させて、各信号ごとに補間処理を行って画像信号を生成する。色差信号生成手段４２は、画像処理生成手段４１から出力された画像信号に対して、色空間変換処理を行い、色信号Ｒ、Ｇ、Ｂの画像信号を生成する。以上のようにして後段部４で生成された画像信号は、画像再生装置等で画像として再生される。なお、この後段部４の信号処理については後述する。

次に、本実施例における設定手段１３と、補間手段１４と、輝度色差信号生成手段１５の動作について、詳細に説明する。
一般に、色信号Ｒ、Ｇ、Ｂから輝度信号Ｙ、色差信号Ｕ、Ｖを算出する式は、[数１]で表される。

図４は、固体撮像素子１２の受光面を模式的に示した図であり、同図中のＲ、Ｇ、Ｂは、それぞれベイヤ配列の原色フィルタからなる色フィルタ１１を透過した光を受光する画素を示している。ここで、以降での説明の理解をしやすくするため、次のような定義付けを行う。すなわち、同図における左上隅の画素Ｇの座標を（１，１）としたとき、この画素Ｇから垂直方向にＸ、水平方向にＹの位置にある画素Ａの座標を（Ｘ，Ｙ）とし、画素Ａからの出力をＡ_ＸＹで、表すことにする。

本発明においては、上記構成の色フィルタ１１を備えた固体撮像素子１２から出力される色信号に対して、以下のような原理に基づいて輝度信号Ｙ、色差信号Ｕ、Ｖを生成し、画像圧縮部２へ出力する。すなわち、設定手段１３では、固体撮像素子１２において、緑に係る色信号が得られる画素の輝度信号Ｙ、及び、色差信号Ｕ、Ｖを生成するということを補間手段１４に設定する。

補間手段１４では、図４における座標（２，２）の画素Ｇ₂₂を注目画素とし、その注目画素と同座標位置における画素Ｒ₂₂を、同色で注目画素の周辺画素である座標（２，１）、（２，３）の画素Ｒ₂₁、Ｒ₂₃を用いて求め、画素Ｂ₂₂を、同色で注目画素の周辺画素である座標（１，２）、（３，２）の画素Ｂ₁₂、Ｂ₃₂を用いて求める。

また、輝度色差信号生成手段１５では、注目画素Ｇ₂₂と、補間手段１４で生成された画素Ｒ₂₂と画素Ｂ₂₂を用いて、輝度信号Ｙ₂₂、色差信号Ｖ₂₂を生成する。補間手段１４及び輝度色差信号生成手段１５で行う輝度信号Ｙ₂₂、色差信号Ｖ₂₂を生成する式は、図４における画素Ｒ₂₁、Ｒ₂₃、Ｇ₂₂、Ｂ₁₂、Ｂ₃₂を用いて、[数２]で表される。

[数２]式において、（Ｒ₂₁＋Ｒ₂₃）/ ２、Ｇ₂₂、（Ｂ₁₂＋Ｂ₃₂）/ ２ が、それぞれ、画素Ｒ₂₂、Ｇ₂₂、Ｂ₂₂の値に相当し、補間手段１４からの出力になる。また、輝度信号Ｙ₂₂、色差信号Ｖ₂₂が、輝度色差信号生成手段１５からの出力となる。ここでは、便宜上のため、補間手段１４の処理と、輝度色差信号生成手段１５の処理を表す式を、[数２]のように、まとめて示した。補間手段１４の出力を画素Ｒ₂₂、Ｇ₂₂、Ｂ₂₂として一旦保持し、その保持した値を使用して、輝度信号Ｙ、色差信号Ｕ、Ｖを求めても構わない。以下、補間手段１４の処理と、輝度色差信号生成手段１５の処理を表す式は、まとめて示す。

補間手段１４は、座標（３，３）の画素Ｇ₃₃を注目画素とし、同様にして、画素Ｒ₃₃を、座標（２，３）、（４，３）の画素Ｒ₂₃、Ｒ₄₃を用いて求め、画素Ｂ₃₃を、座標（３，２）、（３，４）の画素Ｂ₃₂、Ｂ₃₄を用いて求める。そして、輝度色差信号生成手段１５は、注目画素Ｇ₃₃と、求めた画素Ｒ₃₃と画素Ｂ₃₃を用いて、輝度信号Ｙ₃₃、色差信号Ｕ₃₃を生成する。輝度信号Ｙ₃₃、色差信号Ｕ₃₃を生成する式は、図４における画素Ｒ₂₃、Ｒ₄₃、Ｇ₃₃、Ｂ₃₂、Ｂ₃₄を用いて、[数３]で表される。

[数３]式において、（Ｒ₂₃＋Ｒ₄₃）/ ２、Ｇ₃₃、（Ｂ₃₂＋Ｂ₃₄）/ ２ が、それぞれ、画素Ｒ₃₃、Ｇ₃₃、Ｂ₃₃の値に相当する。このように、全てのＧの画素を注目画素として、注目画素に対する輝度信号Ｙと色差信号Ｕ、またはＶを生成することで、固体撮像素子１２から出力される色信号に対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成することができる。

上記手法によると、全てのＧの画素と同座標位置に対して、画素Ｇが奇数行（Ｘが奇数）のときは輝度信号Ｙと色差信号Ｕが、画素Ｇが偶数行（Ｘが偶数）のときは輝度信号Ｙと色差信号Ｖが生成されるため、固体撮像素子１２から出力される色信号と同数の出力データ数となり、かつ、ＪＰＥＧで圧縮した場合に、一般的に、画質の劣化が少ないといわれる輝度信号Ｙ、色差信号Ｕ、Ｖが２：１：１の割合で生成される。つまり、従来の色信号の各画素ごとに補間処理を行った後に、輝度信号Ｙと色差信号Ｕ、Ｖを生成する場合に比べ、１／３のデータ数となる。

上記のように、注目画素を画素Ｇとすることで、輝度情報を比較的多く含むＧの画素を固体撮像素子１２から出力される色信号としてそのまま使用することができる。一般的に、輝度信号のほうが、色差信号よりも画質劣化の要因に深く関わるため、補間して注目画素の画素値を求め、その値から輝度信号Ｙを生成するよりも、固体撮像素子１２から出力される色信号を使用して輝度信号Ｙを生成した方が、生成される輝度信号Ｙの精度は高くなる。したがって、データ数削減による画質の劣化を抑えることができる。

また、ベイヤ配列の特性により、注目画素と同座標位置のＲとＢの画素を、比較的簡易な演算で求めることができ、図５に示すように、加算器５と１bitシフタ６のみの回路構成で実現することができる。例えば、画素Ｒ₂₂の値を求めたいときには、ＩＮＤＡＴＡ１にＲ₂₁、ＩＮＤＡＴＡ２にＲ₂₃が、画素Ｂ₂₂の値を求めたいときには、ＩＮＤＡＴＡ１にＢ₁₂、ＩＮＤＡＴＡ２にＢ₃₂が入力される。

上記説明においては、注目画素Ｇと同座標位置のＲとＢの画素を、２つの同色最近傍画素を使用して生成させたが、２つの画素のみならず、周辺画素に位置情報による重み付けを行うことで生成させても構わない。また、上記説明においては、Ｇの画素を注目画素とし、[数２]、[数３]のように、輝度信号Ｙ、色差信号Ｕ、Ｖを生成したが、データ数を制御するために、全ての注目画素Ｇに対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成したり、輝度信号Ｙのみを生成したりと、任意に、生成する要素を決めても構わない。

例えば、図４における座標（２，２）の画素Ｇ₂₂を注目画素とし、その注目画素と同座標位置における輝度信号Ｙ₂₂、色差信号Ｕ₂₂、Ｖ₂₂を生成する式は、図４における画素Ｒ₂₁、Ｒ₂₃、Ｇ₂₂、Ｂ₁₂、Ｂ₃₂を用いて、[数４]で表される。

さらに、上記手法においては、固体撮像素子１２から出力される色信号における全てのＧの画素を注目画素として、注目画素と同座標位置における輝度信号Ｙ、色差信号Ｕ、Ｖを生成するものを示した。これに対して、注目画素をＲとＢの画素、又はＲの画素のみといったように、固体撮像素子１２から出力される色信号に対して、どの色の要素を注目画素とするかを、任意に、設定しても構わない。

例えば、注目画素をＲとＢの画素とした場合、図４における座標（２，３）と（３，２）の座標位置における輝度信号Ｙ、色差信号Ｕ、Ｖを生成する式は、[数５]、[数６]で表される。

[数５]において、Ｒ₂₃、（Ｇ₁₃＋Ｇ₂₂＋Ｇ₂₄＋Ｇ₃₃）/ ４、（Ｂ₁₂＋Ｂ₁₄＋Ｂ₃₂＋B₃₄）/ ４ が、それぞれ、画素Ｒ₂₃、Ｇ₂₃、Ｂ₂₃の値に相当し、[数６]において、（Ｒ₂₁＋Ｒ₂₃＋Ｒ₄₁＋Ｒ₄₃）/ ４、（Ｇ₂₂＋Ｇ₃₁＋Ｇ₃₃＋Ｇ₄₂）/ ４、Ｂ₃₂が、それぞれ、画素Ｒ₃₂、Ｇ₃₂、Ｂ₃₂の値に相当する。

このように、全てのＲとＢの画素を注目画素として、注目画素に対する輝度信号Ｙと色差信号Ｕ、またはＶを生成することで、固体撮像素子１２から出力される色信号に対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成することができる。

上記手法によると、注目画素がＲの画素のときに、輝度信号Ｙと色差信号Ｕ、注目画素がＢの画素のときに、輝度信号Ｙと色差信号Ｖを生成するため、注目画素をＧの画素としたときと同様に、固体撮像素子１２から出力される色信号と同数の出力データ数となり、かつ、Ｙ、Ｕ、Ｖが２：１：１の割合で生成される。

上記のように、注目画素を画素Ｒ、及びＢとすることで、色差信号Ｕを生成するときに、比較的に相関の強いＲの画素を、色差信号Ｖを生成するときに、比較的に相関の強いＢの画素を用いて処理を行うため、固体撮像素子１２から出力される色信号をそのまま使用することができる。したがって、注目画素を画素Ｇとするときと比べ、輝度情報に比べ比較的色情報が画質に影響するような画像に対しては、画質の劣化を抑えることができる。

なお、色フィルタとして、原色フィルタの代わりに補色フィルタを用いたときも、図６に示すように、原色フィルタと同様の定義付けを行って、輝度信号Ｙ、色差信号Ｕ、Ｖを補色フィルタ上の画素Ｃｙ、Ｍｇ、Ｙｅ、Ｇを用いて生成することができる。

上記前段部の構成によれば、固体撮像素子１２から出力される色信号に基づいて、輝度信号Ｙ、色差信号Ｕ、Ｖが生成され、前記輝度信号Ｙ、色差信号Ｕ、Ｖに対して、画像圧縮部２において圧縮処理が行われる。したがって、固体撮像素子から出力される色信号に基づいて、特定色の画素に対してのみ補間処理を行うため、従来のように、各画素ごとに補間処理をして画像信号を生成する補間処理手段を必要としない。したがって、前段部より出力されるデータ数が少ないため、圧縮処理に要する時間を削減できる。またこれにより、固体撮像素子から出力される色信号を圧縮処理するまでの工程において、省電力化を実現できる。

次に、このような設定手段１３、補間手段１４及び輝度・色差信号生成手段１５に対応した処理を行わせる後段部４の処理動作について、詳細に説明する。
後段部４は、画像伸長部３で伸長処理された輝度信号Ｙ、色差信号Ｕ、Ｖに対して、画像信号を生成処理するものであり、先に述べたとおり、画像信号生成手段４１と色信号生成手段４２とから構成されている。

画像信号生成手段４１は、画像伸長部３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖから、前段部１の設定手段１３、補間手段１４及び輝度・色差信号生成手段１５の処理に対応させて、補間処理を行い、図７の（Ａ）、（Ｂ）、（Ｃ）に示すような画像信号を生成する。ここで、以降での説明の理解をしやすくするため、図４に示した原色フィルタと同様の定義付けを、図７の（Ａ）、（Ｂ）、（Ｃ）に対しても行う。

画像伸長部３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖは、このまま画像信号として、そのまま使用できる。しかし、画像伸長部３から出力される信号のデータ数は、図７の（Ａ）、（Ｂ）、（Ｃ）に対して、輝度信号Ｙが１／２、色差信号Ｕ、Ｖが１／４になり、本来予期される固体撮像素子１２から出力される色信号により、生成される画像信号の解像度より小さくなってしまう。

そこで、画像伸長部３から出力される輝度信号Ｙ、色差信号Ｕ、Ｖから、図７の（Ａ）、（Ｂ）、（Ｃ）の欠落データを補間する。例えば、図７の（Ａ）、（Ｂ）、（Ｃ）における座標（２，２）、（２，３）、（３，２）、（３，３）の輝度信号Ｙ₂₂、Ｙ₂₃、Ｙ₃₂、Ｙ₃₃、色差信号Ｕ₂₂、Ｕ₂₃、Ｕ₃₂、Ｕ₃₃、及びＶ₂₂、Ｖ₂₃、Ｖ₃₂、Ｖ₃₃は、画像伸長部３から出力される[数２]、[数３]で生成される輝度信号Ｙ₂₂、Ｙ₃₃、色差信号U₃₃、Ｖ₂₂、及びその他画像伸長部３より出力される輝度信号Ｙ、色差信号Ｕ、Ｖを用いて、[数７]で表される。

このように、画像伸長部３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖから、欠落データを補間する処理を行うことで、図７の（Ａ）、（Ｂ）、（Ｃ）に示すような画像信号の一形態であるＹＵＶ空間の画像信号を生成することができる。

色信号生成手段４２は、画像信号生成手段４１から出力された図７の（Ａ）、（Ｂ）、（Ｃ）に示す画像信号に対して、色空間変換を行い、色信号Ｒ、Ｇ、Ｂを生成する。
輝度信号Ｙ、色差信号Ｕ、Ｖから色信号Ｒ、Ｇ、Ｂを算出する式は、一般に、[数１]の逆演算になり、[数８]で表される。

図７の（Ａ）、（Ｂ）、（Ｃ）に示した画像信号生成手段４１から出力された輝度信号Ｙ、色差信号Ｕ、Ｖに対して、各画素ごとに[数８]を実行することで、画像信号の一形態であるＲＧＢ空間の画像信号を生成することができる。以上のようにして生成された画像信号は、画像再生装置等の外部機器で画像として再生される。

なお、図１に示した構成の後段部４では、図７の（Ａ）、（Ｂ）、（Ｃ）に示したＹＵＶ空間の画像からＲＧＢ空間の画像信号に変換を行って、画像信号生成手段４１から出力されるＹＵＶ空間の画像信号をそのまま画像信号として扱い、画像再生装置等で画像として再生しても構わない。すなわち、後段部は、出力画像信号を利用する外部機器が要求する出力フォーマットに対応させた画像信号を出力させればよいことになる。したがって、後段部は、フォーマット変換手段と称することもできる。

上記後段部４の構成においては、画像信号生成手段４１により、輝度信号Ｙ、色差信号Ｕ、Ｖから画像信号の一形態であるＹＵＶ空間の画像信号を生成し、色信号生成手段４２により、画像信号の一形態であるＲＧＢ空間の画像信号を生成していたが、図８に示すように、画像信号生成手段と色信号生成手段の配置を入れ替えて後段部を構成しても構わない。

このように構成した後段部７においては、色信号生成手段７１は、画像伸長部３から出力された輝度信号Ｙ、色差信号Ｕ、Ｖに対して、図４に示すように、ベイヤ配列の色信号Ｒ、Ｇ、Ｂを生成する。次いで、画像信号生成手段７２は、色信号生成手段７１から出力されたベイヤ配列の色信号Ｒ、Ｇ、Ｂに対し、欠落データを補間する補間処理を行うことで、画像信号の一形態であるＲＧＢ空間の画像信号を生成する。以上のようにして生成された画像信号は、図１に示した後段部４からの画像信号と同様に、画像再生装置等で画像として再生される。

次に、第２の実施例について説明する。
図９は、本発明の第２の実施例に係る画像処理システムの概略構成を示すブロック図である。第１の実施例と同一の機能を有する構成については、同一の符号を付して説明を省略し、異なる部分についてのみ説明する。本実施例は、設定手段１１１、補間手段１１２、及び輝度・色差信号生成手段１１３の処理に特徴がある。

本実施例における設定手段１１１は、固体撮像素子１２において、赤、緑、青に係る色信号が得られる画素、すなわち全ての画素の輝度信号、または、色差信号の生成を補間手段１４に設定する。

本実施例における補間手段１１２は、設定手段１１１の設定に基づいて、固体撮像素子１２から出力される色信号から、補間処理を行い、図１０（Ａ）、（Ｂ）、（Ｃ）に示すような画像信号を生成する。ここで、以降での説明の理解をしやすくするため、図４に示した原色フィルタと同様の定義付けを、図１０の（Ａ）、（Ｂ）、（Ｃ）に対しても行う。例えば、図１０の（Ａ）、（Ｂ）、（Ｃ）における座標（２，２）、（２，３）、（３，２）、（３，３）の色信号Ｒ₂₂、Ｒ₂₃、Ｒ₃₂、Ｒ₃₃、Ｇ₂₂、Ｇ₂₃、Ｇ₃₂、Ｇ₃₃、及びＢ₂₂、Ｂ₂₃、Ｂ₃₂、Ｂ₃₃を算出する式は、図４における画素Ｒ、Ｇ、Ｂを用いて、[数９]で表される。

このように、固体撮像素子１２から出力される色信号から、各色ごとに欠落データを補間処理することにより、画像信号の一形態であるＲＧＢ空間の画像信号を生成することができる。

本実施例における輝度・色差信号生成手段１１３は、補間手段１１２から出力された画像信号から、以下のような原理に基づいて輝度信号Ｙ、色差信号Ｕ、Ｖを生成し、画像圧縮部２へ出力する。すなわち、図１０（Ｂ）における画素Ｇ₂₂と、図１０（Ａ）、（Ｃ）における画素Ｇ₂₂と同じ座標である画素Ｒ₂₂、Ｂ₂₂を用いて、輝度信号Ｙ₂₂を求める。続いて、図１０（Ａ）における画素Ｒ₂₃と、図１０（Ｂ）、（Ｃ）における画素Ｒ₂₃と同じ座標である画素Ｇ₂₃、Ｂ₂₃を用いて、色差信号Ｕ₂₃を求める。さらに、図１０（Ｃ）における画素Ｂ₃₂と、図１０（Ａ）、（Ｂ）における画素Ｂ₃₂と同じ座標である画素Ｒ₃₂、Ｇ₃₂を用いて、色差信号Ｖ₃₂を求める。輝度信号Ｙ₂₂、色差信号Ｕ₂₃、Ｖ₃₂を生成する式は、図１０（Ａ）、（Ｂ）、（Ｃ）における色信号Ｒ、Ｇ、Ｂを用いて、[数１０]で表される。

このように、補間手段１１２から出力された画像信号に対して、同座標上の色信号から、輝度信号Ｙ、または色差信号Ｕ、またはＶを生成することで、固体撮像素子１２から出力される色信号に対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成することができる。

上記手法によると、生成する輝度信号、または色差信号の座標が、固体撮像素子１２から出力される色信号に対してＧの画素のときは輝度信号Ｙが、Ｒの画素のときは色差信号Ｕが、Ｂの画素のときは色差信号Ｖが生成されるため、実施例１同様、固体撮像素子１２から出力される色信号と同数の出力データ数となり、かつ、ＪＰＥＧで圧縮した場合に、一般的に、画質の劣化が少ないといわれるＹ、Ｕ、Ｖが２：１：１の割合で生成される。

上記のように、輝度信号Ｙを生成するときにはＧの画素を、色差信号Ｕを生成するときはＲの画素を、色差信号Ｖを生成するときにはＢの画素を用いて処理を行うため、固体撮像素子１２から出力される色信号をそのまま使用することができる。[数１]からもわかるように、輝度信号Ｙは色信号Ｇと、色差信号Ｕは色信号Ｒと、色差信号Ｖは色信号Ｂと、他色信号と比べて相関が強いため、その相関が強い画素を、固体撮像素子１２から出力される周辺の同色色信号から補間して算出した値を使用するよりも、固体撮像素子１２から出力される色信号を使用して、輝度信号Ｙ、または色差信号Ｕ、またはＶを生成した方が、生成される輝度信号Ｙ、色差信号Ｕ、Ｖの精度は高くなる。したがって、データ数削減による画質の劣化を抑えることができる。

上記説明においては、生成する輝度信号、または色差信号の座標が、固体撮像素子１２から出力される色信号に対してＧの画素のときは輝度信号Ｙを、Ｒの画素のときは色差信号Ｕを、Ｂの画素のときは色差信号Ｖを生成していたが、画質劣化の低減のためや、演算を簡略化のために、これら固体撮像素子１２から出力される色信号の色信号の種類と、生成される信号の種類の対応関係を変更しても構わない。

また、上記説明においては、固体撮像素子１２から出力される色信号の各色信号に対して、輝度信号Ｙ、または色差信号Ｕ、またはＶを生成するという１対１の関係が成り立っていたが、例えば、固体撮像素子１２から出力される色信号に対してＧの画素のときは輝度信号Ｙと色差信号Ｕを、といったように、固体撮像素子１２から出力される色信号の各色信号ごとに生成する信号の要素を複数決めても構わない。

上記前段部の構成によれば、固体撮像素子１２から出力される色信号に基づいて、輝度信号Ｙ、色差信号Ｕ、Ｖが生成され、前記輝度信号Ｙ、色差信号Ｕ、Ｖに対して、画像圧縮部２において圧縮処理が行われる。したがって、前段部より出力されるデータ数が少ないので、圧縮処理に要する時間を削減でき、固体撮像素子から出力される色信号を圧縮処理するまでの工程において、省電力化を実現できる。

次に、第３の実施例について説明する。
図１１は、本発明の第３の実施例に係る画像処理システムの概略構成を示すブロック図である。第１の実施例と同一の機能を有する構成については、同一の符号を付して説明を省略し、異なる部分についてのみ説明する。本実施例は、選択手段２１１、設定手段２１２、設定手段２１３、補間手段２１４、補間手段２１５、輝度・色差信号生成手段２１６、及び輝度・色差信号生成手段２１７の処理に特徴がある。

本実施例における選択手段２１１は、色フィルタ１１を構成する各色フィルタの配置に基づいて、固体撮像素子１２から出力される色信号を、高画質化や省電力化といったような用途によって、補間手段２１４あるいは、補間手段２１５のいずれに入力するのかを選択する。また、本実施例における設定手段２１２は、固体撮像素子１２上において、偶数行の画素の輝度信号、及び、色差信号の生成を補間手段２１４に設定する。

本実施例における補間手段２１４及び輝度・色差信号生成手段２１６は、選択手段２１１から出力される色信号から、設定手段２１２の設定に基づき、以下のような原理で、輝度信号Ｙ、色差信号Ｕ、Ｖを生成し、画像圧縮部２へ出力する。

すなわち、補間手段２１４は、図４における偶数行（Ｘが偶数）に注目して、その座標位置における色信号Ｒ、Ｇ、Ｂの欠落データを補間処理により生成し、輝度・色差信号生成手段２１６は、補間手段２１４からの出力である同座標上の固体撮像素子１２から出力される色信号、及び補間処理して生成した色信号Ｒ、Ｇ、Ｂを用いて、輝度信号Ｙ、色差信号Ｕ、Ｖを生成する。

例えば、図４における座標（２，２）、（２，３）の輝度信号Ｙ₂₂、Ｙ₂₃、色差信号Ｕ₂₃、Ｖ₂₂を生成する式は、図４における画素Ｒ₂₁、Ｒ₂₃、Ｇ₁₃、Ｇ₂₂、Ｇ₂₄、Ｇ₃₃、Ｂ₁₂、Ｂ₁₄、Ｂ₃₂、Ｂ₃₄を用いて、[数１１]で表される。

[数１１]において、（Ｒ₂₁＋Ｒ₂₃）/ ２、Ｇ₂₂、（Ｂ₁₂＋Ｂ₃₂）/ ２、Ｒ₂₃、（Ｇ₁₃＋Ｇ₂₂＋Ｇ₂₄＋Ｇ₃₃）/ ４、（Ｂ₁₂＋Ｂ₁₄＋Ｂ₃₂＋Ｂ₃₄）/ ４ が、それぞれ、画素Ｒ₂₂、Ｇ₂₂、Ｂ₂₂、Ｒ₂₃、Ｇ₂₃、Ｂ₂₃、の値に相当し、補間手段２１４からの出力となる。また、輝度信号Ｙ₂₂、Ｙ₂₃、色差信号Ｕ₂₃、Ｖ₂₂が、輝度・色差信号生成手段２１６からの出力となる。

このように、図４における偶数行においてのみ、各色信号ごとの欠落データを補間処理し、偶数行における各画素ごとに輝度信号Ｙと色差信号Ｕ、又はＶを生成することで、固体撮像素子１２から出力される色信号に対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成することができる。

上記手法によると、図４における偶数行に対して、生成する輝度信号、または色差信号の座標が、固体撮像素子１２から出力される色信号に対してＧの画素のときは輝度信号Ｙと色差信号Ｖが、Ｒの画素のときは輝度信号Ｙと色差信号Ｕが生成されるため、実施例１と同様に、固体撮像素子１２から出力される色信号と同数の出力データ数となり、かつ、ＪＰＥＧで圧縮した場合に、一般的に、画質の劣化が少ないといわれるＹ、Ｕ、Ｖが２：１：１の割合で生成される。

上記のように、実施例１では、図４の座標に対して、輝度信号Ｙ、色差信号Ｕ、Ｖは斜めに生成されていたが、本実施例では、図４の偶数行に対して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成させることにより、輝度信号Ｙ、色差信号Ｕ、Ｖが直線上に並ぶように生成される。したがって、周辺画素との相関性を利用する非可逆圧縮方式による圧縮処理した場合に、画質の劣化を抑えることができる。

上記説明においては、図４における偶数行（Ｘが偶数）に注目して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成していたが、奇数行（Ｘが奇数）に注目して、輝度信号Ｙ、色差信号Ｕ、Ｖを生成しても構わない。

本実施例における設定手段２１３は、固体撮像素子１２上において、偶数列の画素の輝度信号、及び、色差信号の生成を補間手段２１５に設定する。本実施例における補間手段２１５及び輝度・色差信号生成手段２１７は、選択手段２１１から出力される色信号から、設定手段２１３の設定に基づき、以下のような原理で、輝度信号Ｙ、色差信号Ｕ、Ｖを生成し、画像圧縮部２へ出力する。

すなわち、補間手段２１５は、図４における偶数列（Ｙが偶数）に注目して、その座標位置における色信号Ｒ、Ｇ、Ｂの欠落データを補間処理して生成する。輝度・色差信号生成手段２１７は、補間手段２１５からの出力である同座標上の固体撮像素子１２から出力される色信号、及び補間処理して生成した色信号Ｒ、Ｇ、Ｂを用いて、輝度信号Ｙ、色差信号Ｕ、Ｖを生成する。

例えば、図４における座標（２，２）、（３，２）の輝度信号Ｙ₂₂、Ｙ₃₂、色差信号Ｕ₂₂、Ｖ₃₂を生成する式は、図４における画素Ｒ₂₁、Ｒ₂₃、Ｒ₄₁、Ｒ₄₃、Ｇ₂₂、Ｇ₃₁、Ｇ₃₃、Ｇ₄₂、Ｂ₁₂、Ｂ₃₂を用いて、[数１２]で表される。

[数１２]において、（Ｒ₂₁＋Ｒ₂₃）/ ２、Ｇ₂₂、（Ｂ₁₂＋Ｂ₃₂）/ ２、（Ｒ₂₁＋Ｒ₂₃＋Ｒ₄₁＋Ｒ₄₃）/ ４、（Ｇ₁₃＋Ｇ₂₂＋Ｇ₂₄＋Ｇ₃₃）/ ４、Ｂ₃₂ が、それぞれ、画素Ｒ₂₂、Ｇ₂₂、Ｂ₂₂、Ｒ₃₂、Ｇ₃₂、Ｂ₃₂、の値に相当し、補間手段２１５からの出力になる。また、輝度信号Ｙ₂₂、Ｙ₃₂、色差信号Ｕ₂₂、Ｖ₃₂が、輝度・色差信号生成手段２１７からの出力となる。

このように、図４における偶数列においてのみ、各色信号ごとの欠落データを補間処理し、偶数列における各画素ごとに輝度信号Ｙと色差信号Ｕ、またはＶを生成することで、輝度・色差信号生成手段２１７と同様の輝度信号Ｙ、色差信号Ｕ、Ｖを生成することができ、輝度・色差信号生成手段２１７と同様に、画質の劣化を抑えることができる。

上記前段部の構成によれば、固体撮像素子１２から出力される色信号に基づいて、輝度信号Ｙ、色差信号Ｕ、Ｖが生成され、前記輝度信号Ｙ、色差信号Ｕ、Ｖに対して、画像圧縮部２において圧縮処理が行われる。したがって、実施例１で得られる効果と同様に、固体撮像素子から出力される色信号に基づいて、全画素に対して、各画素ごとに補間処理を行って、画像信号を生成する補間処理手段を必要としない。したがって、前段部より出力されるデータ数が少ないため、圧縮処理に要する時間を削減でき、固体撮像素子から出力される色信号を圧縮処理するまでの工程において、省電力化を実現できる。

また、上記前段部の構成によれば、選択手段２１１により、固体撮像素子１２から出力される色信号を入力する補間手段を、任意に選択することができるので、例えば、入力画像に対して、比較的横成分が多いときには、補間手段２１４を選択し、縦成分が多いときには、補間手段２１５を選択するといったように、画像の特徴によって、選択する補間手段を決定することによって、画質の劣化を防ぐことができる。

以上、図面を参照して本発明の実施例について詳述してきたが、具体的な構成はこれらの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

第１の実施例に係る画像処理システムのブロック図である。 原色フィルタ、補色フィルタを示す図である。 画像圧縮の対象を例示した図である。 固体撮像素子の受光面を模式的に示した図である。 着目画素の値を算出する回路の構成を示す図である。 補色フィルタを用いた場合の概念図である。 第１の実施例において、補間処理された画像信号を示す図である。 第１の実施例の変形例を示す図である。 第２の実施例に係る画像処理システムのブロック図である。 第２の実施例において、補間処理された画像信号を示す図である。 第３の実施例に係る画像処理システムのブロック図である。 従来の画像処理システムのブロック図である。 従来の画像処理システムの構成図である。

符号の説明

１、２０１・・・前段部、２、２０２・・・画像圧縮部、３、２０３・・・画像伸長部、４、７、２０４・・・後段部、５・・・加算器、６・・・１ｂｉｔシフタ、１１、２０１１・・・色フィルタ、１２、２０１２・・・固体撮像素子、１３、１１１、２１２、２１３・・・設定手段、１４、１１２、２１４、２１５・・・補間手段、１５、１１３、２１６、２１７、２０１４・・・輝度・色差信号生成手段、２１、２０２１・・・周波数変換手段、２２、２０２２・・・量子化手段、２３、２０２３・・・符号化手段、３１、２０３１・・・復号化手段、３２、２０３２・・・逆量子化手段、３３、２０３３・・・逆周波数変換手段、４１、７２・・・画像信号生成手段、４２、７１、２０４１・・・色信号生成手段、１０１・・・撮像装置、１０２・・・画像データ圧縮装置、１０３・・・画像データ伸長装置、１０４・・・画像再生装置、２１１・・・選択手段、２０１３・・・補間処理手段

Claims (16)

1. 複数の画素からなる受光面に、所定の色配列を有する色フィルタが貼付された固体撮像素子より出力される色信号から、任意の画素に対して、該画素に係る前記色フィルタの色属性とは異なる色属性の色信号を補間演算により生成する補間手段と、
   任意の画素に係る複数の前記色信号から、該画素に係る輝度信号或いは１つ以上の色差信号の内の少なくとも一方の信号を生成する輝度・色差信号生成手段と、
   該輝度信号及び色差信号を生成する画素を注目画素として設定する設定手段と、
   を有することを特徴とする輝度・色差信号生成装置。
2. 前記設定手段は、前記注目画素を、前記色属性として緑に係る色信号を出力する画素に設定することを特徴とする請求項１に記載された輝度・色差信号生成装置。
3. 前記輝度・色差信号生成手段は、前記輝度信号と、１つの色差信号のみを生成することを特徴とする請求項１または請求項２に記載された輝度・色差信号生成装置。
4. 前記色フィルタはベイヤ配列であり、前記輝度・色差信号生成手段は、前記注目画素が前記固体撮像素子上で奇数行に位置するときは、前記輝度信号と第１の色差信号を、偶数行に位置するときは、前記輝度信号と前記第１の色差信号とは異なる第２の色差信号を生成することを特徴とする請求項３に記載された輝度・色差信号生成装置。
5. 前記輝度・色差信号生成手段は、前記注目画素に係る前記色フィルタの色属性に応じて、生成する前記輝度信号及び前記色差信号が設定されていることを特徴とする請求項１に記載された輝度・色差信号生成装置。
6. 前記輝度・色差信号生成手段は、前記注目画素に係る前記色属性が緑のときは輝度信号を生成し、赤のときは第１の色差信号を生成し、青のときは前記第１の色差信号とは異なる第２の色差信号を生成することを特徴とする請求項５に記載された輝度・色差信号生成装置。
7. 複数の画素からなる受光面に、所定の色配列を有する色フィルタが貼付された固体撮像素子より出力される色信号から、任意の画素に対して、その画素に係る前記色フィルタの色属性とは異なる色属性の色信号を補間演算により生成する補間手段と、
   任意の画素に係る複数の前記色信号から、該画素に係る輝度信号或いは１つ以上の色信号の内の少なくとも一方の信号を生成する輝度・色差信号生成手段と、
   前記固体撮像素子上の特定行、又は、特定列に属する画素を、前記輝度信号及び色差信号を生成する注目画素として設定する設定手段と、
   を有することを特徴とする輝度・色差信号生成装置。
8. 前記設定手段は、前記特定行とする行または、特定列とする列を一定パターンに従って設定することを特徴とする請求項７に記載された輝度・色差信号生成装置。
9. 前記輝度・色差信号生成手段は、前記特定行、または、前記特定列ごとに、生成する前記輝度信号及び前記色差信号が設定されていることを特徴とする請求項７に記載された輝度・色差信号生成装置。
10. 前記色フィルタはベイヤ配列であり、前記輝度・色差信号生成手段は、前記特定行が奇数行のときは前記輝度信号と第１の色差信号を、偶数行のときは前記輝度信号と前記第１の色差信号とは異なる第２の色差信号を夫々生成し、または、前記特定列が奇数列のときは前記輝度信号と第１の色差信号を、偶数列のときは前記輝度信号と前記第1の色差信号とは異なる第２の色差信号を夫々生成することを特徴とする請求項７に記載された輝度・色差信号生成装置。
11. 処理対象の異なる複数の前記輝度・色差信号生成手段と、
    前記複数の輝度・色差信号生成手段から対応する輝度・色差信号生成手段を選択する選択手段と、
    を更に有することを特徴とする請求項１または請求項７に記載された輝度・色差信号生成装置。
12. 前記補間手段は、前記任意の画素の近傍に位置する画素の色信号から、その画素に係る前記色フィルタの色属性とは異なる色属性の色信号を演算することを特徴とする請求項１または請求項７に記載された輝度・色差信号生成装置。
13. 請求項１または請求項７に記載された輝度・色差信号生成装置と、
    前記輝度・色差信号生成装置から出力される輝度信号及び色差信号に対して、各信号ごとにブロック単位で空間周波数成分を算出する周波数変換手段と、
    前記空間周波数成分を量子化する量子化手段と、
    量子化された前記空間周波数成分を符号化する符号化手段と、
    を備える画像圧縮部と、
    を有することを特徴とする画像圧縮装置。
14. 請求項１３に記載の画像圧縮装置と、
    前記画像圧縮装置からの出力から、前記量子化された空間周波数成分を復号化する復号化手段と、
    復号化された前記空間周波数成分を逆量子化する逆量子化手段と、
    逆量子化された前記空間周波数成分に基づいて、前記ブロック単位で輝度信号及び色差信号を算出する逆周波数変換手段と、
    を備える画像伸長部と、
    前記画像伸長部から出力される前記輝度信号、色差信号を外部機器が要求する出力フォーマットに変換するフォーマット変換手段と、
    を有することを特徴とする画像処理システム。
15. 前記フォーマット変換手段は、前記輝度信号及び色差信号を前記色信号に変換する画像信号生成手段と、
    前記画像信号生成手段からの前記色信号に対して、前記注目画素以外の画素に係る色信号を補間処理する色信号生成手段と、
    を有することを特徴とする請求項１４に記載された画像処理システム。
16. 前記フォーマット変換手段は、前記輝度信号及び色差信号から、前記注目画素以外の画素に係る輝度信号及び色差信号を補間する輝度・色差信号補間手段と、
    前記輝度・色差信号補間手段からの前記輝度信号及び色差信号を前記色信号に変換する画像信号生成手段と、
    を有することを特徴とする請求項１４に記載された画像処理システム。
    
    

Images