JP4574045B2 - 半導体集積回路および撮像システム - Google Patents
半導体集積回路および撮像システム Download PDFInfo
- Publication number
- JP4574045B2 JP4574045B2 JP2001098750A JP2001098750A JP4574045B2 JP 4574045 B2 JP4574045 B2 JP 4574045B2 JP 2001098750 A JP2001098750 A JP 2001098750A JP 2001098750 A JP2001098750 A JP 2001098750A JP 4574045 B2 JP4574045 B2 JP 4574045B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- code
- conversion
- output
- binary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/709—Circuitry for control of the power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/617—Noise processing, e.g. detecting, correcting, reducing or removing noise for reducing electromagnetic interference, e.g. clocking noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Analogue/Digital Conversion (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ（チャージ・カップルド・デバイス）のような撮像素子を用いた撮像システムにおけるノイズ低減技術さらにはディジタル画像データの伝達によって生じるノイズをコード変換方式を用いて低減する技術に関し、例えば電子スチールカメラ（いわゆるディジタルカメラ）やビデオカメラなどに利用して有効な技術に関する。
【０００２】
【従来の技術】
図１０に示すように、ＣＣＤ１０から出力されたアナログ映像信号をＡＤ変換用ＬＳＩ（大規模半導体集積回路）２０でディジタル信号に変換してＤＳＰ（ディジタル・シグナル・プロセッサ）３０で画像処理を行ない、ディスプレイ８０に表示させるようにした電子スチールカメラやビデオカメラのような撮像システムがある。ここで、ＣＣＤ１０やＤＳＰ３０もＡＤ変換用ＬＳＩ２０と同様にそれぞれ半導体集積回路化され、これらの半導体集積回路がプリント配線基板１００上に実装されて撮像システムが構成される。
【０００３】
【発明が解決しようとする課題】
本発明者らは、かかる撮像システムにおいて表示画面に現われるノイズの原因について詳細な検討を行なった。その結果、ＡＤ変換された画像データをＤＳＰ３０へ伝達すべくＡＤ変換用ＬＳＩ２０が画像データを出力する際に発生した電源ノイズが、プリント配線基板上の電源ライン（Ｖｃｃラインおよびグランドライン）を介してＣＣＤ側に回り込んでＡＤ変換用ＬＳＩへ入力する映像信号にのったり、ＡＤ変換用ＬＳＩ内部で電源ラインや半導体基板を通して出力回路側から入力端子側へ回り込むことが主な原因であることを見出した。
【０００４】
もともとＬＳＩの出力回路は外部のプリント配線等チップ内部に比べて大きな負荷を駆動する必要があるため、出力用素子もＡＤ変換回路などの内部回路を構成する素子に比べて大きなサイズ（１０倍以上）のものが使用され、比較的多くの電流が流れるように設計されるのが一般的であり、出力信号の切り替わりの際に大きな貫通電流が流れて電源にノイズがのると考えられる。また、出力回路で発生したノイズは基板を通して入力回路以外の内部回路にも伝播するが、ＡＤ変換用ＬＳＩでは入力アナログ信号を増幅するＰＧＡ（プログラマブル・ゲイン・アンプ）のような増幅回路を有するため、入力側に伝播したノイズも映像信号と共に増幅されてしまい表示画質の低下につながることとなる。
【０００５】
そこで、出力回路の動作に伴なうノイズを減らすため、ＡＤ変換用ＬＳＩの電源端子に比較的大きなパスコンデンサを接続することでノイズ対策を行なってみた。しかしながら、大きなパスコンデンサを設けることはチップサイズを大きくしたり、システムの実装効率を低下させる要因となるとともに、パスコンデンサのみでは充分にノイズを除去することができないことが分かった。
【０００６】
従って、ノイズを低減するにはＡＤ変換用ＬＳＩ２０から出力されるディジタル画像データの切替えに伴なう出力回路での貫通電流を減らすことが有効であるとの結論に達した。ところで、出力回路での貫通電流を減らすには電源電圧を下げたり、出力回路の駆動力を下げることも一つの対策であるが、そのようにすると信号の伝達速度が低下してシステムの性能が要求を満たすことができなくなってしまうことがある。
【０００７】
この発明は、出力が切り替わる時に出力回路に流れる貫通電流を減らして発生するノイズを少なくできる半導体集積回路を提供することを目的とする。
【０００８】
この発明の他の目的は、信号の伝達速度を低下させることなく、ＣＣＤのような固体撮像素子から出力されるアナログ映像信号をディジタル画像データに変換しそれを出力する出力回路で発生するノイズを低減して、画質を向上させることが可能な撮像システムを提供することにある。
【０００９】
この発明の前記ならびにそのほかの目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
【００１０】
【課題を解決するための手段】
本願において開示される発明のうち代表的なものの概要を説明すれば、下記のとおりである。
【００１１】
すなわち、ＡＤ変換されたディジタル画像データを出力する前に差分符号化し、それをグレイコードに変換もしくはある固定値を加算するような所定のコード変換を行なってから出力するようにした。より具体的には、撮像素子から出力されるアナログカラー映像信号をＡＤ変換回路によりＡＤ変換した後、変換後の同一色に関わる隣接する画素のコード同士の差分をとり、該差分化出力コードを前後のコード間で切り替わりビット数の少ないコードに変換するようにしたものである。かかるコード変換を行なうことで、出力されるディジタル信号が切り換わる際に変化するビットの数が少なくなり、それによって出力回路での貫通電流が減少し、出力の変化に伴なうノイズを低減することができるようになる。
【００１２】
また、本発明は、撮像素子から出力されるアナログカラー映像信号を増幅する増幅回路と、増幅された信号をディジタル信号に変換するＡＤ変換回路と、ＡＤ変換後の同一色に関わる隣接する画素のコード同士の差分をとる差分化手段と、該差分化手段の出力をコード変換するコード変換手段とを設けるようにしたものである。これにより、該半導体集積回路から出力されるディジタル信号が切り換わる際に変化するビットの数が少なくなり、それによって出力回路での貫通電流が減少するようになる。
【００１３】
上記コード変換手段としては、入力バイナリコードをグレイコードに変化するバイナリ−グレイコード変換回路を用いるのが望ましい。これにより、出力されるディジタル信号が切り換わる際に変化するビットの数が確実に少なくなる。
【００１４】
また、上記コード変換手段として、入力コードに固定値を加算もしくは減算する回路を用いるようにしても良い。これにより、出力されるディジタル信号が切り換わる際に変化するビットの数をかなり少なくすることができる。この理由は、次の原理による。すなわち、ディジタル画像データの差分化された成分は０、＋１、−１など０の近傍のデータに集中する。そのため、バイナリコードではオール“０”であるのに対し、−１はオール“１”であるから差分データが０から−１にまたはその逆に変化すると全ビットが変化し、雑音を発生させてしまう。
そこで、入力コードに固定値を加算もしくは減算することにより、オール“０”からオール“１”またはその逆の変化を発生しないようにするものである。
【００１５】
さらに、上記差分化手段は、上記ＡＤ変換回路の出力コードを遅延させる遅延回路と、該遅延回路で遅延されたコードと入力コードとの差分をとる減算手段とにより構成し、上記遅延回路は入力映像信号の色配列に応じて遅延時間が可変に構成する。これにより、使用するフィルタの色配列が異なっていても、遅延回路の遅延時間を変更することで容易に対応することができる。
【００１６】
また、本発明に係る撮像システムは、色フィルタを備えた撮像素子と、前記撮像素子から出力されるアナログカラー映像信号を増幅する増幅回路と、増幅された信号をディジタル信号に変換するＡＤ変換回路と、ＡＤ変換後の同一色に関わる隣接する画素のコード同士の差分をとる差分化手段と、該差分化手段の出力をコード変換する第１コード変換手段とを備えた半導体集積回路と、前記半導体集積回路から出力されるコードを変換する第２コード変換手段および画像処理回路を備え画像処理用半導体集積回路とにより構成するようにしたものである。
【００１７】
上記した手段によれば、ＡＤ変換回路を備えた半導体集積回路の出力回路での貫通電流が減少し、出力の変化に伴なうノイズを抑制することができ、その結果、表示画質を向上させることができる。
【００１８】
上記第１コード変換手段はバイナリコードをグレイコードに変換するバイナリ−グレイコード変換回路を使用し、上記第２コード変換手段はグレイコードをバイナリコードに変換するグレイ−バイナリコード変換回路を使用するのが望ましい。これにより、出力されるディジタル信号が切り換わる際に変化するビットの数が確実に少なくなり、表示画質を向上させることができる。
【００１９】
また、上記コード変換手段として、入力コードに固定値を加算もしくは減算する回路を用いるようにしても良い。これにより、出力されるディジタル信号が切り換わる際に変化するビットの数をかなり少なくすることができ、表示画質を向上させることができる。
【００２０】
さらに、上記差分化手段は、上記ＡＤ変換回路の出力コードを遅延させる遅延回路と、該遅延回路で遅延されたコードと入力コードとの差分をとる減算手段とにより構成し、上記遅延回路は入力映像信号の色配列に応じて遅延時間が可変に構成する。これにより、使用するフィルタの色配列が異なっていても、遅延回路の遅延時間を変更することで容易に対応することができる。
【００２１】
また、ディジタル画像データを記憶する記憶手段を設けるとともに、上記画像処理用半導体集積回路には、上記第２コード変換手段により変換された後のコードを圧縮するデータ圧縮回路および圧縮データを伸長するデータ伸長回路を設け、上記データ圧縮回路により圧縮されたデータが上記記憶手段に記憶されるように構成する。これにより、画像データの互換性を保持しつつ少ない記憶容量の記憶手段により多くの画像データを保存することができるようになる。
【００２２】
【発明の実施の形態】
以下、本発明の好適な実施例を図面に基づいて説明する。
【００２３】
図１には、本発明を適用した撮像システムに用いられるＡＤ変換用ＬＳＩの概略構成例を示す。
【００２４】
図１に示されているように、この実施例のＡＤ変換用ＬＳＩ２０は、ＣＣＤ１０から出力され入力端子ＩＮに入力されたアナログ映像信号をサンプリングする相関二重サンプリング回路（ＣＤＳ）２１と、サンプリングされた信号を増幅する利得可変なプログラマブルゲインアンプ（ＰＧＡ）２２と、増幅されたアナログ信号をディジタル信号に変換するＡＤ変換回路（ＡＤＣ）２３と、ＡＤ変換されたディジタル画像データを差分符号化しさらにそれをグレイコードに変換する符号化＆コード変換回路２４と、コード変換された信号を出力端子ＯＵＴよりチップ外部へ出力する出力バッファ２５とから構成されている。
【００２５】
ＡＤ変換用ＬＳＩ２０を構成する各回路ブロック２１〜２５のうち符号化＆コード変換回路２４を除く他の回路は、従来のＡＤ変換用ＬＳＩ２０においても設けられていたものである。つまり、ＡＤ変換回路２３と出力バッファ２５との間に符号化＆コード変換回路２４を設けたことが本実施例の新規な点である。
【００２６】
なお、この実施例のＡＤ変換用ＬＳＩ２０に設けられる回路は、図１に示されているものがすべてではない。図１には示されていないが、このＬＳＩチップ内には上記アンプ（ＰＧＡ）２２のゲインを制御する信号などを生成したりチップ全体の動作を制御したりする制御回路や、ＣＤＳ２１へサンプリングタイミングを与えるクロック信号やＡＤ変換回路２３および符号化＆コード変換回路２４の動作にそれぞれ必要なクロック信号を生成するクロック生成回路もしくは外部から供給されるクロック信号をチップ内部の回路に分配するクロックバッファなどが設けられる。
【００２７】
また、この実施例では、上記符号化＆コード変換回路２４を設けることにより後述のように出力バッファ２５における貫通電流を減らしノイズを低減できるようにされているが、さらにノイズを低減するためには、チップの電源端子にパスコンデンサを接続するのが望ましい。ただし、本発明を適用することによりパスコンデンサとして容量値の小さなものを使用することができるので実装面積を小さくすることができる。
【００２８】
図２には、上記符号化＆コード変換回路２４の概略構成が示されている。図２に示されているように、符号化＆コード変換回路２４はＡＤ変換回路２３から出力されたデータを所定のクロック周期だけ遅延させる遅延回路４１と、ＡＤ変換回路２３から出力されたデータと遅延回路４１で遅延されたデータとの差分をとる差分符号化回路４２と、差分符号化されたバイナリデータをグレイコードに変換するコード変換回路４３とから構成される。
【００２９】
差分符号化回路４２は、差分をとった際に発生したキャリービットを切り捨てるように構成されているキャリービットを切り捨てることで、差分をとる前のデータのビット数と差分をとった後のデータのビット数が同一となり、データの取り扱いが容易になる。表１に、２ビットの場合を例にとって、データ（被減算値ａ）とデータ（減算値ｂ）の差分をとってキャリーを切り捨てた場合の演算結果ｃ（＝ａ−ｂ）と、該演算結果ｃと減算値ｂとから加算により被減算値ａを算出した結果ｄ（＝ｃ＋ｂ）を示す。なお、本実施例においては、後述の差分復号化の際に行なわれる加算においても、発生したキャリービットは切り捨てられる。
これにより、差分をとる前のデータのビット数と差分をとった後のデータのビット数が同一となる。
【００３０】
【表１】
【００３１】
表１においては、第１列目のコード（ａ）と第４列目のコード（ｄ）とは一致している。このことより、差分符号化の際および差分復号化の際にそれぞれキャリーの切捨てを行なっても元のコードを正確に復元できることが分かる。なお、表１には２ビットのコードの例を示したが３ビット以上のコードにおいても同様にキャリーを切り捨てても再現性がある。
【００３２】
コード変換回路４３は、例えば図３に示すように変換するコードのビット数よりも１つ少ない数のイクスクルーシブＯＲゲートＧ１〜Ｇ７で構成され、最上ビットを除き隣接するビット同士Ｄｉ，Ｄｉ＋１（ｉ＝０〜６）の排他的論理和をとったものが変換後のビットＤｉ’として出力される。変換前の最上位のビットＤ７はそのまま変換後の最上位ビットＤ７’として出力される。図３は、一例として８ビットのバイナリコードをグレイコードに変換する場合の回路例であり、同様の仕組みにより１０ビットや１２ビットなど任意のビット数のコード変換回路を構成することができる。
【００３３】
次に、上記差分符号化回路４２による差分符号化処理とコード変換回路４３によるバイナリグレイコード変換の具体的な手順を、図５を参照しながら説明する。なお、ここで説明する手順は、３原色であるＲ（赤），Ｇ（緑），Ｂ（青）が図４（Ａ）に示すように配置されている色フィルタを有し、図４（Ａ）に矢印▲１▼〜▲４▼で示すように各ラインを上から順に横方向にスキャンするように構成されたＣＣＤから出力された映像信号が入力される場合である。この場合、図２の遅延回路４１における遅延量は２クロック周期すなわちＣＤＳ２１における入力信号のサンプリングクロックの２周期分の遅延とされる。
【００３４】
図５の（Ａ）欄に示されているように、Ｒ→Ｇ→Ｒ→Ｇ→Ｒ→Ｇ→Ｒ→ＧのようにＲ（赤）の信号とＧ（緑）の信号が交互に入力される場合を考える。このとき各信号をＡＤ変換した値が１０進数で図５の（Ｂ）欄のように変化したとする。これを実際に出力されるバイナリコードで現わすと、図５（Ｃ）欄のようになる。符号化＆コード変換回路２４を有しない従来のＡＤ変換用ＬＳＩからはこのコードがそのまま出力されていた。図５（Ｃ）欄のコードの隣接するもの同士を比較すると明らかなように、各コードが次のコードに変化するときの切り替わりビット数は、図５の（Ｄ）欄のようになる。
【００３５】
本実施例のコード変換回路２４に図５（Ｃ）に示すようなバイナリコードが入力されたときに差分符号化回路４２から出力される値を、１０進数で示すと図５（Ｅ）のように、またバイナリコードで示すと図５（Ｆ）のようになる。ここで、差分は隣接する画素の同一の色同士、つまり図５の（Ｂ）欄で矢印で示すように一つおきの値同士の差分である。そして、図５（Ｆ）の差分バイナリコードをグレイコードに変換すると図５（Ｇ）のようになる。
【００３６】
図５（Ｇ）欄のコードの隣接するもの同士を比較すると明らかなように、各コードが次のコードに変化するときの切り替わりビット数は、図５の（Ｈ）のようになる。図５の（Ｄ）欄と（Ｈ）欄とを比較すると、従来方式に比べて本実施例の方が、切り替わりビット数が大幅に減少することが分かる。
【００３７】
なお、映像信号においては隣接する画素間での急激な変化は少ないので、ＡＤ変換後のコードを直ちにグレイコードに変換しても同一色同士ではビット変化量は少ない。本実施例においてＡＤ変換後のコードを直ちにグレイコードに変換せずに差分をとっているのは、映像信号においては隣接する画素同士では変化が少なくても、図４のような色要素配列のフィルタを通したＣＣＤの出力におけるひとつの画素の異色間のコード差は比較的大きいことが多いためである（例外として撮影対象が色彩の変化に乏しい灰色の場合には、異色間のコード差も小さくなる）。
【００３８】
本実施例のように差分をとってグレイコードに変換すれば、色が異なっても差分同士にはそれほど大きな差異がないので、例えばＲ（赤）成分の画像データの出力からＧ（緑）成分の画像データの出力へ切り替わる際に変化するビットの数も少なくなる。
【００３９】
ただし、単に差分をとるようにしたのでは、１つの画面では差分が正になる場合と負になる場合がほぼ同一の割合で発生すると予想されるが、２の補数で表わされるバイナリコードでは正から負に変わるときはオール“０”からオール“１”へ、また負から正へ変わるときはオール“１”からオール“０”にコードが大きく変化してしまう。そこで、この実施例では、バイナリコードをグレイコードに変換することにより、正から負あるいは負から正へ変わるときにコードが大きく変化しないようにしている。
【００４０】
表２に、２の補数で表わされるバイナリコードとグレイコードとの関係を、コードが３ビットの場合を例にとって示す。
【００４１】
【表２】
【００４２】
表２から分かるように、３ビットのバイナリコードでは１０進数の「０」から「−１」に変化するときに「０００」から「１１１」に変化する。４ビットや８ビット、あるいはそれ以上のビット数のコードでも同様にオール「０」からオール「１」に変化する。この場合、切り替わるビットは全ビット（３個）である。
一方、グレイコードでは、例えば３ビットの場合には１０進数の「０」から「−１」に変化するときに「０００」から「１００」に変化するので、この場合、切り替わるビットはたった１ビットである。従って、出力バッファで出力が切り替わる際に流れる貫通電流もバイナリコードを出力する場合よりもグレイコードを出力する場合の方が大幅に少なくなる。
【００４３】
図６には、一例として人間の手のひらをＣＣＤで撮影した場合における従来方式によるＡＤ変換後のコードの切り替わりビット数を調べた結果（Ａ）と、本実施例を適用して差分符号化後にグレイコード変換した場合における切り替わりビット数を調べた結果（Ｂ）をグラフで示す。
【００４４】
同図より、従来方式（Ａ）ではコードの切り替わりビット数は最大「８」個で最も出現頻度が高いビット数は「４」個であるのに対して、本実施例を適用した場合には切り替わりビット数は最大「６」個で最も出現頻度が高いビット数は「２」個であり、本実施例の方が従来方式に比べて切り替わりビット数が少ないことが分かる。そして、このように切り替わりビット数が少なければそのようなコードを出力するときに出力バッファに流れる貫通電流を減らすことができ、電源ノイズや基板を通して伝わるノイズも減らすことができる。
【００４５】
なお、図２に示されている差分符号化およびグレイコード変換方式は、図４（Ｂ）のようにＣｙ（シアン），Ｙｅ（イエロー），Ｍｇ（マゼンタ），Ｇ（グリーン）の４色が配列されてなる補色フィルタを用いる場合や３原色Ｒ（赤），Ｇ（緑），Ｂ（青）が横一列に配列されてなるフィルタを用いる場合にも適用することができる。このうち補色フィルタを用いる場合でも、同一行に２種類の色要素が交互に配列されているフィルタであれば、遅延回路４１における遅延量は前記実施例と同様に２クロック周期とすればよい。
【００４６】
一方、図示しないが３原色フィルタでも３つの色要素が順に繰返し横一列に配列されてなる３原色フィルタを用いる場合には遅延回路４１における遅延量は３クロック周期とすれば良い。このように使用するフィルタに応じて遅延回路４１における遅延量は異なるので、図２の実施例における遅延回路４１を可変遅延回路で構成するとともに、この可変遅延回路に対応して遅延量（遅延クロック周期）を指定するためのレジスタを設けて、このレジスタの設定値を書き換えることで遅延回路４１における遅延量を変更できるように構成するようにしても良い。
【００４７】
次に、本発明の第２の実施例を説明する。第２の実施例は、第１の実施例のように差分符号化した後グレイコードに変換するのではなく、差分符号化した後にあるバイナリコードで表現された固定値を加算（減算も可）するようにしたものである。表２の右側の列に差分符号化した後に固定値として「１０進数表示で５（バイナリコードでは“１０１”）」を加算した場合のコード（以下、オフセットバイナリコードと称する）を示す。
【００４８】
表２より差分符号化後に固定値として「５」を加算した場合には、１０進数の「０」から「−１」に変化するときにバイナリコードでは「１０１」から「１００」に変化するので、この場合、切り替わるビットはたった１ビットであることが分かる。ただし、この方式の場合、１０進数の「２」から「３」に変化するときに「１１１」から「０００」に変化するので、この場合、切り替わるビット数は３個となる。しかし、入力映像信号すなわち撮影対象によっては隣接する画素間の信号の変化の量が「−１」〜「＋２」の範囲に入る場合（明度差の小さな映像）もある。このような場合、第２の実施例を適用したとしても出力の切り替わりの際に変化するビットの数を減らし、出力の変化に伴なうノイズを低減することができる。
【００４９】
表２にはコードが３ビットの場合を示したが、ビット数がもっと多くなれば加算する固定値を適当に選択することで、出力データが切り替わる際に変化するビットの数を１以下に抑えることができるオフセットバイナリコードの範囲を広くすることができる。従って、差分符号化後にオフセットバイナリコードに変換するようにしても、第１の実施例ほどではないが、出力されるディジタル信号が切り換わる際に変化するビットの数をかなり少なくすることができ、それによって出力回路での貫通電流を減少させ、出力の変化に伴なうノイズを低減することができるようになる。
【００５０】
図７には上記ＡＤ変換用ＬＳＩから出力される画像データを受けてデータ処理を行なうＤＳＰ（ディジタル・シグナル・プロセッサ）３０の概略構成が示されている。この実施例のＤＳＰ３０は、ＡＤ変換用ＬＳＩ２０から出力されるグレイコード変換された画像データを受けてこれを元のバイナリコードに逆変換しさらに差分復号を行なうグレイ−バイナリ差分復号回路３１と、復号された画像データに対して例えば色補正や画像合成などの画像処理を行なう画像処理回路３２と、復号された画像データを圧縮して外部のメモリ５０に格納したりメモリ５０から読み出された画像データを伸長したりする圧縮／伸長回路３３などにより構成されている。メモリ５０は、ＲＡＭなどの揮発性半導体集メモリの他、スマートメディアやコンパクトフラッシュなどの不揮発性メモリが用いられる。
【００５１】
なお、画像処理回路３２で画像処理される前の画像データを圧縮する代わりに、画像処理された後の画像データを圧縮／伸長回路３３で圧縮して外部のメモリ５０に格納するように構成することも可能である。この実施例においては、上記ＤＳＰ３０で画像処理された画像データは外部のＤＡ変換回路６０へ出力されてアナログ信号に変換され、これがフィルタ７０を通してディスプレイ８０に供給されて表示されるようにされる。図７のＤＳＰ３０は機能ブロックで表わしたものであり、実際のハードウェアでは、例えば乗算器や加算器などの演算器とデータを保持するレジスタ、それらを処理内容に応じて所定の順序で動作させる制御回路などから構成される。
【００５２】
図８には、上記ＤＳＰ３０に設けられるグレイ−バイナリ差分復号回路３１の構成が示されている。グレイ−バイナリ差分復号回路３１は、例えばデータが３ビットの場合には表２の３列目に示されているようなグレイコードを２列目に示されているようなバイナリコードに変換するグレイ−バイナリ変換回路３１１と、図２に示されている遅延回路４１における遅延に対応して所定のクロック周期だけコード信号を遅延させる遅延回路３１２と、グレイ−バイナリ変換回路３１１で変換されたコードに遅延回路３１２で遅延されたコードを加算することで差分復号化したデータを生成する加算回路３１３とから構成されている。なお、加算回路３１３は加算のときに発生したキャリーを切り捨てるように構成されている。このように差分復号化の際にキャリーの切捨てを行なうように構成されていても、表１を用いて説明したように、元のコードを正確に復元することができる。
【００５３】
図９には、上記グレイ−バイナリ変換回路３１１の具体的な構成例が示されている。同図に示されているように、グレイ−バイナリ変換回路３１１は、変換するコードのビット数よりも１つ少ない数のイクスクルーシブＯＲゲートＧ１１〜Ｇ１７で構成され、最上位を除く各入力ビットＤｉ’とその１つ上位ビット側の変換後ビット（イクスクルーシブＯＲゲートの出力）Ｄｉ＋１との排他的論理和をとることでバイナリコードに変換される。最上位のビットＤ７’はそのまま変換後の最上位ビットＤ７として出力される。図９は、図３に対応して８ビットのグレイコードをバイナリコードに変換する回路の例を示したものであり、同様の仕組みにより１０ビットや１２ビットなど任意のビット数のコード変換回路を構成することができる。
【００５４】
なお、図８および図９は送られてくるコードがグレイコードの場合の変換回路の例であり、送られてくるコードが表２の４列目に示されているようなオフセットバイナリコードである場合には、入力コードからある固定値を引き算（あるいは加算）する処理を行なう回路とされる。
【００５５】
以上本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は上記実施例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記実施例においては、差分符号化した後に行なうコード変換の例としてグレイコードに変換する場合とオフセットバイナリコードに変換する場合とを説明したが、コード変換はこれらに限定されるものでなく、差分を示すコードが切り替わる際に変化するビットの数が少ない方式であればどのようなコード変換を利用するものであってもよい。
【００５６】
また、前記実施例においては、ＣＤＳ（相関二重サンプリング回路）を搭載したＡＤ変換用ＬＳＩについて説明したが、ＣＤＳは省略しても良いし別チップで構成されていても良い。前記実施例においては、ＣＣＤを用いた撮像システムにおけるＡＤ変換用ＬＳＩについて説明したが、ＣＭＯＳイメージセンサなどＣＣＤ以外の撮像素子を用いた撮像システムにおけるＡＤ変換用ＬＳＩについても同様に適用することができる。
【００５７】
以上の説明では主として本発明者によってなされた発明をその背景となった利用分野である撮像システムに適用した場合について説明したが、本発明はそれに限定されるものでなく、例えば音声信号を処理する録音システムなどアナログ信号をディジタルデータに変換して処理するシステムに広く利用することができる。
【００５８】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００５９】
すなわち、信号の伝達速度を低下させることなく、撮像素子から出力されるアナログ映像信号をディジタル画像データに変換するＡＤ変換用ＬＳＩの出力回路で発生するノイズを低減して、画質を向上させることができるという効果がある。
【図面の簡単な説明】
【図１】本発明を適用した撮像システムに用いられるＡＤ変換用ＬＳＩの概略構成例を示すブロック図である。
【図２】符号化＆コード変換回路の概略構成を示すブロック図である。
【図３】バイナリ−グレイ変換回路の概略構成を示すブロック図である。
【図４】電子カメラに用いられるフィルタの構成例を示す配置図である。
【図５】実施例のＡＤ変換回路における差分符号化とバイナリ−グレイ変換の具体例を示すコード変換説明図である。
【図６】従来の撮像システムにおけるＡＤ変換後の画像データの切り替わりビット数の頻度と本発明を適用したシステムにおけるＡＤ変換後の画像データの切り替わりビット数の頻度を示すグラフである。
【図７】ＡＤ変換後の画像データを処理するＤＳＰの構成例を示すブロック図ある。
【図８】ＤＳＰに設けられるグレイバイナリ差分復号回路の構成例を示すブロック図である。
【図９】グレイ−バイナリ変換回路の具体的な構成例を示すブロック図である。
【図１０】一般的な撮像システムの概略構成を示すブロック図である。
【符号の説明】
１０ ＣＣＤ
２０ ＡＤ変換用ＬＳＩ
２１ 相関二重サンプリング回路（ＣＤＳ）
２２ プログラマブルゲインアンプ（ＰＧＡ）
２３ ＡＤ変換回路（ＡＤＣ）
２４ 符号化＆コード変換回路
２５ 出力バッファ
３０ ＤＳＰ（ディジタル・シグナル・プロセッサ）
３１ グレイバイナリ差分復号回路
３２ 画像処理回路
３３ 圧縮／伸長回路
４１ 遅延回路
４２ 差分符号化回路
４３ コード変換回路
５０ メモリ
６０ ＤＡ変換器
７０ フィルタ
８０ ディスプレイ
１００ プリント配線基板
【発明の属する技術分野】
本発明は、ＣＣＤ（チャージ・カップルド・デバイス）のような撮像素子を用いた撮像システムにおけるノイズ低減技術さらにはディジタル画像データの伝達によって生じるノイズをコード変換方式を用いて低減する技術に関し、例えば電子スチールカメラ（いわゆるディジタルカメラ）やビデオカメラなどに利用して有効な技術に関する。
【０００２】
【従来の技術】
図１０に示すように、ＣＣＤ１０から出力されたアナログ映像信号をＡＤ変換用ＬＳＩ（大規模半導体集積回路）２０でディジタル信号に変換してＤＳＰ（ディジタル・シグナル・プロセッサ）３０で画像処理を行ない、ディスプレイ８０に表示させるようにした電子スチールカメラやビデオカメラのような撮像システムがある。ここで、ＣＣＤ１０やＤＳＰ３０もＡＤ変換用ＬＳＩ２０と同様にそれぞれ半導体集積回路化され、これらの半導体集積回路がプリント配線基板１００上に実装されて撮像システムが構成される。
【０００３】
【発明が解決しようとする課題】
本発明者らは、かかる撮像システムにおいて表示画面に現われるノイズの原因について詳細な検討を行なった。その結果、ＡＤ変換された画像データをＤＳＰ３０へ伝達すべくＡＤ変換用ＬＳＩ２０が画像データを出力する際に発生した電源ノイズが、プリント配線基板上の電源ライン（Ｖｃｃラインおよびグランドライン）を介してＣＣＤ側に回り込んでＡＤ変換用ＬＳＩへ入力する映像信号にのったり、ＡＤ変換用ＬＳＩ内部で電源ラインや半導体基板を通して出力回路側から入力端子側へ回り込むことが主な原因であることを見出した。
【０００４】
もともとＬＳＩの出力回路は外部のプリント配線等チップ内部に比べて大きな負荷を駆動する必要があるため、出力用素子もＡＤ変換回路などの内部回路を構成する素子に比べて大きなサイズ（１０倍以上）のものが使用され、比較的多くの電流が流れるように設計されるのが一般的であり、出力信号の切り替わりの際に大きな貫通電流が流れて電源にノイズがのると考えられる。また、出力回路で発生したノイズは基板を通して入力回路以外の内部回路にも伝播するが、ＡＤ変換用ＬＳＩでは入力アナログ信号を増幅するＰＧＡ（プログラマブル・ゲイン・アンプ）のような増幅回路を有するため、入力側に伝播したノイズも映像信号と共に増幅されてしまい表示画質の低下につながることとなる。
【０００５】
そこで、出力回路の動作に伴なうノイズを減らすため、ＡＤ変換用ＬＳＩの電源端子に比較的大きなパスコンデンサを接続することでノイズ対策を行なってみた。しかしながら、大きなパスコンデンサを設けることはチップサイズを大きくしたり、システムの実装効率を低下させる要因となるとともに、パスコンデンサのみでは充分にノイズを除去することができないことが分かった。
【０００６】
従って、ノイズを低減するにはＡＤ変換用ＬＳＩ２０から出力されるディジタル画像データの切替えに伴なう出力回路での貫通電流を減らすことが有効であるとの結論に達した。ところで、出力回路での貫通電流を減らすには電源電圧を下げたり、出力回路の駆動力を下げることも一つの対策であるが、そのようにすると信号の伝達速度が低下してシステムの性能が要求を満たすことができなくなってしまうことがある。
【０００７】
この発明は、出力が切り替わる時に出力回路に流れる貫通電流を減らして発生するノイズを少なくできる半導体集積回路を提供することを目的とする。
【０００８】
この発明の他の目的は、信号の伝達速度を低下させることなく、ＣＣＤのような固体撮像素子から出力されるアナログ映像信号をディジタル画像データに変換しそれを出力する出力回路で発生するノイズを低減して、画質を向上させることが可能な撮像システムを提供することにある。
【０００９】
この発明の前記ならびにそのほかの目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
【００１０】
【課題を解決するための手段】
本願において開示される発明のうち代表的なものの概要を説明すれば、下記のとおりである。
【００１１】
すなわち、ＡＤ変換されたディジタル画像データを出力する前に差分符号化し、それをグレイコードに変換もしくはある固定値を加算するような所定のコード変換を行なってから出力するようにした。より具体的には、撮像素子から出力されるアナログカラー映像信号をＡＤ変換回路によりＡＤ変換した後、変換後の同一色に関わる隣接する画素のコード同士の差分をとり、該差分化出力コードを前後のコード間で切り替わりビット数の少ないコードに変換するようにしたものである。かかるコード変換を行なうことで、出力されるディジタル信号が切り換わる際に変化するビットの数が少なくなり、それによって出力回路での貫通電流が減少し、出力の変化に伴なうノイズを低減することができるようになる。
【００１２】
また、本発明は、撮像素子から出力されるアナログカラー映像信号を増幅する増幅回路と、増幅された信号をディジタル信号に変換するＡＤ変換回路と、ＡＤ変換後の同一色に関わる隣接する画素のコード同士の差分をとる差分化手段と、該差分化手段の出力をコード変換するコード変換手段とを設けるようにしたものである。これにより、該半導体集積回路から出力されるディジタル信号が切り換わる際に変化するビットの数が少なくなり、それによって出力回路での貫通電流が減少するようになる。
【００１３】
上記コード変換手段としては、入力バイナリコードをグレイコードに変化するバイナリ−グレイコード変換回路を用いるのが望ましい。これにより、出力されるディジタル信号が切り換わる際に変化するビットの数が確実に少なくなる。
【００１４】
また、上記コード変換手段として、入力コードに固定値を加算もしくは減算する回路を用いるようにしても良い。これにより、出力されるディジタル信号が切り換わる際に変化するビットの数をかなり少なくすることができる。この理由は、次の原理による。すなわち、ディジタル画像データの差分化された成分は０、＋１、−１など０の近傍のデータに集中する。そのため、バイナリコードではオール“０”であるのに対し、−１はオール“１”であるから差分データが０から−１にまたはその逆に変化すると全ビットが変化し、雑音を発生させてしまう。
そこで、入力コードに固定値を加算もしくは減算することにより、オール“０”からオール“１”またはその逆の変化を発生しないようにするものである。
【００１５】
さらに、上記差分化手段は、上記ＡＤ変換回路の出力コードを遅延させる遅延回路と、該遅延回路で遅延されたコードと入力コードとの差分をとる減算手段とにより構成し、上記遅延回路は入力映像信号の色配列に応じて遅延時間が可変に構成する。これにより、使用するフィルタの色配列が異なっていても、遅延回路の遅延時間を変更することで容易に対応することができる。
【００１６】
また、本発明に係る撮像システムは、色フィルタを備えた撮像素子と、前記撮像素子から出力されるアナログカラー映像信号を増幅する増幅回路と、増幅された信号をディジタル信号に変換するＡＤ変換回路と、ＡＤ変換後の同一色に関わる隣接する画素のコード同士の差分をとる差分化手段と、該差分化手段の出力をコード変換する第１コード変換手段とを備えた半導体集積回路と、前記半導体集積回路から出力されるコードを変換する第２コード変換手段および画像処理回路を備え画像処理用半導体集積回路とにより構成するようにしたものである。
【００１７】
上記した手段によれば、ＡＤ変換回路を備えた半導体集積回路の出力回路での貫通電流が減少し、出力の変化に伴なうノイズを抑制することができ、その結果、表示画質を向上させることができる。
【００１８】
上記第１コード変換手段はバイナリコードをグレイコードに変換するバイナリ−グレイコード変換回路を使用し、上記第２コード変換手段はグレイコードをバイナリコードに変換するグレイ−バイナリコード変換回路を使用するのが望ましい。これにより、出力されるディジタル信号が切り換わる際に変化するビットの数が確実に少なくなり、表示画質を向上させることができる。
【００１９】
また、上記コード変換手段として、入力コードに固定値を加算もしくは減算する回路を用いるようにしても良い。これにより、出力されるディジタル信号が切り換わる際に変化するビットの数をかなり少なくすることができ、表示画質を向上させることができる。
【００２０】
さらに、上記差分化手段は、上記ＡＤ変換回路の出力コードを遅延させる遅延回路と、該遅延回路で遅延されたコードと入力コードとの差分をとる減算手段とにより構成し、上記遅延回路は入力映像信号の色配列に応じて遅延時間が可変に構成する。これにより、使用するフィルタの色配列が異なっていても、遅延回路の遅延時間を変更することで容易に対応することができる。
【００２１】
また、ディジタル画像データを記憶する記憶手段を設けるとともに、上記画像処理用半導体集積回路には、上記第２コード変換手段により変換された後のコードを圧縮するデータ圧縮回路および圧縮データを伸長するデータ伸長回路を設け、上記データ圧縮回路により圧縮されたデータが上記記憶手段に記憶されるように構成する。これにより、画像データの互換性を保持しつつ少ない記憶容量の記憶手段により多くの画像データを保存することができるようになる。
【００２２】
【発明の実施の形態】
以下、本発明の好適な実施例を図面に基づいて説明する。
【００２３】
図１には、本発明を適用した撮像システムに用いられるＡＤ変換用ＬＳＩの概略構成例を示す。
【００２４】
図１に示されているように、この実施例のＡＤ変換用ＬＳＩ２０は、ＣＣＤ１０から出力され入力端子ＩＮに入力されたアナログ映像信号をサンプリングする相関二重サンプリング回路（ＣＤＳ）２１と、サンプリングされた信号を増幅する利得可変なプログラマブルゲインアンプ（ＰＧＡ）２２と、増幅されたアナログ信号をディジタル信号に変換するＡＤ変換回路（ＡＤＣ）２３と、ＡＤ変換されたディジタル画像データを差分符号化しさらにそれをグレイコードに変換する符号化＆コード変換回路２４と、コード変換された信号を出力端子ＯＵＴよりチップ外部へ出力する出力バッファ２５とから構成されている。
【００２５】
ＡＤ変換用ＬＳＩ２０を構成する各回路ブロック２１〜２５のうち符号化＆コード変換回路２４を除く他の回路は、従来のＡＤ変換用ＬＳＩ２０においても設けられていたものである。つまり、ＡＤ変換回路２３と出力バッファ２５との間に符号化＆コード変換回路２４を設けたことが本実施例の新規な点である。
【００２６】
なお、この実施例のＡＤ変換用ＬＳＩ２０に設けられる回路は、図１に示されているものがすべてではない。図１には示されていないが、このＬＳＩチップ内には上記アンプ（ＰＧＡ）２２のゲインを制御する信号などを生成したりチップ全体の動作を制御したりする制御回路や、ＣＤＳ２１へサンプリングタイミングを与えるクロック信号やＡＤ変換回路２３および符号化＆コード変換回路２４の動作にそれぞれ必要なクロック信号を生成するクロック生成回路もしくは外部から供給されるクロック信号をチップ内部の回路に分配するクロックバッファなどが設けられる。
【００２７】
また、この実施例では、上記符号化＆コード変換回路２４を設けることにより後述のように出力バッファ２５における貫通電流を減らしノイズを低減できるようにされているが、さらにノイズを低減するためには、チップの電源端子にパスコンデンサを接続するのが望ましい。ただし、本発明を適用することによりパスコンデンサとして容量値の小さなものを使用することができるので実装面積を小さくすることができる。
【００２８】
図２には、上記符号化＆コード変換回路２４の概略構成が示されている。図２に示されているように、符号化＆コード変換回路２４はＡＤ変換回路２３から出力されたデータを所定のクロック周期だけ遅延させる遅延回路４１と、ＡＤ変換回路２３から出力されたデータと遅延回路４１で遅延されたデータとの差分をとる差分符号化回路４２と、差分符号化されたバイナリデータをグレイコードに変換するコード変換回路４３とから構成される。
【００２９】
差分符号化回路４２は、差分をとった際に発生したキャリービットを切り捨てるように構成されているキャリービットを切り捨てることで、差分をとる前のデータのビット数と差分をとった後のデータのビット数が同一となり、データの取り扱いが容易になる。表１に、２ビットの場合を例にとって、データ（被減算値ａ）とデータ（減算値ｂ）の差分をとってキャリーを切り捨てた場合の演算結果ｃ（＝ａ−ｂ）と、該演算結果ｃと減算値ｂとから加算により被減算値ａを算出した結果ｄ（＝ｃ＋ｂ）を示す。なお、本実施例においては、後述の差分復号化の際に行なわれる加算においても、発生したキャリービットは切り捨てられる。
これにより、差分をとる前のデータのビット数と差分をとった後のデータのビット数が同一となる。
【００３０】
【表１】
表１においては、第１列目のコード（ａ）と第４列目のコード（ｄ）とは一致している。このことより、差分符号化の際および差分復号化の際にそれぞれキャリーの切捨てを行なっても元のコードを正確に復元できることが分かる。なお、表１には２ビットのコードの例を示したが３ビット以上のコードにおいても同様にキャリーを切り捨てても再現性がある。
【００３２】
コード変換回路４３は、例えば図３に示すように変換するコードのビット数よりも１つ少ない数のイクスクルーシブＯＲゲートＧ１〜Ｇ７で構成され、最上ビットを除き隣接するビット同士Ｄｉ，Ｄｉ＋１（ｉ＝０〜６）の排他的論理和をとったものが変換後のビットＤｉ’として出力される。変換前の最上位のビットＤ７はそのまま変換後の最上位ビットＤ７’として出力される。図３は、一例として８ビットのバイナリコードをグレイコードに変換する場合の回路例であり、同様の仕組みにより１０ビットや１２ビットなど任意のビット数のコード変換回路を構成することができる。
【００３３】
次に、上記差分符号化回路４２による差分符号化処理とコード変換回路４３によるバイナリグレイコード変換の具体的な手順を、図５を参照しながら説明する。なお、ここで説明する手順は、３原色であるＲ（赤），Ｇ（緑），Ｂ（青）が図４（Ａ）に示すように配置されている色フィルタを有し、図４（Ａ）に矢印▲１▼〜▲４▼で示すように各ラインを上から順に横方向にスキャンするように構成されたＣＣＤから出力された映像信号が入力される場合である。この場合、図２の遅延回路４１における遅延量は２クロック周期すなわちＣＤＳ２１における入力信号のサンプリングクロックの２周期分の遅延とされる。
【００３４】
図５の（Ａ）欄に示されているように、Ｒ→Ｇ→Ｒ→Ｇ→Ｒ→Ｇ→Ｒ→ＧのようにＲ（赤）の信号とＧ（緑）の信号が交互に入力される場合を考える。このとき各信号をＡＤ変換した値が１０進数で図５の（Ｂ）欄のように変化したとする。これを実際に出力されるバイナリコードで現わすと、図５（Ｃ）欄のようになる。符号化＆コード変換回路２４を有しない従来のＡＤ変換用ＬＳＩからはこのコードがそのまま出力されていた。図５（Ｃ）欄のコードの隣接するもの同士を比較すると明らかなように、各コードが次のコードに変化するときの切り替わりビット数は、図５の（Ｄ）欄のようになる。
【００３５】
本実施例のコード変換回路２４に図５（Ｃ）に示すようなバイナリコードが入力されたときに差分符号化回路４２から出力される値を、１０進数で示すと図５（Ｅ）のように、またバイナリコードで示すと図５（Ｆ）のようになる。ここで、差分は隣接する画素の同一の色同士、つまり図５の（Ｂ）欄で矢印で示すように一つおきの値同士の差分である。そして、図５（Ｆ）の差分バイナリコードをグレイコードに変換すると図５（Ｇ）のようになる。
【００３６】
図５（Ｇ）欄のコードの隣接するもの同士を比較すると明らかなように、各コードが次のコードに変化するときの切り替わりビット数は、図５の（Ｈ）のようになる。図５の（Ｄ）欄と（Ｈ）欄とを比較すると、従来方式に比べて本実施例の方が、切り替わりビット数が大幅に減少することが分かる。
【００３７】
なお、映像信号においては隣接する画素間での急激な変化は少ないので、ＡＤ変換後のコードを直ちにグレイコードに変換しても同一色同士ではビット変化量は少ない。本実施例においてＡＤ変換後のコードを直ちにグレイコードに変換せずに差分をとっているのは、映像信号においては隣接する画素同士では変化が少なくても、図４のような色要素配列のフィルタを通したＣＣＤの出力におけるひとつの画素の異色間のコード差は比較的大きいことが多いためである（例外として撮影対象が色彩の変化に乏しい灰色の場合には、異色間のコード差も小さくなる）。
【００３８】
本実施例のように差分をとってグレイコードに変換すれば、色が異なっても差分同士にはそれほど大きな差異がないので、例えばＲ（赤）成分の画像データの出力からＧ（緑）成分の画像データの出力へ切り替わる際に変化するビットの数も少なくなる。
【００３９】
ただし、単に差分をとるようにしたのでは、１つの画面では差分が正になる場合と負になる場合がほぼ同一の割合で発生すると予想されるが、２の補数で表わされるバイナリコードでは正から負に変わるときはオール“０”からオール“１”へ、また負から正へ変わるときはオール“１”からオール“０”にコードが大きく変化してしまう。そこで、この実施例では、バイナリコードをグレイコードに変換することにより、正から負あるいは負から正へ変わるときにコードが大きく変化しないようにしている。
【００４０】
表２に、２の補数で表わされるバイナリコードとグレイコードとの関係を、コードが３ビットの場合を例にとって示す。
【００４１】
【表２】
表２から分かるように、３ビットのバイナリコードでは１０進数の「０」から「−１」に変化するときに「０００」から「１１１」に変化する。４ビットや８ビット、あるいはそれ以上のビット数のコードでも同様にオール「０」からオール「１」に変化する。この場合、切り替わるビットは全ビット（３個）である。
一方、グレイコードでは、例えば３ビットの場合には１０進数の「０」から「−１」に変化するときに「０００」から「１００」に変化するので、この場合、切り替わるビットはたった１ビットである。従って、出力バッファで出力が切り替わる際に流れる貫通電流もバイナリコードを出力する場合よりもグレイコードを出力する場合の方が大幅に少なくなる。
【００４３】
図６には、一例として人間の手のひらをＣＣＤで撮影した場合における従来方式によるＡＤ変換後のコードの切り替わりビット数を調べた結果（Ａ）と、本実施例を適用して差分符号化後にグレイコード変換した場合における切り替わりビット数を調べた結果（Ｂ）をグラフで示す。
【００４４】
同図より、従来方式（Ａ）ではコードの切り替わりビット数は最大「８」個で最も出現頻度が高いビット数は「４」個であるのに対して、本実施例を適用した場合には切り替わりビット数は最大「６」個で最も出現頻度が高いビット数は「２」個であり、本実施例の方が従来方式に比べて切り替わりビット数が少ないことが分かる。そして、このように切り替わりビット数が少なければそのようなコードを出力するときに出力バッファに流れる貫通電流を減らすことができ、電源ノイズや基板を通して伝わるノイズも減らすことができる。
【００４５】
なお、図２に示されている差分符号化およびグレイコード変換方式は、図４（Ｂ）のようにＣｙ（シアン），Ｙｅ（イエロー），Ｍｇ（マゼンタ），Ｇ（グリーン）の４色が配列されてなる補色フィルタを用いる場合や３原色Ｒ（赤），Ｇ（緑），Ｂ（青）が横一列に配列されてなるフィルタを用いる場合にも適用することができる。このうち補色フィルタを用いる場合でも、同一行に２種類の色要素が交互に配列されているフィルタであれば、遅延回路４１における遅延量は前記実施例と同様に２クロック周期とすればよい。
【００４６】
一方、図示しないが３原色フィルタでも３つの色要素が順に繰返し横一列に配列されてなる３原色フィルタを用いる場合には遅延回路４１における遅延量は３クロック周期とすれば良い。このように使用するフィルタに応じて遅延回路４１における遅延量は異なるので、図２の実施例における遅延回路４１を可変遅延回路で構成するとともに、この可変遅延回路に対応して遅延量（遅延クロック周期）を指定するためのレジスタを設けて、このレジスタの設定値を書き換えることで遅延回路４１における遅延量を変更できるように構成するようにしても良い。
【００４７】
次に、本発明の第２の実施例を説明する。第２の実施例は、第１の実施例のように差分符号化した後グレイコードに変換するのではなく、差分符号化した後にあるバイナリコードで表現された固定値を加算（減算も可）するようにしたものである。表２の右側の列に差分符号化した後に固定値として「１０進数表示で５（バイナリコードでは“１０１”）」を加算した場合のコード（以下、オフセットバイナリコードと称する）を示す。
【００４８】
表２より差分符号化後に固定値として「５」を加算した場合には、１０進数の「０」から「−１」に変化するときにバイナリコードでは「１０１」から「１００」に変化するので、この場合、切り替わるビットはたった１ビットであることが分かる。ただし、この方式の場合、１０進数の「２」から「３」に変化するときに「１１１」から「０００」に変化するので、この場合、切り替わるビット数は３個となる。しかし、入力映像信号すなわち撮影対象によっては隣接する画素間の信号の変化の量が「−１」〜「＋２」の範囲に入る場合（明度差の小さな映像）もある。このような場合、第２の実施例を適用したとしても出力の切り替わりの際に変化するビットの数を減らし、出力の変化に伴なうノイズを低減することができる。
【００４９】
表２にはコードが３ビットの場合を示したが、ビット数がもっと多くなれば加算する固定値を適当に選択することで、出力データが切り替わる際に変化するビットの数を１以下に抑えることができるオフセットバイナリコードの範囲を広くすることができる。従って、差分符号化後にオフセットバイナリコードに変換するようにしても、第１の実施例ほどではないが、出力されるディジタル信号が切り換わる際に変化するビットの数をかなり少なくすることができ、それによって出力回路での貫通電流を減少させ、出力の変化に伴なうノイズを低減することができるようになる。
【００５０】
図７には上記ＡＤ変換用ＬＳＩから出力される画像データを受けてデータ処理を行なうＤＳＰ（ディジタル・シグナル・プロセッサ）３０の概略構成が示されている。この実施例のＤＳＰ３０は、ＡＤ変換用ＬＳＩ２０から出力されるグレイコード変換された画像データを受けてこれを元のバイナリコードに逆変換しさらに差分復号を行なうグレイ−バイナリ差分復号回路３１と、復号された画像データに対して例えば色補正や画像合成などの画像処理を行なう画像処理回路３２と、復号された画像データを圧縮して外部のメモリ５０に格納したりメモリ５０から読み出された画像データを伸長したりする圧縮／伸長回路３３などにより構成されている。メモリ５０は、ＲＡＭなどの揮発性半導体集メモリの他、スマートメディアやコンパクトフラッシュなどの不揮発性メモリが用いられる。
【００５１】
なお、画像処理回路３２で画像処理される前の画像データを圧縮する代わりに、画像処理された後の画像データを圧縮／伸長回路３３で圧縮して外部のメモリ５０に格納するように構成することも可能である。この実施例においては、上記ＤＳＰ３０で画像処理された画像データは外部のＤＡ変換回路６０へ出力されてアナログ信号に変換され、これがフィルタ７０を通してディスプレイ８０に供給されて表示されるようにされる。図７のＤＳＰ３０は機能ブロックで表わしたものであり、実際のハードウェアでは、例えば乗算器や加算器などの演算器とデータを保持するレジスタ、それらを処理内容に応じて所定の順序で動作させる制御回路などから構成される。
【００５２】
図８には、上記ＤＳＰ３０に設けられるグレイ−バイナリ差分復号回路３１の構成が示されている。グレイ−バイナリ差分復号回路３１は、例えばデータが３ビットの場合には表２の３列目に示されているようなグレイコードを２列目に示されているようなバイナリコードに変換するグレイ−バイナリ変換回路３１１と、図２に示されている遅延回路４１における遅延に対応して所定のクロック周期だけコード信号を遅延させる遅延回路３１２と、グレイ−バイナリ変換回路３１１で変換されたコードに遅延回路３１２で遅延されたコードを加算することで差分復号化したデータを生成する加算回路３１３とから構成されている。なお、加算回路３１３は加算のときに発生したキャリーを切り捨てるように構成されている。このように差分復号化の際にキャリーの切捨てを行なうように構成されていても、表１を用いて説明したように、元のコードを正確に復元することができる。
【００５３】
図９には、上記グレイ−バイナリ変換回路３１１の具体的な構成例が示されている。同図に示されているように、グレイ−バイナリ変換回路３１１は、変換するコードのビット数よりも１つ少ない数のイクスクルーシブＯＲゲートＧ１１〜Ｇ１７で構成され、最上位を除く各入力ビットＤｉ’とその１つ上位ビット側の変換後ビット（イクスクルーシブＯＲゲートの出力）Ｄｉ＋１との排他的論理和をとることでバイナリコードに変換される。最上位のビットＤ７’はそのまま変換後の最上位ビットＤ７として出力される。図９は、図３に対応して８ビットのグレイコードをバイナリコードに変換する回路の例を示したものであり、同様の仕組みにより１０ビットや１２ビットなど任意のビット数のコード変換回路を構成することができる。
【００５４】
なお、図８および図９は送られてくるコードがグレイコードの場合の変換回路の例であり、送られてくるコードが表２の４列目に示されているようなオフセットバイナリコードである場合には、入力コードからある固定値を引き算（あるいは加算）する処理を行なう回路とされる。
【００５５】
以上本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は上記実施例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記実施例においては、差分符号化した後に行なうコード変換の例としてグレイコードに変換する場合とオフセットバイナリコードに変換する場合とを説明したが、コード変換はこれらに限定されるものでなく、差分を示すコードが切り替わる際に変化するビットの数が少ない方式であればどのようなコード変換を利用するものであってもよい。
【００５６】
また、前記実施例においては、ＣＤＳ（相関二重サンプリング回路）を搭載したＡＤ変換用ＬＳＩについて説明したが、ＣＤＳは省略しても良いし別チップで構成されていても良い。前記実施例においては、ＣＣＤを用いた撮像システムにおけるＡＤ変換用ＬＳＩについて説明したが、ＣＭＯＳイメージセンサなどＣＣＤ以外の撮像素子を用いた撮像システムにおけるＡＤ変換用ＬＳＩについても同様に適用することができる。
【００５７】
以上の説明では主として本発明者によってなされた発明をその背景となった利用分野である撮像システムに適用した場合について説明したが、本発明はそれに限定されるものでなく、例えば音声信号を処理する録音システムなどアナログ信号をディジタルデータに変換して処理するシステムに広く利用することができる。
【００５８】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００５９】
すなわち、信号の伝達速度を低下させることなく、撮像素子から出力されるアナログ映像信号をディジタル画像データに変換するＡＤ変換用ＬＳＩの出力回路で発生するノイズを低減して、画質を向上させることができるという効果がある。
【図面の簡単な説明】
【図１】本発明を適用した撮像システムに用いられるＡＤ変換用ＬＳＩの概略構成例を示すブロック図である。
【図２】符号化＆コード変換回路の概略構成を示すブロック図である。
【図３】バイナリ−グレイ変換回路の概略構成を示すブロック図である。
【図４】電子カメラに用いられるフィルタの構成例を示す配置図である。
【図５】実施例のＡＤ変換回路における差分符号化とバイナリ−グレイ変換の具体例を示すコード変換説明図である。
【図６】従来の撮像システムにおけるＡＤ変換後の画像データの切り替わりビット数の頻度と本発明を適用したシステムにおけるＡＤ変換後の画像データの切り替わりビット数の頻度を示すグラフである。
【図７】ＡＤ変換後の画像データを処理するＤＳＰの構成例を示すブロック図ある。
【図８】ＤＳＰに設けられるグレイバイナリ差分復号回路の構成例を示すブロック図である。
【図９】グレイ−バイナリ変換回路の具体的な構成例を示すブロック図である。
【図１０】一般的な撮像システムの概略構成を示すブロック図である。
【符号の説明】
１０ ＣＣＤ
２０ ＡＤ変換用ＬＳＩ
２１ 相関二重サンプリング回路（ＣＤＳ）
２２ プログラマブルゲインアンプ（ＰＧＡ）
２３ ＡＤ変換回路（ＡＤＣ）
２４ 符号化＆コード変換回路
２５ 出力バッファ
３０ ＤＳＰ（ディジタル・シグナル・プロセッサ）
３１ グレイバイナリ差分復号回路
３２ 画像処理回路
３３ 圧縮／伸長回路
４１ 遅延回路
４２ 差分符号化回路
４３ コード変換回路
５０ メモリ
６０ ＤＡ変換器
７０ フィルタ
８０ ディスプレイ
１００ プリント配線基板
Claims (7)
- 撮像素子から出力されるアナログカラー映像信号を増幅する増幅回路と、増幅された信号をディジタル信号に変換するＡＤ変換回路と、ＡＤ変換後の同一色に関わる隣接する画素のコード同士の差分をとる差分化回路と、該差分化回路の出力のバイナリコードをグレイコードに変換するバイナリーグレイコード変換回路とを備えたことを特徴とする半導体集積回路。
- 上記差分化回路は、上記ＡＤ変換回路の出力コードを遅延させる遅延回路と、該遅延回路で遅延されたコードと入力コードとの差分をとる減算回路とにより構成され、上記遅延回路は入力映像信号の色配列に応じて遅延時間が可変に構成されていることを特徴とする請求項１に記載の半導体集積回路。
- 色フィルタを備えた撮像素子と、
前記撮像素子から出力されるアナログカラー映像信号を増幅する増幅回路と、増幅された信号をディジタル信号に変換するＡＤ変換回路と、ＡＤ変換後の同一色に関わる隣接する画素のコード同士の差分をとる差分化回路と、該差分化回路の出力のバイナリコードをグレイコードにコード変換する第１コード変換回路とを備えた半導体集積回路と、
前記半導体集積回路から出力されるグレイコードをバイナリコードに変換する第２コード変換回路および画像処理回路を備え画像処理用半導体集積回路と、を有することを特徴とする撮像システム。 - 上記第１コード変換回路はバイナリコードをグレイコードに変換するバイナリ−グレイコード変換回路であり、上記第２コード変換回路はグレイコードをバイナリコードに変換するグレイ−バイナリコード変換回路であることを特徴とする請求項３に記載の撮像システム。
- 上記差分化回路は、上記ＡＤ変換回路の出力コードを遅延させる遅延回路と、該遅延回路で遅延されたコードと入力コードとの差分をとる減算回路とにより構成され、上記遅延回路は入力映像信号の色配列に応じて遅延時間が可変に構成されていることを特徴とする請求項４に記載の撮像システム。
- ディジタル画像データを記憶する記憶回路を備え、上記画像処理用半導体集積回路は、上記第２コード変換回路により変換された後のコードを圧縮するデータ圧縮回路および圧縮データを伸長するデータ伸長回路を備え、上記データ圧縮回路により圧縮されたデータが上記記憶回路に記憶されるように構成されていることを特徴とする請求項５に記載の撮像システム。
- 撮像素子から出力されるアナログカラー映像信号をディジタル信号に変換する信号変換方法であって、映像信号をＡＤ変換回路によりＡＤ変換した後、変換後の同一色に関わる隣接する画素のコード同士の差分をとり、該差分化出力コードを前後のコード間で切り替わるビット数の少ないコードに変換するようにしたことを特徴とする信号変換方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001098750A JP4574045B2 (ja) | 2001-03-30 | 2001-03-30 | 半導体集積回路および撮像システム |
| US10/080,586 US6781107B2 (en) | 2001-03-30 | 2002-02-25 | Semiconductor integrated circuit device and imaging system |
| US10/816,925 US7122775B2 (en) | 2001-03-30 | 2004-04-05 | Semiconductor integrated circuit device and imaging system |
| US10/817,042 US6841770B2 (en) | 2001-03-30 | 2004-04-05 | Semiconductor integrated circuit device and imaging system |
| US11/000,415 US7351946B2 (en) | 2001-03-30 | 2004-12-01 | Semiconductor integrated circuit device and imaging system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001098750A JP4574045B2 (ja) | 2001-03-30 | 2001-03-30 | 半導体集積回路および撮像システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002300591A JP2002300591A (ja) | 2002-10-11 |
| JP4574045B2 true JP4574045B2 (ja) | 2010-11-04 |
Family
ID=18952371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001098750A Expired - Fee Related JP4574045B2 (ja) | 2001-03-30 | 2001-03-30 | 半導体集積回路および撮像システム |
Country Status (2)
| Country | Link |
|---|---|
| US (4) | US6781107B2 (ja) |
| JP (1) | JP4574045B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4574045B2 (ja) * | 2001-03-30 | 2010-11-04 | ルネサスエレクトロニクス株式会社 | 半導体集積回路および撮像システム |
| US20040133489A1 (en) * | 2001-11-08 | 2004-07-08 | Stremler Troy D. | Philanthropy management apparatus, system, and methods of use and doing business |
| JP2004328114A (ja) * | 2003-04-22 | 2004-11-18 | Matsushita Electric Ind Co Ltd | アナログ回路及びこれを用いた映像機器 |
| JP4238737B2 (ja) * | 2004-02-09 | 2009-03-18 | 株式会社デンソー | データ通信制御装置 |
| US20060186315A1 (en) * | 2005-02-22 | 2006-08-24 | Kany-Bok Lee | Active pixel image sensors |
| US20070120976A1 (en) * | 2005-11-28 | 2007-05-31 | Pentax Corporation | Method and device for compressing image signal and endoscope system using such device |
| DE102006038409B4 (de) * | 2006-08-17 | 2009-07-09 | Infineon Technologies Ag | Verfahren und Vorrichtung zum Erfassen eines Analogsignals unter Verwendung einer Auswahlschaltung |
| JP2008236195A (ja) * | 2007-03-19 | 2008-10-02 | Sony Corp | 撮像ブロック及び撮像装置 |
| JP4528808B2 (ja) * | 2007-08-01 | 2010-08-25 | パナソニック株式会社 | 半導体集積回路、撮像システムおよび信号変換方法 |
| US20090322961A1 (en) * | 2008-06-27 | 2009-12-31 | Limberg Allen Leroy | System for digital television broadcasting using modified 2/3 trellis coding |
| CN102301721A (zh) | 2009-01-30 | 2011-12-28 | 松下电器产业株式会社 | 半导体集成电路、成像系统以及信号转换方法 |
| KR101003153B1 (ko) | 2009-05-15 | 2010-12-21 | 주식회사 하이닉스반도체 | 전압 안정화 회로 및 이를 이용한 반도체 메모리 장치 |
| JP5243352B2 (ja) * | 2009-06-17 | 2013-07-24 | シャープ株式会社 | Ａｄ変換装置、固体撮像装置および電子情報機器 |
| CN102971668B (zh) * | 2011-07-01 | 2016-08-03 | 松下电器产业株式会社 | 摄像装置 |
| JP2019057873A (ja) * | 2017-09-22 | 2019-04-11 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子及び電子機器 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2542540B1 (fr) * | 1983-03-08 | 1989-02-10 | Canon Kk | Systeme de traitement d'images |
| US5020118A (en) * | 1984-06-13 | 1991-05-28 | Canon Kabushiki Kaisha | Image reading apparatus |
| JPH01228289A (ja) * | 1988-03-08 | 1989-09-12 | Fuji Photo Film Co Ltd | 画像信号の圧縮記録装置および伸長再生装置 |
| US5719624A (en) * | 1989-07-18 | 1998-02-17 | Canon Kabushiki Kaisha | Image recording apparatus with arithmetic processing |
| US5309183A (en) * | 1989-09-28 | 1994-05-03 | Canon Kabushiki Kaisha | Image pickup apparatus having difference encoding and non-linear processing of image signals |
| JP3095507B2 (ja) * | 1992-01-08 | 2000-10-03 | キヤノン株式会社 | データ圧縮・記録方法 |
| JPH0697826A (ja) * | 1992-09-14 | 1994-04-08 | Fuji Photo Film Co Ltd | 画像信号のアナログ・ディジタル変換回路 |
| JPH06197359A (ja) * | 1992-12-24 | 1994-07-15 | Canon Inc | ディジタルフィルタ装置 |
| US6081254A (en) * | 1993-08-12 | 2000-06-27 | Hitachi, Ltd. | Color correction system of imaging apparatus |
| JP4190576B2 (ja) * | 1994-08-31 | 2008-12-03 | ソニー株式会社 | 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置 |
| JP3609525B2 (ja) * | 1996-03-18 | 2005-01-12 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置 |
| EP1033868A1 (en) * | 1999-03-01 | 2000-09-06 | Canon Kabushiki Kaisha | Image pickup apparatus |
| WO2001095673A1 (en) * | 2000-06-06 | 2001-12-13 | 911 Emergency Products, Inc. | Led compensation circuit |
| TW522723B (en) * | 2000-08-15 | 2003-03-01 | Pixim Inc | Circuit and method for pixel rearrangement in a digital pixel sensor readout |
| JP4574045B2 (ja) * | 2001-03-30 | 2010-11-04 | ルネサスエレクトロニクス株式会社 | 半導体集積回路および撮像システム |
| US7173230B2 (en) * | 2001-09-05 | 2007-02-06 | Canesta, Inc. | Electromagnetic wave detection arrangement with capacitive feedback |
-
2001
- 2001-03-30 JP JP2001098750A patent/JP4574045B2/ja not_active Expired - Fee Related
-
2002
- 2002-02-25 US US10/080,586 patent/US6781107B2/en not_active Expired - Fee Related
-
2004
- 2004-04-05 US US10/817,042 patent/US6841770B2/en not_active Expired - Lifetime
- 2004-04-05 US US10/816,925 patent/US7122775B2/en not_active Expired - Fee Related
- 2004-12-01 US US11/000,415 patent/US7351946B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002300591A (ja) | 2002-10-11 |
| US20050092898A1 (en) | 2005-05-05 |
| US20040189842A1 (en) | 2004-09-30 |
| US7122775B2 (en) | 2006-10-17 |
| US6781107B2 (en) | 2004-08-24 |
| US20020179821A1 (en) | 2002-12-05 |
| US7351946B2 (en) | 2008-04-01 |
| US20040182992A1 (en) | 2004-09-23 |
| US6841770B2 (en) | 2005-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4574045B2 (ja) | 半導体集積回路および撮像システム | |
| JP4955079B2 (ja) | インターリーブされたイメージ出力を持つイメージ・センサ | |
| JP4769039B2 (ja) | デジタル信号符号化および復号化装置ならびにその方法 | |
| CN101395901B (zh) | 具备时间重叠图像输出的图像传感器 | |
| JP2009273035A (ja) | 画像圧縮装置、画像伸張装置及び画像処理装置 | |
| US11665446B2 (en) | Image sensing system and operating method thereof | |
| JP3976353B2 (ja) | ディジタル・カメラ | |
| US8462377B2 (en) | Method, apparatus, and system for reduction of line processing memory size used in image processing | |
| JP2005175545A (ja) | 半導体集積回路、撮像システム及び信号変換方法 | |
| US8264586B2 (en) | Imaging apparatus | |
| US8659690B2 (en) | Semiconductor integrated circuit, imaging system, and signal conversion method | |
| JP4528808B2 (ja) | 半導体集積回路、撮像システムおよび信号変換方法 | |
| JP2002083292A (ja) | 画像信号処理装置 | |
| JP2006074467A (ja) | 信号処理装置、スチルビデオカメラ、及び信号処理方法 | |
| JP4710823B2 (ja) | 信号処理回路 | |
| TWI516088B (zh) | 影像系統 | |
| CN1992783A (zh) | 影像感测器、影像感测器的读取电路及其模拟/数字转换方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20050316 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070427 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070730 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20100527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100726 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100817 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100818 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |