[go: up one dir, main page]

JP2014090394A - 動き検出用固体撮像装置および動き検出システム - Google Patents

動き検出用固体撮像装置および動き検出システム Download PDF

Info

Publication number
JP2014090394A
JP2014090394A JP2012249692A JP2012249692A JP2014090394A JP 2014090394 A JP2014090394 A JP 2014090394A JP 2012249692 A JP2012249692 A JP 2012249692A JP 2012249692 A JP2012249692 A JP 2012249692A JP 2014090394 A JP2014090394 A JP 2014090394A
Authority
JP
Japan
Prior art keywords
signal
motion detection
imaging
vertical
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012249692A
Other languages
English (en)
Other versions
JP5604700B2 (ja
Inventor
Koichi Sekine
弘一 関根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2012249692A priority Critical patent/JP5604700B2/ja
Priority to EP13851757.8A priority patent/EP2913994B1/en
Priority to PCT/JP2013/077681 priority patent/WO2014069212A1/ja
Priority to KR1020157013510A priority patent/KR101709984B1/ko
Priority to US14/438,427 priority patent/US9924076B2/en
Priority to CN201380056929.XA priority patent/CN104782111B/zh
Publication of JP2014090394A publication Critical patent/JP2014090394A/ja
Application granted granted Critical
Publication of JP5604700B2 publication Critical patent/JP5604700B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)

Abstract

【課題】消費電力を低減するとともに、動き検出精度を向上させた、動き検出用固体撮像装置および動き検出システムを提供する。
【解決手段】動き検出用撮像装置１２から出力される露光時間の長い信号と短い信号をそれぞれ複数画素合成し、露光時間の長い信号と短い信号の差分信号に基づいて動く物体の有無を判定し、動く物体が無いと判定したときに、動き検出画像処理装置または映像管理装置の少なくとも一部の回路を停止させる。
【選択図】図３

Description

本発明は、撮像画面上の映像の動きを検出・検出する動き検出用固体撮像装置および動き検出システムに関する。
固体撮像装置市場において、近年携帯電話用カメラ向けにＣＭＯＳセンサタイプが急速に数量を伸ばされている。ＣＭＯＳセンサ型固体撮像装置の各画素部は、入射光に応じた信号電荷を発生する光電変換部（以下画素と称す）と、この光電変換部の信号電荷を信号電圧に変換して増幅する増幅部を備えている。
固体撮像装置は単に映像を撮像するだけでなく、この固体撮像装置の撮像画面上で被写体の動きを検出することがある。例えば、同一視野を連続的に撮像して、この視野内に人が侵入してきたことを検出し、この人の侵入に応答して各種の機器を制御したり、この人の侵入を報知したり記録するなどの動き検出システムに使われている。
この様な撮像画面上の映像の動きを検出する方法としては、前後のフレーム間の同一画素単位での信号出力を比較して動きを検出する方法１がある（特許文献１）。また隣接画素を一対の組として積分時間を変え、ゲインを調整して差分信号出力により動きを検出する方法２がある（特許文献２）。
前者の方法１は、フレームメモリが必要となるため、回路規模が大きくなり、消費電力が増加する。さらにコストの上昇を避けることができない。後者の方法２は、被写体の輪郭部分で差分信号が発生するため誤検出信号が発生するため動き検出精度が悪いという問題があった。
特にカラー撮像の場合には、代表的な色フィルタ配置であるベイヤー方式（２ｘ２画素を１組とし、Ｇ（緑）を対角に配置し、残りにＲ（赤）とＢ（青）の色フィルタを配置）を適用すると、少なくとも１画素飛ばしの位置にある同色のＧの画素信号を用いるため誤検出信号が増加するため、さらに動き検出精度が劣化する。
さらに、動き検出動作は常に動いている被写体が有るかの検出動作をされている。ため低消費電力な固体撮像装置や動き検出システムが要求されている。
特開２０１１−６６５３５号公報 特開平１０−２９０４００号公報
本発明の目的は、消費電力を低減するとともに、動き検出精度を向上させた、動き検出用固体撮像装置および動き検出システムを提供することにある。
上記課題を解決するために、本発明の動き検出用撮像装置は、光電変換素子を有する画素部と、画素部を駆動するためのタイミング発生回路と、光電変換素子の蓄積時間を制御するための複数の蓄積時間発生回路と、画素部の各ラインを垂直方向に走査するための垂直走査回路と、画素部の垂直ラインを複数同時に駆動するための垂直並列制御回路と、前記画素部の垂直信号線から出力されるアナログ信号を水平方向で合成するための水平合成回路とを備え、
動き物体検出動作時において、動き物体を検出するための光電変換素子の蓄積時間制御は、画素部を格子状に少なくとも２分割した長時間蓄積と短時間蓄積となるように制御し、蓄積時間の長さが同じ前記複数の光電変換素子の出力信号を垂直並列制御回路あるいは水平合成回路を用いて合成して出力する。
動き検出システムは、動き検出用撮像装置で撮影した１画面の出力信号を、蓄積時間の長さが異なる撮像信号に分離するための撮像信号分離回路と、分離した撮像信号間の差分信号を生成する差分信号生成回路と、差分信号生成手段で生成した差分信号に基づいて撮影画面の中の物体が動いたかを判定する動き判定回路と、動き判定手段で判定した動き判定信号を基に、動き検出画像処理装置もしくは前記映像信号管理装置の少なくとも一部の回路を停止させる信号処理停止回路を備える。
本発明によれば、動き検出中の固体撮像装置や動き検出システムの消費電力を大幅に低減できる。さらに、ランダムノイズを低減することができるため、低照度下での動き検出感度の向上されている。さらに、輪郭で発生する偽信号（ノイズ）を抑制することで、精度の良い動き検出を行うことができる。
図１は、本発明の第１実施形態に係る動き検出システムの概略構成を示すブロック図。 図２は、本発明の第２実施形態に係る動き検出システムの概略構成を示すブロック図。 図３は、本発明の第３実施形態に係る動き検出システムの概略構成を示すブロック図。 図４は、図３の動き検出用固体撮像装置の実施例１の概略構成を示すブロック図 図５は、図３の実施例１の撮像信号分離回路の構成図。 図６は、図４の画素部の映像信号読み出し動作例を説明するタイミングチャート図。 図７は、図４の画素部の画素合成読み出し動作例１と２の概略を示す構成図。 図８は、図７の動き検出動作時の読出し動作を説明するためのタイミングチャート図。 図９は、図４の画素部の画素合成読み出し動作例３と４の概略を示す構成図。 図１０は、図９の動き検出動作時の読出し動作を説明するタイミングチャート図。 図１１は、図３の動き検出用固体撮像装置の実施例２の概略構成を示すブロック図。 図１２は、図３の実施例２の撮像信号分離回路の構成図。 図１３は、図１１の画素部の画素合成読み出し動作例５と６の概略を示す構成図。 図１４は、図１３の動き検出動作時の読出し動作を説明するタイミングチャート図。 図１５は、本発明の第４実施形態に係る動き検出システムの概略構成を示すブロック図。 図１６は、本発明の第５実施形態に係る動き検出システムの概略構成を示すブロック図。 図１７は、本発明の第６実施形態に係る動き検出システムの概略構成を示すブロック図。 図１８は、図１７の動き検出用体撮像装置の実施例３の概略構成を示すブロック図 図１９は、図１７の実施例３の画素信号合成回路と撮像信号分離回路の構成例図。 図２０は、本発明の第７実施形態に係る動き検出システムの概略構成を示すブロック図。 図２１は、本発明の第７実施形態に係る動き検出用固体撮像装置の概略構成を示すブロック図。 図２２は、図２１の画素部の画素合成読み出し動作例７の概略を示す構成図。
以下、本発明の実施形態に係る動き検出用固体撮像装置および動き検出システムについて図面を参照しながら説明する。以下説明内において同一部分には同一の符号及び処理名を付し、最初にその詳細な説明をし、重複する同一部分の説明は省略する。
＜動き検出システムの実施形態１＞
図１は、本発明の動き検出システムの実施形態１に係る動き検出システムの概略構成を示すブロック図を参照して詳細に説明する。
本実施形態１の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ａと動き検出画像処理装置１０ａと映像管理装置３０ａから構成されている。
動き検出画像処理装置１０ａは、撮影した１画面の撮像信号を保存するためのフレームメモリ２０、撮影時刻の異なる撮像信号Ｓ１と撮像信号Ｓ２の差分信号生成回路１３ａ、差分信号を基に撮影した画面の中に動く物体の有無を判定する動き判定回路１４ａ、動きを判定するための判定レベルを設定する動き判定用閾値設定回路１９、撮像装置１２ａの撮像信号Ｓ２をモニタに再生するための映像信号となるように処理するカラー信号処理回路２１、カラー処理した映像信号に撮影日や撮影時刻を記録するための時刻発生回路（時計１７）、日付や時刻の信号を映像信号に埋め込むための時刻加算回路１８、時刻を埋め込んだ映像信号１を出力するための映像信号出力回路１６と、動き判定した判定結果を出力するための動き判定信号出力回路１５などから構成されている。
映像管理装置３０ａは、動き判定信号入力回路２２、映像信号入力回路２３、入力した映像信号１を記録するための録画サーバ２４、映像信号１を再生するための映像モニタ２７、管理会社へ映像信号を伝送するためのＬＡＮ出力装置２５、映像信号をインターネット経由で携帯電話やパソコンなどで受信できるようにするためのＷｅｂ出力装置２６などから構成されている。
差分信号生成回路１３ａは、撮像信号Ｓ１と撮像信号Ｓ２との差分信号を生成する。生成した差分信号はプラスマイナスの極性に関係ない絶対値の差分信号を出力する。撮影した画面で動く物体が無い場合は、ノイズレベルの差分信号が出力される。動く物体が有る場合は、大きな差分信号が発生する。
動き判定用閾値設定回路１９は、ノイズレベルの差分信号をカウントしないようにカウントするレベル閾値１を設定すると共に、閾値２となるカウント数を設定する。この閾値よりカウント数が多くなると動く物体が有ると判定する。
動き判定回路１４ａは、差分信号生成回路１３ａの出力信号のレベルが、閾値１より大きいレベルの発生回数をカウントする。そして、閾値２よりカウント数が多くなると動く物体が有ると判定し、判定信号ＯＮ／ＯＦＦ１をＨＩレベルにする。動きが無い場合は、ＬＯレベルに設定している。
差分信号は、絶対値を用いたが、プラス側もしくはマイナス側のみを信号を用いてもよい。
動き判定回路１４ａで生成した動き判定信号（ＯＮ／ＯＦＦ１）を用いて、動きが無いと判定した場合には、カラー信号処理回路２１や時刻加算回路１８、映像信号出力回路１６などの回路動作や信号処理動作を停止することで動き検出画像処理装置１０ａの消費電力を低減できる。同様に、後段の映像管理装置３０ａの記録サーバ２４やＬＡＮ出力装置２５、Ｗｅｂ出力装置２６、モニタ２７などの処理を停止させることで、動き検出システム全体の消費電力を大幅に低減できる。さらに、録画サーバ２４は、動きの無い映像信号を記録しないため、録画サーバの容量低減による小型化・低価格化、もしくは動き有りの映像信号の長時間録画・保存が可能となっている。
動き判定信号による回路や装置の処理動作の停止方法１として、カラー信号処理の入力信号（撮像Ｓ２）を遮断する。例えば入力信号の１０ｂｉｔのデジタル値をオールゼロに切換える。カラー信号処理回路以降の信号がゼロとなり、デジタル回路のスイッチ動作（０⇔１切換え）が停止することで回路動作の消費電力を低減することができる。
停止方法２として、各回路や装置には誤動作発生時に元の状態に戻すためのリセットスイッチが備わっている。このリセットスイッチをＯＮ状態で保つことで各回路や装置の回路処理を停止させたままにすることで、消費電力を削減することができる。
停止方法３として、停止させたい回路や装置の電源供給を遮断機能付きのレギュレータＩＣにより遮断させる。また、電源にリレー回路を設け、このリレー回路を遮断することで大幅な消費電力を削減することができる。
＜動き検出システムの実施形態２＞
図２は、本発明の動き検出システムの実施形態２に係る動き検出システムの概略構成を示すブロック図である。本実施形態２の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ａと動き検出画像処理装置１０ｂと映像管理装置３０ｂから構成されている。実施形態１と異なる構成動作について説明する。
動き検出画像処理装置１０ｂは、図１の動き判定信号出力回路１５を削減することで出力信号を映像信号２のみとすることで従来の伝送ケーブルが使えるなどの利点がある。動き判定回路１４ｂは、動き判定信号（ＯＮ／ＯＦＦ１）を出力すると共に判定コードを出力している。動き判定信号（ＯＮ／ＯＦＦ１）は実施形態１と同様に、カラー信号処理回路２１や時刻加算回路１８、映像信号出力回路１６などの回路動作や信号処理動作を停止する。
判定信号のＯＮ／ＯＦＦ信号をコード化した判定コードは、動き判定信号加算回路２８を用いて映像信号に埋め込んでいる。一般的に、映像信号と異なる撮影情報は有効な映像信号が含まれないブランキング期間に情報を埋め込んでいる。同様に動き判定信号をコード化し、ブランキング期間に埋め込んで映像信号２を出力する。
映像管理装置３０ｂは、動き判定コードが埋め込まれた映像信号２から判定信号抽出回路２９ｂによって、動き判定コードの情報から動き判定信号ＯＮ／ＯＦＦ２を生成している。
実施形態１と同様に記録サーバ２４やＬＡＮ出力装置２５、Ｗｅｂ出力装置２６、モニタ２７などの処理を停止させることで、動き検出システムの消費電力の大幅な低減をしている。さらに、録画サーバ２４は、動きの無い映像信号を記録しないため、録画サーバの容量低減による小型化・低価格化、もしくは動き画像の長時間録画・保存が可能となっている。
＜動き検出システムの実施形態３＞
図３は、本発明の実施形態３に係る動き検出システムの概略構成を示すブロック図である。
本実施形態３の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ｂ（１２ｃ）と動き検出画像処理装置１０ｃと映像管理装置３０ｂから構成されている。実施形態２と異なる構成動作について説明する。
動き検出画像処理装置１０ｃは、撮像装置１２ｂ（１２ｃ）から撮影した１画面の撮像信号は、撮影時刻が異なるように、フォトダイオードが２次元に配置された画素エリアをフォトダイオードで露光する蓄積時間の長い撮像信号ＳＴＬと蓄積時間の短い撮像信号ＳＴＳが含まれた撮像信号Ｓａが入力されている。蓄積時間の長いフォトダイオードと短いフォトダイオードは、格子状に配置されている。動き検出画像処理装置１０ｃに入力された撮像信号Ｓａは、撮像信号分離回路３５にて撮像信号ＳＴＬと撮像信号ＳＴＳに分離し、比較対象画素となる撮像信号ＳＴＬと撮像信号ＳＴＳを同時に出力し、差分信号生成回路１３ａの差分信号を基に撮影した画面の中に動く物体の有無を判定している。
実施形態３は、実施形態２のフレームメモリ２０を削減することで、動き検出画像処理装置１０ｃの小型化、低価格化、低消費電力化を実現している。さらに、映像信号記録動作時はフル解像度の撮像信号Ｓａを出力し、動き検出動作時は、サンプリング数を低減した撮像信号Ｓａを出力することで、さらに動き検出システムの消費電力を低減している。
＜動き検出用固体撮像装置の実施例１＞
図４乃至図１０を用いて、固体撮像装置１２ｂ（１２ｃ）の詳細構成およびその動作を説明する。 まず、図４を用いて、動き検出システムの実施形態３に係る固体撮像装置１２ｂの構成例を説明する。実施例１に係る固体撮像装置１２ｂは、画素部４４ａには、レンズ１１を介して光が入射され、光電変換によって入射光量に応じた信号電荷が生成される。この画素部４４ａには、複数のセル（単位画素）が半導体基板上に行及び列の二次元的にマトリクス状に配置されている。
そして１つのセルは、４つのトランジスタ（Ｔａ，Ｔｂ，Ｔｃ，Ｔｄ）と２個のフォトダイオード（ＰＤｎ、ＰＤｍ）から構成される。各セルには垂直駆動回路（垂直走査回路４２，垂直並列制御回路４３）からパルス信号ＡＤＲＥＳｎ，ＲＥＳＥＴｎ，ＲＥＡＤｎがそれぞれ供給される。図に記載していないが、この画素部１１の上部にはソースフォロワ回路用の負荷トランジスタが水平方向に沿って各垂直信号線に配置されている。フォトダイオードの入射光面に形成された色フィルタは代表的なＢａｙｃｒ配列（２ｘ２の画素配列として、Ｇｒ：緑，Ｒ：赤，Ｂ：青，Ｇｂ：緑）で２次元に配置されている。
この画素部４４ａを駆動するためのタイミング発生回路４０、画素部で光信号を電荷に変換するフォトダイオードの蓄積時間を制御するための長い蓄積時間ＴＬと短い蓄積時間ＴＳを発生する蓄積時間発生回路４１、画素部を垂直方向に走査するための垂直走査回路４２、垂直のラインを複数同時に駆動するための垂直並列制御回路４３で構成されている。
そして、画素部４４ａから出力される垂直信号線の読出し回路は、水平のサンプリング数を低減するための水平合成回路１（４５ａ）、カラム型ノイズキャンセル回路（ＣＤＳ）４６、アナログ信号をデジタル信号に変換するカラム型アナログデジタルコンバータ（ＡＤ変換）回路４７、ＡＤ変換したデジタル信号を保存するラインメモリ１（４８）、および水平方向へデジタル信号を読み出すための水平走査回路１（４９）で構成されている。ＡＤ変換回路４７の動作でＣＤＳ処理を含める場合はＣＤＳ回路４６が省略される。
垂直信号線ｎは、水平合成回路１（４５ａ）を介してＣＤＳ回路４６へ接続されている。水平合成回路１（４５ａ）は、垂直信号線２本が１ライン毎にスイッチトランジスタＨ５Ａ１とＨ５Ａ２で接続されている。このトランジスタのゲートは、タイミング発生回路４０のＨＡＶＥ信号によって制御されている。このＨＡＶＥ信号をＯＮにすることで、垂直信号線２本に出力される信号を合成（平均化）することができる。
図５に構成例１の撮像信号分離回路３５ａを示す。撮像信号分離回路３５ａは、撮像信号Ｓａを１水平（１Ｈ）期間分遅延させるためのラインメモリ２（３１ａ）、撮像信号Ｓａを画素単位で遅延させる遅延回路ＤＬ（３２）、撮像信号Ｓａを増幅するための増幅回路３３、信号切換え回路３９から構成されている。
動き検出動作時は、撮像装置１２ｂの画素部４４ａの所定のフォトダイオードを長時間蓄積となる蓄積時間ＴＬと短時間蓄積となる蓄積時間ＴＳで動作させ、画素部４４ａからライン毎に読み出す。長時間蓄積した信号ＳＴＬと短時間蓄積した信号ＳＴＳの比較すべ画素信号の位相が同じになるようにラインメモリ２（３１ａ）と画素単位の遅延回路ＤＬ（３２）で調整されている。さらに短時間蓄積した画像信号ＳＴＳは、蓄積時間が同等となるように増幅回路３３で蓄積時間比（ＴＬ／ＴＳ）のゲインで増幅されている。
動いている物体を検出した場合は、画素部４４ａの信号読出しはフル解像度が得られる信号合成は実施しないで撮像信号Ｓａが出力される。蓄積時間が短い撮像信号Ｓａは増幅回路３３で蓄積時間比（ＴＬ／ＴＳ）のゲインで増幅した信号側に信号切換え回路３９で切換えて撮像信号Ｓｂが出力されている。蓄積時間が長い撮像信号Ｓａの場合は、信号切換え回路３９を撮像信号Ｓａ側に切換えて撮像信号Ｓｂが出力されている。または、全画素のフォトダイオードを長時間蓄積動作させ、撮像信号Ｓａがそのまま撮像信号Ｓｂとして出力される。この場合は、予め設定した所定の時間例えば撮影を５秒間実施後、動作モードを動き検出動作に切換えて動き検出を実施している。
＜映像信号用の信号読出し動作例＞
図６に示す動作タイミングを用いて、本例に係る固体撮像装置の標準の撮像信号読み出し動作について説明する。フォトダイオードＰＤで光電変換した電荷を蓄積する蓄積時間は全画素共通の蓄積時間ＴＬに設定する。この蓄積時間ＴＬは、被写体の明るさに応じて調整される。蓄積時間ＴＬは蓄積時間発生回路４１で１Ｈ毎に制御される。
タイミング発生回路４０で発生させた水平同期信号ＨＤに同期してＲＥＡＤ１とＲＥＳＥＴ１２のパルスを発生させることで、蓄積開始の時刻までフォトダイオードＰＤ１に蓄積していた信号電荷を排出後、蓄積を開始する。この動作を順次ＰＤ２，ＰＤ３，・・・と動作している。
そして、所定の蓄積時間ＴＬが終了すると、読出しパルスＲＥＡＤ１の直前にパルスＲＥＳＥＴ１２を印加して検出部に発生していた余分なリーク信号を排出する。その後、読み出しパルスＲＥＡＤ１を印加することでフォトダイオードＰＤ１に蓄積していた信号電荷を読み出す。
これらのＲＥＳＥＴ１２とＲＥＡＤ１の読出し動作期間はＡＤＲＥＡ１２パルスをＯＮにすることで、出力アンプを介して垂直信号線へ電圧信号が出力される。この動作をＨＤに同期して順次フォトダイオードＰＤ２，ＰＤ３，・・・と続けて２次元の画像を出力している。各パルス振幅は、高レベルを２．８Ｖ〜３．８Ｖにして動作している。
＜動き検出信号読出し動作例１＞
図７（Ａ）の画素配列と図８（Ａ）の動作タイミングを用いて動き検出信号読出し動作１について説明する。動き検出信号読出し動作１は、実線丸の４画素のＧｒ画素の信号を合成（加算もしくは平均化）した信号と、次の点線丸の４画素のＧｂ画素の信号を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理が実施される。
水平合成回路１（４５ａ）での水平方向の信号合成（加算もしくは平均化）動作は、ＨＡＶＥ信号をＯＮにすることで平均化した信号が生成される。スイッチＨ５Ａ１をＯＮにすることで、水平に配置したＧｒ用の垂直信号線の出力信号が平均化される。また、スイッチＨ５Ａ２をＯＮにすることで、水平に配置したＧｂ用の垂直信号線の出力信号が平均化さる。同様に水平方向に平均化用のスイッチを配置している。
この動き検出動作は、水平方向のサンプリング数が１／２に低減されるため後段のＣＤＳ回路４６以降は、水平画素数の１／２の回路処理をＯＦＦにすることで消費電力を低減している。
図８（Ａ）に示す動作タイミングを用いて垂直２画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図８（Ａ）に示すようにＡＤＲＥＳ１２とＡＤＲＥＳ３４を同時にＯＮにすることで、垂直方向の２画素の信号が同時に垂直信号線へ出力される。出力した２つの信号は、垂直信号線で信号合成（平均化）した信号となる。水平方向の信号合成（平均化）処理と同時に実施することで４画素の信号合成（平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号ＨＤに同期して奇数ラインのＲＥＡＤ１とＲＥＡＤ３とＲＥＳＥＴ１２とＲＥＳＥＴ３４のパルスを同時に発生させることで、この時刻までフォトダイオードＰＤ１とＰＤ３に蓄積していた信号電荷を排出し、蓄積動作を開始する。そして次の２ＨＤ後に同期してフォトダイオードＰＤ５，ＰＤ７，・・・と順次奇数ラインの信号排出動作をしている。蓄積時間は長時間蓄積ＴＬに設定している。
次に短時間蓄積ＴＳが長時間蓄積ＴＬの１／２となるように蓄積時間発生回路４１で設定している。蓄積時間ＴＬの１／２になる時刻ＨＤに同期して、偶数ラインのＲＥＡＤ２とＲＥＡＤ４とＲＥＳＥＴ１２とＲＥＳＥＴ３４のパルスを同時に発生させることで、この時刻までフォトダイオードＰＤ２とＰＤ４に蓄積していた信号電荷を排出し、蓄積動作を開始する。そして次の２ＨＤ後に同期してフォトダイオードＰＤ６，ＰＤ８，・・・と順次偶数ラインの信号を排出動作している。
そして蓄積した信号電荷の読出し動作は、読出し時刻のＨＤに同期して、読出しパルスＲＥＡＤ１とＲＥＡＤ３のパルス印加直前に検出部に蓄積した余分なリーク信号を排出するためにＲＥＳＥＴ１２とＲＳＥＴ３４のパルスを同時に印加している。そして読出しパルスＲＥＡＤ１とＲＥＡＤ３を印加することでフォトダイオードに蓄積した信号電荷を検出部に読出し、検出部で電圧に変換して出力アンプから垂直信号線へ出力している。
このＲＥＳＥＴ動作から信号読出し動作期間の間はＡＤＲＥＡ１２とＡＤＲＥＳ３４パルスを同時にＯＮにすることで、ＰＤ１とＰＤ３の信号を垂直信号線へ電圧信号として同時に出力している。このＡＤＲＥＳ１２とＡＤＲＥＳ３４を同時にＯＮにすることで、垂直信号線に発生する信号は、２画素分の信号が平均化した信号電圧が発生する。この読出し動作を順次ＰＤ２とＰＤ４、次にＰＤ５とＰＤ７とＨＤに同期して読出し動作を実施している。
＜動き検出信号読出し動作例２＞
図７（Ｂ）の画素配列と図８（Ｂ）の動作タイミングを用いて動き検出信号読出し動作２について説明する。動き検出信号読出し動作２は、実線丸の１６画素のＧｒ画素を信号合成（加算もしくは平均化）した信号と、次の点線丸の１６画素のＧｂ画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している
水平合成回路１（４５ｂ）での水平方向の信号合成（平均化）動作は、ＨＡＶＥ信号をＯＮにすることで平均化した信号が生成されている。スイッチＨ７Ｂ１とＨ７Ｂ３とＨ７Ｂ５をＯＮにすることで、水平に配置した４箇所のＧｒ用の垂直信号線の出力信号が平均化される。また、スイッチＨ７Ｂ２とＨ７Ｂ４とＨ７Ｂ６をＯＮにすることで、水平に配置した４箇所のＧｂ用の垂直信号線の出力信号が平均化される。同様に水平方向に平均化用のスイッチを配置、順次各４箇所の平均化を実施している。
この動き検出動作は、水平方向のサンプリング数が１／４に低減するため後段のＣＤＳ回路４６以降は、水平画素数の３／４の回路処理をＯＦＦにすることで消費電力が低減される。
図８（Ｂ）に示す動作タイミングを用いて垂直４画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図８（Ｂ）に示すようにＡＤＲＥＳ１２とＡＤＲＥＳ３４とＡＤＲＥＳ５６とＡＤＲＥＳ７８を同時にＯＮにすることで、垂直方向の４画素の信号が同時に垂直信号線へ出力する。出力した４つの信号は、合成（平均化）した信号が垂直信号線に発生する。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで１６画素の信号合成（加算もしくは平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号ＨＤに同期して奇数ラインのＲＥＡＤ１とＲＥＡＤ３とＲＥＡＤ５とＲＥＡＤ７とＲＥＳＥＴ１２とＲＥＳＥＴ３４とＲＥＳＥＴ５６とＲＥＳＥＴ７８のパルスを同時に発生させることで、この時刻までフォトダイオードＰＤ１とＰＤ３とＰＤ５とＰＤ７に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２ＨＤ後に同期して同様にフォトダイオードＰＤ９，ＰＤ１１，・・・と順次４箇所の奇数ラインの信号排出動作を実施する。蓄積時間は長時間蓄積ＴＬに設定されている。
次に短時間蓄積ＴＳが長時間蓄積ＴＬの１／２となるように蓄積時間発生回路４１で設定されている。蓄積時間ＴＬの１／２になる時刻ＨＤに同期して、偶数ラインのＲＥＡＤ２とＲＥＡＤ４とＲＥＡＤ６とＲＥＡＤ８とＲＥＳＥＴ１２とＲＥＳＥＴ３４とＲＥＳＥＴ５６とＲＥＳＥＴ７８のパルスを同時に発生させることで、この時刻までフォトダイオードＰＤ２とＰＤ４とＰＤ６とＰＤ８に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２ＨＤ後に同期してフォトダイオードＰＤ１０，ＰＤ１２，・・・と順次４筒所の偶数ラインの信号排出動作を実施する。
そして蓄積した信号電荷の読出し動作は、読出し時刻のＨＤに同期して、読出しパルスＲＥＡＤ１とＲＥＡＤ３とＲＥＡＤ５とＲＥＡＤ７の直前に検出部に蓄積した余分なリーク信号を排出するためにＲＥＳＥＴ１２とＲＳＥＴ３４とＲＥＳＥＴ５６とＲＳＥＴ７８のパルスを同時に印加している。そして読出しパルスＲＥＡＤ１とＲＥＡＤ３とＲＥＡＤ５とＲＥＡＤ７を同時に印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で電圧に変換して出力アンプで垂直信号線へ読み出している。
このＲＥＳＥＴ動作から信号読出し動作期間の間はＡＤＲＥＡ１２とＡＤＲＥＳ３４とＡＤＲＥＡ５６とＡＤＲＥＳ７８パルスを同時にＯＮにすることで、フォトダイオードＰＤ１とＰＤ３とＰＤ５とＰＤ７の信号を垂直信号線へ電圧信号として同時に出力している。このＡＤＲＥＳ１２とＡＤＲＥＳ３４とＡＤＲＥＳ５６とＡＤＲＥＳ７８を同時にＯＮにすることで、垂直信号線に発生する信号は、垂直４画素分の信号を平均化した信号電圧が発生する。この読出し動作を順次ＰＤ２とＰＤ４とＰＤ６とＰＤ８、次にＰＤ９とＰＤ１１とＰＤ１３とＰＤ１５とＨＤに同期して読出す。
動いている物体の検出は、図８（Ａ）や図８（Ｂ）に示す長時間蓄積ＴＬと短時間蓄積ＴＳから得られる信号差分から得ることができる。短時間蓄積ＴＳの信号量は長時間蓄積ＴＬより蓄積時間が短い分だけ信号量が少ないため、後段の信号処理で同じ信号レベルになるように蓄積時間比Ｇ＝ＴＬ／ＴＳの係数Ｇで短時蓄積ＴＳ信号を増幅する。そして、信号差分量＝ＴＬ−Ｇ＊ＴＳで動いている物体の検出が実施されている。蓄積時間の比率は、２限定されないが２，４，８などに設定すると、増幅回路がｂｉｔシフトと簡単な信号処理で実現できる。
動きのない物体は、信号差分量がほぼゼロとなる（ランダムノイズレベル）。動きの有る物体は、蓄積開始が速く始まる蓄積時間ＴＬの開始時間と蓄積開始が遅く始まる蓄積時間ＴＳの開始時間の差の信号が蓄積時間ＴＬの信号に発生する。すなわち、動いている物体のエッジ部分に差分信号が発生する。この差分信号量と発生頻度を後段の動き判定回路で判定することで、動いている物体を検出することができる。
しかし、動きのない物体のエッジ部分は、長時間蓄積と短時間蓄積の画素のサンプリングポイントが異なるため大きな信号差分が発生し偽信号となる。そこで、図７（Ａ）や図７（Ｂ）に示す長時間蓄積した信号と短時間蓄積した信号を複数画素合成し、さらにサンプリングする画素位置がオーバーラップするように信号合成することで、この偽信号を大幅に低減している。その結果、動き物体の検出精度が大幅に向上した。さらに、複数画素の信号を合成しているためＳ／Ｎが改善され暗い環境での動き物体検出精度が向上している。さらに、複数画素の信号合成により、サンプリング数を１／４や１／１６などに大幅に低減することで、動き物体検出動作時の消費電力を１／４や１／１６と大幅に低減している。さらに検出動作速度を４倍速、１６倍速と高速化が用意に実現できる。
＜動き検出信号読出し動作例３＞
図９（Ａ）の画素配列と図１０（Ａ）の動作タイミングを用いて動き検出信号読出し動作３について説明する。動き検出信号読出し動作３は、実線丸のＢａｙｅｒ配列２ｘ２の４画素を合成（加算もしくは平均化）した信号と、次の点線丸のＢａｙｅｒ配列２ｘ２の４画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。
水平合成回路１（４５ｃ）での水平方向の信号合成（平均化）動作は、ＨＡＶＥ信号をＯＮにすることで平均化した信号を生成している。スイッチＨ９Ａ１をＯＮにすることで、水平に配置した実線丸２箇所の垂直信号線の出力信号を平均化している。また、スイッチＨ９Ａ２をＯＮにすることで、水平に配置した点線丸２筒所の垂直信号線の出力信号を平均化している。同様に水平方向に平均化用のスイッチを配置、各２箇所の平均化を実施されている。
この動き検出動作は、水平方向のサンプリング数が１／２に低減されるため後段のＣＤＳ回路４６以降は、水平画素数の１／２の回路処理をＯＦＦにすることで消費電力を低減できる。
図１０（Ａ）に示す動作タイミングを用いて垂直２画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１０（Ａ）に示すようにＡＤＲＥＳ１２をＯＮにし、ＲＥＡＤ１とＲＥＡＤ２を同時にＯＮにすることで、ＰＤ１とＰＤ２に蓄積した信号電荷が読み出され、検出部で加算した信号を出力アンプで垂直信号線へ出力する。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで４画素の信号合成（加算もしくは平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号ＨＤに同期して１ライン目と２ライン目のＲＥＡＤ１とＲＥＡＤ２とＲＥＳＥＴ１２のパルスを同時に発生させることで、この時刻までフォトダイオードＰＤ１とＰＤ２に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２ＨＤ後に同期して同様にフォトダイオードＰＤ５，ＰＤ６，・・・と２ラインの信号排出動作をしている。蓄積時間は長時間蓄積ＴＬに設定されている。
次に蓄積時間が短時間蓄積ＴＳとなる長時間蓄積ＴＬの１／２となるように蓄積時間発生回路４１で設定されている。蓄積時間ＴＬの１／２になる時刻ＨＤに同期して、次の３ライン目と４ライン目のＲＥＡＤ３とＲＥＡＤ４とＲＥＳＥＴ３４のパルスを同時に発生させることで、この時刻までフォトダイオードＰＤ３とＰＤ４に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２ＨＤ後に同期してフォトダイオードＰＤ７，ＰＤ８，・・・と順次２ラインの信号排出動作をしている。
そしてフォトダイオードで蓄積した信号電荷の読出し動作は、読出し時刻のＨＤに同期して、読出しパルスＲＥＡＤ１とＲＥＡＤ２の直前に検出部に蓄積した余分なリーク信号を排出するためにＲＥＳＥＴ１２のパルスを印加している。そして読出しパルスＲＥＡＤ１とＲＥＡＤ２を印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で加算動作をし、電圧に変換して出力アンプで垂直信号線へ読み出している。
この読出し動作を順次ＰＤ３とＰＤ４、ＰＤ５とＰＤ６、・・・とＨＤに同期して順次読出している。
水平の信号合成（加算もしくは平均化）処理と合わせて、Ｂａｙｅｒ配列の４画素の信号合成（加算もしくは平均化）動作を実施している。
＜動き検出信号読出し動作例４＞
図９（Ｂ）の画素配列と図１０（Ｂ）の動作タイミングを用いて動き検出信号読出し動作４について説明する。動き検出信号読出し動作４は、実線丸のＢａｙｅｒ配列２ｘ２の４画素を基本に４箇所の合計１６画素を合成（加算もしくは平均化）した信号と、次の点線丸のＢａｙｅｒ配列２ｘ２の４画素を基本に４箇所の合計１６画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。
水平合成回路１（４５ｄ）での水平方向の信号合成（平均化）動作は、ＨＡＶＥ信号をＯＮにすることで平均化した信号を生成している。スイッチＨ９Ｂ１とＨ９Ｂ２とＨ９Ｂ５をＯＮにすることで、水平に配置した実線丸４箇所の垂直信号線の出力信号が平均化される。また、スイッチＨ９Ｂ３とＨ９Ｂ４とＨ９Ｂ６をＯＮにすることで、水平に配置した点線丸４箇所の垂直信号線の出力信号を平均化している。同様に水平方向に平均化用のスイッチを配置、各４箇所の平均化を実施している。
この動き検出動作は、水平方向のサンプリング数が１／４に低減するため後段のＣＤＳ回路４６以降は、水平画素数の３／４の回路処理をＯＦＦにすることで消費電力を低減できる。
図１０（Ｂ）に示す動作タイミングを用いて垂直４画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１０（Ｂ）に示すようにＡＤＲＥＳ１２と同時にＡＤＲＥＳ５６をＯＮにし、ＲＥＡＤ１とＲＥＡＤ２とＲＥＡＤ５とＲＥＡＤ６を同時にＯＮにすることで、ＰＤ１とＰＤ２とＰＤ５とＰＤ６に蓄積した信号電荷が読み出され、検出部でそれぞれ加算した信号を生成し、それぞれＡＤＲＥＳ１２とＡＤＲＥＳ５６の出力アンプから垂直信号線へ出力される。２箇所から出力した信号は、垂直信号線で合成（平均化）した信号が発生する。水平方向の信号合成（平均化）処理と同時に実施することで１６画素の信号合成（加算もしくは平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号ＨＤに同期して１ライン目と２ライン目と５ライン目と６ライン目のＲＥＡＤ１とＲＥＡＤ２とＲＥＡＤ５とＲＥＡＤ６とＲＥＳＥＴ１２とＲＥＳＥＴ５６のパルスを同時に発生させることで、この時刻までフォトダイオードＰＤ１とＰＤ２ とＰＤ５とＰＤ６に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２ＨＤ後に同期して同様にフォトダイオードＰＤ９，ＰＤ１０，・・・と４ラインの信号排出動作を順次実施している。蓄積時間は長時間蓄積ＴＬに設定されている。
次に蓄積時間が短時間蓄積ＴＳとなる長時間蓄積ＴＬの１／２となるように蓄積時間発生回路４１で設定されている。蓄積時間ＴＬの１／２になる時刻ＨＤに同期して、次の３ライン目と４ライン目と７ライン目と８ライン目のＲＥＡＤ３とＲＥＡＤ４とＲＥＡＤ７とＲＥＡＤ８とＲＥＳＥＴ３４とＲＥＳＥＴ７８のパルスを同時に発生させることで、この時刻までフォトダイオードＰＤ３とＰＤ４とＰＤ７とＰＤ８に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２ＨＤ後に同期してフォトダイオードＰＤ１１，ＰＤ１２，・・・と順次４ラインの信号排出動作をしている。
そして蓄積した信号電荷の読出し動作は、読出し時刻のＨＤに同期して、読出しパルスＲＥＡＤ１とＲＥＡＤ２とＲＥＡＤ５とＲＥＡＤ６の直前に検出部に蓄積した余分なリーク信号を排出するためにＲＥＳＥＴ１２とＲＥＳＥＴ５６のパルスを同時に印加している。そして読出しパルスＲＥＡＤ１とＲＥＡＤ２とＲＥＡＤ５とＲＥＡＤ６を同時に印加することでフォトダイオードに蓄積した信号電荷を検出部に読出してそれぞれ検出部で加算し電圧に変換して出力アンプから垂直信号線へ出している。
このＲＥＳＥＴ動作から信号読出し動作期間の間はＡＤＲＥＡ１２とＡＤＲＥＡ５６パルスを同時にＯＮにすることで、加算したＰＤ１とＰＤ２と加算したＰＤ５とＰＤ６の信号を垂直信号線へ出力している。垂直信号線に発生する信号は、垂直４画素分の信号を合成（加算と平均化）した信号電圧を発生する。この読出し動作を順次ＰＤ３とＰＤ４とＰＤ７とＰＤ８、次にＰＤ９とＰＤ１０とＰＤ１３とＰＤ１４とＨＤに同期して順次読出している。
＜動き検出用固体撮像装置の実施例２＞
図１１を用いて、動き検出システムの実施形態３に係る固体撮像装置１２ｃの構成例を説明する。動き検出用固体撮像装置の実施例１（図４）に対して、異なる画素部４４ｂと水平合成回路１（４５ｃ）について説明する。
画素部４４ｂの１つのセルは、４つのトランジスタ（Ｔａ，Ｔｂ，Ｔｃ，Ｔｄ）と２個のフォトダイオード（ＰＤ１、ＰＤ２）から構成され、各セルにはパルス信号ＡＤＲＥＳｎ，ＲＥＳＥＴｎがそれぞれ供給される。フォトダイオードからの読出し用の配線は２本のＲＥＡＤｎ，ＲＥＡＤｎ‘が配線されている。Ｂａｙｅｒ配列の２ｘ２画素を１つの単位として、水平垂直共に交互に各画素の読出しトランジスタ（Ｔｄ）に接続されている。この画素部４４ｂの上部にはソースフォロワ回路用の負荷トランジスタが水平方向に沿って配置されている。
画素部４４ｂから出力する垂直信号線ｎは、水平合成回路１（４５ｃ）を介してＣＤＳ回路４６へ接続されている。水平合成回路１（４５ｃ）は、垂直信号線ｎが隣接２ライン毎にスイッチトランジスタＨ９Ａｎで接続されている。このトランジスタのゲートは、タイミング発生回路４０のＨＡＶＥ信号によって制御されている。このＨＡＶＥ信号をＯＮにすることで、２つの垂直信号線に出力される信号は合成（平均化）した信号となる。
図１２に構成例２の撮像信号分離回路３５ｂを示す。
撮像信号分離回路３５ｂは、撮像信号Ｓａを１水平（１Ｈ）期間分遅延させるためのラインメモリ２（３１ａ）、画素単位で遅延させる遅延回路ＤＬ（３２ａ、３２ｂ）、撮像信号Ｓａとラインメモリ２（３１ａ）の出力信号とそれぞれを１画素遅延させた信号とをクロスで加算するための加算回路（３４ａ、３４ｂ）、加算したいづれかの撮像信号を増幅するための増幅回路３３から構成されている。
動き検出動作時は、
撮像装置１２ｂから出力された撮像信号ａは、ラインメモリ２（３１ａ）で１水平（ＨＤ）期間遅延し、さらに画素単位で遅延させる遅延回路ＤＬ（３２ａ）と前記撮像信号ａとを加算する加算回路３４ａの出力信号として長時間蓄積した画像ＳＴＬ信号が出力されている。
さらに、撮像装置１２ｂから出力された撮像信号ａは、画素単位で遅延した遅延回路（３２ｂ）とラインメモリ２（３１ａ）で１水平（ＨＤ）期間遅延した信号とを加算する加算回路３４ｂで加算した信号をさらに増幅回路３３で増幅した信号を短時間蓄積した画像ＳＴＳ信号として出力されている。
動いている物体を検出した場合は、全画素のフォトダイオードを長時間蓄積動作させ、撮像信号Ｓａがそのまま撮像信号Ｓｂとして出力される。この場合は、予め設定した所定の時間例えば撮影を１０秒間実施後、動作モードを動き検出動作に切換えて動き検出を実施している。
＜動き検出信号読出し動作例５＞
図１３（Ａ）の画素配列と図１４（Ａ）の動作タイミングを用いて動き検出信号読出し動作５について説明する。動き検出信号読出し動作５は、実線丸のＢａｙｅｒ配列２ｘ２の４画素を合成（加算もしくは平均化）した信号と斜め配置の同じくＢａｙｅｒ配列の４画素との合計８画素合成（加算もしくは平均化）した信号と、次の点線丸のＢａｙｅｒ配列２ｘ２の４画素の斜め配置の２箇所を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。
水平合成回路１（４５ｃ）での水平方向の信号合成（平均化）動作は、ＨＡＶＥ信号をＯＮにすることで平均化した信号を生成されている。スイッチＨ９Ａ１をＯＮにすることで、水平に配置した隣接した２本の垂直信号線の出力信号を平均化している。また、スイッチＨ９Ａ２をＯＮにすることで、次の隣接した２本の垂直信号線の出力信号を平均化している。同様に水平方向に平均化用のスイッチを配置することで、順次隣接した２つの垂直信号線の出力信号の平均化を実施している。
この動き検出動作は、水平方向のサンプリング数が１／２に低減されるため後段のＣＤＳ回路４６以降は、水平画素数の１／２の回路処理をＯＦＦにすることで消費電力を低減できる。
図１４（Ａ）に示す動作タイミングを用いて垂直２画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１４（Ａ）に示すようにＡＤＲＥＳ１２をＯＮにし、ＲＥＡＤ１とＲＥＡＤ２とＲＥＡＤ１’とＲＥＡＤ２’とを同時にＯＮにすることで、ＰＤ１とＰＤ２に蓄積した信号電荷が読み出され、検出部で加算した信号を出力アンプで垂直信号線へ出力されている。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで４画素の合成（加算もしくは平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号ＨＤに同期して１ライン目と２ライン目のＲＥＡＤ１とＲＥＡＤ２とＲＥＳＥＴ１２のパルスを同時に発生させることで、この時刻まで長時間蓄積用のフォトダイオードＰＤ１とＰＤ２に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１ＨＤ後に同期して同様にフォトダイオードＰＤ３，ＰＤ４，・・・と順次２ラインの信号排出動作をされている。蓄積時間は長時間蓄積ＴＬに設定されている。
次に蓄積時間が短時間蓄積ＴＳとなる長時間蓄積ＴＬの１／２となるように蓄積時間発生回路４１で設定されている。蓄積時間ＴＬの１／２になる時刻ＨＤに同期して、１ライン目と２ライン目のＲＥＡＤ１’とＲＥＡＤ２’とＲＥＳＥＴ１２のパルスを同時に発生させることで、この時刻まで短時間蓄積用のフォトダイオードＰＤ１とＰＤ２に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１ＨＤ後に同期してフォトダイオードＰＤ３，ＰＤ４，・・・と順次２ラインの信号排出動作をしている。
そしてフォトダイオードで蓄積した信号電荷の読出し動作は、読出し時刻のＨＤに同期して、読出しパルスＲＥＡＤ１とＲＥＡＤ２とＲＥＡＤ１’とＲＥＡＤ２’の直前に検出部に蓄積した余分なリーク信号を排出するためにＲＥＳＥＴ１２のパルスを印加している。そして読出しパルスＲＥＤ１とＲＥＡＤ２とＲＥＡＤ１’とＲＥＡＤ２’を同時に印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で加算動作をし、電圧に変換して出力アンプで垂直信号線に読み出している。
この読出し動作を順次ＰＤ３とＰＤ４、ＰＤ５とＰＤ６、・・・とＨＤに同期して順次読出している。水平の信号合成（平均化）処理と合わせて、Ｂａｙｅｒ配列の４画素の信号合成（加算もしくは平均化）動作を実施している。
＜動き検出信号読出し動作例６＞
図１３（Ｂ）の画素配列と図１４（Ｂ）の動作タイミングを用いて動き検出信号読出し動作６について説明する。動き検出信号読出し動作６は、実線丸のＢａｙｅｒ配列２ｘ２の４画素を基本に８箇所の合計３２画素を合成（加算もしくは平均化）した信号と、次の点線丸のＢａｙｅｒ配列２ｘ２の４画素を基本に８箇所の合計３２画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。
水平合成回路１（４５ｄ）での水平方向の信号合成（平均化）動作は、ＨＡＶＥ信号をＯＮにすることで平均化した信号を生成している。スイッチＨ９Ｂ１とＨ９Ｂ２とＨ９Ｂ５をＯＮにすることで、水平に配置した実線丸４箇所（垂直ライン１と２と５と６）の垂直信号線の出力信号を平均化されている。また、スイッチＨ９Ｂ３とＨ９Ｂ４とＨ９Ｂ６をＯＮにすることで、水平に配置した点線丸４箇所（垂直ライン１と２と５と６）の垂直信号線の出力信号を平均化されている。同様に水平方向に平均化用のスイッチを配置、各４箇所の平均化を実施している。
この動き検出動作は、水平方向のサンプリング数が１／４に低減するため後段のＣＤＳ回路４６以降は、水平画素数の３／４の回路処理をＯＦＦにすることで消費電力を低減できる。
図１４（Ｂ）に示す動作タイミングを用いて垂直４画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１４（Ｂ）に示すようにＡＤＲＥＳ１２をＯＮにし、ＲＥＡＤ１とＲＥＡＤ２とＲＥＡＤ１’とＲＥＡＤ２’を同時にＯＮにすることで、ＰＤ１とＰＤ２に蓄積した信号電荷が読み出され、検出部で加算した信号を出力アンプで垂直信号線へ出力されている。
そして、同時にＡＤＲＥＳ５６をＯＮにし、ＲＥＡＤ５とＲＥＡＤ６とＲＥＡＤ５’とＲＥＡＤ６’を同時にＯＮにすることで、ＰＤ５とＰＤ６に蓄積した信号電荷が読み出され、検出部で加算した信号は出力アンプで垂直信号線へ出力している。ＡＤＲＥＳ１２とＡＤＲＥＳ５６の２箇所から出力した信号は、垂直信号線で合成（平均化）した信号が生成される。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで１６画素の信号合成（加算もしくは平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号ＨＤに同期して１ライン目と２ライン目と５ライン目と６ライン目のＲＥＡＤ１とＲＥＡＤ２とＲＥＡＤ５とＲＥＡＤ６とＲＥＳＥＴ１２とＲＥＳＥＴ５６のパルスを同時に発生させることで、この時刻まで長時間蓄積用フォトダイオードＰＤ１とＰＤ２ とＰＤ５とＰＤ６に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１ＨＤ後に同期して同様にフォトダイオードＰＤ３，ＰＤ４，ＰＤ７，ＰＤ８，・・・と順次４ラインの信号排出動作をしている。蓄積時間は長時間蓄積ＴＬに設定されている。
次に蓄積時間が短時間蓄積ＴＳとなる長時間蓄積ＴＬの１／２となるように蓄積時間発生回路４１で設定されている。蓄積時間ＴＬの１／２になる時刻ＨＤに同期して、１ライン目と２ライン目と５ライン目と６ライン目のＲＥＡＤ１’とＲＥＡＤ２’とＲＥＡＤ５’とＲＥＡＤ６’とＲＥＳＥＴ１２とＲＥＳＥＴ５６のパルスを同時に発生させることで、この時刻まで短時間蓄積用フォトダイオードＰＤ１とＰＤ２とＰＤ５とＰＤ６に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１ＨＤ後に同期して短時間蓄積用フォトダイオードＰＤ３，ＰＤ４，ＰＤ７，ＰＤ８，・・・と順次４ラインの信号排出動作をされている。
そして蓄積した信号電荷の読出し動作は、読出し時刻のＨＤに同期して、読出しパルスＲＥＡＤ１とＲＥＡＤ２とＲＥＡＤ５とＲＥＡＤ６とＲＥＡＤ１’とＲＥＡＤ２’とＲＥＡＤ５’とＲＥＡＤ６’の直前に検出部に蓄積した余分なリーク信号を排出するためにＲＥＳＥＴ１２とＲＥＳＥＴ５６のパルスを同時に印加している。
そして読出しパルスＲＥＡＤ１とＲＥＡＤ２とＲＥＡＤ５とＲＥＡＤ６とＲＥＡＤ１’とＲＥＡＤ２’とＲＥＡＤ５’とＲＥＡＤ６’を印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で電圧に変換して出力アンプで読み出されている。
このＲＥＳＥＴ動作から信号読出し動作期間の間はＡＤＲＥＡ１２とＡＤＲＥＡ５６パルスを同時にＯＮにすることで、ＰＤ１とＰＤ２の信号を検出部で加算した信号とＰＤ５とＰＤ６の信号を検出部で加算した信号とを垂直信号線へ電圧信号として出力して、ＡＤＲＥＳ１２とＡＤＲＥＳ５６を同時にＯＮにすることで、垂直信号線に発生する信号は、合計垂直４画素分の信号を合成（平均化）した信号電圧を発生する。この読出し動作を順次ＰＤ３とＰＤ４とＰＤ７とＰＤ８、次にＰＤ９とＰＤ１０とＰＤ１３とＰＤ１４とＨＤに同期して順次読出される。
これらの処理により、図１３（Ｂ）の実線丸８箇所と、点線丸８箇所との動き検出差分処理を実施している。
＜動き検出システムの実施形態４＞
図１５は、本発明の実施形態４に係る動き検出システムの概略構成を示すブロック図である。
本実施形態４の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ｅと動き検出画像処理装置１０ｅと映像管理装置３０ｂから構成されている。実施形態３と異なる構成動作について説明する。
撮像装置１２ｅは、センサコア部３６と動き検出部から構成されている。センサコア部３６は、図４あるいは図１１の固体撮像装置と同様の構成になっている。
動き検出画像装置１０ｅは、撮像信号Ｓｂを入力し、カラー信号処理回路２１、時刻発生回路１７、動き判定信号（ＯＮ／ＯＦＦ１）を映像信号に埋め込むためのコードを発生するコード発生回路３８、動き判定信号加算回路２８ｂ、映像信号出力回路１６で構成されている。
センサコア部３６から出力された撮像信号Ｓａは、撮像信号分離回路３５にて長時間蓄積した撮像信号ＳＴＬと短時間蓄積した撮像信号ＳＴＳに分離し、比較対象画素となる撮像信号ＳＴＬと撮像信号ＳＴＳを同時に出力し、差分信号生成回路１３ａで差分信号を生成し、動き判定回路１４ａで動いている物体の有無を判定し、撮像装置１２ｅから判定信号（ＯＮ／ＯＦＦ１）が出力されている。
撮像信号分離回路３５は、図５あるいは図１２と同様の構成となっている。
＜動き検出システムの実施形態５＞
図１６は、本発明の実施形態５に係る動き検出システムの概略構成を示すブロック図である。
本実施形態５の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ｆと動き検出画像処理装置１０ｆと映像管理装置３０ｂから構成されている。
撮像装置１２ｆは、実施形態４に対して動き判定回路１４ｃからは動き判定コードのみを出力し、撮像信号Ｓａに埋め込むための動き判定信号加算回路２８ａが追加され、動き判定コードを埋め込んだ撮像信号Ｓｃが出力されている。
動き検出画像装置１０ｆは、実施形態４と異なり入力された撮像信号Ｓｃに埋め込まれた判定コードを抽出するための動き判定信号抽出回路２９ａを用いて、埋め込まれた動き判定信号（ＯＮ／ＯＦＦ１）を抽出し出力する。動きが無いと判定した場合は、カラー信号処理回路２１や映像信号出力回路１６などの回路動作や信号処理動作を停止する。
＜動き検出システムの実施形態６＞
図１７は、本発明の実施形態６に係る動き検出システムの概略構成を示すブロック図である。
本実施形態６の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ｄと動き検出画像処理装置１０ｄと映像管理装置３０ｂから構成されている。
撮像装置１２ｄは、動き検出動作時にもサンプリング数を削減せずに、画素部の全画素の信号を撮像信号Ｓａとして出力している。
動き検出画像処理装置１０ｄは、撮像装置１２ｄからの全画素の撮像信号Ｓａを画素信号合成回路３７で複数画素の信号を合成（加算）し、撮像信号分離回路３５へ出力している。
その他は、実施形態３と同じ構成になっている。
＜動き検出用固体撮像装置の実施例３＞
図１８を用いて、動き検出システムの実施形態６に係る固体撮像装置１２ｄの構成例を説明する。動き検出用固体撮像装置の実施例２（図１１）の固体撮像装置１２ｃと異なるのは、サンプリング数の削減を実施していないため、垂直並列制御回路４３と水平合成回路１（４５ｃ）がない。撮像装置１２ｄは回路削減により簡単な構成になっている。
図１９に構成例３の撮像信号分離回路３５ｃと撮像信号合成回路３７を示す。図１３Ａに示す画素信号の合成方法について説明する。撮像信号合成回路３７は、動き検出用撮像装置１２ｄの撮像エリアから出力した順次４ライン毎の信号の演算ができるように４ライン（少なくとも３ライン）のラインメモリ３１ｂ〜ｅと、入力した４ラインの画素信号をそれぞれ上側２ラインの画素に相当する垂直２画素水平２画素の４画素の第１の加算信号と、下２ラインに相当する垂直２画素水平２画素の４画素の第２の加算信号を生成する。
撮像信号分離回路３５ｃは、
図１３Ａに示すように、実線丸の４画素加算と点線丸の４画素加算した信号が、前記第１の信号と第２の信号として入力される。この撮像信号分離回路３５ｃは、クロスになった信号同士を加算する必要が有る。
第１の加算信号と第２の加算信号をそれぞれ加算信号１画素分相当だけ遅延手段で遅延させ、
遅延していない第１の加算信号と遅延した第２の加算信号を加算した第３の加算信号を生成し、
遅延していない第２の加算信号と遅延した第１の加算信号を加算した第４の加算信号を生成し、
第３の撮像信号もしくは第４の撮像信号のいずれかを増幅し、増幅した短い蓄積時間の撮像信号ＳＴＳと増幅していない長い蓄積時間の撮像信号ＳＴＬの少なくとも２種類の撮像信号を出力している。
＜動き検出システムの実施形態７＞
図２０は、本発明の実施形態７に係る動き検出システムの概略構成を示すブロック図である。
本実施形態７の動き検出システムは、撮像レンズ１１を備えた動き検知用撮像装置１２ｇと映像管理装置３０ａから構成されている。撮像装置１２ｇは、例えば実施形態３（図３）の動き検出画像処理装置１０ｃの回路がオンチップで撮像装置１２ｇに組み込まれている。また、実施形態２（図２）と同様に撮像装置１２ｇの映像信号１に動き判定信号を埋め込んで、映像管理装置３０ｂと組み合わせることで、映像信号１のみを出力することができる。
図２１は、本発明の実施形態７に係る動き検出システムの撮像装置１２ｇの概略構成を示すブロック図である。撮像装置１２ｇはセンサチップに動き判定回路１４ｂとカラー信号処理回路２１などを組み込んだ１チップの固体搬像装置となっている。実施形態３と異なる構成動作について説明する。
撮像装置１２ｇの画素部４４ｂの下部には、画素部４４ｂから出力される垂直信号線が入力されたカラム型ノイズキャンセル回路（ＣＤＳ）４６、カラム型アナログデジタルコンバータ回路（ＡＤ変換）４７、ラインメモリ１（４８）、水平走査回路１（４９）、
画素部４４ｂの上部には、画素部４４ｂから出力される垂直信号線を受け水平方向で信号を合成する水平合成回路２、水平方向の読出しを走査する水平走査回路２（５０）で構成されている。
動き判定用の撮像信号は、水平走査回路２（５０）と水平合成回路２（５１）を用いて平均化した長時間蓄積した撮像信号ＳＴＬと短時間蓄積した撮像信号ＳＴＳとしてアナログ信号を出力し、蓄積時間の差分を補正するためのアナログの増幅回路５２で信号レベルが調整されている。その増幅回路５２の出力の差分信号をアナログの差動アンプとなる差分信号生成回路１３ｂで差分信号を生成する。そして、アナログのコンパレータ回路５５を用いて閾値設定回路１９ａで設定した閾値よりも大きいレベルデジタル値に変換し、動き判定回路１４ｂで動きの有無を判定している。
動き判定回路１４ｂで動き有りと判定した場合は、
動き判定信号（ＯＮ／ＯＦＦ１）がタイマ回路５４を経由して各回路を動作させるＯＮ信号を出力している。タイマ回路４５は、予め設定した所定の時間例えば撮影を１０秒間実施後、タイミング発生回路の動作モードを撮影モードから動き検出動作モードに切換えて動き検出を実施している。
動き判定回路１４ｂで動き無しと判定した場合は、下部のＣＤＳ回路以降の回路動作をＯＦＦ制御することで、撮像装置１２ｇの大幅な消費電力の低減が実施されている。そして、動き検出動作を継続する。
＜動き検出信号読出し動作例７＞
実施形態７の動き検出読出し動作について図２２の画素配列と動き検出信号用の水平読出し回路を用いて説明する。動作タイミングは図１４（Ｂ）と同じ動作をしている。
まず、水平の１ライン目と２ライン目と５ライン目と６ライン目の読み出し動作は、水平８画素を１組として水平走査回路２（５０）で順次読出されている。水平合成回路５１のスイッチＨ１〜Ｈ８をＯＮにすることで、上部水平読出しラインに、短時間蓄積した信号水平４画素分が平均化されて読み出す。垂直の４画素の信号合成（加算もしくは平均化）した信号と合わせると、１６画素の平均化した信号が発生する。
水平合成回路５１の下部水平読出しラインには、長時間蓄積した信号水平４画素分が平均化さして読み出す。垂直の４画素の信号合成（加算もしくは平均化）した信号と合わせると、１６画素の平均化した信号が発生する。そして、信号切換え回路５２で上下を入換え、画像ＳＴＬ信号と増幅回路５２で蓄積時間比分増幅した撮像信号ＳＴＳを後段処理へ出力している。
次の、３ライン目と４ライン目と７ライン目と８ライン目の読み出し動作は、水平合成回路５１の水平８画素を１組として水平走査回路２（５０）で順次読出されている。スイッチＨ１〜Ｈ８をＯＮにすることで、上部水平読出しラインに、長時間蓄積した信号水平４画素分が平均化されて読み出す。垂直の４画素の信号合成（加算もしくは平均化）した信号と合わせると、１６画素の合成（加算もしくは平均化）した信号が発生する。
水平合成回路５１の下部水平読出しラインには、短時間蓄積した信号水平４画素分が合成（加算もしくは平均化）されて読み出す。垂直の４画素の信号合成（加算もしくは平均化）した信号と合わせると、１６画素の平均化した信号が発生する。そして、信号切換え回路５２で上下を入れ換えないで、画像ＳＴＬ信号と増幅回路５２で蓄積時間比分で増幅した撮像信号ＳＴＳを後段処理へ出力している。
実施形態７は、ＣＤＳ回路、ＡＤＣ回路、ラインメモリなどを用いずに簡単なアナログの増幅回路５２とアナログの差分信号生成回路５３とアナログのコンパレータ回路５５などの回路を追加することで、動き検出動作時の消費電力を大幅に低減できる。
以上説明した各実施の形態の特徴は互いに組み合わせて用いることができる。また、撮像装置の画素部のセル構造を２個のフォトダイオードに対して出力回路が１個の２画素１セルで説明したが、１画素１セル、４画素１セルなど２画素１セルに限定されない。色フィルタ配列は代表的なＢａｙｅｒ配列で説明したが、本発明の特徴を生かすことで、Ｂａｙｅｒ配列に限定されない。
１０ａ，１０ｂ，１０ｃ 動き検出画像処理装置
３０ａ，３０ｂ 映像管理装置
１１ 撮像レンズ
１２ 撮像装置
１３ 差分信号生成回路
１４ 動き判定回路
１５ 動き判定信号出力回路
１６ 映像信号出力回路
１７ 日付・時刻発生回路
１８ 時刻加算回路
１９ 動き判定用閾値設定回路
２０ フレームメモリ
２１ カラー信号処理回路
２２ 動き判定信号入力回路
２３ 映像信号入力回路
２４ 映像信号録画サーバ
２５ ＬＡＮ出力装置
２６ Ｗｅｂ出力装置
２７ 映像モニタ
２８ 動き判定信号加算回路
２９ 動き判定信号抽出回路
３１ ラインメモリ
３２ 遅延回路
３３，５２ 増幅回路
３４ 信号加算回路
３５ 撮像信号分離回路
３６ センサコア
３７ 画素信号合成
３８ コード信号発生回路
３９ 撮像信号切換え回路
４０ タイミング発生回路
４１ 蓄積時間制御回路
４２ 垂直走査回路
４３ 垂直並列制御回路
４４ 画素部
４５，５１ 水平合成回路
４６ ＣＤＳ回路
４７ ＡＤＣ回路
４８ ラインメモリ
４９，５０ 水平走査回路
５２ 信号線切換え回路
５４ 動作時間制御回路（タイマ）
５５ 比較回路
６０ 水平読出し回路
図１は、本発明の第１実施形態に係る動き検出システムの概略構成を示すブロック図。 図２は、本発明の第２実施形態に係る動き検出システムの概略構成を示すブロック図。 図３は、本発明の第３実施形態に係る動き検出システムの概略構成を示すブロック図。 図４は、図３の動き検出用固体撮像装置の実施例１の概略構成を示すブロック図 図５は、図３の実施例１の撮像信号分離回路の構成図。 図６は、図４の画素部の映像信号読み出し動作例を説明するタイミングチャート図。 図７は、図４の画素部の画素合成読み出し動作例１と２の概略を示す構成図。 図８は、図７の動き検出動作時の読出し動作を説明するためのタイミングチャート図。 図９は、図４の画素部の画素合成読み出し動作例３と４の概略を示す構成図。 図１０は、図９の動き検出動作時の読出し動作を説明するタイミングチャート図。 図１１は、図３の動き検出用固体撮像装置の実施例２の概略構成を示すブロック図。 図１２は、図３の実施例２の信号処理による画素合成回路と撮像信号分離回路の構成図。 図１３は、図１１の画素部の画素合成読み出し動作例５と６の概略を示す構成図。 図１４は、図１３の動き検出動作時の読出し動作を説明するタイミングチャート図。 図１５は、本発明の第４実施形態に係る動き検出システムの概略構成を示すブロック図。 図１６は、本発明の第５実施形態に係る動き検出システムの概略構成を示すブロック図。 図１７は、本発明の第６実施形態に係る動き検出システムの概略構成を示すブロック図。 図１８は、図１７の動き検出用体撮像装置の実施例３の概略構成を示すブロック図 図１９は、図１７の実施例３の信号処理による画素合成回路と撮像信号分離回路の構成例図。 図２０は、本発明の第７実施形態に係る動き検出システムの概略構成を示すブロック図。 図２１は、本発明の第７実施形態に係る動き検出用固体撮像装置の概略構成を示すブロック図。 図２２は、図２１の画素部の画素合成読み出し動作例７の概略を示す構成図。
＜動き検出システムの実施形態１＞
図１は、本発明の動き検出システムの実施形態１に係る動き検出システムの概略構成を示すブロック図を参照して詳細に説明する。
本実施形態１の動き検出システムは、撮像レンズ１１を備えた撮像装置１２aと動き検出画像処理装置１０aとからなる動き検出カメラと映像管理装置３０aから構成されている。
動き検出画像処理装置１０aは、撮影した1画面の撮像信号を保存するためのフレームメモリ２０、撮影時刻の異なる撮像（画素）信号S１と撮像（画素）信号S２の差分信号生成回路１３a、差分信号を基に撮影した画面の中に動く物体の有無を判定する動き判定回路１４a、動きを判定するための判定レベルを設定する動き判定用閾値設定回路１９、撮像装置１２aの撮像信号S２をモニタに再生するための映像信号となるように処理するカラー信号処理回路２１、カラー処理した映像信号に撮影日や撮影時刻を記録するための時刻発生回路（時計１７）、日付や時刻の信号を映像信号に埋め込むための時刻加算回路１８、時刻を埋め込んだ映像信号１を出力するための映像信号出力回路１６と、動き判定した判定結果を出力するための動き判定信号出力回路１５などから構成されている。
＜動き検出システムの実施形態２＞
図２は、本発明の動き検出システムの実施形態２に係る動き検出システムの概略構成を示すブロック図である。本実施形態２の動き検出システムは、撮像レンズ１１を備えた撮像装置１２aと動き検出画像処理装置１０ｂとからなる動き検出カメラと映像管理装置３０ｂから構成されている。実施形態１と異なる構成動作について説明する。
＜動き検出システムの実施形態３＞
図３は、本発明の実施形態３に係る動き検出システムの概略構成を示すブロック図である。
本実施形態３の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ｂ（１２ｃ）と動き検出画像処理装置１０ｃとからなる動き検出カメラと映像管理装置３０ｂから構成されている。実施形態２と異なる構成動作について説明する。
動き検出画像処理装置１０ｃは、撮像装置１２ｂ（１２ｃ）から撮影した1画面の撮像（画素）信号は、撮影時刻が異なるように、フォトダイオードが2次元に配置された画素エリアをフォトダイオードで露光する蓄積時間の長い撮像（画素）信号STLと蓄積時間の短い撮像（画素）信号STSが含まれた撮像（画素）信号Saが入力されている。蓄積時間の長いフォトダイオードと短いフォトダイオードは、格子状に配置されている。動き検出画像処理装置１０cに入力された撮像信号Saは、撮像信号分離回路３５にて撮像信号STLと撮像信号STSに分離し、比較対象画素となる撮像信号STLと撮像信号STSを同時に出力し、差分信号生成回路１３aの差分信号を基に撮影した画面の中に動く物体の有無を判定している。
この画素部４４aを制御するためのタイミング発生回路４０、画素部で光信号を電荷に変換するフォトダイオードの蓄積時間を制御するための長い蓄積時間TLと短い蓄積時間TSを発生する蓄積時間発生回路４１、画素部を垂直方向に走査するための垂直走査回路４２、垂直のラインを複数同時に駆動するための垂直並列制御回路４３で構成されている。
垂直信号線nは、水平合成回路１（４５a）を介してＣＤＳ回路４６へ接続されている。水平合成回路１（４５a）は、垂直信号線2本が1ライン毎にスイッチトランジスタH5A1とH5A2で接続されている。このトランジスタのゲートは、タイミング発生回路４０のHAVE信号によって制御されている。このHAVE信号をONにすることで、垂直信号線2本に出力される信号を水平合成（平均化）することができる。また、垂直並列制御回路４３で、垂直の読出しラインを複数本同時にONにすることで、垂直に配置した画素信号を垂直合成（平均化）することができる。
動き検出動作は、撮像装置１２ｂの画素部４４aの所定のフォトダイオードを長時間蓄積となる蓄積時間TLと短時間蓄積となる蓄積時間TSで動作させ、画素部４４aからライン毎に読み出す。長時間蓄積した信号STLと短時間蓄積した信号STSの比較する画素信号の位相が同じになるようにラインメモリ２（３１a）と画素単位の遅延回路DL（３２）で調整されている。さらに短時間蓄積した画像信号STSは、信号レベルが同等となるように増幅回路３３で蓄積時間比（TL/TS）のゲインで増幅されている。
動いている物体を検出した直後は、画素部４４aの信号読出しはフル解像度が得られる信号合成は実施しないで撮像信号Saが出力される。フル解像度動作１では、蓄積時間が短い撮像信号Saは増幅回路３３で蓄積時間比（TL/TS）のゲインで増幅した信号側に信号切換え回路３９で切換えて撮像信号Sbが出力されている。蓄積時間が長い撮像信号Saの場合は、信号切換え回路３９を撮像信号Sa側に切換えて撮像信号Sbが出力されている。またフル解像度動作２では、全画素のフォトダイオードを長時間蓄積動作させ、撮像信号Saがそのまま撮像信号Sbとして出力される。これらの動作は、予め設定した所定の時間例えばフル解像度撮影を５秒間実施後、動作モードを動き検出動作に切換えて信号合成動作によりサンプリング数を削減した低消費電力化した動き検出を実施できる。また、信号合成動作させずに、動き検出動作とフル解像度動作を同時に実施することもできる。
＜映像信号用の信号読出し動作例＞
図６に示す動作タイミングを用いて、本例に係る固体撮像装置の標準の撮像信号読み出し動作について説明する。フォトダイオードＰＤで光電変換した電荷を蓄積する蓄積時間は全画素共通の蓄積時間ＴＬに設定する。この蓄積時間TLは、被写体の明るさに応じて調整される。蓄積時間ＴＬは蓄積時間発生回路４１で通常最大の蓄積時間が動作周波数の1フレーム期間で、最小が１H期間で、１Ｈ毎に蓄積時間の長さが制御される。
画素部４４ｂから出力する垂直信号線nは、水平合成回路１（４５ｃ）を介してＣＤＳ回路４６へ接続されている。水平合成回路１（４５ｃ）は、垂直信号線nが隣接２ライン毎にスイッチトランジスタH9Anで接続されている。このトランジスタのゲートは、タイミング発生回路４０のHAVE信号によって制御されている。このHAVE信号をONにすることで、２つの垂直信号線に出力される信号は水平合成（平均化）した信号となる。また、垂直並列制御回路４３で、垂直の読出しラインを複数本同時にONにすることで、垂直に配置した画素信号を垂直合成（平均化）することができる。
図１２に構成例２の信号処理による画素合成回路と撮像信号分離回路３５ｂを示す。
撮像信号分離回路３５ｂは、撮像信号Saを１水平（１H）期間分遅延させるためのラインメモリ２（３１a）、画素単位で遅延させる遅延回路DL（３２a、３２ｂ）、撮像信号Saとラインメモリ２（３１a）の出力信号とそれぞれを１画素遅延させた信号とをクロスで加算するための加算回路（３４a、３４ｂ）、加算したいづれかの撮像信号を増幅するための増幅回路３３から構成されている。
動いている物体を検出した直後は、フル解像度動作として全画素のフォトダイオードを長時間蓄積動作させ、撮像信号Saがそのまま撮像信号Sbとして出力される。この動作は、予め設定した所定の時間例えば撮影を１０秒間実施後、動作モードを動き検出動作に切換えて信号合成動作によりサンプリング数を削減した低消費電力化した動き検出を実施している。また、図５と同様に増幅回路と切換え回路を追加することで信号合成動作による動き検出動作とフル解像度動作を同時に実施することもできる。
＜動き検出システムの実施形態４＞
図１５は、本発明の実施形態４に係る動き検出システムの概略構成を示すブロック図である。
本実施形態４の動き検出システムは、撮像レンズ１１を備えた撮像装置１２eと動き検出画像処理装置１０eとからなる動き検出カメラと映像管理装置３０ｂから構成されている。実施形態３と異なる構成動作について説明する。
＜動き検出システムの実施形態５＞
図１６は、本発明の実施形態５に係る動き検出システムの概略構成を示すブロック図である。
本実施形態５の動き検出システムは、撮像レンズ１１を備えた撮像装置１２fと動き検出画像処理装置１０ｆとからなる動き検出カメラと映像管理装置３０ｂから構成されている。
＜動き検出システムの実施形態６＞
図１７は、本発明の実施形態６に係る動き検出システムの概略構成を示すブロック図である。
本実施形態６の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ｄと動き検出画像処理装置１０ｄとからなる動き検出カメラと映像管理装置３０ｂから構成されている。
撮像装置１２ｄは、動き検出動作時にもサンプリング数を削減せずに、画素部の全画素の信号を撮像信号Saとして出力している。
図１９に構成例３の撮像信号分離回路３５ｃと撮像信号の信号処理による画素合成回路３７を示す。図１３Aに示す画素信号の合成方法について説明する。撮像信号合成回路３７は、動き検出用撮像装置１２ｄの撮像エリアから出力した順次４ライン毎の信号の演算ができるように４ライン（少なくとも３ライン）のラインメモリ３１ｂ〜eと、入力した4ラインの画素信号をそれぞれ上側2ラインの画素に相当する垂直２画素水平2画素の4画素の第１の加算信号と、下2ラインに相当する垂直２画素水平2画素の4画素の第２の加算信号を生成する。
＜動き検出システムの実施形態７＞
図２０は、本発明の実施形態７に係る動き検出システムの概略構成を示すブロック図である。
本実施形態７の動き検出システムは、撮像レンズ１１を備えた動き検知用撮像装置１２ｇ（動き検出カメラ）と映像管理装置３０aから構成されている。撮像装置１２ｇは、例えば実施形態３（図３）の動き検出画像処理装置１０ｃの回路がオンチップで撮像装置１２ｇに組み込まれている。また、実施形態２（図２）と同様に撮像装置１２ｇの映像信号１に動き判定信号を埋め込んで、映像管理装置３０ｂと組み合わせることで、映像信号１のみを出力することができる。
以上説明した各実施の形態の特徴は互いに組み合わせて用いることができる。また、撮像装置の画素部のセル構造を2個のフォトダイオードに対して出力回路が1個の2画素1セルで説明したが、1画素1セル、4画素1セルなど2画素1セルに限定されない。色フィルタ配列は代表的なBayer配列で説明したが、本発明の特徴を生かすことで、Bayer配列に限定されない。また、画素配列は縦横に並んだ正方配列を45度回転させて配置した画素配列にも適用できる。
本発明は、撮像画面上の映像の動きを検出・検出する動き検出用固体撮像装置および動き検出システムに関する。
固体撮像装置市場において、近年携帯電話用カメラ向けにＣＭＯＳセンサタイプが急速に数量を伸ばされている。ＣＭＯＳセンサ型固体撮像装置の各画素部は、入射光に応じた信号電荷を発生する光電変換部（以下画素と称す）と、この光電変換部の信号電荷を信号電圧に変換して増幅する増幅部を備えている。
固体撮像装置は単に映像を撮像するだけでなく、この固体撮像装置の撮像画面上で被写体の動きを検出することがある。例えば、同一視野を連続的に撮像して、この視野内に人が侵入してきたことを検出し、この人の侵入に応答して各種の機器を制御したり、この人の侵入を報知したり記録するなどの動き検出システムに使われている。
この様な撮像画面上の映像の動きを検出する方法としては、前後のフレーム間の同一画素単位での信号出力を比較して動きを検出する方法１がある（特許文献１）。また隣接画素を一対の組として積分時間を変え、ゲインを調整して差分信号出力により動きを検出する方法２がある（特許文献２）。
前者の方法１は、フレームメモリが必要となるため、回路規模が大きくなり、消費電力が増加する。さらにコストの上昇を避けることができない。後者の方法２は、被写体の輪郭部分で差分信号が発生するため誤検出信号が発生するため動き検出精度が悪いという問題があった。
特にカラー撮像の場合には、代表的な色フィルタ配置であるベイヤー方式（2x2画素を1組とし、G（緑）を対角に配置し、残りにR（赤）とB（青）の色フィルタを配置）を適用すると、少なくとも１画素飛ばしの位置にある同色のGの画素信号を用いるため誤検出信号が増加するため、さらに動き検出精度が劣化する。
さらに、動き検出動作は常に動いている被写体が有るかの検出動作をされている。ため低消費電力な固体撮像装置や動き検出システムが要求されている。
特開２０１１−１６６５３５号公報 特開平１０−２９０４００号公報
本発明の目的は、消費電力を低減するとともに、動き検出精度を向上させた、動き検出用固体撮像装置および動き検出システムを提供することにある。
上記課題を解決するために、本発明の動き検出用撮像装置は、光電変換素子を有する画素部と、画素部を駆動するためのタイミング発生回路と、光電変換素子の蓄積時間を制御するための複数の蓄積時間発生回路と、画素部の各ラインを垂直方向に走査するための垂直走査回路と、画素部の垂直ラインを複数同時に駆動するための垂直並列制御回路と、前記画素部の垂直信号線から出力されるアナログ信号を水平方向で合成するための水平合成回路とを備え、
動き物体検出動作時において、動き物体を検出するための光電変換素子の蓄積時間制御は、画素部を格子状に少なくとも2分割した長時間蓄積と短時間蓄積となるように制御し、蓄積時間の長さが同じ前記複数の光電変換素子の出力信号を垂直並列制御回路あるいは水平合成回路を用いて合成して出力する。
動き検出システムは、動き検出用撮像装置で撮影した1画面の出力信号を、蓄積時間の長さが異なる撮像信号に分離するための撮像信号分離回路と、分離した撮像信号間の差分信号を生成する差分信号生成回路と、差分信号生成手段で生成した差分信号に基づいて撮影画面の中の物体が動いたかを判定する動き判定回路と、動き判定手段で判定した動き判定信号を基に、動き検出画像処理装置もしくは前記映像信号管理装置の少なくとも一部の回路を停止させる信号処理停止回路を備える。
本発明によれば、動き検出中の固体撮像装置や動き検出システムの消費電力を大幅に低減できる。さらに、ランダムノイズを低減することができるため、低照度下での動き検出感度の向上されている。さらに、輪郭で発生する偽信号（ノイズ）を抑制することで、精度の良い動き検出を行うことができる。
図１は、本発明の第１実施形態に係る動き検出システムの概略構成を示すブロック図。 図２は、本発明の第２実施形態に係る動き検出システムの概略構成を示すブロック図。 図３は、本発明の第３実施形態に係る動き検出システムの概略構成を示すブロック図。 図４は、図３の動き検出用固体撮像装置の実施例１の概略構成を示すブロック図 図５は、図３の実施例１の撮像信号分離回路の構成図。 図６は、図４の画素部の映像信号読み出し動作例を説明するタイミングチャート図。 図７は、図４の画素部の画素合成読み出し動作例１と２の概略を示す構成図。 図８は、図７の動き検出動作時の読出し動作を説明するためのタイミングチャート図。 図９は、図４の画素部の画素合成読み出し動作例３と４の概略を示す構成図。 図１０は、図９の動き検出動作時の読出し動作を説明するタイミングチャート図。 図１１は、図３の動き検出用固体撮像装置の実施例２の概略構成を示すブロック図。 図１２は、図３の実施例２の信号処理による画素合成回路と撮像信号分離回路の構成図。 図１３は、図１１の画素部の画素合成読み出し動作例５と６の概略を示す構成図。 図１４は、図１３の動き検出動作時の読出し動作を説明するタイミングチャート図。 図１５は、本発明の第４実施形態に係る動き検出システムの概略構成を示すブロック図。 図１６は、本発明の第５実施形態に係る動き検出システムの概略構成を示すブロック図。 図１７は、本発明の第６実施形態に係る動き検出システムの概略構成を示すブロック図。 図１８は、図１７の動き検出用体撮像装置の実施例３の概略構成を示すブロック図 図１９は、図１７の実施例３の信号処理による画素合成回路と撮像信号分離回路の構成例図。 図２０は、本発明の第７実施形態に係る動き検出システムの概略構成を示すブロック図。 図２１は、本発明の第７実施形態に係る動き検出用固体撮像装置の概略構成を示すブロック図。 図２２は、図２１の画素部の画素合成読み出し動作例７の概略を示す構成図。
以下、本発明の実施形態に係る動き検出用固体撮像装置および動き検出システムについて図面を参照しながら説明する。以下説明内において同一部分には同一の符号及び処理名を付し、最初にその詳細な説明をし、重複する同一部分の説明は省略する。
＜動き検出システムの実施形態１＞
図１は、本発明の動き検出システムの実施形態１に係る動き検出システムの概略構成を示すブロック図を参照して詳細に説明する。
本実施形態１の動き検出システムは、撮像レンズ１１を備えた撮像装置１２aと動き検出画像処理装置１０aとからなる動き検出カメラと映像管理装置３０aから構成されている。
動き検出画像処理装置１０aは、撮影した1画面の撮像信号を保存するためのフレームメモリ２０、撮影時刻の異なる撮像（画素）信号S１と撮像（画素）信号S２の差分信号生成回路１３a、差分信号を基に撮影した画面の中に動く物体の有無を判定する動き判定回路１４a、動きを判定するための判定レベルを設定する動き判定用閾値設定回路１９、撮像装置１２aの撮像信号S２をモニタに再生するための映像信号となるように処理するカラー信号処理回路２１、カラー処理した映像信号に撮影日や撮影時刻を記録するための時刻発生回路（時計１７）、日付や時刻の信号を映像信号に埋め込むための時刻加算回路１８、時刻を埋め込んだ映像信号１を出力するための映像信号出力回路１６と、動き判定した判定結果を出力するための動き判定信号出力回路１５などから構成されている。
映像管理装置３０aは、動き判定信号入力回路２２、映像信号入力回路２３、入力した映像信号１を記録するための録画サーバ２４、映像信号１を再生するための映像モニタ２７、管理会社へ映像信号を伝送するためのLAN出力装置２５、映像信号をインターネット経由で携帯電話やパソコンなどで受信できるようにするためのWeb出力装置２６などから構成されている。
差分信号生成回路１３aは、撮像信号S１と撮像信号S２との差分信号を生成する。生成した差分信号はプラスマイナスの極性に関係ない絶対値の差分信号を出力する。撮影した画面で動く物体が無い場合は、ノイズレベルの差分信号が出力される。動く物体が有る場合は、大きな差分信号が発生する。
動き判定用閾値設定回路１９は、ノイズレベルの差分信号をカウントしないようにカウントするレベル閾値１を設定すると共に、閾値２となるカウント数を設定する。この閾値よりカウント数が多くなると動く物体が有ると判定する。
動き判定回路１４aは、差分信号生成回路１３aの出力信号のレベルが、閾値１より大きいレベルの発生回数をカウントする。そして、閾値２よりカウント数が多くなると動く物体が有ると判定し、判定信号ON/OFF１をHIレベルにする。動きが無い場合は、LOレベルに設定している。
差分信号は、絶対値を用いたが、プラス側もしくはマイナス側のみを信号を用いてもよい。
動き判定回路１４aで生成した動き判定信号（ON/OFF1）を用いて、動きが無いと判定した場合には、カラー信号処理回路２１や時刻加算回路１８、映像信号出力回路１６などの回路動作や信号処理動作を停止することで動き検出画像処理装置１０aの消費電力を低減できる。同様に、後段の映像管理装置３０aの記録サーバ２４やLAN出力装置２５、Web出力装置２６、モニタ２７などの処理を停止させることで、動き検出システム全体の消費電力を大幅に低減できる。さらに、録画サーバ２４は、動きの無い映像信号を記録しないため、録画サーバの容量低減による小型化・低価格化、もしくは動き有りの映像信号の長時間録画・保存が可能となっている。
動き判定信号による回路や装置の処理動作の停止方法１として、カラー信号処理の入力信号（撮像S２）を遮断する。例えば入力信号の10bitのデジタル値をオールゼロに切換える。カラー信号処理回路以降の信号がゼロとなり、デジタル回路のスイッチ動作（０⇔１切換え）が停止することで回路動作の消費電力を低減することができる。
停止方法２として、各回路や装置には誤動作発生時に元の状態に戻すためのリセットスイッチが備わっている。このリセットスイッチをON状態で保つことで各回路や装置の回路処理を停止させたままにすることで、消費電力を削減することができる。
停止方法３として、停止させたい回路や装置の電源供給を遮断機能付きのレギュレータICにより遮断させる。また、電源にリレー回路を設け、このリレー回路を遮断することで大幅な消費電力を削減することができる。
＜動き検出システムの実施形態２＞
図２は、本発明の動き検出システムの実施形態２に係る動き検出システムの概略構成を示すブロック図である。本実施形態２の動き検出システムは、撮像レンズ１１を備えた撮像装置１２aと動き検出画像処理装置１０ｂとからなる動き検出カメラと映像管理装置３０ｂから構成されている。実施形態１と異なる構成動作について説明する。
動き検出画像処理装置１０ｂは、図１の動き判定信号出力回路１５を削減することで出力信号を映像信号２のみとすることで従来の伝送ケーブルが使えるなどの利点がある。動き判定回路１４ｂは、動き判定信号（ON/OFF1）を出力すると共に判定コードを出力している。動き判定信号（ON/OFF1）は実施形態１と同様に、カラー信号処理回路２１や時刻加算回路１８、映像信号出力回路１６などの回路動作や信号処理動作を停止する。
判定信号のON/OFF信号をコード化した判定コードは、動き判定信号加算回路２８を用いて映像信号に埋め込んでいる。一般的に、映像信号と異なる撮影情報は有効な映像信号が含まれないブランキング期間に情報を埋め込んでいる。同様に動き判定信号をコード化し、ブランキング期間に埋め込んで映像信号２を出力する。
映像管理装置３０ｂは、動き判定コードが埋め込まれた映像信号２から判定信号抽出回路２９ｂによって、動き判定コードの情報から動き判定信号ON/OFF２を生成している。
実施形態１と同様に記録サーバ２４やLAN出力装置２５、Web出力装置２６、モニタ２７などの処理を停止させることで、動き検出システムの消費電力の大幅な低減をしている。さらに、録画サーバ２４は、動きの無い映像信号を記録しないため、録画サーバの容量低減による小型化・低価格化、もしくは動き画像の長時間録画・保存が可能となっている。
＜動き検出システムの実施形態３＞
図３は、本発明の実施形態３に係る動き検出システムの概略構成を示すブロック図である。
本実施形態３の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ｂ（１２ｃ）と動き検出画像処理装置１０ｃとからなる動き検出カメラと映像管理装置３０ｂから構成されている。実施形態２と異なる構成動作について説明する。
動き検出画像処理装置１０ｃは、撮像装置１２ｂ（１２ｃ）から撮影した1画面の撮像（画素）信号は、撮影時刻が異なるように、フォトダイオードが2次元に配置された画素エリアをフォトダイオードで露光する蓄積時間の長い撮像（画素）信号STLと蓄積時間の短い撮像（画素）信号STSが含まれた撮像（画素）信号Saが入力されている。蓄積時間の長いフォトダイオードと短いフォトダイオードは、格子状に配置されている。動き検出画像処理装置１０cに入力された撮像信号Saは、撮像信号分離回路３５にて撮像信号STLと撮像信号STSに分離し、比較対象画素となる撮像信号STLと撮像信号STSを同時に出力し、差分信号生成回路１３aの差分信号を基に撮影した画面の中に動く物体の有無を判定している。
実施形態３は、実施形態２のフレームメモリ２０を削減することで、動き検出画像処理装置１０ｃの小型化、低価格化、低消費電力化を実現している。さらに、映像信号記録動作時はフル解像度の撮像信号Saを出力し、動き検出動作時は、サンプリング数を低減した撮像信号Saを出力することで、さらに動き検出システムの消費電力を低減している。
＜動き検出用固体撮像装置の実施例１＞
図４乃至図１０を用いて、固体撮像装置１２ｂ（１２ｃ）の詳細構成およびその動作を説明する。 まず、図４を用いて、動き検出システムの実施形態３に係る固体撮像装置１２ｂの構成例を説明する。実施例１に係る固体撮像装置１２ｂは、画素部４４aには、レンズ１１を介して光が入射され、光電変換によって入射光量に応じた信号電荷が生成される。この画素部４４aには、複数のセル（単位画素）が半導体基板上に行及び列の二次元的にマトリクス状に配置されている。
そして１つのセルは、４つのトランジスタ（Ｔａ，Ｔｂ，Ｔｃ，Ｔｄ）と2個のフォトダイオード（ＰＤｎ、PDｍ）から構成される。各セルには垂直駆動回路（垂直走査回路４２，垂直並列制御回路４３）からパルス信号ＡＤＲＥＳｎ，ＲＥＳＥＴｎ，ＲＥＡＤｎがそれぞれ供給される。図に記載していないが、この画素部１１の上部にはソースフォロワ回路用の負荷トランジスタが水平方向に沿って各垂直信号線に配置されている。フォトダイオードの入射光面に形成された色フィルタは代表的なBayer配列（２ｘ２の画素配列として、Gr：緑,R：赤,B：青,Gb：緑）で２次元に配置されている。
この画素部４４aを制御するためのタイミング発生回路４０、画素部で光信号を電荷に変換するフォトダイオードの蓄積時間を制御するための長い蓄積時間TLと短い蓄積時間TSを発生する蓄積時間発生回路４１、画素部を垂直方向に走査するための垂直走査回路４２、垂直のラインを複数同時に駆動するための垂直並列制御回路４３で構成されている。
そして、画素部４４aから出力される垂直信号線の読出し回路は、水平のサンプリング数を低減するための水平合成回路１（４５a）、カラム型ノイズキャンセル回路（ＣＤＳ）４６、アナログ信号をデジタル信号に変換するカラム型アナログデジタルコンバータ（ＡＤ変換）回路４７、AD変換したデジタル信号を保存するラインメモリ１（４８）、および水平方向へデジタル信号を読み出すための水平走査回路１（４９）で構成されている。AD変換回路４７の動作でCDS処理を含める場合はCDS回路４６が省略される。
垂直信号線nは、水平合成回路１（４５a）を介してＣＤＳ回路４６へ接続されている。水平合成回路１（４５a）は、垂直信号線2本が1ライン毎にスイッチトランジスタH5A1とH5A2で接続されている。このトランジスタのゲートは、タイミング発生回路４０のHAVE信号によって制御されている。このHAVE信号をONにすることで、垂直信号線2本に出力される信号を水平合成（平均化）することができる。また、垂直並列制御回路４３で、垂直の読出しラインを複数本同時にONにすることで、垂直に配置した画素信号を垂直合成（平均化）することができる。
図５に構成例１の撮像信号分離回路３５aを示す。撮像信号分離回路３５aは、撮像信号Saを１水平（１H）期間分遅延させるためのラインメモリ２（３１a）、撮像信号Saを画素単位で遅延させる遅延回路DL（３２）、撮像信号Saを増幅するための増幅回路３３、信号切換え回路３９から構成されている。
動き検出動作は、撮像装置１２ｂの画素部４４aの所定のフォトダイオードを長時間蓄積となる蓄積時間TLと短時間蓄積となる蓄積時間TSで動作させ、画素部４４aからライン毎に読み出す。長時間蓄積した信号STLと短時間蓄積した信号STSの比較する画素信号の位相が同じになるようにラインメモリ２（３１a）と画素単位の遅延回路DL（３２）で調整されている。さらに短時間蓄積した画像信号STSは、信号レベルが同等となるように増幅回路３３で蓄積時間比（TL/TS）のゲインで増幅されている。
動いている物体を検出した直後は、画素部４４aの信号読出しはフル解像度が得られる信号合成は実施しないで撮像信号Saが出力される。フル解像度動作１では、蓄積時間が短い撮像信号Saは増幅回路３３で蓄積時間比（TL/TS）のゲインで増幅した信号側に信号切換え回路３９で切換えて撮像信号Sbが出力されている。蓄積時間が長い撮像信号Saの場合は、信号切換え回路３９を撮像信号Sa側に切換えて撮像信号Sbが出力されている。またフル解像度動作２では、全画素のフォトダイオードを長時間蓄積動作させ、撮像信号Saがそのまま撮像信号Sbとして出力される。これらの動作は、予め設定した所定の時間例えばフル解像度撮影を５秒間実施後、動作モードを動き検出動作に切換えて信号合成動作によりサンプリング数を削減した低消費電力化した動き検出を実施できる。また、信号合成動作させずに、動き検出動作とフル解像度動作を同時に実施することもできる。
＜映像信号用の信号読出し動作例＞
図６に示す動作タイミングを用いて、本例に係る固体撮像装置の標準の撮像信号読み出し動作について説明する。フォトダイオードＰＤで光電変換した電荷を蓄積する蓄積時間は全画素共通の蓄積時間ＴＬに設定する。この蓄積時間TLは、被写体の明るさに応じて調整される。蓄積時間ＴＬは蓄積時間発生回路４１で通常最大の蓄積時間が動作周波数の1フレーム期間で、最小が１H期間で、１Ｈ毎に蓄積時間の長さが制御される。
タイミング発生回路４０で発生させた水平同期信号HDに同期してREAD１とRESET12のパルスを発生させることで、蓄積開始の時刻までフォトダイオードPD１に蓄積していた信号電荷を排出後、蓄積を開始する。この動作を順次PD2,PD3，・・・と動作している。
そして、所定の蓄積時間TLが終了すると、読出しパルスREAD１の直前にパルスRESET１２を印加して検出部に発生していた余分なリーク信号を排出する。その後、読み出しパルスREAD１を印加することでフォトダイオードPD1に蓄積していた信号電荷を読み出す。
これらのRESET１２とREAD１の読出し動作期間はADREA１２パルスをONにすることで、出力アンプを介して垂直信号線へ電圧信号が出力される。この動作をHDに同期して順次フォトダイオードPD2,PD3,・・・と続けて２次元の画像を出力している。各パルス振幅は、高レベルを２．８Ｖ〜３．８Vにして動作している。
＜動き検出信号読出し動作例１＞
図７（A）の画素配列と図８（A）の動作タイミングを用いて動き検出信号読出し動作１について説明する。動き検出信号読出し動作１は、実線丸の4画素のGr画素の信号を合成（加算もしくは平均化）した信号と、次の点線丸の4画素のGb画素の信号を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理が実施される。
水平合成回路１（４５a）での水平方向の信号合成（加算もしくは平均化）動作は、HAVE信号をONにすることで平均化した信号が生成される。スイッチH5A1をONにすることで、水平に配置したGr用の垂直信号線の出力信号が平均化される。また、スイッチH5A2をONにすることで、水平に配置したGb用の垂直信号線の出力信号が平均化さる。同様に水平方向に平均化用のスイッチを配置している。
この動き検出動作は、水平方向のサンプリング数が1/2に低減されるため後段のCDS回路４６以降は、水平画素数の1/2の回路処理をOFFにすることで消費電力を低減している。
図８（A）に示す動作タイミングを用いて垂直2画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図８（A）に示すようにADRES１２とADRES３４を同時にONにすることで、垂直方向の2画素の信号が同時に垂直信号線へ出力される。出力した２つの信号は、垂直信号線で信号合成（平均化）した信号となる。水平方向の信号合成（平均化）処理と同時に実施することで4画素の信号合成（平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号HDに同期して奇数ラインのREAD１とREAD3とRESET12とRESET34のパルスを同時に発生させることで、この時刻までフォトダイオードPD１とPD3に蓄積していた信号電荷を排出し、蓄積動作を開始する。そして次の２HD後に同期してフォトダイオードPD５,PD７,・・・と順次奇数ラインの信号排出動作をしている。蓄積時間は長時間蓄積TLに設定している。
次に短時間蓄積TSが長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定している。蓄積時間TLの1/2になる時刻HDに同期して、偶数ラインのREAD２とREAD４とRESET12とRESET34のパルスを同時に発生させることで、この時刻までフォトダイオードPD２とPD４に蓄積していた信号電荷を排出し、蓄積動作を開始する。そして次の２HD後に同期してフォトダイオードPD６,PD８,・・・と順次偶数ラインの信号を排出動作している。
そして蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD3のパルス印加直前に検出部に蓄積した余分なリーク信号を排出するためにRESET12とRSET34のパルスを同時に印加している。そして読出しパルスREAD１とREAD3を印加することでフォトダイオードに蓄積した信号電荷を検出部に読出し、検出部で電圧に変換して出力アンプから垂直信号線へ出力している。
このRESET動作から信号読出し動作期間の間はADREA１２とADRES３４パルスを同時にONにすることで、PD１とPD３の信号を垂直信号線へ電圧信号として同時に出力している。このADRES１２とADRES３４を同時にONにすることで、垂直信号線に発生する信号は、2画素分の信号が平均化した信号電圧が発生する。この読出し動作を順次PD２とPD４、次にPD５とPD７とHDに同期して読出し動作を実施している。
＜動き検出信号読出し動作例２＞
図７（B）の画素配列と図８（B）の動作タイミングを用いて動き検出信号読出し動作２について説明する。動き検出信号読出し動作２は、実線丸の１６画素のGr画素を信号合成（加算もしくは平均化）した信号と、次の点線丸の１６画素のGb画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している
水平合成回路１（４５b）での水平方向の信号合成（平均化）動作は、HAVE信号をONにすることで平均化した信号が生成されている。スイッチH7B1とH7B3とH7B5をONにすることで、水平に配置した4箇所のGr用の垂直信号線の出力信号が平均化される。また、スイッチH7B2とH7B4とH7B6をONにすることで、水平に配置した4箇所のGb用の垂直信号線の出力信号が平均化される。同様に水平方向に平均化用のスイッチを配置、順次各4箇所の平均化を実施している。
この動き検出動作は、水平方向のサンプリング数が1/4に低減するため後段のCDS回路４６以降は、水平画素数の3/4の回路処理をOFFにすることで消費電力が低減される。
図８（B）に示す動作タイミングを用いて垂直４画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図８（B）に示すようにADRES１２とADRES３４とADRES５６とADRES７８を同時にONにすることで、垂直方向の４画素の信号が同時に垂直信号線へ出力する。出力した４つの信号は、合成（平均化）した信号が垂直信号線に発生する。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで１６画素の信号合成（加算もしくは平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号HDに同期して奇数ラインのREAD１とREAD3と READ５とREAD７とRESET12とRESET34とRESET56とRESET78のパルスを同時に発生させることで、この時刻までフォトダイオードPD１とPD3 とPD５とPD７に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期して同様にフォトダイオードPD９,PD１１,・・・と順次４箇所の奇数ラインの信号排出動作を実施する。蓄積時間は長時間蓄積TLに設定されている。
次に短時間蓄積TSが長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定されている。蓄積時間TLの1/2になる時刻HDに同期して、偶数ラインのREAD２とREAD４とREAD６とREAD８とRESET12とRESET34とRESET56とRESET78のパルスを同時に発生させることで、この時刻までフォトダイオードPD２とPD４とPD６とPD８に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期してフォトダイオードPD１０,PD１２,・・・と順次4箇所の偶数ラインの信号排出動作を実施する。
そして蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD３とREAD５とREAD７の直前に検出部に蓄積した余分なリーク信号を排出するためにRESET１２とRSET３４と RESET５６とRSET７８のパルスを同時に印加している。そして読出しパルスREAD１とREAD3とREAD５とREAD７を同時に印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で電圧に変換して出力アンプで垂直信号線へ読み出している。
このRESET動作から信号読出し動作期間の間はADREA１２とADRES34とADREA５６とADRES７８パルスを同時にONにすることで、フォトダイオードPD１とPD３とPD５とPD７の信号
を垂直信号線へ電圧信号として同時に出力している。このADRES１２とADRES３４とADRES５６とADRES７８を同時にONにすることで、垂直信号線に発生する信号は、垂直４画素分の信号を平均化した信号電圧が発生する。この読出し動作を順次PD２とPD４とPD６とPD８、次にPD９とPD１１とPD１３とPD１５とHDに同期して読出す。
動いている物体の検出は、図８（A）や図８（B）に示す長時間蓄積TLと短時間蓄積TSから得られる信号差分から得ることができる。短時間蓄積TSの信号量は長時間蓄積TLより蓄積時間が短い分だけ信号量が少ないため、後段の信号処理で同じ信号レベルになるように蓄積時間比G＝TL／TSの係数Gで短時蓄積TS信号を増幅する。そして、信号差分量＝TL−G＊TSで動いている物体の検出が実施されている。蓄積時間の比率は、２限定されないが２，４，８などに設定すると、増幅回路がbitシフトと簡単な信号処理で実現できる。
動きのない物体は、信号差分量がほぼゼロとなる（ランダムノイズレベル）。動きの有る物体は、蓄積開始が速く始まる蓄積時間TLの開始時間と蓄積開始が遅く始まる蓄積時間TSの開始時間の差の信号が蓄積時間TLの信号に発生する。すなわち、動いている物体のエッジ部分に差分信号が発生する。この差分信号量と発生頻度を後段の動き判定回路で判定することで、動いている物体を検出することができる。
しかし、動きのない物体のエッジ部分は、長時間蓄積と短時間蓄積の画素のサンプリングポイントが異なるため大きな信号差分が発生し偽信号となる。そこで、図７（A）や図７（B）に示す長時間蓄積した信号と短時間蓄積した信号を複数画素合成し、さらにサンプリングする画素位置がオーバーラップするように信号合成することで、この偽信号を大幅に低減している。その結果、動き物体の検出精度が大幅に向上した。さらに、複数画素の信号を合成しているためS/Nが改善され暗い環境での動き物体検出精度が向上している。さらに、複数画素の信号合成により、サンプリング数を1/4や1/16などに大幅に低減することで、動き物体検出動作時の消費電力を1/4や1/16と大幅に低減している。さらに検出動作速度を4倍速、16倍速と高速化が用意に実現できる。
＜動き検出信号読出し動作例３＞
図９（A）の画素配列と図１０（A）の動作タイミングを用いて動き検出信号読出し動作３について説明する。動き検出信号読出し動作３は、実線丸のBayer配列2x2の４画素を合成（加算もしくは平均化）した信号と、次の点線丸のBayer配列2x2の４画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。
水平合成回路１（４５ｃ）での水平方向の信号合成（平均化）動作は、HAVE信号をONにすることで平均化した信号を生成している。スイッチH9A1をONにすることで、水平に配置した実線丸２箇所の垂直信号線の出力信号を平均化している。また、スイッチH9A2をONにすることで、水平に配置した点線丸２箇所の垂直信号線の出力信号を平均化している。同様に水平方向に平均化用のスイッチを配置、各２箇所の平均化を実施されている。
この動き検出動作は、水平方向のサンプリング数が1/２に低減されるため後段のCDS回路４６以降は、水平画素数の1/2の回路処理をOFFにすることで消費電力を低減できる。
図１０（A）に示す動作タイミングを用いて垂直２画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１０（A）に示すようにADRES１２をONにし、READ１とREAD２を同時にONにすることで、PD1とPD2に蓄積した信号電荷が読み出され、検出部で加算した信号を出力アンプで垂直信号線へ出力する。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで４画素の信号合成（加算もしくは平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号HDに同期して１ライン目と2ライン目のREAD１とREAD２と RESET12のパルスを同時に発生させることで、この時刻までフォトダイオードPD１とPD２に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期して同様にフォトダイオードPD５,PD６,・・・と２ラインの信号排出動作をしている。蓄積時間は長時間蓄積TLに設定されている。
次に蓄積時間が短時間蓄積TSとなる長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定されている。蓄積時間TLの1/2になる時刻HDに同期して、次の３ライン目と４ライン目のREAD３とREAD４とRESET３４のパルスを同時に発生させることで、この時刻までフォトダイオードPD３とPD４に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期してフォトダイオードPD７,PD８,・・・と順次２ラインの信号排出動作をしている。
そしてフォトダイオードで蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD２の直前に検出部に蓄積した余分なリーク信号を排出するためにRESET12のパルスを印加している。そして読出しパルスREAD１とREAD２を印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で加算動作をし、電圧に変換して出力アンプで垂直信号線へ読み出している。
この読出し動作を順次PD３とPD４、PD５とPD６、・・・とHDに同期して順次読出している。
水平の信号合成（加算もしくは平均化）処理と合わせて、Bayer配列の4画素の信号合成（加算もしくは平均化）動作を実施している。
＜動き検出信号読出し動作例４＞
図９（B）の画素配列と図１０（B）の動作タイミングを用いて動き検出信号読出し動作４について説明する。動き検出信号読出し動作４は、実線丸のBayer配列2x2の４画素を基本に4箇所の合計16画素を合成（加算もしくは平均化）した信号と、次の点線丸のBayer配列2x2の４画素を基本に4箇所の合計16画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。
水平合成回路１（４５d）での水平方向の信号合成（平均化）動作は、HAVE信号をONにすることで平均化した信号を生成している。スイッチH9B1とH9B2とH9B5をONにすることで、水平に配置した実線丸4箇所の垂直信号線の出力信号が平均化される。また、スイッチH9B3とH9B4とH9B6をONにすることで、水平に配置した点線丸4箇所の垂直信号線の出力信号を平均化している。同様に水平方向に平均化用のスイッチを配置、各4箇所の平均化を実施している。
この動き検出動作は、水平方向のサンプリング数が1/4に低減するため後段のCDS回路４６以降は、水平画素数の3/4の回路処理をOFFにすることで消費電力を低減できる。
図１０（B）に示す動作タイミングを用いて垂直４画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１０（B）に示すようにADRES１２と同時にADRES５６をONにし、READ１とREAD２とREAD５とREAD６を同時にONにすることで、PD1とPD2とPD５とPD６に蓄積した信号電荷が読み出され、検出部でそれぞれ加算した信号を生成し、それぞれADRES１２とADRES５６の出力アンプから垂直信号線へ出力される。2箇所から出力した信号は、垂直信号線で合成（平均化）した信号が発生する。水平方向の信号合成（平均化）処理と同時に実施することで１６画素の信号合成（加算もしくは平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号HDに同期して１ライン目と2ライン目と5ライン目と6ライン目のREAD１とREAD２と READ５とREAD６とRESET12とRESET56のパルスを同時に発生させることで、この時刻までフォトダイオードPD１とPD２ とPD５とPD６に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期して同様にフォトダイオードPD９,PD１０,・・・と４ラインの信号排出動作を順次実施している。蓄積時間は長時間蓄積TLに設定されている。
次に蓄積時間が短時間蓄積TSとなる長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定されている。蓄積時間TLの1/2になる時刻HDに同期して、次の３ライン目と４ライン目と７ライン目と８ライン目のREAD３とREAD４とREAD７とREAD８とRESET３４とRESET７８のパルスを同時に発生させることで、この時刻までフォトダイオードPD３とPD４とPD７とPD８に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の２HD後に同期してフォトダイオードPD１１,PD１２,・・・と順次４ラインの信号排出動作をしている。
そして蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD２とREAD５とREAD６の直前に検出部に蓄積した余分なリーク信号を排出するためにRESET１２とRESET５６のパルスを同時に印加している。そして読出しパルスREAD１とREAD２とREAD５とREAD６を同時に印加することでフォトダイオードに蓄積した信号電荷を検出部に読出してそれぞれ検出部で加算し電圧に変換して出力アンプから垂直信号線へ出している。
このRESET動作から信号読出し動作期間の間はADREA１２とADREA５６パルスを同時にONにすることで、加算したPD１とPD２と加算したPD５とPD６の信号を垂直信号線へ出力している。垂直信号線に発生する信号は、垂直４画素分の信号を合成（加算と平均化）した信号電圧を発生する。この読出し動作を順次PD３とPD４とPD７とPD８、次にPD９とPD１０とPD１３とPD１４とHDに同期して順次読出している。
＜動き検出用固体撮像装置の実施例２＞
図１１を用いて、動き検出システムの実施形態３に係る固体撮像装置１２cの構成例を説明する。動き検出用固体撮像装置の実施例１（図４）に対して、異なる画素部４４ｂと水平合成回路１（４５c）について説明する。
画素部４４ｂの１つのセルは、４つのトランジスタ（Ｔａ，Ｔｂ，Ｔｃ，Ｔｄ）と2個のフォトダイオード（ＰＤ1、PD2）から構成され、各セルにはパルス信号ＡＤＲＥＳｎ，ＲＥＳＥＴｎがそれぞれ供給される。フォトダイオードからの読出し用の配線は2本のＲＥＡＤｎ，ＲＥＡＤｎ‘が配線されている。Bayer配列の２ｘ２画素を１つの単位として、水平垂直共に交互に各画素の読出しトランジスタ（Td）に接続されている。この画素部４４ｂの上部にはソースフォロワ回路用の負荷トランジスタが水平方向に沿って配置されている。
画素部４４ｂから出力する垂直信号線nは、水平合成回路１（４５ｃ）を介してＣＤＳ回路４６へ接続されている。水平合成回路１（４５ｃ）は、垂直信号線nが隣接２ライン毎にスイッチトランジスタH9Anで接続されている。このトランジスタのゲートは、タイミング発生回路４０のHAVE信号によって制御されている。このHAVE信号をONにすることで、２つの垂直信号線に出力される信号は水平合成（平均化）した信号となる。また、垂直並列制御回路４３で、垂直の読出しラインを複数本同時にONにすることで、垂直に配置した画素信号を垂直合成（平均化）することができる。
図１２に構成例２の信号処理による画素合成回路と撮像信号分離回路３５ｂを示す。
撮像信号分離回路３５ｂは、撮像信号Saを１水平（１H）期間分遅延させるためのラインメモリ２（３１a）、画素単位で遅延させる遅延回路DL（３２a、３２ｂ）、撮像信号Saとラインメモリ２（３１a）の出力信号とそれぞれを１画素遅延させた信号とをクロスで加算するための加算回路（３４a、３４ｂ）、加算したいづれかの撮像信号を増幅するための増幅回路３３から構成されている。
動き検出動作時は、
撮像装置１２ｂから出力された撮像信号aは、ラインメモリ２（３１a）で1水平（HD）期間遅延し、さらに画素単位で遅延させる遅延回路DL(３２a)と前記撮像信号aとを加算する加算回路３４aの出力信号として長時間蓄積した画像STL信号が出力されている。
さらに、撮像装置１２ｂから出力された撮像信号aは、画素単位で遅延した遅延回路（３２ｂ）とラインメモリ２（３１a）で1水平（HD）期間遅延した信号とを加算する加算回路３４ｂで加算した信号をさらに増幅回路３３で増幅した信号を短時間蓄積した画像STS信号として出力されている。
動いている物体を検出した直後は、フル解像度動作として全画素のフォトダイオードを長時間蓄積動作させ、撮像信号Saがそのまま撮像信号Sbとして出力される。この動作は、予め設定した所定の時間例えば撮影を１０秒間実施後、動作モードを動き検出動作に切換えて信号合成動作によりサンプリング数を削減した低消費電力化した動き検出を実施している。また、図５と同様に増幅回路と切換え回路を追加することで信号合成動作による動き検出動作とフル解像度動作を同時に実施することもできる。
＜動き検出信号読出し動作例５＞
図１３（A）の画素配列と図１４（A）の動作タイミングを用いて動き検出信号読出し動作５について説明する。動き検出信号読出し動作５は、実線丸のBayer配列2x2の４画素を合成（加算もしくは平均化）した信号と斜め配置の同じくBayer配列の4画素との合計8画素合成（加算もしくは平均化）した信号と、次の点線丸のBayer配列2x2の４画素の斜め配置の2箇所を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。
水平合成回路１（４５ｃ）での水平方向の信号合成（平均化）動作は、HAVE信号をONにすることで平均化した信号を生成されている。スイッチH9A1をONにすることで、水平に配置した隣接した2本の垂直信号線の出力信号を平均化している。また、スイッチH9A2をONにすることで、次の隣接した2本の垂直信号線の出力信号を平均化している。同様に水平方向に平均化用のスイッチを配置することで、順次隣接した２つの垂直信号線の出力信号の平均化を実施している。
この動き検出動作は、水平方向のサンプリング数が1/２に低減されるため後段のCDS回路４６以降は、水平画素数の1/2の回路処理をOFFにすることで消費電力を低減できる。
図１４（A）に示す動作タイミングを用いて垂直２画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１４（A）に示すようにADRES１２をONにし、READ１とREAD２とREAD１’とREAD２’とを同時にONにすることで、PD1とPD2に蓄積した信号電荷が読み出され、検出部で加算した信号を出力アンプで垂直信号線へ出力されている。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで４画素の合成（加算もしくは平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号HDに同期して１ライン目と2ライン目のREAD１とREAD２と RESET12のパルスを同時に発生させることで、この時刻まで長時間蓄積用のフォトダイオードPD１とPD２に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１HD後に同期して同様にフォトダイオードPD３,PD４,・・・と順次２ラインの信号排出動作をされている。蓄積時間は長時間蓄積TLに設定されている。
次に蓄積時間が短時間蓄積TSとなる長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定されている。蓄積時間TLの1/2になる時刻HDに同期して、１ライン目と２ライン目のREAD１’とREAD２’とRESET12のパルスを同時に発生させることで、この時刻まで短時間蓄積用のフォトダイオードPD１とPD２に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１HD後に同期してフォトダイオードPD３,PD４,・・・と順次２ラインの信号排出動作をしている。
そしてフォトダイオードで蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD２とREAD１’とREAD２’の直前に検出部に蓄積した余分なリーク信号を排出するためにRESET12のパルスを印加している。そして読出しパルスREAD１とREAD２とREAD１’とREAD２’を同時に印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で加算動作をし、電圧に変換して出力アンプで垂直信号線に読み出している。
この読出し動作を順次PD３とPD４、PD５とPD６、・・・とHDに同期して順次読出している。
水平の信号合成（平均化）処理と合わせて、Bayer配列の4画素の信号合成（加算もしくは平均化）動作を実施している。
＜動き検出信号読出し動作例６＞
図１３（B）の画素配列と図１４（B）の動作タイミングを用いて動き検出信号読出し動作６について説明する。動き検出信号読出し動作６は、実線丸のBayer配列2x2の４画素を基本に８箇所の合計３２画素を合成（加算もしくは平均化）した信号と、次の点線丸のBayer配列2x2の４画素を基本に８箇所の合計３２画素を合成（加算もしくは平均化）した信号を読み出し、後段でこの２つの信号の差分信号を生成し、動き判定処理を実施している。
水平合成回路１（４５d）での水平方向の信号合成（平均化）動作は、HAVE信号をONにすることで平均化した信号を生成している。スイッチH9B1とH9B2とH9B5をONにすることで、水平に配置した実線丸4箇所（垂直ライン１と２と５と６）の垂直信号線の出力信号を平均化されている。また、スイッチH9B3とH9B4とH9B6をONにすることで、水平に配置した点線丸4箇所（垂直ライン１と２と５と６）の垂直信号線の出力信号を平均化されている。同様に水平方向に平均化用のスイッチを配置、各4箇所の平均化を実施している。
この動き検出動作は、水平方向のサンプリング数が1/4に低減するため後段のCDS回路４６以降は、水平画素数の3/4の回路処理をOFFにすることで消費電力を低減できる。
図１４（B）に示す動作タイミングを用いて垂直４画素の信号合成（加算もしくは平均化）動作について説明する。垂直方向の信号合成（加算もしくは平均化）は、図１４（B）に示すようにADRES１２をONにし、READ１とREAD２とREAD１’とREAD２’を同時にONにすることで、PD1とPD2に蓄積した信号電荷が読み出され、検出部で加算した信号を出力アンプで垂直信号線へ出力されている。
そして、同時にADRES５６をONにし、READ５とREAD６とREAD５’とREAD６’を同時にONにすることで、PD５とPD６に蓄積した信号電荷が読み出され、検出部で加算した信号は出力アンプで垂直信号線へ出力している。ADRES12とADRES56の2箇所から出力した信号は、垂直信号線で合成（平均化）した信号が生成される。水平方向の信号合成（加算もしくは平均化）処理と同時に実施することで１６画素の信号合成（加算もしくは平均化）処理を実施している。
まず、タイミング発生回路４０の水平同期信号HDに同期して１ライン目と2ライン目と5ライン目と6ライン目のREAD１とREAD２と READ５とREAD６とRESET１２とRESET５６のパルスを同時に発生させることで、この時刻まで長時間蓄積用フォトダイオードPD１とPD２ とPD５とPD６に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１HD後に同期して同様にフォトダイオードPD３,PD４,PD７，PD8，・・・と順次４ラインの信号排出動作をしている。蓄積時間は長時間蓄積TLに設定されている。
次に蓄積時間が短時間蓄積TSとなる長時間蓄積TLの1/2となるように蓄積時間発生回路４１で設定されている。蓄積時間TLの1/2になる時刻HDに同期して、１ライン目と２ライン目と５ライン目と６ライン目のREAD１’とREAD２’とREAD５’とREAD６’とRESET12とRESET56のパルスを同時に発生させることで、この時刻まで短時間蓄積用フォトダイオードPD１とPD２とPD５とPD６に蓄積していた信号電荷を排出後、蓄積動作を開始する。そして次の１HD後に同期して短時間蓄積用フォトダイオードPD３,PD４,PD７，PD8，・・・と順次４ラインの信号排出動作をされている。
そして蓄積した信号電荷の読出し動作は、読出し時刻のHDに同期して、読出しパルスREAD１とREAD２とREAD５とREAD６とREAD１’とREAD２’とREAD５’とREAD６’の直前に検出部に蓄積した余分なリーク信号を排出するためにRESET１２とRESET５６のパルスを同時に印加している。そして読出しパルスREAD１とREAD２とREAD５とREAD６とREAD１’とREAD２’とREAD５’とREAD６’を印加することでフォトダイオードに蓄積した信号電荷を検出部に読出して検出部で電圧に変換して出力アンプで読み出されている。
このRESET動作から信号読出し動作期間の間はADREA１２とADREA５６パルスを同時にONにすることで、PD１とPD２の信号を検出部で加算した信号とPD５とPD６の信号を検出部で加算した信号とを垂直信号線へ電圧信号として出力して、ADRES12とADRES56を同時にONにすることで、垂直信号線に発生する信号は、合計垂直４画素分の信号を合成（平均化）した信号電圧を発生する。この読出し動作を順次PD３とPD４とPD７とPD８、次にPD９とPD１０とPD１３とPD１４とHDに同期して順次読出される。
これらの処理により、図１３（B）の実線丸8箇所と、点線丸8箇所との動き検出差分処理を実施している。
＜動き検出システムの実施形態４＞
図１５は、本発明の実施形態４に係る動き検出システムの概略構成を示すブロック図である。
本実施形態４の動き検出システムは、撮像レンズ１１を備えた撮像装置１２eと動き検出画像処理装置１０eとからなる動き検出カメラと映像管理装置３０ｂから構成されている。実施形態３と異なる構成動作について説明する。
撮像装置１２eは、センサコア部３６と動き検出部から構成されている。センサコア部３６は、図４あるいは図１１の固体撮像装置と同様の構成になっている。
動き検出画像装置１０eは、撮像信号Sbを入力し、カラー信号処理回路２１、時刻発生回路１７、動き判定信号（ON/OFF１）を映像信号に埋め込むためのコードを発生するコード発生回路３８、動き判定信号加算回路２８ｂ、映像信号出力回路１６で構成されている。
センサコア部３６から出力された撮像信号Saは、撮像信号分離回路３５にて長時間蓄積した撮像信号STLと短時間蓄積した撮像信号STSに分離し、比較対象画素となる撮像信号STLと撮像信号STSを同時に出力し、差分信号生成回路１３aで差分信号を生成し、動き判定回路１４aで動いている物体の有無を判定し、撮像装置１２eから判定信号（ON/OFF1）が出力されている。
撮像信号分離回路３５は、図５あるいは図１２と同様の構成となっている。
＜動き検出システムの実施形態５＞
図１６は、本発明の実施形態５に係る動き検出システムの概略構成を示すブロック図である。
本実施形態５の動き検出システムは、撮像レンズ１１を備えた撮像装置１２fと動き検出画像処理装置１０ｆとからなる動き検出カメラと映像管理装置３０ｂから構成されている。
撮像装置１２fは、実施形態４に対して動き判定回路１４ｃからは動き判定コードのみを出力し、撮像信号Saに埋め込むための動き判定信号加算回路２８aが追加され、動き判定コードを埋め込んだ撮像信号Scが出力されている。
動き検出画像装置１０ｆは、実施形態４と異なり入力された撮像信号Scに埋め込まれた判定コードを抽出するための動き判定信号抽出回路２９aを用いて、埋め込まれた動き判定信号（ON/OFF１）を抽出し出力する。動きが無いと判定した場合は、カラー信号処理回路２１や映像信号出力回路１６などの回路動作や信号処理動作を停止する。
＜動き検出システムの実施形態６＞
図１７は、本発明の実施形態６に係る動き検出システムの概略構成を示すブロック図である。
本実施形態６の動き検出システムは、撮像レンズ１１を備えた撮像装置１２ｄと動き検出画像処理装置１０ｄとからなる動き検出カメラと映像管理装置３０ｂから構成されている。
撮像装置１２ｄは、動き検出動作時にもサンプリング数を削減せずに、画素部の全画素の信号を撮像信号Saとして出力している。
動き検出画像処理装置１０ｄは、撮像装置１２ｄからの全画素の撮像信号Saを画素信号合成回路３７で複数画素の信号を合成（加算）し、撮像信号分離回路３５へ出力している。
その他は、実施形態３と同じ構成になっている。
＜動き検出用固体撮像装置の実施例３＞
図１８を用いて、動き検出システムの実施形態６に係る固体撮像装置１２ｄの構成例を説明する。動き検出用固体撮像装置の実施例２（図１１）の固体撮像装置１２ｃと異なるのは、サンプリング数の削減を実施していないため、垂直並列制御回路４３と水平合成回路１（４５ｃ）がない。撮像装置１２ｄは回路削減により簡単な構成になっている。
図１９に構成例３の撮像信号分離回路３５ｃと撮像信号の信号処理による画素合成回路３７を示す。図１３Aに示す画素信号の合成方法について説明する。撮像信号合成回路３７は、動き検出用撮像装置１２ｄの撮像エリアから出力した順次４ライン毎の信号の演算ができるように４ライン（少なくとも３ライン）のラインメモリ３１ｂ〜eと、入力した4ラインの画素信号をそれぞれ上側2ラインの画素に相当する垂直２画素水平2画素の4画素の第１の加算信号と、下2ラインに相当する垂直２画素水平2画素の4画素の第２の加算信号を生成する。
撮像信号分離回路３５ｃは、
図１３Aに示すように、実線丸の4画素加算と点線丸の4画素加算した信号が、前記第１の信号と第２の信号として入力される。この撮像信号分離回路３５ｃは、クロスになった信号同士を加算する必要が有る。
第１の加算信号と第２の加算信号をそれぞれ加算信号１画素分相当だけ遅延手段で遅延させ、
遅延していない第１の加算信号と遅延した第２の加算信号を加算した第３の加算信号を生成し、
遅延していない第２の加算信号と遅延した第１の加算信号を加算した第４の加算信号を生成し、
第３の撮像信号もしくは第４の撮像信号のいずれかを増幅し、増幅した短い蓄積時間の撮像信号STSと増幅していない長い蓄積時間の撮像信号STLの少なくとも２種類の撮像信号を出力している。
＜動き検出システムの実施形態７＞
図２０は、本発明の実施形態７に係る動き検出システムの概略構成を示すブロック図である。
本実施形態７の動き検出システムは、撮像レンズ１１を備えた動き検知用撮像装置１２ｇ（動き検出カメラ）と映像管理装置３０aから構成されている。撮像装置１２ｇは、例えば実施形態３（図３）の動き検出画像処理装置１０ｃの回路がオンチップで撮像装置１２ｇに組み込まれている。また、実施形態２（図２）と同様に撮像装置１２ｇの映像信号１に動き判定信号を埋め込んで、映像管理装置３０ｂと組み合わせることで、映像信号１のみを出力することができる。
図２１は、本発明の実施形態７に係る動き検出システムの撮像装置１２ｇの概略構成を示すブロック図である。撮像装置１２ｇはセンサチップに動き判定回路１４ｂとカラー信号処理回路２１などを組み込んだ1チップの固体撮像装置となっている。実施形態３と異なる構成動作について説明する。
撮像装置１２ｇの画素部４４ｂの下部には、画素部４４ｂから出力される垂直信号線が入力されたカラム型ノイズキャンセル回路（ＣＤＳ）４６、カラム型アナログデジタルコンバータ回路（ＡＤ変換）４７、ラインメモリ１（４８）、水平走査回路１（４９）、
画素部４４ｂの上部には、画素部４４ｂから出力される垂直信号線を受け水平方向で信号を合成する水平合成回路２、水平方向の読出しを走査する水平走査回路２（５０）で構成されている。
動き判定用の撮像信号は、水平走査回路２（５０）と水平合成回路２（５１）を用いて平均化した長時間蓄積した撮像信号STLと短時間蓄積した撮像信号STSとしてアナログ信号を出力し、蓄積時間の差分を補正するためのアナログの増幅回路５２で信号レベルが調整されている。その増幅回路５２の出力の差分信号をアナログの差動アンプとなる差分信号生成回路１３ｂで差分信号を生成する。そして、アナログのコンパレータ回路５５を用いて閾値設定回路１９aで設定した閾値よりも大きいレベルデジタル値に変換し、動き判定回路１４ｂで動きの有無を判定している。
動き判定回路１４ｂで動き有りと判定した場合は、
動き判定信号（ON/OFF1）がタイマ回路５４を経由して各回路を動作させるON信号を出力している。タイマ回路４５は、予め設定した所定の時間例えば撮影を１０秒間実施後、タイミング発生回路の動作モードを撮影モードから動き検出動作モードに切換えて動き検出を実施している。
動き判定回路１４ｂで動き無しと判定した場合は、下部のCDS回路以降の回路動作をOFF制御することで、撮像装置１２ｇの大幅な消費電力の低減が実施されている。そして、動き検出動作を継続する。
＜動き検出信号読出し動作例７＞
実施形態７の動き検出読出し動作について図２２の画素配列と動き検出信号用の水平読出し回路を用いて説明する。動作タイミングは図１４（B）と同じ動作をしている。
まず、水平の1ライン目と2ライン目と5ライン目と6ライン目の読み出し動作は、水平８画素を1組として水平走査回路２（５０）で順次読出されている。水平合成回路５１のスイッチH1〜H８をONにすることで、上部水平読出しラインに、短時間蓄積した信号水平4画素分が平均化されて読み出す。垂直の4画素の信号合成（加算もしくは平均化）した信号と合わせると、16画素の平均化した信号が発生する。
水平合成回路５１の下部水平読出しラインには、長時間蓄積した信号水平4画素分が平均化さして読み出す。垂直の4画素の信号合成（加算もしくは平均化）した信号と合わせると、16画素の平均化した信号が発生する。そして、信号切換え回路５２で上下を入換え、画像STL信号と増幅回路５２で蓄積時間比分増幅した撮像信号STSを後段処理へ出力している。
次の、３ライン目と４ライン目と７ライン目と８ライン目の読み出し動作は、水平合成回路５１の水平８画素を1組として水平走査回路２（５０）で順次読出されている。スイッチH1〜H８をONにすることで、上部水平読出しラインに、長時間蓄積した信号水平4画素分が平均化されて読み出す。垂直の4画素の信号合成（加算もしくは平均化）した信号と合わせると、16画素の合成（加算もしくは平均化）した信号が発生する。
水平合成回路５１の下部水平読出しラインには、短時間蓄積した信号水平4画素分が合成（加算もしくは平均化）されて読み出す。垂直の4画素の信号合成（加算もしくは平均化）した信号と合わせると、16画素の平均化した信号が発生する。そして、信号切換え回路５２で上下を入れ換えないで、画像STL信号と増幅回路５２で蓄積時間比分で増幅した撮像信号STSを後段処理へ出力している。
実施形態７は、CDS回路、ADC回路、ラインメモリなどを用いずに簡単なアナログの増幅回路５２とアナログの差分信号生成回路５３とアナログのコンパレータ回路５５などの回路を追加することで、動き検出動作時の消費電力を大幅に低減できる。
以上説明した各実施の形態の特徴は互いに組み合わせて用いることができる。また、撮像装置の画素部のセル構造を2個のフォトダイオードに対して出力回路が1個の2画素1セルで説明したが、1画素1セル、4画素1セルなど2画素1セルに限定されない。色フィルタ配列は代表的なBayer配列で説明したが、本発明の特徴を生かすことで、Bayer配列に限定されない。また、画素配列は縦横に並んだ正方配列を45度回転させて配置した画素配列にも適用できる。
１０a，１０ｂ，１０ｃ 動き検出画像処理装置
３０a，３０ｂ 映像管理装置
１１ 撮像レンズ
１２ 撮像装置
１３ 差分信号生成回路
１４ 動き判定回路
１５ 動き判定信号出力回路
１６ 映像信号出力回路
１７ 日付・時刻発生回路
１８ 時刻加算回路
１９ 動き判定用閾値設定回路
２０ フレームメモリ
２１ カラー信号処理回路
２２ 動き判定信号入力回路
２３ 映像信号入力回路
２４ 映像信号録画サーバ
２５ LAN出力装置
２６ Web出力装置
２７ 映像モニタ
２８ 動き判定信号加算回路
２９ 動き判定信号抽出回路
３１ ラインメモリ
３２ 遅延回路
３３，５２ 増幅回路
３４ 信号加算回路
３５ 撮像信号分離回路
３６ センサコア
３７ 画素信号合成
３８ コード信号発生回路
３９ 撮像信号切換え回路
４０ タイミング発生回路
４１ 蓄積時間制御回路
４２ 垂直走査回路
４３ 垂直並列制御回路
４４ 画素部
４５，５１ 水平合成回路
４６ CDS回路
４７ ADC回路
４８ ラインメモリ
４９，５０ 水平走査回路
５２ 信号線切換え回路
５４ 動作時間制御回路（タイマ）
５５ 比較回路
６０ 水平読出し回路
動いている物体を検出した直後は、画素部４４aの信号読出しはフル解像度が得られる信号合成は実施しないで撮像信号Saが出力される。フル解像度動作１では、蓄積時間が短い撮像信号Saは増幅回路３３で蓄積時間比（TL/TS）のゲインで増幅した信号側に信号切換え回路３９で切換えて撮像信号Sbが出力されている。蓄積時間が長い撮像信号Saの場合は、信号切換え回路３９を撮像信号Sa側に切換えて撮像信号Sbが出力されている。またフル解像度動作２では、全画素のフォトダイオードを長時間蓄積動作させ、撮像信号Saがそのまま撮像信号Sbとして出力される。これらの動作は、予め設定した所定の時間例えばフル解像度撮影を５秒間実施後、動作モードを動き検出動作に切換えて信号合成動作によりサンプリング数を削減した低消費電力化した動き検出を実施できる。
＜映像信号用の信号読出し動作例＞
図６に示す動作タイミングを用いて、本例に係る固体撮像装置の標準の撮像信号読み出し動作について説明する。フォトダイオードＰＤで光電変換した電荷を蓄積する蓄積時間は全画素共通の蓄積時間ＴＬに設定する。この蓄積時間TLは、被写体の明るさに応じて調整される。蓄積時間ＴＬは蓄積時間発生回路４１で１Ｈ毎に制御される。
動いている物体を検出した直後は、フル解像度動作として全画素のフォトダイオードを長時間蓄積動作させ、撮像信号Saがそのまま撮像信号Sbとして出力される。この動作は、予め設定した所定の時間例えば撮影を１０秒間実施後、動作モードを動き検出動作に切換えて信号合成動作によりサンプリング数を削減した低消費電力化した動き検出を実施している。
以上説明した各実施の形態の特徴は互いに組み合わせて用いることができる。また、撮像装置の画素部のセル構造を2個のフォトダイオードに対して出力回路が1個の2画素1セルで説明したが、1画素1セル、4画素1セルなど2画素1セルに限定されない。色フィルタ配列は代表的なBayer配列で説明したが、本発明の特徴を生かすことで、Bayer配列に限定されない。
さらに、動き検出動作は常に動いている被写体が有るかの検出動作をしている。このため低消費電力な固体撮像装置や動き検出システムが要求されている。

上記課題を解決するために、本発明の動き検出用撮像装置は、半導体基板に複数の光電変換素子を有する画素部と、前記画素部を制御するための画素制御部と、前記画素部から出力した画素信号を処理する信号処理部を備える撮像装置において、
前記画素制御部は、前記画素部に配置した複数の光電変換素子を少なくとも２分割し、それぞれの蓄積時間を制御するための蓄積時間発生手段を有し、
前記信号処理部は、前記蓄積時間の異なる少なくとも２種類の画素信号間の差分信号を生成する差分信号生成手段と、前記差分信号生成手段で生成した差分信号に基づいて物体が動いたかを判定する動き判定手段と、前記画素信号をモニタに再生するための映像信号となるように処理する映像信号処理手段と、前記動き判定手段で判定した動き判定信号を基に、前記映像信号処理手段もしくは画素制御部の少なくとも一部の回路を停止させる回路停止手段と、
前記動き判定信号を出力する動き判定信号出力手段と
を備えた撮像装置において、
前記撮像装置より出力した動き判定信号を基に、前記撮像装置の映像信号を管理する、前記撮像装置の外に設けられた後段の映像管理装置の少なくとも一部の回路を停止させる
ことを特徴としている。

動き検出システムは、動き検出用撮像装置より出力した動き判定信号を基に、前記撮像装置の外に設けられた後段の前記映像管理装置（例えば映像信号発信手段、映像信号記録手段、映像信号再生手段など）の少なくとも一部の回路を停止させる信号処理停止回路を備える。


Claims (27)

  1. 撮像レンズを備える撮像装置と、
    前記撮像装置で撮影した撮像信号を基に動き物体の有無を検出する動き検出部と、
    前記撮影した撮像信号をモニタに再生するための映像信号となるように処理するカラー信号処理手段とを備える動き検出画像処理装置と、
    前記映像信号を発信するための映像信号発信手段、
    もしくは記録する映像信号記録手段、
    もしくはモニタに再生するための映像信号再生手段、
    の少なくともいずれか１つを有した映像信号管理装置とからなる動き検出システムにおいて、
    前記動き検出部は、
    前記撮像装置で撮影した撮影時刻の異なる少なくとも２画面の撮像信号を基に、前記撮像信号間の差分信号を生成する第１の差分信号生成手段と、
    前記第１の差分信号生成手段で生成した差分信号に基づいて撮影画面の中の物体が動いたかを判定する動き判定手段を有し、
    前記動き判定手段で判定した動き判定信号を基に、前記動き検出画像処理装置もしくは前記映像信号管理装置の少なくとも一部の回路を停止させる信号処理停止手段と
    を備えることを特徴とする動き検出システム。
  2. 撮像レンズを備える動き検出用撮像装置と、
    前記動き検出用撮像装置で撮影した撮像信号を基に動き物体の有無を検出する動き検出部と、
    前記撮影した撮像信号をモニタに再生するための映像信号となるように処理するカラー信号処理手段とを備える動き検出画像処理装置と、
    前記映像信号を発信するための映像信号発信手段、
    もしくは記録する映像信号記録手段、
    もしくはモニタ画面に再生するための映像信号再生手段、
    の少なくともいずれか１つを有した映像信号管理装置とからなる動き検出システムにおいて、
    前記動き検出部は、
    前記動き検出用撮像装置で撮影した１画面の出力信号を、蓄積時間の長さが異なる撮像信号に分離するための撮像信号分離手段と、
    前記分離した撮像信号間の差分信号を生成する第１の差分信号生成手段と、
    前記第１の差分信号生成手段で生成した差分信号に基づいて撮影画面の中の物体が動いたかを判定する動き判定手段を有し、
    前記動き判定手段で判定した動き判定信号を基に、前記動き検出画像処理装置もしくは前記映像信号管理装置の少なくとも一部の回路を停止させる信号処理停止手段と
    を備えることを特徴とする動き検出システム。
  3. 撮像レンズと動き検出部を有する動き検出用撮像装置と、
    前記動き検出用撮像装置で撮影した撮像信号をモニタに再生するための映像信号となるように処理するカラー信号処理手段を備える動き検出画像処理装置と、
    前記映像信号を発信するための映像信号発信手段、
    もしくは記録する映像信号記録手段、
    もしくはモニタ画面に再生するための映像信号再生手段、
    の少なくともいずれか１つを有した映像信号管理装置とからなる動き検出システムにおいて、
    前記動き検出部は、
    前記動き検出用撮像装置で撮影した１画面の出力信号を、蓄積時間の長さが異なる撮像信号に分離するための撮像信号分離手段と、
    前記分離した撮像信号間の差分信号を生成する第１の差分信号生成手段と、
    前記第１の差分信号生成手段で生成した差分信号に基づいて撮影画面の中の物体が動いたかを判定する動き判定手段を有し、
    前記動き判定手段で判定した動き判定信号を基に、前記動き検出画像処理装置もしくは前記映像信号管理装置の少なくとも一部の回路を停止させる信号処理停止手段と
    を備えることを特徴とする動き検出システム。
  4. 撮像レンズと動き検出部を有する動き検出用撮像装置と、
    前記動き検出用撮像装置で撮影した撮像信号をモニタに再生するための映像信号となるように処理するカラー信号処理手段とを備える動き検出画像処理装置と、
    前記映像信号を発信するための映像信号発信手段、
    もしくは記録する映像信号記録手段、
    もしくはモニタ画面に再生するための映像信号再生手段、
    の少なくともいずれか１つを有した映像信号管理装置とからなる動き検出システムにおいて、
    前記動き検出部は、
    前記動き検出用撮像装置で撮影した１画面の出力信号を、蓄積時間の長さが異なる撮像信号に分離するための撮像信号分離手段と、
    前記分離した撮像信号間の差分信号を生成する第１の差分信号生成手段と、
    前記第１の差分信号生成手段で生成した差分信号に基づいて撮影画面の中の物体が動いたかを判定すると共に判定結果をコード化した動き判定手段と、
    前記判定コードを前記撮像信号に埋め込むための第１の動き判定信号加算手段を有し、
    前記動き検出画像処理装置と映像信号管理装置において、
    前記判定コードを埋め込んだ撮像信号もしくは映像信号から判定信号を抽出する第１及び第２の判定信号抽出手段と
    抽出したそれぞれの判定信号を基に、動き検出画像処理装置もしくは映像信号管理装置の少なくとも一部の回路を停止させる信号処理停止手段と
    を備えることを特徴とする動き検出システム。
  5. 撮像レンズを備える動き検出用撮像装置と、
    前記動き検出用撮像装置で撮影した撮像信号を基に動き物体の有無を検出する動き検出部と、
    前記撮影した撮像信号をモニタに再生するための映像信号となるように処理するカラー信号処理手段とを備える動き検出画像処理装置と、
    前記映像信号を発信するための映像信号発信手段、
    もしくは記録する映像信号記録手段、
    もしくはモニタ画面に再生するための映像信号再生手段、
    の少なくともいずれか１つを有した映像信号管理装置とからなる動き検出システムにおいて、
    前記動き検出用撮像装置は、
    前記撮影した１画面の出力信号を、蓄積時間の長さが異なる撮像信号において、おのおのサンプリング数を低減するための画素信号合成手段と、
    前記画素合成した撮像信号を蓄積時間別に分離する撮像信号分離手段と、
    前記分離した撮像信号間の差分信号を生成する第１の差分信号生成手段と、
    前記第１の差分信号生成手段で生成した差分信号に基づいて撮影画面中の物体が動いたかを判定する動き判定手段と、
    前記動き判定手段で判定した動き判定信号を基に、前記動き検出画像処理装置もしくは前記映像信号管理装置の少なくとも一部の回路を停止させる信号処理停止手段と
    を備えることを特徴とする動き検出システム。
  6. 撮像レンズと動き検出部と光電変換素子が２次元に配置した画素部で撮影した画像信号を映像信号となるように処理するカラー信号処理手段とを有する動き検出用撮像装置と、
    前記映像信号を発信するための映像信号発信手段、
    もしくは記録する映像信号記録手段、
    もしくはモニタ画面に再生するための映像信号再生手段、
    の少なくともいずれか１つを有した映像信号管理装置とからなる動き検出システムにおいて、
    前記動き検出用撮像装置は、
    前記画素部を駆動するためのタイミング発生手段と、
    前記光電変換素子の蓄積時間を制御するための複数の蓄積時間発生手段と、
    前記画素部の各ラインを垂直方向に走査するための垂直走査手段と、
    前記画素部の垂直ラインを複数同時に駆動するための垂直並列制御手段と、
    前記画素部の垂直信号線から出力されるアナログ信号をデジタル信号に変換するＡＤ変換手段と、ＡＤ変換した信号を保存するための第１のラインメモリと、前記第１のラインメモリに保存したデジタル信号を水平方向に読み出すための第１の水平走査手段とを有し、
    前記第１のラインメモリから出力した撮像信号をモニタに再生するための映像信号となるように処理するカラー信号処理手段と、
    さらに、前記複数の垂直信号線のアナログ信号を合成する第２の水平合成手段と、
    水平方向に走査するための第２の水平走査手段を有し、
    前記第２の水平合成手段で分割して出力した撮像信号間の差分信号を生成する第２の差分信号生成手段と、
    前記第２の差分信号生成手段で生成した差分信号に基づいて撮影画面中の物体が動いたかを判定する動き判定手段と
    を備えることを特徴とする動き検出システム。
  7. 光電変換素子を有する画素部と、画素部を駆動するためのタイミング発生手段と、
    前記光電変換素子の蓄積時間を制御するための複数の蓄積時間発生手段と、
    画素部の各ラインを垂直方向に走査するための垂直走査手段と、
    画素部の垂直ラインを複数同時に駆動するための垂直並列制御手段と、
    前記画素部の垂直信号線から出力されるアナログ信号を水平方向で合成するための第１の水平合成手段と、
    アナログ信号をデジタル信号に変換するＡＤ変換手段と、
    前記ＡＤ変換したデジタル信号を保存するための第１のラインメモリと、
    前記第１のラインメモリに保存したデジタル信号を水平方向に読み出すための第１の水平走査手段を有し、
    動き物体検出動作時において、
    動き物体を検出するための光電変換素子の蓄積時間制御は、画素部を格子状に少なくとも２分割した長時間蓄積と短時間蓄積となるように制御し、
    蓄積時間が同じに制御された前記複数の光電変換素子の出力信号を前記垂直並列制御手段あるいは第１の水平合成手段を用いて合成して出力すること
    を特徴とする動き検出用撮像装置。
  8. 光電変換素子と光電変換素子に蓄積した信号を読み出すための読出し手段を有する画素部と、
    画素部を駆動するためのタイミング発生手段と、
    前記光電変換素子の蓄積時間を制御するための複数の蓄積時間発生手段と、
    画素部の各ラインを垂直方向に走査するための垂直走査手段と、
    画素部の垂直ラインを複数同時に駆動するための垂直並列制御手段と、
    前記画素部の垂直信号線から出力されるアナログ信号を水平方向で合成するための第１の水平合成手段と、
    アナログ信号をデジタル信号に変換するＡＤ変換手段と、
    ＡＤ変換したデジタル信号を保存するための第１のラインメモリと、
    前記第１のラインメモリに保存したデジタル信号を水平方向に読み出すための第１の水平走査手段とを有し、
    前記画素部の垂直各１ラインでは、前記読出し手段を駆動するための読出し配線を２本配線し、
    前記画素部は、隣接した垂直２画素と水平２画素の４画素を基本単位として同一の蓄積時間で駆動し、
    前記画素部を４画素の基本単位で格子状に長時間蓄積と短時間蓄積となるように前記２本の読出し配線を交互に接続する
    ことを特徴とする動き検出用撮像装置。
  9. 前記動き検出用撮像装置は、
    撮影した撮像信号をモニタに再生するための映像信号となるように処理するカラー信号処理手段と、
    前記撮影した１画面の出力信号を、蓄積時間の長さが異なる撮像信号に分離するための撮像信号分離手段と、
    分離した撮像信号間の差分信号を生成する第１の差分信号生成手段と、
    前記第１の差分信号生成手段で生成した差分信号に基づいて撮影画面中の物体が動いたかを判定する動き判定手段と、
    前記動き判定手段で判定した動き判定信号を基に、前記カラー信号処理手段の少なくとも一部の回路を停止させる信号処理停止手段と
    をさらに備えることを特徴とする請求項７ないし請求項８に記載の動き検出用撮像装置。
  10. 前記動き検出用撮像装置は、
    撮影した１画面の出力信号を、蓄積時間の長さが異なる撮像信号に分離するための撮像信号分離手段と、
    分離した撮像信号間の差分信号を生成する第１の差分信号生成手段と、
    前記第１の差分信号生成手段で生成した差分信号に基づいて撮影画面の中の物体が動いたかを判定する動き判定手段と、
    前記動き判定手段の動き判定信号を出力する
    ことを特徴とする請求項７ないし請求項８に記載の動き検出用撮像装置。
  11. 光電変換素子を有する画素部と、画素部を駆動するためのタイミング発生手段と、
    前記光電変換素子の蓄積時間を制御するための複数の蓄積時間発生手段と、
    画素部の各ラインを垂直方向に走査するための垂直走査手段と、
    前記画素部の垂直信号線から出力されるアナログ信号をデジタル信号に変換するＡＤ変換手段と、
    ＡＤ変換したデジタル信号を保存するための第１のラインメモリと、
    前記第１のラインメモリに保存したデジタル信号を水平方向に読み出すための第１の水平走査手段を有し、
    前記画素部の垂直各１ラインでは、前記読出し手段を駆動するための読出し配線を２本配線し、
    前記画素部は、隣接した垂直２画素と水平２画素の４画素を基本単位として同一の蓄積時間で駆動し、
    前記画素部の４画素の基本単位で格子状に長時間蓄積と短時間蓄積となるように前記２本の読出し配線を交互に接続する
    ことを特徴とする動き検出用撮像装置。
  12. 前記動き検出用撮像装置は、
    撮影した撮像信号をモニタに再生するための映像信号となるように処理するカラー信号処理手段と、
    前記撮影した１画面の撮像信号を、蓄積時間の長さが異なる各撮像信号において、
    サンプリング数を低減するための画素信号合成手段と、
    前記画素合成した撮像信号を蓄積時間の長さが異なる撮像信号に分離するための撮像信号分離手段と、
    前期分離した撮像信号間の差分信号を生成する第１の差分信号生成手段と、
    前記第１の差分信号生成手段で生成した差分信号に基づいて撮影画面の中の物体が動いたかを判定する動き判定手段と、
    前記動き判定手段で判定した動き判定信号を基に、前記カラー信号処理手段の少なくとも一部の回路を停止させる信号処理停止手段と
    をさらに備えることを特徴とする請求項１１に記載の動き検出用撮像装置。
  13. 光電変換素子を有する画素部と、画素部を駆動するためのタイミング発生手段と、
    前記光電変換素子の蓄積時間を制御するための複数の蓄積時間発生手段と、
    画素部の各ラインを垂直方向に走査するための垂直走査手段と、
    画素部の垂直ラインを複数同時に駆動するための垂直並列制御手段と、
    前記画素部から出力される垂直信号線に発生するアナログ信号をデジタル信号に変換するＡＤ変換手段と、
    ＡＤ変換した信号を保存するための第１のラインメモリと、
    前記第１のラインメモリに保存したデジタル信号を水平方向に読み出すための第１の水平走査手段を有し、
    前記第１のラインメモリから出力した撮像信号をモニタに再生するための映像信号となるように処理するカラー信号処理手段と、
    さらに、前記複数の垂直信号線のアナログ信号を合成する第２の水平合成手段と、
    水平方向に走査するための第２の水平走査手段を有し、
    前記第２の水平合成手段で分割して出力した撮像信号間の差分信号を生成する第２の差分信号生成手段と、
    前記第２の差分信号生成手段で生成した差分信号に基づいて撮影画面中の物体が動いたかを判定する動き判定手段と
    を備えることを特徴とする動き検出用撮像装置。
  14. 前記第２の水平走査手段は、
    前記画素部からの垂直信号線を水平方向に所定の複数ライン単位を同時に選択し、順次水平方向へ走査し、
    前記第２の水平合成手段は、
    前記画素部で異なった長さの蓄積時間の画素信号に分割して読み出すために複数の水平読出しラインを有し、
    長時間蓄積した撮像信号と短時間蓄積した撮像信号に分割して水平方向へ読み出すこと
    を特徴とする請求項１３に記載の動き検出用撮像装置。
  15. 前記動き検出画像処理装置において、
    前記動き判定手段の判定結果をコード化した判定コードを前記映像信号に埋め込むための動き判定信号加算手段と
    前記映像信号管理装置において、
    前記動き判定コードを埋め込んだ前記映像信号から動き判定コードを抽出する動き判定信号抽出手段と
    をさらに備えることを特徴とする請求項１乃至請求項３と請求項５と請求項６に記載の動き検出システム。
  16. 前記動き検出用撮像装置は、
    光電変換素子を有する画素部と、
    画素部を駆動するためのタイミング発生手段と、
    前記光電変換素子の蓄積時間を制御するための複数の蓄積時間発生手段と、
    画素部の各ラインを垂直方向に走査するための垂直走査手段と、
    画素部の垂直ラインを複数同時に駆動するための垂直並列制御手段と、
    前記画素部の垂直信号線から出力されるアナログ信号を水平方向で合成するための第１の水平合成手段と、
    アナログ信号をデジタル信号に変換するＡＤ変換手段と、
    前記ＡＤ変換したデジタル信号を保存するための第１のラインメモリと、
    前記第１のラインメモリに保存したデジタル信号を水平方向に読み出すための第１の水平走査手段とを有し、
    動き物体検出動作時において、
    動き物体を検出するための光電変換素子の蓄積時間制御は、画素部を格子状に少なくとも２分割した長時間蓄積と短時間蓄積となるように制御し、
    前記蓄積時間が同じとなる前記複数の光電変換素子の出力信号を前記垂直並列制御手段あるいは第１の水平合成手段を用いて合成して出力すること
    を特徴とする請求項２に記載の動き検出システム。
  17. 前記動き検出用撮像装置は、
    光電変換素子を有する画素部と、
    画素部を駆動するためのタイミング発生手段と、
    前記光電変換素子の蓄積時間を制御するための複数の蓄積時間発生手段と、
    画素部の各ラインを垂直方向に走査するための垂直走査手段と、
    画素部の垂直ラインを複数同時に駆動するための垂直並列制御手段と、
    前記画素部の垂直信号線から出力されるアナログ信号を水平方向で合成するための第１の水平合成手段と、
    アナログ信号をデジタル信号に変換するＡＤ変換手段と、
    前記ＡＤ変換したデジタル信号を保存するための第１のラインメモリと、
    前記第１のラインメモリに保存したデジタル信号を水平方向に読み出すための第１の水平走査手段を有し、
    前記画素部の垂直各１ラインは、
    前記読出し手段を駆動するための読出し配線を２本配線し、
    前記画素部は、隣接した垂直２画素と水平２画素の４画素を基本単位として同一の蓄積時間で駆動し、
    前記画素部の基本単位で格子状に長時間蓄積と短時間蓄積となるように前記２本の読出し配線を交互に接続した
    ことを特徴とする請求項２に記載の動き検出システム。
  18. 前記動き検出用撮像装置は、
    光電変換素子を有する画素部と、
    画素部を駆動するためのタイミング発生手段と、
    前記光電変換素子の蓄積時間を制御するための複数の蓄積時間発生手段と、
    画素部の各ラインを垂直方向に走査するための垂直走査手段と、
    前記画素部の垂直信号線から出力されるアナログ信号をデジタル信号に変換するＡＤ変換手段と、
    ＡＤ変換したデジタル信号を保存するための第１のラインメモリと、
    前記第１のラインメモリに保存したデジタル信号を水平方向に読み出すための第１の水平走査手段を有し、
    前記画素部の垂直各１ラインでは、
    前記読出し手段を駆動するための読出し配線を２本配線し、
    前記画素部は、隣接した垂直２画素と水平２画素の４画素を基本単位として同一の蓄積時間で駆動し、
    前記画素部の基本単位で格子状に長時間蓄積と短時間蓄積となるように前記２本の読出し配線を交互に接続する
    ことを特徴とする請求項５に記載の動き検出システム。
  19. 前記撮像信号分離手段は、
    前記動き検出用撮像装置の光電変換素子を有する画素部から出力した撮像信号を少なくとも１水平画素数分とさらに１画素分を遅延させる遅延整手段と、
    前記撮像信号を増幅する増幅手段と、
    前記遅延手段で遅延した撮像信号と、
    前記増幅手段で増幅した撮像信号の少なくとも２種類の撮像信号を出力する
    ことを特徴とする請求項２乃至５のうちのいずれかに記載の動き検出システム。
  20. 前記撮像信号分離手段は、
    前記動き検出用撮像装置の光電変換素子を有する画素部から出力した撮像信号を１水平画素数分遅延させる遅延手段と、
    前記１水平画素分遅延させた１Ｈ遅延撮像信号と、
    前記画素部から出力した撮像信号を１画素分遅延させた１画素遅延信号とを第１の加算手段で加算した第１の撮像信号と、
    前記１水平画素分遅延させた１Ｈ遅延撮像信号をさらに１画素分遅延させた１Ｈ１画素遅延信号と、
    前記画素部から出力した撮像信号とを第２の加算手段で加算した第２の撮像信号と、
    前記第１の撮像信号もしくは第２の撮像信号のいずれかを増幅し、増幅した撮像信号と増幅していない前記撮像信号の少なくとも２種類の撮像信号を出力する
    ことを特徴とする請求項２乃至５のうちのいずれかにに記載の動き検出システム。
  21. 前記画素信号合成手段は、
    前記動き検出用撮像装置のＢａｙｅｒ配列のカラーフィルタが形成された光電変換素子を有する画素部から出力した撮像信号において、
    前記画素部を順次４ラインの組で画像信号の演算をするための少なくとも３ラインのラインメモリと、
    前記画素部から始めに出力した２ラインの画像信号の垂直２画素と水平２画素の計４画素を加算する第１の加算手段と、
    後に出力した２ラインの画像信号の垂直２画素と水平２画素の計４画素を加算する第２の加算手段と、
    前記撮像信号分離手段は、
    前記第１の加算手段で生成した第１の加算信号と前記第２の加算手段で生成した第２の加算信号をそれぞれ１信号分だけ遅延させる遅延手段と、
    前記遅延していない第１の加算信号と遅延した第２の加算信号を加算する第３の加算手段と、
    前記遅延していない第２の加算信号と遅延した第１の加算信号を加算する第４の加算手段と、
    前記第３の加算手段で生成した第３の加算信号もしくは前記第４の加算手段で生成した第４の加算信号のいずれかを増幅し、増幅した加算信号と増幅していない加算信号の少なくとも２種類の撮像信号を出力する
    ことを特徴とする請求項５に記載の動き検出システム。
  22. 前記動き検出用撮像装置または動き検出システムは、
    前記映像信号に、撮影した日付、時刻などを埋め込むための時刻加算手段を
    さらに備えることを特徴とする請求項１乃至１３のうちのいずれかに記載の動き検出用撮像装置または動き検出システム。
  23. 前記光電変換素子の蓄積時間制御は、
    前記画素部において垂直のライン毎に蓄積時間をことならせ、斜めに配置した同色の一方の画素を長時間蓄積とし、他方の画素を短時間蓄積とし、
    前記画素部からの信号読出しは、
    前記蓄積時間が同じとなる垂直の複数ラインを前記垂直並列制御手段で同時に読み出し、
    さらに蓄積時間が同じとなる複数の垂直信号線を前記第１の水平合成手段で合成信号を生成し、
    さらに前記それぞれ合成した蓄積時間の異なる合成信号を１水平ライン毎に交互に読み出すことを特徴とする請求項７ないし請求項１６に記載の動き検出用撮像装置の駆動方法。
  24. 前記光電変換素子の蓄積時間制御は、
    前記画素部において垂直の隣接した２ライン毎に蓄積時間を異ならせ、
    前記画素部からの信号読出しは、
    前記蓄積時間が同じとなる垂直の隣接した２ラインを前記垂直並列制御手段で同時に読み出し、
    前記蓄積時間が同じとなる隣接した２本の垂直信号線を前記第１の水平合成手段で合成信号を生成し、
    さらに前記それぞれ合成した蓄積時間の異なる合成信号を１水平ライン毎に交互に読み出すことを特徴とする請求項７ないし請求項１６に記載の動き検出用撮像装置の駆動方法。
  25. 前記光電変換素子の蓄積時間制御は、
    前記画素部において垂直の隣接した２ライン毎に蓄積時間を異ならせ、
    前記画素部からの信号読出しは、
    前記蓄積時間が同じとなる垂直の隣接した２ラインを１組とし、複数の垂直の組を前記垂直並列制御手段で同時に読み出し、
    前記蓄積時間が同じとなる隣接した２本の垂直信号線を１組とし、複数の水平の組を前記第１の水平合成手段で合成信号を生成し、
    さらに前記それぞれ合成した蓄積時間の異なる合成信号を１水平ライン毎に交互に読み出すことを特徴とする請求項７ないし請求項１６に記載の動き検出用撮像装置の駆動方法。
  26. 前記光電変換素子の蓄積時間制御は、
    前記画素部において隣接した垂直２画素と水平２画素の４画素を基本単位として、格子状に長時間蓄積と短時間蓄積となるように駆動し、
    前記画素部からの信号読出しは、
    前記蓄積時間を同じとする垂直の隣接した２ラインを前記垂直並列制御手段で同時に読み出し、
    さらに、前記蓄積時間を同じとする隣接した２本の垂直信号線を前記第１の水平合成手段で合成して読み出すこと
    を特徴とする請求項８ないし請求項１７に記載の動き検出用撮像装置の駆動方法。
  27. 前記光電変換素子の蓄積時間制御は、
    前記画素部において隣接した垂直２画素と水平２画素の４画素を基本単位として、格子状に長時間蓄積と短時間蓄積となるように駆動し、
    前記画素部からの信号読出しは、
    前記蓄積時間を同じとする垂直の隣接した２ラインを１組とし、複数の垂直の組を前記垂直並列制御手段で同時に読み出し、
    さらに、前記蓄積時間を同じとする隣接した２本の垂直信号線を１組とし、複数の水平の組を前記第１の水平合成手段で合成して読み出すこと
    を特徴とする請求項８ないし請求項１７に記載の動き検出用撮像装置の駆動方法。
JP2012249692A 2012-10-29 2012-10-29 動き検出用撮像装置、動き検出カメラおよび動き検出システム Expired - Fee Related JP5604700B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012249692A JP5604700B2 (ja) 2012-10-29 2012-10-29 動き検出用撮像装置、動き検出カメラおよび動き検出システム
EP13851757.8A EP2913994B1 (en) 2012-10-29 2013-10-10 Motion detection solid-state image pickup device and motion detection system
PCT/JP2013/077681 WO2014069212A1 (ja) 2012-10-29 2013-10-10 動き検出用固体撮像装置および動き検出システム
KR1020157013510A KR101709984B1 (ko) 2012-10-29 2013-10-10 움직임 검출용 고체촬영장치 및 움직임 검출 시스템
US14/438,427 US9924076B2 (en) 2012-10-29 2013-10-10 Motion detection solid-state image capturing device and motion detection system
CN201380056929.XA CN104782111B (zh) 2012-10-29 2013-10-10 运动检测用固体摄像装置以及运动检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012249692A JP5604700B2 (ja) 2012-10-29 2012-10-29 動き検出用撮像装置、動き検出カメラおよび動き検出システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014171039A Division JP2015019388A (ja) 2014-08-26 2014-08-26 動き検出用撮像装置、動き検出カメラおよび動き検出システム

Publications (2)

Publication Number Publication Date
JP2014090394A true JP2014090394A (ja) 2014-05-15
JP5604700B2 JP5604700B2 (ja) 2014-10-15

Family

ID=50627126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012249692A Expired - Fee Related JP5604700B2 (ja) 2012-10-29 2012-10-29 動き検出用撮像装置、動き検出カメラおよび動き検出システム

Country Status (6)

Country Link
US (1) US9924076B2 (ja)
EP (1) EP2913994B1 (ja)
JP (1) JP5604700B2 (ja)
KR (1) KR101709984B1 (ja)
CN (1) CN104782111B (ja)
WO (1) WO2014069212A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016054478A (ja) * 2014-07-31 2016-04-14 株式会社半導体エネルギー研究所 撮像装置、監視装置、及び電子機器
WO2019097797A1 (ja) * 2017-11-14 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像システム
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
JP2020017961A (ja) * 2014-07-18 2020-01-30 株式会社半導体エネルギー研究所 撮像装置
US10855927B2 (en) 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
JP2022029717A (ja) * 2020-08-05 2022-02-18 株式会社SEtech 撮像装置
JP2023164990A (ja) * 2018-03-14 2023-11-14 ソニー アドバンスト ビジュアル センシング エージー ３ｄ－ｉｃ技術を用いて製造するイベントベースビジョンセンサ

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6612056B2 (ja) * 2014-05-16 2019-11-27 株式会社半導体エネルギー研究所 撮像装置、及び監視装置
US9876946B2 (en) * 2015-08-03 2018-01-23 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
CN105491336B (zh) * 2015-12-08 2018-07-06 成都芯软科技发展有限公司 一种低功耗图像识别模块
US10536657B2 (en) * 2016-03-18 2020-01-14 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
KR102462644B1 (ko) 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
CN113660439A (zh) * 2016-12-27 2021-11-16 株式会社半导体能源研究所 摄像装置及电子设备
US10395376B2 (en) 2017-07-19 2019-08-27 Qualcomm Incorporated CMOS image sensor on-die motion detection using inter-pixel mesh relationship
CN108712620B (zh) * 2018-05-16 2020-12-25 上海集成电路研发中心有限公司 一种运动检测电路及运动检测方法
CN108600579B (zh) * 2018-05-16 2020-03-20 上海集成电路研发中心有限公司 一种应用于cis的运动检测电路及运动检测方法
JP7358042B2 (ja) * 2018-10-22 2023-10-10 キヤノン株式会社 光電変換装置、カメラ、移動体、および、信号処理装置
WO2021033326A1 (ja) * 2019-08-22 2021-02-25 オリンパス株式会社 撮像素子、内視鏡および内視鏡システム
CN114187870B (zh) * 2020-09-14 2023-05-09 京东方科技集团股份有限公司 光电检测电路及其驱动方法、显示装置及其制作方法
EP4401412A4 (en) * 2021-10-21 2024-09-18 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR DETECTING MOVING TARGETS AND DETECTION DEVICE
SE2300081A1 (en) * 2023-09-29 2025-03-30 Saab Ab A motion detection method for determining motion within a scene and a system for determining motion within a scene

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331504A (ja) * 1995-06-01 1996-12-13 Matsushita Electric Ind Co Ltd 動画像処理装置および動画像再生装置
JP2001245213A (ja) * 2000-02-28 2001-09-07 Nikon Corp 撮像装置
JP2002112192A (ja) * 2000-09-29 2002-04-12 Fujitsu General Ltd 画像記録再生装置
JP2005151150A (ja) * 2003-11-14 2005-06-09 Marantz Japan Inc 画像伝送システム
JP2007259383A (ja) * 2006-03-27 2007-10-04 Fujifilm Corp 無線通信装置
JP2009239366A (ja) * 2008-03-25 2009-10-15 Fuji Xerox Co Ltd 監視システム、画像形成装置およびプログラム
JP2010041434A (ja) * 2008-08-05 2010-02-18 Canon Electronics Inc 小型表示装置
JP2010071659A (ja) * 2008-09-16 2010-04-02 Konica Minolta Medical & Graphic Inc 放射線固体検出器
JP2010130664A (ja) * 2008-12-01 2010-06-10 Canon Inc データ転送方法およびデータ転送システム
JP2010232908A (ja) * 2009-03-26 2010-10-14 Fujifilm Corp 全方位撮像装置及びその駆動制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3521109B2 (ja) 1997-02-17 2004-04-19 シャープ株式会社 動き検出用固体撮像装置
KR100290400B1 (ko) 1997-10-30 2001-10-24 이계안 브레이크시스템의제동력조절장치
US7202897B2 (en) 2001-07-11 2007-04-10 Sony Corporation Solid-state image pickup exposure control system and method
JP2004159274A (ja) 2002-09-13 2004-06-03 Shoji Kawahito 固体撮像装置
JP4831017B2 (ja) * 2007-08-27 2011-12-07 ソニー株式会社 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、および現像プログラム
JP2010074584A (ja) 2008-09-19 2010-04-02 Sony Corp 撮像装置および撮像方法
JP5326910B2 (ja) * 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2011030181A (ja) 2009-06-23 2011-02-10 Panasonic Corp 固体撮像装置、撮像モジュール、及び撮像システム
US8279316B2 (en) 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
JP2011166535A (ja) 2010-02-10 2011-08-25 Mitsubishi Electric Corp 撮像装置
JP2011229030A (ja) * 2010-04-21 2011-11-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2011244309A (ja) 2010-05-20 2011-12-01 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2012010105A (ja) 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP4988075B1 (ja) 2010-12-16 2012-08-01 パナソニック株式会社 撮像装置及び画像処理装置
WO2012117616A1 (ja) 2011-02-28 2012-09-07 富士フイルム株式会社 撮像装置及び欠陥画素補正方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331504A (ja) * 1995-06-01 1996-12-13 Matsushita Electric Ind Co Ltd 動画像処理装置および動画像再生装置
JP2001245213A (ja) * 2000-02-28 2001-09-07 Nikon Corp 撮像装置
JP2002112192A (ja) * 2000-09-29 2002-04-12 Fujitsu General Ltd 画像記録再生装置
JP2005151150A (ja) * 2003-11-14 2005-06-09 Marantz Japan Inc 画像伝送システム
JP2007259383A (ja) * 2006-03-27 2007-10-04 Fujifilm Corp 無線通信装置
JP2009239366A (ja) * 2008-03-25 2009-10-15 Fuji Xerox Co Ltd 監視システム、画像形成装置およびプログラム
JP2010041434A (ja) * 2008-08-05 2010-02-18 Canon Electronics Inc 小型表示装置
JP2010071659A (ja) * 2008-09-16 2010-04-02 Konica Minolta Medical & Graphic Inc 放射線固体検出器
JP2010130664A (ja) * 2008-12-01 2010-06-10 Canon Inc データ転送方法およびデータ転送システム
JP2010232908A (ja) * 2009-03-26 2010-10-14 Fujifilm Corp 全方位撮像装置及びその駆動制御方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024119836A (ja) * 2014-07-18 2024-09-03 株式会社半導体エネルギー研究所 撮像装置
JP2020017961A (ja) * 2014-07-18 2020-01-30 株式会社半導体エネルギー研究所 撮像装置
JP2021176230A (ja) * 2014-07-18 2021-11-04 株式会社半導体エネルギー研究所 撮像装置、表示装置、監視装置及び電子機器
JP2023058541A (ja) * 2014-07-18 2023-04-25 株式会社半導体エネルギー研究所 表示システム
JP2016054478A (ja) * 2014-07-31 2016-04-14 株式会社半導体エネルギー研究所 撮像装置、監視装置、及び電子機器
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
US10855927B2 (en) 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
US12250467B2 (en) 2017-03-08 2025-03-11 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator configured to generate an output signal by combining event signals
WO2019097797A1 (ja) * 2017-11-14 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像システム
US11514581B2 (en) 2017-11-14 2022-11-29 Sony Semiconductor Solutions Corporation Image capturing device, image capturing method, and image capturing system
JP2023164990A (ja) * 2018-03-14 2023-11-14 ソニー アドバンスト ビジュアル センシング エージー ３ｄ－ｉｃ技術を用いて製造するイベントベースビジョンセンサ
JP7630575B2 (ja) 2018-03-14 2025-02-17 ソニー アドバンスト ビジュアル センシング エージー ３ｄ－ｉｃ技術を用いて製造するイベントベースビジョンセンサ
JP2022029717A (ja) * 2020-08-05 2022-02-18 株式会社SEtech 撮像装置

Also Published As

Publication number Publication date
CN104782111B (zh) 2017-12-22
CN104782111A (zh) 2015-07-15
KR20150081298A (ko) 2015-07-13
WO2014069212A1 (ja) 2014-05-08
US9924076B2 (en) 2018-03-20
US20150319341A1 (en) 2015-11-05
JP5604700B2 (ja) 2014-10-15
KR101709984B1 (ko) 2017-02-24
EP2913994A1 (en) 2015-09-02
EP2913994B1 (en) 2019-05-08
EP2913994A4 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
JP5604700B2 (ja) 動き検出用撮像装置、動き検出カメラおよび動き検出システム
JP5614993B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP5342969B2 (ja) 撮像装置及び撮像方法
JP4290066B2 (ja) 固体撮像装置および撮像システム
JP4691930B2 (ja) 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
US8786734B2 (en) Image pickup apparatus
JP4821921B2 (ja) 固体撮像装置および電子機器
JP4497872B2 (ja) 撮像装置
US20100149392A1 (en) Solid-state imaging device, driving method thereof, and imaging device
JP6099904B2 (ja) 撮像装置
JP5885431B2 (ja) 撮像素子及び撮像装置
JP2014060573A (ja) 固体撮像素子、制御方法、および電子機器
JP5168319B2 (ja) 固体撮像装置および固体撮像装置の駆動方法
JP5452269B2 (ja) 撮像装置
JP5106055B2 (ja) 撮像装置及びそのフリッカ検出方法
JP5235701B2 (ja) 撮像装置
JP2015019388A (ja) 動き検出用撮像装置、動き検出カメラおよび動き検出システム
JP2007135200A (ja) 撮像方法および撮像装置並びに駆動装置
JP5106056B2 (ja) 撮像装置及びそのフリッカ検出方法
JP2003234964A (ja) ディジタルカメラ
JP5854652B2 (ja) 撮像装置
JP5089674B2 (ja) 撮像装置
JP4898637B2 (ja) 撮像装置及びその制御方法
JP2010226228A (ja) 撮像装置及び撮像方法
JP2007267290A (ja) 固体撮像素子およびその駆動方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140731

R150 Certificate of patent or registration of utility model

Ref document number: 5604700

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees