WO2026009784A1 - 固体撮像装置及び電子機器 - Google Patents
固体撮像装置及び電子機器Info
- Publication number
- WO2026009784A1 WO2026009784A1 PCT/JP2025/022815 JP2025022815W WO2026009784A1 WO 2026009784 A1 WO2026009784 A1 WO 2026009784A1 JP 2025022815 W JP2025022815 W JP 2025022815W WO 2026009784 A1 WO2026009784 A1 WO 2026009784A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- imaging device
- drive signal
- solid
- state imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/10—Integrated devices
- H10F39/12—Image sensors
- H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
[課題]画素毎に複数パターンの露光時間を設定し、簡易な制御でダイナミックレンジの拡大を可能とする固体撮像装置及び電子機器を提供する。 [解決手段]本開示の第1の側面の固体撮像装置は、複数の画素が2次元アレイ状に配列された画素アレイ部と、垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する。
Description
本発明の実施形態は、固体撮像装置及び電子機器に関する。
CMOSイメージセンサ等の固体撮像装置では、撮像画像のダイナミックレンジの拡大が望まれている。また、固体撮像装置に含まれる画素の露光時間を変更して、ダイナミックレンジを拡大する技術がある。
上述した固体撮像装置では、複数の画素で構成される画素ブロック毎に露光時間を変更することが可能であり、撮像画像のダイナミックレンジの拡大が可能である。
しかし、例えば3×4画素といった画素ブロックの単位でしか露光時間の制御ができず、また、画素ブロック毎に複雑な画素制御部を備えることは、回路規模が大きくなるため現実的ではない。
そこで、本開示はこれらの問題に鑑み、画素毎に複数パターンの露光時間を設定し、簡易な制御でダイナミックレンジの拡大を可能とする固体撮像装置及び電子機器を提供する。
本開示の第1の側面の固体撮像装置は、複数の画素が2次元アレイ状に配列された画素アレイ部と、垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する。これにより例えば、固体撮像装置は、制御部の制御によって、アクセストランジスタをオンとすることにより、行や列毎に同様な状態とすることなく、画素毎に複数パターンの露光時間を設定することができ、ハイダイナミックレンジを実現することができる。
また、この第1の側面において、前記アクセストランジスタは、前記第1駆動信号の入力を受け付ける第1ゲートと、前記第2駆動信号の入力を受け付ける第2ゲートと含み、
前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い。前記アクセストランジスタは、前記第1駆動信号及び前記第2駆動信号に基づいて、フォトダイオードに蓄積された電荷の初期化を行う。これにより例えば、固体撮像装置は、ディープNウェル領域を設ける必要がなく、回路の面積を小さくすることができる。
前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い。前記アクセストランジスタは、前記第1駆動信号及び前記第2駆動信号に基づいて、フォトダイオードに蓄積された電荷の初期化を行う。これにより例えば、固体撮像装置は、ディープNウェル領域を設ける必要がなく、回路の面積を小さくすることができる。
また、この第1の側面において、複数の前記画素のそれぞれは、フォトダイオードから転送された電荷を蓄積する第1フローティングディフュージョンと、前記第1フローティングディフュージョンからあふれた電荷を蓄積する第2フローティングディフュージョンとをさらに含む。これにより例えば、固体撮像装置は、制御部の制御によって、転送トランジスタをオンとすることにより、フォトダイオードに蓄えられた電荷を第1フローティングディフュージョンに一時的に蓄えることができるほか、接続トランジスタをオンとすることにより、第2フローティングディフュージョンに第1フローティングディフュージョンからあふれた電荷を蓄えることができる。
また、この第1の側面において、前記アクセストランジスタは、ソース及びドレインのうち一方が、前記電源電圧に接続され、ソース及びドレインのうち他方が、前記フォトダイオードに接続される。これにより例えば、固体撮像装置は、制御部の制御によってアクセストランジスタをランダムにオンとするため、簡易な制御でハイダイナミックレンジを実現することができる。
また、この第1の側面において、前記アクセストランジスタは、ソース及びドレインのうち一方が、前記第1フローティングディフュージョンに接続され、ソース及びドレインのうち他方が、前記フォトダイオードに接続される。これにより例えば、固体撮像装置は、制御部が各トランジスタを制御することによって、フォトダイオード、第1及び第2フローティングディフュージョンの全ての電荷を初期化したり、第1及び第2フローティングディフュージョンのみを選択して初期化することもできる。
また、この第1の側面において、前記アクセストランジスタは、前記第1駆動信号及び前記第2駆動信号に基づいて、フォトダイオードに蓄積された電荷の初期化を行う。これにより例えば、固体撮像装置は、制御部の制御によってアクセストランジスタをランダムにオンとするため、簡易な制御でハイダイナミックレンジを実現することができる。
また、この第1の側面において、複数の前記画素のそれぞれは、前記アクセストランジスタから供給される第3駆動信号に基づいて、フォトダイオードと、電源電圧とを接続する排出トランジスタをさらに含む。これにより例えば、固体撮像装置は、制御部の制御によってアクセストランジスタをランダムにオンとするため、簡易な制御でハイダイナミックレンジを実現することができる。
また、この第1の側面において、前記アクセストランジスタは、ゲートが、前記垂直駆動部に接続され、ソース及びドレインのうち一方が、前記水平駆動部に接続され、ソース及びドレインのうち他方が、前記排出トランジスタのゲートに接続され、前記第3駆動信号を出力する。これにより例えば、固体撮像装置は、制御部の制御によってアクセストランジスタをランダムにオンとするため、簡易な制御でハイダイナミックレンジを実現することができる。
また、この第1の側面において、複数の前記画素のそれぞれは、前記アクセストランジスタの電位を前記画素内の領域から分離するウェル構造を有する。これにより例えば、固体撮像装置は、排出トランジスタのフローティングによって、排出トランジスタのゲート電極からのリーク電流を抑制することができる。
また、この第1の側面において、前記排出トランジスタのゲートは、P-POLYで形成される。これにより例えば、固体撮像装置は、排出トランジスタのフローティングによって、排出トランジスタのゲート電極からのリーク電流を抑制することができる。
また、この第1の側面において、前記不規則なタイミングは、ランダムなタイミングである。これにより例えば、固体撮像装置は、制御部の制御によってアクセストランジスタをランダムにオンとするため、簡易な制御でハイダイナミックレンジを実現することができる。
また、この第1の側面において、複数の前記画素のそれぞれは、前記第1フローティングディフュージョンまたは前記第2フローティングディフュージョンからあふれた電荷を保持する保持容量をさらに含み、前記保持容量は、MIM構造を有する。これにより例えば、固体撮像装置は、フォトダイオード、第1及び第2フローティングディフュージョンでの電荷の蓄電中に、あふれた電荷を保持容量で保持することができる。
また、この第1の側面において、複数の前記画素のそれぞれは、前記第1フローティングディフュージョンと前記第2フローティングディフュージョンとを接続する接続トランジスタをさらに含み、前記アクセストランジスタは、ソース及びドレインのうち一方が、前記電源電圧に接続され、ソース及びドレインのうち他方が、前記第2フローティングディフュージョンに接続される。これにより例えば、固体撮像装置は、アクセストランジスタがオンになると、第2フローティングディフュージョンの電荷が初期化される。
また、この第1の側面において、複数の前記画素のそれぞれは、前記第2フローティングディフュージョンに蓄積した電荷を初期化するリセットトランジスタをさらに含み、前記アクセストランジスタは、ソース及びドレインのうち一方が、前記第1フローティングディフュージョンに接続され、ソース及びドレインのうち他方が、前記第2フローティングディフュージョンに接続される。これにより例えば、固体撮像装置は、アクセストランジスタをオンまたはオフとすることにより、変換効率を切り替えることができる。
本開示の第2の側面の電子機器は、固体撮像装置を備える電子機器であって、撮像画像を入力として受け付けて、認識結果を出力する学習モデルを含む認識部を備え、前記固体撮像装置は、複数の画素が2次元アレイ状に配列された画素アレイ部と、垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する。これにより例えば、固体撮像装置は、制御部が各トランジスタを制御することによって、フォトダイオード、第1及び第2フローティングディフュージョンの全ての電荷を初期化したり、第1及び第2フローティングディフュージョンのみを選択して初期化することもできる。
また、この第2の側面において、前記アクセストランジスタは、前記第1駆動信号の入力を受け付ける第1ゲートと、前記第2駆動信号の入力を受け付ける第2ゲートと含み、前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い。これにより例えば、固体撮像装置は、ディープNウェル領域を設ける必要がなく、回路の面積を小さくすることができる。
また、この第2の側面において、前記アクセストランジスタは、ソース及びドレインのうち一方が、前記電源電圧に接続され、ソース及びドレインのうち他方が、フォトダイオードに接続される。これにより例えば、電子機器は、アクセストランジスタがオンになると、第2フローティングディフュージョンの電荷が初期化される。
本開示の第3の側面の電子機器は、固体撮像装置を備える電子機器であって、複数の撮像画像を入力として受け付けて、ブラーを除去した複数の再構築画像を出力する学習モデルを含むブラー除去部を備え、前記固体撮像装置は、複数の画素が2次元アレイ状に配列された画素アレイ部と、垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する。これにより例えば、電子機器は、露光時間の異なる画素を用いることにより、ハイダイナミックレンジを実現し、精度の高い再構築画像を出力することができる。
また、この第3の側面において、前記アクセストランジスタは、前記第1駆動信号の入力を受け付ける第1ゲートと、前記第2駆動信号の入力を受け付ける第2ゲートと含み、前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い。これにより例えば、電子機器は、ディープNウェル領域を設ける必要がなく、回路の面積を小さくすることができる。
また、この第3の側面において、前記アクセストランジスタは、ソース及びドレインのうち一方が、前記電源電圧に接続され、ソース及びドレインのうち他方が、フォトダイオードに接続される。これにより例えば、電子機器は、アクセストランジスタがオンになると、第2フローティングディフュージョンの電荷が初期化される。
以下に図面を参照しながら、本開示の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより説明を適宜省略する。図面は、簡略化して書かれているものであり、図に書かれている以外にも実装上必要な構成は、適切に備えられるものとする。また、本明細書または請求項中に「第1」、「第2」等の用語が用いられる場合には、特に言及がない限り、いかなる順序や重要度を表すものでもなく、ある構成と他の構成とを区別するためのものである。
また、本開示において、「以上」「以下」という用語は、それぞれ「より大きい」「未満」と読み替えることができる。
(第1実施形態)
図1は、第1実施形態における撮像装置2の一構成例を示すブロック図である。
図1は、第1実施形態における撮像装置2の一構成例を示すブロック図である。
この撮像装置2は、撮像対象を画像として撮像する装置であり、撮像レンズ210、固体撮像装置10、記録部240及び撮像制御部230を備える。撮像装置2の例は、IoTカメラ等のデジタルカメラまたは撮像機能を持つ電子機器(スマートフォンやパーソナルコンピュータ等)である。
固体撮像装置10は、撮像制御部230の制御に従って、画像を撮像する。この固体撮像装置10は、撮像画像を信号線209を介して記録部240に供給する。
撮像レンズ210は、光を集光して固体撮像装置10に導く。撮像制御部230は、固体撮像装置10を制御して画像を撮像させる。この撮像制御部230は、例えば、信号線139を介して、垂直同期信号VSYNCを含む撮像制御信号を固体撮像装置10に供給する。記録部240は、撮像画像を記録する。
ここで、垂直同期信号VSYNCは、撮像のタイミングを示す信号であり、一定の周波数(60ヘルツ等)の周期信号が垂直同期信号VSYNCとして用いられる。
本実施形態では、撮像装置2は、撮像画像を記録部240に記録しているが、撮像画像を撮像装置2の外部に送信してもよい。この場合には、撮像装置2に撮像画像を送信するための外部インタフェースがさらに設けられる。また、撮像装置2は、撮像画像を表示してもよい。この場合には、撮像装置2に表示部がさらに設けられる。
図2は、第1実施形態における固体撮像装置10の概略構成を示すブロック図である。
図2の固体撮像装置10は、画素が行列状に複数配列された画素アレイ部20と、その周辺の周辺回路部とを有して構成される。周辺回路部には、垂直駆動部12、AD変換部13、水平駆動部14、制御部15、信号処理部16、データ記憶部17及び入出力部18等が含まれる。
画素アレイ部20に2次元アレイ状に配置されている各画素は、光電変換部としてのフォトダイオード及び複数の画素トランジスタ等によって構成される。複数の画素トランジスタは、例えば、転送トランジスタ、増幅トランジスタ、選択トランジスタ、リセットトランジスタ等のMOSトランジスタである。画素アレイ部20の各画素には、例えば、赤(R)、緑(G)または青(B)のカラーフィルターがベイヤ配列で配置されており、各画素は、R、GまたはBのいずれかの画素信号(以下、単に信号とも呼ぶ)を出力する。
垂直駆動部12は、例えばシフトレジスタによって構成され、画素駆動配線(不図示)を介して画素アレイ部20の各画素に駆動パルスを供給することにより、行単位で画素を駆動する。すなわち、垂直駆動部12は、画素アレイ部20の各画素を行単位で順次垂直方向に選択走査し、各画素のフォトダイオードにおいて入射光量に応じて生成された信号電荷に基づく画素信号を、列単位に共通に設けられた垂直信号線を通して信号処理部16に出力する。また、垂直駆動部12は、後述するアクセストランジスタHVの1つめのゲート電極に対して、駆動信号を出力する。垂直駆動部12から出力される駆動信号は、第1駆動信号の例である。
AD変換部(ADC)13は、画素アレイ部20から出力された信号に対して、画素固有の固定パターンノイズを除去するためのCDS(Correlated Double Sampling:相関2重サンプリング)処理や、AD変換を行う。
水平駆動部14は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力する。また、水平駆動部は、後述するアクセストランジスタHVの2つ目のゲート電極に対して、駆動信号を出力する。水平駆動部14から出力される駆動信号は、第2駆動信号の例である。
制御部15は、外部から入力されるクロック信号と、動作モード等を指令するデータを受け取り、固体撮像装置10全体の動作を制御する。例えば、制御部15は、入力されたクロック信号に基づいて、垂直同期信号や水平同期信号等を生成し、垂直駆動部12、AD変換部13、及び、水平駆動部14等に供給する。
信号処理部16は、AD変換部13から供給される画素信号に対して、黒レベル調整処理、列ばらつき補正処理を行った後、ホワイトバランス処理を行う。信号処理部16は、ホワイトバランス処理の後、デモザイク処理等の各種のデジタル信号処理を必要に応じて実行し、画像を生成し、入出力部18に供給する。
データ記憶部17は、後述するレンズやセンサのカラーフィルター等の情報を保持する。信号処理部16は、入出力部18を介して外部の画像処理装置から入力されたパラメータ等をデータ記憶部17に記憶させたり、外部の画像処理装置からの指示に基づいて、信号処理を適宜選択し、実行することができる。
入出力部18は、信号処理部16から順次入力される画素信号を、外部の画像処理装置、例えば、後段のISP(Image Signal Processor)等に出力する。また、入出力部18は、外部の画像処理装置から入力される信号やパラメータを、信号処理部16や制御部15へ供給する。
固体撮像装置10は、以上のように構成されており、例えば、CDS処理とAD変換処理を画素列ごとに行うカラムAD方式と呼ばれるCMOSイメージセンサである。
図3は、第1実施形態における画素100の回路図の例である。
本実施形態では、画素100は、フォトダイオードPD、転送トランジスタTGL、選択トランジスタSEL、増幅トランジスタAMP、フローティングディフュージョンFD1、フローティングディフュージョンFD2、接続トランジスタFDG、リセットトランジスタRST及びアクセストランジスタHVを備える。フローティングディフュージョンFD1は、第1フローティングディフュージョンの例であり、フローティングディフュージョンFD2は、第2フローティングディフュージョンの例である。
フォトダイオードPDは、例えば、PN接合のフォトダイオードである。フォトダイオードPDは、受光した光量に応じた電荷を生成し、蓄積する。転送トランジスタTGLは、フォトダイオードPDとフローティングディフュージョンFD1との間に設けられたNMOSトランジスタである。転送トランジスタTGLのゲート電極には、駆動信号TGLが印加される。すなわち、駆動信号TGLが高電位レベル(以下、単にオンとも呼ぶ)になると、転送トランジスタTGLは導通状態になり、フォトダイオードPDに蓄積されている電荷が、転送トランジスタTGLを介してフローティングディフュージョンFD1に転送される。
リセットトランジスタRSTは、電源電圧VDDとフローティングディフュージョンFD2との間に設けられたNMOSトランジスタである。リセットトランジスタRSTのゲート電極には、駆動信号RSTが印加される。駆動信号RSTが高電位レベルになると、リセットトランジスタRSTは導通状態になる。これにより、フローティングディフュージョンFD2と、電荷蓄積部とが結合した領域の電位が、電源電圧VDDのレベルに初期化(リセット)される。またフローティングディフュージョンFD1及びFD2は、所定の電荷量を保持可能なフローティングディフュージョン領域である。フローティングディフュージョンFD1及びFD2に蓄積された電荷は、電圧信号に電荷電圧変換され読み出される。
接続トランジスタFDGは、フローティングディフュージョンFD2とフローティングディフュージョンFD1の間に設けられたNMOSトランジスタである。接続トランジスタFDGのゲート電極には、駆動信号FDGが印加される。駆動信号FDGが高電位レベルになると、接続トランジスタFDGは導通状態になり、フローティングディフュージョンFD1とFD2が接続され、電荷が、フローティングディフュージョンFD1からフローティングディフュージョンFD2に転送される。
増幅トランジスタAMPは、ゲート電極がフローティングディフュージョンFD1に接続され、ドレイン電極が電源電圧VDDに接続されたNMOSトランジスタである。増幅トランジスタAMPは、フローティングディフュージョンFD1及びFD2に保持されている電荷を読み出すための読み出し回路、すなわち、ソースフォロワ回路の入力部となる。つまり、増幅トランジスタAMPは、ソース電極が選択トランジスタを介して垂直信号線に接続されることにより、垂直信号線に接続される定電流源とソースフォロワ回路を構成する。
選択トランジスタSELは、増幅トランジスタAMPのソース電極と垂直信号線との間に設けられたNMOSトランジスタである。選択トランジスタSELのゲート電極には、駆動信号SELが印加される。駆動信号SELが高電位レベルになると、選択トランジスタSELは導通状態になり、単位画素が選択状態となる。これにより、増幅トランジスタAMPから出力された画素信号が、選択トランジスタを介して、垂直信号線に読み出される。
アクセストランジスタHVは、2つのゲート電極で構成されている。一方のゲート電極(OFG_H)は、水平駆動部14に接続されており、他方のゲート電極(OHG_V)は、垂直駆動部12に接続されている。OFG_Hは第1ゲートの例であり、OHG_Vは、第2ゲートの例である。
また、アクセストランジスタHVのドレインは、電源電圧VDDに接続され、ソースは、フォトダイオードPDに接続される。
制御部15の制御によって、アクセストランジスタHVの二つのゲート電極の電位がHighとなった時に、オンとなり、フォトダイオードPDの電荷が初期化される。第1実施形態と区別するために、本実施形態におけるアクセストランジスタHVをゲート-ゲート型のアクセストランジスタHVとも呼ぶ。
各トランジスタにおける導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。例えば、一部がPMOSトランジスタであってもよい。
アクセストランジスタHVには、制御部15の制御によって、垂直駆動部12及び水平駆動部14から不規則なタイミングで垂直駆動信号及び水平駆動信号が供給される。この不規則なタイミングは、例えばランダムなタイミングであってもよい。
図4は、第1実施形態におけるアクセストランジスタHVの状態と、各画素における電荷の蓄積時間の関係を説明する図である。
図4Aは、アクセストランジスタHVのそれぞれのゲート電極の関係を示している。図で示すH方向の欄は、OFG_Hの電位を示しており、V方向の欄は、OHG_Vの電位を示している。この例では、アクセストランジスタHVは、OHG_H及びOHG_Vの電位がいずれもHighの時、オンとなって、ソース側に電流が流れる。また、アクセストランジスタHVは、OHG_H及びOHG_Vのうち、少なくともいずれか一方の電位がLowの時、オフとなる。
つまり、アクセストランジスタHVがオンとなった場合、フォトダイオードPDの電荷が初期化され、そのタイミングから電荷の蓄積が開始される。
図4Bは、第1実施形態における画素アレイ部20において、蓄積期間中に水平・垂直駆動部から伝達される1回目のOFGの印可状態に対する各フォトダイオードPDの電荷の蓄積状態を説明する図である。
この図では、7行7列の画素100を例に挙げて説明する。縦方向に記載したHまたはLは、アクセストランジスタHVのV方向における電位、つまりOHG_Vの電位を示しており、横方向に記載したHまたはLは、アクセストランジスタHVのH方向における電位、つまりOHG_Hの電位を示している。上述の通り、アクセストランジスタHVは、H方向及びV方向の電位がいずれもHighの時にオンとなって、フォトダイオードPDの電荷が初期化される。フォトダイオードPDはそのタイミングから再び電荷を蓄えることとなるため、他のフォトダイオードPDと比較して、相対的に電荷の蓄積時間が短くなる。この図では、相対的に電荷の蓄積時間が短い画素(短蓄画素)を「短」と表し、相対的に電荷の蓄積時間が長い画素(長蓄画素)を「長」と表している。
図4Cは、第1実施形態における画素アレイ部20において、蓄積期間中に水平・垂直駆動部から伝達される2回目のOFGの印可状態に対する各フォトダイオードPDの電荷の蓄積状態を説明する図である。
この図は、図4Bの後、さらにアクセストランジスタHVをランダムにオンとした場合の電荷の蓄積状態を示している。このタイミングでアクセストランジスタHVがオンとなった場合、対応するフォトダイオードPDは初期化され、短蓄画素よりも相対的にさらに電荷の蓄積時間が短い画素(超短蓄画素)となる。この図では、超短蓄画素を「超短」と表している。
アクセストランジスタHVの切替数は、1回または2回に限定されない。1水平期間におけるアクセストランジスタHVの切替数は任意の数とすることができ、切り替え数に応じて、フォトダイオードPDの電荷の蓄積時間のバリエーションを増やすことができる。
長蓄画素は、短畜画素と比較して、遠距離にある対象物や低反射率の対象物の測距情報を得やすい。一方、短畜画素は、長蓄画素と比較して、近距離にある対象物や高反射率の対象物で反射した光により電荷蓄積部が飽和しにくい。長蓄画素及び短畜画素から出力される画素信号を、信号処理部16で合成することにより、ハイダイナミックレンジを実現することができる。例えば、制御部15が1水平期間にランダムなタイミングで複数回アクセストランジスタHVを切替することによって、その分だけ電荷の蓄積時間に差が出ることになりダイナミックレンジを拡大することができる。
図5は、第1実施形態における画素100の1垂直期間におけるシャッター(SHT)とリード(READ)のタイムチャートである。
この図では、長蓄画素、短蓄画素及び長短蓄画素の露光時間についてタイムチャートを示している。つまり、図5は、図4Cに示した各画素のタイミングチャートである。SHT_resは、リセットトランジスタRSTがオンとなるタイミングであり、SHT_ofgは、アクセストランジスタHVがオンとなるタイミングである。図に示す通り、SHT_resのタイミングで、全ての画素100が露光を開始した後、SHT_ofgとなるそれぞれのタイミングで、アクセストランジスタHVがオンとなった画素の電荷が初期化される。図に示すように、2回のSHT_ofgによって、画素100の電荷の蓄積時間を長蓄画素、短蓄画素及び長端蓄画素の3種類のパターンとすることができる。
図6は、第1実施形態における固体撮像装置10のダイナミックレンジについて説明する図である。
この例では、図4Bに示したように、蓄積期間中に水平・垂直駆動部から伝達される1回目のOFGの印可状態に対するダイナミックレンジについて説明する。また、この例では、フローティングディフュージョンFD2は用いずに、フローティングディフュージョンFD1にのみ、フォトダイオードPDから電荷を転送するものとして説明する。電荷を蓄えるアクセストランジスタHVが1回オンとなるため、各画素100は、長蓄画素または短蓄画素の2種類に分けられる。この例では、アクセストランジスタHVをオンとしない場合、ダイナミックレンジは44dBであるのに対して、アクセストランジスタHVを1回オンとした場合、ダイナミックレンジは、76dBとなる。
図7は、第1実施形態における画素100におけるフォトダイオードPD付近の概略断面図である。
アクセストランジスタHVのOFG_H及びOFG_Vを繋ぐN型チャネル層(図中の一点鎖線部分)は、電源電圧VDDに繋がるN型拡散領域(図中の二点鎖線部分)よりも濃度が低い構成となっている。また、OFG_H及びOFG_Vを構成するポリシリコン電極は、例えば、50nm~100nm程度の間隔で配置され、通常の二つのトランジスタにおけるゲート電極間の距離よりも距離が近い配置となっている。OFG_H及びOFG_Vに電圧が印加されると、N型チャネル層が空乏化し、電界が発生する。これにより、電源電圧VDDとフォトダイオードPDは電気的に接続され、初期化が行われる。また、リーク電流の抑制のため、ポリシリコン電極は、P-POLYとしてもよい。
図8は、第1実施形態における画素100のポテンシャル図である。
図8の横方向は、フローティングディフュージョンFD1から電源電圧VDDまでの位置関係を示し、縦方向は、ポテンシャルの大きさを示す。縦方向の上方ほど電圧レベルが低く、下方ほど電圧レベルが高いことを示す。図8では、フォトダイオードPDの電荷を初期化し、再び電荷の蓄積を開始する流れについて説明する。
図8は、OFG_Hがオフ、OFG_Vがオンの状態を示している。この時、フォトダイオードPDに蓄積された電荷は、OFG_Vに流れ、N型チャネル層に蓄えられる。一方、OFG_Hはオフであるため、電荷は電源電圧VDDに移動せずに堰き止められる。この状態で、OFG_Hがオンとなった場合、フォトダイオードPDの電荷が電源電圧VDDに移動して初期化されるが、OFG_Vがオフとなった場合、N型チャネル層に蓄えられた電荷はフォトダイオードPDに戻される。
図9は、第1実施形態の第1変形例における画素100の回路図の例である。
本変形例では、画素100は、フォトダイオードPD、転送トランジスタTGL、選択トランジスタSEL、増幅トランジスタAMP、フローティングディフュージョンFD1、フローティングディフュージョンFD2、リセットトランジスタRST、アクセストランジスタHV及び接続トランジスタFDGを備える。
本変形例では、画素100は、制御部15の制御によって、転送トランジスタTGLをオンとすることにより、フォトダイオードPDに蓄えられた電荷をフローティングディフュージョンFD1に読み出すほか、接続トランジスタFDGをオンとすることにより、フローティングディフュージョンFD2とフローティングディフュージョンFD1とで容量を拡大し、PDの蓄積電荷を全て蓄えることができる。つまり、変換効率を切り替えることで高変換効率時にはノイズを低減しつつ、低変換効率時にはフォトダイオードの電荷をすべて読み出すことができる。
図10は、第1実施形態の第1変形例における固体撮像装置10のダイナミックレンジについて説明する図である。
この例では、図4Bに示したように、蓄積期間中に水平・垂直駆動部から伝達される1回目のOFGの印可状態に対するダイナミックレンジについて説明する。アクセストランジスタHVが1回オンとなるため、各画素100は、長蓄画素または短蓄画素の2種類に分けられる。
また、フォトダイオードPDの露光中、フォトダイオードPDに蓄積された電荷の一部は、フローティングディフュージョンFD1及びFD2に蓄えられる。
この例では、実線で示すように、フローティングディフュージョンFD1及びFD2に電荷を蓄えない場合、ダイナミックレンジは76dBであるのに対して、破線で示すように、フローティングディフュージョンFD1及びFD2に電荷を蓄える場合、ダイナミックレンジは、105dBとなる。
図11は、第1実施形態の第2変形例における画素100の回路図の例である。
本変形例では、画素100は、フォトダイオードPD、転送トランジスタTGL、選択トランジスタSEL、増幅トランジスタAMP、フローティングディフュージョンFD1、フローティングディフュージョンFD2、リセットトランジスタRST、アクセストランジスタHV、接続トランジスタFDG及び保持容量Csを備える。
保持容量Csは、横型オーバーフロー蓄積容量(LOFIC:Lateral Overflow Integration Capacitor)であり、例えば、MIM(Metal Insulator Metal)構造を有するキャパシタである。フォトダイオードPD、フローティングディフュージョンFD1及びFD2での電荷の蓄電中に、あふれた電荷を保持容量Csで保持することができる。またフォトダイオードPDに蓄えられた電荷は、上述のようにアクセストランジスタHVをオンとすることによって、初期化することもできる。
図12は、第1実施形態の第2変形例におけるフォトダイオードPDとフローティングディフュージョンFD2の電荷の蓄積量の関係を示す図である。
図12では、横軸は時間軸を示しており、縦軸はフォトダイオードPDまたはフローティングディフュージョンFD2の電荷の蓄積量を示している。この図では、フローティングディフュージョンFD2での電荷の蓄積期間を薄い灰色で示しており、フォトダイオードPDでの電荷の排出時の動作を濃い灰色で示している。
まず、時刻T1~T2では、制御部15の制御によって、フォトダイオードPDに電荷が蓄えられる。この時点では、フォトダイオードPDには、電荷が飽和するまで蓄えられる。時刻T2では、フォトダイオードPDの電荷が飽和し、時刻T3にかけて、フローティングディフュージョンFD2に電荷が蓄えられる。
時刻T3では、アクセストランジスタHVがオンとなり、フォトダイオードPDに蓄積された電荷が初期化される。この時、フォトダイオードPDに蓄えられた電荷は、保持容量Csに蓄えてもよい。時刻T3~T4では、再びフォトダイオードPDに電荷が飽和するまで蓄えられる。
時刻T4~T5では、T2~T3と同様に、フローティングディフュージョンFD2に電荷が蓄えられる。また、時刻T5~T6では、時刻T3~T4と同様に、フォトダイオードPDに蓄積された電荷が初期化され、再び電荷が蓄えられる。時刻T6~T7では、T2~T3と同様に、フローティングディフュージョンFD2に電荷が蓄えられる。フローティングディフュージョンFD2の電荷が飽和した後、保持容量Csで電荷を蓄えてもよい。
図13は、第1実施形態の第3変形例における画素100の回路図の例である。
本変形例では、画素100は、フォトダイオードPD、排出トランジスタOFG、転送トランジスタTGL、選択トランジスタSEL、増幅トランジスタAMP、フローティングディフュージョンFD、リセットトランジスタRST及びアクセストランジスタHVを備える。フローティングディフュージョンFDは、第1フローティングディフュージョンの例である。
本変形例におけるアクセストランジスタHVは、ゲート電極が垂直駆動部12に接続され、ドレイン電極が水平駆動部14に接続され、ソース電極が排出トランジスタOFGのゲート電極に接続されたNMOSトランジスタである。アクセストランジスタHVは、垂直駆動部12から供給される垂直駆動信号と、水平駆動部14から供給される水平駆動信号によって、排出トランジスタOFGのゲート電極に駆動信号OFGを供給する。アクセストランジスタHVがランダムにオンとなることによって、画素100内に蓄積された電荷量が制御される。本実施形態におけるアクセストランジスタHVについて、他の実施形態と区別するためドレイン-ゲート型のアクセストランジスタHVとも呼ぶ。また、アクセストランジスタHVがオンとなった際に出力される駆動信号は、第3駆動信号の例である。
排出トランジスタOFGは、ゲート電極がアクセストランジスタHVのソース電極に接続され、ソース電極が電源電圧VDDに接続され、ドレイン電極がフォトダイオードPDのアノード側に接続されたNMOSトランジスタである。ゲート電極に印加される駆動信号OFGに応じて、フォトダイオードPDの電荷を初期化する。
図14は、第1実施形態の第3変形例におけるフォトダイオードPD付近の概略断面図である。
図14には、画素100を構成する半導体基板130及び配線領域140を簡略化して記載した。また、同図では、P拡散領域に囲まれたN-拡散領域によって構成されるフォトダイオードPD、転送トランジスタTGLのゲート電極、排出トランジスタOFGのゲート電極に加え、アクセストランジスタHVのソース電極、ドレイン電極及びゲート電極に加え、対応するN+拡散領域を図示している。アクセストランジスタHVのゲート電極は、OFG_Vと表し、アクセストランジスタHVのドレイン電極は、OFG_Vと表している。
フォトダイオードPDは、N-型拡散領域及び周囲のP拡散領域の界面のpn接合により構成される。フォトダイオードPDにおいて、光電変換により生成された電荷のうちの電子がN-拡散領域に蓄積され、転送トランジスタTGLにより転送される。
配線領域140は、素子に信号を伝達する配線と、配線を絶縁する絶縁層を備える。絶縁層は、酸化シリコン(SiO2)等の絶縁物により構成することができる。
アクセストランジスタHVがオフの際、排出トランジスタOFGのフローティングによって、排出トランジスタOFGのゲート電極からのリーク電流が懸念される。そのため、本実施形態では、高濃度N型半導体から構成されるディープNウェル領域を設けており、アクセストランジスタHVの電位を他の画素内の領域、この例ではP型の半導体基板130から分離している。これにより、PN順方向バイアスに伴うリーク電流を抑制によることができる。また、アクセストランジスタHVのドレイン電極に負バイアスを印加する。
この構成により、アクセストランジスタHVにおいて、P型の半導体基板130(0V電位)とN+拡散領域(負電位)のPN順方向バイアスに伴うリーク電流によって、電荷が浮いてくることを抑制することができる。
また、リーク電流により、電荷が逃げることをさらに抑制するため、制御部15の制御によって、毎水平期間、アクセストランジスタHVのドレイン電極に負電位をチャージしてもよい。
図15は、第1実施形態の第3変形例におけるフォトダイオードPD付近の別の概略断面図である。
図15では、ディープNウェル領域は設けられていない代わりに、排出トランジスタOFGのゲート電極は、P-POLYで形成されている。仕事関数差を用いてピニングとることにより、アクセストランジスタHVがオフの際に、排出トランジスタOFGのフローティングによる、排出トランジスタOFGのゲート電極からのリーク電流を防止することができる。
また、排出トランジスタOFGのゲート電極をP-POLYで形成するのに加えて、制御部15の制御によって、アクセストランジスタHVのドレイン電極に毎水平期間、GNDをチャージしてもよい。また、正昇圧チャージポンプを用いて、排出トランジスタOFGのゲート電極の電圧をGND以上に昇圧してもよい。これにより、さらにリーク電流を防止することができる。
本実施形態及び各変形例によれば、固体撮像装置10は、画素アレイ部20に不規則なタイミングでオン状態となるアクセストランジスタHVを備える。固体撮像装置10は、制御部15の制御によって、アクセストランジスタHVをオンとすることにより、行や列毎に同様な状態とすることなく、画素毎に複数パターンの露光時間を設定することができ、ハイダイナミックレンジを実現することができる。
また、本実施形態及び各変形例によれば、固体撮像装置10は、制御部15の制御によってアクセストランジスタHVをランダムにオンとするため、簡易な制御でハイダイナミックレンジを実現することができる。
また、本実施形態及び第1、2変形例によれば、アクセストランジスタHVは、2つのゲート電極で構成されており、トランジスタを構成するN型チャネル層は、電源電圧VDDに接続されるN型拡散領域よりも濃度が低い。これにより、第1実施形態のように、ディープNウェル領域を設ける必要がなく、回路の面積を小さくすることができる。
また、本実施形態及び各変形例によれば、固体撮像装置10は、各画素100にアクセストランジスタHVを備え、これらのトランジスタを不規則なタイミングでオンとすることにより、時間的及び空間的に電荷の蓄積状況を変えることができる。
(第2実施形態)
図16は、第2実施形態における画素100の回路図の例である。
図16は、第2実施形態における画素100の回路図の例である。
本実施形態では、画素100は、フォトダイオードPD、選択トランジスタSEL、増幅トランジスタAMP、接続トランジスタFDG、リセットトランジスタRST、フローティングディフュージョンFD1、フローティングディフュージョンFD2及びアクセストランジスタHVを備える。固体撮像装置10の構成は、上述した構成と同様であるため、説明を省略する。
本実施形態では、アクセストランジスタHVのドレイン電極は、フォトダイオードPDのアノード側に接続され、ドレイン電極は、フローティングディフュージョンFD1、接続トランジスタFDGのソース電極及び増幅トランジスタAMPのゲート電極に接続されている。画素100は、FD2や接続トランジスタFDGを備えていない構成であってもよい。
アクセストランジスタHV、接続トランジスタFDG及びリセットトランジスタRSTがオンとなると、フォトダイオードPDに蓄積された電荷が初期化される。アクセストランジスタHVは、転送トランジスタTGLと同様の役割を有する。また、例えば、リセットトランジスタRSTのみをオンとした場合、画素100は、フローティングディフュージョンFD2に蓄積された電荷のみを初期化することができる。このように、制御部15が各トランジスタを制御することによって、フォトダイオードPD、フローティングディフュージョンFD1及びFD2の全ての電荷を初期化したり、フローティングディフュージョンFD1及びFD2のみを選択して初期化することもできる。
図17は、第2実施形態の第1変形例における画素100の回路図の例である。
本変形例では、画素100は、フォトダイオードPD、転送トランジスタTGL、選択トランジスタSEL、増幅トランジスタAMP、フローティングディフュージョンFD1、フローティングディフュージョンFD2、アクセストランジスタHV及び接続トランジスタFDGを備える。この構成では、画素100は、リセットトランジスタRSTの代わりに、アクセストランジスタHVが配置される。
本変形例では、アクセストランジスタHVのドレイン電極がフローティングディフュージョンFD2に接続されており、アクセストランジスタHVのソース電極が電源電圧VDDに接続されている。アクセストランジスタHVは、RST_H及びRST_Vの電位がいずれもHighの時、オンとなる。アクセストランジスタHVがオンになると、フローティングディフュージョンFD2の電荷が初期化される。また、アクセストランジスタHVがオンになるのに加えて、接続トランジスタFDGがオンとなった場合、フローティングディフュージョンFD1の電荷も初期化される。
図18は、第2実施形態の第1変形例におけるフォトダイオードPDとフローティングディフュージョンFD2の電荷の蓄積量の関係を示す図である。
図18では、横軸は時間軸を示しており、縦軸はフォトダイオードPDまたはフローティングディフュージョンFD2の電荷の蓄積量を示している。この図では、フローティングディフュージョンFD2の電荷の蓄積期間を薄い灰色で示しており、フォトダイオードPDの電荷の排出時の動作を濃い灰色で示している。
まず、時刻T1’では、画素アレイ部20では、制御部15の制御によって、フォトダイオードPDに電荷が蓄えられる。この時点では、フォトダイオードPDには、電荷が飽和するまで蓄えられる。時刻T2’では、フォトダイオードPDの電荷が飽和し、時刻T3’にかけて、フローティングディフュージョンFD2に電荷が蓄えられる。
時刻T3’では、アクセストランジスタHVがオンとなり、フローティングディフュージョンFD2に蓄積された電荷が初期化される。時刻T3’~T4’では、再びフローティングディフュージョンFD2に電荷が飽和するまで蓄えられる。
時刻T4’では、アクセストランジスタHVがオンとなり、フローティングディフュージョンFD2に蓄積された電荷が初期化される。時刻T4’~T5’では、T3’~T4’と同様に、フローティングディフュージョンFD2に電荷が蓄えられる。
図19は、第2実施形態の第2変形例における画素100の回路図の例である。
本変形例では、画素100は、フォトダイオードPD、転送トランジスタTGL、選択トランジスタSEL、増幅トランジスタAMP、フローティングディフュージョンFD1、フローティングディフュージョンFD2、リセットトランジスタRST及びアクセストランジスタHVを備える。この構成では、画素100は、接続トランジスタFDGの代わりに、アクセストランジスタHVが配置される。
本変形例では、アクセストランジスタHVのドレイン電極がフローティングディフュージョンFD1に接続されており、アクセストランジスタHVのソース電極がフローティングディフュージョンFD2に接続されている。アクセストランジスタHVは、FDG_H及びFDG_Vの電位がいずれもHighの時、オンとなる。アクセストランジスタHVがオンになると、フローティングディフュージョンFD1とFD2が接続され、フローティングディフュージョン全体としての容量値が増加する。つまり、アクセストランジスタHVは、電荷から電圧への変換容量を変化させる役割を有している。
画素100における変換容量の容量値が大きくなると、電荷から電圧への変換効率が低くなる。また、アクセストランジスタHVがオフになると、フローティングディフュージョンFD1とFD2が切断され、容量値が低下する。画素100における変換容量の容量値が小さくなると、電荷から電圧への変換効率が高くなる。このように、電荷の読出し期間において、各画素100は、アクセストランジスタHVをオンまたはオフとすることにより、変換効率を切り替えることができる。
変換効率を切り替えた場合、読出し期間において、各画素100からは、低変換利得(LCG)の画素信号と高変換利得(HCG)の画素信号のうち、いずれかが出力されることになる。これらの画素信号を、信号処理部16で合成することにより、ハイダイナミックレンジを実現することができる。
本実施形態及び各変形例によれば、固体撮像装置10は、転送トランジスタTGLの代わりに不規則なタイミングでオン状態となるアクセストランジスタHVを備える。制御部15の制御によって、アクセストランジスタHVをオンとすることにより、画素毎に複数パターンの露光時間を設定できるほか、接続トランジスタFDG及びリセットトランジスタRST側からフォトダイオードPDの電荷を初期化することができる。
(第3実施形態)
図20は、第3実施形態における撮像装置2の構成例である。
図20は、第3実施形態における撮像装置2の構成例である。
本実施形態では、撮像装置2は、撮像部300、信号処理部310及び認識部320を備える。以下では、画素100から出力される信号の大きさのことを感度とも呼ぶ。つまり、各画素100にはアクセストランジスタHVが備えられており、不規則なタイミングで各画素100が初期化されるため、画素アレイ部20には、感度が異なる複数の画素100が存在することとなる。
撮像部300は、例えば、固体撮像装置10である。撮像部300は、第1~第2実施形態及び各変形例で述べた画素100含み(以下では、画素100単位で露光時間の変更が可能であり、感度が画素単位で異なったセンサを、感度ばらつき拡大センサとも呼ぶ)、センサ出力として感度ばらつき拡大センサにより撮像された撮像画像を出力する。撮像部300から出力された撮像画像は、信号処理部310に供給される。
信号処理部310は、感度ばらつき補正部と、飽和補正部とを含む。感度ばらつき補正部は、感度ばらつき補正データに基づき撮像画像の感度ばらつきを補正する。飽和補正部は、感度ばらつき補正部により撮像画像の感度ばらつきが補正された画像に対して、飽和画素情報に基づき飽和補正を行う。信号処理部310で撮像画像が感度ばらつき補正及び飽和補正された画像は、認識部320に供給される。上述した固体撮像装置10内の信号処理部16でこれらの処理を行ってもよく、また、別のブロックとして信号処理部310を設けてもよい。
図21は、第3実施形態における撮像装置2の動作を説明するための模式図である。
本開示に係る撮像装置2は、感度ばらつき拡大センサにより撮像を行い、当該感度ばらつき拡大センサのセンサ出力として撮像画像を取得する(ステップS1)。撮像画像は、画像4aに模式的に示すように、画素単位の感度ばらつきによりノイズを含む画像となる。画像4aは、例えば視認することが極めて困難な画像である。
撮像装置2は、感度ばらつき拡大センサにより取得された撮像画像(画像4a)の感度ばらつきを、当該感度ばらつき拡大センサにおける画素単位の感度ばらつきを補正するための補正データである感度ばらつき補正データを用いて補正する(ステップS2)。感度ばらつき補正データを用いて補正された画像は、画像4bに模式的に示すように、補正前の画像4aと比較してノイズが抑えられている。
感度ばらつき補正データは、例えば感度ばらつき拡大センサに対するキャリブレーションにより取得してよい。これに限らず、感度ばらつき補正データは、当該感度ばらつき拡大センサの動作に応じて推定(オンライン推定)して取得してもよい。
ステップS2で補正された画像4bは、画素値が飽和した飽和画素を含んでいる可能性がある。そのため、撮像装置2は、ステップS2で補正された画像4bに対して、所定光量の光の照射で飽和する画素による飽和画素領域を示す飽和画素情報を用いて飽和補正を行う(ステップS3)。飽和画素情報を用いて補正された画像は、画像4cに模式的に示すように、ノイズがほぼ消滅した画像となる。画像4cは、上述の画像4a及び4bと異なり、視認も容易な画像となっている。
飽和画素情報は、例えば感度ばらつき拡大センサに対して一定以上の光量を照射した場合のセンサ出力に対する閾値判定により取得してよい。これに限らず、飽和画素情報は、感度ばらつき拡大センサに対する飽和に係るキャリブレーションにより取得してよい。
撮像装置2は、例えば、ステップS3で補正された画像4cに対して、認識処理を実行してよい(ステップS4)。認識処理は、例えば予め学習されたモデルを適用したニューラルネットワークを用いて実行される。画像4dは、認識処理により検出されたオブジェクトに対して矩形のバウンディングボックス5が設定されている様子を模式的に示している。
なお、本開示に係る認識処理は、ニューラルネットワークを用いた処理に限定されない。例えば、本開示に係る認識処理は、学習が可能であり、かつ学習されたモデルを用いて実行されるものであれば、他の手段を適用することも可能である。
また、本実施形態では、インターネット等通信を行うためのネットワークを、通信ネットワークとも記述し、ニューラルネットワークと区別する。
感度ばらつき拡大センサにより撮像された撮像画像に対して、感度ばらつき補正処理(ステップS2)と飽和補正処理(ステップS3)とを施した画像4cは、一般的なセンサにより取得された撮像画像と比較して、ダイナミックレンジが拡大された画像となっている。そのため、撮像装置2を適用することで、より高精度な認識結果を得ることが可能となる。
図22は、第3実施形態における第2のシステム構成を示す一例のブロック図である。
図22に示される撮像システム2bは、撮像部300を含む撮像装置2と、信号処理装置311と、認識処理装置321を含む。信号処理装置311は、図20を用いて説明した撮像装置2における信号処理部310と同等の機能を有する。同様に、認識処理装置321は、撮像装置2における認識部320と同等の機能を有する。
すなわち、上述した第1のシステム構成では、撮像部300、信号処理部310及び認識部320が1つの撮像装置2内に含まれて構成されていた。これに対して、第2のシステム構成では、撮像装置2と、信号処理装置311と、認識処理装置321と、が互いに独立した装置として構成されている。
第2のシステム構成では、撮像装置2と信号処理装置311との間の通信、及び信号処理装置311と認識処理装置321との間の通信を行う通信方式として、それぞれ有線通信及び無線通信のいずれの通信方式を適用してよい。また、信号処理装置311及び認識処理装置321の一方または両方を、通信ネットワークを介した通信により接続してもよいし、これらをクラウドネットワーク上の構成としてもよい。
図23は、第3実施形態における第3のシステム構成を示す一例のブロック図である。
図23に示される撮像システム2bは、撮像部300を含む撮像装置2と、信号処理部310及び認識部320を含む情報処理装置220を含む。
情報処理装置220は、例えばコンピュータであって、信号処理部310及び認識部320は、例えば、コンピュータ上で所定のプログラムが動作することで構成される。これに限らず、信号処理部310及び認識部320の一方または両方を、互いに協働して動作するハードウェア回路により構成してもよい。
第3のシステム構成では、撮像装置2と情報処理装置220との間の通信を行う通信方式として、それぞれ有線通信及び無線通信のいずれの通信方式を適用してよい。また、情報処理装置220は、撮像装置10bと通信ネットワーク介して接続されるサーバ装置であってもよいし、クラウドネットワーク上の構成であってもよい。
図24は、第3のシステム構成に適用可能な、情報処理装置220の一例のハードウェア構成を示すブロック図である。
図24において、情報処理装置220は、それぞれバス2020により互いに通信可能に接続された、CPU2000と、ROM(Read Only Memory)2001と、RAM(Random Access Memory)2002と、表示制御部2003と、ストレージ装置2004と、入力デバイス2005と、データI/F2006と、通信I/F2007と、カメラI/F2008を含む。
ストレージ装置2004は、例えばフラッシュメモリやハードディスクドライブといった不揮発性の記憶媒体である。CPU2000は、ストレージ装置2004や’ROM2001に記憶されるプログラムに従い、RAM2002をワークメモリとして用いて、この情報処理装置220の全体の動作を制御する。
表示制御部2003は、CPU2000によりプログラムに従い生成された表示制御情報に基づき、表示装置2010が表示可能な表示信号を生成する。表示制御部2003は、生成した表示信号を表示装置2010に供給する。表示装置2010は、表示制御部2003から供給された表示信号に応じた画面を表示する。
入力デバイス2005は、ユーザによる入力操作を受け付けるデバイスであって、例えばマウス等のポインティングデバイス、キーボード、タッチパッドを適用してよい。入力デバイス2005は、ユーザによる入力操作に応じた制御信号を出力する。
データI/F2006は、外部の機器との間で、有線通信や無線通信によりデータの入出力を行う。通信I/F2007は、通信ネットワークを介した通信を行う。カメラI/F2008は、撮像装置10bとの間で制御コマンドや撮像画像の送受信を行うためのインタフェースである。データI/F2006をカメラI/F2008として用いることも可能である。
情報処理装置220において、CPU2000は、本開示に係る情報処理プログラムが実行されることで、上述した信号処理部310及び認識部320を、RAM2002における主記憶領域上に、それぞれ例えばモジュールとして構成する。
当該情報処理プログラムは、通信I/F2007を介した通信により、インターネット等の通信ネットワークを介して外部から取得し、当該情報処理装置220上にインストールすることが可能とされている。これに限らず、当該情報処理プログラムは、外部からデータI/F2006を介して提供されてもよい。さらに、当該情報処理プログラムは、CD(Compact Disk)やDVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリといった着脱可能な記憶媒体に記憶されて提供されてもよい。
なお、図24に示した構成は、上述した第2のシステム構成における信号処理装置311及び認識処理装置321の一方または両方に適用することもできる。
以下では、図20で取りあげた撮像部300、信号処理部310及び認識部320を含む撮像装置2を取り上げて説明を行う。
信号処理部310は、撮像画像について、感度ばらつきの補正を行い感度ばらつき補正画像の生成を行う。また、信号処理部310は、感度ばらつき補正画像の飽和補正を行い、飽和領域補正画像を生成する。これらの補正は、公知の技術によって行われる。
図25は、第3実施形態に係る撮像装置2の機能を説明するための一例の機能ブロック図である。
図25において、撮像装置2は、感度ばらつき拡大センサ400と、感度ばらつき補正部401と、飽和領域補正部402と、飽和領域推定部403を含む。撮像システム2bは、認識部430をさらに含めてもよい。
これらのうち、感度ばらつき補正部401、飽和領域補正部402及び飽和領域推定部403は、上述した信号処理部310あるいは信号処理装置311に含まれる機能である。また、認識部430は、上述した認識部320または認識処理装置321に対応する。
以下では、図20で取りあげた撮像部300、信号処理部310及び認識部320を含む撮像装置2を取り上げて説明を行う。
感度ばらつき拡大センサ400は、撮像により得られたセンサ出力(撮像画像)を、感度ばらつき画像として、感度ばらつき補正部401及び飽和領域推定部403に供給する。
感度ばらつき補正部401は、感度ばらつき拡大センサ400から供給された感度ばらつき画像に対して、ばらつき補正マップ410を用いて感度ばらつき補正処理を実行する。ばらつき補正マップ410は、画素アレイ部20の全領域における各画素100、あるいは、少なくとも有効画素領域における各画素100の感度に基づき、例えば予め作成され、撮像装置2が有するメモリ等の記憶媒体に保持される。感度ばらつき補正部401は、感度ばらつき画像の感度ばらつきを補正した感度ばらつき補正画像を、飽和領域補正部402に供給する。
飽和領域推定部403は、感度ばらつき拡大センサ400から供給された感度ばらつき画像に基づき、画素アレイ部20における飽和領域を推定する。例えば、撮像装置2は、感度ばらつき拡大センサ400において所定以上の光量の光により飽和する領域を示す飽和閾値マップ420を予め作成する。飽和領域推定部403は、飽和閾値マップ420を参照して、感度ばらつき拡大センサ400から供給された感度ばらつき画像において飽和している飽和画素を推定し、推定結果に基づき飽和領域マップを生成する。飽和領域推定部403は、生成した飽和領域マップを飽和領域補正部402に渡す。
飽和領域補正部402は、飽和領域推定部403から渡された飽和領域マップを用いて、感度ばらつき補正部401から供給された感度ばらつき補正画像の飽和補正を行う。飽和領域補正部402は、感度ばらつき補正画像が飽和補正された飽和領域補正画像を、認識部430に渡す。
認識部430は、飽和領域補正部402から供給された飽和領域補正画像に対して、予め学習された学習モデルを適用したニューラルネットワークを用いて認識処理を実行する。認識部430は、飽和領域補正画像に対する認識処理により得られた認識結果を出力する。
なお、認識部430を学習させるための学習データは、例えば、当該認識部430を含む撮像装置2が有する感度ばらつき拡大センサ400により撮像された感度ばらつき画像に基づきデータベースを構築することで取得してよい。これに限らず、学習データは、感度ばらつきが想定されない、非感度ばらつきセンサにより撮像された撮像画像に基づき感度ばらつきをシミュレーションして生成した感度ばらつき画像を用いて取得してもよい。
上述の例では、飽和領域補正画像を用いて認識処理を実行する例を説明したが、例えば、認識部430は、感度ばらつき画像を入力として認識処理を行い、認識結果を出力してもよい。すなわち、画素アレイ部20に含まれる各画素100を全て含むプレーンがニューラルネットワークに入力される。
例えば、認識部430は、RGBといった3チャネルや、RGBWといった4チャネルの各プレーンの入力に基づいて、これらのプレーンを初段で結合して、認識処理等を行うことが考えられる。認識部430は、例えば、各プレーンが所定に結合された情報に基づき、ニューラルネットワークを学習させてよい。
本実施形態によれば、撮像装置2は、感度の異なる画素100による撮像画像を入力とする学習モデルを用いた認識処理を行う。撮像装置2は、ダイナミックレンジの広い画像を用いて認識処理を行うため、高精度な認識結果を得ることができる。
(第4実施形態)
図26は、第4実施形態におけるにおける撮像装置2の構成例である。
図26は、第4実施形態におけるにおける撮像装置2の構成例である。
本実施形態における撮像装置2は、撮像部300及びブラー除去部440を備える。撮像部300は、例えば、固体撮像装置10である。撮像部300は、第1~第2実施形態及び各変形例で述べた画素100含み、画素ごとに露光時間の異なる撮像画像を生成可能である。撮像部300から出力された撮像画像は、ブラー除去部440に供給される。本実施形態におけるブラー除去部440は、ブラーを含む動画像等、複数の撮像画像を入力として、学習モデルを用いてブラーを除去した再構築画像を出力する。
図27は、第4実施形態における撮像装置2の動作を説明するための模式図である。
撮像部300は、動画等の時間軸が異なる複数の撮像画像を生成し、これらの撮像画像をブラー除去部440に入力する。この図では、1枚の撮像画像は、x方向及びy方向のそれぞれの画素によって構成されていることを示しており、さらに時間軸tに沿って複数の画像がブラー除去部440に入力され、またはブラー除去部440から出力されていることを示している。
ブラー除去部は、複数の撮像画像を入力として、ブラーを除去した複数の再構築画像を出力する学習モデルを含む。ブラーの除去は、例えば符号化露光法によって実現される。ブラー除去部440は、入力する撮像画像に対して、サンプリング関数を用いて符号化画像を生成し、この符号化画像に基づいて再構築画像を生成してもよい。
例えば、学習モデルは、動画を入力として、K-SVDアルゴリズムを用いて、エッジ等、動画の特徴や構造の学習を行う。撮像装置2の活用シーンが特定されている場合(例えば、横断歩道上の動体検知等)、学習モデルは、活用シーンに応じた特定の種類の動画を用いて学習を行ってもよい。
本実施形態によれば、撮像装置2は、露光時間の異なる画素100による複数の撮像画像を入力とする学習モデルを用いて、ブラーを除去した複数の再構築画像を出力する。露光時間の異なる画素100を用いることにより、ハイダイナミックレンジを実現し、精度の高い再構築画像を出力することができる。
<<車両制御システムの構成例>>
図28は、本技術が適用される移動装置制御システムの一例である車両制御システム11の構成例を示すブロック図である。
図28は、本技術が適用される移動装置制御システムの一例である車両制御システム11の構成例を示すブロック図である。
車両制御システム11は、車両1に設けられ、車両1の走行支援及び自動運転に関わる処理を行う。
車両制御システム11は、車両制御ECU(Electronic Control Unit)21、通信部22、地図情報蓄積部23、位置情報取得部24、外部認識センサ25、車内センサ26、車両センサ27、記憶部28、走行支援・自動運転制御部29、DMS(Driver Monitoring System)30、HMI(Human Machine Interface)31、及び、車両制御部32を備える。
車両制御ECU21、通信部22、地図情報蓄積部23、位置情報取得部24、外部認識センサ25、車内センサ26、車両センサ27、記憶部28、走行支援・自動運転制御部29、ドライバモニタリングシステム(DMS)30、ヒューマンマシーンインタフェース(HMI)31、及び、車両制御部32は、通信ネットワーク41を介して相互に通信可能に接続されている。通信ネットワーク41は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)、イーサネット(登録商標)といったデジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク41は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してCANが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム11の各部は、通信ネットワーク41を介さずに、例えば近距離無線通信(NFC(Near Field Communication))やBluetooth(登録商標)といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
なお、以下、車両制御システム11の各部が、通信ネットワーク41を介して通信を行う場合、通信ネットワーク41の記載を省略するものとする。例えば、車両制御ECU21と通信部22が通信ネットワーク41を介して通信を行う場合、単に車両制御ECU21と通信部22とが通信を行うと記載する。
車両制御ECU21は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)といった各種のプロセッサにより構成される。車両制御ECU21は、車両制御システム11全体又は一部の機能の制御を行う。
通信部22は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部22は、複数の通信方式を用いて通信を行うことができる。
通信部22が実行可能な車外との通信について、概略的に説明する。通信部22は、例えば、5G(第5世代移動通信システム)、LTE(Long Term Evolution)、DSRC(Dedicated Short Range Communications)等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ(以下、外部のサーバと呼ぶ)等と通信を行う。通信部22が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部22が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でデジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
また例えば、通信部22は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、MTC(Machine Type Communication)端末である。さらに、通信部22は、V2X通信を行うこともできる。V2X通信とは、例えば、他の車両との間の車車間(Vehicle to Vehicle)通信、路側器等との間の路車間(Vehicle to Infrastructure)通信、家との間(Vehicle to Home)の通信、及び、歩行者が所持する端末等との間の歩車間(Vehicle to Pedestrian)通信等の、自車と他との通信をいう。
通信部22は、例えば、車両制御システム11の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる(Over The Air)。通信部22は、さらに、地図情報、交通情報、車両1の周囲の情報等を外部から受信することができる。また例えば、通信部22は、車両1に関する情報や、車両1の周囲の情報等を外部に送信することができる。通信部22が外部に送信する車両1に関する情報としては、例えば、車両1の状態を示すデータ、認識部73による認識結果等がある。さらに例えば、通信部22は、eコール等の車両緊急通報システムに対応した通信を行う。
例えば、通信部22は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム(VICS(Vehicle Information and Communication System)(登録商標))により送信される電磁波を受信する。
通信部22が実行可能な車内との通信について、概略的に説明する。通信部22は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部22は、例えば、無線LAN、Bluetooth、NFC、WUSB(Wireless USB)といった、無線通信により所定以上の通信速度でデジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部22は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部22は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部22は、例えば、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)(登録商標)、MHL(Mobile High-definition Link)といった、有線通信により所定以上の通信速度でデジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
ここで、車内の機器とは、例えば、車内において通信ネットワーク41に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
地図情報蓄積部23は、外部から取得した地図及び車両1で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部23は、3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の4層からなる地図であり、外部のサーバ等から車両1に提供される。ポイントクラウドマップは、ポイントクラウド(点群データ)により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ADAS(Advanced Driver Assistance System)やAD(Autonomous Driving)に適合させた地図である。
ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ51、レーダ52、LiDAR53等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両1で作成され、地図情報蓄積部23に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両1がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
位置情報取得部24は、GNSS(Global Navigation Satellite System)衛星からGNSS信号を受信し、車両1の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部29に供給される。なお、位置情報取得部24は、GNSS信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
外部認識センサ25は、車両1の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。外部認識センサ25が備えるセンサの種類や数は任意である。
例えば、外部認識センサ25は、カメラ51、レーダ52、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)53、及び、超音波センサ54を備える。これに限らず、外部認識センサ25は、カメラ51、レーダ52、LiDAR53、及び、超音波センサ54のうち1種類以上のセンサを備える構成でもよい。カメラ51、レーダ52、LiDAR53、及び、超音波センサ54の数は、現実的に車両1に設置可能な数であれば特に限定されない。また、外部認識センサ25が備えるセンサの種類は、この例に限定されず、外部認識センサ25は、他の種類のセンサを備えてもよい。外部認識センサ25が備える各センサのセンシング領域の例は、後述する。
なお、カメラ51の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ51に適用することができる。これに限らず、カメラ51は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
また、例えば、外部認識センサ25は、車両1に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
さらに、例えば、外部認識センサ25は、車両1の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
車内センサ26は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車内センサ26が備える各種センサの種類や数は、現実的に車両1に設置可能な種類や数であれば特に限定されない。
例えば、車内センサ26は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち1種類以上のセンサを備えることができる。車内センサ26が備えるカメラとしては、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ26が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ26が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
車両センサ27は、車両1の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車両センサ27が備える各種センサの種類や数は、現実的に車両1に設置可能な種類や数であれば特に限定されない。
例えば、車両センサ27は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、及び、それらを統合した慣性計測装置(IMU(Inertial Measurement Unit))を備える。例えば、車両センサ27は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ27は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ27は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
記憶部28は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部28は、例えばEEPROM(Electrically Erasable Programmable Read Only Memory)及びRAM(Random Access Memory)として用いられ、記憶媒体としては、HDD(Hard Disc Drive)といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部28は、車両制御システム11の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部28は、EDR(Event Data Recorder)やDSSAD(Data Storage System for Automated Driving)を備え、事故等のイベントの前後の車両1の情報や車内センサ26によって取得された情報を記憶する。
走行支援・自動運転制御部29は、車両1の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部29は、分析部61、行動計画部62、及び、動作制御部63を備える。
分析部61は、車両1及び周囲の状況の分析処理を行う。分析部61は、自己位置推定部71、センサフュージョン部72、及び、認識部73を備える。
自己位置推定部71は、外部認識センサ25からのセンサデータ、及び、地図情報蓄積部23に蓄積されている高精度地図に基づいて、車両1の自己位置を推定する。例えば、自己位置推定部71は、外部認識センサ25からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両1の自己位置を推定する。車両1の位置は、例えば、後輪対車軸の中心が基準とされる。
ローカルマップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いて作成される3次元の高精度地図、占有格子地図(Occupancy Grid Map)等である。3次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両1の周囲の3次元又は2次元の空間を所定の大きさのグリッド(格子)に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部73による車両1の外部の状況の検出処理及び認識処理にも用いられる。
なお、自己位置推定部71は、位置情報取得部24により取得される位置情報、及び、車両センサ27からのセンサデータに基づいて、車両1の自己位置を推定してもよい。
センサフュージョン部72は、複数の異なる種類のセンサデータ(例えば、カメラ51から供給される画像データ、及び、レーダ52から供給されるセンサデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
認識部73は、車両1の外部の状況の検出を行う検出処理、及び、車両1の外部の状況の認識を行う認識処理を実行する。
例えば、認識部73は、外部認識センサ25からの情報、自己位置推定部71からの情報、センサフュージョン部72からの情報等に基づいて、車両1の外部の状況の検出処理及び認識処理を行う。
具体的には、例えば、認識部73は、車両1の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
例えば、認識部73は、レーダ52又はLiDAR53等によるセンサデータに基づくポイントクラウドを点群の塊ごとに分類するクラスタリングを行うことにより、車両1の周囲の物体を検出する。これにより、車両1の周囲の物体の有無、大きさ、形状、位置が検出される。
例えば、認識部73は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両1の周囲の物体の動きを検出する。これにより、車両1の周囲の物体の速度及び進行方向(移動ベクトル)が検出される。
例えば、認識部73は、カメラ51から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部73は、セマンティックセグメンテーション等の認識処理を行うことにより、車両1の周囲の物体の種類を認識してもよい。
例えば、認識部73は、地図情報蓄積部23に蓄積されている地図、自己位置推定部71による自己位置の推定結果、及び、認識部73による車両1の周囲の物体の認識結果に基づいて、車両1の周囲の交通ルールの認識処理を行うことができる。認識部73は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
例えば、認識部73は、車両1の周囲の環境の認識処理を行うことができる。認識部73が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
行動計画部62は、車両1の行動計画を作成する。例えば、行動計画部62は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両1の運動特性を考慮して、車両1の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)を行う処理も含まれる。
経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部62は、例えば、この経路追従の処理の結果に基づき、車両1の目標速度と目標角速度を計算することができる。
動作制御部63は、行動計画部62により作成された行動計画を実現するために、車両1の動作を制御する。
例えば、動作制御部63は、後述する車両制御部32に含まれる、ステアリング制御部81、ブレーキ制御部82、及び、駆動制御部83を制御して、軌道計画により計算された軌道を車両1が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部63は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部63は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
DMS30は、車内センサ26からのセンサデータ、及び、後述するHMI31に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
なお、DMS30が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS30が、車内センサ26からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
HMI31は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
HMI31によるデータの入力について、概略的に説明する。HMI31は、人がデータを入力するための入力デバイスを備える。HMI31は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム11の各部に供給する。HMI31は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、HMI31は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、HMI31は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム11の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
HMI31によるデータの提示について、概略的に説明する。HMI31は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、HMI31は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。HMI31は、視覚情報として、例えば、操作画面、車両1の状態表示、警告表示、車両1の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、HMI31は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、HMI31は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
HMI31が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、HMI31は、車両1に設けられるナビゲーション装置、インストルメントパネル、CMS(Camera Monitoring System)、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
HMI31が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
HMI31が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両1の搭乗者が接触する部分に設けられる。
車両制御部32は、車両1の各部の制御を行う。車両制御部32は、ステアリング制御部81、ブレーキ制御部82、駆動制御部83、ボディ系制御部84、ライト制御部85、及び、ホーン制御部86を備える。
ステアリング制御部81は、車両1のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部81は、例えば、ステアリングシステムの制御を行うステアリングECU、ステアリングシステムの駆動を行うアクチュエータ等を備える。
ブレーキ制御部82は、車両1のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS(Antilock Brake System)、回生ブレーキ機構等を備える。ブレーキ制御部82は、例えば、ブレーキシステムの制御を行うブレーキECU、ブレーキシステムの駆動を行うアクチュエータ等を備える。
駆動制御部83は、車両1の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部83は、例えば、駆動システムの制御を行う駆動ECU、駆動システムの駆動を行うアクチュエータ等を備える。
ボディ系制御部84は、車両1のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部84は、例えば、ボディ系システムの制御を行うボディ系ECU、ボディ系システムの駆動を行うアクチュエータ等を備える。
ライト制御部85は、車両1の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部85は、ライトの制御を行うライトECU、ライトの駆動を行うアクチュエータ等を備える。
ホーン制御部86は、車両1のカーホーンの状態の検出及び制御等を行う。ホーン制御部86は、例えば、カーホーンの制御を行うホーンECU、カーホーンの駆動を行うアクチュエータ等を備える。
図29は、図28の外部認識センサ25のカメラ51、レーダ52、LiDAR53、及び、超音波センサ54等によるセンシング領域の例を示す図である。なお、図28において、車両1を上面から見た様子が模式的に示され、左端側が車両1の前端(フロント)側であり、右端側が車両1の後端(リア)側となっている。
センシング領域101F及びセンシング領域101Bは、超音波センサ54のセンシング領域の例を示している。センシング領域101Fは、複数の超音波センサ54によって車両1の前端周辺をカバーしている。センシング領域101Bは、複数の超音波センサ54によって車両1の後端周辺をカバーしている。
センシング領域101F及びセンシング領域101Bにおけるセンシング結果は、例えば、車両1の駐車支援等に用いられる。
センシング領域102F乃至センシング領域102Bは、短距離又は中距離用のレーダ52のセンシング領域の例を示している。センシング領域102Fは、車両1の前方において、センシング領域101Fより遠い位置までカバーしている。センシング領域102Bは、車両1の後方において、センシング領域101Bより遠い位置までカバーしている。センシング領域102Lは、車両1の左側面の後方の周辺をカバーしている。センシング領域102Rは、車両1の右側面の後方の周辺をカバーしている。
センシング領域102Fにおけるセンシング結果は、例えば、車両1の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域102Bにおけるセンシング結果は、例えば、車両1の後方の衝突防止機能等に用いられる。センシング領域102L及びセンシング領域102Rにおけるセンシング結果は、例えば、車両1の側方の死角における物体の検出等に用いられる。
センシング領域103F乃至センシング領域103Bは、カメラ51によるセンシング領域の例を示している。センシング領域103Fは、車両1の前方において、センシング領域102Fより遠い位置までカバーしている。センシング領域103Bは、車両1の後方において、センシング領域102Bより遠い位置までカバーしている。センシング領域103Lは、車両1の左側面の周辺をカバーしている。センシング領域103Rは、車両1の右側面の周辺をカバーしている。
センシング領域103Fにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域103Bにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域103L及びセンシング領域103Rにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
センシング領域104は、LiDAR53のセンシング領域の例を示している。センシング領域104は、車両1の前方において、センシング領域103Fより遠い位置までカバーしている。一方、センシング領域104は、センシング領域103Fより左右方向の範囲が狭くなっている。
センシング領域104におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
センシング領域105は、長距離用のレーダ52のセンシング領域の例を示している。センシング領域105は、車両1の前方において、センシング領域104より遠い位置までカバーしている。一方、センシング領域105は、センシング領域104より左右方向の範囲が狭くなっている。
センシング領域105におけるセンシング結果は、例えば、ACC(Adaptive Cruise Control)、緊急ブレーキ、衝突回避等に用いられる。
なお、外部認識センサ25が含むカメラ51、レーダ52、LiDAR53、及び、超音波センサ54の各センサのセンシング領域は、図28以外に各種の構成をとってもよい。具体的には、超音波センサ54が車両1の側方もセンシングするようにしてもよいし、LiDAR53が車両1の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、1つでもよいし、複数であってもよい。
以上、実施の形態及びその変形例、適用例ならびに応用例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
また、例えば、本開示は以下のような構成を取ることができる。
(1)
複数の画素が2次元アレイ状に配列された画素アレイ部と、
垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、
水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、
前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、
複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、
前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する、
固体撮像装置。
複数の画素が2次元アレイ状に配列された画素アレイ部と、
垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、
水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、
前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、
複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、
前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する、
固体撮像装置。
(2)
前記アクセストランジスタは、
前記第1駆動信号の入力を受け付ける第1ゲートと、
前記第2駆動信号の入力を受け付ける第2ゲートと含み、
前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い、
(1)に記載の固体撮像装置。
前記アクセストランジスタは、
前記第1駆動信号の入力を受け付ける第1ゲートと、
前記第2駆動信号の入力を受け付ける第2ゲートと含み、
前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い、
(1)に記載の固体撮像装置。
(3)
複数の前記画素のそれぞれは、
フォトダイオードから転送された電荷を蓄積する第1フローティングディフュージョンと、
前記第1フローティングディフュージョンからあふれた電荷を蓄積する第2フローティングディフュージョンとをさらに含む、
(2)に記載の固体撮像装置。
複数の前記画素のそれぞれは、
フォトダイオードから転送された電荷を蓄積する第1フローティングディフュージョンと、
前記第1フローティングディフュージョンからあふれた電荷を蓄積する第2フローティングディフュージョンとをさらに含む、
(2)に記載の固体撮像装置。
(4)
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、前記フォトダイオードに接続される、
(3)に記載の固体撮像装置。
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、前記フォトダイオードに接続される、
(3)に記載の固体撮像装置。
(5)
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記第1フローティングディフュージョンに接続され、
ソース及びドレインのうち他方が、前記フォトダイオードに接続される、
(3)に記載の固体撮像装置。
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記第1フローティングディフュージョンに接続され、
ソース及びドレインのうち他方が、前記フォトダイオードに接続される、
(3)に記載の固体撮像装置。
(6)
前記アクセストランジスタは、前記第1駆動信号及び前記第2駆動信号に基づいて、フォトダイオードに蓄積された電荷の初期化を行う、(1)に記載の固体撮像装置。
前記アクセストランジスタは、前記第1駆動信号及び前記第2駆動信号に基づいて、フォトダイオードに蓄積された電荷の初期化を行う、(1)に記載の固体撮像装置。
(7)
複数の前記画素のそれぞれは、前記アクセストランジスタから供給される第3駆動信号に基づいて、フォトダイオードと、電源電圧とを接続する排出トランジスタをさらに含む、(1)に記載の固体撮像装置。
複数の前記画素のそれぞれは、前記アクセストランジスタから供給される第3駆動信号に基づいて、フォトダイオードと、電源電圧とを接続する排出トランジスタをさらに含む、(1)に記載の固体撮像装置。
(8)
前記アクセストランジスタは、
ゲートが、前記垂直駆動部に接続され、
ソース及びドレインのうち一方が、前記水平駆動部に接続され、
ソース及びドレインのうち他方が、前記排出トランジスタのゲートに接続され、前記第3駆動信号を出力する、
(7)に記載の固体撮像装置。
前記アクセストランジスタは、
ゲートが、前記垂直駆動部に接続され、
ソース及びドレインのうち一方が、前記水平駆動部に接続され、
ソース及びドレインのうち他方が、前記排出トランジスタのゲートに接続され、前記第3駆動信号を出力する、
(7)に記載の固体撮像装置。
(9)
複数の前記画素のそれぞれは、前記アクセストランジスタの電位を前記画素内の領域から分離するウェル構造を有する、(7)に記載の固体撮像装置。
複数の前記画素のそれぞれは、前記アクセストランジスタの電位を前記画素内の領域から分離するウェル構造を有する、(7)に記載の固体撮像装置。
(10)
前記排出トランジスタのゲートは、P-POLYで形成される、(7)に記載の固体撮像装置。
前記排出トランジスタのゲートは、P-POLYで形成される、(7)に記載の固体撮像装置。
(11)
前記不規則なタイミングは、ランダムなタイミングである、(1)に記載の固体撮像装置。
前記不規則なタイミングは、ランダムなタイミングである、(1)に記載の固体撮像装置。
(12)
複数の前記画素のそれぞれは、前記第1フローティングディフュージョンまたは前記第2フローティングディフュージョンからあふれた電荷を保持する保持容量をさらに含み、
前記保持容量は、MIM構造を有する、
(3)に記載の固体撮像装置。
複数の前記画素のそれぞれは、前記第1フローティングディフュージョンまたは前記第2フローティングディフュージョンからあふれた電荷を保持する保持容量をさらに含み、
前記保持容量は、MIM構造を有する、
(3)に記載の固体撮像装置。
(13)
複数の前記画素のそれぞれは、
前記第1フローティングディフュージョンと前記第2フローティングディフュージョンとを接続する接続トランジスタをさらに含み、
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、前記第2フローティングディフュージョンに接続される、
(3)に記載の固体撮像装置。
複数の前記画素のそれぞれは、
前記第1フローティングディフュージョンと前記第2フローティングディフュージョンとを接続する接続トランジスタをさらに含み、
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、前記第2フローティングディフュージョンに接続される、
(3)に記載の固体撮像装置。
(14)
複数の前記画素のそれぞれは、
前記第2フローティングディフュージョンに蓄積した電荷を初期化するリセットトランジスタをさらに含み、
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記第1フローティングディフュージョンに接続され、
ソース及びドレインのうち他方が、前記第2フローティングディフュージョンに接続される、
(3)に記載の固体撮像装置。
複数の前記画素のそれぞれは、
前記第2フローティングディフュージョンに蓄積した電荷を初期化するリセットトランジスタをさらに含み、
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記第1フローティングディフュージョンに接続され、
ソース及びドレインのうち他方が、前記第2フローティングディフュージョンに接続される、
(3)に記載の固体撮像装置。
(15)
固体撮像装置を備える電子機器であって、
撮像画像を入力として受け付けて、認識結果を出力する学習モデルを含む認識部を備え、
前記固体撮像装置は、
複数の画素が2次元アレイ状に配列された画素アレイ部と、
垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、
水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、
前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、
複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、
前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する、
電子機器。
固体撮像装置を備える電子機器であって、
撮像画像を入力として受け付けて、認識結果を出力する学習モデルを含む認識部を備え、
前記固体撮像装置は、
複数の画素が2次元アレイ状に配列された画素アレイ部と、
垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、
水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、
前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、
複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、
前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する、
電子機器。
(16)
前記アクセストランジスタは、
前記第1駆動信号の入力を受け付ける第1ゲートと、
前記第2駆動信号の入力を受け付ける第2ゲートと含み、
前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い、
(15)に記載の電子機器。
前記アクセストランジスタは、
前記第1駆動信号の入力を受け付ける第1ゲートと、
前記第2駆動信号の入力を受け付ける第2ゲートと含み、
前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い、
(15)に記載の電子機器。
(17)
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、フォトダイオードに接続される、
(16)に記載の電子機器。
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、フォトダイオードに接続される、
(16)に記載の電子機器。
(18)
固体撮像装置を備える電子機器であって、
複数の撮像画像を入力として受け付けて、ブラーを除去した複数の再構築画像を出力する学習モデルを含むブラー除去部を備え、
前記固体撮像装置は、
複数の画素が2次元アレイ状に配列された画素アレイ部と、
垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、
水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、
前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、
複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、
前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する、
電子機器。
固体撮像装置を備える電子機器であって、
複数の撮像画像を入力として受け付けて、ブラーを除去した複数の再構築画像を出力する学習モデルを含むブラー除去部を備え、
前記固体撮像装置は、
複数の画素が2次元アレイ状に配列された画素アレイ部と、
垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、
水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、
前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、
複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、
前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する、
電子機器。
(19)
前記アクセストランジスタは、
前記第1駆動信号の入力を受け付ける第1ゲートと、
前記第2駆動信号の入力を受け付ける第2ゲートと含み、
前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い、
(18)に記載の電子機器。
前記アクセストランジスタは、
前記第1駆動信号の入力を受け付ける第1ゲートと、
前記第2駆動信号の入力を受け付ける第2ゲートと含み、
前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い、
(18)に記載の電子機器。
(20)
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、フォトダイオードに接続される、
(19)に記載の電子機器。
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、フォトダイオードに接続される、
(19)に記載の電子機器。
1:車両、2:撮像装置、4a:画像、4b:画像、4c:画像、4d:画像、
5:バウンディングボックス、11:車両制御システム、10:固体撮像装置、
12:垂直駆動部、13:AD変換部、14:水平駆動部、15:制御部、
16:信号処理部、17:データ記憶部、18:入出力部、20:画素アレイ部、
21:車両制御ECU、22:通信部、23:地図情報蓄積部、24:位置情報取得部、
25:外部認識センサ、26:車内センサ、27:車両センサ、28:記憶部、
29:走行支援・自動運転制御部、30:DMS、31:HMI、32:車両制御部、
61:分析部、62:行動計画部、63:動作制御部、71:自己位置推定部、
72:センサフュージョン部、73:認識部、81:ステアリング制御部、
82:ブレーキ制御部、83:駆動制御部、84:ボディ系制御部、
85:ライト制御部、86:ホーン制御部、100:画素、130:半導体基板、
139:信号線、140:配線領域、149:絶縁層、209:信号線、
210:撮像レンズ、10:固体撮像装置、220:情報処理装置、
230:撮像制御部、240:記録部、300:撮像部、310:信号処理部、
320:認識部、400:感度ばらつき拡大センサ、401:感度ばらつき補正部、
402:飽和領域補正部、403:飽和領域推定部、410:ばらつき補正マップ、
420:飽和閾値マップ、430:認識部、440:ブラー除去部
2000:CPU、2001:ROM、2002:RAM、2003:表示制御部、
2004:ストレージ装置、2005:入力デバイス、2006:データI/F、
2007:通信I/F、2008:カメラI/F、2010:表示装置、
2020:バス
5:バウンディングボックス、11:車両制御システム、10:固体撮像装置、
12:垂直駆動部、13:AD変換部、14:水平駆動部、15:制御部、
16:信号処理部、17:データ記憶部、18:入出力部、20:画素アレイ部、
21:車両制御ECU、22:通信部、23:地図情報蓄積部、24:位置情報取得部、
25:外部認識センサ、26:車内センサ、27:車両センサ、28:記憶部、
29:走行支援・自動運転制御部、30:DMS、31:HMI、32:車両制御部、
61:分析部、62:行動計画部、63:動作制御部、71:自己位置推定部、
72:センサフュージョン部、73:認識部、81:ステアリング制御部、
82:ブレーキ制御部、83:駆動制御部、84:ボディ系制御部、
85:ライト制御部、86:ホーン制御部、100:画素、130:半導体基板、
139:信号線、140:配線領域、149:絶縁層、209:信号線、
210:撮像レンズ、10:固体撮像装置、220:情報処理装置、
230:撮像制御部、240:記録部、300:撮像部、310:信号処理部、
320:認識部、400:感度ばらつき拡大センサ、401:感度ばらつき補正部、
402:飽和領域補正部、403:飽和領域推定部、410:ばらつき補正マップ、
420:飽和閾値マップ、430:認識部、440:ブラー除去部
2000:CPU、2001:ROM、2002:RAM、2003:表示制御部、
2004:ストレージ装置、2005:入力デバイス、2006:データI/F、
2007:通信I/F、2008:カメラI/F、2010:表示装置、
2020:バス
Claims (20)
- 複数の画素が2次元アレイ状に配列された画素アレイ部と、
垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、
水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、
前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、
複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、
前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する、
固体撮像装置。 - 前記アクセストランジスタは、
前記第1駆動信号の入力を受け付ける第1ゲートと、
前記第2駆動信号の入力を受け付ける第2ゲートと含み、
前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い、
請求項1に記載の固体撮像装置。 - 複数の前記画素のそれぞれは、
フォトダイオードから転送された電荷を蓄積する第1フローティングディフュージョンと、
前記第1フローティングディフュージョンからあふれた電荷を蓄積する第2フローティングディフュージョンとをさらに含む、
請求項2に記載の固体撮像装置。 - 前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、前記フォトダイオードに接続される、
請求項3に記載の固体撮像装置。 - 前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記第1フローティングディフュージョンに接続され、
ソース及びドレインのうち他方が、前記フォトダイオードに接続される、
請求項3に記載の固体撮像装置。 - 前記アクセストランジスタは、前記第1駆動信号及び前記第2駆動信号に基づいて、フォトダイオードに蓄積された電荷の初期化を行う、請求項1に記載の固体撮像装置。
- 複数の前記画素のそれぞれは、前記アクセストランジスタから供給される第3駆動信号に基づいて、フォトダイオードと、電源電圧とを接続する排出トランジスタをさらに含む、請求項1に記載の固体撮像装置。
- 前記アクセストランジスタは、
ゲートが、前記垂直駆動部に接続され、
ソース及びドレインのうち一方が、前記水平駆動部に接続され、
ソース及びドレインのうち他方が、前記排出トランジスタのゲートに接続され、前記第3駆動信号を出力する、
請求項7に記載の固体撮像装置。 - 複数の前記画素のそれぞれは、前記アクセストランジスタの電位を前記画素内の領域から分離するウェル構造を有する、請求項7に記載の固体撮像装置。
- 前記排出トランジスタのゲートは、P-POLYで形成される、請求項7に記載の固体撮像装置。
- 前記不規則なタイミングは、ランダムなタイミングである、請求項1に記載の固体撮像装置。
- 複数の前記画素のそれぞれは、前記第1フローティングディフュージョンまたは前記第2フローティングディフュージョンからあふれた電荷を保持する保持容量をさらに含み、
前記保持容量は、MIM(Metal Insulator Metal)構造を有する、
請求項3に記載の固体撮像装置。 - 複数の前記画素のそれぞれは、
前記第1フローティングディフュージョンと前記第2フローティングディフュージョンとを接続する接続トランジスタをさらに含み、
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、前記第2フローティングディフュージョンに接続される、
請求項3に記載の固体撮像装置。 - 複数の前記画素のそれぞれは、
前記第2フローティングディフュージョンに蓄積した電荷を初期化するリセットトランジスタをさらに含み、
前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記第1フローティングディフュージョンに接続され、
ソース及びドレインのうち他方が、前記第2フローティングディフュージョンに接続される、
請求項3に記載の固体撮像装置。 - 固体撮像装置を備える電子機器であって、
撮像画像を入力として受け付けて、認識結果を出力する学習モデルを含む認識部を備え、
前記固体撮像装置は、
複数の画素が2次元アレイ状に配列された画素アレイ部と、
垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、
水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、
前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、
複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、
前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する、
電子機器。 - 前記アクセストランジスタは、
前記第1駆動信号の入力を受け付ける第1ゲートと、
前記第2駆動信号の入力を受け付ける第2ゲートと含み、
前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い、
請求項15に記載の電子機器。 - 前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、フォトダイオードに接続される、
請求項16に記載の電子機器。 - 固体撮像装置を備える電子機器であって、
複数の撮像画像を入力として受け付けて、ブラーを除去した複数の再構築画像を出力する学習モデルを含むブラー除去部を備え、
前記固体撮像装置は、
複数の画素が2次元アレイ状に配列された画素アレイ部と、
垂直方向における複数の前記画素に第1駆動信号を供給する垂直駆動部と、
水平方向における複数の前記画素に第2駆動信号を供給する水平駆動部と、
前記水平駆動部及び前記垂直駆動部を制御する制御部とを備え、
複数の前記画素のそれぞれは、前記第1駆動信号及び前記第2駆動信号に基づいて、前記画素内に蓄積された電荷量の制御を行うアクセストランジスタを含み、
前記制御部は、不規則なタイミングで前記第1駆動信号及び前記第2駆動信号を出力するよう前記垂直駆動部及び前記水平駆動部を制御する、
電子機器。 - 前記アクセストランジスタは、
前記第1駆動信号の入力を受け付ける第1ゲートと、
前記第2駆動信号の入力を受け付ける第2ゲートと含み、
前記第1ゲートと、前記第2ゲートとを繋げるN型チャネル層の濃度が、電源電圧に繋がるN型拡散領域よりも濃度が低い、
請求項18に記載の電子機器。 - 前記アクセストランジスタは、
ソース及びドレインのうち一方が、前記電源電圧に接続され、
ソース及びドレインのうち他方が、フォトダイオードに接続される、
請求項19に記載の電子機器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024107714 | 2024-07-03 | ||
| JP2024-107714 | 2024-07-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2026009784A1 true WO2026009784A1 (ja) | 2026-01-08 |
Family
ID=98318522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2025/022815 Pending WO2026009784A1 (ja) | 2024-07-03 | 2025-06-25 | 固体撮像装置及び電子機器 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2026009784A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019069532A1 (ja) * | 2017-10-02 | 2019-04-11 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子および固体撮像装置 |
| JP2020039114A (ja) * | 2018-08-31 | 2020-03-12 | キヤノン株式会社 | 光電変換装置、撮像システム、移動体、および積層用の半導体基板 |
| US20250024168A1 (en) * | 2023-07-13 | 2025-01-16 | Samsung Electronics Co., Ltd. | Image sensor |
-
2025
- 2025-06-25 WO PCT/JP2025/022815 patent/WO2026009784A1/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019069532A1 (ja) * | 2017-10-02 | 2019-04-11 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子および固体撮像装置 |
| JP2020039114A (ja) * | 2018-08-31 | 2020-03-12 | キヤノン株式会社 | 光電変換装置、撮像システム、移動体、および積層用の半導体基板 |
| US20250024168A1 (en) * | 2023-07-13 | 2025-01-16 | Samsung Electronics Co., Ltd. | Image sensor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230370709A1 (en) | Imaging device, information processing device, imaging system, and imaging method | |
| WO2020195700A1 (ja) | 撮像装置及び撮像システム | |
| WO2019031001A1 (ja) | 固体撮像装置、電子装置および固体撮像装置の制御方法 | |
| US20240056694A1 (en) | Imaging device, image processing method, and image processing program | |
| US20250373935A1 (en) | In-vehicle monitoring apparatus, information processing apparatus, and in-vehicle monitoring system | |
| KR20250123825A (ko) | 고체 촬상 디바이스 및 전자 장치 | |
| US20240064431A1 (en) | Solid-state imaging device, method of controlling solid-state imaging device, and control program for solid-state imaging device | |
| WO2026009784A1 (ja) | 固体撮像装置及び電子機器 | |
| WO2024062842A1 (ja) | 固体撮像装置 | |
| EP4315834B1 (en) | Image element readout circuitry, image element, and image element readout method | |
| JP7793598B2 (ja) | 固体撮像装置、撮像装置、固体撮像装置の処理方法、固体撮像装置の処理プログラム、撮像装置の処理方法、及び、撮像装置の処理プログラム | |
| JP2020107932A (ja) | 固体撮像素子および撮像装置 | |
| WO2025263158A1 (ja) | 固体撮像装置及び撮像装置 | |
| WO2024185361A1 (ja) | 固体撮像装置 | |
| WO2024106196A1 (ja) | 固体撮像装置および電子機器 | |
| WO2024106132A1 (ja) | 固体撮像装置および情報処理システム | |
| JP2024158002A (ja) | 重みづけ加算回路及び固体撮像装置 | |
| WO2025041449A1 (ja) | Ad変換器及び固体撮像装置 | |
| JP2024151671A (ja) | 光検出装置および光検出システム | |
| US20250212540A1 (en) | Imaging device and electronic device | |
| WO2026018378A1 (ja) | 光検出装置および測距装置 | |
| US20250185406A1 (en) | Semiconductor device and electronic device | |
| WO2025057565A1 (ja) | 光検出装置、光検出方法およびデノイズプログラム | |
| WO2025094517A1 (ja) | 情報処理装置、撮像装置及びプログラム | |
| TW202341722A (zh) | 比較器、放大器及固態攝像裝置 |