JP6142005B2 - 撮像装置、カメラシステム、および信号出力方法 - Google Patents

Description

関連出願へのクロスリファレンス

本出願は、日本国特許出願２０１４−０１４９２５号（２０１４年１月２９日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

本発明は、１つ以上の出力先に画像を出力する撮像装置、カメラシステム、および信号出力方法に関する。

従来、被写体像を撮像した画像データを出力する撮像装置が知られている。例えば、特許文献１には、ＣＣＤなどの撮像素子の出力に所定の画像処理を施した画像データをフレームメモリに記憶し、記憶した画像データを複数系統に出力して、例えば画像の表示出力、被写体の顔検出、および輝度算出などの所定の処理を行う技術が記載されている。

特開２０１０−６８０３０号公報

しかしながら、例えば複数の出力先に画像データを出力する場合には、画像データを一時的にフレームメモリに記憶させる必要があるため、画像データの記憶および読み出しの処理が発生し、処理時間が増加する。また、画像データに要求される解像度が高くなるほど、処理時間はさらに増加し、フレームメモリの容量も大きいものが必要となるため、コストが増大する。

かかる事情に鑑みてなされた本発明の目的は、１つ以上の出力先に処理負担を軽減して画像を出力する撮像装置、カメラシステム、および信号出力方法を提供することにある。

上記課題を解決するために本発明に係る撮像装置は、
１つ以上の出力先に画素信号を出力可能な撮像装置であって、
２次元配列されそれぞれ画素信号を生成可能な複数の画素を有する撮像素子と、
前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加する識別子付加部と、
前記識別子が付加された各画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力し、前記識別子が付加された画素信号以外の前記画素信号を、出力することなく破棄する画像処理部と、を備えることを特徴とする。

また、本発明に係るカメラシステムは、
２次元配列されそれぞれ画素信号を生成可能な複数の画素を有する撮像素子と、前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加する識別子付加部と、前記識別子が付加された各画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力し、前記識別子が付加された画素信号以外の前記画素信号を、出力することなく破棄する画像処理部と、を有する撮像装置と、
前記出力先に定められ、前記撮像装置によって出力された前記画素信号が入力される装置と、を備えることを特徴とする。

また、本発明に係る信号出力方法は、
２次元配列された複数の画素にそれぞれ画素信号を生成させるステップと、
前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加するステップと、
前記識別子が付加された各画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力し、前記識別子が付加された画素信号以外の前記画素信号を、出力することなく破棄するステップと、を含むことを特徴とする。

本発明に係る撮像装置、カメラシステム、および信号出力方法によれば、１つ以上の出力先に処理負担を軽減して画像が出力可能である。

本発明の一実施形態に係るカメラシステムの概略構成を示すブロック図である。 図１の撮像素子の受光平面を示す図である。 図１の撮像装置の動作を説明するフローチャート図である。

以下、本発明の実施形態について、図面を参照して説明する。

はじめに、本発明の一実施形態に係るカメラシステムおよび撮像装置について説明する。

図１に示すように、カメラシステム１０は、撮像装置１１と、表示装置１２と、被写体認識装置１３と、を備える。本実施形態において、撮像装置１１は、例えば車両などの移動体の前方に配置されたフロントカメラであるが、後方に配置されたリアカメラなど他のカメラであってもよい。また、カメラシステム１０は、例えばフロントカメラ、リアカメラ、およびサイドカメラなど、撮像装置１１を複数備えてもよい。カメラシステム１０の各構成要素は、専用線またはＣＡＮなどの車載ネットワーク１４を介して情報を送受信可能である。本実施形態において、表示装置１２および被写体認識装置１３は、撮像装置１１による画素信号の出力先に定められる。

撮像装置１１は、光学系１５と、撮像素子１６と、識別子付加部１７と、画像処理部１８と、カメラ制御部１９と、を備える。

光学系１５は、絞りおよび複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系１５は広い画角を有しており、移動体の周辺領域に含まれる被写体像を結像可能である。

撮像素子１６は、例えばＣＭＯＳ撮像素子であって、２次元配列された複数の画素を有しており、光学系１５によって結像する被写体像を撮像する。すなわち、撮像によって、各画素の受光量に応じた画素信号が生成される。また、撮像素子１６は、撮像によって複数の画素がそれぞれ生成した画素信号を、識別子付加部１７に出力する。画素信号は、画像（画像信号）の生成に用いられ、複数の画素信号によって１つの画像信号が構成される。

識別子付加部１７は、撮像素子１６から画素ごとに画素信号を順次取得可能である。識別子付加部１７は、クロック信号および同期信号に基づいて、少なくとも一部の画素の画素信号に所定の識別子を付加し、画像処理部１８に出力する。所定の識別子は、識別子を付加した画素信号の出力先に対応付けられている。本実施形態において、識別子は、表示装置１２および被写体認識装置１３の何れかまたは両方に対応付けられている。識別子の付加のために、識別子付加部１７は、２次元配列上の所定の領域内の画素と識別子との対応関係を示す対応情報を記憶している。例えば、対応情報は、所定の領域内の画素のアドレスと、当該画素の画素信号に付加する識別子と、を対応付けたテーブルまたはマップである。識別子付加部１７は、対応情報に従って各画素の画素信号に識別子を付加する。対応情報は、例えば撮像装置１１の製造時に予め定められてもよく、または使用者などが変更可能であってもよい。

ここで、識別子付加部１７が記憶する対応情報について、図２を参照して説明する。本実施形態において、図２の第１の領域Ａは、表示装置１２（第１の出力先）に表示させる画像領域として定められる。また、第２の領域Ｂは、被写体認識装置１３（第２の出力先）に被写体認識処理を実行させる画像領域として定められる。領域Ａおよび領域Ｂは、互いに重複していてもよく、あるいは互いに離れていてもよい。

識別子付加部１７は、領域Ａに含まれる画素の画素信号を取得すると、表示装置１２に対応付けられた識別子（例えば、識別子Ａ）を当該画素信号に付加する。識別子付加部１７は、領域Ｂに含まれる画素の画素信号を取得すると、被写体認識装置１３に対応付けられた識別子（例えば、識別子Ｂ）を当該画素信号に付加する。

画像処理部１８は、識別子付加部１７から画素信号を取得する。画像処理部１８は、取得した複数の画素信号で構成される画像信号に対して、ノイズ除去、色補間、明るさ補正、色補正、およびガンマ補正などの一般的な画像処理を施す。また、画像処理部１８は、各画素の画素信号に付加された識別子に対応する出力先に、当該画素の画素信号を振り分けて出力する。また、画像処理部１８は、識別子が付加された画素信号以外の画素信号を出力することなく破棄してもよい。

カメラ制御部１９は、撮像装置１１の各部位の動作を制御する。例えば、カメラ制御部１９、撮像素子１６および画像処理部１８の動作を制御して、周期的に、例えば３０ｆｐｓで画素信号を出力させる。

表示装置１２は、例えばＬＣＤ（液晶ディスプレイ）を含んで構成され、リアルタイムの動画像を表示可能である。表示装置１２は、画像処理部１８から入力される複数の画素の画素信号（例えば、図２に示す領域Ａに含まれる画素の画素信号）によって構成される画像を表示する。表示装置１２は、例えばタッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。

被写体認識装置１３は（図１参照）、画像処理部１８から入力される複数の画素の画素信号（例えば、図２に示す領域Ｂに含まれる画素の画素信号）によって構成される画像を用いて、障害物などの所定の被写体の認識処理を行う。被写体の認識は、例えばパターン認識など、一般的な物体認識技術を用いて行われる。

次に、本実施形態に係る撮像装置１１が出力先に画素信号を振り分けて出力する処理について、図３のフローチャートを用いて説明する。本処理は、例えば運転者が移動体を始動させたときに開始され、運転者による終了指示があるまで繰り返し実行される。また、以下の処理は、撮像装置１１の１フレームにおける動作を示す。

はじめに、撮像装置１１の撮像素子１６は、移動体周囲の被写体を撮像して各画素の画素信号を生成し、識別子付加部１７に出力する（ステップＳ１００）。

次に、識別子付加部１７は、予め記憶している対応情報に基づいて、ステップＳ１００において撮像素子１６から取得した複数の画素信号のうち、少なくとも一部の画素信号に識別子を付加する（ステップＳ１０１）。本実施形態において、識別子付加部１７は、図２に示す領域Ａ内の画素の画素信号に識別子Ａを付加する。また、識別子付加部１７は、領域Ｂ内の画素の画素信号に識別子Ｂを付加する。

次に、画像処理部１８は、識別子付加部１７から１つの画素の画素信号を取得する（ステップＳ１０２）。

続いて、画像処理部１８は、ステップＳ１０２において取得した画素信号が識別子Ａを含むか否かを判定する（ステップＳ１０３）。

ステップＳ１０３において識別子Ａが含まれている場合には（ステップＳ１０３−Ｙｅｓ）、画像処理部１８は、ステップＳ１０２において取得した画素信号を表示装置１２に出力する（ステップＳ１０４）。

ステップＳ１０４の後、またはステップＳ１０３において識別子Ａが含まれていない場合には（ステップＳ１０３−Ｎｏ）、画像処理部１８は、ステップＳ１０２において取得した画素信号が識別子Ｂを含むか否かを判定する（ステップＳ１０５）。

ステップＳ１０５において識別子Ｂが含まれている場合には（ステップＳ１０５−Ｙｅｓ）、画像処理部１８は、ステップＳ１０２において取得した画素信号を被写体認識装置１３に出力する（ステップＳ１０６）。

ステップＳ１０６の後、またはステップＳ１０５において識別子Ｂが含まれていない場合には（ステップＳ１０５−Ｎｏ）、画像処理部１８は、ステップＳ１０２において取得した画素信号を破棄する（ステップＳ１０７）。

続いて、画像処理部１８は、現フレームにおける全ての画素の画素信号を振り分け終えたか否かを判定する（ステップＳ１０８）。全ての画素の画素信号を振り分け終えている場合には（ステップＳ１０８−Ｙｅｓ）、ステップＳ１００に戻って次のフレームにつき同様の処理を行う。一方、全ての画素の画素信号を振り分け終えていない場合には（ステップＳ１０８−Ｎｏ）、画像処理部１８は、振り分けていない画素の画素信号についてステップＳ１０２−Ｓ１０８の処理を繰り返し実行する。

このように、本実施形態のカメラシステム１０の撮像装置１１によれば、画素の画素信号に識別子を付加し、識別子に応じて画素信号を振り分けて出力するため、画像をフレームメモリに記憶しておく必要がない。このため、出力先に画像として複数の画素信号を出力する処理負担が低減される。また、撮像装置１１は、フレームメモリを備える必要がないので、撮像装置１１のコストが低減される。また、画像をフレームメモリに記憶することによるフレーム遅延が低減される。

また、本実施形態のカメラシステム１０は、以下に説明するように、出力先ごとに定められた複数の画素の２次元配列上の領域が互いに異なる２つ以上の出力先に画素信号を出力する場合に特に有用である。画像をフレームメモリに記憶する構成の場合には、フレームメモリから読み出した画像を出力先ごとに異なるトリミング処理が必要となる。すなわち、定められた領域が互いに異なる出力先の数が多いほど、処理負担が増加する。この点、本実施形態の撮像装置１１は、複数の画素の２次元配列において出力先ごとに定められた領域が互いに異なる２つ以上の出力先が存在しても、識別子に基づいて画素信号の出力を振り分ける上述の処理以外に追加の処理を必要としない。このため、複数の画素の２次元配列において出力先ごとに定められた領域が互いに異なる出力先の数に拠らず、複数の出力先に画像として画素信号を出力する処理負担が低減される。

また、本実施形態のカメラシステム１０は、識別子が付加された画素信号以外の画素信号を出力することなく破棄するので、取り扱うデータ量が低減されて処理負担がさらに低減される。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

また、上述の実施形態のカメラシステム１０の各構成要素は、分割および再配置可能である。例えば、撮像装置１１が、表示装置１２と同様の機能を有する表示部、および被写体認識装置１３と同様の機能を有する被写体認識部を備える構成であってもよい。また、撮像装置１１の識別子付加部１７の各機能を、画像処理部１８が有する構成であってもよい。また、カメラシステムのほか、複数系統に画素信号を出力する任意の撮像システムであってもよい。

また、上述の実施形態において、撮像素子１６はＣＭＯＳセンサとして説明したが、ＣＣＤセンサなど、他の形式の撮像素子であってもよい。

また、上述の実施形態において、識別子付加部１７は、出力先に対応付けられた識別子のほか、付加される画素信号を破棄させるための識別子を付してもよい。かかる場合には、画像処理部１８は、取得した画素信号に当該破棄させるための識別子が含まれていると、該画素信号を出力することなく破棄する。

また、上述の実施形態に係るカメラシステム１０の構成要素の一部は、移動体の外部に設けられてもよい。例えば、撮像装置１１などは、携帯電話などの通信機器として実現され、カメラシステム１０の他の構成要素と有線または無線によって接続されてもよい。

１０ カメラシステム
１１ 撮像装置
１２ 表示装置
１３ 被写体認識装置
１４ 車載ネットワーク
１５ 光学系
１６ 撮像素子
１７ 識別子付加部
１８ 画像処理部
１９ カメラ制御部

Claims (6)

1. １つ以上の出力先に画素信号を出力可能な撮像装置であって、
   ２次元配列されそれぞれ画素信号を生成可能な複数の画素を有する撮像素子と、
   前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加する識別子付加部と、
   前記識別子が付加された各画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力し、前記識別子が付加された画素信号以外の前記画素信号を、出力することなく破棄する画像処理部と、
   を備える、撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記識別子付加部は、前記複数の画素の２次元配列上の第１の領域内に位置する画素の前記画素信号に第１の出力先に対応付けられた前記識別子を付加し、前記２次元配列上の第２の領域内に位置する画素の前記画素信号に第２の出力先に対応付けられた前記識別子を付加する、撮像装置。
3. 請求項１または２に記載の撮像装置であって、
   前記出力先として定められた、前記画像処理部から取得した複数の前記画素信号に基づいて画像表示を行う表示部をさらに備える、撮像装置。
4. 請求項１乃至３の何れか一項に記載の撮像装置であって、
   前記出力先として定められた、前記画像処理部から取得した複数の前記画素信号に基づいて被写体認識を行う被写体認識部をさらに備える、撮像装置。
5. ２次元配列されそれぞれ画素信号を生成可能な複数の画素を有する撮像素子と、前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加する識別子付加部と、前記識別子が付加された各画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力し、前記識別子が付加された画素信号以外の前記画素信号を、出力することなく破棄する画像処理部と、を有する撮像装置と、
   前記出力先に定められ、前記撮像装置によって出力された前記画素信号が入力される装置と、
   を備える、カメラシステム。
6. ２次元配列された複数の画素にそれぞれ画素信号を生成させるステップと、
   前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加するステップと、
   前記識別子が付加された各画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力し、前記識別子が付加された画素信号以外の前記画素信号を、出力することなく破棄するステップと、
   を含む、信号出力方法。

Images