JP2018160049A - 画像認識装置 - Google Patents

Abstract

【課題】撮影された画像に実際の人物が含まれるかを確実に判別する。【解決手段】画像認識装置１０は、変調光を出射する光源１と、変調光が照射された撮影対象物９からの反射光を受光する受光素子２と、受光素子２から出力された撮影対象物９の画像信号に基づき輝度画像と距離画像とをそれぞれ生成する輝度画像生成部３及び距離画像生成部４と、を備えている。また、画像認識装置１０は、機械学習用データベース７を利用して、輝度画像から対象物候補を抽出する対象物認識処理部５と、距離画像を用いて抽出された対象物候補が立体物であるかどうかを判別する立体物判別処理部６と、を備えている。対象物候補が立体物ではないと判別された場合、機械学習用データベース７において、対象物候補の抽出に用いられた画像データを使用禁止にする。【選択図】図１

Description

本発明は車載カメラ等に用いられる画像認識装置に関するものである。

従来、走行車両等の移動体において走行障害物の有無等を判別するために、カメラ等の撮像装置を用いた物体検出システムの開発が進められている。

特許文献１には、車両等に搭載された端末装置により、車載カメラ等で撮影した画像から対象物の候補物体を簡易的に検出した後、この候補物体を含む画像のみをサーバに送信し、サーバ側では受信された画像を精査して対象物を認識する物体検出技術が開示されている。この技術によれば、映像内の画像の明るさが変わる場合でも画像内の背景と背景内の物体を的確に分離して効率よく検出された対象物の画像を収集するとともに、端末装置及びサーバ間におけるデータ通信量を抑制できる。また、特許文献１では、機械学習によって対象物を認識することが開示されている。

一方、特許文献２には、ステレオカメラを用いて対象物の外形を撮影し、また、対象物との距離を計測するにあたって、検知された対象物において複数点を指定し、指定された点とカメラとの距離を比較することで対象物が立体かどうかを判定し、立体表示の左目用画像及び右目用画像を生成する技術が開示されている。

特開２０１６−２１８７６０号公報 特開２０１３−１６８７２９号公報

ところで、例えば、特許文献１に開示されるような機械学習による対象物認識において、機械学習用データベース（以下、ＤＢという）に蓄積されるデータ母数が大きい程、生成される認識器の数等が増加するため、認識精度は向上する。一方、処理速度自体は遅くなるため、短時間で走行障害物の有無等を判別するには不利となる場合があった。

また、特許文献２に開示される構成では、対象物のどの点を指定するかによって距離差が変わるため、指定した箇所によっては距離差がほとんど無い場合があり、この場合には対象物が立体物かどうかの判別精度が低下するというおそれがあった。

本発明はかかる点に鑑みてなされたもので、その目的は、撮像した画像から人や車等の対象物候補を抽出し、抽出された対象物候補が実際の人や車等かどうかを迅速かつ確実に識別する画像認識装置を提供することにある。

上記の目的を達成するため、本発明に係る画像認識装置は、時間的に強度変調された変調光を出射する光源と、該変調光が照射された撮影対象物からの反射光を受光する受光素子と、前記受光素子から出力された前記撮影対象物の画像信号に基づき輝度画像を生成する輝度画像生成部と、前記受光素子から出力された前記撮影対象物の画像信号に基づき距離画像を生成する距離画像生成部と、対象物の特徴量を識別するための画像データが格納された機械学習用データベースを利用して、前記輝度画像から対象物候補を抽出する対象物認識処理部と、前記距離画像を用いて前記対象物認識処理部で抽出された前記対象物候補が立体物であるかどうかを判別する立体物判別処理部と、を備え、前記立体物判別処理部で前記対象物候補が立体物ではないと判別された場合、前記機械学習用データベースにおいて、前記対象物候補の抽出に用いられた画像データを使用禁止にすることを特徴とする。

この構成によれば、輝度画像と距離画像との両方を用いることで、抽出された対象物候補が実際の対象物か、あるいはポスター等に描かれた絵や写真かを確実に識別することができる。また、対象物候補が立体物かどうかの判別結果を機械学習用データベースに反映することで、対象物の識別精度を向上させることができる。

前記立体物判別処理部は、前記対象物認識処理部で抽出された前記対象物候補と前記受光素子との距離を前記対象物候補の距離画像における複数のライン上で算出し、該複数のラインのうち一のラインにおける距離の平均値及びばらつきを算出し、該平均値に対する差が該ばらつきに対して所定の値以上である画素が、当該一のラインの画素数に占める割合に基づき、前記対象物候補が立体物かどうかを識別するのが好ましい。

前記平均値に対する差が前記ばらつきに対して２倍以上である画素が、前記一のラインの画素数の１０％以上を占める場合、前記対象物候補が立体物であると識別してもよい。

また、前記光源から出射される変調光の波長は８００ｎｍから１１００ｎｍの範囲であるのが好ましい。

この構成によれば、人の視覚に影響を与えることなく対象物の輝度画像及び距離画像を取得できる。

本発明に係る画像認識装置によれば、撮影対象物から対象物候補を抽出し、それが実際の対象物かどうかを確実に識別することができる。また、対象物候補が立体物かどうかの判別結果を機械学習用データベースに反映することで、対象物の識別精度を向上させることができる。

一実施形態に係る画像認識装置のブロック図である。 輝度画像解析による人物候補の抽出結果の一例である。 距離画像解析による立体物の識別結果の一例である。 距離画像解析による立体物の識別結果の別の一例である。 一実施形態に係る画像認識装置を用いた人物識別方法を示すフローチャートの一例である。

以下、本実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。

図１は、一実施形態に係る画像認識装置のブロック図を示し、図２は、輝度画像解析による人物候補の抽出結果の一例を示し、図３Ａ及び図３Ｂは、本実施形態に係る距離画像解析による立体物の識別結果の一例を示す。なお、説明の便宜上、図２及び図３Ａ，３Ｂにおいて輝度画像は人物候補の輪郭のみを表示している。

この画像認識装置１０は、光源１と受光素子２と輝度画像生成部３と距離画像生成部４とを備えている。

光源１は、波長が８００ｎｍから１１００ｎｍの範囲にある近赤外光を用いたレーザーあるいはＬＥＤから構成される。この波長帯の光を用いる理由は、人の視覚に影響を与えることなく撮影対象物９の輝度画像及び距離画像を取得できるからである。さらに光源１から出射される出射光は、時間的に強度変調されている。光源１から出射される出射光のパルス幅は数ナノ秒から数百ナノ秒の範囲で制御可能であり、必要な測定距離範囲、距離精度、フレームレート等によって定まる。

受光素子２は、２次元状に配列された複数の画素を有する光電変換部（図示せず）を有し、画素には主にＳｉ系材料からなるフォトダイオードが含まれる。受光素子２は、光電変換部と上記の画素からの信号を転送あるいは処理する回路部（図示せず）とが集積された半導体素子である。

撮像レンズ（図示せず）を通して、光源１から出射された出射光が撮影対象物９で反射された反射光を受光素子２の受光面に結像することで、撮影対象物９からの光学情報を受光素子２で得ることができる。

また、画像認識装置１０は、輝度画像生成部３で得られた輝度画像に基づき、撮影された撮影対象物９が対象物候補かどうかを判定し、対象物候補と判定された撮影対象物９の画像を抽出する対象物認識処理部５と、距離画像生成部４で得られた距離画像に基づき、抽出された撮影対象物９が立体物かどうかを判別する立体物判別処理部６と、を有している。

輝度画像生成部３は、撮影対象物９で反射し、受光素子２で受光された受光信号強度から輝度画像を生成する。輝度画像から被写体のコントラストを得ることができる。この輝度画像を対象物認識処理部５にデータを転送し、撮影対象物９が対象物候補かどうかの判断を行う。

距離画像生成部４は、撮影対象物９で反射し、受光素子２で受光された受光信号の到達時間に基づき距離画像を生成する。具体的には、光源１からの光出射タイミングを基準として、撮影対象物９からの反射光が受光素子２に到達するまでの時間を測定し、この時間を光の速度で除算することで、受光素子２から撮影対象物９までの距離を測定することができる。この方法は、Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ（ＴＯＦ）法と呼ばれ、一般的に知られている。測定された距離を受光素子２の画素毎に２次元上にプロットして距離画像が得られる。

対象物認識処理部５は、輝度画像生成部３で生成された輝度画像を用いて、撮影された撮影対象物９が対象物候補かどうかを識別し、対象物候補を抽出する。なお、本実施形態では、対象物が人物であるため、以降の説明において、人物候補の識別等について説明する。人物候補の識別にあたっては、撮影対象物９の輝度画像から様々な手法で特徴量を抽出して判断され、主に撮影対象物９の外形が人物に対応するかどうかで人物候補かどうかが識別される。この識別精度を上げるためには、数千〜数万枚の画像データを機械学習用ＤＢ７に蓄積し、さらにこれらの画像データを用いて、機械学習により人物候補を識別可能とする識別器を生成することが必要である。これらの特徴量の計算、識別器生成にはさまざまな手法が提案されているが（例えば、ＨＯＧ特徴量、ＳＶＭ識別器など）、ここでは特に限定しない。図２に示すように、対象物認識処理部５で抽出された人物候補の外形や撮像領域内での位置を、例えば、表示部８に表示して検知することができる。

立体物判別処理部６は、対象物認識処理部５で抽出された人物候補が立体物かどうかを判別する。対象物認識処理部５で抽出された人物候補が、実際の人物か、ポスター・看板等の中の擬似絵か判別ができない場合がある。例えば、図２において、左図の輝度画像から人物候補として抽出された画像（右側図の左隅の画像）が、右図の距離画像において一様な板状の輪郭を示しており、この画像が実際の人物ではなく、ポスターあるいは看板等の平面物であることがわかる。例えば、移動体に搭載される車載カメラ等を有する画像認識装置において、輝度画像のみで人物が判断されると、ポスターあるいは看板等を誤って人物と認識し、急停止や急なハンドル操作による事故が生じかねない。

そこで、本実施形態に係る画像認識装置１０では、これらの誤認識を防ぐために立体物判別処理部６において、輝度画像に基づいて抽出された人物候補が立体物かどうかを判別し、人物候補が実際の人物かどうかを判断している。また、この結果は、表示部８に表示して検知することができる。

機械学習用ＤＢ７は、数千〜数万枚の画像データを格納しており、本実施形態では、対象物認識処理部５に画像データが読み出されて、人物の特徴量等を識別する識別器の生成等に用いられる。

表示部８は、例えば、液晶ディスプレイや有機ＥＬディスプレイであり、輝度画像や距離画像、あるいはこれらを画像処理した結果等を表示する。

立体物判別処理部６では、距離画像生成部４で得られた距離画像に対し、水平方向に複数ラインスキャンをし、それぞれの距離を比較する。ここで、ラインは所定の間隔をあけて離間するようにスキャンが行われる。図３Ａに示すように距離画像に立体物が含まれていれば、上記の複数のラインにおいて、距離分布が重なることが無いが、図３Ｂに示すように、距離画像が壁紙等の平面物を撮影したものであるときは、上記の複数のラインにおいて、距離分布が一致する。

撮影対象物９が立体物であるかどうかは、一のラインにおける測定距離の平均値及びばらつきを算出し、平均値に対する差が上記のばらつきに対して所定の値以上である画素が、当該一のラインの画素数に占める割合に基づき判別される。本実施形態では、一つのラインにおける測定距離の平均とばらつきを求め、平均に対する差が上記のばらつきに対して２倍以上である画素が、スキャンされた一つのラインの画素数に対して１０％以上を占める場合に、撮影対象物９が立体物であると判別することとしている。ただし、撮影対象物９が立体物かどうかの判断基準は特にこれに限定されるものではなく、例えば、スキャンするラインの間隔や、一つのライン上の画素数、また、撮影対象物９の撮影が移動体上に設けられた光源と受光素子とにより行われたかどうか等より適宜変更されうる。また、立体物判別処理部６での判別結果を機械学習用ＤＢ７に反映させ、撮影画像に人物が含まれるかどうかの識別精度をさらに向上させることができる。なお、図３Ａ及び図３Ｂには、距離画像上を水平方向にスキャンして各々の点での距離を算出する方法を示したが、特にこれに限定されず、例えば、垂直方向にスキャンして距離を算出してもよい。

図４に、実施形態に係る画像認識装置を用いた人物識別方法の一例をフローチャートで示す。

まず、撮影対象物９に対して、光源１から強度変調された光を照射し（ステップＳ１）、撮影対象物９で反射された反射光を受光素子２で受光し、撮影対象物９を撮影する（ステップＳ２）。次に、受光素子２から出力された撮影対象物９の画像信号を輝度画像生成部３及び距離画像生成部４に送り、撮影対象物９の輝度画像と距離画像とをそれぞれ生成する（ステップＳ３）。

生成された輝度画像は輝度画像生成部３から対象物認識処理部５に送られる。さらに、対象物認識処理部５から機械学習用ＤＢ７にアクセスする（ステップＳ４）。機械学習用ＤＢ７に蓄積された画像データに基づいて、人物かどうかを識別するための特徴量を抽出し、また識別器を対象物認識処理部５に生成する（ステップＳ５）。これら特徴量及び識別器を用いて撮影対象物９が人物候補かどうかを認識する（ステップＳ６）。

撮影対象物９が人物候補であれば、次に、立体物判別処理部６において、対応する距離画像の水平または垂直方向の画素のラインスキャンを複数実施し、複数の測定点での距離分布を算出する（ステップＳ７）。この距離分布に基づいて、立体物判別処理部６により、抽出された人物候補が立体物かどうかを判別する（ステップＳ８）。この判別手法は、図３Ａ及び図３Ｂを用いて上記に説明したのと同様の方法で行われる。抽出された人物候補が立体物であれば、この人物候補が実際の人物であるとして、例えば、撮影対象物９の画像を機械学習用ＤＢ７にも保存し（ステップＳ８）、再度、撮影が続行される。

ステップＳ６において、撮影対象物９が人物候補でなければ、再度、撮影が続行される。一方、ステップＳ７において、人物候補が立体物ではないと判別されると、人物候補として抽出された画像データを、機械学習用ＤＢ７内で使用禁止にし（ステップＳ１０）、再度、撮影が続行される。使用禁止の例としては、例えば、人物候補として抽出された画像データを機械学習用ＤＢ７に保存しない、あるいは、機械学習用ＤＢ７に保存したとしても、人物の特徴量を識別する識別器の生成には用いない等が挙げられる。

このように、本実施形態によれば、時間的に強度変調された光を対象物に照射し、その反射光を撮影して輝度画像と距離画像とを生成することにより、撮影対象物９の外形やコントラストと、撮影対象物９における光源までの距離とをそれぞれ求めることができる。また、機械学習用ＤＢ７を用いて輝度画像から人物等の対象物候補を抽出し、距離画像を用いて、抽出された対象物候補が立体物かどうかを判別することで、撮影された撮影対象物９が実際の対象物かどうかを識別することができる。

また、抽出された人物等の対象物候補が立体物でない場合には、対象物候補の抽出に用いられた画像データを、対象物の特徴量等を抽出するためのデータとして用いないようにすることで、撮影対象物９が実際の対象物かどうかの識別速度を向上することができる。例えば、対象物が描かれた同種の看板が走行する道路に複数設置されているような場合、看板内の対象物の画像データを対象物の識別に用いないようにすることで、対象物識別の精度及び速度が向上する。これにより、対象物の誤認識を抑制できる。

なお、本実施形態では、撮影対象物９が人物であるかどうかを識別する例を示したが、撮影対象物９が車両や車両に搭乗している人物、あるいは特定の動物等であるかどうかを識別してもよい。この場合に使用される機械学習用ＤＢ７の画像データとして、それぞれ車両や車両に搭乗している人物、あるいは特定の動物の画像データを使用することは言うまでもない。また、機械学習用ＤＢ７または表示部８、あるいはこれら両方とも画像認識装置１０に組み込まれていてもよい。

本発明に係る画像認識装置は、人物等の対象物の誤認識を抑制することができ、車載カメラの画像認識用カメラ等として有用である。また監視、セキュリティー等の用途にも応用できる。

１ 光源
２ 受光素子
３ 輝度画像生成部
４ 距離画像生成部
５ 対象物認識処理部
６ 立体物判別処理部
７ 機械学習用データベース
８ 表示部
９ 撮影対象物
１０ 画像認識装置

Claims (4)

1. 時間的に強度変調された変調光を出射する光源と、
   該変調光が照射された撮影対象物からの反射光を受光する受光素子と、
   前記受光素子から出力された前記撮影対象物の画像信号に基づき輝度画像を生成する輝度画像生成部と、
   前記受光素子から出力された前記撮影対象物の画像信号に基づき距離画像を生成する距離画像生成部と、
   対象物の特徴量を識別するための画像データが格納された機械学習用データベースを利用して、前記輝度画像から対象物候補を抽出する対象物認識処理部と、
   前記距離画像を用いて前記対象物認識処理部で抽出された前記対象物候補が立体物であるかどうかを判別する立体物判別処理部と、を備え、
   前記立体物判別処理部で前記対象物候補が立体物ではないと判別された場合、前記機械学習用データベースにおいて、前記対象物候補の抽出に用いられた画像データを使用禁止にすることを特徴とする画像認識装置。
2. 前記立体物判別処理部は、前記対象物認識処理部で抽出された前記対象物候補と前記受光素子との距離を前記対象物候補の距離画像における複数のライン上で算出し、該複数のラインのうち一のラインにおける距離の平均値及びばらつきを算出し、該平均値に対する差が該ばらつきに対して所定の値以上である画素が、当該一のラインの画素数に占める割合に基づき、前記対象物候補が立体物かどうかを識別することを特徴とする請求項１に記載の画像認識装置。
3. 前記平均値に対する差が前記ばらつきに対して２倍以上である画素が、前記一のラインの画素数の１０％以上を占める場合、前記対象物候補が立体物であると識別することを特徴とする請求項２に記載の画像認識装置。
4. 前記光源から出射される変調光の波長は８００ｎｍから１１００ｎｍの範囲であることを特徴とする請求項１ないし３のいずれか１項に記載の画像認識装置。