JP2018128389A - 画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】 画像を送受信するためのデータ量を小さくする。【解決手段】 車両に搭載される撮像装置と、前記撮像装置と接続される情報処理装置とを有する画像処理システムでは、前記車両は、前記撮像装置によって撮像される前記車両の周辺を示す複数の画像を取得する画像取得部を有し、前記情報処理装置は、前記画像取得部から、前記複数の画像のうち、第１画像を受信する第１受信部と、前記第１画像に基づいて、交差点を示す目印となる目印情報及び前記車両の周辺で発生する渋滞に関する渋滞情報のうち、少なくともいずれか１つを含む所定情報を検出する第１検出部と、前記第１検出部により、前記所定情報が検出されないと、前記画像取得部から、前記複数の画像のうち、第２画像を受信する第２受信部と、前記第１画像及び前記第２画像に基づいて、又は、前記第２画像に基づいて、前記所定情報を検出する第２検出部とを有することを特徴とする。【選択図】図１

Description

本発明は、画像処理システム及び画像処理方法に関する。

従来、車両の周辺を撮影した画像に基づいて、渋滞の要因等を調べる技術が知られている。

例えば、システムは、渋滞の要因を判断するため、まず、各車両のそれぞれの周辺を撮像した画像を収集する。次に、収集された画像に基づいて、システムが、渋滞の先頭となる車両を検知する。そして、システムは、先頭となる車両が位置する先頭地点を複数の方向から撮像した画像に基づいて、渋滞の要因を判断する。このようにして、システムが、交通の渋滞を検知し、かつ、渋滞の要因を判断できる技術が知られている（例えば、特許文献１等である）。

特開２００８−６５５２９号公報

しかしながら、従来の技術では、車両と、情報処理装置との間で、多くの画像が送受信されることが多い。そのため、画像を送受信するためのデータ量が大きくなり、通信回線が圧迫される問題等が生じやすい。

そこで、本発明の実施形態に係る画像処理システムは、所定情報を検出するのに、検出に用いられる画像を追加するか否かを判断する。このようにして、本発明の実施形態に係る画像処理システムは、画像を送受信するためのデータ量を小さくすることを目的にする。

一側面によれば、車両に搭載される撮像装置と、前記撮像装置と接続される情報処理装置とを有する画像処理システムでは、前記車両は、前記撮像装置によって撮像される前記車両の周辺を示す複数の画像を取得する画像取得部を有し、前記情報処理装置は、前記画像取得部から、前記複数の画像のうち、第１画像を受信する第１受信部と、前記第１画像に基づいて、交差点を示す目印となる目印情報及び前記車両の周辺で発生する渋滞に関する渋滞情報のうち、少なくともいずれか１つを含む所定情報を検出する第１検出部と、前記第１検出部により、前記所定情報が検出されないと、前記画像取得部から、前記複数の画像のうち、第２画像を受信する第２受信部と、前記第１画像及び前記第２画像に基づいて、又は、前記第２画像に基づいて、前記所定情報を検出する第２検出部とを有する。

まず、画像処理システムは、撮像装置によって車両の周辺を示す複数の画像を撮像する。そして、画像取得部によって、第１画像及び第２画像が取得される。次に、情報処理装置は、車両側から第１画像を受信して所定情報を検出する。続いて、第１画像だけでは所定情報を検出できない場合には、情報処理装置は、第２画像を追加して受信する。そのため、第１画像だけで、所定情報が検出されると、第２画像の送受信が不要となる。したがって、第２画像が不要と判断された場合は、第２画像が送受信されないため、画像処理システムでは、車両と、情報処理装置との間を流れるデータ量が小さくなる場合が多い。ゆえに、画像処理システムは、画像を送受信するためのデータ量を小さくできる。

画像を送受信するためのデータ量を小さくできる。

本発明の一実施形態に係る画像処理システムの全体構成例及びハードウェア構成例を示す図である。 本発明の一実施形態に係る画像処理システムの使用例を示す図である。 本発明の一実施形態に係る画像処理システムによる第１全体処理の一例を示すフローチャートである。 本発明の一実施形態に係る第１全体処理の効果の一例を示す図（その１）である。 本発明の一実施形態に係る第１全体処理の効果の一例を示す図（その２）である。 本発明の一実施形態に係る画像処理システムによる地図データの取得及び案内を行う処理の一例を示すフローチャートである。 本発明の一実施形態に係る画像処理システムによる第２全体処理の一例を示すフローチャートである。 本発明の一実施形態に係る第２全体処理の効果の一例を示す図である。 本発明の一実施形態に係る画像処理システムの機能構成例を示す機能ブロック図である。

以下、本発明の実施形態について、添付の図面を参照しながら説明する。

＜全体構成例及びハードウェア構成例＞
図１は、本発明の一実施形態に係る画像処理システムの全体構成例及びハードウェア構成例を示す図である。図示する例では、画像処理システムＩＳは、撮像装置の例であるカメラＣＭと、情報処理装置の例であるサーバＳＲとを有する。

図示するように、車両ＣＡには、撮像装置の例であるカメラＣＭが搭載される。そして、カメラＣＭは、車両ＣＡの周辺を撮像して画像を生成する。例えば、図示するように、カメラＣＭは、車両ＣＡの前方を撮像する。次に、カメラＣＭによって生成された画像は、画像取得装置ＩＭに取得される。

画像取得装置ＩＭは、例えば、電子回路、ＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）又はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置及び制御装置を有する。そして、画像取得装置ＩＭは、ハードディスク等の補助記憶装置を更に有し、カメラＣＭから取得した画像を記憶する。さらに、画像取得装置ＩＭは、アンテナ及び処理ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の通信器を有し、ネットワークＮＷを介してサーバＳＲ等の外部装置に、画像を送信する。

なお、カメラＣＭ及び画像取得装置ＩＭは、複数の装置であってもよい。また、車両ＣＡは、複数台あってもよい。

一方で、サーバＳＲは、ネットワーク等を介して、車両ＣＡに接続される。また、サーバＳＲは、例えば、ＣＰＵＳＨ１、記憶装置ＳＨ２、入力装置ＳＨ３、出力装置ＳＨ４及び通信装置ＳＨ５を有する。

そして、サーバＳＲが有する各ハードウェア資源は、バスＳＨ６によって相互に接続される。また、各ハードウェア資源は、バスＳＨ６によって、信号及びデータを送受信する。

ＣＰＵＳＨ１は、演算装置及び制御装置である。記憶装置ＳＨ２は、メモリ等の主記憶装置である。また、記憶装置ＳＨ２は、補助記憶装置を更に有してもよい。入力装置ＳＨ３は、キーボード等であって、ユーザからの操作を入力する。出力装置ＳＨ４は、ディスプレイ等であって、ユーザに処理結果等を出力する。通信装置ＳＨ５は、コネクタ又はアンテナ等であって、ネットワークＮＷ又はケーブル等を介して外部装置とデータを送受信する。

なお、サーバＳＲは、図示する構成に限られず、例えば、各装置を更に有してもよい。また、サーバＳＲは、複数の装置であってもよい。

＜使用例＞
図２は、本発明の一実施形態に係る画像処理システムの使用例を示す図である。以下、図示するような場面を例に説明する。

例えば、図示するように、車両ＣＡが目的地に向かって走行しているとする。そして、目的地に向かう経路上、図示するように、車両ＣＡは、前方にある交差点ＣＲを右折する経路（図では、矢印で示す経路である。）を走行する場面である。すなわち、この場面は、いわゆるカーナビゲーション装置が車両ＣＡに搭載されている場合には、交差点ＣＲを右折するように、車両ＣＡを運転するドライバに対して、音声、画像又はこれらの組み合わせ等で、カーナビゲーション装置が案内を行う場面である。

また、車両ＣＡは、例えば、外部装置から地図データＤＭを受信したり、又は、地図データＤＭを記録媒体によって入力したりして取得すると、自車両の位置、交差点ＣＲの位置及び目的地が交差点ＣＲを右折した方向にある等を把握することができる。

以下、図示するような場面を例に説明するが、画像処理システムが使用される場面は、図示するような場面に限られず、例えば、交差点以外の場面で使用されてもよい。

＜第１全体処理例＞
図３は、本発明の一実施形態に係る画像処理システムによる第１全体処理の一例を示すフローチャートである。図示する第１全体処理のうち、図３（Ａ）に示す処理は、車両ＣＡが搭載するカメラＣＭ（図１参照）又は画像取得装置ＩＭ（図１参照）が行う処理の例である。一方で、図示する第１全体処理のうち、図３（Ｂ）に示す処理は、サーバＳＲ（図１参照）が行う処理の例である。

ステップＳＡ０１では、画像処理システムは、車両ＣＡが交差点ＣＲ（図２参照）から所定距離以内の位置にいるか否かを判断する。なお、所定距離は、ユーザ等があらかじめ設定できる値であるとする。つまり、画像処理システムは、車両ＣＡが交差点ＣＲに近づいたか否かを判断する。

次に、所定距離以内であると画像処理システムが判断すると（ステップＳＡ０１でＹＥＳ）、画像処理システムは、ステップＳＡ０２に進む。一方で、所定距離以内でないと画像処理システムが判断すると（ステップＳＡ０１でＮＯ）、画像処理システムは、ステップＳＡ０１に進む。

ステップＳＡ０２では、画像処理システムは、撮像装置によって、撮像する。すなわち、画像処理システムは、撮像装置による撮像を開始し、主に、車両ＣＡが交差点ＣＲに達するまで、車両ＣＡの前方を示す複数の画像を撮像する。以下、ステップＳＡ０２で撮像されるすべての画像を「全画像」とよぶ。

具体的には、現在、車両ＣＡが交差点ＣＲから「Ｚｍ」離れた位置にいるとする。そして、交差点ＣＲからの所定距離が「Ｚｍ」に設定されているとする。このような場合には、「Ｚｍ」（交差点ＣＲより「Ｚｍ」手前となる位置）から「０ｍ」（交差点ＣＲの位置）まで、画像処理システムは、撮像装置によって、画像を撮像し、記憶する。なお、画像は、あらかじめ撮像装置に設定されるフレームレート等によって定まる間隔で撮像される。

ステップＳＡ０３では、画像処理システムは、第１画像を情報処理装置に送信する。具体的には、まず、ステップＳＡ０２が行われると、「０ｍ」から「Ｚｍ」までの複数の画像が取得される。この全画像のうち、一部の画像（以下「第１画像」という。）が、画像取得装置ＩＭ（図１参照）によって、サーバＳＲに送信される。

第１画像は、例えば、全画像のうち、交差点ＣＲに近い位置で撮像された画像である。具体的には、「０ｍ」（交差点ＣＲの位置）から「Ｚｍ」（撮像開始の位置）の間に、「Ｙｍ」となる位置があるとする。すなわち、この例では、「０＜Ｙ＜Ｚ」という関係があるとする。なお、全画像のうち、どこからどこまでが第１画像となる、すなわち、この例における「Ｙ」の値は、あらかじめ設定できるとする。

ステップＳＡ０４では、画像処理システムは、第２画像をキャッシュする。具体的には、画像処理システムは、全画像のうち、第１画像以外の画像（以下「第２画像」という。）を画像取得装置ＩＭによって、車両ＣＡ側に保存する。また、この例では、第２画像は、「Ｙｍ」から「Ｚｍ」の間で撮像される画像である。すなわち、第２画像は、第１画像では、撮像されていない範囲を写した画像である。

ステップＳＡ０５では、画像処理システムは、第２画像の要求があるか否かを判断する。この例では、サーバＳＲがステップＳＢ０６を行うと、画像処理システムは、画像取得装置ＩＭによって、第２画像を要求されたと判断する（ステップＳＡ０５でＹＥＳ）。

次に、第２画像の要求があると画像処理システムが判断すると（ステップＳＡ０５でＹＥＳ）、画像処理システムは、ステップＳＡ０６に進む。一方で、第２画像の要求がないと画像処理システムが判断すると（ステップＳＡ０５でＮＯ）、画像処理システムは、処理を終了する。

ステップＳＡ０６では、画像処理システムは、第２画像を情報処理装置に送信する。具体的には、第２画像の要求があると、画像処理システムは、画像取得装置ＩＭによって、ステップＳＡ０４で保存した第２画像をサーバＳＲに送信する。

以上のようにして、画像処理システムでは、車両ＣＡ側からは、まず、第１画像が送信される。そして、サーバＳＲ側から第２画像が要求されると、車両ＣＡ側からサーバＳＲ側に、第２画像が送信される。

ステップＳＢ０１では、画像処理システムは、第１画像を受信したか否かを判断する。この例では、画像取得装置ＩＭによってステップＳＡ０３が行われると、第１画像がサーバＳＲに送信され、サーバＳＲによって第１画像が受信される（ステップＳＢ０１でＹＥＳ）。

次に、第１画像を受信したと画像処理システムが判断すると（ステップＳＢ０１でＹＥＳ）、画像処理システムは、ステップＳＢ０２に進む。一方で、第１画像を受信していないと画像処理システムが判断すると（ステップＳＢ０１でＮＯ）、画像処理システムは、ステップＳＢ０１に進む。

ステップＳＢ０２では、画像処理システムは、第１画像を保存する。以下、サーバＳＲが、画像をデータベース（以下「走行データベースＤＢ１」という。）に保存する例で説明する。

ステップＳＢ０３では、画像処理システムは、走行データベースＤＢ１が更新されたか否かを判断する。具体的には、サーバＳＲがステップＳＢ０２を行うと、走行データベースＤＢ１に、第１画像が追加される。このような場合には、画像処理システムは、走行データベースＤＢ１が更新されたと判断する（ステップＳＢ０３でＹＥＳ）。

次に、走行データベースＤＢ１が更新されたと画像処理システムが判断すると（ステップＳＢ０３でＹＥＳ）、画像処理システムは、ステップＳＢ０４に進む。一方で、走行データベースＤＢ１が更新されていないと画像処理システムが判断すると（ステップＳＢ０３でＮＯ）、画像処理システムは、ステップＳＢ０３に進む。

ステップＳＢ０４では、画像処理システムは、第１画像に基づいて、所定情報を検出する。なお、所定情報は、あらかじめ設定できる情報である。また、所定情報は、交差点ＣＲを特定できる目印となる情報（以下「目印情報」という。）及び車両ＣＡの周辺で発生する渋滞に関する情報（以下「渋滞情報」という。）のうち、少なくともいずれか１つを含む情報である。以下の説明では、所定情報が目印情報である場合を例に説明する。

具体的には、目印となる物体は、例えば、交差点の付近に設置されている看板、建物、ペイント、レーン、道路の特徴又は標識等である。すなわち、目印は、交差点ＣＲの付近に設置される構造物等であったり、交差点ＣＲの付近の道路に記載される図、文字、数字又はこれらの組み合わせ等であったりする。

また、画像処理システムは、第１画像から、例えば、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等によって、目印を認識する。なお、ディープラーニングは、例えば、"ｈｔｔｐ:／／ｗｗｗ.ｓｌｉｄｅｓｈａｒｅ.ｎｅｔ／ｋａｚｏｏ０４／ｄｅｅｐ−ｌｅａｒｎｉｎｇ−１５０９７２７４"又は"ｈｔｔｐ:／／ｗｗｗ.ｓｌｉｄｅｓｈａｒｅ.ｎｅｔ／ＮＶＩＤＩＡＪａｐａｎ／ｎｖｉｄｉａ−ｄｅｅｐ−ｌｅａｒｎｉｎｇ−ｓｄｋ"等に記載される方法によって実現できる。

なお、目印の認識方法は、ディープラーニングに限られない。例えば、目印の認識方法は、特開２００７−２４０１９８号公報、特開２００９−１８６３７２号公報、特開２０１４−１６３８１４号公報又は特開２０１４−１７３９５６号公報等に記載される方法によって実現されてもよい。

以上のような方法によって、例えば、看板を目印と認識するように設定した場合を例に以下説明する。

ステップＳＢ０５では、画像処理システムは、目印があるか否かを判断する。具体的には、目印となる看板が交差点ＣＲの付近にある場合、すなわち、第１画像が撮像される範囲（「０ｍ」から「Ｙｍ」の範囲である。）に看板が設置されていると、第１画像には、看板が撮像されている。このような場合には、ステップＳＢ０４によって看板が検出され、画像処理システムは、目印があると判断する（ステップＳＢ０５でＹＥＳ）。一方で、看板が交差点ＣＲの付近にないと、第１画像には、看板が写らない。そのため、画像処理システムは、目印がないと判断する（ステップＳＢ０５でＮＯ）。

次に、目印があると画像処理システムが判断すると（ステップＳＢ０５でＹＥＳ）、画像処理システムは、ステップＳＢ１２に進む。一方で、目印がないと画像処理システムが判断すると（ステップＳＢ０５でＮＯ）、画像処理システムは、ステップＳＢ０６に進む。

ステップＳＢ０６では、画像処理システムは、第２画像を要求する。すなわち、画像処理システムは、「Ｙｍ」から「Ｚｍ」の範囲を撮像した第２画像を要求する。

ステップＳＢ０７では、画像処理システムは、第２画像を受信したか否かを判断する。この例では、画像取得装置ＩＭによってステップＳＡ０６が行われると、第２画像がサーバＳＲに送信され、サーバＳＲによって第１画像が受信される（ステップＳＢ０７でＹＥＳ）。

次に、第２画像を受信したと画像処理システムが判断すると（ステップＳＢ０７でＹＥＳ）、画像処理システムは、ステップＳＢ０８に進む。一方で、第２画像を受信していないと画像処理システムが判断すると（ステップＳＢ０７でＮＯ）、画像処理システムは、ステップＳＢ０７に進む。

ステップＳＢ０８では、画像処理システムは、第２画像を保存する。例えば、受信された第２画像は、第１画像と同様に、走行データベースＤＢ１保存される。

ステップＳＢ０９では、画像処理システムは、走行データベースＤＢ１が更新されたか否かを判断する。具体的には、サーバＳＲがステップＳＢ０８を行うと、走行データベースＤＢ１に、第２画像が追加される。このような場合には、画像処理システムは、走行データベースＤＢ１が更新されたと判断する（ステップＳＢ０９でＹＥＳ）。

次に、走行データベースＤＢ１が更新されたと画像処理システムが判断すると（ステップＳＢ０９でＹＥＳ）、画像処理システムは、ステップＳＢ１０に進む。一方で、走行データベースＤＢ１が更新されていないと画像処理システムが判断すると（ステップＳＢ０９でＮＯ）、画像処理システムは、ステップＳＢ０９に進む。

ステップＳＢ１０では、画像処理システムは、第２画像に基づいて、所定情報を検出する。例えば、画像処理システムは、ステップＳＢ０４と同様の方法によって所定情報を検出する。なお、ステップＳＢ１０では、第２画像のみを用いて検出を行ってもよく、第１画像と第２画像の両方を用いて検出を行ってもよい。

ステップＳＢ１１では、画像処理システムは、目印があるか否かを判断する。まず、第２画像が撮像される範囲（「Ｙｍ」から「Ｚｍ」の範囲である。）に看板が設置されていると、第２画像には、看板が写る。このような場合には、ステップＳＢ１０によって看板が検出され、画像処理システムは、目印があると判断する（ステップＳＢ１１でＹＥＳ）。一方で、第２画像が撮像される範囲に、看板がないと、第２画像には、看板が写らない。そのため、画像処理システムは、目印がないと判断する（ステップＳＢ１１でＮＯ）。

次に、目印があると画像処理システムが判断すると（ステップＳＢ１１でＹＥＳ）、画像処理システムは、ステップＳＢ１３に進む。一方で、目印がないと画像処理システムが判断すると（ステップＳＢ１１でＮＯ）、画像処理システムは、処理を終了する。

ステップＳＢ１２及びステップＳＢ１３では、画像処理システムは、目印情報を保存する。以下、サーバＳＲが、目印情報をデータベース（以下「案内データベースＤＢ２」という。）に保存する例で説明する。

ステップＳＢ１２又はステップＳＢ１３が行われた場合は、案内の対象となる交差点ＣＲの付近に、看板がある場合である。そこで、ステップＳＢ１２及びステップＳＢ１３では、画像処理システムは、検出された看板の位置等を示す目印情報を案内データベースＤＢ２に保存する。そして、目印情報が案内データベースＤＢ２に保存されると、カーナビゲーション装置等は、目印情報を参照して、目印を用いて案内を行うことができる。

＜効果例＞
図４は、本発明の一実施形態に係る第１全体処理の効果の一例を示す図（その１）である。図３に示す第１全体処理が行われると、例えば、図示するような効果を奏する。

まず、交差点ＣＲから「３００ｍ」以内の範囲を第１距離ＤＩＳ１とする（上記の説明では、「０ｍ」から「Ｙｍ」の範囲である）。第１距離ＤＩＳ１では、第１画像ＩＭＧ１が撮像され、例えば、図示するような画像が生成される。図示するように、第１画像ＩＭＧ１を撮像する画角には、看板ＬＭが入らない。そのため、第１画像ＩＭＧ１には、目印となる看板ＬＭが写らない状況となる（ステップＳＢ０５でＮＯとなる）。したがって、第１画像ＩＭＧ１からは、所定情報が検出されない場合である。

次に、交差点ＣＲから「３００ｍ」離れた位置から、更に「２００ｍ」以内の範囲を第２距離ＤＩＳ２とする（上記の説明では、「Ｙｍ」から「Ｚｍ」の範囲である）。図示するように、第２距離ＤＩＳ２となる範囲、すなわち、交差点ＣＲの手前に、看板ＬＭが設置されているとする。そのため、図示するように、第２画像ＩＭＧ２には、目印となる看板ＬＭが写る状況となる（ステップＳＢ１１でＹＥＳとなる）。したがって、第２画像ＩＭＧ２からは、所定情報が検出される場合である。

また、第１全体処理による効果は、以下のような場面でも効果を奏する。

図５は、本発明の一実施形態に係る第１全体処理の効果の一例を示す図（その２）である。以下、図５は、図４と同様の交差点ＣＲ付近の場面であるとする。なお、図５は、図４とは、異なる視点（いわゆる側面図）である。

図４に示す場面と比較すると、図５は、看板ＬＭが設置されている位置が異なる。具体的には、図示するように、図５では、看板ＬＭは、交差点ＣＲ付近に設置されている。ただし、看板ＬＭは、交差点ＣＲ付近の建物ＢＵの上に設置されているとする。このような場面では、例えば、以下のような現象が起きる場合がある。

図示するように、第１距離ＤＩＳ１では、カメラＣＭによって撮像される範囲（以下「第１撮像範囲ＲＡ１」という。）に、すなわち、第１画像ＩＭＧ１（図４参照）が示す範囲には、図４と同様に、看板ＬＭが入らない。

一方で、建物ＢＵから、第１距離ＤＩＳ１より離れている第２距離ＤＩＳ２では、カメラＣＭによって撮像される範囲（以下「第２撮像範囲ＲＡ２」という。）に、すなわち、第２画像ＩＭＧ２（図４参照）が示す範囲には、看板ＬＭが入る。

そのため、図４と同様に、第２画像ＩＭＧ２を用いると、第１画像ＩＭＧ１では、検出できない所定情報が検出できる。このように、看板ＬＭが設置される高さ（Ｚ方向における位置）によって、第１画像ＩＭＧ１では検出できない場合がある。このような場合であっても、第２画像ＩＭＧ２を用いると、画像処理システムは、所定情報を検出できる。

以上のように、画像処理システムは、まず、第１画像ＩＭＧ１から、所定情報を検出しようとする。そして、画像処理システムは、第１画像ＩＭＧ１から所定情報が検出できた場合には、サーバＳＲが第２画像を要求しない。そのため、車両ＣＡと、サーバＳＲとの間で送受信される画像が少なくなる。

また、第１画像ＩＭＧ１又は第２画像ＩＭＧ２から目印情報が案内データベースＤＢ２に保存できた場合には、以下のような処理が実行できる。

図６は、本発明の一実施形態に係る画像処理システムによる地図データの取得及び案内を行う処理の一例を示すフローチャートである。例えば、カーナビゲーション装置等がある車両ＣＡにある場合には、画像処理システムは、以下のような処理を行うのが望ましい。

ステップＳ２０１では、画像処理システムは、地図データを取得する。

ステップＳ２０２では、画像処理システムは、経路を探索する。

例えば、図２に示すように、ステップＳ２０１によって、車両ＣＡの現在位置、目的地、現在位置から目的地までの途中又はこれらの周辺を示す地図データＤＭが取得されると、画像処理システムは、ステップＳ２０２によって現在地から目的地までの経路を探索し、案内を行うことができる。そして、図２のように、経路上、右折するように案内をする場面となると、画像処理システムは、ステップＳ２０３を行う。

ステップＳ２０３では、画像処理システムは、目印があるか否かを判断する。具体的には、あらかじめ第１全体処理が行われるため、目印がある場合には、目印情報が、案内データベースＤＢ２にあらかじめ保存されている。すなわち、第１全体処理において、ステップＳＢ１２又はステップＳＢ１３が行われると、ステップＳ２０３では、画像処理システムは、目印があると判断する（ステップＳ２０３でＹＥＳ）。

次に、目印があると画像処理システムが判断すると（ステップＳ２０３でＹＥＳ）、画像処理システムは、ステップＳ２０５に進む。一方で、目印がないと画像処理システムが判断すると（ステップＳ２０３でＮＯ）、画像処理システムは、ステップＳ２０４に進む。

ステップＳ２０４では、画像処理システムは、目印を用いない案内を行う。例えば、図示するように、画像処理システムは、音声又は画像表示によって、「３００ｍ先の交差点を右折です。」という内容のメッセージ（以下「第１メッセージＭＳ１」という。）をドライバに出力する。

ステップＳ２０５では、画像処理システムは、目印を用いる案内を行う。例えば、図示するように、画像処理システムは、音声又は画像表示によって、「○○看板のある３００ｍ先の交差点を右折です。」という内容のメッセージ（以下「第２メッセージＭＳ２」という。）をドライバに出力する。

ステップＳ２０４と、ステップＳ２０５とを比較すると、出力されるメッセージが異なる。さらに、第１メッセージＭＳ１と、第２メッセージＭＳ２とを比較すると、同じ交差点を案内するメッセージであるのに、「○○看板」という目印情報が用いられているか否かが異なる。なお、「○○看板」は、図４における看板ＬＭを説明するメッセージであるとする。

ステップＳ２０５では、目印情報が案内データベースＤＢ２にあらかじめ保存されているため、図４に示すように、画像処理システムは、看板ＬＭがある交差点ＣＲを右折するように案内することができる。特に、図２に示すような場面では、右折できる箇所が密集している。このような場面では、第２メッセージＭＳ２のように、看板ＬＭを目印に用いると、画像処理システムは、ドライバに右折する箇所を間違えないように案内できる。したがって、目印を用いない案内より、画像処理システムは、交差点ＣＲを分かりやすく案内することができる。

＜第２全体処理例＞
図７は、本発明の一実施形態に係る画像処理システムによる第２全体処理の一例を示すフローチャートである。画像処理システムは、以下のような第２全体処理を行ってもよい。

第２全体処理は、第１全体処理（図３参照）と比較すると、渋滞情報に係る所定情報を検出する点が異なる。具体的には、第２全体処理では、第１全体処理におけるステップＳＡ０１、ステップＳＢ０５、ステップＳＢ１１乃至ステップＳＢ１３が、ステップＳＡ２０、ステップＳＢ２１乃至ステップＳＢ２４となる点が異なる。また、第２全体処理は、第１全体処理とステップＳＢ０４及びステップＳＢ１０の処理内容が異なる。以下、第１全体処理と同一の処理には、同一の符号を付し説明を省略し、異なる点を中心に説明する。

ステップＳＡ２０では、画像処理システムは、渋滞を検出したか否かを判断する。例えば、車速があらかじめ設定される速度以下となると、画像処理システムは、渋滞を検出したと判断する（ステップＳＡ２０でＹＥＳ）。なお、渋滞を検出したか否かは、例えば、車間距離、周辺にある車両の密度、車速が低速である時間又は距離等に基づいて判断されてもよい。

次に、渋滞を検出したと画像処理システムが判断すると（ステップＳＡ２０でＹＥＳ）、画像処理システムは、ステップＳＡ０３に進む。一方で、渋滞を検出していないと画像処理システムが判断すると（ステップＳＡ２０でＮＯ）、画像処理システムは、ステップＳＡ２０に進む。

ステップＳＢ０４では、画像処理システムは、第１画像に基づいて、所定情報を検出する。第２全体処理では、所定情報は、渋滞情報を含む情報である。以下の説明では、所定情報が渋滞情報である場合を例に説明する。また、画像処理システムは、第１全体処理と同様に、第１画像から、ディープラーニング等によって所定情報を検出する。

渋滞情報は、例えば、車両ＣＡが渋滞に入った地点、渋滞の原因又は渋滞の距離等を示す情報である。なお、渋滞情報をどういった情報にするかは、あらかじめ設定できてもよい。以下、渋滞情報が、交通事故を原因とする例で説明する。

具体的には、画像に、前方の車両が近く写っていたり、事故にあった車両又は工事中を示す看板等が写っていたりすると、画像処理システムは、ディープラーニング等によって渋滞の原因として検出する。また、このような渋滞の原因が確認できる位置等が分かると、画像処理システムは、車両が渋滞に入った地点を把握することができる。

また、例えば、車両が渋滞に入った地点と、渋滞が解消した地点とを把握できると、これらの地点の距離が、渋滞の距離となり、画像処理システムは、渋滞の距離を検出できる。

ステップＳＢ２１では、画像処理システムは、渋滞情報があるか否かを判断する。すなわち、ステップＳＢ０４によって渋滞の原因が検出できていると、画像処理システムは、渋滞情報があると判断する（ステップＳＢ２１でＹＥＳ）。

次に、渋滞情報があると画像処理システムが判断すると（ステップＳＢ２１でＹＥＳ）、画像処理システムは、ステップＳＢ２３に進む。一方で、渋滞情報がないと画像処理システムが判断すると（ステップＳＢ２１でＮＯ）、画像処理システムは、ステップＳＢ０６に進む。

ステップＳＢ１０では、画像処理システムは、第２画像に基づいて、所定情報を検出する。例えば、ステップＳＢ０４と同様の方法によって、画像処理システムは、所定情報を検出する。

ステップＳＢ２２では、画像処理システムは、渋滞情報があるか否かを判断する。すなわち、ステップＳＢ１０によって渋滞の原因が検出できていると、画像処理システムは、渋滞情報があると判断する（ステップＳＢ２２でＹＥＳ）。

次に、渋滞情報があると画像処理システムが判断すると（ステップＳＢ２２でＹＥＳ）、画像処理システムは、ステップＳＢ２４に進む。一方で、渋滞情報がないと画像処理システムが判断すると（ステップＳＢ２２でＮＯ）、画像処理システムは、処理を終了する。

ステップＳＢ２３及びステップＳＢ２４では、画像処理システムは、渋滞情報を保存する。以下、サーバＳＲが、渋滞情報をデータベース（以下「渋滞データベースＤＢ３」という。）に保存する例で説明する。

ステップＳＢ２３又はステップＳＢ２４が行われた場合は、渋滞情報が検出できた場合である。そこで、ステップＳＢ２３及びステップＳＢ２４では、画像処理システムは、渋滞の原因等を示す渋滞情報を渋滞データベースＤＢ３に保存する。そして、渋滞情報が渋滞データベースＤＢ３に保存されると、カーナビゲーション装置等は、渋滞情報を参照して、渋滞が起きていることを案内することができる。

図８は、本発明の一実施形態に係る第２全体処理の効果の一例を示す図である。以下、図示する位置において、渋滞が検出された（ステップＳＡ２０でＹＥＳ）場合を例に説明する。なお、図では、車両ＣＡが進行する方向（以下「進行方向ＲＤ」という。）を前方向とし、「＋」で示す。

第２全体処理では、例えば、図示するように、渋滞が検出された位置を中心した前後所定距離以内を第１距離ＤＩＳ１とする。具体的には、図示する例では、第１距離ＤＩＳ１は、渋滞が検出された位置の前後「３００ｍ」が第１距離ＤＩＳ１である。したがって、第１画像は、渋滞が検出された位置の前後「３００ｍ」、合計「６００ｍ」を示す画像である。

一方で、第１画像では、渋滞情報が検出されない（ステップＳＢ２１でＮＯ）場合には、画像処理システムは、更に前後所定距離以内を示す第２画像を要求する（ステップＳＢ０６）。図示する例では、第２距離ＤＩＳ２は、第１距離ＤＩＳ１に更に「２００ｍ」を加えた距離である。したがって、第１画像は、第１距離ＤＩＳ１より更に前後「２００ｍ」、合計「４００ｍ」を示す画像である。

以上のように、画像処理システムは、まず、第１画像から所定情報を検出しようとする。そして、第１画像から所定情報が検出できた場合には、サーバＳＲは、第２画像を要求しない。そのため、車両ＣＡと、サーバＳＲとの間で送受信される画像が少なくなる。

＜機能構成例＞
図９は、本発明の一実施形態に係る画像処理システムの機能構成例を示す機能ブロック図である。例えば、画像処理システムＩＳは、画像取得部ＩＳＦ１と、第１受信部ＩＳＦ２と、第２受信部ＩＳＦ３と、第１検出部ＩＳＦ４と、第２検出部ＩＳＦ５とを有する。また、画像処理システムＩＳは、図示するように、地図データ取得部ＩＳＦ６と、案内部ＩＳＦ７とを更に有する機能構成であるのが望ましい。

画像取得部ＩＳＦ１は、カメラＣＭによって撮像される車両ＣＡの周辺を示す複数の画像を取得する画像取得手順を行う。例えば、画像取得部ＩＳＦ１は、画像取得装置ＩＭ（図１参照）等によって実現される。

第１受信部ＩＳＦ２は、画像取得部ＩＳＦ１から、複数の画像のうち、第１画像ＩＭＧ１を受信する第１受信手順を行う。例えば、第１受信部ＩＳＦ２は、通信装置ＳＨ５（図１参照）等によって実現される。

第１検出部ＩＳＦ４は、第１受信部ＩＳＦ２が受信する第１画像ＩＭＧ１に基づいて、交差点を示す目印となる目印情報及び車両ＣＡの周辺で発生する渋滞に関する渋滞情報のうち、少なくともいずれか１つを含む所定情報を検出する第１検出手順を行う。例えば、第１検出部ＩＳＦ４は、ＣＰＵＳＨ１（図１参照）等によって実現される。

第２受信部ＩＳＦ３は、第１検出部ＩＳＦ４により、所定情報が検出されないと、画像取得部ＩＳＦ１から、複数の画像のうち、第２画像ＩＭＧ２を受信する第２受信手順を行う。例えば、第２受信部ＩＳＦ３は、通信装置ＳＨ５（図１参照）等によって実現される。

第２検出部ＩＳＦ５は、第１画像ＩＭＧ１及び第２画像ＩＭＧ２の両方に基づいて、又は、第２画像ＩＭＧ２に基づいて、所定情報を検出する第２検出手順を行う。例えば、第２検出部ＩＳＦ５は、ＣＰＵＳＨ１（図１参照）等によって実現される。

地図データ取得部ＩＳＦ６は、車両ＣＡの現在位置、目的地及び現在位置から目的地までの途中を示す地図データＤＭを取得する地図データ取得手順を行う。例えば、地図データ取得部ＩＳＦ６は、車両に搭載されるカーナビゲーション装置等によって実現される。

案内部ＩＳＦ７は、地図データ取得部ＩＳＦ６が取得する地図データＤＭに基づいて、車両ＣＡが走行する経路を案内する案内手順を行う。例えば、案内部ＩＳＦ７は、車両に搭載されるカーナビゲーション装置等によって実現される。

まず、撮像装置の例であるカメラＣＭによって、第１画像ＩＭＧ１及び第２画像ＩＭＧ２を含む複数の画像が撮像される。次に、カメラＣＭによって撮像された第１画像ＩＭＧ１及び第２画像ＩＭＧ２等の画像は、画像取得部ＩＳＦ１によって取得される。

次に、画像処理システムＩＳは、まず、第１受信部ＩＳＦ２によってサーバＳＲに、第１画像ＩＭＧ１を受信させる。そして、画像処理システムＩＳは、第１検出部ＩＳＦ４によって、第１画像ＩＭＧ１から、所定情報を検出する。例えば、第１検出部ＩＳＦ４は、ステップＳＢ０４等によって所定情報を検出する。

第１画像ＩＭＧ１に、看板ＬＭ（図４参照）のような目印となる被写体が写っている場合には、第１検出部ＩＳＦ４は、目印情報を検出し、保存することができる（ステップＳＢ１２）。このように、まず、画像処理システムＩＳは、全画像を用いず、一部の画像である第１画像ＩＭＧ１に基づいて、所定情報を検出する（ステップＳＢ０４）。

そして、第１検出部ＩＳＦ４による検出、すなわち、第１画像ＩＭＧ１から、所定情報が検出されない場合には、画像処理システムＩＳは、第２受信部ＩＳＦ３によって、第２画像ＩＭＧ２を要求し（ステップＳＢ０６）、追加で画像を受信する。そして、画像処理システムＩＳは、第２画像ＩＭＧ２に基づいて、所定情報を検出する（ステップＳＢ１０）。

以上のような構成とすると、第１画像ＩＭＧ１だけでは、所定情報が検出されない場合には、第２画像ＩＭＧ２が受信される。そのため、第２画像ＩＭＧ２が要求されない場合には、第２画像ＩＭＧ２分、データ量が小さくなる。ゆえに、画像処理システムＩＳは、車両ＣＡと、サーバＳＲとの間に流れるデータ量を小さくすることができる。このようにして、画像処理システムＩＳは、通信回線が圧迫されるのを少なくできる。

一方で、第１画像ＩＭＧ１だけでは、所定情報が検出されない場合には、画像処理システムＩＳは、第２画像ＩＭＧ２を要求する。このようにすると、例えば、図４に示すように、所定情報を検出できる。また、画像処理システムＩＳは、所定情報を検出できる画像を効率的に収集できる。そのため、画像処理システムＩＳは、所定情報を精度良く検出することができる。このようにして、画像処理システムＩＳは、所定情報の精度と、データ量を小さくすることを両立させることができる。

所定情報は、どこにあるかあらかじめ分からない場合が多い。そのため、例えば、交差点から「３００ｍ」の範囲を撮像した画像を用いる場合と、交差点から「５００ｍ」の範囲を撮像した画像を用いる場合とでは、「５００ｍ」の範囲を撮像した画像を用いる場合の方が、画像処理システムＩＳは、所定情報を検出しやすい。しかし、「５００ｍ」の範囲を撮像した画像を用いる場合の方が、データ量が大きい場合が多い。そのため、「５００ｍ」の範囲を撮像した画像を用いる場合の方が、通信料金が高くなったり、通信回線の負荷が高くなったりする場合が多い。

実験の結果、図９に示す機能構成によって、平均して「４００ｍ」分の画像を収集した場合には、単に連続して「３００ｍ」分の画像を収集した場合より、画像処理システムＩＳは、多くの所定情報を検出できた。

さらに、図９に示す機能構成によって、平均して「４００ｍ」分の画像を収集した場合には、単に連続して「５００ｍ」分の画像を収集した場合より、画像処理システムＩＳは、通信費を２割程度削減できた。

また、地図データ取得部ＩＳＦ６及び案内部ＩＳＦ７があると、例えば、図６に示す第２メッセージＭＳ２のように、画像処理システムＩＳは、目印を用いる案内をドライバＤＶに行うことができる。

＜その他の実施形態＞
第１画像及び第２画像が示す範囲は、距離による設定に限られない。例えば、１秒間に３０フレームの画像を撮像する撮像装置であるとする。そして、画像処理システムＩＳは、第１画像を３０フレームのうち、１５フレームとし、残りの１５フレームを第２画像とする等といった設定であってもよい。このようにして、検出に用いられる画像を追加できると、画像処理システムＩＳは、所定情報を精度良く検出できる。

地図データ取得部ＩＳＦ６及び案内部ＩＳＦ７は、撮像装置を搭載した車両以外の車両が有してもよい。

本発明に係る実施形態は、情報処理装置又は情報処理システム等のコンピュータに、上記の画像処理方法に係る各手順を実行させるためのプログラムによって実現されてもよい。また、プログラムは、コンピュータが読み取り可能な記録媒体に格納して頒布することができる。

さらに、上記に説明した各装置は、複数の装置であってもよい。そして、上記の画像処理方法に係る各手順の全部又は一部は、並列、分散又は冗長して実行されてもよい。

以上、本発明の好ましい実施例について説明したが、本発明は、説明した実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

ＩＳ 画像処理システム
ＣＭ カメラ
ＳＲ サーバ
ＣＲ 交差点
ＬＭ 看板
ＤＭ 地図データ
ＩＭＧ１ 第１画像
ＩＭＧ２ 第２画像

Claims (7)

1. 車両に搭載される撮像装置と、前記撮像装置と接続される情報処理装置とを有する画像処理システムであって、
   前記車両は、
   前記撮像装置によって撮像される前記車両の周辺を示す複数の画像を取得する画像取得部を有し、
   前記情報処理装置は、
   前記画像取得部から、前記複数の画像のうち、第１画像を受信する第１受信部と、
   前記第１画像に基づいて、交差点を示す目印となる目印情報及び前記車両の周辺で発生する渋滞に関する渋滞情報のうち、少なくともいずれか１つを含む所定情報を検出する第１検出部と、
   前記第１検出部により、前記所定情報が検出されないと、前記画像取得部から、前記複数の画像のうち、第２画像を受信する第２受信部と、
   前記第１画像及び前記第２画像に基づいて、又は、前記第２画像に基づいて、前記所定情報を検出する第２検出部と
   を有する
   画像処理システム。
2. 前記目印は、前記交差点の付近に設置されている看板、建物、ペイント、レーン、道路の特徴又は標識である請求項１に記載の画像処理システム。
3. 前記撮像装置は、前記交差点から所定距離以内となると、前記複数の画像を撮像する請求項１又は２に記載の画像処理システム。
4. 前記第１画像は、前記第２画像が撮像された位置よりも、前記交差点に近い位置に前記車両がいる場合に撮像される画像である請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 前記車両の現在位置、目的地及び現在位置から目的地までの途中を示す地図データを取得する地図データ取得部と、
   前記地図データに基づいて、前記車両が走行する経路を案内する案内部と
   を更に有し、
   前記案内部は、前記所定情報に基づく前記目印を用いて、前記交差点を案内する請求項１乃至４のいずれか１項に記載の画像処理システム。
6. 前記渋滞情報は、前記車両が渋滞に入った地点、前記渋滞の原因又は前記渋滞の距離である請求項１乃至５のいずれか１項に記載の画像処理システム。
7. 車両に搭載される撮像装置と、前記撮像装置と接続される情報処理装置とを有する画像処理システムが行う画像処理方法であって、
   前記画像処理システムが、前記撮像装置によって撮像される前記車両の周辺を示す複数の画像を取得する画像取得手順と、
   前記画像処理システムが、前記画像取得手順によって取得される前記複数の画像のうち、第１画像を受信する第１受信手順と、
   前記画像処理システムが、前記第１画像に基づいて、交差点を示す目印となる目印情報及び前記車両の周辺で発生する渋滞に関する渋滞情報のうち、少なくともいずれか１つを含む所定情報を検出する第１検出手順と、
   前記画像処理システムが、前記第１検出手順により、前記所定情報が検出されないと、前記画像取得手順によって取得される前記複数の画像のうち、第２画像を受信する第２受信手順と、
   前記画像処理システムが、前記第１画像及び前記第２画像に基づいて、又は、前記第２画像に基づいて、前記所定情報を検出する第２検出手順と
   を含む画像処理方法。

Images