JP2022034571A

JP2022034571A - 交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラム

Info

Publication number: JP2022034571A
Application number: JP2018219912A
Authority: JP
Inventors: 崇弘黒瀬; Takahiro Kurose; 明紘小川; Akihiro Ogawa
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2018-11-26
Filing date: 2018-11-26
Publication date: 2022-03-04
Also published as: WO2020110857A1

Abstract

【課題】カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給する。
【解決手段】交通情報処理サーバは、インフラカメラからリアルタイムの画像の時系列を受信する画像受信部と、車両からその位置、移動の方向及び移動の速さを含む車両情報を受信する車両情報受信部と、各々が画像に対して互いに処理時間の異なる解析を行う複数の解析部を含む画像解析部と、画像解析部の解析結果をその処理時間により互いに区別して記憶する動的情報記憶部と、を含み、画像解析部は解析により画像の中に存在する物体の少なくとも地理的位置を検出し、繰返し指定されるタイミングの各々において、車両情報と物体の地理的位置とに基づき、各車両について動的情報記憶部に記憶された解析結果のいずれかを選択し、当該車両に配信する配信部とを含む。
【選択図】図１

Description

この発明は、交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラムに関する。

街頭監視カメラ（以下単に「カメラ」という。）等の固定設置されたセンサ（以下、インフラセンサという。）によるセンサ情報をサーバコンピュータ（以下、単にサーバという）にアップロードし、解析してセンサ情報として使用するシステムが提案されている。また、自動車及び自動二輪車等（以下、車両という）に自己位置、速さ、移動方向等を検出するためのセンサを搭載し、これらからのセンサ情報をサーバにアップロードして、インフラセンサによるセンサ情報とあわせて運転支援のための交通情報として使用することが提案されている。

インフラセンサを充実させることにより、こうしたシステムを適用可能な領域を広げることができ、交通の安全に資することが期待できる。しかし、インフラセンサとして利用できるセンサには複数の種類があり、それらの機能にも相違があるため、インフラセンサをどのように用いれば効果的かという問題がある。例えば、レーザレーダのように高速で処理が可能なセンサは、効果的だが高価であり、インフラセンサとして大量に設置することが難しい。一方、カメラは比較的安価であるが、カメラから得られた情報を処理して精度の高い情報を得るためには比較的長い時間が必要であり、逆に短い時間では相応の精度を持つ情報を得ることができない。

後掲の特許文献１は、複数のカメラから得られた画像とカメラパラメータとをサーバから車両に送信するシステムを開示している。車両に搭載されたカーナビゲーションシステムが、この画像とカメラパラメータと自車の進行方向とから画像内で自車の進行方向を示す矢印の画像を生成し、画像に合成して表示する。運転者は、離れた位置の画像を見るときも自車の進行方向を判断できるため、渋滞車両と自車両との位置関係、及び混雑の程度等を容易に把握できるとされている。

特開２００４－０２１５１４号公報（段落４１－４５、図１―図４５）

しかし上記した特許文献１のシステムは、運転者がモニタに表示された画像を見て画像の意味を解釈する必要があるという問題がある。特に動的情報をモニタに表示したりするときには画面をある時間注視する必要があり、運転に集中できないという問題がある。

こうした問題を解決するために、上記したカメラ以外の様々なインフラセンサを利用して収集したセンサ情報を用いて運転支援のための交通情報を生成し、運転者に提示することが考えられる。しかしそうしたシステムは必然的に高価となり、システムの普及が遅くなるという問題がある。

一方、カメラは比較的安価であるため、情報の抽出方法及び配信方法を工夫すれば、比較的小さなコストで有効なシステムを構築できる可能性がある。そのためには、どのようにすれば各車両に適切な情報を配信できるかという課題を解決する必要がある。特に動的情報を用いながら、運転者が画像を注視する必要がない態様で交通情報を受け入れることができるようなシステムが望ましい。

それ故にこの発明の目的は、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給できる交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラムを提供することである。

この発明の第１の局面に係る交通情報処理サーバは、カメラからリアルタイムの画像の時系列を受信する画像受信部と、車両からその位置、移動の方向及び移動の速さを含む車両情報を受信する車両情報受信部と、各々が画像に対して互いに処理時間の異なる解析を行う複数の解析部を含む画像解析部と、画像解析部の解析結果をその処理時間により互いに区別して記憶する動的情報記憶部と、を含み、画像解析部は解析により画像の中に存在する物体の少なくとも地理的位置を検出し、繰返し指定されるタイミングの各々において、車両情報と物体の地理的位置及びその解析に要する時間とに基づき、各車両について動的情報記憶部に記憶された解析結果のいずれかを選択し、当該車両に配信する配信部とを含む。

この発明の第２の局面に係る交通情報の処理方法は、コンピュータが、カメラからリアルタイムの画像の時系列を受信するステップと、コンピュータが、車両からその位置、移動の方向及び移動の速さを含む車両情報を受信するステップと、コンピュータが、各々が画像に対して互いに処理時間の異なる解析を行う複数の解析処理を実行するステップと、コンピュータが、複数の解析処理の解析結果をその処理時間により互いに区別して記憶装置に記憶するステップと、画像解析により画像の中に存在する物体の少なくとも地理的位置が検出され、コンピュータが、繰返し指定されるタイミングの各々において、車両情報と物体の地理的位置とその解析に要する時間とに基づき、各車両について動的情報記憶部に記憶された解析結果のいずれかを選択し、当該解析結果を当該車両に配信するステップとを含む。

この発明の第３の局面に係るコンピュータプログラムは、無線通信装置を介して外部と無線通信可能なコンピュータを、カメラからリアルタイムの画像の時系列を受信する画像受信部と、無線通信装置を介して車両からその位置、移動の方向及び移動の速さを含む車両情報を受信する車両情報受信部と、各々が画像に対して互いに処理時間の異なる解析を行う複数の解析部を含む画像解析部と、画像解析部の解析結果をその処理時間により互いに区別して記憶する動的情報記憶部と、して機能させ、画像解析部は解析により画像の中に存在する物体の少なくとも地理的位置を検出し、さらに、繰返し指定されるタイミングの各々において、車両情報と画像から検出された物体の地理的位置とその解析に要する時間とに基づき、各車両について動的情報記憶部に記憶された解析結果のいずれかを選択し、当該解析結果を当該車両に配信する配信部として機能させる。

以上のようにこの発明によれば、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給できる交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラムを提供できる。

この発明の構成及び効果は、図面及び詳細な説明から一層明確に理解できるであろう。

図１は、この発明の第１の実施の形態に係る交通インフラシステムの概略構成図である。図２は、図１に示す簡易分類推論部の機能を説明するための模式図である。図３は、簡易分類推論部の構成を示すブロック図である。図４は、図１に示す属性推論部の機能を説明するための模式図である。図５は、属性推論部の構成を示すブロック図である。図６は、図１に示す詳細属性推論部の機能を説明するための模式図である。図７は、詳細属性推論部の構成を示すブロック図である。図８は、図１に示す行動予測推論部の機能を説明するための模式図である。図９は、行動予測推論部の構成を示すブロック図である。図１０は、図１に示す交通情報処理サーバのハードウェア構成を示すブロック図である。図１１は、図１に示す交通情報処理サーバが交通情報配信のために実行するプログラムの制御構造を示すフローチャートである。図１２は、簡易分類推論部の機能を実現するプログラムの制御構造を示すフローチャートである。図１３は、属性推論部の機能を実現するプログラムの制御構造を示すフローチャートである。図１４は、詳細属性推論部の機能を実現するプログラムの制御構造を示すフローチャートである。図１５は、行動予測推論部の機能を実現するプログラムの制御構造を示すフローチャートである。図１６は、配信処理部の機能を実現するプログラムの制御構造を示すフローチャートである。図１７は、図１６に示す配信処理を実行するプログラムの制御構造を示すフローチャートである。図１８は、この発明の第２の実施の形態に係る交通インフラシステムの交通情報処理サーバの概略構成図である。図１９は、縮小画像による簡易分類推論部の構成を示すブロック図である。図２０は、第２の実施の形態において縮小画像による簡易分類推論部を実現するプログラムの制御構造を示すフローチャートである。図２１は、第２の実施の形態において簡易分類推論部を実現するプログラムの制御構造を示すフローチャートである。図２２は、第２の実施の形態において配信処理部を実現するプログラムの制御構造を示すフローチャートである。図２３は、第２の実施の形態において配信処理スレッドを生成する処理を実現するプログラムの制御構造を示すフローチャートである。図２４は、この発明の第３の実施の形態に係る交通インフラシステムの概略構成図である。図２５は、第３の実施の形態に係る交通情報処理サーバの配信処理部を実現するプログラムの制御構造を示すフローチャートである。

図２６は、この発明の第４の実施の形態に係る交通インフラシステムの交通情報処理サーバの概略構成図である。

［この発明の実施形態の説明］
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。また、以下の各実施の形態の一部を互いに組合せても良い。

画像が入力されると、その画像に対して互いに処理時間の異なる複数の解析部が解析を行う。その結果は、処理時間により互いに区別して動的情報記憶部に記憶される。配信部は、車両情報と画像の中に存在する物体の地理的位置とその解析に要する時間とに基づき、動的情報記憶部に記憶された解析結果のいずれかを選択して車両に配信する。車両と物体の地理的位置とに基づいて解析部の出力を選択するため、車両と物体の地理的位置に関連して定まる処理時間で得られる解析結果が車両に配信される。したがって、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給できる。

好ましくは、配信部は、タイミングの各々において、車両情報と物体の地理的位置とに基づき、各車両について動的情報記憶部に記憶された解析結果のうち、車両情報と物体の地理的位置とにより定まるしきい値より短い処理時間で得られる解析結果を累積的に選択して当該車両に配信する累積的配信部を含む。

車両情報と物体の地理的位置とに基づいて選択された解析結果に加え、その解析結果よりも処理時間が短い解析結果も車両に配信される。ある処理時間を要する解析結果を有効に利用できる車両の場合、それよりも処理時間の短い解析結果も同様に、又はそれ以上に有効に利用できる。その結果、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給できる。

より好ましくは、複数の解析部の解析結果は、処理時間の最も短い解析部の処理結果からより長い解析部の処理結果となるにしたがって階層が上となるように階層構造をなし、動的情報記憶部は、複数の解析部の解析結果を階層構造として記憶し、累積的配信部は、タイミングの各々において、階層構造のうち、しきい値より短い処理時間で得られる解析結果を含む１又は複数の階層を各車両について選択し、当該選択された階層の解析結果を当該車両に配信する階層的配信部を含む。

階層構造中において、ある階層以下の階層の解析結果は、その階層の解析結果を出力した解析部が要した解析時間より短い解析時間で得られたものであり、より現在に近い画像から得られたものである。選択された解析部の解析結果に加え、その解析部よりも処理時間が短い解析部の解析結果も車両に配信されることになる。ある処理時間を要する解析結果を有効に利用できる車両の場合、それよりも処理時間の短い解析結果、すなわちより現在に近い画像から得られた解析結果も同様に、又はそれ以上に有効に利用できる。その結果、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給できる。

さらに好ましくは、配信部は、タイミングの各々において、車両情報により特定される車両の中で、カメラの画像から検出された物体に向かって移動する車両を解析結果の配信の対象車両として選択し、それ以外の車両を対象車両から除外する対象車両選択部と、対象車両選択部により対象車両が選択されたことに応答して、車両情報と検出された物体の地理的位置及びその解析に要する時間とに基づき、対象車両の各車両について動的情報記憶部に記憶された解析結果のいずれかを選択して当該車両に配信する第２の配信部とを含む。

カメラからの画像から検出された物体に向かって移動する車両以外に解析結果を配信しても有効に利用できない。当該物体に向かって移動する車両のみに解析結果を配信することで、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給でき、通信量を削減できる。

好ましくは、第２の配信部は、対象車両選択部により対象車両が選択されたことに応答して、タイミングの各々において、車両情報と検出された物体の地理的位置及びその解析に要した時間とに基づき、各車両について動的情報記憶部に記憶された解析結果のうち、当該解析結果を得るための処理時間が所定のしきい値より短い解析結果を累積的に選択して当該車両に配信する第３の配信部を含む。

車両情報とカメラの画像から検出された物体の地理的位置及びその解析に要した時間とに基づいて選択された解析結果に加え、その解析結果よりも短い処理時間で得られる解析結果も車両に配信される。ある処理時間を要する解析結果を有効に利用できる車両の場合、それよりも処理時間の短い解析結果も同様に、又はそれ以上に有効に利用できる。その結果、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給できる。

より好ましくは、複数の解析部は、処理時間が複数の解析部の内で最も短い第１の解析部と、処理時間が第１の解析部より長い第２の解析部とを少なくとも含み、配信部は、車両情報により特定される車両の各々に対して、当該車両のカメラから検出された物体との距離と第１のしきい値とを比較する第１の比較部と、第１の比較部による比較結果に応じて、第１の解析部の解析結果を動的情報記憶部から読出して当該車両に配信する処理と、第１の解析部及び第２の解析部の解析結果を動的情報記憶部から読出して当該車両に配信する処理と、を選択的に実行する、配信実行部とを含む。

カメラの画像から検出された物体と車両との距離が第１のしきい値以下、又はそれより小さいときには、車両がその物体の位置まで到達する時間は相対的に短い。そうした車両には、処理時間が短い第１の解析部の解析結果を配信することで、検出された物体の位置での現在の状態に近い情報を車両に配信できる。また、古い画像から得られた解析結果を車両に配信しても役に立たない。そのため、通信帯域を無駄にせず、車両は配信された情報を用いて有効に運転者を支援できる。一方、車両と物体との距離が第１のしきい値より大きいときには車両がその物体の位置まで移動する時間は相対的に長い。そのため、現在の状態だけではなく、それより前の情報を配信しても有効に利用できる。その結果、選択された解析結果に加え、その解析結果よりも短い処理時間で得られる解析結果も車両に配信される。ある処理時間を要する解析結果を有効に利用できる車両の場合、それよりも処理時間の短い解析結果も同様に、又はそれ以上に有効に利用できる。その結果、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給できる。

さらに好ましくは、第１の解析部は、画像受信部が受信する画像を入力として受け、当該画像中に存在する物体と、当該物体の属するクラスと、当該物体の地理的位置とを解析する分類解析部を含み、第２の解析部は、第１の解析部の出力に基づいて、第１の解析部が解析した物体の属性を解析する属性解析部を含む。

第２の解析部は、第１の解析部の処理結果に基づいて物体の属性を解析する。したがって第２の解析部の解析結果が得られるのは第１の解析部の処理結果より後になる。第１の解析部の解析結果と、第１及び第２の解析部の解析結果を累積したものとを、車両とカメラの位置との間の距離に応じて車両に配信する。第２の解析部の解析結果を送っても有効に利用できない車両に対しては第２の解析部の解析結果を送信しないことで通信帯域を有効に利用できる。一方、それよりも相対的にカメラから遠い車両では、第１の解析部の解析結果も、第２の解析部の解析結果もともに有効に利用できる。その結果、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給できる。

好ましくは、第２の解析部は、第１の解析部の出力を利用して画像に対する解析を行う。

第２の解析部は、第１の解析部の処理結果を利用する。したがって、第２の解析部の解析結果が得られるのは第１の解析部の処理結果より後になる。第１の解析部の解析結果と、第１及び第２の解析部の解析結果を累積したものとを、車両と物体の位置との間の距離に応じて車両に配信する。第２の解析部の解析結果を送っても有効に利用できない車両に対しては第２の解析部の解析結果を送信しないことで通信帯域を有効に利用できる。一方、それよりも相対的に物体から遠い車両では、第１の解析部の解析結果も、第２の解析部の解析結果もともに有効に利用できる。その結果、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給できる。

より好ましくは、第２の解析部は、一時に１枚の画像に対する解析を実行する単一画像解析部を含み、第１の解析部は、ある画像に対する解析が終了したときに単一画像解析部が他の画像に対する解析中か否かを判定する判定部と、当該判定部の判定結果に応じて、単一画像解析部のある画像に対する解析の実行をスキップする処理と、単一画像解析部のある画像に対する解析の実行を開始させる処理とを選択的に実行する。

第２の解析部が第１の解析部の出力を利用する場合、新たな画像についての第１の解析部の処理終了時にまだ第２の解析部が処理中であれば、第２の解析部はこの新たな画像を処理しないことになる。計算資源が潤沢でないときにはこのように第２の解析部の処理を間引きすることで全体の動作を維持できる。第２の解析部の出力を利用する解析部がある場合、それらの解析部がこの新たな画像を処理することもない。したがってさらに計算資源を節約できる。

さらに好ましくは、複数の解析部の各々は、１つの画像が入力されると同時に当該画像を入力として画像解析を開始し、複数の解析部の他のどの解析部からの出力も入力として受けないで動作する。

各解析部がそれぞれ独立に動作する場合、各解析部の処理が他の解析部による処理結果に影響されることはない。その結果、効率的に各画像に対する解析を行える。

好ましくは、複数の解析部の各々は、１つの画像が入力されるごとに、その画像を処理するための解析処理を開始して並列で実行し、画像ごとに解析結果を出力する。

各解析部が、１つの画像が入力されるごとにその画像を処理するための解析処理を開始する。全ての画像に対して、全ての解析処理が行われるので、どの処理についても、得られる解析結果の間の時間間隔が元の画像を受信した間隔と同じになる。したがって、どのようなタイミングで解析結果を車両に配信しても、各解析部からの出力でそのときに利用可能な最新の解析結果を車両に配信できる。

画像が入力されると、その画像に対して互いに処理時間の異なる複数の解析が行なわれる。その結果は、処理時間により互いに区別して記憶装置に記憶される。配信するステップでは、車両情報とカメラの画像から検出された物体の地理的位置とに基づき、動的情報記憶部に記憶された解析結果のいずれかを選択して車両に配信する。車両と物体の地理的位置とに基づいて解析処理の出力を選択するため、車両と物体の位置に関連して定まる処理時間の解析処理の出力が車両に配信される。したがって、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給できる。

画像が入力されると、その画像に対して互いに処理時間の異なる複数の解析が行われる。その結果は、処理時間により互いに区別して動的情報記憶部に記憶される。配信部は、車両情報とカメラの画像から検出された物体の地理的位置とに基づき、解析結果のいずれかを選択して車両に配信する。車両と検出された物体の地理的位置とに基づいて解析結果を選択するため、車両と物体の位置に関連して定まる処理時間の解析結果が車両に配信される。したがって、カメラから得られた動的な画像を用いて、運転支援のための適切な情報を、適切なタイミングで運転者に供給できる。

［この発明の実施形態の詳細］
この発明の実施形態に係る交通インフラシステム、交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラムの具体例を、以下に図面を参照しつつ説明する。なお、この発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

＜第１の実施の形態＞
〈構成〉
図１を参照して、第１の実施の形態に係る交通インフラシステム１００は、交差点等の信号１１０等に設けられ、その交差点を含む一定領域の画像を連続して撮像し出力するインフラカメラ１１４と、インフラカメラ１１４から出力される画像の時系列を受信し解析して、交差点付近にいる歩行者１１２等、路上の車両１１８、１２０、１２２、及び１２４等の運転者が注意すべき対象物に関する情報を各車両に配信する交通情報処理サーバ１１６とを含む。

交通情報処理サーバ１１６は、インフラカメラ１１４からの画像の時系列をリアルタイムで受信するカメラ画像受信部１５０と、カメラ画像受信部１５０が受信した画像の時系列に対して所定の画像解析を行い、解析結果を出力する画像解析部１５２と、画像解析部１５２の出力する画像解析結果を記憶し蓄積する動的情報記憶部１５４とを含む。この実施の形態では、画像解析部１５２が画像に対して処理時間の異なる複数の推論処理を行って歩行者１１２等の対象物の位置、属性等を解析結果として出力する。これら複数の推論処理に要する時間はその複雑さに応じて異なる。

動的情報記憶部１５４は、処理時間の異なる複数の推論処理の結果を互いに区別して、処理時間の短いものが下位階層を、処理時間の長いものがその上位階層を、それぞれ形成するように階層的に記憶する。

交通情報処理サーバ１１６はさらに、車両１１８、１２０、１２２、１２４等の車両から、各車両の位置、移動方向、及び移動の速さ等を含む車両情報を無線通信により受信する車両情報受信部１５６と、この車両情報を記憶する車両情報記憶部１５８と、一定時間ごとに、車両情報記憶部１５８に記憶された車両情報により特定される車両の中で解析結果を送信すべき対象車両を選択し、当該対象車両の車両情報と、インフラカメラ１１４が撮像した画像から得られた検出物体の位置と、画像解析部１５２の中で解析結果を出力した推論処理に要する処理時間の長さとに基づいて、動的情報記憶部１５４に記憶された解析結果を選択して配信する配信処理部１６０とを含む。

この実施の形態では、画像解析部１５２は、カメラ画像受信部１５０が受信した各画像について、その画像中の対象物の画像中の概略位置、その分類、及びその地理的位置を示す位置座標を推論する簡易分類推論部１８０と、簡易分類推論部１８０により推論された対象物の画像中の概略位置に基づいて画像から対象物の画像を抽出し、その属性を推論する属性推論部１８２と、属性推論部１８２が元の画像から抽出した画像の解像度を高める処理を行い、得られた高解像度の画像から対象物の詳細な属性を推論する詳細属性推論部１８４と、簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４の推論結果、及びこれらの過去の推論結果に基づいて、簡易分類推論部１８０により検出された対象物の今後の行動を予測する行動予測推論部１８６とを含む。

一方、配信処理部１６０は、車両情報記憶部１５８に記憶された車両情報と、インフラカメラ１１４が撮像した画像から検出された検出物体と車両１１８、１２０、１２２、１２４との距離とに基づいて、動的情報記憶部１５４に記憶されている情報を各車両に対して選択し、送信する機能を持つ。この実施の形態では、各車両に対して送信する情報は、各車両と検出物体との距離を第１～第３のしきい値Ｄ１～Ｄ３と比較し、その結果と各車両の移動の速さとに応じて選択する。配信処理部１６０による情報の選択方法については図１６及び図１７を参照して後述する。

《簡易分類推論部１８０》
図２を参照して、図１に示した簡易分類推論部１８０は、入力された画像２００の中で運転者が注意すべき対象物の概略位置と、その概略の分類とを推論する。例えば簡易分類推論部１８０は、画像２００の中の歩行者の画像を囲む四角形であるバウンディングボックス（枠２１０）と、それが歩行者であるという推論結果とを出力する。こうした処理については、予め教師データにより訓練を行った畳込みニューラルネットワークにより高速に行うことができる。このためのプログラムとして高速に動作するものに、例えばtinyYOLO (https://pjreddie.com/darknet/yolo/)がある。tinyYOLOによれば、動画像中のオブジェクトのバウンディングボックスと、そのオブジェクトが属するクラスとを推論結果として出力する。tinyYOLOによれば、推論結果には信頼度も付随して出力される。したがって、予め運転者が注意すべき対象物のクラスを含む画像と、それ以外の対象物を含む画像とを教師データとしてこの畳込みニューラルネットワークを訓練しておき、注意すべき対象物のクラスに属するオブジェクトであってその信頼度が所定値以上のものを選択する、等により対象物の位置とその分類との推論結果を得ることができる。

なお、このtinyYOLOでは、精度を調整することもできる。またtinyYOLOより高精度のツールも発表されている。ただし精度が上がればニューラルネットワークへの入力、隠れ層の数、及び隠れ層内のニューロン数が増加するので、処理時間が長くなることはいうまでもない。

簡易分類推論部１８０は、上記したような処理により画像２００の各々に対し、その中で運転者が注意すべきクラスに属する対象物、すなわち歩行者等の対象物の画像の枠２１０を検出して画像２０２を出力し、その対象物のクラス（歩行者、自転車、自動車、動物、…）を簡易分類推論の結果として出力する。簡易分類推論部１８０はまた、対象物の画像中の位置及びそのクラスに基づいて、その対象物の地理的な位置座標を推定し出力する。これら簡易分類推論の結果は画像が撮像されたときのタイムスタンプとともに動的情報記憶部１５４に記憶される。

図３を参照して、簡易分類推論部１８０は、画像２００を所定の大きさの画像に正規化する画像正規化処理部２３０と、画像正規化処理部２３０により正規化された画像を受け、対象物の位置とそのクラスとを検出し、各対象物について、対象物を囲む枠の座標と、対象物が属するクラス識別子と、クラス分類の信頼度と、対象物の地理的な位置座標とからなる簡易分類推論結果２３４、２３６、２３８等を出力する、予め学習済の畳込みニューラルネットワーク２３２とを含む。畳込みニューラルネットワーク２３２の実体は、この実施の形態では上記したtinyYOLO等のプログラムである。なお、ここで言う正規化とは、画像を縦横それぞれ所定の数に分割することで所定個数のブロックに区分することをいう。なおこのように画像を正規化するのは、畳込みニューラルネットワーク２３２の入力数が所定数でなければならないという制約による。なお、畳込みニューラルネットワーク２３２の学習は、カメラの仕様、その設置位置及び姿勢と、撮像対象領域に関する情報に基づいて、学習用の画像を大量に人工的に合成して行うことができる。

《属性推論部１８２》
図４を参照して、属性推論部１８２が行う歩行者等の対象物の属性を推論する処理は、画像２０２の中の枠２１０のような各枠から対象物の各々の画像を切出し、切出された画像中の対象物の画像２５０から、その対象物の体の向き、人であれば大人又は子供等の区別等の属性を推論し、属性推論結果２７４として動的情報記憶部１５４に元の画像のタイムスタンプとともに出力する機能を持つ。

図５を参照して、このために属性推論部１８２は、基本的には属性推論部１８２と同様の処理をより時間をかけて行うものであって、画像２０２から切出された画像２５０を、簡易分類推論部１８０による正規化よりも細かいブロック（より多くのブロック数）で正規化する処理を行う画像正規化処理部２７０と、画像正規化処理部２７０により正規化された画像を入力として、対象物の体が向いている方向と、対象物が人間であるとして老人、大人、子供のいずれであるかを推論し、属性推論結果２７４として出力する畳込みニューラルネットワーク２７２とを含む。

畳込みニューラルネットワーク２７２の構成も、図３に示す畳込みニューラルネットワーク２３２と同様である。ただし図５に示す画像正規化処理部２７０は、画像を画像正規化処理部２３０よりも細かいブロックに分け、全体としてより多数のブロックからなる画像に正規化する。したがって畳込みニューラルネットワーク２７２への入力数は、図３の畳込みニューラルネットワーク２３２への入力数よりも多くなる。その結果、画像正規化処理部２７０による推論では畳込みニューラルネットワーク２３２による推論よりさらに細かい属性に関する推論を行える。しかし同時にその処理に要する時間も長くなる。

この実施の形態では、属性推論結果２７４は、対象物のクラスが人間であるとして、その体の向きが周囲の８方向をそれぞれ向いている確率を含む。この方向は、人間がカメラの方向を向いている姿勢を基準とし、その人間の軸を中心に時計回りに４５度ずつ回転した８つの方向である。すなわちこの情報は８個の確率値を含み、それらの和は１となる。属性推論結果２７４はさらに、対象物である人間が老人、大人、及び子供という年齢層のいずれに属するかを示す確率をそれぞれ出力する。これらは全部で３個の確率値を含み、その和は１となる。

最終的には、たとえば姿勢と年齢層との組合せが最も確率の高いものを体の向き及び年齢層の区別として選択する。

《詳細属性推論部１８４》
図６を参照して、詳細属性推論部１８４は、属性推論部１８２よりもさらに詳細な属性を推論する機能を持つ。すなわち、詳細属性推論部１８４は、切出された画像２５０に対して超解像処理と呼ばれる処理を行って高解像度画像２９０を生成し、この高解像度画像２９０に対して詳細属性の推論を行い、動的情報記憶部１５４に出力する。ここでの詳細属性は、顔の向き及び姿勢である。

顔の向きは、周囲８方向の各々について、顔がその方向を向いている確率と、上下５方向の各々について、顔がその方向を向いている確率とを含む。姿勢は、対象物が人であれば、人体骨格の特徴的な点の集合からなる３次元骨格座標として表される。ここでは、各特徴点に対して顔の位置を基準とした座標の候補を確率付きで推定し、それらの組合せの中で最も確率の高いものを３次元骨格座標とする。

図７を参照して、このために詳細属性推論部１８４は、切出された画像２５０を所定の個数のブロックに分割する正規化処理を行って正規化画像を出力する画像正規化処理部３００と、この正規化画像に対して超解像処理を行って高解像度画像２９０を生成し出力するための超解像処理部３０２と、高解像度画像２９０を入力として、詳細属性３０６を出力する、予め訓練済の畳込みニューラルネットワーク３０４とを含む。

画像正規化処理部３００による正規化処理は、画像正規化処理部２７０による正規化処理よりもさらに多数のブロックに画像２５０を分割する。超解像処理部３０２は、これら各ブロックに対して予め準備した超解像復元モデル（図示せず）を適用して低解像度である部分の解像度を高める処理を行う。

超解像処理として、ここでは、予め訓練済の超解像復元モデルを用い、低い解像度の画像の各部を、その元になったであろう高解像度の画像で置換することで、全体として解像度が高くなった画像を得る、という技術である。超解像度復元モデルとは、高解像度の画像と、その画像の解像度を下げた画像とのペアを多数記憶したデータベースと考えれば良い。低解像度の画像の各部について、データベース中で最も類似した低解像度画像を見つけ、その低解像度画像とペアになっている高解像度画像で置換することで画像のその部分が高解像度化される。

高解像度画像２９０を構成する画素数が超解像処理部３０２による処理で増加するため、畳込みニューラルネットワーク３０４への入力数も増加し、畳込みニューラルネットワーク３０４による推論処理に要する時間は長くなる。しかし、高解像度画像２９０が元の画像に近い画像であれば、対象物（例えば人）の詳細な属性（顔の向き及び姿勢）を推定できる。

《行動予測推論部１８６》
図８を参照して、行動予測推論部１８６は、動的情報記憶部１５４に記憶された、過去に取得された動的情報を用いて対象物の行動を予測し、行動予測結果３１０を動的情報記憶部１５４に出力する。最新の情報に加えて過去の情報を用いる必要があるため、行動予測推論部１８６による行動予測は他のどの処理と比較しても長い時間が必要となる。

図９を参照して、こうした行動予測を行うために、行動予測推論部１８６は、動的情報記憶部１５４に記憶された、ある対象物の最新の簡易分類推論結果、属性推論結果、詳細属性結果、及び行動予測結果をそれらのタイムスタンプとともに入力として受け、一定時間後のその対象物の行動予測（行動種別及び予測位置）を表す情報を出力するための、学習済のリカレント型ニューラルネットワーク３２０を含む。なお、ここでのタイムスタンプとしては、最新の簡易分類予測に付されたタイムスタンプと、各解析結果に付されたタイムスタンプとの差分を用いる。タイムスタンプとして差分を用いることで、訓練データが疎になることが防止できる。なお、タイムスタンプとして、簡易分類予測のタイムスタンプとの差分に加え、時間のみのタイムスタンプ、又は１時間よりも短いサイクル（例えば２分ごと）でリセットされるタイムスタンプを利用しても良い。時刻により歩行者の行動に相違が生じる可能性がある一方、あまり長い単位でタイムスタンプを利用すると学習データが不足するおそれがあるためである。タイムスタンプの利用については、他の実施の形態でも同様である。

なお、リカレント型ニューラルネットワーク３２０を用いるため、リカレント型ニューラルネットワーク３２０には最新の情報のみを入力として与えればよい。以前の入力に基づいた情報がリカレント型ニューラルネットワーク３２０内に記憶されており、その情報が後の処理に反映される。すなわち、ニューラルネットワークの出力には過去の入力情報が反映されるためである。リカレント型ニューラルネットワークのこうした性質は、この実施の形態のような行動予測に最適である。ＬＳＴＭ（Long Short-Term Memory）ネットワーク等でも同様である。なお、この実施の形態では、行動種別については予め定めた何種類かの行動種別（止まる、歩き出す、走り出す、反転する、等）に分類し、その各々についての確率の形でリカレント型ニューラルネットワーク３２０から出力を得る。また予測位置としては、現在の対象物の位置を中心として周囲を一定数の区画にわけ、一定時間後にそれら区画にその対象物が移動する確率の形でリカレント型ニューラルネットワーク３２０から出力を得る。最終的には行動種別と予測位置との組合せのうち、確率が最も高いものを行動種別と予測位置として採用する。

《コンピュータによる実現》
―ハードウェア構成―
図１に示す交通情報処理サーバ１１６はコンピュータハードウェアと、そのコンピュータハードウェアにより実行されるプログラムとにより実現可能である。図１０を参照して、交通情報処理サーバ１１６を実現するコンピュータシステム３３０は、インターネット等のネットワーク３４２に接続可能で、アンテナ３４６を用いた無線通信により車両等と通信可能なコンピュータ３４０を含む。

コンピュータ３４０は中央演算処理装置（ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３５０と、ＣＰＵ３５０に接続され、ＣＰＵ３５０と他の各機能部との通信路及び各機能部間の通信路を提供するバス３５２と、バス３５２に接続されたＧＰＵ（ＧｒｐｈｐｉｃＰｒｏｃｅｓｓｉｎｇｕｎｉｔ）３５４と、バス３５２に接続されたＲＯＭ（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）３５６と、バス３５２に接続され、ＣＰＵ３５０に対する主記憶として機能するＲＡＭ（ＲａｍｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３５８と、バス３５２に接続され、ＣＰＵ３５０が実行する制御プログラム、制御プログラム実行に必要な情報、画像の時系列、車両情報、各ニューラルネットワークのパラメータ及び本願発明を実施するためのプログラム、及び動的情報等を記憶するためのハードディスクドライブ３６０とを含む。ＧＰＵ３５４が存在しているため、ニューラルネットワークに関する演算、特に大量のデータに対する演算を行う必要がある学習に係る時間を短縮できる。

コンピュータ３４０はさらに、バス３５２に接続され、ＣＰＵ３５０に対して、車両等との無線通信を提供するための、アンテナ３４６を持つ無線通信装置３６２と、バス３５２に接続され、ＣＰＵ３５０に対してネットワーク３４２への接続を提供するネットワークインターフェイス（Ｉ／Ｆ）３６４と、外部機器からの信号３４４の入出力のために設けられた、バス３５２に接続された入出力Ｉ／Ｆ３６６とを含む。なお、ハードディスクドライブ３６０に代えて、ＳＳＤ（Solid State Drive）を用いても良い。

―画像解析部のプログラム構成―
図１に示す画像解析部１５２は、いくつかのプログラムをコンピュータ３４０で実行することにより実現できる。この実施の形態では、簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４、及び行動予測推論部１８６はいずれも別々のプログラムで実現される。図１１に示すプログラムは、これらの内、簡易分類推論部１８０を実現するプログラムを起動するためのプログラムの制御構造を示すフローチャートである。

このプログラムは、カメラ画像受信部１５０が新たな画像を受信したことに応答して起動され、簡易分類推論実行中フラグがセットされているか否かを判定し、判定結果に応じて制御の流れを分岐させるステップ３９０を含む。簡易分類推論実行中フラグとは、簡易分類推論部１８０を実現するプログラム（以下「簡易分類推論ルーチン」と呼ぶ。）がある画像に対する簡易分類推論処理を開始したときにセットし、終了したときにリセットするフラグである。この実施の形態では、簡易分類推論部１８０は一時には１つの画像しか処理できない形態であるため、簡易分類推論部１８０が実行中か否かを判定する必要がある。この実施の形態では、簡易分類推論部１８０が実行中であれば、簡易分類推論部１８０は次の画像を処理できない。こうした状態をビジー状態と呼ぶ。簡易分類推論部１８０が何ら処理を実行していないときをアイドル状態と呼ぶ。

このプログラムはさらに、ステップ３９０の判定が否定のときに、簡易分類推論処理ルーチンに開始を指示して処理を終了するステップ３９２を含む。ステップ３９０の判定が肯定のときにはこの処理はそれ以上何もせずに終了する。すなわち、このプログラムによれば、画像を受信したときに簡易分類推論処理ルーチンがビジーであればその画像については何も処理しない。簡易分類推論処理ルーチンがアイドルのときだけ当該プログラムを起動し、入力に対する簡易分類推論処理を実行する。

このような処理をすると、画像によっては処理されないものが出てくる可能性があるが、通常は簡易分類推論処理の実行時間は短く、全ての画像に対する処理が実行されると考えて良い。

図１２を参照して、図１１のステップ３９２において起動される簡易分類推論ルーチンは、簡易分類推論実行中フラグをセットするステップ４１０と、ステップ４１０に続いて簡易分類推論を開始するステップ４１２とを含む。この処理では、実際には、図３に示す様に、入力された画像に対して正規化処理を行った後、正規化後の画像を畳込みニューラルネットワーク２３２に入力し、簡易分類推論結果２３４、２３６及び２３８等を畳込みニューラルネットワーク２３２から受取る。簡易分類推論結果は、畳込みニューラルネットワーク２３２が検出した特定のクラス（人等）のオブジェクトの数だけ出力される。

このプログラムはさらに、ステップ４１２の処理の結果得られた推論結果を元の画像のタイムスタンプとともに動的情報記憶部１５４に格納するステップ４１４と、属性推論実行中フラグがセットされているか否かを判定し、その判定に応じて制御の流れを分岐させるステップ４１６とを含む。属性推論実行中フラグは、後述するように簡易分類推論実行中フラグと同様、属性推論ルーチンがある画像に対して属性推論処理の実行を開始したときにセットされ、終了したときにリセットされる。このフラグがセットされていると属性推論ルーチンはビジーであり新たな画像に対する処理を開始できない。

このプログラムはさらに、ステップ４１６の判定が否定のときに、簡易分類推論が完了した画像を属性推論処理ルーチンに渡し、その開始を指示するステップ４１８と、ステップ４１８の終了後、簡易分類推論実行中フラグをリセットして処理を終了するステップ４２０とを含む。ステップ４１６の判定が肯定のときにはステップ４１８の処理を実行することなく制御はステップ４２０に進む。

このような構造を持つ簡易分類推論処理ルーチンを採用すると、属性推論処理ルーチンに時間がかかって前の画像に対する推論処理が完了していない場合には、新たに入力された画像に対しては簡易分類推論処理のみを実行し、属性推論処理は実行しないことになる。

図１３を参照して、図１２のステップ４１８で起動される属性推論処理ルーチンは、属性推論実行中フラグをセットするステップ４４０と、簡易分類推論部１８０による処理で特定されたオブジェクトの枠の各々について、その枠内のオブジェクトの画像に対する属性推論を開始するステップ４４２と、推論結果を動的情報記憶部１５４に元の画像のタイムスタンプとともに格納するステップ４４４と、図１の詳細属性推論部１８４を実現する詳細属性推論ルーチンがビジーか否かを示す詳細属性推論実行中フラグがセットされているか否かを判定し、結果にしたがって制御の流れを分岐させるステップ４４６とを含む。

このプログラムはさらに、ステップ４４６の判定が否定のときに、対象となるオブジェクトの画像を詳細属性推論処理ルーチンに渡して詳細属性推論処理の開始を指示するステップ４４８と、属性推論実行中フラグをリセットして処理を終了するステップ４５０とを含む。ステップ４４６の判定が肯定のときにはステップ４４８は実行されず、制御は直接にステップ４５０に進む。

図１４を参照して、図１３のステップ４４８で起動される詳細属性推論処理ルーチンは、詳細属性推論実行中フラグをセットするステップ４７０と、詳細属性推論を開始するステップ４７２と、推論結果を元画像が撮像されたときのタイムスタンプとともに動的情報記憶部１５４に格納するステップ４７４とを含む。ステップ４７２の処理は、図７に示すとおりであって、切出された画像２５０に対して画像正規化を行い、超解像処理を行って高解像度画像２９０を得る。この高解像度画像２９０を入力として畳込みニューラルネットワーク３０４に与えることで、畳込みニューラルネットワーク３０４の出力に詳細属性３０６が得られる。

このプログラムはさらに、行動予測実行中フラグがセットされているか否かを判定し、結果にしたがって制御の流れを分岐させるステップ４７６と、ステップ４７６の判定が否定のときに、行動予測推論処理ルーチンを起動するステップ４７８と、詳細属性推論実行中フラグをリセットして処理を終了するステップ４８０とを含む。ステップ４７６の判定が肯定のときにはステップ４７８の処理は実行せず、制御は直接ステップ４８０に進む。

ここで、行動予測推論処理実行中フラグとは、行動予測推論部１８６に相当するプログラムの実行開始時にセットされ、実行終了時にリセットされるフラグである。図１４に示すプログラムによれば、このフラグがセットされているときには行動予測推論処理は実行されない。

図１５を参照して、図１４のステップ４７８で起動される行動予測推論処理ルーチンは、行動予測推論実行中フラグをセットするステップ５００と、簡易分類推論の結果、属性推論の結果、及び詳細属性推論の結果の内、最新のものを動的情報記憶部１５４から読出し、それらを図９に示すリカレント型ニューラルネットワーク３２０に入力して行動予測結果３１０を得るステップ５０２と、行動予測の推論結果を動的情報記憶部１５４に格納するステップ５０４と、行動予測推論実行中フラグをリセットして処理を終了するステップ５０６とを含む。

この図１５に示す処理は、予測にリカレント型ニューラルネットワークを使用しているため、過去の情報までさかのぼってニューラルネットワークに入力する必要はない。そのため、処理自体は比較的短時間で終わるが、そのためには簡易分類推論、属性推論及び詳細属性推論の全てが終了している必要があるため、ある画像が入力されてから最終的な結果が得られるまでの時間は他の処理と比較して長くなる。

―配信処理部のプログラム構成―
図１６を参照して、図１に示す配信処理部１６０を実現するプログラムは、車両情報記憶部１５８に記憶されている車両情報と図１に示す簡易分類推論部１８０により検出された検出物体との全ての組合せに対して、以下の処理５３２を実行するステップ５３０を含む。

処理５３２は、処理対象の車両の中から、車両の進行方向が処理対象の検出物体に近づく方向か否かを判定し、判定が否定であればこの車両と検出物体との組合せに対する処理を終了するステップ５４０と、ステップ５４０の判定結果が肯定であるときに、対象車両に対して処理対象の検出物体に関する情報を配信する処理を実行して処理を終了するステップ５４２とを含む。

図１７を参照して、図１６に示すステップ５４２は、処理対象の検出物体から処理対象の車両までの距離Ｄを算出するステップ５６０と、算出された距離Ｄと、予め準備された、距離に関する３つのしきい値Ｄ１、Ｄ２及びＤ３（ただしＤ１＜Ｄ２＜Ｄ３）とを比較してその結果にしたがって制御の流れを分岐させるステップ５６２とを含む。なお、以下の処理では対象車両の速さと比較される、速さに関する３つのしきい値Ｖ１、Ｖ２及びＶ３（ただしＶ３＜Ｖ２＜Ｖ１）が使用される。

すなわち、距離Ｄ＜しきい値Ｄ１のときにはステップ５６４を実行して処理を終了する。ステップ５６４では、動的情報記憶部１５４に記憶されていた処理対象の検出物体に関する最新の簡易分類推論結果、すなわち階層構造の最も下層の情報を対象車両に配信する。しきい値Ｄ１≦距離Ｄ＜しきい値Ｄ２のときには、制御はステップ５６６に進む。ステップ５６６では対象車両の速さがしきい値Ｖ１より大きいか否かが判定される。判定が肯定なら制御はステップ５６４に進み、否定なら制御はステップ５６８に進む。ステップ５６８では動的情報記憶部１５４から読出された処理対象の検出物体に関する最新の簡易分類推論結果及び属性推論結果が対象車両に配信される。すなわちこの場合、階層構造の最も下層の情報と、その次の層の情報とが対象車両に配信される。

しきい値Ｄ２≦距離Ｄ＜しきい値Ｄ３のときには制御はステップ５７０に進む。ステップ５７０では、対象車両の速さがしきい値Ｖ２より大きいか否かが判定され、判定が肯定なら制御はステップ５６８に進み、判定が否定なら制御はステップ５７２に進む。ステップ５７２では、対象車両に対し、動的情報記憶部１５４から読出された処理対象の検出物体に関する最新の簡易分類推論結果、属性推論結果、及び詳細属性推論結果が配信される。すなわちこの場合、階層構造のうち下位から３階層の情報が対象車両に配信される。

しきい値Ｄ３＜距離Ｄのときには、制御はステップ５７４に進む。ステップ５７４では、対象車両の速さがしきい値Ｖ３より大きいか否かが判定され、判定が肯定のときには制御はステップ５７２に進み、判定が否定のときには制御はステップ５７６に進む。ステップ５７６では、対象車両に対し、動的情報記憶部１５４から読出された処理対象の検出物体に関する最新の簡易分類推論結果、属性推論結果、詳細属性推論結果、及び行動予測推論結果が配信される。すなわちこの場合には、階層構造の全階層の情報が対象車両に配信される。

このような処理を行うことにより、車両が処理対象の検出物体の位置に到達するまでの時間が短いほど、処理対象の検出物体に関する情報のうち階層構造の下位の階層の情報のみが車両に送信され、長いほど、処理対象の検出物体に関する情報のうち、階層構造の上位の階層のデータも追加して車両に送信されるようになる。車両の移動の速さが同じであると仮定すれば、車両が処理対象の検出物体に近いほど、階層構造の下位の階層の情報のみが車両に送信され、遠くなるほど、上位の階層の情報が順に追加して送信される。また車両から処理対象の検出物体までの距離が同一である場合には、車両の移動の速さが大きいほど階層構造の下位の階層の情報のみが車両に送信され、遅くなるほど上位の階層の情報が追加されて送信される。

〈動作〉
図１～図１７を参照して、以上に構成を説明した交通インフラシステム１００は以下のように動作する。図１を参照して、インフラカメラ１１４は、所定のフレームレートで撮像対象の領域（信号１１０の近傍）を撮像し、撮像の都度画像をカメラ画像受信部１５０に送信する。カメラ画像受信部１５０は、新たな画像を受信するとそれを記憶装置に格納し、簡易分類推論部１８０がビジーか否かを判定する（図１１のステップ３９０）。もしも簡易分類推論部１８０がビジーならこの画像については何も処理しない。簡易分類推論部１８０がビジーでなければ（アイドル状態であれば）簡易分類推論部１８０を起動し（図１１のステップ３９２）、処理を終了する。

簡易分類推論部１８０はカメラ画像受信部１５０により起動されると、図１２を参照して、ステップ４１０で簡易分類推論実行中フラグをセットする。続いてステップ４１２で簡易分類推論を開始する。この処理では、実際には、図３に示すように、入力された画像に対して正規化処理を行った後、正規化後の画像を畳込みニューラルネットワーク２３２に入力し、簡易分類推論結果２３４、２３６及び２３８等を畳込みニューラルネットワーク２３２から受取る。簡易分類推論結果は、画像正規化処理部２３０内で畳込みニューラルネットワーク２３２が検出した特定のクラス（人等）のオブジェクトの数だけ出力される。例えば、図２の画像２００の中で、人等の画像の枠２１０、枠２１０内のオブジェクトのクラス情報、その信頼度、及びそのオブジェクトの地理的位置座標が検出される。

さらに、図１２のステップ４１４では、ステップ４１２の処理の結果得られた推論結果を、元の画像のタイムスタンプとともに動的情報記憶部１５４に格納する。さらにステップ４１６では、属性推論実行中フラグがセットされているか否かを判定する。判定が否定なら、ステップ４１８で簡易分類推論が完了した画像を属性推論処理ルーチンに渡し、その開始を指示する。ステップ４１８の終了後、ステップ４２０で簡易分類推論実行中フラグをリセットして処理を終了する。通常はこうした処理が実行される。ステップ４１６の判定が肯定のときには、ステップ４１８の処理を実行することなく制御はステップ４２０に進み、簡易分類推論実行中フラグをリセットして処理を終了する。

このような構造を持つ簡易分類推論処理ルーチンを採用すると、属性推論処理ルーチンに時間がかかって前の画像に対する推論処理が完了していない場合には、新たに入力された画像に対しては簡易分類推論処理のみを実行し、属性推論処理は実行しないことになる。計算資源が豊かでないときでも、このように一部の画像に対する処理をスキップすることにより全体として処理を中断させたり大きく遅延させたりすることなく実行できる。

図１３を参照して、図１２のステップ４１８で属性推論処理ルーチンが起動されると、ステップ４４０で属性推論実行中フラグがセットされる。ステップ４４２では、簡易分類推論部１８０による処理で特定されたオブジェクトの枠の各々について、その枠内のオブジェクトの画像に対する属性推論を開始する。この結果得られた推論結果は、ステップ４４４において元の画像のタイムスタンプとともに動的情報記憶部１５４に格納される。ステップ４４６において、詳細属性推論実行中フラグがセットされているか否かを判定する。ステップ４４６の判定が否定のときには、ステップ４４８で対象となるオブジェクトの画像を詳細属性推論処理ルーチンに渡して詳細属性推論処理の開始を指示する。詳細属性推論処理ルーチンが実行を開始すると、ステップ４５０で属性推論実行中フラグをリセットして処理を終了する。ステップ４４６の判定が肯定のときにはステップ４４８は実行されず、制御は直接にステップ４５０に進み、属性推論実行中フラグをリセットして処理を終了する。

すなわちこの処理でも、詳細属性推論処理がビジーのときには詳細属性推論処理は開始されず、この画像に対するこの後の処理は実行されない。これは詳細属性推論処理に要する時間が属性推論処理に要する時間より長いためである。

図１４を参照して、図１３のステップ４４８で詳細属性推論処理ルーチンが起動されると、ステップ４７０で詳細属性推論実行中フラグをセットする。ステップ４７２で詳細属性推論を開始する。ステップ４７４では、得られた推論結果を動的情報記憶部１５４に元画像が撮像されたときのタイムスタンプとともに格納する。さらに、ステップ４７６で、行動予測実行中フラグがセットされているか否かを判定する。ステップ４７６の判定が否定のとき、すなわち行動予測処理がアイドルであるときには、ステップ４７８で行動予測推論処理ルーチンを起動する。この後、ステップ４８０で詳細属性推論実行中フラグをリセットして処理を終了する。ステップ４７６の判定が肯定のとき、すなわち行動予測処理がビジーであるときにはステップ４７８の処理は実行せず、制御は直接ステップ４８０に進み、詳細属性推論実行中フラグがリセットされ、属性推論処理は終了する。

図１５を参照して、図１４のステップ４７８で行動予測推論処理ルーチンが起動されると、ステップ５００で行動予測推論実行中フラグをセットする。ステップ５０２で簡易分類推論の結果、属性推論の結果、及び詳細属性推論の結果の内、最新のものを動的情報記憶部１５４から読出し、それらを図９に示すリカレント型ニューラルネットワーク３２０に入力して行動予測結果３１０を得る。続くステップ５０４で、行動予測の推論結果を動的情報記憶部１５４に格納する。最後にステップ５０６で行動予測推論実行中フラグをリセットして処理を終了する。

この図１５に示す処理は、予測にリカレント型ニューラルネットワークを使用しているため、過去の情報が必要であるにもかかわらず、過去の情報までさかのぼってニューラルネットワークに入力する必要はない。そのため、処理自体は比較的短時間で終わるが、この処理のために、簡易分類推論、属性推論及び詳細属性推論の全てが終了している必要がある。そのため、最終的な結果が得られるまでの時間は他の処理と比較して最も長い。

以上のようにして、図１に示す動的情報記憶部１５４には、インフラカメラ１１４からの画像に対して簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４及び行動予測推論部１８６により得られた解析結果が、それらの処理時間により区別されて元の画像のタイムスタンプとともに格納される。ここで注意すべきは、属性推論部１８２の処理に要する時間は簡易分類推論部１８０の処理に要する時間より長く、詳細属性推論部１８４の処理に要する時間は属性推論部１８２の処理に要する時間よりさらに長く、行動予測推論部１８６の処理に要する時間は他のどの処理よりも長い、ということである。すなわち、ある画像に対する推論結果の内、簡易分類推論部１８０による推論結果が最も早く動的情報記憶部１５４に格納され、その後に属性推論部１８２による推論結果、さらにその後に詳細属性推論部１８４による推論結果、最後に行動予測推論部１８６による推論結果という順番で動的情報記憶部１５４に記憶される。場合によっては、簡易分類推論部１８０で処理された画像であっても、属性推論部１８２以降では処理されなかったものもあるし、簡易分類推論部１８０及び属性推論部１８２で処理された画像であっても、詳細属性推論部１８４以降では処理されなかったものもある。さらに、簡易分類推論部１８０、属性推論部１８２及び詳細属性推論部１８４では処理されたにもかかわらず、行動予測推論部１８６では処理されなかった画像もあり得る。

配信処理部１６０は、以下のようにして、動的情報記憶部１５４に記憶された動的情報を車両に配信する。なお、この実施の形態では、配信処理部１６０による配信処理は、一定時間ごとに行われる。

図１６を参照して、配信処理部１６０は、ステップ５３０において、車両情報記憶部１５８に記憶されている車両情報と、動的情報記憶部１５４に記憶されている検出物体との全ての組合せに対して、以下の処理を実行する。すなわち、処理対象の組合せの車両の進行方向が、処理対象の組合せの検出物体の方向か否かをステップ５４０で判定し、判定が否定ならこの組合せに対する処理を終了し、次の組合せに対する処理に移る。ステップ５４０の判定が肯定なら、この車両に対してステップ５４２で配信処理を実行してこの組合せに対する処理を終了し、次の組合せに対する処理に移る。このように、検出物体の方向に進行している車両についてのみ検出物体に関する情報を配信するのは、その検出物体から遠ざかる方向に移動しているような車両に検出物体の状態に関する情報を配信しても利用価値がほとんどないためである。

図１７を参照して、図１６に示すステップ５４２のステップ５６０では、対象車両について、処理対象の検出物体からその対象車両までの距離Ｄを算出する。ステップ５６２において、ステップ５６０で算出された距離Ｄと、距離に関する３つのしきい値Ｄ１、Ｄ２及びＤ３とを比較する。

すなわち、距離Ｄ＜しきい値Ｄ１のときには、ステップ５６４で、動的情報記憶部１５４に記憶されていたその検出物体に関する最新の簡易分類推論結果を対象車両に配信する。すなわち階層構造の最も下位の階層の情報が対象車両に配信される。

しきい値Ｄ１≦距離Ｄ＜しきい値Ｄ２のときには、ステップ５６６で対象車両の速さがしきい値Ｖ１より大きいか否かを判定する。判定が肯定ならステップ５６４に進み対象車両に処理対象の検出物体の情報のうち最新の簡易分類推論結果を配信する。判定が否定ならステップ５６８で動的情報記憶部１５４から読出された処理対象の検出物体の情報のうち最新の簡易分類推論結果及び属性推論結果を対象車両に配信する。すなわち、階層構造の下位の２階層の情報が対象車両に配信される。

しきい値Ｄ２≦距離Ｄ＜しきい値Ｄ３のときには、ステップ５７０で対象車両の速さがしきい値Ｖ２より大きいか否かを判定する。判定が肯定なら制御はステップ５６８に進み処理対象の検出物体の情報のうち簡易分類推論結果及び属性推論結果を対象車両に配信する。判定が否定ならステップ５７２で、対象車両に対し、動的情報記憶部１５４から読出された処理対象の検出物体の情報のうち最新の簡易分類推論結果、属性推論結果、及び詳細属性推論結果を配信する。すなわち、階層構造の下位３階層の情報が対象車両に配信される。

しきい値Ｄ３＜距離Ｄのときには、ステップ５７４で対象車両の速さがしきい値Ｖ３より大きいか否かを判定する。判定が肯定のときには制御はステップ５７２では、処理対象の検出物体の情報のうち最新の簡易分類推論結果、属性推論結果、及び詳細属性推論結果を動的情報記憶部１５４から読出し、対象車両に配信する。判定が否定のときにはステップ５７６で対象車両に対し、処理対象の検出物体の情報のうち動的情報記憶部１５４から読出された最新の簡易分類推論結果、属性推論結果、詳細属性推論結果、及び行動予測推論結果を配信する。すなわち、処理対象の検出物体の情報に関する階層構造の全階層の情報が対象車両に配信される。

このような処理を行うことにより、車両がカメラの画像から検出された検出物体に到達するまでの時間が短いほど、その検出物体の情報のうち階層構造の下位の階層の情報のみが車両に送信され、長いほど、当該車両に配信される階層構造の上位の階層のデータも追加して（累積的に）車両に送信されるようになる。車両の移動の速さが同じであれば、車両が検出物体に近いほど、処理対象の検出物体の情報のうち階層構造の下位の階層の情報のみが車両に送信され、遠くなるほど、上位の階層の情報が順に追加して送信される。また車両から検出物体までの距離が同一である場合には、車両の移動の速さが大きいほど階層構造の下位の階層の情報のみが車両に送信され、遅くなるほど上位の階層の情報が追加されて送信される。

こうした構成及び動作により、以下のような効果を得ることができる。図１を参照して、例えば車両からインフラカメラ１１４の画像から検出された検出物体（例えば歩行者１１２）までの距離Ｄがしきい値Ｄ１より小さい場合（例えば車両１１８）、この車両が歩行者１１２の位置まで到達する時間は他の車両１２０等よりも短い。そのため、例えば行動予測推論部１８６による歩行者１１２に関する推論結果を車両１１８に送信しても、車両１１８にとっては役に立たない。行動予測推論部１８６の推論処理には時間がかかるため、行動予測結果として車両１１８に届く情報は、古い画像から得られた情報であって、その間に歩行者１１２の状態はかなり変化しており、歩行者１１２のすぐ近くにいる車両１１８の運転者にとっては参考にならないためである。それどころか、そのような情報は車両１１８の運転者にとって不要であって、通信帯域を無駄使いすることになり好ましくない。したがって上記実施の形態では車両１１８のように歩行者１１２の撮像領域までの距離が近い車両には、歩行者１１２に関する最新の情報（すなわち簡易分類推論部１８０による推論結果）のみを配信する。

同様の考え方で、車両１２０のように歩行者１１２までの距離がしきい値Ｄ１以上でしきい値Ｄ２より短い場合には、歩行者１１２に関する推論結果のうち、処理時間が比較的短い情報である簡易分類推論部１８０及び属性推論部１８２による推論結果を配信する。車両１２２のように歩行者１１２までの距離がしきい値Ｄ２以上でしきい値Ｄ３より短い車両に対しては、処理時間がより長い情報である詳細属性推論部１８４による推論結果まで含めて配信する。そして、歩行者１１２までの距離がしきい値Ｄ３以上である位置にいる車両１２４に対しては、行動予測推論部１８６の推論結果を含め、歩行者１１２に関する全ての最新の推論結果を配信する。すなわち、歩行者１１２までの到達時間が短い車両から長い車両になるにしたがい、動的情報記憶部１５４に記憶された階層構造の下位の層の情報から始めて、順番に上位の層を累積して配信する。

こうした構成により、インフラカメラ１１４という比較的安価なインフラセンサから得た画像のみを用いて、通信帯域を有効に利用しながら、各車両にとって有益な情報を配信できるという効果がある。

なお、配信処理部１６０による配信処理は、上記したように所定時間ごとに行うようにしてもよいし、カメラ画像受信部１５０が所定枚数の画像を受信するごとに行ってもよい。又は、これらに加えて、車両情報受信部１５６が新たな車両から車両情報を受信したときに行ってもよく、何らかの車両から情報送信のリクエストを受信したときに行っても良い。配信の間隔を車両情報記憶部１５８に記憶された車両情報の数によって調整したり、カメラ画像受信部１５０が受信する画像に何らかの動きがあるときには間隔を短くし、そうでないときには長くしたりしてもよい。要するに、何らかのアルゴリズムで定められたタイミングで繰返し配信処理を行うようにすればよい。

＜第２の実施の形態＞
上記した第１の実施の形態に係る交通情報処理サーバ１１６では、属性推論部１８２は簡易分類推論部１８０による処理結果を利用している。これは、交通情報処理サーバ１１６の計算資源が十分でない場合でも上記機能を実現できるという意味で有効である。しかし、上記構成をとったため、属性推論部１８２の推論結果が得られるまでの時間は、簡易分類推論部１８０による処理時間に属性推論部１８２自体の処理に要する時間を加算したものとなる。第１の実施の形態では、詳細属性推論部１８４は属性推論部１８２の処理結果を利用し、行動予測推論部１８６は詳細属性推論部１８４の処理結果を利用しているため、処理時間が累積して行動予測推論部１８６による最終的な推論結果が長くなるという問題がある。第２の実施の形態はこの時間を多少とも短くするためのものである。

〈構成〉
図１８を参照して、第２の実施の形態に係る交通情報処理サーバ６００は、図１に示す交通情報処理サーバ１１６と比較して、図１の簡易分類推論部１８０の前段に、カメラ画像受信部１５０から画像を受信して縮小し、縮小された画像に対して簡易分類推論部６２０と同様の処理を並列に実行することでより短い時間で画像中のオブジェクトの位置検出（切出）と分類推論とを行い、その結果を動的情報記憶部１５４に格納する、縮小画像による簡易分類推論部６２０を含む点である。

縮小画像による簡易分類推論部６２０と簡易分類推論部１８０とが同時に同じ画像に対する処理を開始した場合、縮小画像による簡易分類推論部６２０の方が推論結果を出すまでに要する時間の方が短い。そのため、簡易分類推論部１８０による処理では間に合わないほど検出物体に近い位置にいる車両に対しても有効な情報を提供できる。なお、この実施の形態では、縮小画像による簡易分類推論部６２０、簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４及び行動予測推論部１８６については、１プログラム中で並列に実行されるスレッドにより実現される。

またこの交通情報処理サーバ６００は、図１の配信処理部１６０に代えて、複数の対象車両に並列処理でそれぞれ必要な情報を配信する配信処理部６２４を含む点でも図１の交通情報処理サーバ１１６と異なる。第１の実施の形態の場合には、対象車両と検出物体との組合せに対して一度に一つの組合せずつ、順番に情報を配信している。この配信処理に要する時間は、対象車両と検出物体との組合せの数が多くなると無視できなくなる可能性がある。検出物体までの距離が短い車両に優先して情報を配信することも考えられるが、できれば全ての車両に同時に情報を配信できれば望ましい。この第２の実施の形態に係る交通情報処理サーバ６００の配信処理部６２４は、対象車両への配信処理を並列処理により実行する。

図１９を参照して、縮小画像による簡易分類推論部６２０は、画像２００をカメラ画像受信部１５０から受信して画像を縮小し、かつ画像を予め定められた個数のブロックに分割することで正規化する画像縮小正規化処理部６４０と、画像縮小正規化処理部６４０により縮小された画像に対して、図３に示す畳込みニューラルネットワーク２３２と同様の処理を行い、簡易分類推論結果６４４、６４６、及び６４８を、検出されたオブジェクトの数だけ出力する畳込みニューラルネットワーク６４２とを含む。

畳込みニューラルネットワーク６４２は畳込みニューラルネットワーク２３２と同様の処理を行うような構成を持ち、かつ同様の教師データで訓練されている。ただし畳込みニューラルネットワーク６４２の入力画像は縮小画像であり、そのために畳込みニューラルネットワーク６４２への入力数は少なく、隠れ層の数も畳込みニューラルネットワーク２３２より少なくて良い。画像が２次元であるため、画像を正規化する際のブロックの大きさが一定であるとすれば、画像を１／２に縮小するとブロック数は１／４と、縮小比の２乗に反比例する形で少なくなる。その結果、画像の縮小率を大きく（画像がより小さくなるように）縮小すると、畳込みニューラルネットワーク６４２の推論に要する時間は加速度的に短くなる。

カメラ画像受信部１５０は、画像を受けると縮小画像による簡易分類推論部６２０及び簡易分類推論部１８０を起動する。すなわち、カメラ画像受信部１５０は、縮小画像による簡易分類推論部６２０に対して画像を渡すことで縮小画像による画像簡易分類処理スレッドを生成し、簡易分類推論部１８０に対して画像を渡して簡易分類推論処理スレッドを生成する。

このように、この実施の形態では、縮小画像による簡易分類推論処理スレッドと簡易分類推論処理スレッドとを生成し、両者を並列に動作させる。また縮小画像による簡易分類推論処理スレッドを簡易分類推論処理スレッドより先に生成している。こうした形でこの２つの処理を並列に動作させることで、縮小画像による簡易分類推論部６２０が簡易分類推論処理スレッドより早く推論結果を出すことが確実になり、第１の実施の形態よりさらに短時間で簡易的な推論結果を得ることができる。

図２０を参照して、図１９に示す縮小画像による簡易分類推論部６２０のスレッドで実行されるプログラムは、受けた画像を縮小するステップ６９０と、縮小した画像に対して属性分類推論を実行するステップ６９２と、ステップ６９２の結果得られた推論結果を動的情報記憶部１５４に格納するステップ６９４とを含む。

図２１を参照して、簡易分類推論部６２０のスレッドで実行されるプログラムは、簡易分類推論を実行するステップ４１２と、ステップ４１２の推論結果を、画像のタイムスタンプとともに動的情報記憶部１５４に格納して処理を終了するステップ４１４とを含む。これらの処理はいずれも図１２に示したものと同じである。

詳細属性推論部１８４を実現するスレッドで実行される処理は、ステップ６９０の処理が存在しないこと、及びステップ６９４の次の処理として詳細属性推論のスレッドを生成することを除き図２１０に示すものと同様の構成を持つ。また行動予測推論部１８６を実現するスレッドで実行される処理は、ステップ６９０の処理が存在しないこと、及びステップ６９４の次の処理において行動予測推論のスレッドを開始することを除き図２１と同様の構成を持つ。

図２２を参照して、図１８に示す配信処理部６２４が実行するプログラムは、動的情報記憶部１５４に記憶された車両情報により特定される車両と、インフラカメラ１１４の画像から検出された検出物体との全ての組合せに対して、以下の処理７０２を実行するステップ５３０を含む。

処理７０２は、処理対象の車両の進行方向が処理対象の検出物体に向かう方向か否かを判定し、判定が否定であれば処理対象の車両に対する処理を終了するステップ５４０と、ステップ５４０の判定が肯定であるときに、その車両に対して処理対象の検出物体に関する情報を配信する配信処理のスレッドを生成するステップ７１２とを含む。

図２３を参照して、ステップ７１２は、処理対象の検出物体から処理対象の車両までの距離Ｄを算出するステップ５６０と、算出された距離Ｄと、距離に関する３つのしきい値Ｄ１、Ｄ２、Ｄ３及びＤ４（ただしＤ４＜Ｄ１＜Ｄ２＜Ｄ３）とを比較してその結果にしたがって制御の流れを分岐させるステップ７２２とを含む。なお、以下の処理では対象車両の速さと比較される、速さに関する３つのしきい値Ｖ１、Ｖ２、Ｖ３及びＶ４（ただしＶ３＜Ｖ２＜Ｖ１＜Ｖ４）が使用される。

すなわち、距離Ｄ＜しきい値Ｄ４のときにはステップ７２６を実行して処理を終了する。ステップ７２６では、縮小画像による簡易分類推論部６２０により得られた簡易分類推論結果、すなわち階層構造のうち最も下層の情報を対象車両に送信する。

しきい値Ｄ４≦距離Ｄ＜しきい値Ｄ１のときには制御はステップ７２４に進む。ステップ７２４では、対象車両の速さがしきい値Ｖ４より速いか否かが判定される。判定が肯定なら制御はステップ７２６に進み、否定なら制御はステップ５６４に進む。ステップ５６４では、動的情報記憶部１５４に記憶されていた処理対象の検出物体に関する、縮小画像により得られた簡易分類推論結果と、通常の画像から得られた最新の簡易分類推論結果、すなわち階層構造の最下層と下から２段めの階層との情報を対象車両に配信する。

しきい値Ｄ１≦距離Ｄ＜しきい値Ｄ２のときには、制御はステップ５６６に進む。ステップ５６６では対象車両の速さがしきい値Ｖ１より大きいか否かが判定される。判定が肯定なら制御はステップ５６４に進み、否定なら制御はステップ５６８に進む。ステップ５６８では動的情報記憶部１５４から読出された処理対象の検出物体に関する縮小画像から得られた最新の簡易分類推論結果、通常の画像から得られた最新の簡易分類推論結果、及び属性推論結果が対象車両に配信される。すなわちこの場合、階層構造の最も下層の情報から３階層の情報が対象車両に配信される。

しきい値Ｄ２≦距離Ｄ＜しきい値Ｄ３のときには制御はステップ５７０に進む。ステップ５７０では、対象車両の速さがしきい値Ｖ２より大きいか否かが判定され、判定が肯定なら制御はステップ５６８に進み、判定が否定なら制御はステップ５７２に進む。ステップ５７２では、対象車両に対し、動的情報記憶部１５４から読出された処理対象の検出物体に関する縮小画像から得られた最新の簡易分類推論結果、通常の画像から得られた最新の簡易分類推論結果、属性推論結果、及び詳細属性推論結果が配信される。すなわちこの場合、階層構造のうち下位から４階層の情報が対象車両に配信される。

しきい値Ｄ３＜距離Ｄのときには、制御はステップ５７４に進む。ステップ５７４では、対象車両の速さがしきい値Ｖ３より大きいか否かが判定され、判定が肯定のときには制御はステップ５７２に進み、判定が否定のときには制御はステップ５７６に進む。ステップ５７６では、対象車両に対し、動的情報記憶部１５４から読出された処理対象の検出物体に関する縮小画像から得られた最新の簡易分類推論結果、通常の画像から得られた最新の簡易分類推論結果、属性推論結果、詳細属性推論結果、及び行動予測推論結果が配信される。すなわちこの場合には、階層構造の全階層の情報が対象車両に配信される。

このような処理を行うことにより、車両が処理対象の検出物体の位置に到達するまでの時間が短いほど、処理対象の検出物体に関する情報のうち階層構造の下位の階層の情報のみが車両に送信され、長いほど、処理対象の検出物体に関する情報のうち、階層構造の上位の階層のデータも追加して車両に送信されるようになる。車両の移動の速さが同じであると仮定すれば、車両が処理対象の検出物体に近いほど、階層構造の下位の階層の情報のみが車両に送信され、遠くなるほど、上位の階層の情報が順に追加して送信される。また車両から処理対象の検出物体までの距離が同一である場合には、車両の移動の速さが大きいほど階層構造の下位の階層の情報のみが車両に送信され、遅くなるほど上位の階層の情報が追加されて送信される。またこの実施の形態では、第１の実施の形態と比較して、対象となる検出物体までの距離が短い車両にも縮小画像による簡易分類推論結果を送ることができ、検出物体までの距離が非常に短い場合でも有効な情報を車両に配信できる。

このように各車両への配信を車両ごとのスレッドで行うことで各車両に情報が並列で送信されるため、車両の数が多少増加しても送信時間が問題となるおそれは小さい。また、簡易分類推論処理として縮小画像による簡易分類推論処理を追加したので、検出物体までの距離が短い場合に、第１の実施の形態よりも有効な情報を車両に送信できる。

なお、上記実施の形態は、計算資源が豊富にあることが前提である。計算資源が豊富にある場合には縮小画像による簡易分類推論部６２０、簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４及び行動予測推論部１８６を全てスレッド化可能である。これらを全てスレッド化すると、カメラ画像受信部１５０が画像を受信するたびに、縮小画像による簡易分類推論部６２０、簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４、及び行動予測推論部１８６の全てについて新たにスレッドが生成され、並列に実行される。第１の実施の形態では、後続する処理がビジーなときには後続する処理の実行開始を行わないため、一部の画像については解析結果が得られないことがある。それに対してこの第２の実施の形態で各処理をスレッド化した場合には、各画像に対して全ての解析結果が得られ、一部の情報に空白期間が生ずることを避けることができる。

なお、配信処理部６２４による配信処理は、第１の実施の形態と同様、例えば所定時間ごとに行うようにしてもよいし、カメラ画像受信部１５０が所定枚数の画像を受信するごとに行ってもよい。又は、これらに加えて。車両情報受信部１５６が新たな車両から車両情報を受信したときに行ってもよく、何らかの車両から情報送信のリクエストを受信したときに行っても良い。配信の間隔を車両情報記憶部１５８に記憶された車両情報の数によって調整したり、カメラ画像受信部１５０が受信する画像に何らかの動きがあるときには間隔を短くし、そうでないときには長くしたりしてもよい。要するに、何らかのアルゴリズムで定められたタイミングで繰返し配信処理を行うようにすればよい。

《動作》
第１の実施の形態と異なる部分のみ説明する。図１８を参照して、カメラ画像受信部１５０が画像を受信すると、カメラ画像受信部１５０は縮小画像による簡易分類推論部６２０のスレッド、及び簡易分類推論部１８０のスレッドを生成する。縮小画像による簡易分類推論部６２０のスレッドが簡易分類推論部１８０のスレッドより早く処理を終了し、その簡易分類推論結果を動的情報記憶部１５４に格納する。一方、この後に簡易分類推論部１８０が処理を終了し、通常の画像による簡易分類推論結果を動的情報記憶部１５４に格納する。簡易分類推論部１８０が処理を終了すると属性推論部１８２のスレッドが生成され、属性推論を開始する。属性推論部１８２の処理が終了すると属性推論部１８２は推論結果を動的情報記憶部１５４に格納し、詳細属性推論部１８４のスレッドを生成する。詳細属性推論部１８４のスレッドの処理が終了すると詳細属性推論部１８４は推論結果を動的情報記憶部１５４に格納し、行動予測推論部１８６のスレッドを生成する。行動予測推論部１８６のスレッドは動的情報記憶部１５４に記憶された最新の情報に基づき行動予測推論を行い、推論結果を動的情報記憶部１５４に格納する。

これらの処理の間の任意の時点でカメラ画像受信部１５０が次の画像を受信すると、カメラ画像受信部１５０は縮小画像による簡易分類推論部６２０と通常の画像による簡易分類推論部１８０との双方について新たなスレッドを生成する。この結果、これらから属性推論部１８２、詳細属性推論部１８４、及び行動予測推論部１８６のスレッドが派生する。

画像が到着するたびに上記した処理が繰返されるため、縮小画像による簡易分類推論部６２０、通常の画像による簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４及び行動予測推論部１８６の各々について複数のスレッドが並列に動作し、それぞれ処理が終了するごとに動的情報記憶部１５４にその結果を格納する。したがって動的情報記憶部１５４には、到着した各画像について、縮小画像による簡易分類推論部６２０、通常の画像による簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４、及び行動予測推論部１８６の推論結果が全て保存・蓄積される。

図１８に示す配信処理部６２４は、一定時間ごとに以下の処理を実行する。図２２及び図２３を参照して、図２２のステップ５３０で、動的情報記憶部１５４に車両情報が記憶されている車両と動的情報記憶部１５４に記憶されている検出物体との全ての組合せに対し、処理７０２が実行される。処理７０２では、処理対象の車両の進行方向が処理対象の検出物体に向かう方向か否かが判定され、判定が否定ならこの組合せに対する処理は終了する。すなわち、車両の進行方向が検出物体の方向でない場合には検出物体に関する情報はその車両に送信されない。

一方、ステップ５４０の判定が肯定であれば、図２２のステップ７１２が実行される。すなわち、図２３のステップ５６０で処理対象の車両と処理対象の検出物体との間の距離Ｄが算出される。続くステップ７２２で、この距離Ｄを４つのしきい値Ｄ１、Ｄ２、Ｄ３及びＤ４（ただしＤ４＜Ｄ１＜Ｄ２＜Ｄ３）と比較する。

距離Ｄ＜しきい値Ｄ４のときにはステップ７２６を実行して処理を終了する。ステップ７２６では、縮小画像による簡易分類推論部６２０により得られた簡易分類推論結果、すなわち階層構造のうち最も下層の情報を対象車両に送信するスレッドが生成される。

しきい値Ｄ４≦距離Ｄ＜しきい値Ｄ１のときには、ステップ７２４で対象車両の速さがしきい値Ｖ４より速いか否かが判定される。判定が肯定なら制御はステップ７２６に進む。ステップ７２４の判定が否定なら、ステップ７２８で動的情報記憶部１５４に記憶されていた処理対象の検出物体に関する、縮小画像により得られた簡易分類推論結果と、通常の画像から得られた最新の簡易分類推論結果、すなわち階層構造の最下層と下から２段めの階層との情報を対象車両に配信するスレッドが生成される。

しきい値Ｄ１≦距離Ｄ＜しきい値Ｄ２のときには、ステップ５６６で対象車両の速さがしきい値Ｖ１より大きいか否かが判定される。判定が肯定ならステップ７２８に進む。ステップ５６６の判定が否定なら、ステップ７３０で動的情報記憶部１５４から読出された処理対象の検出物体に関する縮小画像から得られた最新の簡易分類推論結果、通常の画像から得られた最新の簡易分類推論結果、及び属性推論結果が対象車両に配信するスレッドが生成される。すなわちこの場合、階層構造の最も下層の情報から３階層の情報が対象車両に配信される。

しきい値Ｄ２≦距離Ｄ＜しきい値Ｄ３のときには、ステップ５７０で対象車両の速さがしきい値Ｖ２より大きいか否かが判定される。判定が肯定なら制御はステップ７３０に進む。ステップ５７０の判定が否定なら、ステップ７３２で対象車両に対し、動的情報記憶部１５４から読出された処理対象の検出物体に関する縮小画像から得られた最新の簡易分類推論結果、通常の画像から得られた最新の簡易分類推論結果、属性推論結果、及び詳細属性推論結果が配信するスレッドが生成される。すなわちこの場合、階層構造のうち下位から４階層の情報が対象車両に配信される。

しきい値Ｄ３≦距離Ｄのときには、制御はステップ５７４に進む。ステップ５７４では、対象車両の速さがしきい値Ｖ３より大きいか否かが判定され、判定が肯定のときには制御はステップ７３２に進み、判定が否定のときには制御はステップ７３４に進む。ステップ７３４では、対象車両に対し、動的情報記憶部１５４から読出された処理対象の検出物体に関する縮小画像から得られた最新の簡易分類推論結果、通常の画像から得られた最新の簡易分類推論結果、属性推論結果、詳細属性推論結果、及び行動予測推論結果が配信するスレッドが生成される。すなわちこの場合には、階層構造の全階層の情報が対象車両に配信される。

このような処理を行うことにより、車両が処理対象の検出物体の位置に到達するまでの時間が短いほど、処理対象の検出物体に関する情報のうち階層構造の下位の階層の情報のみが車両に送信され、長いほど、処理対象の検出物体に関する情報のうち、階層構造の上位の階層のデータも追加して車両に送信されるようになる。車両の移動の速さが同じであると仮定すれば、車両が処理対象の検出物体に近いほど、階層構造の下位の階層の情報のみが車両に送信され、遠くなるほど、上位の階層の情報が順に追加して送信される。また車両から処理対象の検出物体までの距離が同一である場合には、車両の移動の速さが大きいほど階層構造の下位の階層の情報のみが車両に送信され、遅くなるほど上位の階層の情報が追加されて送信される。またこの実施の形態では、第１の実施の形態と比較して、対象となる検出物体までの距離が短い車両にも縮小画像による簡易分類推論結果を送ることができ、検出物体までの距離が非常に短い場合、及び車両の移動速度が非常に速い場合でも有効な情報を車両に配信できる。

この実施の形態では、カメラから画像を１枚受信するたびに、縮小画像による簡易分類推論部６２０、簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４及び行動予測推論部１８６のスレッドが１つずつ生成される。画像ごとにこれらスレッドが１つずつ生成されるので、処理によっては複数のスレッドが同時に実行される状態となることがある。そして、各画像に対して、縮小画像による簡易分類推論部６２０、簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４及び行動予測推論部１８６の推論結果が全て得られる。ただし、各処理に要する時間が異なるため、これらの推論結果が最新の場合でも、その元になった画像の時間はそれぞれ異なる。すなわち、処理時間が短い処理部の場合には新しい画像に対する推論結果であるのに対し、処理時間が長い場合には比較的古い（少なくともその処理に要する時間だけ前の）画像に対する推論結果である。それでも、各処理部から得られる推論結果は画像の入力ごとに追加されることになり、一部の画像に関する処理結果が推論結果に反映されないという状況を避けることができる。

また、各車両への動的情報の配信は並列に実行される。配信に要する時間のために、一部の車両への情報の配信が遅れてしまうという問題を避けることができる。

なお、この実施の形態でも一部の解析部が他の解析部の出力を利用する場合がある。しかしこの発明はその様な実施の形態には限定されない。容易に理解できるように、各解析部が自己の実現する機能に必要な処理部を全て含むようにすれば、各解析部は他の解析部の処理を用いず、独立に解析を行って結果を出力できる。

＜第３の実施の形態＞
上記第１の実施の形態及び第２の実施の形態では、交通情報処理サーバ１１６及び交通情報処理サーバ６００はいずれも１つのカメラからの情報のみを処理している。しかしこの発明はそのような実施の形態には限定されず、１台のサーバで複数のカメラからの画像を処理することもできる。第３の実施の形態はそのような交通情報処理サーバを含む交通インフラシステムに関する。

〈構成〉
図２４を参照して、この第３の実施の形態に係る交通インフラシステム７５０は、図１に示す交通インフラシステム１００において、交通情報処理サーバ１１６に代えてインフラカメラ１１４等の複数のカメラからの画像を受信して画像解析をし、各車両に解析結果を配信する交通情報処理サーバ７６０を含むものである。

交通情報処理サーバ７６０は、インフラカメラ１１４を含む複数のカメラからリアルタイムで画像を受信するカメラ画像受信部７８０と、各カメラの位置、撮像範囲等のカメラ情報を記憶するカメラ情報記憶部７８２と、これら複数のカメラに対して図１８に示す交通情報処理サーバ６００の画像解析部６１０と同じ処理を実行する複数の画像解析部７８４，…，画像解析部７８６と、カメラ画像受信部７８０が画像データを受信するたびに、その画像データを送信して来たカメラに関する情報をカメラ情報記憶部７８２から読出し、画像解析部７８４，…，７８６の内でそのカメラに対応するものにその画像に関する画像解析処理を振分けるカメラ画像振分部７８８とを含む。この実施の形態では、画像解析部７８４，…，７８６の各々はそれぞれ並列に実行される別々のプロセスであり、各プロセスの中で図１８に示す縮小画像による簡易分類推論部６２０、簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４、及び行動予測推論部１８６等を実現するスレッドを生成して並列に実行して画像解析を行う。この実施の形態では、画像解析部７８４，…，７８６の解析結果には、その元になった画像のタイムスタンプに加え、元になった画像を送信して来たカメラの識別子も付されている。

交通情報処理サーバ７６０はさらに、画像解析部７８４，…，７８６がそれぞれ出力する画像解析の結果である推論結果を記憶する動的情報記憶部７９０と、車両から車両情報を受信する車両情報受信部７９２と、車両情報受信部７９２が受信した車両情報を記憶する車両情報記憶部７９４と、カメラ情報記憶部７８２に記憶されたカメラ情報と車両情報記憶部７９４に記憶された車両情報とに基づき、各カメラに向かって移動中の車両に、各カメラの画像から検出された検出物体に関して動的情報記憶部７９０に記憶された動的情報を配信する配信処理部７９６とを含む。

配信処理部７９６は、カメラの各々に対し、そのカメラから所定距離内でかつそのカメラの画像から検出された検出物体に向かって移動中の車両の各々に対し、その車両とその検出物体との間の距離、その車両の移動の速さに応じ、そのカメラの画像から得られた動的情報の階層構造中で適切な階層の情報を選択して配信する。カメラが複数個あるため、すべてのカメラからの情報を全ての車両に送信すると、各車両の運転者が混乱する可能性がある。また通信量も過大になる。したがってこの実施の形態では、各車両に送信する情報を限定する。

図２５を参照して、配信処理部７９６を実現するプログラムは、カメラ情報記憶部７８２に記憶された全てのカメラのカメラ情報をカメラ情報記憶部７８２から読出すステップ８００と、ステップ８００で読出された情報に基づき、各カメラに対して以下の処理８０４を実行するステップ８０２とを含む。

処理８０４は、処理対象のカメラの画像から得られた検出物体の各々に関する情報を動的情報記憶部７９０から読出すステップ８１０と、ステップ８１０で読出された検出物体の各々について、処理８１４を実行するステップ８１２とを含む。

処理８１４は、処理対象の検出物体からの所定距離内に存在し、かつ移動方向が処理対象の検出物体の方向である車両に関する車両情報を動的情報記憶部７９０から読出すステップ８１６と、ステップ８１６で読出された車両の各々に対して、図２３に示す配信処理スレッドを生成する処理を実行するステップ７１２とを含む。

この実施の形態でも、ステップ７１２は特定の車両に特定のカメラの画像から得られた動的情報を配信するための新たなスレッドを生成する処理を含む。各スレッドは、対象の車両に特定のカメラの画像から得られた動的情報の配信が終了すると実行を終了する。

〈動作〉
図２４及び図２５を参照して、この実施の形態では、カメラ画像受信部７８０が複数のカメラのいずれかから最初に画像を受信すると、その画像を送信してきたカメラに対応する画像解析の各プロセスが立ち上げられる。以後、そのプロセスは例えばそのカメラから所定時間以上画像を受信しないという終了条件が充足されるまで動作し続ける。各画像について各プロセス内で図１８に示すものと同様の縮小画像による簡易分類推論部６２０、通常画像による簡易分類推論部１８０、属性推論部１８２、詳細属性推論部１８４及び行動予測推論部１８６を実現するものと同様のスレッドが生成され、それらスレッドの出力は動的情報記憶部７９０にカメラの識別子及び画像のタイムスタンプとともに蓄積される。

配信処理部７９６は、一定時間ごとにカメラ情報記憶部７８２に格納された全てのカメラ情報を読出し（図２５のステップ８００）、各カメラに対し、そのカメラの画像から検出された検出物体を読出す（ステップ８１０）。読出された検出物体の各々から所定範囲内に存在しかつそのカメラに向かって移動している車両を対象車両として抽出する（ステップ８１６）。配信処理部７９６は、抽出された各車両に対し、動的情報記憶部７９０からそのカメラの識別子が付された最新の動的情報を読出し、車両とカメラとの間の距離、及び車両のカメラ方向への移動の速さに応じた動的情報のみを各車両に配信する配信処理スレッドを生成する（ステップ８１８及び７１２）。

この際の配信も、第１の実施の形態及び第２の実施の形態と同様、図１７又は図２３に示すようなアルゴリズムにより各車両に配信する情報を選択する。

このような処理を行うことにより、実施の形態１及び２よりも広い範囲について、車両がカメラの撮像対象領域に到達するまでの時間が短いほど、階層構造の下位の階層の情報のみが車両に送信され、長いほど、当該車両に配信される階層構造の上位の階層のデータも追加して車両に送信されるようになる。

この結果、カメラにより撮像される領域に到達する時間が短い車両に対しては直近の画像による情報のみが配信され、それ以外の情報は配信されない。また、カメラにより撮像される領域に到達するまでの時間が長い車両に対しては、直近の画像による情報のみでなく、少し前の画像に基づく、より詳細な情報が配信される。したがって、上記実施の形態によって、運転者を支援するために有効な情報を効率的により広い範囲の各車両に配信できる。その結果、画像から得た情報をより多くの運転者の支援に有効に利用できるという効果がある。

＜第４の実施の形態＞
第３の実施の形態では、複数のカメラからの画像を複数の車両に配信している。この場合、例えば互いに重なる撮像領域を撮像しているカメラの画像からは、重複した情報が検出されることになる。それらを別々のものとして各車両に配信すると、運転者が混乱する危険性がある。そこで、解析の結果検出された検出物体（たとえば通行人）等が同じものであるときには、それらを統一すると運転者の支援がより有効になる。この第４の実施の形態では、撮像領域が重なる２つのカメラの画像からそれぞれ簡易分類推論で検出された検出物体の全ての組合せについて、それらが同一の物体か否かがニューラルネットワークを利用して判定される。なお、２つのカメラの撮像領域が重なるか否かはカメラ情報から自動的に判定してもよいし、予め初期設定としてマニュアルで設定するようにしてもよい。

図２６を参照して、この実施の形態に係る交通インフラシステム８２０の交通情報処理サーバ８３０は、図２４に示す交通情報処理サーバ７６０に加え、動的情報記憶部７９０に記憶された、撮像領域が重複する２つのカメラの最新の画像から得られた簡易分類推論結果に基づき、一方のカメラの画像で検出された検出物体が他方のカメラの画像で検出された検出物体と同一か否かを判定し、同一であると判定された検出物体を動的情報記憶部７９０内で１つの物体に統合する機能を持つ同一物体統一部８４０を含む。同一物体統一部８４０により同一の物体と判定された検出物体については、動的情報記憶部７９０内の属性推論結果、詳細属性推論結果、及び行動予測推論結果等も統合される。この際、その物体を撮像したカメラの識別子は双方とも維持される。縮小画像による簡易分類推論部６２０を採用する場合にはその推論結果も同様に統合される。

同一物体統一部８４０は、この実施の形態では、リカレント型ニューラルネットワークで実現される。このニューラルネットワークには、比較対象となる２つの検出物体に関する最新の簡易分類推論結果と、それぞれの画像内でそれら検出物体の近傍に存在する所定個数の最新の簡易分類推論結果とを連結したベクトルが入力され、この２つの検出物体が同一である確率と、異なる検出物体である確率とが出力される。リカレント型ニューラルネットワークを用いるので、判定結果には過去の情報も反映される。両者が同一である確率が高いと判定された場合には、両者の簡易分類推論結果について所定の演算を行って（例えば位置の場合には両者の平均を算出する）両者を統合する。他の推論結果を統合するか否かもこの簡易分類推論に対する判定の結果に依存する。仮に両者が同一であると判定された場合には、他の推論結果の属性等についても、それぞれ所定の演算で得られた結果を用いて統合する。

こうした処理を、撮像領域が重複する全てのカメラの組合せに対し、それぞれの画像に対する簡易分類推論で得られた２つの検出物体の組合せの全てについて行うことで、検出された全ての検出物体に対し統合するか否かを決定し、必要なら統合できる。

この実施の形態でも、第１の実施の形態から第３の実施の形態と同様の効果を得ることができる。さらに、第３の実施の形態と異なり、同一と判定された検出物体については統合された１つの物体の情報が各車両に配信される。同一の物体の情報が重ねて配信されることはなく、運転者の支援が確実になり、さらに通信帯域も有効に利用できるという効果がある。

なお、上記実施の形態では、画像解析を主としてニューラルネットワークで行っている。しかしこの発明はそのような実施の形態には限定されず、どのような手段で画像解析を行っても良い。

上記実施の形態では、画像から検出された物体の地理的位置と車両との間の距離及び速さによりどの解析結果を配信するかを決定している。しかしこの発明はそうした実施の形態には限定されない。例えば最も早期の処理で物体の移動速度が推定できるような構成を採るようにし、検出物体の地理的位置と、車両及び検出物体の間の相対的な速さ（車両の進行方向における相対速度成分）とに基づいてどの解析結果を配信するかを決定してもよい。また、画像から検出された物体の地理的位置がカメラの近くであり、かつ車両がカメラから遠い場合（例えば、カメラの位置と検出された物体の地理的位置との距離がＤ１／２より小さく、かつカメラの位置と車両との距離がＤ１より大きい場合や、図１のようにインフラカメラ１１４の位置を挟んで検出された物体１１２の地理的位置と車両１１８の位置が道路に沿って反対の場合）、カメラの位置と車両との間の距離及び車両の速さに基づいて、どの解析結果を配信するかを決定してもよい。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。この発明の範囲は、発明の詳細な説明の記載により示されるわけではなく、特許請求の範囲の各請求項によって示され、特許請求の範囲の文言と均等の意味及び範囲内での全ての変更が含まれることが意図される。

１００、７５０、８２０交通インフラシステム
１１２歩行者
１１４インフラカメラ
１１６、６００、７６０、８３０交通情報処理サーバ
１１８、１２０、１２２、１２４車両
１５０、７８０カメラ画像受信部
１５２、６１０、７８４、７８６画像解析部
１５４、７９０動的情報記憶部
１５６、７９２車両情報受信部
１５８、７９４車両情報記憶部
１６０、６２４、７９６配信処理部
１８０簡易分類推論部
１８２属性推論部
１８４詳細属性推論部
１８６行動予測推論部
２００、２０２、２５０画像
２１０枠
２３０、２７０、３００画像正規化処理部
２３２、２７２、３０４、６４２畳込みニューラルネットワーク
２３４、２３６、２３８、６４４、６４６、６４８簡易分類推論結果
２７４属性推論結果
２９０高解像度画像
３０２超解像処理部
３０６詳細属性
３１０行動予測結果
３２０リカレント型ニューラルネットワーク
３３０コンピュータシステム
３４０コンピュータ
３４２ネットワーク
３４４信号
３４６アンテナ
３５０ＣＰＵ
３５２バス
３５４ＧＰＵ
３５６ＲＯＭ
３５８ＲＡＭ
３６０ハードディスクドライブ
３６２無線通信装置
３６４ネットワークＩ／Ｆ
３６６入出力Ｉ／Ｆ
３９０、３９２、４１０、４１２、４１４、４１６、４１８、４２０、４４０、４４２、４４４、４４６、４４８、４５０、４７０、４７２、４７４、４７６、４７８、４８０、５００、５０２、５０４、５０６、５３０、５４０、５４２、５６０、５６２、５６４、５６６、５６８、５７０、５７２、５７４、５７６、６９０、６９２、６９４、７１０、７１２、７２２、７２４、７２６、７２８、７３０、７３２、７３４、８００、８０２、８１０、８１２、８１６、８１８ステップ
５３２、７０２、８０４、８１４処理
６２０縮小画像による簡易分類推論部
６４０画像縮小正規化処理部
７８２カメラ情報記憶部
７８８カメラ画像振分部
８４０同一物体統一部

Claims

カメラからリアルタイムの画像の時系列を受信する画像受信部と、
車両からその位置、移動の方向及び移動の速さを含む車両情報を受信する車両情報受信部と、
各々が前記画像に対して互いに処理時間の異なる解析を行う複数の解析部を含む画像解析部と、
前記画像解析部の解析結果をその処理時間により互いに区別して記憶する動的情報記憶部と、を含み、
前記画像解析部は前記解析により前記画像の中に存在する物体の少なくとも地理的位置を検出し、
繰返し指定されるタイミングの各々において、前記車両情報と前記物体の地理的位置及びその解析に要する時間とに基づき、各車両について前記動的情報記憶部に記憶された解析結果のいずれかを選択し、当該車両に配信する配信部とを含む、交通情報処理サーバ。
前記配信部は、前記タイミングの各々において、前記車両情報と前記物体の地理的位置とに基づき、各車両について前記動的情報記憶部に記憶された解析結果のうち、前記車両情報と前記物体の地理的位置とにより定まるしきい値より短い処理時間で得られる解析結果を累積的に選択して当該車両に配信する累積的配信部を含む、請求項１に記載の交通情報処理サーバ。
前記複数の解析部の解析結果は、処理時間の最も短い解析部の処理結果からより長い解析部の処理結果となるにしたがって階層が上となるように階層構造をなし、
前記動的情報記憶部は、前記複数の解析部の解析結果を前記階層構造として記憶し、
前記累積的配信部は、前記タイミングの各々において、前記階層構造のうち、前記しきい値より短い処理時間で得られる解析結果を含む１又は複数の階層を各車両について選択し、当該選択された階層の解析結果を当該車両に配信する階層的配信部を含む、請求項２に記載の交通情報処理サーバ。
前記配信部は、
前記タイミングの各々において、前記車両情報により特定される車両の中で、前記カメラの画像から検出された物体に向かって移動する車両を解析結果の配信の対象車両として選択し、それ以外の車両を前記対象車両から除外する対象車両選択部と、
前記対象車両選択部により対象車両が選択されたことに応答して、前記車両情報と前記検出された物体の地理的位置及びその解析に要する時間とに基づき、前記対象車両の各車両について前記動的情報記憶部に記憶された解析結果のいずれかを選択して当該車両に配信する第２の配信部とを含む、請求項１に記載の交通情報処理サーバ。
前記第２の配信部は、前記対象車両選択部により対象車両が選択されたことに応答して、前記タイミングの各々において、前記車両情報と前記検出された物体の地理的位置及びその解析に要した時間とに基づき、各車両について前記動的情報記憶部に記憶された解析結果のうち、当該解析結果を得るための処理時間が所定のしきい値より短い解析結果を累積的に選択して当該車両に配信する第３の配信部を含む、請求項４に記載の交通情報処理サーバ。
前記複数の解析部は、
処理時間が前記複数の解析部の内で最も短い第１の解析部と、
処理時間が前記第１の解析部より長い第２の解析部とを少なくとも含み、
前記配信部は、
前記車両情報により特定される前記車両の各々に対して、当該車両の前記カメラから検出された物体との距離と第１のしきい値とを比較する第１の比較部と、
前記第１の比較部による比較結果に応じて、
前記第１の解析部の解析結果を前記動的情報記憶部から読出して当該車両に配信する処理と、
前記第１の解析部及び前記第２の解析部の解析結果を前記動的情報記憶部から読出して当該車両に配信する処理と、
を選択的に実行する、配信実行部とを含む、請求項１に記載の交通情報処理サーバ。
前記第１の解析部は、前記画像受信部が受信する画像を入力として受け、当該画像中に存在する物体と、当該物体の属するクラスと、当該物体の地理的位置とを解析する分類解析部を含み、
前記第２の解析部は、前記第１の解析部の出力に基づいて、前記第１の解析部が解析した前記物体の属性を解析する属性解析部を含む、請求項６に記載の交通情報処理サーバ。
前記第２の解析部は、前記第１の解析部の出力を利用して前記画像に対する解析を行う、請求項６に記載の交通情報処理サーバ。
前記第２の解析部は、一時に１枚の画像に対する解析を実行する単一画像解析部を含み、
前記第１の解析部は、
ある画像に対する解析が終了したときに前記単一画像解析部が他の画像に対する解析中か否かを判定する判定部と、
当該判定部の判定結果に応じて、前記単一画像解析部の前記ある画像に対する解析の実行をスキップする処理と、前記単一画像解析部の前記ある画像に対する解析の実行を開始させる処理とを選択的に実行する、請求項６～請求項８のいずれか１項に記載の交通情報処理サーバ。
前記複数の解析部の各々は、１つの画像が入力されると同時に当該画像を入力として画像解析を開始し、前記複数の解析部の他のどの解析部からの出力も入力として受けないで動作する、請求項１～請求項６のいずれか１項に記載の交通情報処理サーバ。
前記複数の解析部の各々は、１つの画像が入力されるごとに、その画像を処理するための解析処理を開始して並列で実行し、画像ごとに解析結果を出力する、請求項１０に記載の交通情報処理サーバ。
コンピュータが、カメラからリアルタイムの画像の時系列を受信するステップと、
コンピュータが、車両からその位置、移動の方向及び移動の速さを含む車両情報を受信するステップと、
コンピュータが、各々が前記画像に対して互いに処理時間の異なる解析を行う複数の解析処理を実行するステップと、
コンピュータが、前記複数の解析処理の解析結果をその処理時間により互いに区別して記憶装置に記憶するステップと、
前記画像解析により前記画像の中に存在する物体の少なくとも地理的位置が検出され、
コンピュータが、繰返し指定されるタイミングの各々において、前記車両情報と前記物体の地理的位置とその解析に要する時間とに基づき、各車両について前記動的情報記憶部に記憶された前記解析結果のいずれかを選択し、当該解析結果を当該車両に配信するステップとを含む、交通情報の処理方法。
無線通信装置を介して外部と無線通信可能なコンピュータを、
カメラからリアルタイムの画像の時系列を受信する画像受信部と、
前記無線通信装置を介して車両からその位置、移動の方向及び移動の速さを含む車両情報を受信する車両情報受信部と、
各々が前記画像に対して互いに処理時間の異なる解析を行う複数の解析部を含む画像解析部と、
前記画像解析部の解析結果をその処理時間により互いに区別して記憶する動的情報記憶部と、して機能させ、
画像解析部は解析により画像の中に存在する物体の少なくとも地理的位置を検出し、
さらに、繰返し指定されるタイミングの各々において、前記車両情報と前記画像から検出された物体の地理的位置とその解析に要する時間とに基づき、各車両について前記動的情報記憶部に記憶された前記解析結果のいずれかを選択し、当該解析結果を当該車両に配信する配信部として機能させる、コンピュータプログラム。