JP2016031576A - 物体検出装置 - Google Patents

Abstract

【課題】圧縮画像ストリームを用いて高速かつ高精度に移動体を検出する。
【解決手段】物体検出装置は、ビットストリーム形式によってブロック単位で圧縮符号化された画像データである圧縮画像ストリームの入力を受け付け、該圧縮画像ストリームに含まれるブロックから、圧縮後の画像の特徴を示す所定の圧縮符号化情報を抽出し、該圧縮符号化情報に基づいて、該ブロックが、該特定の物体の少なくとも一部を含む候補ブロックであるか否か、を判定する。物体検出装置は、該圧縮画像ストリームから復号された復号画像において、該候補ブロックを含む所定サイズの候補領域を特定し、該候補領域の画像データから所定の特徴量を算出し、該特徴量に基づいて該候補領域が該特定の物体の少なくとも一部を含むか否かを判定する。
【選択図】図１

Description

本発明は、物体検出装置に関する。

交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められ、実用化されている。予防安全システムは、交通事故の発生する可能性が高い状況下で作動するシステムである。予防安全システムは、例えば、自車に取り付けられたカメラによって撮像された画像中の移動体（車両（四輪自動車）、歩行者、及び二輪車等）を検出し、自車が移動体と衝突する可能性が生じたときには警報によって運転者に注意を促す。

本技術分野の背景技術として、特開２００１−２５０１１８号公報（特許文献１）がある。この公報には、「可変長復号部１は、入力してくる動画像の圧縮符号化データを部分的に復号する。検出対象設定部２は、可変長復号部１からの符号化モード情報ｐと、領域動き予測部４からの領域の動き予測位置情報ｑを入力とし、検出対象ブロック位置情報ｒを出力する。移動領域検出処理部３は、現フレームの符号化モード情報ｐと、予測誤差情報ａと、動き予測情報ｂを基に、該検出対象設定部２によって設定された検出処理対象ブロックが移動領域に属するか否かを検出する。この検出結果は検出結果メモリ５に一旦蓄積され、領域動き予測部４に送られる。領域動き予測部４は、移動領域全体の動きを予測し、領域の動き予測位置情報ｑを出力する。」と記載されている（要約参照）。

特開２００１−２５０１１８号公報

車両等に搭載される予防安全システムは、信頼性の高い移動体検出を行う必要があるため、例えば、高解像度化、高フレームレート化、ステレオ化されたカメラによって撮像された画像を用いる。しかし、このようなカメラで撮像された画像はデータ量が非常に大きいため、予防安全システムにおいて、非圧縮で画像を伝送することは困難である。従って、予防安全システムは、圧縮画像から移動体を検出する必要がある。

特許文献１に記載の技術は、圧縮画像ストリーム上の動きベクトル等に着目することにより、圧縮画像ストリームから高速に移動体が含まれるブロックを検出する。しかし、検出されたブロックに写っている移動体が、自車と衝突する可能性のあるものか否かについて、圧縮画像ストリームの情報のみから判定することは容易でない。本発明は、上記課題を鑑みてなされたものであり、圧縮画像ストリームを用いて、高速かつ高精度に移動体を検出する物体検出装置を提供することを目的とする。

上記課題を解決するために、本発明は、例えば、以下のような構成を採用する。ビットストリーム形式によってブロック単位で圧縮符号化された画像データである圧縮画像ストリームの入力を受け付け、前記入力された圧縮画像ストリームの復号画像から特定の物体を検出する、物体検出装置であって、前記入力された圧縮画像ストリームに含まれるブロックから、圧縮後の画像の特徴を示す所定の圧縮符号化情報を抽出するストリーム解析部と、前記抽出された所定の圧縮符号化情報に基づいて、前記ブロックが、前記特定の物体の少なくとも一部を含む候補ブロックであるか否か、を判定する物体候補検出部と、前記圧縮画像ストリームから復号された復号画像において、前記候補ブロックを含む所定サイズの候補領域を特定し、前記候補領域の画像データから所定の特徴量を算出し、前記算出された特徴量に基づいて前記候補領域が前記特定の物体の少なくとも一部を含むか否かを判定する物体検出部と、を含む物体検出装置。

本発明の一態様によれば、圧縮画像ストリームから高速かつ高精度に移動体を検出できる。

実施例１において、物体検出装置の構成例を示すブロック図である。 実施例１において、物体候補ブロック検出処理の一例を示すフローチャートである。 実施例１において、圧縮画像ストリームから生成された復号画像の一例を示す。 実施例１において、圧縮画像ストリームから生成された復号画像の各ブロックにおける物体候補情報の一例を示す。 実施例１において、物体検出処理の一例を示すフローチャートである。 実施例２において、車両システムの構成例を示すブロック図である。 実施例２において、圧縮特徴ベクトル生成処理の一例を示すフローチャートである。 実施例３において、車両システムのカメラの撮像範囲の例を示す。 実施例３において、車両システムの構成例を示すブロック図である。

以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。以後、特に断らない限り、本実施形態において物体とは、本実施形態の物体検出装置が検出することができる特定の移動し得る物体（例えば、車両（四輪自動車）、歩行者、二輪車等）を示すものとする。

図１は、本実施例の物体検出装置１０の構成例を示す。物体検出装置１０は、例えば、ＣＰＵ１１０、記憶装置１２０、入出力インタフェース１３０を含む計算機上に構成される。ＣＰＵ１１０は、プログラムに従って動作するプロセッサ及び／又は論理回路を含み、データの入力／出力、読み込み／書き込みを行い、さらに、後述する各プログラムを実行する。

記憶装置１２０は、ＣＰＵ１１０が実行するプログラム及びデータを一時的にロードして記憶し、さらに各プログラム及び各データを保持する。記憶装置１２０は、復号化部１０１、物体検出部１０２、出力部１０３、ストリームデータ処理部１１、圧縮特徴識別器１０７、及び物体識別器１０８を保持する。入出力インタフェース１３０は、外部装置からデータ等の入力を受け付け、外部装置に対してデータ等の出力を行う、インタフェースである。

なお、記憶装置１２０が保持する各部はプログラムである。プログラムはＣＰＵ１１０によって実行されることで、定められた処理を記憶装置１２０及び入出力インタフェース１３０を用いながら行う。従って、本実施例及び他の実施例においてプログラムを主語とする説明は、ＣＰＵ１１０を主語とした説明でもよい。若しくは、プログラムが実行する処理は、そのプログラムが動作する計算機及び計算機システムが行う処理である。

ＣＰＵ１１０は、プログラムに従って動作することによって、所定の機能を実現する機能部として動作する。例えば、ＣＰＵ１１０は、ストリーム解析部１０４に従って動作することでストリーム解析部として機能し、圧縮特徴ベクトル生成部１０５に従って動作することで圧縮特徴ベクトル生成部として機能する。他のプログラムについても同様である。さらに、ＣＰＵ１１０は、各プログラムが実行する複数の処理のそれぞれを実現する機能部としても動作する。計算機及び計算機システムは、これらの機能部を含む装置及びシステムである。

ストリームデータ処理部１１は、ストリーム解析部１０４、圧縮特徴ベクトル生成部１０５、及び物体候補検出部１０６を含む。ストリームデータ処理部１１は、圧縮画像ストリームの入力を受け付け、入力された圧縮画像ストリームを部分的に復号した情報から、物体候補情報の検出及び出力を行う。

圧縮画像ストリームは、ビットストリーム形式で圧縮符号化された画像データである。物体検出装置１０に入力される圧縮画像ストリームの形式は、ＪＰＥＧ、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなど既存の画像符号化規格であってもよいし、独自規格を含むその他の規格であってもよい。

ストリーム解析部１０４は、圧縮画像ストリームに対して、１以上の隣接する画素からなる符号化単位であるブロックごとに、圧縮符号化情報を抽出するための部分的な復号を行う。圧縮符号化情報とは、圧縮画像ストリームの生成の過程において符号化された情報であって、圧縮後の画像の特徴量を示す。圧縮符号化情報は、当該画像データの冗長性を削減した圧縮画像データの特徴（例えば、画像間の時間的相関性、画像内の空間的相関性等）を反映する情報を符号化した情報である。ストリーム解析部１０４は、抽出した圧縮符号化情報を圧縮特徴ベクトル生成部１０５に対して出力する。

圧縮特徴ベクトル生成部１０５は、圧縮符号化情報から任意の次元の圧縮特徴ベクトルを、ブロックごとに生成する。圧縮特徴ベクトル生成部１０５は生成した圧縮特徴ベクトルを物体候補検出部１０６に対して出力する。

復号化部１０１は、圧縮画像ストリームの入力を受け付け、例えば、既知の復号化方式を用いて、当該圧縮画像ストリームの復号画像を生成し、出力する。物体候補検出部１０６は、圧縮特徴ベクトル生成部１０５が出力する圧縮特徴ベクトルに基づいて、各ブロックが、物体の一部又は全部を含むブロックの候補であるか否かを判定する。以下、当該候補を物体候補ブロックと呼ぶ。物体候補検出部１０６は、各ブロックにおける当該判定結果を含む物体候補情報を、物体検出部１０２に対して出力する。

圧縮特徴識別器１０７は、ブロックにおける圧縮特徴ベクトルに基づいて、当該ブロックが物体候補ブロックであるか否かを判定する識別器であり、当該識別器に適用する重み係数ベクトル等の情報を含む。圧縮特徴ベクトルについては、後述する。なお、記憶装置１２０は、複数の圧縮特徴識別器１０７を保持してもよい。このとき、物体候補検出部１０６は、例えば、物体の種別（車両、歩行者、二輪車等）ごとに異なる圧縮特徴識別器１０７を用いて物体候補検出を行ってもよい。

物体検出部１０２は、復号化部１０１が出力する復号画像と、ストリームデータ処理部１１が出力する物体候補情報とを入力として、復号画像中の物体を検出し、物体情報を出力する。出力部１０３は、物体検出部１０２が出力する物体情報を入力として、衝突の危険度を判定し、制御情報を出力する。

物体識別器１０８は、復号画像から算出される特徴量に基づいて、当該領域が物体であるか否かを判定する識別器であり、当該識別器に適用する重み係数ベクトル等の情報を含む。なお、記憶装置１２０は、複数の物体識別器１０８を保持してもよい。このとき、物体検出部１０２は、例えば、物体の種別ごとに異なる物体識別器１０８を用いて物体検出を行ってもよい。

図２は、ストリームデータ処理部１１による物体候補ブロック検出処理の一例を示す。ストリーム解析部１０４は、入力された圧縮画像ストリームに対して、ブロック単位で部分的に復号を行い、物体候補検出に有効な圧縮符号化情報を抽出する（Ｓ２０１）。なお、ストリーム解析部１０４は、物体候補検出に有効な圧縮符号化情報のうち、物体候補検出部１０６が利用する圧縮特徴識別器１０７に対応する圧縮特徴ベクトルの生成に必要な圧縮符号化情報のみを抽出してもよい。

物体候補検出に有効な圧縮符号化情報とは、例えば、予測モード情報、動きベクトル、周波数変換係数、予測残差、量子化係数、輝度予測係数等のように、物体の特徴を反映し、かつ１次元以上のベクトルで表される圧縮符号化情報である。また、物体の特徴を反映する値を、当該物体の特徴量と呼ぶ。従って、有効な圧縮符号化情報を示すベクトルの各成分は当該物体の特徴量の一例である。以下、特に断らない限り、物体の特徴量を単に特徴量と呼ぶ。ストリーム解析部１０４は、抽出した圧縮符号化情報を圧縮特徴ベクトル生成部１０５に出力する。

圧縮特徴ベクトル生成部１０５は、入力された有効な圧縮符号化情報から、物体候補検出部１０６が利用する圧縮特徴識別器１０７に対応する、Ｎ次元の圧縮特徴ベクトルｘ＝［ｘ_１，ｘ_２，…，ｘ_Ｎ］^Ｔを生成する（Ｓ２０２）。ｘ_ｉ（ｉは１以上Ｎ以下の整数）は当該ブロックにおけるｉ番目の特徴量、Ｔは転置を表す。

以下、圧縮特徴ベクトル生成部１０５がＮ次元の圧縮特徴ベクトルを生成する例を示す。例えば、圧縮特徴ベクトル生成部１０５は、入力された特徴量の一部又は全部、を成分とするＮ＋１次元以上のベクトルを生成し、当該ベクトルの次元圧縮を行うことで、Ｎ次元の圧縮特徴ベクトルを生成する。圧縮特徴ベクトル生成部１０５は、例えば、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）や線形判別分析（ＬＤＡ：Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）等の手法を用いて当該ベクトルの次元圧縮を行うことができる。

また、圧縮特徴ベクトル生成部１０５は、入力された圧縮符号化情報に対して、例えば、次元数Ｎを入力としたＫ−ｍｅａｎｓクラスタリングや、入力された特徴量から任意のＮ個の特徴量を選択する特徴選択を行うことで、圧縮特徴ベクトルを生成してもよい。また、圧縮特徴ベクトル生成部１０５は、例えば、入力された特徴量の一部又は全部を成分とするＮ−１次元以下のベクトルを生成し、入力された特徴量から算出される値を当該ベクトルの成分に追加し、Ｎ次元の圧縮特徴ベクトルを生成してもよい。

なお、例えば、当該ブロックの予測モードが画面内予測（イントラ予測）である場合、ストリーム解析部１０４は、当該ブロックにおける動きベクトルを得ることができない。しかし、圧縮特徴ベクトル生成部１０５は、上述した方法により、任意の次元の圧縮特徴ベクトルを生成することにより、例えば、画面内予測や画面間予測など様々な符号化モードが混在する圧縮画像ストリームから物体候補を検出できる。

圧縮特徴ベクトル生成部１０５は、生成した圧縮特徴ベクトルｘを物体候補検出部１０６に対して出力する。続いて、物体候補検出部１０６は、入力された圧縮特徴ベクトルｘを、圧縮特徴識別器１０７に適用し、当該ブロックが物体候補ブロックであるか否かを判定する。

具体的には、物体候補検出部１０６は、以下の数１に示す圧縮特徴識別器１０７の一例である識別関数ｈ（ｘ）を計算する（Ｓ２０３）。物体候補検出部１０６は、識別関数ｈ（ｘ）の出力が所定の閾値以上であるか否かによって、当該ブロックが物体候補ブロックであるか否かを判定する（Ｓ２０４）。例えば、ｈ（ｘ）は０から１の値をとり、物体候補検出部１０６は、ｈ（ｘ）が０．５以上であれば当該ブロックが物体候補ブロックであると判定する。

ここで、ｗ＝［ｗ_１，ｗ_２，…，ｗ_Ｎ］^Ｔは、圧縮特徴識別器１０７が保持する重み係数ベクトルである。関数ｇ（ｚ）は、シグモイド関数（ロジスティック関数の一例）であり、入力値を０〜１．０の物体候補確率へと変換する。関数ｇ（ｚ）は他の形式でもよく、例えばｇ（ｚ）＝ｚとすることで、識別関数ｈ（ｘ）を線形回帰として構成してもよい。即ち、数１をｈ（ｘ）＝ｗ^Ｔｘとしてもよい。

識別関数ｈ（ｘ）が所定の閾値以上である場合（Ｓ２０４：ＹＥＳ）、物体候補検出部１０６は、当該ブロックに物体候補フラグを立てる（Ｓ２０５）。識別関数ｈ（ｘ）が所定の閾値未満である場合（Ｓ２０４：ＮＯ）、物体候補検出部１０６は、当該ブロックに物体候補フラグを立てない（Ｓ２０６）。ストリームデータ処理部１１は、以上の処理を全ブロックに対して終わるまで繰り返す（Ｓ２０７）。

なお、圧縮特徴ベクトル生成部１０５は、重み係数ベクトルｗを、例えば物体候補及び非物体候補の圧縮特徴ベクトルを学習データとした教師つき学習によって求めることができる。具体的には、圧縮特徴ベクトル生成部１０５は、下記の数３の値を算出することにより、即ち下記の数４に示す誤差関数Ｅ（ｗ）を最小化することにより、ｗを算出する。

ここで、ｘ_ｍはｍ番目の学習データにおける圧縮特徴ベクトル、ｙ_ｍはｍ番目の学習データの教師ラベル、λは正則化のためのトレードオフパラメータ、Ｍは学習データの個数である。また、数４の正則化項におけるノルムはＬ２ノルムである。圧縮特徴ベクトル生成部１０５は、例えば、確率的勾配降下法（ＳＤＧ：Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）に代表される最急降下法や、正規方程式を解くことにより、Ｅ（ｗ）を最小化するｗを算出することができる。

圧縮特徴ベクトル生成部１０５は、算出したｗを、圧縮特徴識別器１０７に格納しておき、上述した識別関数ｈ（ｘ）の演算で用いる。なお、圧縮特徴ベクトル生成部１０５は、数４に示した誤差関数から正則化項を省略した関数を最小化することにより、ｗを算出してもよい。

また、数４の正則化項におけるノルムは、Ｌ２ノルムに限らず、例えばＬ１ノルム又はＬ０ノルムのような、Ｌ_ｐノルム（ｐは０以上の実数）としてもよい。なお、数４の正則化項におけるノルムの次数はｐに応じて定められる。例えば、数４の正則化項におけるノルムがＬ１ノルムであれば、ノルムの次数は１とする。物体候補検出部１０６は、上述の方法で算出された重み係数ベクトルｗを用いて物体候補検出を行うことで、物体候補検出の精度を高めることができる。

なお、圧縮特徴ベクトル生成部１０５は、他の手法を用いて重み係数ベクトルを算出してもよい。また、圧縮特徴ベクトル生成部１０５が重み係数ベクトルを算出せず、圧縮特徴識別器１０７に、予め所定の重み係数ベクトルが格納されていてもよい。

また、物体候補検出部１０６は、ステップＳ２０３〜ステップＳ２０６に示した識別関数ｈ（ｘ）による判定処理に代えて、ナイーブベイズ法による圧縮特徴識別器１０７を用いて各ブロックが物体候補ブロックであるか否かを判定してもよい。このとき、物体候補検出部１０６は、ブロックに対して圧縮特徴ベクトルｘが与えられたとき、当該ブロックが物体候補ブロックであるか否かを、下記の数５又は数６によって判定する。

ｙは物体候補ラベル（０：非物体候補、１：物体候補）、ｙ^＊は物体候補の判定結果、ｐ（ｙ｜ｘ）は圧縮特徴ベクトルｘが与えられたときの物体候補ラベルｙの事後確率、ｐ（ｙ）は物体候補ラベルｙの事前確率、ｐ（ｘ_ｋ｜ｙ）は物体候補ラベルｙに対する分割圧縮特徴ベクトルｘ_ｋ（ｋは１以上Ｋ以下の整数）の尤度、Ｋは分割圧縮特徴ベクトルの個数である。

なお、分割圧縮特徴ベクトルｘ_ｋは、例えば、圧縮特徴ベクトルｘを圧縮符号化情報の種別ごとに分割することにより生成される。具体的には、例えば、圧縮特徴ベクトルｘが、動きベクトル、周波数変換係数、及び予測残差から生成されたベクトルである場合、物体検出部１０２は、圧縮ベクトルｘから３つの分割圧縮特徴ベクトルｘ_１〜ｘ_３を生成することができる。即ち、物体検出部１０２は、圧縮特徴ベクトルｘの成分のうち、動きベクトルを示す成分からなるベクトルをｘ_１、周波数変換係数を示す成分からなるベクトルをｘ_２、予測残差を示す成分からなるベクトルをｘ_３とすることができる。

また、ステップＳ２０２において、圧縮特徴ベクトル生成部１０５は、例えば、入力された有効な圧縮符号化情報それぞれから分割圧縮特徴ベクトルを生成し、生成した分割圧縮特徴ベクトルを物体候補検出部１０６に対して出力してもよい。

物体候補検出部１０６は、このようにＫ個の分割圧縮特徴ベクトルに対してそれぞれ尤度ｐ（ｘ_ｋ｜ｙ）を求め、数５によって複数の圧縮符号化情報を統合した事後確率ｐ（ｙ｜ｘ）を求める。算出した事後確率ｐ（ｙ｜ｘ）が所定の閾値以上である場合のみ、物体候補検出部１０６は、当該ブロックに物体候補フラグを立てる。

また、物体候補検出部１０６は、数６によって判定結果ｙ^＊を算出し、当該ブロックが物体候補ブロックであるか否かを判定してもよい。物体候補検出部１０６は、算出した判定結果ｙ^＊の値が１である場合のみ、当該ブロックに物体候補フラグを立てる。

物体検出装置１０は、ナイーブベイズ法による圧縮特徴識別器１０７を用いることにより、圧縮特徴ベクトルｘの成分に部分的な欠損が生じる場合でも、当該ブロックが物体候補ブロックであるか否かを判定することができる。例えば、当該ブロックの予測モードが画面内予測である場合、ストリーム解析部１０４は、当該ブロックにおける動きベクトルを得ることができない。

このとき、物体検出装置１０は、動きベクトルに該当する尤度ｐ（ｘ_ｋ｜ｙ）を、適切な値（例えば０．５等）に設定した上で、ナイーブベイズ法による圧縮特徴識別器１０７を用いて物体候補ブロックの判定を行えばよい。物体検出装置１０は、動きベクトルに該当する尤度及びその他の分割圧縮特徴ベクトルから、物体候補有無を高精度に判定することができる。なお、物体候補検出部１０６は、ベイジアンネットワークのようなグラフィカルモデルを用いて、ｐ（ｙ｜ｘ）を計算してもよい。

なお、記憶装置１２０が複数の圧縮特徴識別器１０７を保持する場合、物体候補検出部１０６は、例えば、各圧縮特徴識別器１０７を用いてステップＳ２０３〜ステップＳ２０７の処理をそれぞれ行ってもよい。このとき、物体候補検出部１０６は、ステップＳ２０５において、圧縮特徴識別器１０７ごとに異なる物体候補フラグを立ててもよい。具体的には、物体候補検出部１０６は、例えば、車両を識別する圧縮特徴識別器１０７を用いたときは車両を示す候補フラグを、歩行者を識別する圧縮特徴識別器１０７を用いたときは歩行者を示す候補フラグを立ててもよい。

図３Ａは、圧縮画像ストリームから生成された復号画像の一例を示す。復号画像３０には、車両３０１と車両３０２が撮像されている。

図３Ｂは、圧縮画像ストリームから生成された復号画像の各ブロックにおける物体候補情報を示す。上述した通り、ストリームデータ処理部１１は、画像のブロックごとに圧縮特徴ベクトルを生成し、各ブロックが物体候補ブロックであるか否かを判定する。物体候補ブロック３０３は、ストリームデータ処理部１１により、物体候補を含むと判定されたブロック、即ち物体候補フラグが立っているブロックである。非物体候補ブロック３０４は、ストリームデータ処理部１１により、物体候補を含まないと判定されたブロック、即ち物体候補フラグが立っていないブロックである。

なお、車両３０１又は車両３０２を含む候補ブロック、即ち物体候補ブロックにおいて、例えば以下のように特異な性質を有する圧縮符号化情報が観測される。例えば、物体が移動することに伴って動きベクトルのノルム（絶対値）が大きくなるため、物体候補検出部１０６は、学習済みの非物体候補ブロックに比べて動きベクトルのノルムが大きいブロックが物体候補（車両）ブロックである確率が高い、と判定できる。

また、路面や空と比較して車両のテクスチャは複雑であるため、車両を構成するブロックの周波数変換係数における所定周波数以上の高周波数成分の総和が大きい。そのため、物体候補検出部１０６は、学習済みの非物体候補ブロックの周波数変換係数と比較して高周波成分の総和が大きいブロックが物体候補ブロックである確率が高い、と判定できる。

他にも、車両を構成するブロックは連動して移動するため、当該ブロックにおける動きベクトルは、空間的に近接するブロックにおける動きベクトルと相関が高い。そのため、物体候補検出部１０６は、周囲のブロックの動きベクトルと同じ動きベクトルを持つブロックに対して、周囲のブロックと同じ判定（物体候補か否か）をしてもよい。さらに、車両が複数の物体候補ブロックを含む場合、その内部ブロック（例えば車両のボンネットやドア部分）は平坦なテクスチャとなるため、複雑なテクスチャと比較して量子化による視覚的影響を受けやすくなる。具体的には、高周波成分を量子化することによって、視認しやすい歪みが生じる。こうした量子化誤差の影響を減らすために量子化係数が低くなる。従って、物体候補検出部１０６は、学習済みの非物体候補ブロックと比較して量子化係数が高いブロックが物体候補ブロックである確率が高い、と判定することができる。

また、車両が奥行き方向に移動するとテクスチャのアフィン変形が発生するため、一般的な符号化技術では予測画像を生成することが難しくなり、結果として予測残差が増す。そのため、物体候補検出部１０６は、学習済みの非物体候補ブロックと比較して予測残差が大きいブロックが物体候補ブロックである確率が高い、と判定できる。

また、物体の輪郭部分を中心としてアフィン変形が発生するため、画面間予測では予測が難しくなり符号化コストが増す、結果として画面内予測モードが頻出する。そのため、周囲のブロックが画面間予測モードであるにも関わらず、対象ブロックが画面内予測モードの場合には、物体候補検出部１０６は対象ブロックが物体候補ブロックである確率が高い、と判定できる。

また、物体の出現により画像を撮像するカメラのゲインコントロールが働き、フレーム間の輝度予測係数（例えば、重み係数とオフセット係数）に変化が生じる。従って、物体候補検出部１０６は、輝度信号または色差信号において重み係数とオフセット係数が大きいフレームが物体候補ブロックを含む確率が高い、と判定できる。

上述した圧縮符号化情報は全て、物体検出に有効な圧縮符号化情報の一例である。従って、適切な重み係数ベクトル等を適用した圧縮特徴識別器１０７を用意しておけば、物体検出装置１０は、圧縮画像ストリームを部分的に復号した情報から、高精度に物体候補を検出することができる。即ち、物体候補検出部１０６は、上記特性を持つ圧縮符号化情報から生成された圧縮特徴ベクトルｘを数１に代入することで、各ブロックが物体候補ブロックである確率を算出することができる。

図４は、物体検出装置１０による物体検出処理の一例を示す。まず、復号化部１０１は、既知の復号化方式を用いて圧縮画像ストリームから復号画像を生成し、物体検出部１０２に対して生成した復号画像を出力する（Ｓ４０１）。復号化部１０１は、例えば、一般的な動画像符号化規格を用いて符号化された画像を復号する場合、以下のようにして画像を復号する。復号化部１０１は、圧縮画像ストリームを可変長復号化し、可変長復号化した予測誤差信号を逆量子化し、逆量子化した予測誤差信号を逆周波数変換する。復号化部１０１は、さらに、逆周波数変換された予測残差信号と、画面内予測や画面間予測によって生成された予測画像信号とを加算することで復号画像を生成する。

復号化部１０１は、例えば、逆離散コサイン変換（ＩＤＣＴ：Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いて逆周波数変換を行うことができる。また、復号化部１０１は、逆フーリエ変換（ＩＤＦＴ：Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）や逆離散サイン変換（ＩＤＳＴ：Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を利用して、逆周波数変換を行ってもよい。

一般に復号画像の生成には時間を要するため、復号化部１０１による画像復号と並列して、ストリームデータ処理部１１は、ステップＳ２０１〜ステップＳ２０７における処理を行う。即ち、ストリームデータ処理部１１は、物体候補を検出し、物体検出部１０２に対して物体候補情報を出力する（Ｓ４０２）。物体検出装置１０は、ステップＳ４０１及びステップＳ４０２の処理を並列に行わなくてもよいが、当該処理を並列に行うことにより、物体ステップＳ４０３における処理を開始するまでの時間を短縮することができる。

ステップＳ４０１及びステップＳ４０２における処理が終了したら、物体検出部１０２は、入力された物体候補情報において、各ブロックに物体候補フラグが立っているか否かを判定する（Ｓ４０３）。物体候補フラグが立っているブロックの場合（Ｓ４０３：ＹＥＳ）、物体検出部１０２は、利用する物体識別器１０８に対応する特徴量を復号画像から算出し、当該ブロックの近傍領域に対して、算出した特徴量を代入した物体識別器１０８を走査する（Ｓ４０４）。

具体的には、物体検出部１０２は、例えば、当該物体候補ブロックから左上方向に１ブロックシフトした位置を左上頂点とした、所定のサイズ（例えば１００×１００画素等）の矩形領域に対して、所定の複数スケールの物体識別器１０８を走査する。当該矩形領域を物体候補領域と呼ぶ。なお、走査する物体識別器１０８の各スケールにおける縦、横の画素数は、それぞれ物体候補領域の縦、横の画素数以下である。

例えば、物体検出部１０２は、例えば１０×１０画素等の小さなサイズの物体識別器１０８を走査することで、画像の撮像地点の遠方にある小さく表示された物体を検出することができる。また、例えば、物体検出部１０２は、例えば１００×１００画素等の大きなサイズの物体識別器１０８を走査することで、画像の撮像地点の近傍にある大きく表示された物体を検出することができる。

物体検出部１０２は、複数スケールの物体識別器１０８を物体候補領域に対して走査することで、画像の撮像地点の近傍及び遠方にある物体をくまなく探索することができる。また、物体検出部１０２は、複数スケールの物体識別器１０８による識別結果を統合することで、物体候補領域に含まれる物体の外形を検出することができる。さらに、物体検出部１０２は、例えば、車両を識別する物体識別器１０８を利用する場合は物体候補ブロックから左上方向に３ブロックシフトした位置、歩行者を識別する物体識別器１０８を利用する場合は物体候補ブロックから左上方向に１ブロックシフトした位置のように、対象物体の移動可能速度に応じて物体候補領域の左上頂点の位置を選択してもよい。

また、物体検出部１０２は、物体識別器１０８のスケールを変化させるのではなく、画像自体を縮小してピラミッド画像を形成し、各スケールの画像に対して所定スケールの物体識別器１０８を走査してもよい。物体検出部１０２が、物体識別器１０８のスケールを変化させる場合も、画像のスケールを変化させる場合も、同様の結果を得ることができる。

なお、物体検出部１０２は、各物体候補ブロックから定まる物体候補領域に対して複数スケールの物体識別器１０８を走査するため、物体候補領域から物体を検出する計算量は、物体候補ブロックを検出する計算量よりも大きい。物体検出部１０２は、ストリームデータ処理部１１が抽出した物体候補ブロックに対応する物体候補領域のみから物体検出を行うことで、復号画像を全探索する場合、即ち全ブロックが物体候補ブロックである場合と比較して、高速に物体検出を行うことができる。

物体検出部１０２は、ステップＳ４０４において、例えば、下記の数７に示すＨａａｒ−ｌｉｋｅ特徴を用いた物体識別器１０８を走査する。

Ｈ（ｐ）は物体識別器１０８、ｐは当該物体識別器１０８を適用する領域におけるＨａａｒ−ｌｉｋｅ特徴で構成される特徴ベクトル、ｈ_ｔ（ｐ）はｔ番目の弱識別器（ｔは１以上Ｔ以下の整数）、α_ｔはｔ番目の弱識別器ｈ_ｔ（ｐ）の重み係数である。即ち、物体識別器１０８は弱識別器の重み付き投票によって表現される。ｓｉｇｎ（）は、符号関数であり、括弧内が正の値であれば＋１を、負の値であれば−１を返す。Ｈ（ｐ）＝＋１である場合、物体検出部１０２は、当該物体識別器１０８を適用した領域が物体であると判定する。Ｈ（ｐ）＝−１である場合、物体検出部１０２は、当該物体識別器１０８を適用した領域が物体でないと判定する。

なお、弱識別器ｈ_ｔ及び重み係数α_ｔは、例えば、予め学習により与えられ、物体識別器１０８に格納されている。Ｈａａｒ−ｌｉｋｅ特徴で構成される特徴ベクトルｐは、物体検出部１０２によって、復号画像から生成される。また、数７の右辺括弧内の弱識別器ｈ_ｔ（ｐ）は、下記の数８のように表すことができる。

ここで、ｆ_ｔ（ｐ）は、Ｈａａｒ−ｌｉｋｅ特徴で構成される特徴ベクトルに対するｔ番目の特徴量であり、θ_ｔはｔ番目の閾値である。Ｈａａｒ−ｌｉｋｅ特徴における特徴量ｆ_ｔ（ｐ）は、領域間の輝度平均の差分を示す。

なお、物体検出部１０２は、他の特徴量を復号画像から算出し、当該特徴量と他の学習手法と、を組み合わせた物体識別器１０８を用いて、物体検出を行ってもよい。また、物体検出部１０２は、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴とＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）学習とを組み合わせた物体識別器１０８を用いて物体検出を行ってもよい。

また、物体検出部１０２は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）学習によって自動算出された特徴量とロジスティック回帰とを組み合わせた物体識別器１０８を用いて物体検出を行ってもよい。また、物体検出部１０２は、ＣＮＮ学習器及びＮｅｕｒａｌ Ｎｅｔｗｏｒｋ識別器を複数層（例えば３層以上）重ねたＤｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋによる物体識別器１０８を用いて物体検出を行ってもよい。

物体検出部１０２は、復号画像から算出される特徴量を用いて物体検出を行うことにより、高精度に物体検出を行うことができる。具体的には、物体検出部１０２は、例えば、物体候補領域が車両等の自車と衝突する可能性が有る物体であるか、それとも影等の衝突可能性がないノイズ等であるかを、高精度に判定することができる。

物体検出部１０２は、上述した処理によって物体検出されたか否かを判定する（Ｓ４０５）。物体検出された場合（Ｓ４０５：ＹＥＳ）、物体検出部１０２は、圧縮画像ストリームの複数の復号画像を用いて、当該物体を時系列で追跡する（Ｓ４０６）。物体検出部１０２は、例えば、カルマンフィルタやパーティクルフィルタ等の、既知の追跡手法を用いて当該物体を追跡することができる。物体検出部１０２は、当該物体の追跡結果を含む物体情報を、出力部１０３に対して出力する。

出力部１０３は、入力された物体情報に含まれる追跡結果から、自車と物体との距離、物体の速度及び加速度を算出し、自車と物体が衝突するまでの時間を算出する（Ｓ４０７）。以下、当該時間を衝突時間（ＴＴＣ：Ｔｉｍｅ−Ｔｏ−Ｃｏｌｌｉｓｉｏｎ）と呼ぶ。衝突時間は、衝突の危険度を反映する値の一例であり、衝突時間が短いほど、衝突の危険度が高い。

出力部１０３は、衝突時間が所定の閾値未満であると判定した場合（Ｓ４０７：ＹＥＳ）、警報制御やブレーキ制御などを行うための制御情報を出力する（Ｓ４０８）。ステップＳ４０５において、物体検出されなかった場合（Ｓ４０５：ＮＯ）、又はステップＳ４０７において、衝突時間が所定の閾値以上である場合（Ｓ４０７：ＮＯ）、処理を終了する。なお、Ｓ４０８において、出力部１０３は衝突時間の値に応じて、段階的に出力する制御情報を変更してもよい。また、ステップＳ４０７において、出力部１０３が算出する値は、衝突の危険度を反映する値であればよく、衝突時間に限られない。

なお、記憶装置１２０が複数の物体識別器１０８を保持する場合、物体検出部１０２は、例えば、各物体識別器１０８を用いてステップＳ４０４〜ステップＳ４０６の処理をそれぞれ行ってもよい。また、ステップＳ２０５において、物体候補検出部１０６が、圧縮特徴識別器１０７ごとに異なる物体候補フラグを立てた場合、物体検出部１０２は、当該物体候補フラグに対応する物体識別器１０８のみを用いて物体検出の判定を行ってもよい。具体的には、例えば、物体候補検出部１０６が当該ブロックに車両を示す候補フラグのみを立てた場合、物体検出部は車両を識別する物体識別器１０８のみを用いて物体検出の判定を行えばよい。

本実施例の物体検出装置１０は、物体候補ブロックを抽出し、復号画像上で当該物体候補ブロックを含む物体候補領域のみを走査して物体候補検出を行うことにより、復号画像内を全探索する方式と比較して計算時間を削減することができる。即ち、本実施例の物体検出装置１０は、高速に物体検出を行うことができる。また、物体検出装置１０は、圧縮符号化情報に基づいて物体候補ブロックを抽出することにより、高精度に物体候補ブロックを検出することができる。また、物体検出装置１０は、復号画像から算出される特徴量を用いて物体検出を行うため、高精度に物体検出を行うことができる。

また、物体検出装置１０は、復号画像の生成と並行して、圧縮画像ストリームを部分的に復号し、物体候補ブロックを検出することで、物体検出部１０２による物体検出処理開始までの時間を短縮することができるため、さらに高速に物体を検出することができる。また、物体検出装置１０は、抽出した圧縮符号化情報を統合した圧縮特徴ベクトルを用いて物体候補検出のための判定を行うことにより、さらに高精度に物体候補ブロックを検出することができる。また、物体検出装置１０は、圧縮特徴ベクトルの次元を調整することにより、例えば、画面内予測や画面間予測など様々な符号化モードが混在する圧縮画像ストリームからでも物体候補を検出できる。

本実施例は、物体検出装置１０を搭載した車両を含む車両システムを説明する。図５は、本実施例の車両システムの構成例を示す。本実施例の車両システムは、物体検出装置１０、カメラ５０１、符号化装置５０２、車載センサ５０３、ディスプレイ５０４、スピーカ５０５、ブレーキ５０６、アクセル５０７、及びステアリング５０８を含む。

カメラ５０１は、車両に搭載され車両の周囲を撮像する。符号化装置５０２は、カメラ５０１によって撮像された画像から圧縮画像ストリームを生成し、当該圧縮画像ストリームを物体検出装置１０に対して出力する。

車載センサ５０３は、例えば車両の車輪速や操舵角等を計測し、計測した情報を圧縮特徴ベクトル生成部５０９に対して出力する。ディスプレイ５０４は、例えば車両の室内に設けられ、復号画像等を表示する。スピーカ５０５は、例えば車両の室内に設けられ、警報音等を出力する。ブレーキ５０６は、車両の減速を行う。アクセル５０７は、車両の加速を行う。ステアリング５０８は、車両の操舵を行う。

物体検出装置１０の構成は、実施例１と同様である。但し、圧縮特徴ベクトル生成部５０９が、車載センサ５０３が計測した車速度、及び操舵角等の車両情報の入力を受け付け、入力された車両情報を用いて、圧縮特徴ベクトルを生成する点が異なる。

物体検出装置１０は、高速移動中の車両に搭載されたカメラ５０１が撮像した画像を用いて物体検出を行う場合、自車移動、即ちカメラ５０１の移動を考慮した圧縮特徴ベクトルを生成することにより、より精度の高い物体候補検出を行うことができる。具体的には、圧縮特徴ベクトル生成部５０９は、入力された圧縮符号化情報に動きベクトルが含まれる場合、自車移動によって生じる動きベクトルと、対象物体の動きベクトルと、を切り分ける。

そこで、圧縮特徴ベクトル生成部５０９は、入力された車速度と操舵角情報とを使って自車移動量を計算するデッドレコニングを実行する。圧縮特徴ベクトル生成部５０９は、デッドレコニングの結果から自車移動分の動きベクトルを算出し、ストリーム解析部１０４が抽出した動きベクトルから自車移動分の動きベクトルをキャンセルする。

図６は、本実施例における圧縮特徴ベクトル生成処理の一例を示す。圧縮特徴ベクトル生成部５０９は、車載センサ５０３が計測した車速度及び操舵角等を用いてデッドレコニングを行い、自車移動量（車両の位置と姿勢）を計算する（Ｓ６０１）。その後、圧縮特徴ベクトル生成部５０９は、算出した自車移動量を画像上の各ブロックにおける動きベクトルに変換する（Ｓ６０２）。

圧縮特徴ベクトル生成部５０９は、自車移動に起因する動きベクトルと、圧縮符号化特徴に含まれる動きベクトルとの差のノルムが所定の閾値未満であるか否かを判定する（Ｓ６０３）。当該ノルムが閾値未満である場合（Ｓ６０３：ＹＥＳ）、圧縮画像ストリーム上の動きベクトルは自車移動によって生じたものである考えられるため、圧縮特徴ベクトル生成部１０５は、圧縮符号化特徴に含まれる動きベクトルを無効化する（Ｓ６０４）。具体的には、圧縮特徴ベクトル生成部１０５は、例えば、圧縮符号化特徴に含まれる動きベクトルをゼロベクトルに設定する。これによって、圧縮特徴ベクトル生成部１０５は、自車移動によって生じる動きベクトルをキャンセルすることができる。

最後に、圧縮特徴ベクトル生成部１０５は、圧縮特徴ベクトルｘを生成する（Ｓ６０５）。なお、ステップＳ６０３において当該ノルムが閾値以上である場合（Ｓ６０３：Ｎｏ）、ステップＳ６０５に遷移する。物体検出装置１０は、ステップＳ６０５における処理を行った後に、ステップＳ２０３〜ステップＳ２０７及びステップＳ４０１〜ステップＳ４０８における処理を行う。

なお、圧縮特徴ベクトル生成部５０９は、入力された圧縮符号化情報に動きベクトルが含まれていない場合、ステップＳ６０１〜ステップＳ６０４の処理を行わなくてもよい。つまり、このとき圧縮特徴ベクトル生成部５０９は、実施例１と同様の方法で圧縮特徴ベクトルを生成すればよい。

なお、ステップＳ４０８において、出力部１０３は、物体検出部１０２が出力した物体情報から、衝突の危険度を算出し、衝突の危険度に応じた制御情報を出力する。衝突の危険度が低いときは、出力部１０３は、例えば、ディスプレイ５０４に危険箇所を表示する制御情報、又はスピーカ５０５によって警報音を発する制御情報等を出力する。衝突の危険度が高い場合は、出力部１０３は、例えば、ブレーキ５０６やステアリング５０８に対して制御情報を出力し、車両の動きを直接制御する。出力部１０３は、上述した制御情報の出力よって、ドライバにとって違和感の少ない安全運転支援システムを実現する。

また、出力部１０３は、物体検出部１０２が物体を検出した場合、符号化装置５０２に対して画質制御情報を出力してもよい。例えば、出力部１０３は、当該物体近傍領域の画質を改善するために、当該物体近傍の量子化パラメータ（ＱＰ）を下げる、又は目標ビットレートを上げる、などの画質制御情報を符号化装置５０２に対して出力する。なお、物体近傍領域とは、例えば、当該物体を含む矩形領域又は楕円領域のうち面積が最小である領域等のように、復号画像中の当該物体を含む領域を指す。

また、出力部１０３は、当該物体近傍領域の解像度を向上させる超解像処理を施す、又はカメラがインターレースの場合、インターレース映像信号をプログレッシブ映像信号に変換するＩ／Ｐ変換を施す、などの画質制御情報を符号化装置５０２に対して出力してもよい。当該処理によって、本実施例の車両システムは、物体近傍領域の圧縮率を下げる（画質を上げる）、画質制御が可能となる。また、出力部１０３は、画像中の物体近傍領域を除いた領域を示す背景領域の圧縮率を上げる（画質を落とす）、画質制御情報を符号化装置５０２に対して出力してもよい。

本実施例の車両システムは、自車と物体との衝突の危険度を判定し、危険度が高いと判定したタイミングで警報や制御を行うことができ、ドライバの運転支援が可能となる。また、車両システムは、車載センサ情報を用いて、自車移動によって生じる動きベクトルをキャンセルすることができるため、高精度に物体候補検出を行うことができる。

また、車両システムは、物体検出結果に応じて画像符号化の圧縮率を好適に制御することができ、より信頼性の高い物体検出を実現できる。即ち、物体近傍領域の圧縮率を下げ画質を向上させることにより、ノイズに影響されにくい画像認識が可能となる。さらに、車両システムは、背景領域の圧縮率を上げて画質を落とすことにより、物体近傍領域の圧縮率を下げた場合でも、車載ＬＡＮの帯域を超過させることなく、圧縮画像ストリームを伝送することができる。

本実施例は、物体検出装置１０及びマルチカメラを搭載した車両を含む車両システムを説明する。図７は、本実施例における車両システムに搭載されたカメラの撮像範囲の例を示す。自車両７００の前面にカメラ７０１、後面にカメラ７０２、右側面にカメラ７０３、左側面にカメラ７０４がそれぞれ設置されている。カメラ７０１〜７０４が、例えば視野角１８０度程度の広角カメラであれば、自車両の全周囲を撮像することができる。カメラ７０１〜７０４は、撮像範囲７０５〜７０８を、それぞれ撮像する。

図８は、本実施例の車両システムの構成例を示す。本実施例の車両システムは、４台のカメラ７０１〜７０４、カメラ７０１〜７０４にそれぞれ対応する符号化装置８０１〜８０４、及びＥＣＵ８０を含む。カメラ７０１〜７０４は、車両の周囲の一定範囲を撮像できるように配置されていれば、当該配置に制限はない。つまり、カメラ７０１〜７０４は、図７に例示したように車両の前面、後面、右側面、及び左側面に１台ずつ配置されていてもよいし、例えば、車両の前面、及び後面に２台ずつ配置されていてもよい。また、車両の周囲の一定範囲を撮像でき、かつ圧縮画像ストリームの伝送によって車載ＬＡＮの帯域を超過しなければカメラの台数に制限はない。

符号化装置８０１〜８０４は、それぞれカメラ７０１〜７０４が撮像した画像の圧縮画像ストリームを生成し、ＥＣＵ８０に対して出力する。ＥＣＵ８０は、物体検出装置１０、及び画質制御装置８０５を含む。物体検出装置１０の構成は、実施例１又は実施例２と同様である。物体検出装置１０は、入力された圧縮画像ストリームを用いて物体検出を実行し、画質制御装置８０５へと制御情報を出力する。当該制御情報は、例えば、各カメラ７０１〜７０４が撮像した画像における物体情報（物体有無、物体数、物体の座標等）を含む。

画質制御装置８０５は、入力された物体情報に基づいて、符号化装置８０１〜８０４を統合制御するための画質制御情報を出力する。具体的には、画質制御装置８０５は、撮像範囲に物体の存在しないカメラによる画像の圧縮率を高め、撮像範囲に物体の存在するカメラによる画像の圧縮率を低く設定するための画質制御情報を出力する。

つまり、画質制御装置８０５は、各カメラ７０１〜７０４の目標ビットレートを定める情報を、各カメラ７０１〜７０４に対応する符号化装置８０１〜８０４に対して出力する。画質制御装置８０５は、上述した処理により、物体検出装置１０に入力される圧縮画像ストリームのデータ量を制御することができる。また、画質制御装置８０５は、例えば、撮像範囲に物体の存在しない画像を撮像したカメラによって撮像される画像の出力を停止する制御情報を、当該カメラに対応する符号化装置に対して、出力してもよい。画像の出力を停止する制御情報は、画質制御情報の一例である。

なお、画質制御装置８０５は、例えば、車載センサ情報や自車の運転状態についての情報を受信し、当該情報に応じた画質制御情報を出力してもよい。例えば、画質制御装置８０５は、受信した操舵角やシフトポジション等の運転状態情報から自車の進行方向を判定する。画質制御装置８０５は、例えば、撮像範囲に物体が存在しないカメラであっても、当該カメラが進行方向を撮像していれば、当該カメラに対応する符号化装置に対して、画像の圧縮率を高める画質制御情報を出力しない、若しくは画像の圧縮率を低くする画質制御情報を出力してもよい。

本実施例の車両システムは、複数台のカメラを用いて自車両の周囲の撮像を行うことで、自車両の周囲を広くセンシングすることができ、広範囲において物体を検出することができる。また、本実施例の車両システムは、カメラの撮像範囲内における物体の存否に応じて、各カメラの画像の画質を制御することで、複数台のカメラを設置した場合であっても、車載ＬＡＮの帯域を超過することなく、複数のカメラ画像を伝送することができ、さらに、高速かつ高精度に物体を検出することができる。

本発明は、上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Claims (12)

1. ビットストリーム形式によってブロック単位で圧縮符号化された画像データである圧縮画像ストリームの入力を受け付け、前記入力された圧縮画像ストリームの復号画像から特定の物体を検出する、物体検出装置であって、
   前記入力された圧縮画像ストリームに含まれるブロックから、圧縮後の画像の特徴を示す所定の圧縮符号化情報を抽出するストリーム解析部と、
   前記抽出された所定の圧縮符号化情報に基づいて、前記ブロックが、前記特定の物体の少なくとも一部を含む候補ブロックであるか否か、を判定する物体候補検出部と、
   前記圧縮画像ストリームから復号された復号画像において、前記候補ブロックを含む所定サイズの候補領域を特定し、前記候補領域の画像データから所定の特徴量を算出し、前記算出された特徴量に基づいて前記候補領域が前記特定の物体の少なくとも一部を含むか否かを判定する物体検出部と、を含む物体検出装置。
2. 請求項１に記載の物体検出装置であって、
   前記所定の圧縮符号化情報は、周波数変換係数における高周波成分の総和を含み、
   前記物体候補検出部は、前記ブロックの周波数変換係数における高周波成分の総和から算出される前記ブロックが前記候補ブロックである確率に基づいて、前記ブロックが前記候補ブロックであるか否かを判定する物体検出装置。
3. ビットストリーム形式によってブロック単位で圧縮符号化された画像データである圧縮画像ストリームの入力を受け付け、前記入力された圧縮画像ストリームの復号画像から特定の物体を検出する、物体検出装置であって、
   前記入力された圧縮画像ストリームに含まれるブロックから、圧縮後の画像の特徴を示す所定の複数種別の圧縮符号化情報を抽出するストリーム解析部と、
   前記所定の複数種別の圧縮符号化情報を統合し、前記ブロックにおける所定次元の圧縮特徴ベクトルを生成する圧縮特徴ベクトル生成部と、
   前記生成された圧縮特徴ベクトルに基づいて、前記ブロックが、前記特定の物体の少なくとも一部を含む候補ブロックであるか否か、を判定する物体候補検出部と、
   前記圧縮画像ストリームから復号された復号画像において、前記候補ブロックを含む所定サイズの候補領域を特定し、前記候補領域の画像データから所定の特徴量を算出し、前記算出された特徴量に基づいて前記候補領域が前記特定の物体の少なくとも一部を含むか否かを判定する物体検出部と、を含む物体検出装置。
4. 請求項３に記載の物体検出装置であって、
   前記物体候補検出部は、
   前記生成された圧縮特徴ベクトルを圧縮符号化情報の種別ごとに分割し、
   前記ブロックが候補ブロックであるか否かを示す物体候補ラベルに対する前記ブロックにおける前記分割された圧縮特徴ベクトルのそれぞれの尤度の積に基づいて、前記ブロックが前記候補ブロックであるか否かを判定する物体検出装置。
5. 請求項１に記載の物体検出装置であって、
   前記物体候補検出部は、
   前記所定の圧縮符号化情報を、所定の重みを適用した識別器に代入し、
   前記識別器からの出力値に基づいて、前記ブロックが前記候補ブロックであるか否かを判定する物体検出装置。
6. 請求項５に記載の物体検出装置であって、
   前記重みは、過去の複数ブロックにおける圧縮符号化情報を学習データとする学習によって算出された値である物体検出装置。
7. 請求項１に記載の物体検出装置であって、
   前記物体検出装置は、車両に搭載され、
   前記所定の圧縮符号化情報は、前記圧縮画像ストリームから抽出された動きベクトルを含み、
   前記物体候補検出部は、前記車両の速度情報と前記車両の操舵角情報とから算出される前記圧縮画像ストリームにおける自車移動成分ベクトルを、前記動きベクトルから除いた補正後動きベクトルに基づいて、前記ブロックが前記候補ブロックであるか否かを判定する物体検出装置。
8. 請求項１に記載の物体検出装置を搭載する車両と、
   前記車両の周囲を撮像する、１又は複数の撮像装置と、
   前記１又は複数の撮像装置が撮像した画像の入力を受け付け、前記入力された画像の圧縮画像ストリームを生成し、前記生成した圧縮画像ストリームを前記物体検出装置に対して出力する符号化装置と、を含む車両システム。
9. 請求項８に記載の車両システムであって、
   前記物体検出装置は、
   前記１又は複数の撮像装置が撮像した画像から、前記特定の物体を含む物体近傍領域を特定し、前記物体近傍領域の画質を制御する画質制御情報を、前記符号化装置に対して出力し、
   前記符号化装置は、前記画質制御情報に基づいて、前記入力された画像の圧縮画像ストリームを生成する車両システム。
10. 請求項８に記載の車両システムであって、
    前記１又は複数の撮像装置が撮像した画像の画質を、前記１又は複数の撮像装置の撮像範囲に前記特定の物体が含まれるか否かに基づいて制御する画質制御情報を、前記符号化装置に対して出力する画質制御装置をさらに含み、
    前記符号化装置は、前記画質制御情報に基づいて、前記入力された画像の圧縮画像ストリームを生成する車両システム。
11. 請求項８に記載の車両システムであって、
    前記物体検出装置は、前記圧縮画像ストリームの複数の復号画像において前記特定の物体を追跡し、前記特定の物体の追跡結果に基づいて前記車両と前記特定の物体との衝突危険度を算出し、前記衝突危険度が所定の閾値以上である場合、前記衝突危険度に応じて、前記車両の操作を制御する制御情報を前記車両に対して出力する車両システム。
12. ビットストリーム形式によってブロック単位で圧縮符号化された画像データである圧縮画像ストリームの復号画像から特定の物体を検出する方法であって、
    前記圧縮画像ストリームに含まれるブロックから、圧縮後の画像の特徴を示す所定の圧縮符号化情報を抽出する手順と、
    前記抽出された所定の圧縮符号化情報に基づいて、前記ブロックが、前記特定の物体の少なくとも一部を含む候補ブロックであるか否か、を判定する手順と、
    前記圧縮画像ストリームから復号された復号画像において、前記候補ブロックを含む所定サイズの候補領域を特定し、前記候補領域の画像データから所定の特徴量を算出し、前記算出された特徴量に基づいて前記候補領域が前記特定の物体の少なくとも一部を含むか否かを判定する手順と、を含む方法。