WO2019049548A1 - 画像処理装置 - Google Patents

Abstract

画像処理装置は、撮像装置（３４）で逐次撮像する撮像画像を複数のエリアに分割する分割部（３０２）と、エリア別に重要度を設定する重要度設定部（３０５）と、エリア別に、撮像画像を圧縮する圧縮部（３０６）とを備える。圧縮部は、重要度設定部で設定する重要度が低いエリアの撮像画像ほど圧縮の処理を単純化する。

Description

画像処理装置 関連出願の相互参照

　本出願は、２０１７年９月５日に出願された日本国特許出願２０１７－１７０５８６号に基づくものであり、ここにその記載内容を参照により援用する。

　本開示は、撮像画像を圧縮する画像処理装置に関する。

　撮像画像を圧縮する技術が知られている。例えば特許文献１には、撮像画像を圧縮して保存するドライブレコーダが開示されている。

ＪＰ　２００２－２０９１７３　Ａ

　近年では、監視画像及びドライブレコーダの走行画像といった撮像画像の蓄積及び送信ニーズの高まりに対して、低スペックのプロセッサを用いる場合であってもフレームレートの向上と圧縮効率の向上とを両立することが求められている。

　本開示は、低スペックのプロセッサを用いる場合であってもフレームレートの向上と圧縮効率の向上とを両立することを可能にする画像処理装置を提供することを目的とする。

　本開示の一態様によれば、画像処理装置は、撮像装置で逐次撮像する撮像画像を複数のエリアに分割する分割部と、エリア別に重要度を設定する重要度設定部と、エリア別に、撮像画像を圧縮する圧縮部とを備え、圧縮部は、重要度設定部で設定する重要度が低いエリアの撮像画像ほど圧縮の処理を単純化する。

　これによれば、複数のエリアに分割した撮像画像のうちの、重要度設定部で設定される重要度が低いエリアの撮像画像ほど圧縮の処理を単純化するため、重要度が低いエリアほど処理負荷を軽減することが可能になる。そして、処理負荷を軽減することが可能になった分だけ、より重要度が高いエリアの処理に充てることが可能になるため、圧縮効率を向上させながらも、画像処理装置で撮像画像を処理するフレームレートを向上させることが可能になる。また、エリア別に重要度を設定し、設定する重要度が低いエリアの撮像画像ほど圧縮の処理を単純化するので、撮像画像中の重要度がより高いエリアについては圧縮の単純化の度合いを下げ、必要な画質を確保することが可能になる。その結果、低スペックのプロセッサを用いる場合であってもフレームレートの向上と圧縮効率の向上とを両立することが可能になる。

　本開示についての上記および他の目的、特徴や利点は、添付図面を参照した下記詳細な説明から、より明確になる。添付図面において、
収集システムの概略的な構成の一例を示す図である。 車両側ユニットの概略的な構成の一例を示す図である。 通信端末の概略的な構成の一例を示す図である。 画像エリア分割部での撮像画像の分割の一例を説明するための図である。 画像エリア分割部での撮像画像の分割の一例を説明するための図である。 画像エリア分割部での撮像画像の分割の一例を説明するための図である。 重要度に応じたフレーム間予測の方法の変更の一例について説明するための図である。 通信端末での画像圧縮関連処理の流れの一例を示すフローチャートである。 重要度に応じたフレーム間予測の方法の変更の一例について説明するための図である。

　図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。

　（実施形態１）
　（収集システム１の概略構成）
　以下、本開示の実施形態１について図面を用いて説明する。図１に示すように、収集システム１は、センタ２及び車両で用いられる車両側ユニット３を含んでいる。

　センタ２は、例えばサーバ装置であり、車両で用いられる車両側ユニット３のうちの後述する通信端末３０から送信される、その車両のカメラ３４で撮像された撮像画像を収集する。なお、センタ２は、１つのサーバ装置からなるものであってもよいし、複数のサーバ装置からなっているものであってもよい。

　車両側ユニット３は、車両で用いられて、自車の周辺を逐次撮像する。また、車両側ユニット３は、逐次撮像する撮像画像を圧縮するエンコードを行う。逐次撮像する撮像画像とは、動画像と言い換えることもできる。そして、センタ２と通信を行い、圧縮した撮像画像をセンタ２に送信する。車両側ユニット３の詳細については、以下で述べる。

　（車両側ユニット３の概略構成）
　続いて、図２を用いて車両側ユニット３の概略構成の一例を説明する。車両側ユニット３は、図２に示すように、通信端末３０、ロケータ３１、地図データベース（以下、ＤＢ）３２、車両状態センサ３３、及びカメラ３４を備えている。通信端末３０、ロケータ３１、地図ＤＢ３２、及び車両状態センサ３３は、例えば車内ＬＡＮに接続されているものとする。なお、図２では、カメラ３４は通信端末３０に直接接続されている構成を示すが、必ずしもこれに限らず、車内ＬＡＮを介して間接的に接続される構成としてもよい。

　ロケータ３１は、ＧＮＳＳ（Global Navigation Satellite System）受信機、慣性センサを備えている。ＧＮＳＳ受信機は、複数の人工衛星からの測位信号を受信する。慣性センサは、例えばジャイロセンサ及び加速度センサを備える。ロケータ３１は、ＧＮＳＳ受信機で受信する測位信号と、慣性センサの計測結果とを組み合わせることにより、ロケータ３１を搭載した自車の車両位置を逐次測位する。なお、車両位置の測位には、自車に搭載された車速センサから逐次出力される検出結果から求めた走行距離等を用いる構成としてもよい。そして、測位した車両位置を車内ＬＡＮへ出力する。

　地図ＤＢ３２は、不揮発性メモリであって、リンクデータ、ノードデータ等の地図データを格納している。なお、地図データは、道路形状及び構造物の特徴点の点群からなる三次元地図を含む構成であってもよい。地図データとして、道路形状及び構造物の特徴点の点群からなる三次元地図を用いる場合、ロケータ３１は、ＧＮＳＳ受信機を用いずに、この三次元地図と、道路形状及び構造物の特徴点の点群を検出するＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）等の周辺監視センサでの検出結果とを用いて、自車の車両位置を特定する構成としてもよい。

　車両状態センサ３３は、自車の走行状態，操作状態等の各種状態を検出するためのセンサ群である。車両状態センサ３３としては、自車の車速を検出する車速センサ，自車のステアリングの操舵角を検出する操舵センサ等がある。車両状態センサ３３は、検出したセンシング情報を車内ＬＡＮへ出力する。なお、車両状態センサ３３で検出したセンシング情報は、自車に搭載されるＥＣＵを介して車内ＬＡＮへ出力される構成であってもよい。

　カメラ３４は、自車で用いられて、自車周囲の所定範囲を撮像するカメラである。このカメラ３４が本開示の撮像装置に相当する。カメラ３４は、自車に搭載されたカメラであってもよいし、例えば多機能携帯電話機のカメラ等であってもよい。カメラ３４として多機能携帯電話機のカメラ等を用いる場合には、例えば近距離無線通信等を介して後述の通信端末３０と接続する構成とすればよい。また、多機能携帯電話機がカメラ３４と後述の通信端末３０として機能し、例えば近距離無線通信等を介して車内ＬＡＮと接続する構成としてもよい。

　カメラ３４は、撮像方向が自車の後側方等であってもよいが、本実施形態では撮像方向が自車の前方である場合を例に挙げて説明を行う。また、本実施形態では、カメラ３４で逐次撮像する撮像画像は、解像度が１９２０×１０８０ドットのＦｕｌｌＨＤ（Full High Definition）の画像であって、フレームレートは３０ｆｐｓである場合を例に挙げて説明を行う。

　通信端末３０は、例えば基地局との間において移動体通信を行ったり、無線ＬＡＮのアクセスポイントとの間で無線通信によって情報の送受信を行ったりすることで、公衆通信網を介してセンタ２と通信を行う。また、通信端末３０は、カメラ３４で逐次撮像される撮像画像を圧縮し、圧縮した撮像画像をセンタ２に送信する。つまり、カメラ３４と通信端末３０とで所謂ドライブレコーダの機能を担う。この通信端末３０が本開示の画像処理装置に相当する。通信端末３０の詳細については、以下で述べる。

　（通信端末３０の概略構成）
　続いて、通信端末３０の概略構成を説明する。通信端末３０は、無線通信用アンテナに加え、プロセッサ、メモリ、Ｉ／Ｏ、これらを接続するバスを備えるマイクロコンピュータを含み、メモリに記憶された制御プログラムをマイクロコンピュータで実行することにより、各種の処理を実行する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体（non- transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスク等によって実現される。

　図３に示すように、通信端末３０は、入力部３００、設定部３０３、圧縮部３０６、及び送信部３０９を機能ブロックとして備えている。入力部３００は、変換部３０１及び画像エリア分割部３０２を備えており、設定部３０３は分割設定部３０４及び重要度設定部３０５を備えており、圧縮部３０６は、フレーム間予測部３０７及び符号化圧縮部３０８を備えている。

　入力部３００は、カメラ３４で逐次撮像される撮像画像の入力を受ける。変換部３０１は、カメラ３４から逐次入力される撮像画像の解像度及びフレームレートを下げる変換を行う。一例としては、解像度が１９２０×１０８０ドットのＦｕｌｌＨＤ，フレームレートが３０ｆｐｓであるカメラ３４の撮像画像を、解像度が６４０×４８０ドットのＶＧＡ（Video Graphics Array），フレームレートが１０ｆｐｓに変換する。

　なお、入力部３００が変換部３０１を備えず、カメラ３４で逐次撮像される撮像画像の解像度及びフレームレートを下げる変換を行わない構成としてもよい。変換部３０１で上述の変換を行うことにより、後述する圧縮部３０６での圧縮のみではセンタ２へ送信される撮像画像のデータ量が通信に好ましい水準におさまらない場合であっても、撮像画像のデータ量を通信に好ましい水準におさめることが可能になる。

　画像エリア分割部３０２は、変換部３０１で変換された撮像画像を、設定部３０３のうちの分割設定部３０４での設定に従い、複数のエリアに分割する。そして、複数のエリアに分割した撮像画像を圧縮部３０６に出力する。この画像エリア分割部３０２が本開示の分割部に相当する。分割設定部３０４は、画像エリア分割部３０２で撮像画像を分割するエリアを設定する。分割するエリアは固定されている構成であってもよいし、自車の走行状態及び／又は走行位置等に応じて設定される構成としてもよい。

　分割するエリアを固定する構成とする場合には、一例として、図４に示すように撮像画像を天地方向の複数のエリアに分割する構成とすればよい。図４のＡが天頂側のエリアを示しており、Ｂが地面側のエリアを示している。エリアの分割は図４に示すような２分割であってもよいし、２分割よりも細分化して分割する構成としてもよい。以降の複数エリアへの分割の説明についても同様である。また、分割するエリアを自車の走行状態及び／又は走行位置等に応じて設定する場合には、一例として以下のようにすればよい。

　例えば、自車が走行中である場合には、図４に示すように撮像画像を天地方向の複数のエリアに分割するよう設定する一方、自車の停車時には、図５に示すように撮像画像を自車の進路中央側と左右側との複数のエリアに分割するよう設定すればよい。自車が走行中か停車中かについては、車両状態センサ３３のうちの車速センサで検出される車速から判断すればよい。図５のＣが中央側のエリアを示しており、Ｄが左側のエリアを示しており、Ｅが右側のエリアを示している。

　また、自車が一定以上操舵される場合に、図６に示すように撮像画像を自車の左右側の複数のエリアに分割するよう設定してもよい。図６のＦが左側のエリアを示しており、Ｇ右側のエリアを示している。なお、図５に示すように撮像画像を自車の進路中央側と左右側との複数のエリアに分割するよう設定してもよい。以降では、自車の進路中央側と左右側との複数のエリアに分割するよう設定する場合を例に挙げて説明を行う。自車の一定以上の操舵は、車両状態センサ３３のうちの舵角センサで検出される操舵角から判断すればよい。ここで言うところの一定以上とは、右左折すると推定される操舵角以上とすればよい。なお、自車の停車時から自車が発進して一定以上操舵される場合に、撮像画像を自車の進路中央側と左右側との複数のエリアへの分割から、自車の左右側の複数のエリアへの分割に切り替える構成としてもよい。

　他にも、自車が走行中である場合に、図５に示すように撮像画像を自車の進路中央側と左右側との複数のエリアに分割するよう設定してもよい。なお、これに加えて、天地方向の複数のエリアにも分割するよう設定する構成としてもよい。

　また、自車が走行中であって交差点到達前までは、図４に示すように撮像画像を天地方向の複数のエリアに分割するよう設定する一方、自車の交差点到達時には、図５に示すように撮像画像を自車の進路中央側と左右側との複数のエリアに分割するよう設定してもよい。さらに、自車が一定以上操舵される場合には、撮像画像を自車の少なくとも左右側の複数のエリアに分割するよう設定してもよい。自車の交差点到達は、ロケータ３１で測位した自車の車両位置と、地図ＤＢ３２に格納されている地図データとから判断すればよい。

　さらに、交差点到達時以外にも、左右から注意すべき対象が飛び出す可能性のある地点といった特定の位置到達時に、図５に示すように撮像画像を自車の進路中央側と左右側との複数のエリアに分割するよう設定してもよい。この特定の位置については、ロケータ３１で測位した自車の車両位置と、地図ＤＢ３２に格納されている地図データとから判断すればよい。

　重要度設定部３０５は、画像エリア分割部３０２で分割して設定されるエリア別に重要度を設定する。重要度は固定であってもよいし、自車の走行状態及び／又は走行位置等に応じて設定する構成としてもよい。重要度設定部３０５は、例えば自車のドライバが見落としやすかったり、注意すべき対象が存在する可能性の高かったりするエリアほど重要度を高く設定すればよい。他にも、状況に応じて全エリアの重要度を一律に上げ下げして設定する構成としてもよい。重要度は複数段階に区分される構成とすればよく、本実施形態では、重要度の高い順に重要度「高」，重要度「中」，重要度「低」に区分される場合を例に挙げて説明を行う。

　重要度設定部３０５は、例えば撮像画像が天地方向の複数のエリアに分割するよう設定されている場合、地面側よりも天頂側のエリアの重要度を低く設定する構成とすればよい。一例として、図４に示すように撮像画像を天地方向の２つのエリアに分割するよう設定されている場合に、天頂側のエリアを重要度「低」、地面側のエリアを重要度「高」と設定すればよい。

　重要度設定部３０５は、自車の停車時、交差点到達時、若しくは左右から注意すべき対象が飛び出す可能性のある地点といった特定の位置到達時といった所定時に、撮像画像を自車の進路中央側と左右側との複数のエリアに分割するよう設定されている場合、左右側のエリアの重要度を上げて設定する構成とすればよい。例えば、進路中央側よりも左右側のエリアの重要度を高く設定する構成としてもよいし、上述の所定時以前の左右側のエリアに設定されていた重要度よりも高く設定する構成としてもよい。

　進路中央側よりも左右側のエリアの重要度を高く設定する構成の一例としては、図５に示すように撮像画像を自車の進路中央側と左右側との３つに分割するよう設定されている場合に、進路中央側のエリアを重要度「低」、左右側のエリアを重要度「高」と設定すればよい。上述の所定時以前の左右側のエリアに設定されていた重要度よりも高く設定する構成の一例としては、自車の走行中にも少なくとも撮像画像を自車の進路中央側と左右側との複数のエリアに分割するものとし、上述の所定時以前の左右側のエリアを重要度「低」と設定するのに対し、上述の所定時には左右側のエリアを重要度「高」に切り替えて設定する構成とすればよい。

　重要度設定部３０５は、自車が一定以上操舵される場合に、撮像画像を自車の少なくとも左右側の複数のエリアに分割するよう設定されている場合、操舵方向と逆側のエリアの重要度を操舵方向と同じ側のエリアよりも高く設定する構成とすればよい。これによれば、操舵時に見落としがちな側のエリアの重要度を上げて設定することができる。一例としては、図５に示すように撮像画像を自車の進路中央側と左右側との３つに分割するよう設定されており、右側に操舵する場合に、進路中央側と右側のエリアを重要度「低」、左側のエリアを重要度「高」と設定すればよい。

　重要度設定部３０５は、自車の車速が上がるのに応じて、画像エリア分割部３０２で分割して設定されるエリアの重要度を一律に上げる構成としてもよい。また、重要度設定部３０５は、自車が走行中に、撮像画像を少なくとも自車の進路中央側と左右側との複数のエリアに分割するよう設定する構成を採用した場合、自車の車速が上がるのに応じて左右側のエリアの重要度を上げる構成としてもよい。一例として、進路中央側の重要度は車速にかかわらず固定する一方、左右側の重要度を車速が上がるのに応じて上げる構成とすればよい。

　他にも、重要度設定部３０５は、後述する圧縮部３０６で圧縮した撮像画像をセンタ２に送信する送信部３０９の通信レートが閾値未満となる場合に、通信レートが閾値以上に戻るまで、エリア別に設定する重要度を一時的に一律して下げる構成としてもよい。これによれば、圧縮部３０６で圧縮した撮像画像をセンタ２に送信する際に許容される範囲を超える通信遅延が生じると推定される場合に、エリア別に設定する重要度を一律して下げることが可能になる。通信レートはデータ転送レートと言い換えることもできる。ここで言うところの閾値とは、送信部３０９からセンタ２への撮像画像を送信する際に許容される通信遅延に応じて設定すればよく、任意に設定可能な値である。

　圧縮部３０６は、フレーム間予測部３０７及び符号化圧縮部３０８を備え、入力部３００から逐次出力されてくる画像エリア分割部３０２で分割された撮像画像に対して、重要度設定部３０５で設定する重要度が低いエリアの撮像画像ほど圧縮の処理を単純化して画像圧縮を行う。

　フレーム間予測部３０７は、入力部３００から逐次出力されてくる撮像画像の各フレームをもとにフレーム間予測を行う。フレーム間予測部３０７は、画像エリア分割部３０２で分割された撮像画像に対して、エリア別に設定する重要度が低くなるのに応じてフレーム間予測の方法を単純化した方法に変更する。符号化圧縮部３０８は、フレーム間予測によって予測したフレーム間の差分を符号化することで画像圧縮を行う。よって、符号化圧縮部３０８は、重要度設定部３０５で設定する重要度が低いエリアの撮像画像ほど圧縮の処理を単純化して画像圧縮を行う。

　ここで、図７を用いて、重要度に応じたフレーム間予測の方法の変更の一例について説明を行う。本実施形態では、重要度が「高」，「中」，「低」の３段階である場合を例に挙げて説明を行う。図７に示すように、フレーム間予測の方法については、フレーム内のブロック単位でフレーム間予測を行う場合のブロックサイズの範囲，動き補償の対象とする方向，過去フレームの参照範囲を重要度に応じて変更する。

　ブロックサイズの範囲については、重要度「高」では１６×１６～４×４のブロックサイズが選択可能であるのに対し、重要度「中」では１６×１６，８×８のブロックサイズ、重要度「低」では１６×１６のみを選択可能としている。このように、重要度が低くなるのに応じて選択可能なブロックサイズの種類を少なくしている。また、重要度が低くなるのに応じてより小さなブロックサイズを選択不能としている。１６×１６～４×４のブロックサイズは、例えば１６×１６，１６×８，８×１６，８×８，８×４，４×８，４×４の７通りとすればよい。重要度が低くなるのに応じて選択可能なブロックサイズの種類が少なくなるため、重要度が低くなるのに応じて通信端末３０のプロセッサでのブロックサイズを選択する処理の負荷を低減する。また、重要度が低くなるのに応じてより小さなブロックサイズを選択不能とすることで、重要度が低くなるのに応じて細かな予測を行いにくくして通信端末３０のプロセッサでの処理負荷が低減する。

　動き補償の対象とする方向については、重要度「高」では上下左右の全方向であるのに対し、重要度「中」では左右方向のみ、重要度「低」では動き補償自体を行わないようにしている。重要度が低くなるのに応じて動き補償に対象とする方向が少なくなるため、重要度が低くなるのに応じて通信端末３０のプロセッサでの動き補償の処理の負荷を低減する。

　過去フレームの参照範囲については、重要度「高」では１０フレーム分まで参照可能であるのに対し、重要度「中」では１フレーム分まで参照可能とし、重要度「低」では過去フレームの参照自体を行わないようにしている。重要度が低くなるのに応じて過去フレームの参照範囲が狭くなるため、重要度が低くなるのに応じて通信端末３０のプロセッサでの過去フレームを参照する処理の負荷を低減する。

　そして、符号化圧縮部３０８は、重要度「高」，「中」ではフレーム間予測の結果に従って符号化を行うのに対し、重要度「低」ではフレーム間予測自体を実施せず、フレーム間の差分を０として画像圧縮を行う。これにより、重要度「低」では、大幅に圧縮の処理を単純化し、通信端末３０のプロセッサの処理負荷を低減する。

　なお、重要度が低いエリアの撮像画像ほど圧縮の処理を単純化する態様としては、上述したものに限らず、重要度に応じて、ブロックサイズの範囲、動き補償の対象とする方向、及び過去フレームの参照範囲の一部のみを変更する構成としてもよい。

　以上のように、重要度が低いエリアの撮像画像ほど圧縮の処理を単純化して画像圧縮を行うので、圧縮の処理を単純化した分だけプロセッサの処理をより重要度が高いエリアの圧縮の処理に割くことができる。よって、より重要度が高いエリアの圧縮の処理の速度を向上させることで、低スペックのプロッセサであっても、撮像画像全体での圧縮の処理の速度を向上させ、フレームレートを向上させることが可能になる。なお、圧縮部３０６では、フレーム内予測も行うことでさらに圧縮効率を向上させる構成としてもよい。

　送信部３０９は、圧縮部３０６で圧縮した撮像画像をセンタ２に送信する。送信部３０９は、圧縮部３０６で逐次圧縮する撮像画像を、センタ２に逐次送信する構成としてもよいし、メモリに一定量蓄積してからセンタ２に送信する構成としてもよい。

　（通信端末３０での画像圧縮関連処理）
　ここで、図８のフローチャートを用いて、通信端末３０での撮像画像の圧縮に関連する処理（以下、画像圧縮関連処理）の流れの一例について説明を行う。図８のフローチャートは、例えばカメラ３４で撮像された撮像画像が通信端末３０に入力された場合に開始する構成とすればよい。

　まず、Ｓ１では、変換部３０１が、カメラ３４から入力されたで撮像画像の解像度及びフレームレートを下げる変換を行う。Ｓ２では、画像エリア分割部３０２が、Ｓ１で変換された撮像画像を、分割設定部３０４での設定に従い、複数のエリアに分割する。

　Ｓ３では、重要度設定部３０５が、画像エリア分割部３０２で分割して設定されるエリア別に重要度を設定する。Ｓ４では、Ｓ２で撮像画像を分割したエリア別に、Ｓ３で設定した重要度が低くなるほど単純化した画像圧縮を行って、画像圧縮関連処理を終了する。

　例えば、撮像画像が天地方向の複数のエリアに分割され、地面側よりも天頂側のエリアの重要度が低く設定される場合には、地面側よりも天頂側のエリアの撮像画像ほど圧縮の処理を単純化して画像圧縮を行う構成とすればよい。これによれば、時間経過に伴う変化がより乏しい可能性の高い天頂側のエリアの撮像画像は、圧縮の処理を単純化して画像圧縮した場合でも画質の劣化が少ない可能性が高いので、画質の劣化を抑えながら圧縮効率を向上させることが可能になる。

　また、自車の停車時、交差点到達時、若しくは左右から注意すべき対象が飛び出す可能性のある地点といった特定の位置到達時といった所定時に、撮像画像が自車の進路中央側と左右側との複数のエリアに分割され、左右側のエリアの重要度を上げて設定される場合には、注意すべき対象が存在する可能性の高い左右側のエリアの撮像画像は圧縮の処理の単純化を軽減して画像圧縮を行う構成とすればよい。これによれば、注意すべき対象が存在する可能性の高い左右側のエリアの撮像画像の画質の劣化を抑えることが可能になる。

　他にも、撮像画像が自車の少なくとも左右側の複数のエリアに分割され、操舵方向と逆側のエリアの重要度を操舵方向と同じ側のエリアよりも高く設定される場合には、操舵方向と逆側のエリアの撮像画像は、操舵方向と同じ側のエリアよりも圧縮の処理の単純化を軽減して画像圧縮を行う構成とすればよい。これによれば、自車のドライバが見落としやすい側のエリアの撮像画像の画質の劣化を抑えることが可能になる。

　また、撮像画像が少なくとも自車の進路中央側と左右側との複数のエリアに分割され、自車の車速が上がるのに応じて左右側のエリアの重要度を上げて設定される場合には、左右側のエリアの撮像画像は圧縮の処理の単純化を軽減して画像圧縮を行う構成とすればよい。これによれば、自車の車速が上がるほど疎かになりやすい左右側のエリアの撮像画像の画質の劣化を抑えることが可能になる。

　他にも、送信部３０９の通信レートが閾値未満となる場合に、通信レートが閾値以上に戻るまで、エリア別に設定する重要度を一時的に一律して下げて設定される場合には、全エリアの撮像画像は圧縮の処理をより単純化して行う構成とすればよい。これによれば、送信部３０９の通信レートが閾値未満となって許容される範囲を超える通信遅延が生じそうな場合に、一時的に画質を犠牲にして画像の圧縮効率を上げて、許容される範囲を超える通信遅延を生じないようにすることが可能になる。

　実施形態１の構成によれば、複数のエリアに分割した撮像画像のうちの、重要度設定部３０５で設定される重要度が低いエリアの撮像画像ほど圧縮の処理を単純化するため、重要度が低いエリアほど通信端末３０のプロセッサでの処理負荷を軽減することが可能になる。そして、処理負荷を軽減することが可能になった分だけ、より重要度が高いエリアの処理に充てることが可能になるため、圧縮効率を向上させながらも、通信端末３０で撮像画像を処理するフレームレートを向上させることが可能になる。また、エリア別に重要度を設定し、設定する重要度が低いエリアの撮像画像ほど圧縮の処理を単純化するので、撮像画像中の重要度がより高いエリアについては圧縮の単純化の度合いを下げ、必要な画質を確保することが可能になる。その結果、低スペックのプロセッサを用いる場合であってもフレームレートの向上と圧縮効率の向上とを両立することが可能になる。

　（実施形態２）
　実施形態１では、重要度設定部３０５で設定される重要度が最も低いエリアの撮像画像に対しては、フレーム間予測自体を実施せずに、フレーム間の差分を０として画像圧縮を行う構成を示したが、必ずしもこれに限らない。例えば、重要度設定部３０５で設定される重要度が最も低いエリアの撮像画像に対してもフレーム間予測を行いつつ、重要度が低いエリアの撮像画像ほどフレーム間予測を単純化する構成（以下、実施形態２）としてもよい。

　実施形態２における重要度に応じたフレーム間予測の方法の変更の一例について図９を用いて説明を行う。実施形態２では、重要度が「高」，「低」の２段階である場合を例に挙げて説明を行う。フレーム間予測の方法については、例えばフレーム内のブロック単位でフレーム間予測を行う場合のブロックサイズの範囲，動き補償の対象とする方向，過去フレームの参照範囲の少なくとも一部を重要度に応じて変更する構成とすればよいが、実施形態２では図９に示すようにこれらの全てを重要度に応じて変更する場合を例に挙げて説明を行う。

　ブロックサイズの範囲については、重要度「高」では１６×１６～４×４のブロックサイズが選択可能であるのに対し、重要度「低」では１６×１６，８×８のブロックサイズを選択可能としている。動き補償の対象とする方向については、重要度「高」では上下左右の全方向であるのに対し、重要度「低」では左右方向のみを対象としている。過去フレームの参照範囲については、重要度「高」では１０フレーム分まで参照可能であるのに対し、重要度「低」では１フレーム分まで参照可能としている。そして、符号化圧縮部３０８は、重要度「高」，「低」のいずれでもフレーム間予測の結果に従って符号化を行う。実施形態２の構成であっても、重要度が低いエリアの撮像画像ほど圧縮の処理を単純化して画像圧縮を行うので、実施形態１と同様の効果を奏することができる。

　（実施形態３）
　なお、分割設定部３０４での撮像画像の分割の設定、及び重要度設定部３０５でのエリア別の重要度の設定は、実施形態１で述べた例に限らず、注目すべき対象が位置する可能性の高い方位若しくは領域に応じて、分割の設定を行ったり、重要度を設定したりすればよい。例えば、画像認識技術を用いて検出した対象物の位置する領域とそれ以外の領域とを区分するように撮像画像を分割する設定を行い、対象物の位置する領域に対応するエリアの重要度よりも、それ以外の領域に対応するエリアの重要度を低く設定してもよい。

　（実施形態４）
　前述の実施形態では、通信端末３０を車両で用いる構成を示したが、必ずしもこれに限らない。通信端末３０は種々の移動体で用いることが可能である。また、通信端末３０を設置場所が固定の監視カメラ等に用い、監視カメラの撮像画像をセンタ２に送信する構成としてもよい。この場合、一例として、人物といった対象物の位置する領域とそれ以外の領域とを区分するように撮像画像を分割する設定を行い、対象物の位置する領域に対応するエリアの重要度よりも、それ以外の領域に対応するエリアの重要度を低く設定する構成とすればよい。

　（実施形態５）
　また、前述の実施形態では、カメラ３４で撮像した撮像画像を通信端末３０がセンタ２に送信する構成を示したが、必ずしもこれに限らない。例えば、通信端末３０から送信部３０９を省略した装置の不揮発性メモリに、カメラ３４で撮像した撮像画像を蓄積する構成であってもよい。このような構成とした場合であっても、撮像画像の圧縮効率を向上させることで、この不揮発性メモリに必要な容量を抑えることが可能になる。不揮発性メモリとしては、装置に内蔵としてもよいし、挿抜可能なメモリカードとしてもよい。

　ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のステップ（あるいはセクションと言及される）から構成され、各ステップは、たとえば、Ｓ１と表現される。さらに、各ステップは、複数のサブステップに分割されることができる、一方、複数のステップが合わさって一つのステップにすることも可能である。

　以上、本開示の一態様に係る画像処理装置の実施形態、構成、態様を例示したが、本開示に係る実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態、構成、態様についても本開示に係る実施形態、構成、態様の範囲に含まれる。

 

Claims (12)

1. 　撮像装置（３４）で逐次撮像する撮像画像を複数のエリアに分割する分割部（３０２）と、
   　前記エリア別に重要度を設定する重要度設定部（３０５）と、
   　前記エリア別に、前記撮像画像を圧縮する圧縮部（３０６）とを備え、
   　前記圧縮部は、前記重要度設定部で設定する重要度が低い前記エリアの撮像画像ほど圧縮の処理を単純化する画像処理装置。
2. 　前記圧縮部は、フレーム間予測を用いて前記撮像画像を圧縮可能なものであって、前記重要度設定部で設定可能な重要度のうちの最低重要度が設定される前記エリアの撮像画像は、複数フレーム間の差分を０として圧縮する一方、前記重要度設定部で設定可能な重要度のうちの前記最低重要度よりも高い重要度が設定される前記エリアの撮像画像については、設定する重要度が低い前記エリアの撮像画像ほど前記フレーム間予測を単純化する請求項１に記載の画像処理装置。
3. 　前記圧縮部は、フレーム間予測を用いて前記撮像画像を圧縮するものであって、前記重要度設定部で設定する重要度が低い前記エリアの撮像画像ほど前記フレーム間予測を単純化する請求項１に記載の画像処理装置。
4. 　前記分割部は、少なくとも天地方向の複数のエリアに前記撮像画像を分割可能なものであり、
   　前記重要度設定部は、地面側よりも天頂側の前記エリアの重要度を低く設定する請求項１～３のいずれか１項に記載の画像処理装置。
5. 　前記圧縮部で圧縮する前記撮像画像を、自装置の外部の装置へ送信する送信部（３０９）を備え、
   　前記重要度設定部は、前記送信部での通信レートが閾値未満となる場合には、前記通信レートが閾値以上に戻るまで、前記エリア別に設定する重要度を一時的に下げる請求項１～４のいずれか１項に記載の画像処理装置。
6. 　車両で用いられ、
   　前記分割部は、前記車両の周辺を撮像する前記撮像装置で逐次撮像する撮像画像を複数のエリアに分割する請求項１～５のいずれか１項に記載の画像処理装置。
7. 　前記重要度設定部は、前記車両の速度が上がるのに応じて、前記エリア別に設定する重要度を上げる一方、前記車両の速度が下がるのに応じて、前記エリア別に設定する重要度を下げる請求項６に記載の画像処理装置。
8. 　前記分割部は、少なくとも前記車両の進路中央側と左右側との複数のエリアに、前記撮像装置で逐次撮像する前記車両の前方の前記撮像画像を分割可能なものであり、
   　前記重要度設定部は、前記車両の速度が上がるのに応じて、前記エリア別に設定する重要度のうちの前記車両の左右側の重要度を上げる請求項６に記載の画像処理装置。
9. 　前記重要度設定部は、前記車両が特定の位置に到達したことに応じて、前記エリア別に設定する重要度を変更する請求項６に記載の画像処理装置。
10. 　前記分割部は、少なくとも前記車両の進路中央側と左右側との複数のエリアに、前記撮像装置で逐次撮像する前記車両の前方の前記撮像画像を分割可能なものであり、
    　前記重要度設定部は、前記車両が交差点に到達したことに応じて、前記エリア別に設定する重要度のうちの前記車両の左右側の重要度を上げる請求項９に記載の画像処理装置。
11. 　前記分割部は、少なくとも前記車両の左右方向の複数のエリアに、前記撮像装置で逐次撮像する前記車両の前方の前記撮像画像を分割可能なものであり、
    　前記重要度設定部は、前記エリア別に設定する重要度のうちの前記車両の操舵方向と逆側の重要度を前記操舵方向と同じ側よりも高く設定する請求項６に記載の画像処理装置。
12. 　前記分割部は、少なくとも前記車両の進路中央側と左右側との複数のエリアに、前記撮像装置で逐次撮像する前記車両の前方の前記撮像画像を分割可能なものであり、
    　前記重要度設定部は、前記車両が停止したことに応じて、前記エリア別に設定する重要度のうちの前記車両の左右側の重要度を上げる請求項６に記載の画像処理装置。
    
     

Images