WO2019054070A1 - 画像処理装置 - Google Patents

Abstract

画像処理装置は、撮像装置（３２）で逐次撮像する撮像画像を圧縮する。画像処理装置は、撮像装置で逐次撮像する撮像画像を専用の回路を用いて圧縮するハードウェアエンコーダ（３０２）と、ハードウェアエンコーダで用いるよりも総画素数を下げた、撮像装置で逐次撮像する撮像画像を、汎用のプロセッサ上で圧縮するソフトウェアエンコーダ（３０６，３１１）と、ハードウェアエンコーダで圧縮した撮像画像を逐次格納する不揮発性メモリ（３０３）と、ソフトウェアエンコーダで圧縮した撮像画像を画像処理装置の外部の装置である受信側装置（２，２ａ，４，５）に無線通信を用いて送信する送信部（３０８，３０８ａ，３０８ｂ）とを備える。

Description

画像処理装置 関連出願の相互参照

　本出願は、２０１７年９月１４日に出願された日本国特許出願２０１７－１７７０１９号に基づくものであり、ここにその記載内容を参照により援用する。

　本開示は、撮像画像を圧縮する画像処理装置に関するものである。

　撮像画像を圧縮する技術が知られている。例えば特許文献１には、撮像画像を圧縮して保存するドライブレコーダが開示されている。また、特許文献１には、高効率で高品質のデータ圧縮を実現するアルゴリズムを記憶した専用のチップを用いるハードウェアエンコーダが開示されている。

ＪＰ２００２－２０９１７３　Ａ

　近年では、監視画像及びドライブレコーダの走行画像といった撮像画像の蓄積及び送信ニーズが高まってきている。これに対して、特許文献１に開示されているような専用のチップを用いるハードウェアエンコーダは、高効率で高品質のデータ圧縮が可能なため、高品質の画像を蓄積することが可能になる。しかしながら、ハードウェアエンコーダで圧縮した高品質の撮像画像を逐次送信する場合には通信コストが高くなってしまう。これに対して、送信時には撮像画像の品質を落とすことで通信コストを抑えようとした場合であっても、ハードウェアエンコーダは専用のチップを用いているため対応が困難であった。

　本開示は、高品質の撮像画像を蓄積することを可能にしつつも、撮像画像の送信時の通信コストを抑えることをより容易に可能にする画像処理装置を提供することを目的とする。

　本開示の一態様によれば、画像処理装置は、撮像装置で逐次撮像する撮像画像を圧縮する画像処理装置であって、撮像装置で逐次撮像する撮像画像を専用の回路を用いて圧縮するハードウェアエンコーダと、ハードウェアエンコーダで用いるよりも総画素数を下げた、撮像装置で逐次撮像する撮像画像を、汎用のプロセッサ上で圧縮するソフトウェアエンコーダと、ハードウェアエンコーダで圧縮した撮像画像を逐次格納する不揮発性メモリと、ソフトウェアエンコーダで圧縮した撮像画像を自装置の外部の装置である受信側装置に無線通信を用いて送信する送信部とを備える。

　これによれば、撮像装置で逐次撮像する撮像画像を専用の回路を用いて圧縮するハードウェアエンコーダを備え、ハードウェアエンコーダで圧縮した撮像画像を不揮発性メモリに逐次格納するので、ハードウェアエンコーダを用いて高品質の撮像画像を蓄積することが可能になる。また、ハードウェアエンコーダで用いるよりも総画素数を下げた、撮像装置で逐次撮像する撮像画像を、汎用のプロセッサ上で圧縮するソフトウェアエンコーダを備え、ソフトウェアエンコーダで圧縮した撮像画像を受信側装置に無線通信を用いて送信するので、ハードウェアエンコーダで圧縮した撮像画像を送信するよりも通信コストを抑えることが可能になる。ソフトウェアエンコーダは汎用のプロセッサ上で撮像画像を圧縮するので、専用の回路を用いて圧縮を行うハードウェアエンコーダをもう１つ備えるよりも容易に実現可能となる。さらに、ハードウェアエンコーダとソフトウェアエンコーダとを併用するため、プロセッサのリソース不足を抑えることが可能になる。よって、汎用のプロセッサを用いながらも、撮像装置で撮像する撮像画像の蓄積と、撮像装置で撮像する撮像画像の総画素数を下げて圧縮した撮像画像の送信とをより容易に両立することが可能になる。その結果、高品質の撮像画像を蓄積しつつも、撮像画像の送信時の通信コストを抑えることがより容易に可能になる。

　本開示についての上記および他の目的、特徴や利点は、添付図面を参照した下記詳細な説明から、より明確になる。添付図面において、
撮像画像送信システムの概略的な構成の一例を示す図である。 車両側ユニットの概略的な構成の一例を示す図である。 通信端末の概略的な構成の一例を示す図である。 変換部での画像スケールの変換の一例を説明するための図である。 通信端末での画像蓄積関連処理の流れの一例を示すフローチャートである。 通信端末での画像送信関連処理の流れの一例を示すフローチャートである。 撮像画像送信システムの概略的な構成の一例を示す図である。 通信端末の概略的な構成の一例を示す図である。 通信端末での要求画像送信関連処理の流れの一例を示すフローチャートである。 撮像画像送信システムの概略的な構成の一例を示す図である。 通信端末の概略的な構成の一例を示す図である。

　図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。

　（実施形態１）
　（撮像画像送信システム１の概略構成）
　以下、本開示の実施形態１について図面を用いて説明する。図１に示すように、撮像画像送信システム１は、サーバ装置２及び車両で用いられる車両側ユニット３を含んでいる。

　サーバ装置２は、車両で用いられる車両側ユニット３のうちの後述する通信端末３０から送信される、その車両のカメラ３２で撮像された撮像画像を収集する。なお、サーバ装置２は、１つのサーバ装置からなるものであってもよいし、複数のサーバ装置からなっているものであってもよい。このサーバ装置２が本開示の受信側装置に相当する。

　車両側ユニット３は、車両で用いられて、自車の周辺を逐次撮像する。また、車両側ユニット３は、逐次撮像する撮像画像を圧縮する画像圧縮（つまり、エンコード）を行う。逐次撮像する撮像画像とは、動画像と言い換えることもできる。車両側ユニット３は、圧縮した撮像画像を蓄積するとともに、サーバ装置２と無線通信によって通信を行い、圧縮した撮像画像をサーバ装置２に送信する。車両側ユニット３の詳細については、以下で述べる。サーバ装置２側では、車両側ユニット３から送信される圧縮した撮像画像を受信した後、圧縮した撮像画像を伸張するデコードを行う構成とすればよい。

　（車両側ユニット３の概略構成）
　続いて、図２を用いて車両側ユニット３の概略構成の一例を説明する。車両側ユニット３は、図２に示すように、通信端末３０、車両状態センサ３１、及びカメラ３２を備えている。通信端末３０及び車両状態センサ３１は、例えば車内ＬＡＮに接続されているものとする。なお、図２では、カメラ３２は通信端末３０に直接接続されている構成を示すが、必ずしもこれに限らず、車内ＬＡＮを介して間接的に接続される構成としてもよい。

　車両状態センサ３１は、自車の走行状態等の各種状態を検出するためのセンサ群である。車両状態センサ３１としては、自車の車速を検出する車速センサ，自車のステアリングの操舵角を検出する操舵センサ等がある。車両状態センサ３１は、検出したセンシング情報を車内ＬＡＮへ出力する。なお、車両状態センサ３１で検出したセンシング情報は、自車に搭載されるＥＣＵを介して車内ＬＡＮへ出力される構成であってもよい。

　カメラ３２は、自車で用いられて、自車周囲の所定範囲を撮像するカメラである。このカメラ３２が本開示の撮像装置に相当する。カメラ３２は、自車に搭載されたカメラであってもよいし、例えば多機能携帯電話機のカメラ等であってもよい。カメラ３２として多機能携帯電話機のカメラ等を用いる場合には、例えば近距離無線通信等を介して後述の通信端末３０と接続する構成とすればよい。また、多機能携帯電話機がカメラ３２と後述の通信端末３０として機能し、例えば近距離無線通信等を介して車内ＬＡＮと接続する構成としてもよい。

　カメラ３２は、撮像方向が自車の後側方等であってもよいが、本実施形態では撮像方向が自車の前方である場合を例に挙げて説明を行う。また、本実施形態では、カメラ３２で逐次撮像する撮像画像は、解像度が１９２０×１０８０ドットのＦｕｌｌＨＤの画像である場合を例に挙げて説明を行う。

　通信端末３０は、公衆通信網を介してサーバ装置２と通信を行う。また、通信端末３０は、カメラ３２で逐次撮像される撮像画像を圧縮し、圧縮した撮像画像を後述する蓄積部３０３に逐次格納する。他にも、通信端末３０は、カメラ３２で逐次撮像される撮像画像を圧縮し、圧縮した撮像画像をサーバ装置２に送信する。つまり、カメラ３２と通信端末３０とで所謂ドライブレコーダの機能を担う。この通信端末３０が本開示の画像処理装置に相当する。通信端末３０の詳細については、以下で述べる。

　（通信端末３０の概略構成）
　続いて、通信端末３０の概略構成を説明する。図３に示すように、通信端末３０は、入力部３０１、ハードウェアエンコーダ（以下、Ｈ／Ｗエンコーダ）３０２、蓄積部３０３、マイコン３０４、及び通信部３０７を備えている。

　入力部３０１は、カメラ３２で逐次撮像される撮像画像の入力を受ける。Ｈ／Ｗエンコーダ３０２は、データを専用の回路を用いて圧縮する装置である。ここで言うところの専用の回路とは、画像圧縮に特化した回路である。Ｈ／Ｗエンコーダ３０２は、この回路を実装したＩＣチップ等を用いることによって、高品質の画像圧縮が可能となっているものとする。Ｈ／Ｗエンコーダ３０２は、画像圧縮に特化した回路を、専用の回路として備えている。Ｈ／Ｗエンコーダ３０２は、入力部３０１を介してカメラ３２から逐次得られる撮像画像を圧縮して蓄積部３０３に逐次格納する。本実施形態の例では、ＦｕｌｌＨＤ（Full High Definition）の撮像画像を圧縮して蓄積部３０３に逐次格納する。

　蓄積部３０３は、不揮発性メモリであって、Ｈ／Ｗエンコーダ３０２で圧縮される撮像画像を格納する。不揮発性メモリとしては、通信端末３０に内蔵のものを用いる構成としてもよいし、挿抜可能なメモリカードを用いる構成としてもよい。Ｈ／Ｗエンコーダ３０２で圧縮した撮像画像の蓄積部３０３への格納は、自車の走行駆動源の始動に連動して開始する構成としてもよいし、自車の衝撃感知時といった所定のイベント時に上書き禁止として格納を開始する構成としてもよい。なお、自車の走行駆動源の始動に連動して格納を開始する構成とする場合には、撮像画像を常時格納し、一定時間が経過した撮像画像から逐次消去していく構成とすればよい。また、所定のイベント時に上書き禁止として格納を開始する構成とする場合には、常時格納しておいた撮像画像のうち、所定のイベント時の前後一定時間の範囲までを上書き禁止として格納する構成とすればよい。

　マイコン３０４は、汎用のプロセッサ、メモリ、Ｉ／Ｏ、これらを接続するバスを備え、メモリに記憶された制御プログラムを実行することにより、各種の処理を実行する。ここで言うところの汎用のプロセッサとは、画像圧縮以外の用途にも用いることが可能な、種々の組み込み機器に用いることが可能なプロセッサである。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体（non- transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、半導体メモリ等によって実現される。マイコン３０４は、図３に示すように、変換部３０５及びソフトウェアエンコーダ（以下、Ｓ／Ｗエンコーダ）３０６を機能ブロックとして備えている。

　変換部３０５は、入力部３０１を介してカメラ３２から逐次得られる撮像画像の総解像度を下げる変換を行う。つまり、画像スケールを変換する。一例としては、解像度が１９２０×１０８０ドットのＦｕｌｌＨＤの撮像画像を、解像度が６４０×４８０ドットのＶＧＡ（Video Graphics Array）の撮像画像に変換する。本実施形態では、一例として、変換部３０５が、カメラ３２から逐次得られる撮像画像のうちの一部の領域を切り出すことで画像スケールを変換する場合を例に挙げて説明を行う。一例として、図４に示すように、カメラ３２で撮像される撮像画像（図４のＡ参照）のうち、自車の正面の一部の領域の撮像画像（図４のＢ参照）を切り出す構成とすればよい。

　カメラ３２で撮像される撮像画像のうち、変換部３０５で切り出す領域は、自車の走行状態に応じて変更する構成としてもよい。自車の走行状態については、例えば車両状態センサ３１で検出されるセンシング情報等を用いて特定すればよい。一例として、自車が走行中には、カメラ３２で撮像される撮像画像のうちの、自車の正面の一部の領域（図４のＢ参照）を切り出すのに対して、自車が停車中にはカメラ３２で撮像される撮像画像のうちの、移動物が位置する領域を含む一部の領域を切り出す構成とすればよい。自車が走行中か停車中かについては、車両状態センサ３１のうちの車速センサでのセンシング情報から特定すればよい。また、移動物が位置する領域については、例えば画像認識技術によって一連の撮像画像中に共通して検出される物体のベクトルから移動物を特定することで特定すればよい。なお、変換部３０５で切り出す領域は、複数に分割された領域としてもよい。

　他にも、自車が一定以上操舵される場合に、自車の操舵方向と同じ方向に、切り出す領域をずらす構成としてもよい。ここで言うところの一定以上の操舵とは、例えば方向転換と推定される操舵角以上の操舵とすればよい。自車が一定以上操舵されること、及び自車の操舵方向は、車両状態センサ３１のうちの舵角センサでのセンシング情報から特定すればよい。また、自車が一定以上操舵される場合に、自車の操舵方向と同じ方向に、自車の操舵量に応じた分だけ切り出す領域をずらす構成としてもよい。

　Ｓ／Ｗエンコーダ３０６は、変換部３０５で画像スケールを変換された撮像画像を圧縮する。つまり、Ｓ／Ｗエンコーダ３０６は、Ｈ／Ｗエンコーダ３０２で用いるよりも総画素数を下げた、カメラ３２で逐次撮像する撮像画像を、汎用のプロセッサ上で圧縮する。また、Ｓ／Ｗエンコーダ３０６は、変換部３０５で切り出す領域を自車の走行状態に応じて変更する構成を採用した場合には、自車の走行状態に応じて、カメラ３２で逐次撮像する撮像画像のうちの圧縮する領域を変更することになる。

　通信部３０７は、無線通信用アンテナを有し、例えば基地局との間において移動体通信を行ったり、無線ＬＡＮのアクセスポイントとの間で無線通信によって情報の送受信を行ったりすることで、公衆通信網を介してサーバ装置２と通信を行う。通信部３０７は、図３に示すように、送信部３０８を備える。送信部３０８は、Ｓ／Ｗエンコーダ３０６で圧縮した撮像画像を、無線通信を用いてサーバ装置２に送信する。送信部３０８は、Ｓ／Ｗエンコーダ３０６で逐次圧縮する撮像画像を、サーバ装置２に逐次送信する構成としてもよいし、メモリに一定量蓄積してからサーバ装置２に送信する構成としてもよい。

　（通信端末３０での画像蓄積関連処理）
　ここで、図５のフローチャートを用いて、通信端末３０での撮像画像の蓄積に関連する処理（以下、画像蓄積関連処理）の流れの一例について説明を行う。図５のフローチャートは、例えばカメラ３２で逐次撮像される撮像画像の入力を入力部３０１で受けた場合に開始する構成とすればよい。

　まず、Ｓ１では、Ｈ／Ｗエンコーダ３０２が、入力部３０１を介してカメラ３２から得られる撮像画像を圧縮する。Ｓ２では、Ｈ／Ｗエンコーダ３０２が、Ｓ１で圧縮した撮像画像を蓄積部３０３に格納し、画像蓄積関連処理を終了する。

　（通信端末３０での画像送信関連処理）
　続いて、図６のフローチャートを用いて、通信端末３０での撮像画像の送信に関連する処理（以下、画像送信関連処理）の流れの一例について説明を行う。図６のフローチャートは、例えばカメラ３２で逐次撮像される撮像画像の入力を入力部３０１で受けた場合に開始する構成とすればよい。図６では、送信部３０８が、Ｓ／Ｗエンコーダ３０６で逐次圧縮する撮像画像を、サーバ装置２に逐次送信する場合を例に挙げて説明を行う。

　まず、Ｓ２１では、変換部３０５が、入力部３０１を介してカメラ３２から得られる撮像画像の画像スケールを変換する。本実施形態の例では、ＦｕｌｌＨＤの撮像画像をＶＧＡの撮像画像に変換する。

　Ｓ２２では、Ｓ／Ｗエンコーダ３０６が、Ｓ２１で画像スケールを変換した撮像画像を圧縮する。Ｓ２３では、送信部３０８が、Ｓ２３で圧縮した撮像画像を、無線通信を用いてサーバ装置２へ送信し、画像送信関連処理を終了する。

　実施形態１の構成によれば、カメラ３２で逐次撮像する撮像画像を、専用の回路を用いて圧縮するＨ／Ｗエンコーダ３０２で圧縮して蓄積部３０３に逐次格納するので、Ｈ／Ｗエンコーダ３０２を用いて高品質の撮像画像を通信端末３０で蓄積することが可能になる。また、Ｈ／Ｗエンコーダ３０２で用いるよりも総画素数を下げた、カメラ３２で逐次撮像する撮像画像を、Ｓ／Ｗエンコーダ３０６で圧縮し、サーバ装置２へ無線通信を用いて送信するので、Ｈ／Ｗエンコーダ３０２で圧縮した撮像画像を送信するよりも通信コストを抑えることが可能になる。

　Ｓ／Ｗエンコーダ３０６は汎用のプロセッサ上で撮像画像を圧縮するので、専用の回路を用いて圧縮を行うＨ／Ｗエンコーダ３０２をもう１つ備えるよりも容易に実現可能となる。さらに、Ｈ／Ｗエンコーダ３０２とＳ／Ｗエンコーダ３０６とを併用するため、プロセッサのリソース不足を抑えることが可能になる。よって、組み込み機器で用いられる程度の汎用のプロセッサを用いながらも、カメラ３２で撮像する撮像画像の蓄積と、カメラ３２で撮像する撮像画像の画像スケールを変換して圧縮した撮像画像の送信とをより容易に両立することが可能になる。その結果、高品質の撮像画像を蓄積しつつも、撮像画像の送信時の通信コストを抑えることがより容易に可能になる。

　また、カメラ３２で撮像される撮像画像のうち、変換部３０５で切り出す領域を、自車の走行状態に応じて変更する構成を採用する場合には、走行状態に応じた重要性の高い領域を切り出すことが可能になるため、カメラ３２で撮像される撮像画像の総画素数を下げながらも、走行状態に応じた重要性の高い領域の撮像画像をサーバ装置２へ送信することが可能になる。

　（実施形態２）
　実施形態１では、Ｈ／Ｗエンコーダ３０２で圧縮して蓄積部３０３に格納した撮像画像はサーバ装置２に送信しない構成を示したが、必ずしもこれに限らない。例えば、サーバ装置２からの要求に応じて蓄積部３０３に格納した撮像画像の一部をサーバ装置２へ送信する構成（以下、実施形態２）としてもよい。

　（撮像画像送信システム１ａの概略構成）
　以下、実施形態２の構成について説明する。実施形態２の撮像画像送信システム１ａは、図７に示すように、サーバ装置２ａ及び車両で用いられる車両側ユニット３ａを含んでいる。車両側ユニット３ａは、通信端末３０の代わりに通信端末３０と一部の処理が異なる通信端末３０ａを備える点を除けば、実施形態１の車両側ユニット３と同様である。通信端末３０ａの詳細については、後述する。サーバ装置２ａは、車両側ユニット３ａにＨ／Ｗエンコーダ３０２で圧縮して蓄積部３０３に格納した撮像画像の一部の送信を要求する点以外は、実施形態１のサーバ装置２と同様である。

　サーバ装置２ａは、通信端末３０ａから送信される、通信端末３０ａのＳ／Ｗエンコーダ３０６で圧縮した、Ｈ／Ｗエンコーダ３０２で用いるよりも総画素数を下げた、カメラ３２で逐次撮像する撮像画像（以下、簡易画像）を受信する。そして、受信した簡易画像に対応する、Ｈ／Ｗエンコーダ３０２で圧縮して蓄積部３０３に格納した撮像画像（以下、対象画像）が必要な場合に、この対象画像を要求する対象画像要求を通信端末３０ａに送信する。対象画像要求には、例えば要求する対象画像のタイムスタンプを含ませる等すればよい。

　簡易画像に対応する対象画像とは、Ｈ／Ｗエンコーダ３０２で圧縮して蓄積部３０３に格納した撮像画像のうちの、その簡易画像と撮像時刻が同じ撮像画像とする構成してもよいし、撮像時刻が前後一定時間内の撮像画像まで含む構成としてもよい。撮像画像の撮像時刻については、タイムスタンプを用いて特定すればよい。また、対象画像が必要か否かの判断については、サーバ装置２ａで行う構成としてもよいし、サーバ装置２ａのオペレータが行う構成としてもよい。対象画像が必要か否かの判断をサーバ装置２ａで行う場合には、例えば簡易画像から画像認識技術によって所定のイベントが検出された場合に対象画像が必要と判断する構成とすればよい。

　（通信端末３０ａの概略構成）
　続いて、通信端末３０ａの概略構成を説明する。図３に示すように、通信端末３０ａは、入力部３０１、Ｈ／Ｗエンコーダ３０２、蓄積部３０３、マイコン３０４ａ、及び通信部３０７ａを備えている。通信端末３０ａは、マイコン３０４の代わりにマイコン３０４ａを備える点と、通信部３０７の代わりに通信部３０７ａを備える点とを除けば、実施形態１の通信端末３０と同様である。

　マイコン３０４ａは、図８に示すように、変換部３０５、Ｓ／Ｗエンコーダ３０６、及び対象画像特定部３０９を機能ブロックとして備えている。マイコン３０４ａは、対象画像特定部３０９を備える点を除けば、実施形態１のマイコン３０４と同様である。通信部３０７ａは、図８に示すように、送信部３０８ａ及び受信部３１０を備えている。通信部３０７ａは、送信部３０８の代わりに送信部３０８ａを備える点と、受信部３１０を備える点とを除けば、実施形態１の通信部３０７と同様である。なお、実施形態１の通信部３０７にも受信部を備える構成であってもよい。

　送信部３０８ａは、送信するデータが一部異なる点を除けば、実施形態１の送信部３０８と同様である。送信部３０８ａは、Ｓ／Ｗエンコーダ３０６で圧縮した前述の簡易画像を送信する以外に、サーバ装置２ａから対象画像要求を受信した場合に、Ｈ／Ｗエンコーダ３０２で圧縮して蓄積部３０３に格納した対象画像を送信する。受信部３１０は、サーバ装置２ａから送信されてくる対象画像要求を受信する。

　対象画像特定部３０９は、サーバ装置２ａから送信されてくる対象画像要求を受信部３１０で受信した場合に、受信部３１０で受信したこの対象画像要求から、要求されている対象画像を特定する。そして、要求されている対象画像を蓄積部３０３から読み出す。対象画像特定部３０９は、例えば対象画像要求に含まれている対象画像のタイムスタンプをもとに、要求されている対象画像を特定して蓄積部３０３から読み出す構成とすればよい。対象画像特定部３０９は、蓄積部３０３から読み出した対象画像を送信部３０８ａに送り、送信部３０８ａからサーバ装置２ａに無線通信を用いて送信させる。

　（通信端末３０での要求画像送信関連処理）
　続いて、図９のフローチャートを用いて、通信端末３０でのサーバ装置２から要求された撮像画像の送信に関連する処理（以下、要求画像送信関連処理）の流れの一例について説明を行う。図９のフローチャートは、サーバ装置２ａから送信される対象画像要求を受信部３１０で受信した場合に開始する構成とすればよい。

　まず、Ｓ３１では、対象画像特定部３０９が、受信部３１０で受信したこの対象画像要求から、要求に応じた対象画像を特定する。Ｓ３２では、対象画像特定部３０９が、Ｈ／Ｗエンコーダ３０２で圧縮して蓄積部３０３に格納した撮像画像のうちから、Ｓ３１で特定した対象画像を読み出す。Ｓ３３では、送信部３０８ａが、Ｓ３２で読み出した対象画像をサーバ装置２ａに送信し、要求画像送信関連処理を終了する。

　実施形態２の構成によっても、実施形態１と同様の効果を奏する。また、実施形態１の構成によれば、サーバ装置２ａから要求があった場合には、通信端末３０ａが、Ｈ／Ｗエンコーダ３０２で圧縮して蓄積部３０３に格納した撮像画像のうちから、要求に応じた対象画像をサーバ装置２ａに送信する。よって、サーバ装置２ａが要求する撮像画像については、Ｈ／Ｗエンコーダ３０２で圧縮して蓄積部３０３に格納した高品質の撮像画像を、サーバ装置２ａが無線通信を用いて取得することが可能になる。

　（実施形態３）
　実施形態１では、Ｓ／Ｗエンコーダ３０６で圧縮した撮像画像をサーバ装置２ａに送信する構成を示したが、Ｓ／Ｗエンコーダを複数備え、Ｓ／Ｗエンコーダごとに撮像画像を送信する先の装置の種類を使い分ける構成（以下、実施形態３）としてもよい。

　（撮像画像送信システム１ｂの概略構成）
　以下、実施形態３の構成について説明する。実施形態３の撮像画像送信システム１ｂは、図１０に示すように、車両で用いられる車両側ユニット３ｂ及び車両側ユニット４と、人に携帯される携帯端末５とを含んでいる。車両側ユニット３ｂは、通信端末３０の代わりに通信端末３０と一部の処理が異なる通信端末３０ｂを備える点を除けば、実施形態１の車両側ユニット３と同様である。通信端末３０ｂの詳細については、後述する。

　車両側ユニット４は、車両で用いられて、通信モジュールと表示装置とを備え、車両側ユニット３ｂのうちの通信端末３０ｂから送信される、通信端末３０ｂで圧縮された撮像画像を受信する。車両側ユニット４は、車両側ユニット３ｂから送信される圧縮した撮像画像を受信した後、圧縮した撮像画像を伸張するデコードを行い、その撮像画像を表示可能な構成とすればよい。この車両側ユニット４が本開示の受信側装置に相当する。

　携帯端末５は、車両側ユニット３ｂのうちの通信端末３０ｂから送信される、通信端末３０ｂで圧縮された撮像画像を受信する。携帯端末５は、車両側ユニット３ｂから送信される圧縮した撮像画像を受信した後、圧縮した撮像画像を伸張するデコードを行い、その撮像画像を表示可能な構成とすればよい。携帯端末５としては、例えば多機能携帯電話機等を用いる構成とすればよい。この携帯端末５も本開示の受信側装置に相当する。

　車両側ユニット４と携帯端末５とは、それぞれ異なる種類の受信側装置に相当する。本実施形態では、車両側ユニット４は、ＱＶＧＡ（Quarter Video Graphics Array）の撮像画像を表示し、携帯端末５はＶＧＡの撮像画像を表示する場合を例に挙げて説明を行う。

　（通信端末３０ｂの概略構成）
　続いて、通信端末３０ｂの概略構成を説明する。図１１に示すように、通信端末３０ｂは、入力部３０１、Ｈ／Ｗエンコーダ３０２、蓄積部３０３、マイコン３０４ｂ、及び通信部３０７ｂを備えている。通信端末３０ｂは、マイコン３０４の代わりにマイコン３０４ｂを備える点と、通信部３０７の代わりに通信部３０７ｂを備える点とを除けば、実施形態１の通信端末３０と同様である。

　マイコン３０４ｂは、図１１に示すように、変換部３０５ｂ、Ｓ／Ｗエンコーダ３０６、及びＳ／Ｗエンコーダ３１１を機能ブロックとして備えている。マイコン３０４ｂは、変換部３０５の代わりに変換部３０５ｂを備える点と、Ｓ／Ｗエンコーダ３０６に加えてＳ／Ｗエンコーダ３１１も備える点とを除けば、実施形態１のマイコン３０４と同様である。通信部３０７ｂは、図１１に示すように、送信部３０８ｂを備えている。通信部３０７ｂは、送信部３０８の代わりに送信部３０８ｂを備える点を除けば、実施形態１の通信部３０７と同様である。なお、実施形態３の通信部３０７ｂに受信部を備える構成であってもよい。

　変換部３０５ｂは、入力部３０１を介してカメラ３２から逐次得られる撮像画像の総解像度を下げる変換を、Ｓ／Ｗエンコーダ３０６とＳ／Ｗエンコーダ３１１とのそれぞれに応じて行う点を除けば、実施形態１の変換部３０５と同様である。一例としては、解像度が１９２０×１０８０ドットのＦｕｌｌＨＤの撮像画像を、解像度が６４０×４８０ドットのＶＧＡの撮像画像に変換してＳ／Ｗエンコーダ３０６に送る一方、解像度が３２０×２４０ドットのＱＶＧＡの撮像画像に変換してＳ／Ｗエンコーダ３１１に送る。

　Ｓ／Ｗエンコーダ３０６は、変換部３０５でＶＧＡの撮像画像に画像スケールを変換された撮像画像を圧縮する。一方、Ｓ／Ｗエンコーダ３１１は、変換部３０５でＱＶＧＡの撮像画像に画像スケールを変換された撮像画像を圧縮する。つまり、Ｓ／Ｗエンコーダ３１１も、Ｈ／Ｗエンコーダ３０２で用いるよりも総画素数を下げた、カメラ３２で逐次撮像する撮像画像を、汎用のプロセッサ上で圧縮する。Ｓ／Ｗエンコーダ３０６とＳ／Ｗエンコーダ３１１とは、それぞれ総画素数が異なる撮像画像を圧縮するものとする。

　送信部３０８ｂは、送信するデータが一部異なる点を除けば、実施形態１の送信部３０８と同様である。送信部３０８ｂは、Ｓ／Ｗエンコーダ３０６で圧縮したＶＧＡの撮像画像は、携帯端末５に送信する一方、Ｓ／Ｗエンコーダ３１１で圧縮したＱＶＧＡの撮像画像は、車両側ユニット４に送信する。

　実施形態３の構成によっても、実施形態１と同様の効果を奏する。また、実施形態３の構成によれば、撮像画像を送信する先の装置の種類に応じて、それぞれ異なる画像スケールに変換した撮像画像を圧縮して送信することが可能になる。

　（実施形態４）
　前述の実施形態では、変換部３０５，３０５ｂで切り出す領域を、自車の走行状態に応じて変更する構成を例に挙げたが、必ずしもこれに限らない。例えば、変換部３０５，３０５ｂで切り出す領域を、自車の走行状態にかかわらず固定としてもよい。この場合、通信端末３０，３０ａ，３０ｂは、車両状態センサ３１からセンシング情報を取得しない構成としてもよい。

　（実施形態５）
　前述の実施形態では、通信端末３０，３０ａ，３０ｂを車両で用いる構成を示したが、必ずしもこれに限らない。通信端末３０，３０ａ，３０ｂは種々の移動体で用いることが可能である。また、通信端末３０，３０ａ，３０ｂを設置場所が固定の監視カメラ等に用いる構成としてもよい。この場合には、監視カメラで逐次得られる撮像画像をＨ／Ｗエンコーダ３０２で圧縮したものを不揮発性メモリに蓄積するとともに、監視カメラで得られる撮像画像よりも総画素数を下げた撮像画像をＳ／Ｗエンコーダ３０６で圧縮したものを、無線通信を用いてサーバ装置２等に送信する構成とすればよい。

　ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のステップ（あるいはセクションと言及される）から構成され、各ステップは、たとえば、Ｓ１と表現される。さらに、各ステップは、複数のサブステップに分割されることができる、一方、複数のステップが合わさって一つのステップにすることも可能である。

　以上、本開示の一態様に係る画像処理装置の実施形態、構成、態様を例示したが、本開示に係る実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態、構成、態様についても本開示に係る実施形態、構成、態様の範囲に含まれる。

 

Claims (5)

1. 　撮像装置（３２）で逐次撮像する撮像画像を圧縮する画像処理装置であって、
   　前記撮像装置で逐次撮像する撮像画像を専用の回路を用いて圧縮するハードウェアエンコーダ（３０２）と、
   　前記ハードウェアエンコーダで用いるよりも総画素数を下げた、前記撮像装置で逐次撮像する撮像画像を、汎用のプロセッサ上で圧縮するソフトウェアエンコーダ（３０６，３１１）と、
   　前記ハードウェアエンコーダで圧縮した撮像画像を逐次格納する不揮発性メモリ（３０３）と、
   　前記ソフトウェアエンコーダで圧縮した撮像画像を前記画像処理装置の外部の装置である受信側装置（２，２ａ，４，５）に無線通信を用いて送信する送信部（３０８，３０８ａ，３０８ｂ）とを備える画像処理装置。
2. 　前記ソフトウェアエンコーダで圧縮した撮像画像を送信した先の前記受信側装置（２ａ）から送信される、前記ソフトウェアエンコーダで圧縮した撮像画像に対応する前記ハードウェアエンコーダで圧縮した撮像画像である対象画像を要求する対象画像要求を受信する受信部（３１０）を備え、
   　前記送信部（３０８ａ）は、前記受信部で前記対象画像要求を受信した場合に、前記不揮発性メモリに蓄積されている前記対象画像を、前記対象画像要求の送信元の前記受信側装置に送信する請求項１に記載の画像処理装置。
3. 　前記ハードウェアエンコーダで用いるよりも総画素数を下げた、それぞれ総画素数が異なる、前記撮像装置で逐次撮像する撮像画像を、それぞれ圧縮する複数の前記ソフトウェアエンコーダ（３０６，３１１）を備え、
   　前記送信部（３０８ｂ）は、複数の前記ソフトウェアエンコーダ別に、圧縮した前記撮像画像を送信する先の前記受信側装置の種類を使い分ける請求項１又は２に記載の画像処理装置。
4. 　車両で用いられ、
   　前記ソフトウェアエンコーダは、前記撮像装置で逐次撮像する撮像画像のうちの一部の領域の撮像画像を圧縮するものであり、
   　前記車両の走行状態に応じて、前記撮像装置で逐次撮像する撮像画像のうちの、前記ソフトウェアエンコーダで圧縮する領域が変更される請求項１～３のいずれか１項に記載の画像処理装置。
5. 　前記撮像装置は、少なくとも前記車両の前方を撮像範囲に含むものであって、
   　前記ソフトウェアエンコーダで圧縮する領域が、前記車両の走行中は、前記撮像装置で逐次撮像する撮像画像のうちの前記車両の正面の一部の領域であるのに対し、前記車両の停車中は、前記撮像装置で逐次撮像する撮像画像のうちの移動物が位置する領域を含む一部の領域である請求項４に記載の画像処理装置。

Images