JP5664605B2 - ドライブ映像記録装置及びドライブ映像記録システム - Google Patents

Description

本発明は、車両の周囲の状況を示すドライブ映像を記録するドライブ映像記録装置及びシステムに関する。

例えば特許文献１には、車載カメラで取得した画像を再生する際に、使用者にとって必要度の低い画像をスキップして再生させることが可能な装置が記載されている。そのために、特許文献１に記載の装置では、まず、取得した画像を画像データとして画像記憶装置に記憶させておく。さらに、記憶した画像データをスキップして表示装置に表示させる際の基準となる情報であって、取得した画像に時間的に関連付けられる情報（ブレーキ踏力、アクセル踏力、車速、ステアリング舵角、前後加速度、横加速度など）も、記憶装置に記憶させておく。

画像の再生時には、使用者が設定スイッチで設定したスキップ開始時刻における情報と、それに後続する情報とを時間的に近いものから順次比較して類似度を算出する。この類似度の算出結果に基づき、類似度が所定の閾値以下となる時点まで、記憶装置に記憶された画像データをスキップさせて表示装置に表示させる。

また、特許文献２には、ドライブ経路の中での映像を、地図情報と関連させて映像の要約として記憶し、必要に応じて確認できるようにした装置が記載されている。具体的には、車両の走行方向の変化が所定の大きさ以上になったときや、車載カメラによって撮影されたドライブ映像において、予め設定された文字又は記号を含む道路案内標識が検出されたときなどに、常時記録されているドライブ映像から該当するドライブ映像を切り出して、場所の名称及び緯度経度からなる座標情報とともに記憶部に保存する。そして、要約表示が指示されたときには、車両の目的地までの地図情報と保存された複数の映像とを合成した合成映像を表示する。

特開２０１１−１４６８６０号公報 特開２００９−２４６５０３号公報

特許文献１の装置では、画像の再生時に、使用者にとって必要度の低い画像をスキップして再生することが可能であるため、使用者が必要な画像データを確認する際、記録されている画像データを長時間に渡って再生する必要はない。しかしながら、特許文献１の装置では、車載カメラで取得した画像データが、そのまま画像記憶装置に記憶されている。このため、画像記憶装置として、記憶容量の大きなメモリを用いる必要があったり、画像データを記録できる時間が、比較的短い時間に制限されるといった問題がある。

この点に関して、引用文献２の装置では、所定の条件が成立したときのドライブ映像だけを切り出して保存しているので、ドライブ映像を記録するために必要な記憶容量を削減することが可能である。しかしながら、その一方で、所定の条件が成立した時点以外のドライブ映像は保存されず消去されてしまうので、ドライブ映像によって車両の走行全体の状況を確認することは不可能である。

本発明は、上述した点に鑑みてなされたものであり、ドライブ映像によって車両の走行全体の状況を確認することが可能でありながら、ドライブ映像を記録するために必要な記憶容量を従来よりも削減することが可能なドライブ映像記録装置及びシステムを提供することを目的とする。

上記目的を達成するために、本発明によるドライブ映像記録装置は、
連続的に撮影された、車両の周囲の状況を示す映像を入力する映像入力手段（１２，１３）と、
運転者による操作、車両の挙動、及び運転者の状態の少なくとも１つを含む、車両の状態に関する少なくとも１種類の情報を入力する車両状態入力手段（４、５）と、
経時的に連続して入力される車両の状態に関する情報を、区分単位となる車両の状態ごとに区分けしつつ、該当する車両の状態に対応する記号によって表すことにより、記号列を生成する記号列生成手段（６）と、
前記記号列生成手段によって生成された記号列を、所定の運転状態を意味するドライビングワードごとに分節化する分節化手段（７）と、
前記分節化手段によって分節化されたドライビングワードの並びから、車両の状態として、情報量の多い時間帯と、それよりも情報量の少ない時間帯とを識別し、情報量の少ない時間帯における映像の再生速度が、情報量の多い時間帯の再生速度よりも速くなるように、入力された映像を間引いた要約動画を作成して記録する要約動画作成記録手段（１０、１４、１５）と、を備えることを特徴とする。

このように、本発明では、連続的に撮影した映像からなる元動画を圧縮した要約動画を記録しているので、その要約動画により、車両の走行全体に渡るドライブ映像を確認することが可能でありながら、要約動画を記録するための記憶容量を、従来よりも小さくすることができる。さらに、本発明では、元動画を要約動画に圧縮する際、分節化されたドライビングワードの並びから、車両の状態として、情報量の多い時間帯と、それよりも情報量の少ない時間帯とを識別し、情報量の多い時間帯の再生速度を相対的に遅くし、情報量の少ない時間帯の再生速度を相対的に速くしているので、要約動画の再生時に、重要と考えられる車両の状況が、相対的にゆっくりと強調されて再生され、そのような状況の検分などを容易に行うことができる。

また、本発明によるドライブ映像記録システムは、
運転者による操作、車両の挙動、及び運転者の状態の少なくとも１つを含む、車両の状態に関する少なくとも１種類の情報を検出する情報検出手段（１〜３）と、
前記情報検出手段によって経時的に連続して検出される情報を、区分単位となる車両の状態ごとに区分けしつつ、該当する車両の状態に対応する記号によって表すことにより、記号列を生成する記号列生成手段（６）と、
前記記号列生成手段によって生成された記号列を、所定の運転状態を意味するドライビングワードごとに分節化する分節化手段（７）と、
車両に設置され、当該車両の周囲の状況を示す映像を連続的に撮影する撮影手段（１１，１２）と、
前記分節化手段によって分節化されたドライビングワードの並びから、車両の状態として、情報量の多い時間帯と、それよりも情報量の少ない時間帯とを識別し、情報量の少ない時間帯における映像の再生速度が、情報量の多い時間帯の再生速度よりも速くなるように、前記撮影手段によって撮影された映像を間引いた要約動画を作成して記録する要約動画作成記録手段（１０，１４，１５）と、を備えることを特徴とする。

上述したように、本発明によるドライブ映像記録システムでは、まず、運転者による操作、車両の挙動、及び運転者の状態の少なくとも１つを含む、車両の状態に関する少なくとも１種類の情報に基づき、その情報を、区分単位となる車両の状態ごとに区分けする。つまり、検出された情報を次元とする空間において、当該情報から把握される各種の車両の状態をクラスターとし、経時的に連続して検出される情報が、いずれのクラスターに属するかを統計的に処理することにより、上記情報を区分単位となる車両の状態ごと（つまり、クラスターごと）に区分けするのである。そして、区分けされたそれぞれ情報から把握される車両の状態（つまり、区分けされた情報が属するクラスター）に対応する記号によって、区分けされたそれぞれの情報を表すことにより、記号列を生成する。

上述したように、区分けされるそれぞれの情報には、運転者による操作、車両の挙動、及び運転者の状態の少なくとも１つに関する情報が含まれている。このため、車両の運転者が、周囲の交通状況や自らの意思に従い、アクセル、ブレーキ、ステアリングなどの操作状態を変化させた場合、運転者による操作、並びに、その操作の結果としての車両の挙動に関する情報は、運転者による操作状態の変化に応じて変化することになる。また、運転者が操作状態を変化させた場合には、それに応じて、運転者の状態（例えば、運転者の視線方向、表情、心拍数など）も変化することになる。従って、区分けされるそれぞれの情報を対応する記号にて表した場合、得られる記号列は、運転者が実行する操作の変化に応じたものとなる。

そして、このように生成された記号列の各記号は、単独で、又は複数個集まって、所定の運転状態（例えば、発進、停止、定速走行、カーブにおける旋回、交差点の右折及び左折、右側車線及び左側車線への車線変更など）を意味するドライビングワードとなる。このため、生成される記号列を、所定の運転状態を意味するドライビングワードごとに分節化して得られるドライビングワードの並びは、運転状態の変化や、車両の運転シーンの遷り変わりを示すものとなる。

このように、上述したドライビングワードの並びから、運転状態の変化や、運転シーンの遷移、或いは同じ運転状態が継続する時間の長短を把握することができ、それにより、車両の状態として情報量の多い時間帯と、それよりも情報量の少ない時間帯とを識別することが可能である。そして、本発明では、情報量の少ない時間帯における映像の再生速度が、情報量の多い時間帯の再生速度よりも速くなるように、撮影手段によって撮影された映像を間引いた要約動画を作成して記録する。従って、上述したドライブ映像記録システムは、車両の走行全体に渡るドライブ映像を確認することが可能でありながら、要約動画を記録するための記憶容量を、従来よりも小さくすることができる。

なお、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、なんら本発明の範囲を制限することを意図したものではない。

また、上述した特徴以外の本発明の特徴に関しては、後述する実施形態の説明及び添付図面から明らかになる。

実施形態によるドライブ映像記録システムの構成を示す構成図である。 車両の状態に関する各情報を示す信号から、ドライビング記号を生成し、さらにドライビング記号列をドライビングワードに分節化する過程を概念的に示した図である。 ドライビングワードの最終的な切り替わり位置を特定するための処理を説明するための説明図である。 分節化されたドライビングワードの並びであるドライビングワード列に基づき、各時間帯の再生速度を決定するための処理を説明するための説明図である。 実施形態によるドライブ映像記録システムを用いた動画要約アプリケーションの一形態を示す図である。

以下、本発明の実施形態に係わるドライブ映像記録システムについて、図面を参照しつつ、詳細に説明する。図１は、センサ１〜３やカメラ１１を含むドライブ映像記録システムの構成を示した構成図であるが、この構成図においては、ドライブ映像記録システムの構成が機能ブロック図により機能的に表されている。実際のところ、図１において、センサ１〜３及びカメラ１１を除く部分（ドライブ映像記録装置）は、ＣＰＵを中心とした電子制御装置において、ハード的もしくはソフト的に実現されるものである。

図１に示すように、ドライブ映像記録システム１００は、運転者による運転操作に関する情報、その運転操作の結果として表れる車両の挙動に関する情報、及び運転者の状態に関する情報のいずれかを検出するセンサを少なくとも１つ有している。なお、図１には、運転者による運転操作に関する情報を検出するセンサとして、アクセルペダルの踏み込み量を検出するアクセルセンサ１、ブレーキペダルの踏み込み量もしくはマスタシリンダが発生するブレーキ圧を検出するブレーキセンサ２、ステアリングホイールの操舵角度を検出するステアリングセンサ３を備えた例が示されている。

ただし、運転者による運転操作に関する情報を検出するセンサは、上述したセンサ１〜３に限られる訳ではなく、例えば、方向指示器（ウインカー）を作動させるためのウインカースイッチや、トランスミッションのシフト位置を検出するポジションセンサなどを用いても良い。また、運転者による運転操作に関する情報を検出するセンサとともに、もしくは、そのセンサに代えて、車両の挙動に関する情報を検出する車両センサを用いても良い。このようなセンサの例としては、車両の走行速度を検出する速度センサ、車両の前後方向の加速度を検出する前後加速度センサ、及び車両の横方向の加速度を検出する横加速度センサなどが挙げられる。また、運転者による運転操作に関する情報を検出するセンサ、及び／又は、車両の挙動に関する情報を検出するセンサとともに、もしくは、そのセンサに代えて、運転者の状態に関する情報を検出するセンサを用いても良い。このようなセンサの例としては、運転者の心拍を検出する心拍センサ、運転者の視線を検出する視線センサ、及び運転者の表情を検出する車室内カメラなどが挙げられる。

さらに、運転者による運転操作に関する情報、車両の挙動に関する情報、及び運転者の状態に関する情報を検出するセンサとして、上述した各種のセンサ、スイッチのすべてを備える必要はなく、その一部のみが設けられても良い。

車両データ収集部４は、上述した運転者による運転操作に関する情報、その運転操作の結果として表れる車両の挙動に関する情報、及び運転者の状態に関する情報の少なくとも１つを検出する（各種の）センサからの検出信号を入力して収集し、車両データ記憶部５に保存する。この際、車両データ収集部４は、単にセンサからの検出信号を車両データ記憶部５に保存するばかりでなく、運転者による操作、車両の挙動、及び運転者の状態に関する情報について、その微分値に相当する微分値情報を算出し、併せて車両データ記憶部５に保存する。

例えば、センサとして、ステアリングセンサ３を有する場合には、車両データ収集部４が、ステアリングセンサ３によって検出された操舵角度の微分値情報である操舵速度を、操舵方向を表すプラスマイナスの符号とともに算出する。また、センサとして、アクセルセンサ１やブレーキセンサ２を有する場合には、車両データ収集部４は、アクセルペダルの踏み込み量やブレーキペダルの踏み込み量から、微分値情報に相当する踏み込み速度を、踏み増しあるいは踏み戻し方向を表すプラスマイナスの符号とともに算出する。

なお、センサとして、速度センサのみ有する場合には、車両データ収集部４にて、検出された速度の微分値情報である加速度を算出する必要があるが、速度センサと前後加速度センサとをともに有する場合には、前後加速度センサにて、速度の微分値情報である加速度を検出できるので、車両データ収集部４にて、微分値情報を算出する必要はない。また、車両データ収集部４は、各センサによる検出値の微分値そのものではなく、単なる差分値を微分値情報として算出しても良い。

このように、運転者による操作、車両の挙動、及び運転者の状態に関する情報の微分値情報を用いることにより、運転者の操作による車両の状態変化の傾向を適切に記号によって表すことが可能となる。つまり、車両の運転操作及び車両の挙動に関しては、その大きさのみが問題となる訳ではなく、むしろ、その変化の傾向が重要となる。例えば、ステアリングホイールを右方向への操舵角が増加するように操舵しているときには、車両は右方向への旋回を強めている状態であるのに対し、中立位置へ戻しているときには、旋回状態が弱められ直進に近づいている状態である。アクセルペダルやブレーキペダルの操作も同様であり、踏み増ししているときと、踏み戻しているときとでは、車両の挙動は全く異なるものとなる。また、車両の挙動に関しても、速度が増加しているときと、速度が減少しているときとでも、車両の挙動は異なり、運転者が視線方向を直進方向から左右方向にずらす場合と、直進方向に戻す場合とでも、車両の状態などが異なることが多い。微分値情報を用いた場合、このような変化の傾向を情報として表すことができる。

ドライブ映像記録システム１００は、上述したセンサに加えて、周辺環境センサ、車内環境センサ、ＧＰＳ受信機、及び道路情報データベースなどを備えていても良い。周辺環境センサとしては、例えば、前方を走行する車両や障害物までの距離を計測するレーダ装置を用いることができ、このレーダ装置は、先行車両の有無や、先行車両が存在する場合に、その先行車両までの距離を検出したりするために使用される。また、車内環境センサとしては、例えば、車室内の音声を計測するマイクを用いることができ、このマイクは、車室内の会話の有無や、会話が存在する場合に、その会話の内容を検出するために使用される。また、ＧＰＳ受信機と道路情報データベースとを用いることで、車両が走行している道路状況を把握できる。例えば、車両が走行している道路が、高速道路か一般道路か、複数車線からなる道路か一本の車線しかない道路かなど、あるいは、車両の走行位置前方に交差点や分岐ポイントが存在するか等を把握できる。このような周辺環境センサ、車内環境センサ、ＧＰＳ受信機及び道路情報データベースから得られる情報は、車両の運転状態及び運転者の状態に対する影響が大きい。このため、これらの情報も用いることで、後述する、各車両の状態ごとに各信号を区分けする際の精度や、ドライビングワードに分節化する際の精度を高めることができる。

記号化部６は、図２に示すように、車両データ収集部４によって収集され車両データ記憶部５に保存された、各種センサ１〜３などから経時的に連続して検出される各信号に基づき、それら各信号を、区分単位となる車両の状態ごとに区分けしつつ、その区分けされた各信号から把握される車両の状態に対応するドライビング記号（運転記号：Ｃ_１、Ｃ_２、Ｃ_３、Ｃ_４、Ｃ_５、…）によって表すことにより、記号列を生成する。つまり、記号化部６は、入力される各信号を次元とする空間において、各信号から把握される各種の車両の状態をクラスターとし、各信号の組み合わせがいずれのクラスターに属するかを統計的に処理することにより、経時的に変化する各信号を区分単位となる車両の状態ごと（つまり、クラスターごと）に区分けする。さらに、記号化部６は、各信号の組み合わせが属するクラスターに対応する記号（Ｃ_１、Ｃ_２、Ｃ_３、Ｃ_４、Ｃ_５、…）によって、区分けされた各信号を表すことにより、記号列を生成するのである。

本実施形態においては、この記号化部６として、隠れ状態とその状態間の確率的遷移で表現されるモデルの一つである階層ディリクレ過程隠れマルコフモデル（ＨＤＰ−ＨＭＭ）を利用する。ＨＤＰ−ＨＭＭは、ＨＭＭに無限次元の隠れ状態（クラスターに相当）を仮定することにより、入力される各信号に応じて隠れ状態の数を決定するという柔軟さを有する。そのため、ＨＭＭを利用する際に、隠れ状態数を事前に設計する必要がないという利点を有する。特に、ＨＤＰ−ＨＭＭとして、スティッキーＨＤＰ−ＨＭＭを用いることが好ましい。スティッキーＨＤＰ−ＨＭＭは、ＨＤＰ−ＨＭＭの自己遷移確率にバイアスを付加したもので、自己遷移確率を大きくすることにより、隠れ状態の過剰遷移を抑えることができ、動作の連続性を仮定するモデリングを効率的に行うことが可能となる。

このようなＨＤＰ−ＨＭＭやスティッキーＨＤＰ−ＨＭＭに関しては、例えば「階層ディリクレ過程隠れマルコフモデルを用いた非分節動作模倣学習手法」（計測自動制御学会システム・情報部門学術講演会 （2010））に詳しく説明されているため、これ以上の説明は省略する。

ただし、記号化部６は、上述したＨＤＰ−ＨＭＭに限らず、他のモデルを利用して、記号列を生成することも可能である。例えば、一般的なＨＭＭやＮ次マルコフモデル、階層マルコフモデル、スイッチングＡＲモデル、スイッチングカルマンフィルタなどのモデルを用いることも可能である。この場合、例えば、予め各モデルの隠れ状態数の設計を行い、その隠れ状態数に従って各隠れ状態のパラメータ及び隠れ状態間の遷移確率を予め算出、もしくは逐次的に更新していく。そして、それらの隠れ状態のパラメータ及び隠れ状態間の遷移確率に基づき、隠れ状態の事後確率を算出することにより、最も尤もらしい隠れ状態（クラスター）を得ることができる。

さらに、上述したモデルを用いることなく、記号列を生成するためのより簡易な手法として、以下のような手法を採用しても良い。すなわち、経時的に連続して検出される各情報を示す信号に対して、各信号の大きさを区分するための閾値をそれぞれ設定しておく。さらに、各信号の大きさの区分の全ての組み合わせに対して、それぞれ異なるドライビング記号を対応付けておく。そして、検出された各信号の大きさがいずれの区分に属するか判定するとともに、それらの区分の組み合わせに応じたドライビング記号を付与するという処理を繰り返すことにより記号列を生成する。

記号化部６から出力される記号列における各ドライビング記号は、言語における音素に相当するもので、個々のドライビング記号のみでは、意味のある運転状態を示すものとはならない。換言すれば、ドライビング記号の記号列を、意味のある運転状態を示すものとするためには、ドライビング記号の記号列を、適切に統合する必要がある。そのために、記号統合部７が設けられている。

記号統合部７は、図２に示すように、記号化部６から出力される記号列を、所定の運転状態を意味するドライビングワード（運転単語：Ｗ_１、Ｗ_２、Ｗ_３、…）ごとに分節化する。つまり、記号統合部７は、ドライビング記号列における各記号が、単独で、又は複数個集まって、所定の運転状態（例えば、発進、停止、定速走行、カーブにおける旋回、交差点の右折及び左折、右側車線及び左側車線への車線変更など）を意味するように分節化する。例えば、図２に示す例では、運転記号Ｃ_１は単独で運転単語Ｗ_１に置き換えられ、運転記号Ｃ_２とＣ_３とが統合されて運転単語Ｗ_２とされ、さらに、運転記号Ｃ_２、Ｃ_４、Ｃ_５が運転単語Ｗ_３とされている。このように、所定の運転状態を意味するドライビングワードごとに分節化して得られるドライビングワードの並びは、運転状況の変化や、車両の運転シーンの遷り変わりを示すものとなる。

本実施形態では、この記号統合部７として、統計情報を利用した離散文字列の教師なしチャンク化手法の１例であるNested Pitman-Yor Language Model（ＮＰＹＬＭ）を利用する。このＮＰＹＬＭは、Hierarchical Pitman-Yor Language Model（ＨＰＹＬＭ）に単語のN-gramモデルを組み込むことにより拡張したものであり、辞書データなしでの形態素解析を実現したものである。ＨＰＹＬＭは、N-gram言語モデルにPitman-Yor過程によるスムージングを行うことで、未知語や低頻度語に対する頑強性を向上させ、適切な単語の分節化を可能としたものである。

ＮＰＹＬＭ及びＨＰＹＬＭに関しては、「階層Pitman-Yor言語モデルを用いた動作解析」（第２５回人工知能学会全国大会, 3B1-OS22c-8 .(2011)）に詳しく説明されているので、これ以上の説明は省略する。

ただし、上述したＮＰＹＬＭは、記号列の分節化を行うための一例に過ぎず、他の手法によって分節化を行なっても良い。例えば、車両を各種の走行態様で走行させたときに生成された記号列に基づき、予めドライビングワードを設定して、ドライビングワード辞書を作成するとともに、各ドライビングワードの遷移確率や生成確率のデータベースを作成し、記号統合部７に記憶させておく。そして、これらのドライビングワード辞書、遷移確率データベース、及び生成確率データベースを参照して、入力された記号列を最も確からしいドライビングワードごとに分節化する。

記号統合部７は、ドライビング記号列をドライビングワードに分節化した結果を、運転単語データ記憶部８に記憶する。

ここで、記号化部６における記号列の生成及び記号統合部７におけるドライブビングワードへの分節化は、統計的な処理により行われるものであるため、ばらつきが含まれる可能性が残る。

このようなばらつきの影響を極力排除するために、本実施形態では、まず、記号化部６において、相対的に尤度の高い複数の記号列を、記号列候補として生成させる。そして、この複数の記号列候補を記号統合部７に与えて、記号統合部７においても、ドライビングワードの分節化結果を複数算出させる。この複数算出されたドライビングワードの分節化結果は、それぞれ分節化候補として、運転単語データ記憶部８に保存される。

なお、記号化部６において、最も尤度の高い単一の記号列を生成させ、記号統合部７において、その単一の記号列に基づき、ドライビングワードの分節化結果を複数算出させるようにしても良い。あるいは、記号化部６において、記号列候補として、相対的に尤度の高い複数の記号列を生成させ、記号統合部７が、複数の記号列候補の各々に対して、１つの分節化候補を算出しても良いし、複数の分節化候補を算出しても良い。いずれの場合であっても、記号統合部７から複数の分節化候補が算出される。

そして、単語切替り位置検出部９は、上述した複数の分節化候補に基づいて、ドライビングワードの切替り位置を最終的に決定し、その最終決定された切り替わり位置にて分節化されたドライビングワードの並び（ドライビングワード列）を再生速度算出部１０に出力する。この単語切替り位置検出部９において実行される処理を、図３を参照しつつ説明する。

まず、単語切替り位置検出部９は、運転単語データ記憶部８に保存されている、ドライビングワードの複数の分節化候補を読み出す。図３（ａ）は、このようにして読み出されたドライビングワードの複数の分節化候補が示されている。なお、図３（ａ）には、説明の便宜上、４つの分節化候補が示されているが、その数は任意である。

そして、単語切替り位置検出部９は、各分節化候補におけるドライビングワードの切り替り位置を検出し、同一の時間軸上にプロットしていく。図３（ｂ）は、複数の分節化候補におけるドライビングワードの切り替り位置をプロットした結果の一例を示している。さらに、単語切替り位置検出部９は、同一時間軸上でのプロット結果に基づき、所定の時間幅内に複数のプロットが属する場合には、そのプロット数の合計値を算出することにより、図３（ｃ）に示すようにヒストグラムを作成する。このようにして作成されたヒストグラムにおいて、単語切替り位置検出部９は、プロット数の合計値が、所定の閾値を超えている位置を、ドライビングワードの切り替り位置として最終的に決定する。図３（ｄ）は、最終的に決定された切り替り位置にて分節化されたドライビングワード列を示している。

再生速度算出部１０は、単語切替り位置検出部９から与えられたドライビングワード列に基づいて、ドライブ映像記憶部１３に記憶されているドライブ映像の再生速度を算出するものである。

ドライブ映像は、車両周囲の状況（例えば、車両の進行方向の状況）を撮影可能に車両に搭載されたカメラ１１によって取得され、エンコーダ１２によって所定のエンコード処理が施された後に、ドライブ映像記憶部１３に記憶される。このようなドライブ映像は、後に車両の運転状況や周囲の状況を確認する上で有用であるが、カメラ１１によって撮影された映像をそのまま記録する場合、大容量のメモリが必要になったり、撮影時間が制限されたりする。

そこで、本実施形態では、再生速度算出部１０が、上述したドライビングワード列に基づき、車両の状態として情報量の多い時間帯と、それよりも情報量の少ない時間帯とを識別して、それぞれの時間帯に適した再生速度を算出する。この再生速度の算出処理については、後に詳細に説明する。

再生速度算出部１０によってドライビングワード列の時間帯毎に算出された再生速度は、要約動画作成部１４に出力される。ここで、ドライブ映像記憶部１３に経時的に連続して記憶されるドライブ映像と、運転単語データ記憶部８に記憶されるドライビングワード列には、同じ時間情報を用いて、それらが得られた時刻が記録されている。従って、要約動画作成部１４は、算出される再生速度が対応する時間帯と、記録されているドライブ映像の時間帯とを対応付けることが可能である。

要約動画作成部１４は、再生速度算出部１０によって算出された時間帯毎の再生速度に基づき、該当する時間帯のドライブ映像を間引くことにより、要約動画を作成し、要約動画記憶部１５に保存する。この点について、以下に、より具体的に説明する。

ドライブ映像は、所定の時間間隔でカメラ１１によって撮影され、ドライブ映像記憶部１３に記憶されている。このドライブ映像記憶部１３に記憶されている全てのドライブ映像を、カメラ１１によって撮影された時間間隔で表示すると、撮影されたドライブ映像による動画は、通常の（１倍速の）の速さで再生されることになる。

一方、再生速度を１倍速よりも速い速度とした場合には、元のドライブ映像の全てを表示する必要が無くなる。例えば、非常に単純な例で説明すると、元のドライブ映像による動画を１０倍速で再生する場合には、元のドライブ映像の１０枚中１枚の割合で表示すれば良い。従って、再生速度を元動画の１０倍とする場合には、元のドライブ映像の９０％を間引くことができる。さらに、再生速度を元動画の３０倍とする場合には、元のドライブ映像の３０枚中１枚の割合で表示すれば良いので、元のドライブ映像の約９７％を間引くことができる。

再生速度算出部１０は、後述するように、各時間帯の再生速度を１倍速よりも早い速度として算出する。従って、要約動画作成部１４が、再生速度算出部１０により時間帯ごとに算出された再生速度に従い、各時間帯のドライブ映像を間引いた要約動画を作成することにより、要約動画のサイズを、元動画のサイズよりも小さくできる。従って、要約動画を記憶するために必要な要約動画記憶部１５の記憶容量を従来よりも小さくしたり、あるいはより長時間のドライブ映像に対応する要約動画を保存したりすることが可能になる。

次に、再生速度算出部１０における再生速度の算出処理について、図４を参照しつつ説明する。

図４（ａ）は、単語切替り位置検出部９から与えられたドライビングワード列の一例を示している。再生速度算出部１０は、まず、与えられたドライビングワード列において、ドライビングワードの切り替り位置を抽出する。そして、この切り替り位置を基準として、その前後の所定時間分（例えば、前後に１秒間ずつ）の時間帯の再生速度を、所定の最低倍速（例えば、５倍速）とする。これは、ドライビングワードの切り替り位置では、運転状態が変化するので、その際には、車両の状態に関する情報量が最大になると考えられるためである。

次に、再生速度算出部１０は、与えられたドライビングワード列に基づき、各ドライビングワードの長さを求める。ここで、各ドライビングワードによって表される車両の状態に関する情報量は一定であると仮定した場合、短いドライビングワードに対応する時間帯は、長いドライビングワードに対応する時間帯よりも、車両の状態に関する（時間当りの）情報量が多い時間帯であるとみなすことができる。そのため、再生速度算出部１０は、長いドライビングワードに対応する時間帯の再生速度が、短いドライビングワードに対応する時間帯の再生速度よりも速くなるように、それぞれの時間帯の再生速度を算出する。そのため、例えば、再生速度算出部１０は、ドライビングワードの長さに所定の比例定数を乗じることにより得た乗算結果を、当該ドライビングワードに対応する時間帯の再生速度として定める。なお、比例定数は、最も短いドライビングワードに対応する時間帯の再生速度が、少なくとも上記最低倍速よりも速い速度となり、かつ要約動画の再生時間が元動画の時間に対して所定比率（例えば、５％）まで短縮されるように定める。

このようにして、ドライビングワードの切り替り位置の前後の時間帯及び各ドライビングワードに対応する時間帯毎の再生速度が算出される。ただし、算出された再生速度に、図４（ｂ）に示されるように、所定の最大倍速（例えば、３０倍速）を超える再生速度が含まれる場合には、その再生速度を最大倍速に制限する。再生速度を過度に速めてしまうと、それを視聴した場合に、内容の理解が困難になる可能性が生じるためである。

しかし、算出された再生速度の内の一部の再生速度が最大倍速を超えており、その再生速度を最大倍速に制限した場合、要約動画の再生時間が元動画の時間の所定比率を越えてしまう場合がある。このような場合には、図４（ｂ）に示すように、最大倍速に達していない少なくとも１部（全部でも良い）の再生時間を対象として、所定の倍率を乗じたり、所定値を加算したりすることで、要約動画の総再生時間が、元動画の時間の所定比率まで短縮するようにすれば良い。

また、隣接する時間帯において再生速度が異なる場合、瞬間的に再生速度が変化すると、視聴者は非常に見難く感じたり、違和感を覚えたりする。そのため、再生速度算出部１０は、急激な再生速度の変化を抑制すべく、隣接する時間帯において再生速度が異なるとき、再生速度が徐々に変化するように再生速度を算出する。図４（ｃ）は、再生速度算出部１０において、最終的に算出された時間帯毎の再生速度の一例を示している。

なお、要約動画作成部１４において、要約動画が作成されると、その作成の元になったドライブ映像はもはや不要なものとなる。そのため、要約動画の作成が完了すると、要約動画作成部１４は、ドライブ映像記憶部１３に対し、元のドライブ映像が記憶された領域に、新たなドライブ映像を上書きして記憶することを許可する。このように、ドライブ映像記憶部１３は、カメラ１１によって撮影されたドライブ映像を、要約動画が作成されるまで一時的に保存しておくだけであるため、ドライブ映像記憶部１３として大容量のものを用いる必要はない。

以上、説明したように、本実施形態によるドライブ映像記録システム１００によれば、連続的に撮影したドライブ映像からなる元動画を圧縮した要約動画を記録するようにしているので、その要約動画により、車両の走行全体に渡るドライブ映像を確認することが可能でありながら、要約動画を記録するための記憶容量を、従来よりも小さくすることができる。さらに、元動画を要約動画に圧縮する際、車両の状態としての情報量の多い時間帯の再生速度を相対的に遅くし、情報量の少ない時間帯の再生速度を相対的に速くしているので、要約動画の再生時に、重要と考えられる車両の状況が、相対的にゆっくりと強調されて再生され、そのような状況の検分などを容易に行うことが可能である。

しかも、本実施形態では、車両の状態に関する情報量の多寡に応じて差をつけているが、全体として、元動画に比較して要約動画の再生速度を速めている。そのため、ドライブ映像を視聴するのに必要な時間を大幅に短縮することができる。この点に関して、上述した引用文献１においても、使用者にとって必要度の低い画像をスキップして再生させることで視聴時間の短縮を図っているが、スキップする部分の判定に使用者が設定したスキップ開始時刻の情報との類似度及び閾値を用いているため、スキップ開始時刻と類似していないが実際上必要度の低い部分（例えば、渋滞中の断続的な発進と停止）はスキップしない。また、再生速度はスキップする場合としない場合の2通りしかないため、実際上の重要度に対して必要以上に時間をかけて再生してしまう場合がある。このような理由から、引用文献１の装置では、ドライブ映像の視聴時間の短縮が不十分となる可能性が高い。

本実施形態によるドライブ映像記録システム１００を用いたアプリケーションの一形態として、動画要約ソフトウェアの例を図５に示す。アプリケーションのユーザーは本実施形態のドライブ映像要約装置に対して、再生速度として、最大倍速及び最小倍速、さらに要約動画の総再生時間を定める比率を指定することができる。ドライブ映像要約装置はこれらの値を使って、上述した実施形態に従って要約動画を作成する。このように作成した要約動画は、アプリケーションのユーザーにとって、車両の走行全体の状況を確認することが可能でありながら、ドライブ映像を視聴するのに必要な時間を短縮することができる。

なお、上述した実施形態は、本発明を実施する上で好ましいものではあるが、本発明は、上述した実施形態に制限されるものではなく、本発明の主旨を逸脱しない範囲において、種々、変形して実施することが可能である。

例えば、上述した実施形態では、ドライビングワードの長さに応じて、ドライビングワードに対応する時間帯の再生速度を算出するようにした。しかしながら、例えば、ドライビングワードの切り替り位置の前後の時間帯の再生速度は最低倍速とし、各ドライビングワードに対応する時間帯の再生速度は、一律に最高倍速としても良い。また、上述した実施形態では、ドライビングワードの長さに所定の比例定数を乗じることにより得た乗算結果を各ドライビングワードに対応する時間帯の再生速度としたが、例えば、ドライビングワードの長さの対数をとり、これをドライビングワードに対応する時間帯の再生速度としても良い。あるいは、ドライビングワードの長さの対数をとる代わりに、ドライビングワードの長さに対して他の増加関数を適用しても良い。

さらに、上述した実施形態では、要約動画の総再生時間を、元動画の時間の所定の比率に相当する時間とするとの制約を設けたが、このような総再生時間の制約は設けなくとも良い。この場合、最高倍速を超えている再生速度がある場合には、その再生速度を最高倍速に制限するだけで、それ以上の処理は不要となる。

さらに、上述した実施形態では、運転者による操作、車両の挙動、及び運転者の状態に関する情報について、その微分値に相当する微分値情報を算出し、併せて運転データ記憶部５に保存したが、微分値情報を併せて保存せず、各種センサによって検出された情報のみを用いてもよい。

さらに、上述した実施形態では、記号化部６における記号列の生成及び記号統合部７におけるドライブビングワードへの分節化におけるばらつきの影響を極力排除するために、記号化部６において、複数の記号列候補を生成させ、記号統合部７において、ドライビングワードの分節化結果を複数算出させた。しかし、記号化部６及び記号統合部７において、それぞれ１つの記号列候補及びドライビングワードの分節化結果を算出してもよい。この場合、単語切替り位置検出部９は、算出したドライビングワードの分節化結果を、最終的に決定されたドライビングワード列として用いればよい。

さらに、上述した実施形態では、要約動画作成部１４において要約動画が作成されると、要約動画作成部１４は、ドライブ映像記憶部１３に対し、元のドライブ映像が記憶された領域に、新たなドライブ映像を上書きして記憶することを許可するようにしたが、ドライブ映像記憶部１３は、元のドライブ映像が記憶された領域に、新たなドライブ映像を上書きしなくともよい。この場合においても、要約動画作成部１４において作成された要約動画は、視聴に必要な時間が短縮されるというメリットがある。

１ アクセルセンサ
２ ブレーキセンサ
３ ステアリングセンサ
６ 記号化部
７ 記号統合部
１０ 再生速度算出部
１１ カメラ
１２ エンコーダ
１４ 要約動画作成部
１００ ドライブ映像記録システム

Claims (13)

1. 連続的に撮影された、車両の周囲の状況を示す映像を入力する映像入力手段（１２，１３）と、
   運転者による操作、車両の挙動、及び運転者の状態の少なくとも１つを含む、車両の状態に関する少なくとも１種類の情報を入力する車両状態入力手段（４、５）と、
   経時的に連続して入力される車両の状態に関する情報を、区分単位となる車両の状態ごとに区分けしつつ、該当する車両の状態に対応する記号によって表すことにより、記号列を生成する記号列生成手段（６）と、
   前記記号列生成手段によって生成された記号列を、所定の運転状態を意味するドライビングワードごとに分節化する分節化手段（７）と、
   前記分節化手段によって分節化されたドライビングワードの並びから、車両の状態として、情報量の多い時間帯と、それよりも情報量の少ない時間帯とを識別し、情報量の少ない時間帯における映像の再生速度が、情報量の多い時間帯の再生速度よりも速くなるように、入力された映像を間引いた要約動画を作成して記録する要約動画作成記録手段（１０、１４、１５）と、を備えることを特徴とするドライブ映像記録装置。
2. 前記要約動画作成記録手段は、前記ドライビングワードの切り替わり前後の時間帯を、同じドライビングワードが継続している時間帯よりも情報量が多い時間帯であるとみなすことを特徴とする請求項１に記載のドライブ映像記録装置。
3. 前記要約動画作成記録手段は、前記ドライビングワードの切り替わり前後の時間帯の再生速度が、所定の最低倍速となるように、当該時間帯における映像を間引いて前記要約動画を作成することを特徴とする請求項２に記載のドライブ映像記録装置。
4. 前記要約動画作成記録手段は、長さの短いドライビングワードに対応する時間帯を、それよりも長さの長いドライビングワードに対応する時間帯よりも情報量が多い時間帯であるとみなすことを特徴とする請求項１又は２に記載のドライブ映像記録装置。
5. 前記要約動画作成記録手段は、前記ドライビングワードの長さに所定の比例定数を乗じることにより得た乗算結果を、当該ドライビングワードに対応する時間帯の再生速度として定め、その再生速度に対応するように映像を間引いて、前記要約動画を作成することを特徴とする請求項４に記載のドライブ映像記録装置。
6. 前記要約動画作成記録手段は、算出した再生速度が所定の最大倍速より速くなった場合、その再生速度を前記最大倍速に制限することを特徴とする請求項５に記載のドライブ映像記録装置。
7. 前記要約動画作成記録手段は、連続的に撮影した映像からなる元動画の再生時間に対して、前記要約動画の再生時間が所定の比率まで短縮されるように、前記比例定数を定めることを特徴とする請求項５又は６に記載のドライブ映像記録装置。
8. 前記要約動画作成記録手段は、長さの短いドライビングワードに対応する時間帯の再生速度が、それよりも長さの長いドライビングワードに対応する時間帯の再生速度よりも遅くなり、かつ、前記ドライビングワードの切り替わり前後の時間帯の再生速度が、前記ドライビングワードに対応する時間帯のいずれの再生速度よりも遅くなるように映像を間引いて、前記要約動画を作成することを特徴とする請求項１乃至７のいずれかに記載のドライブ映像記録装置。
9. 前記要約動画作成記録手段は、隣接する時間帯において再生速度が異なるとき、再生速度が徐々に変化するように映像を間引いて、前記要約動画を作成することを特徴とする請求項１乃至８のいずれかに記載のドライブ映像記録装置。
10. 前記要約動画作成記録手段は、前記ドライビングワードの切り替わり前後の時間帯の再生速度を所定の最低倍速に設定しつつ、前記要約動画の総再生時間が所定の再生時間となるように、前記ドライビングワードに対応する時間帯の再生速度を調整することを特徴とする請求項１乃至９のいずれかに記載のドライブ映像記録装置。
11. 前記記号列生成手段は、前記記号列に関して複数の記号列候補を生成し、前記分節化手段は、前記複数の記号列候補に基づいて、ドライビングワードごとに分節化した分節化候補を複数求め、所定数以上の分節化候補において、ドライビングワードの切り替わり箇所とされた位置を最終的な節として、ドライビングワードの分節化を行うことを特徴とする請求項１乃至１０のいずれかに記載のドライブ映像記録装置。
12. 前記分節化手段は、前記記号列生成手段が生成した複数の記号列候補の各々に関して、複数の分節化候補を算出することを特徴とする請求項１１に記載のドライブ映像記録装置。
13. 運転者による操作、車両の挙動、及び運転者の状態の少なくとも１つを含む、車両の状態に関する少なくとも１種類の情報を検出する情報検出手段（１〜３）と、
    前記情報検出手段によって経時的に連続して検出される情報を、区分単位となる車両の状態ごとに区分けしつつ、該当する車両の状態に対応する記号によって表すことにより、記号列を生成する記号列生成手段（６）と、
    前記記号列生成手段によって生成された記号列を、所定の運転状態を意味するドライビングワードごとに分節化する分節化手段（７）と、
    車両に設置され、当該車両の周囲の状況を示す映像を連続的に撮影する撮影手段（１１，１２）と、
    前記分節化手段によって分節化されたドライビングワードの並びから、車両の状態として、情報量の多い時間帯と、それよりも情報量の少ない時間帯とを識別し、情報量の少ない時間帯における映像の再生速度が、情報量の多い時間帯の再生速度よりも速くなるように、前記撮影手段によって撮影された映像を間引いた要約動画を作成して記録する要約動画作成記録手段（１０，１４，１５）と、を備えることを特徴とするドライブ映像記録システム。

Images