JP2010268343A

JP2010268343A - 撮影装置および撮影方法

Info

Publication number: JP2010268343A
Application number: JP2009119591A
Authority: JP
Inventors: Izuru Kiyokawa; 出清川
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Imaging Corp
Priority date: 2009-05-18
Filing date: 2009-05-18
Publication date: 2010-11-25

Abstract

【課題】精度の高い組立てを効率的に行うことが可能で、撮像する画角が大きく歪の少ない、相反する方向の画像を動画撮影可能で、その画像を違和感無く提供するコンパクトな撮影装置を提案すること。
【解決手段】所定の周期で被写体を電気信号に変換する１つの撮像素子と、第１の結像光学系及び第１の結像光学系とは異なる焦点距離の第２の結像光学系でそれぞれ異なる方向からの被写体像を１つの撮像素子上の所定の領域に結像させる結像手段と、撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、動画像生成手段によって生成された第１の動画像を各領域に対応する部分画像に分割する撮影画像分割手段と、撮影画像分割手段によって分割された部分画像を所定の配置で合成して第２の動画像に生成する画像合成手段と、画像合成手段によって合成された第２の動画像を表示装置に表示させる表示制御手段とを有する。
【選択図】図７

Description

本発明は、少なくとも２方向の被写体を単一の撮像素子にて撮像すると共に、撮像する画角が大きく歪の少ない、かつ、コンパクト化しやすい、撮影装置および撮影方法に関するものである。

近年、自動車業界ではアクティブセーフティー（予防安全）の取り組みで、各種センシングシステムが提案実施されている。例えば、車間センサーや白線検知、駐車アシスト、バックモニター、よそ見などによる事故を防止する顔向き検知システム、車両の盗難時の犯人を撮影する等々、そこに、多くのカメラが搭載され実現化されている。また、業務用車両などにおいては、ドライブレコーダーなどのカメラシステムなども普及しつつある。

また、複数方向を１個の撮像素子に撮像するカメラでは、左右のブラインドコーナーを撮像するシステム（例えば、特許文献１参照。）や、距離計測のために視差を僅かにずらして同一の画像を取得するステレオアダプターなどが提案されている（例えば、特許文献２参照。）。

特開２００４−３４１５０９号公報特開２００４−２５８２６６号公報

しかしながら、上述のようなシステムはそれぞれが独立して構成されているため、それぞれの有効なシステムを複数実現しようとすると、それぞれの目的で個々にカメラを用意することになり、設置場所の確保、コストアップの点で問題があった。そのため、複合的にそれぞれの機能を利用しきれていないのが現状であった。

また、従来のこの種の撮影光学ユニットは、撮像素子の受光面とレンズとの位置をその構造上短縮するのが困難であり、システムのサイズの小型化が困難であった。
さらに、広画角をカバーする必要から魚眼レンズを使用しているため、必要な画角を切り取り歪補正後の画像の情報を用いており、魚眼レンズ故の視認性の低い画像しか得られず、歪補正を行うとしても周辺の情報不足により実態とはかけ離れた画像が見えていた。また、補正による後段の画像処理の煩雑さを招きかねないという問題もあった。

また、特に車両室内に設けることが通常の白線検知カメラ、車間センサーやドライブレコーダーは、車両の前方を向いており、脇見や居眠り防止、盗難車両の運転者映像の取得カメラなどは、車両室内を向いているため、それぞれのカメラを同一筐体に収めることが困難であった。

本発明は、上述のような実状に鑑みたものであり、構造の簡素化により精度の高い組立てを効率的に行うことが可能で、撮像する画角が大きく歪の少ない、相反する方向の画像を動画撮影可能で、その画像を違和感無く提供するコンパクトな撮影装置を提案することを目的とする。

本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の撮影装置は、所定の周期で被写体を電気信号に変換する１つの撮像素子と、第１の結像光学系及び前記第１の結像光学系とは異なる焦点距離の第２の結像光学系でそれぞれ異なる方向からの被写体像を前記１つの撮像素子上の所定の領域に結像させる結像手段と、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する撮影画像分割手段と、前記撮影画像分割手段によって分割された前記部分画像を所定の配置で合成して第２の動画像に生成する画像合成手段と、前記画像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段とを有することを特徴とする。

また、本発明の撮影装置は、前記第１の結像光学系及び前記第２の結像光学系が自由曲面プリズムにより構成されていることが望ましい。
また、本発明の撮影装置は、前記撮影装置が車両内の所定位置に配置された場合、前記第１の結像光学系が、前記車両の進行方向の所定距離だけ離れた位置に合焦するように構成され、前記第２の結像光学系が、前記車両の運転者に合焦するように構成されていることが望ましい。

また、本発明の撮影装置は、前記第１の結像光学系が可視光領域の光を透過する分光特性である第１の分光フィルターを有し、前記第２の結像光学系が赤外領域の光を透過する分光特性である第２の分光フィルターを有することが望ましい。

また、本発明の撮影装置は、前記第１の分光フィルター及び前記第２の分光フィルターが前記撮像素子の直前に配置されていることが望ましい。
また、本発明の一態様によれば、本発明の撮影方法は、所定の周期で被写体を電気信号に変換する１つの撮像素子と、第１の結像光学系及び前記第１の結像光学系とは異なる焦点距離の第２の結像光学系でそれぞれ異なる方向からの被写体像を前記１つの撮像素子上の所定の領域に結像させる結像手段とを備える撮影装置を制御する撮影方法であって、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、前記分割された前記部分画像を所定の配置で合成して第２の動画像に生成し、前記合成された前記第２の動画像を表示装置に表示させることを特徴とする。

本発明によれば、撮像する画角が大きく歪の少ない、相反する方向の画像を動画撮影することが可能であり、構造の簡素化により精度の高い組立てを効率的に行うことが可能である。

本発明を適用した第１の実施の形態における撮影装置の構成例を示す図である。本発明を適用した第２の実施の形態における撮影装置の構成例を示す図である。本発明を適用した第２の実施の形態における撮影装置の外観を示す図である。自由曲面プリズム２、３のＹ−Ｚ面を示した図である。自由曲面プリズム２、３の外形を表す斜視図である。撮像素子１に結像された被写体の例を示す図である。本発明を適用した第２の実施の形態のカメラシステムの構成を示す図である。第１の加速度センサー６５が実行する処理の流れを示すフローチャートである。第２の実施の形態のカメラシステムの機能ブロックを示す図である。第２の加速度センサー６６が実行する処理の流れを示すフローチャートである。第２の実施の形態におけるカメラ制御処理の流れを示すフローチャートである。第１のフレームメモリの構成を示す図である。第２のフレームメモリの構成を示す図である。カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートである。表示例を示す図である。画像検出から警告発生までの処理の流れを示すフローチャートである。本発明による撮像装置を車両に搭載した例を示す図である。

以下、本発明の実施の形態について図面を参照しながら説明するが、まず本発明の概要を説明する。
本発明は、上述の課題を解決するためになされたものであり、２個の自由曲面プリズムと、これら２個の自由曲面プリズムを介した像を結像する単一の撮像素子とを備えている。これらの２個の自由曲面プリズムのうち１個は比較的焦点距離が長く、他の１個は比較的焦点距離が短いという相違点を備えている一方、物体側から光の透過作用を有する第１面、光の内部反射と透過作用を有する第２面及び光の反射作用を有する第３面の３つの光学面を有し、そのうちの少なくとも反射作用を有する光学面がレンズ機能を兼ね備えている点で共通している。そして、この異なる特性を持つ２個の自由曲面プリズムを、その第１面につきそれぞれ異なる視野へ向けて固定保持したフレームと、このフレームそのものを載置するとともに各自由曲面プリズムより出射された光を撮影視野として相反する方向に結像させる単一の撮像素子を配設したホルダと該ホルダに合わさってフレームを自由曲面プリズムとともにその内側に収納するカバー体とを組み合わせるところに特徴を有する。

上述のような構成の撮影光学ユニットにおいて、自由曲面プリズムは、前方視野を基準にして入射面を前方視野へ指向させた第１の自由曲面プリズムと、この第１の自由曲面プリズムと入射面を相反する方向に配置した第１の自由曲面プリズムと焦点距離、水平・垂直の透過範囲の異なる特性を持つ第２の自由曲面プリズムにて構成される。

本発明を構成するのに不可欠な自由曲面プリズムとは、回転対称でない自由形状のレンズ面とプリズムを融合させてレンズ作用を持たせた光学素子を言う。例えば、第１、第２の自由曲面プリズムを用いて単一の撮像素子に映像を取り込んだ場合、第一の自由曲面プリズムで撮像素子の長手方向に車両の前方映像を左に９０°回転した像（例えば、７５０画素×４８０画素の撮像素子を用いた場合の４８０画素×４８０画素分）が撮像素子の左側２／３の位置に結び、第二の自由曲面プリズムで撮像素子の長手方向に運転者の映像を右に９０°回転した像（例えば、残り２７０画素×４８０画素分）が撮像素子の残り右側１／３の位置に結ぶように構成される。

そして、撮像素子に結んだ２つの像をそれぞれ分割生成し、所定の配置に動画像を表示することを特徴とする。例えば、その表示方法については、上記２つの前方映像と運転者の映像を表示するために、２画面を同時に横並びに表示する表示手段を有する。

また、２つの前方映像と運転者の映像うち前方および運転者のいずれかを表示するために、２画面を縮小することなく少なくとも１画面を選択的に拡大して表示する表示手段を有する。

そして、取得した２つの画像のうち前方映像は、白線検知、ドライブレコーダー、車間センサーなどの機能に使用され、運転者側の画像は居眠り検知、盗難犯罪者の映像撮影に使用される。この機能を実現するため、白線検知演算機能、動画記録メモリ、車間距離演算機能、居眠り検出、警告機能、車両に対して不正行為が行われたときに不正行為を検知する検知手段を有している。なお、表示方法においては、操作者の選択指定による表示形式を固定的に採用する。
（第１の実施の形態）
図１は、本発明を適用した第１の実施の形態における撮影装置の構成例を示す図である。

図１において、撮影装置は、共軸系の球面レンズを用いた第１の結像光学系Ｌ１００、同様に共軸系の球面レンズを用いた第２の結像光学系Ｌ１０１および所定の周期で被写体を電気信号に変換する１つの撮像素子１を備え、相反する２方向の２画面を撮影する。

そして、前記結像光学系Ｌ１００は、結像レンズＬ１、Ｌ２、Ｌ３、Ｌ４から構成され、例えば車両の前方の被写体像を撮像素子１に結像するように配置する。また、前記結像光学系Ｌ１０１は、前記結像光学系Ｌ１００と同じ結像レンズＬ１、Ｌ２、Ｌ３、Ｌ４の後方に、反射部材Ｌ５、Ｌ８を設置することにより、光軸を１８０°（９０°×２）反転し、リレー光学系やフィールドレンズを使用したリレーレンズＬ６、Ｌ７を介して、例えば運転者の顔等の画像を撮像素子１に結像している。

前記第１の結像光学系Ｌ１００と前記第２の結像光学系Ｌ１０１とは異なる焦点距離を有しており、それぞれ異なる方向からの被写体像を前記１つの撮像素子１上の所定の領域に結像させる。例えば、結像光学系Ｌ１００が備える結像レンズＬ４と撮像素子１との距離に対して、結像光学系Ｌ１０１が備える結像レンズＬ４と反射部材Ｌ５との距離を、短く配置することで、車両の前方を撮像する前記第１の結像光学系Ｌ１００側の焦点距離を遠くに設置し、運転者を撮像する前記第２の結像光学系Ｌ１０１側の焦点距離を短くかつ広い画角になるよう設置する。
（第２の実施の形態）
図２は、本発明を適用した第２の実施の形態における撮影装置の構成例を示す図であり、図３は、本発明を適用した第２の実施の形態における撮影装置の外観を示す図であり、図４は、自由曲面プリズム２、３のＹ−Ｚ面を示した図であり、図５は、自由曲面プリズム２、３の外形を表す斜視図であり、図６は、撮像素子１に結像された被写体の例を示す図である。

自由曲面プリズム２（以下、第１の光学素子ということもある。）は、前方視野を真正面やや下方から下方に向けて角度θ₁＝４０度の範囲で撮影を可能とした自由曲面のプリズムである（図２参照）。第１の光学素子２は、図４並びに図５の（Ａ）および（Ｂ）にその形状を具体的に示すように、光の透過作用を有する第１面（入射面）２ａ、光の内部反射と透過作用を有する第２面（出射面）２ｂ及び光の反射作用を有する第３面２ｃの３つの光学面を有し、そのうちの第２面２ｂ、第３面２ｃがレンズ機能を兼ね備えている。

自由曲面プリズム３（以下、第２の光学素子ということもある。）は、第１の光学素子２との大きさ並びに第２面および第３面の曲率の違いを除き、外観形状が略同様の自由曲面のプリズムである（図４、図５参照）。この第２の光学素子３は、入射面である第１面を第１の光学素子２とは逆方向を向くように、第１の光学素子２を図４の撮像素子１の撮像面の軸の回りに１８０度回転させて配置されるものであり、後方の視野をほぼ真後ろから下方に向かって角度θ₂＝６０度の範囲で撮影することが可能になっている。

本第２の実施の形態で用いる第１、第２の光学素子２、３は、同一媒質の自由曲面プリズムであって、屈折率が１．３１倍より大きい媒質にて構成されており、何れの光学面もＹ−Ｚ面を唯一の対称面とする自由曲面からなり、光束にパワーを与えかつ偏心により発生する収差を補正する回転非対称な面形状を有するように構成され、かつ、３面の中の第１面、第３面が回転非対称面になっているものを適用することができる。ここに、Ｙ−Ｚ面とは図４に示したような面（ここでは全てのプリズム光学素子の向きを同じにして表示してある）であり、第１、第２のプリズム光学素子２、３を用いることで撮像レンズの如きは不要となり広画角で、高精細な画像の撮影が可能となる。なお、図４中ｌ_１が軸上主光線であり、０が絞りの中心である。

上記のような構成の撮影ユニットにおいては、第１の光学素子２により集束された前方４０度の視野の光像が撮像素子１において結像し、第２の光学素子３を通して集束された後方６０度の視野の光像が撮像素子１において前方視野の光像に並列に結像される。すなわち、単一の撮像素子１において前後２つの視野が並列に結像される（図６参照）。

一般的なカメラなどの通常の撮像素子１では、画面のアスペスト比が４対３であり、画面サイズの長い４の方向が水平方向、短い３の方向が垂直方向に被写体を正対する。ところが、本発明の第２の実施の形態では、図６に示されるように２分割された画像の垂直方向が画面サイズの長い４の方向に配置し、短い３の方向が２分割された画面の水平方向を撮像するよう構成されている。すなわち、図６に示した画像５１ａは、第１の光学素子２による車両前方方向の撮像された画像であり、画像５１ｂは、第２の光学素子３による運転者方向の撮像された画像である。

例えば、図６に示した画像は、７５０画素×４８０画素の撮像素子１を用いた場合の４８０画素×４８０画素分が撮像素子１の左側２／３の位置に結像され、第２の光学素子３で撮像素子１の長手方向に運転者の画像を右に９０°回転した像の残り２７０画素×４８０画素分が撮像素子１の残り右側１／３の位置に結像した例を示している。なお、この第１および第２の光学素子２、３の画素比率は、固定するものではない。

図３に示した近赤外発光ＬＥＤ４は、詳しくは後述するが夜間の輝度不足を補うために輝度演算の閾値に応じて点灯する。
前方（道路側）の撮影においては、近赤外領域の光が入射しないように可視光領域のみを透過する分光フィルター２４を設置した構造にしている。また、後方（運転者側）の撮影においては、前述の夜間の撮影を可能にするため近赤外発行ＬＥＤ４の発光領域までの光の入射を可能にする分光フィルター２５を設置した構造にしている。

なお、図１においては、分光フィルター２４を撮像素子１と第１の光学素子２との間に設置し、分光フィルター２５を撮像素子１と第２の光学素子３との間に設置した構造を示している。

また、光学素子１の前面に取り付けたカバー２６および２７に、その分光フィルター２４および２５の役割を持たせることも可能としている。
なお、本第２の実施の形態では、前方４０度、後方６０度の視野を結像させる撮影ユニットを例として説明したが、撮影可能な視野の範囲は使用する自由曲面プリズム２、３そのものの形状や材料、組合せによって適宜変更することができるものであり、自由曲面プリズム２の視野が４０度、自由曲面プリズム３の視野が６０度の範囲に限定されるものではない。

図７は、本発明を適用した第２の実施の形態のカメラシステムの構成を示す図である。
図７において、カメラシステムは、撮像装置であるカメラユニット５２、カメラコントローラ７１、ドライビングコントローラ７２を備えている。

前記カメラユニット５２は、前述の自由曲面プリズム２、３、撮像素子１の他、ＴＧ／ＳＳＧ部６０、ＣＤＳ／ＡＧＣ／Ａ／Ｄ部６１、デジタル信号処理部６２、シリアル（Ｓｅｒｉａｌ）Ｉ／Ｆ６３、通信Ｉ／Ｆ７４、ＬＥＤドライバー７０、近赤外発光ＬＥＤ４を備えている。

前記カメラコントローラ７１は、ＣＰＵ５３、操作入力部５４、画像処理ＭＰＵ５７、メモリ５８、通信Ｉ／Ｆ７５、通信Ｉ／Ｆ７７、第１の警報装置７３を備えている。
また、前記ドライビングコントローラ７２は、ディスプレー５５、ディスプレーコントローラ５６、第２の警報装置６４、第１の加速度センサー６５、第２の加速度センサー６６、ドライバーモニターシステム６７、外部メモリ６８、ＧＰＳ／ナビ６９、通信Ｉ／Ｆ７８が、バス７９を介して接続されている。

なお、撮影画像のホワイトバランスや露出補正、シャッタースピードなどの設定については、一般的な車載カメラなどと同等であり、詳細は省略する。
カメラユニット５２は、動画と静止画を撮像可能であり、このカメラユニット５２に対してカメラコントローラ７１のＣＰＵ５３及び画像処理ＭＰＵ５７が、通信Ｉ／Ｆ７４、７５を介して接続されている。画像処理ＭＰＵ５７は、画像の反転、回転、鏡像、縮小、拡大、歪補正、画像張り合わせ等の処理を行う。そして、その画像処理ＭＰＵ５７で処理された画像を、通信Ｉ／Ｆ７７、７８、およびディスプレーコントローラ５６を介して、モニタ装置として使用されるディスプレー５５に出力する。

このようなカメラユニット５２により、撮像素子１が出力した信号から図６に示したような撮影画像が生成され、カメラコントローラ７１が撮影画像から表示用の画像を生成する。カメラコントローラ７１で生成された表示画像は、ドライビングコントローラ７２のディスプレー５５に出力される。

カメラユニット５２のＴＧ／ＳＳＧ部６０は、撮影タイミングパルスを発生し撮像素子１を駆動する。カメラユニット５２のＣＤＳ／ＡＧＣ／ＡＤ６１は、撮像素子１が出力した画像信号を相関二重サンプリングし、信号量に応じて利得を調整し、Ａ／Ｄ変換して、デジタル信号処理部６２に出力する。そして、デジタル信号処理部６２では、入力したデジタル画像信号にカラー信号補間、カラー補正、ホワイトバランスなどの処理を行ない撮影画像データとして生成したカラー画像データをカメラコントローラ７１に出力する。

シリアルＩ／Ｆ６３は、ＣＰＵ５３からの露出設定や利得調整などのコマンドに従って、カメラユニット５２の各部分の制御を行う。
カメラコントローラ７１に入力した撮影画像データは、ＣＰＵ５３からの画像表示方法の指示に基づき、後述する画像の処理を行い、ディスプレーコントローラ５６を介してディスプレー５５にて表示される。

ディスプレーコントローラ５６への画像データ転送は、この図７では車内ＬＡＮを使用する例となっている。
ここで、車内ＬＡＮに接続されている各デバイスについて説明する。

ＧＰＳ／ナビ６９は、ＧＰＳ測位情報に基づくカーナビゲーションのシステムで車内ＬＡＮを通じて、ＣＰＵ５３に取り込んだ地図情報を、画像の表示形式に従って画像処理ＭＰＵ５７で加工し、その画像をディスプレー５５に表示する。

ドライバーモニターシステム６７は、運転者の頭の向いている方向を検知し居眠りやよそ見の検知をするものとして近年使用されてきているが、本第２の実施の形態においては、第２の光学素子３を通して撮像素子１に結像された運転者の頭の方向情報を入手し、その頭の向きに応じて、第１の警報装置７３および第２の警報装置６４から運転者への何らかの（ハンドル、シートを震わせる／警告音を発する／ブレーキをかける／スピードを落す等）情報を発信するとともに、画像の表示形式に従って画像処理ＭＰＵ５７で加工した画像をディスプレー５５に表示する。

ここで、カメラユニット５２が備えるＬＥＤドライバー７０及び近赤外発光ＬＥＤ４の動作について説明する。
第２の光学素子３を通して撮像素子１に結像された運転者の撮影画像を信号処理し、得られた平均輝度を演算することにより、運転者周辺の明るさが、画像認識に必要な輝度であるか否かをＣＰＵ６０が判断する。そして、必要に応じてＬＥＤドライバー７０を駆動して近赤外発光ＬＥＤ４を点灯させ、運転者を照明する。

近年、ドライブレコーダーと称する運転者の視点（視野）から自車と周辺状況の記録を行うシステムが業務車両を中心として活用されるようになってきている。事故や急ブレーキ、急ハンドルなどの衝撃を受けると、衝撃前と衝撃後の数秒間の映像を外部メモリ６８に保存する。

本第２の実施の形態では、第１の加速度センサー６５は、衝突や大きな振動が加わったことを検知すると、異常信号を検知したことを、ＣＰＵ６０へ出力する。そして、ＣＰＵ６０にて、その異常信号から衝撃の閾値を判断し、衝撃が加わった瞬間から前後任意の数秒間の、第１の光学素子２を通して撮像素子１に結像された運転者の視点（視野）から自車と周辺状況の記録画像を、メモリ５６に記録保持する。

第２の加速度センサー６６は、窓ガラスの衝突や大きな振動が加わったことを検知可能な位置に配置し、異常信号を検知したことを、ＣＰＵ６０へ出力する。そして、ＣＰＵ６０にて、その異常信号から衝撃の閾値を判断し、衝撃が加わった瞬間から任意の数秒間の、第２の光学素子３を通して撮像素子１に結像された運転者と運転者周辺の撮影画像を、メモリ５６に記録保存する。

また、前述の第１の加速度センサー６５を利用すれば、車両全体の傾きの検出が可能となる。車両の盗難時の傾きを検知して、その異常信号から衝撃の閾値を判断し、衝撃が加わった瞬間から任意の数秒間第１および第２の光学素子２、３を通じて撮像素子１に結像した、運転者の視点（視野）から自車と周辺の状況と運転者と運転者周辺の撮影画像を、外部メモリ６８に記録保持する。

ここで、第１の加速度センサー６５および第２の加速度センサー６６による衝撃の検出から画像の記録までの流れについて説明する。
図８は、第１の加速度センサー６５が実行する処理の流れを示すフローチャートであり、図９は、第２の実施の形態のカメラシステムの機能ブロックを示す図である。

まず、ステップＳ９０１において、カメラ動画撮影が実施されているとき、第２のフレームメモリ７０７から所定のアドレス値（車の前方方向）に従って画像を読み出し、画像フォーマット部９２０が、所定の画像フォーマット（例えばＪＰＥＧやＴＩＦＦなど静止画像の連続撮影画像や，Ｍｏｔｉｏｎ−ＪＰＥＧなどの動画像）で、外部メモリ９３０へ記録する。この記録は、所定期間の画像を外部メモリ９３０へ上書きする処理を繰り返し実行する。

次に、ステップＳ９０２において、第１の加速度センサー６５が、衝撃の検出を行い、ステップＳ９０３において、その衝撃（ａ）が所定の閾値（Ｇ）以上であったか否かを判定する。

そして、ステップＳ９０４において、ステップＳ９０２で検出された衝撃信号がある一定の閾値（Ｇ）以上であった場合（ステップＳ９０３：ＹＥＳ）、新しい記録をすることなく、ステップＳ９０４において、撮像画像を保存する。

すなわち、第１の加速度センサー９００が作動し、閾値検出部９１０で閾値を超えたと判断した場合、衝撃が加わった瞬間から任意の数秒間を保存し、新しい映像を上書きしない。

図１０は、第２の加速度センサー６６が実行する処理の流れを示すフローチャートである。
第２の加速度センサー９７０は、駐車時には通常カメラは動作していないことから、ステップＳ１１０１において、第２の加速度センサー９７０が、衝撃の検出を行い、閾値検出部９１０の閾値を超えた場合、カメラの撮影を開始する。そして、第２のフレームメモリ７０７から所定のアドレス値（運転者側）に従って画像を読み出し、画像フォーマット部９２０が、所定の画像フォーマット（ｊｐｇ，ｔｉｆなど）で行フォーマット変換を実行し、外部メモリ９３０へ記録する。この記録は、外部メモリ９３０の記録容量が可能な限り映像を記録保存する。

すなわち、ステップＳ１１０１で検出された衝撃信号が、次のステップＳ１１０２で、ある一定の閾値（Ｇ）を超えた場合、次のステップＳ１１０３に移動し、電源投入後にカメラの撮影を開始する。

そして、ステップＳ１１０４において、撮影被写体の露出量を算出し、適正な光量が得られるように、ステップＳ１１０５で判断し、光量が足りない場合は、次のステップＳ１１０６で近赤外発光ＬＥＤ４を点灯させ、光量の不足分を補う。

そして、ステップＳ１１０７において、外部メモリ９３０の記録容量が可能な限り映像を記録保存する。
図７の説明に戻る。

ＧＰＳ／ナビ６９は、カーナビゲーションのシステムで、このシステムから位置・地図情報をディスプレーコントローラ５６に送り、画像の表示形式に従って画像処理ＭＰＵ５７で加工した画像とともに、ディスプレー５５に表示する。

次に、取得した画像をディスプレー５５に表示するための画像処理・加工について説明する。
前出の図６は、第１および第２の光学素子２、３を介して撮像素子１に結像された像を表しているが、撮像素子１を７５０画素×４８０画素で想定すると、図６に示したように、４８０画素×４８０画素と２７０画素×４８０画素に２分割される。

一方、この２分割された画面は、このまま縦２７０画素、横４８０画素、および、縦４８０画素、横４８０画素をディスプレー５５に表示すると、縦は問題ないが、横に９６０画素必要となり、現在車載用として主流であるＷＶＧＡ（横７５０画素×縦４８０画素）のサイズのディスプレー５５では２画面が並ばない。

そこで、画像処理ＭＰＵ５７では、ディスプレー５５に、後述する各種表示方法に応じた画像の画素間引き、縮小、拡大、カットなどを行う機能を持たせている。
次に、画像取り込み、画像処理、および画像処理後の画像表示までの流れを説明する。

図１１は、第２の実施の形態におけるカメラ制御処理の流れを示すフローチャートであり、図１２は、第１のフレームメモリの構成を示す図であり、図１３は、第２のフレームメモリの構成を示す図である。

まず、ステップＳ７０１において、図９の撮像部７０１が画像を撮像し、次のステップＳ７０２において、撮像して得られた画像信号が、ＡＤＣ（Ａ／Ｄコンバータ）７０２によってデジタル画像信号に変換される。そして、ステップＳ７０３において、画像生成部７０３によって、デジタル画像信号にカラー信号補間、カラー補正、ホワイトバランス、ガンマ補正等の処理が付された後、次のステップＳ７０４において、第１のフレームメモリ７０４にカラーの撮影画像データとして格納される。

この際、第１のフレームメモリ７０４に格納される画像は、撮像素子１に結像した像と同じカラー画像データが格納される。
なお、カメラユニット５２は、一般のビデオカメラ、デジタルスティルカメラなどと同様に、露出検出部７１７と露出コントローラ７１８とを適宜備え、撮像素子１からの輝度情報により算出された露出値に応じて撮影露出の自動調整を行っている。

次に、ステップＳ７０５において、第１のフレームメモリ７０４に格納された撮影画像データは、読出／書込コントローラ７０５によって、アドレスメモリ７０６に記憶されたアドレス変換テーブルを参照して読み出され、ステップＳ７０６において、第２のフレームメモリ７０７に格納される。図１２及び図１３に示した例では、第１のフレームメモリ７０４のアドレス（１、１）から（７５０、１）まで、すなわち図１２の１Ａに対応するアドレス（１、１）から（４８０、１）、１Ｂに対応するアドレス（４８１、１）から（７５０、１）の順番に読み出された画像データは、それぞれ第２のフレームメモリ７０７のアドレス（１、１）から（１、４８０）に書き込まれ、続いてアドレス（４８１、１）から（４８１、２１１）に書き込まれる。すなわち、図１２の１Ａラインは図１３の１Ａに書き込まれ、図１２の１Ｂラインは図１３の１Ｂラインに書き込まれる。このような処理を第１のフレームメモリ７０４に格納された撮影画像データ全体に実行する。

そして、ステップＳ７０７の「表示設定処理」のサブルーチンが実行される。本第２の実施の形態では、画像をディスプレー５５に、前述したように少なくとも２つ以上の形式で表示することができる。

図１４は、カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートであり、図１５は、表示例を示す図であり、
（Ａ）は、画面の左側３分の２に車両の前方の画像を表示し右側３分の１の下方に運転者の画像を表示しその上方に地図情報を表示している例であり、（Ｂ）は、（Ａ）の地図情報の代わりに警告情報を表示している例であり、（Ｃ）は、運転者の画像を中央に表示している例であり、（Ｄ）は、車両の前方の画像を中央に表示している例であり、（Ｅ）は、車両の前方の画像を横方向に拡大して中央に表示している例であり、（Ｆ）は、地図情報を表示している例である。

まず、ステップＳ７１０において、ユーザーによるモニタ表示形式の設定を確認する。すなわち、表示モードスイッチ７１４（図９参照）で切り替えの指示があるか否かを検出する。

モニタ表示形式の設定に変更があれば（ステップＳ７１０：ＹＥＳ）は、ステップＳ７１１に進み、表示パターンを参照して対応するアドレスパターンを設定する。他方、モニタ表示形式の設定に変更がなければ（ステップＳ７１０：ＮＯ）、変更前の表示バターンのままで、次のステップＳ７１２に進む。

そして、ステップＳ７１２において、表示パターンが単画面表示か否かを判断する。ここで、単画面表示の場合は、表示する画像を縮小することになり、単画面表示でない場合は、縮小せずに画素そのままとする。

表示パターンが単画面表示である場合（ステップＳ７１２：ＹＥＳ）、ステップＳ７１４において、アドレスメモリ７０６を参照して、縮小のための演算を実行する。
そして、ステップＳ７１５において、第２のフレームメモリ７０７から読み出し、ステップＳ７１６において、補間部７０９が、読み出した画像を補間する。例えば、ある画素の周囲の４ピクセルを線形あるいは３次元関数を用いて画素を作り、補間を行う方法も開示されている。

次に、ステップＳ７１７において、補間した画像にディスプレー５５への水平スタートアドレス、水平エンドアドレス、垂直スタートアドレス、垂直エンドアドレスの書き込みアドレスを付加し、ステップＳ７１８において、第３のフレームメモリ７１０に格納する。

そして、ステップＳ７１９において、全画面の書き込みが完了したか否かを判断し、完了していなければ（ステップＳ７１９：ＮＯ）、ステップＳ７１４に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７１９：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により表示の更新処理が行われ、図１５の（Ａ）や（Ｂ）に示したような画面を表示パネル７１２へ表示する。

他方、図１４のステップＳ７１２で、表示パターンが単画面表示でないと判断された場合（ステップＳ７１２：ＮＯ）は、表示する画像を縮小せず、画素そのままを表示する。
すなわち、表示パターンが単画面表示でない場合（ステップＳ７１２：ＮＯ）、例えば、図１５の（Ｃ）や（Ｄ）に示したような画面を表示する場合、ステップＳ７２２において、アドレスメモリ７０６を参照して、表示のための演算を実行し、ステップＳ７２３において、第２のフレームメモリ７０７から所定のアドレスを読み出す。

次に、ステップＳ７２４において、表示する画像にディスプレー５５への水平スタートアドレス、水平エンドアドレス、垂直スタートアドレス、垂直エンドアドレスの書き込みアドレスを付加し、ステップＳ７２５において、第３のフレームメモリ７１０に格納する。

そして、ステップＳ７２６において、第３のフレームメモリ７１０に対する画面の書き込みが完了したか否かを判断し、完了していなければ（ステップＳ７２６：ＮＯ）、ステップＳ７２２に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７２６：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により表示の更新処理が行われ、図１５の（Ｃ）や（Ｄ）に示したような画面を表示パネル７１２へ表示する。

また図７の説明に戻る。
ＣＰＵ５３は、画像情報と車両情報を統括する役割を持っており、例えば、カメラユニット５２で処理された結果をディスプレー５５に表示したり、カメラユニット５２で得られた情報から道路の分離帯を読み取って自動で運転を制御するためなどに用いたり、第１の警告装置７３および第２の警報装置６４に警告を発生させたりすることにより、運転者に安全運転を促すことができるようになっている。

なお、第１の警告装置７３は、音声装置からなり、例えば、音声装置はスピーカ等からの音声にて運転者に警告を発するものである。また、第２の警告装置６４は、振動装置からなり、例えば、振動装置は運転席シートの振動により運転者にハンドルやシートを振動させることにより警告を発するものである。

次に、図９に示した第２の実施の形態のカメラシステムの機能ブロック図を用いて、画像検出から警告発生までの処理の流れを説明する。
図１６は、画像検出から警告発生までの処理の流れを示すフローチャートである。

これから説明する、白線の検知、車間距離の検出、眼球、瞼、頭の位置検出などは、既に多数開示された技術であり、本処理もそれら公知の手段を使用するものである。
動画撮影中の画像は、第２のフレームメモリ７０７から読出しコントローラ７０８の所定のアドレス値に従って、画像を読み出し、ディスプレー５５への水平・垂直スタート・エンドアドレスの書き込みアドレスを付加し、第３のフレームメモリ７１０に格納される。その後、表示コントローラ７１１に送られ表示の更新処理が行われている。

まず、ステップＳ１７０１において、上述のようにして第３のフレームメモリ７１０に格納された画像は、読出しコントローラ８００により選択的に車両の前方方向の画像を切り出し、ステップＳ１７０２において、２値化部８１０で２値化を行い、ステップＳ１７０３において、車間／白線検出部８２０で車間および白線の検出を行う。

そして、ステップＳ１７０４において、車間演算／白線接近・離脱判定部８３０で車間距離の演算、白線の接近・離脱を判定し、警報が必要な場合（ステップＳ１７０４：ＹＥＳ）には、ステップＳ１７０５において、第１の警報装置８４０へは、音による警報を行い、第２の警報装置８８０へは、シートやハンドルへの振動を加えることにより運転者へ危険を知らしめる。同時に、ディスプレー５５へ危険を表示するため表示コントローラ７１１に信号を送る。

また、第３のフレームメモリ７１０に格納された画像は、前記ステップＳ１７０１において、読出しコントローラ８００により選択的に運転者側の画像を切り出し、前記ステップＳ１７０２において、同様に２値化部８５０で２値化を行い、前記ステップＳ１７０３において、眼球／瞼位置／顔向き検出部８６０で眼球・瞼・顔の検出を行う。

そして、前記ステップＳ１７０４において、居眠り／よそ見判定部８６０で居眠り・よそ見を判定し、警報が必要な場合（ステップＳ１７０４：ＹＥＳ）には、前記ステップＳ１７０５において、第１の警報装置８４０へは、音による警報を行い、第２の警報装置８８０へは、シートやハンドルへの振動を加えることにより運転者へ危険を知らしめる。同時に、ディスプレー５５へ危険を表示するため表示コントローラ７１１に信号を送る。

図１７は、本発明による撮像装置を車両に搭載した例を示す図である。
図１７に示すように、比較的焦点距離の長い前方及び比較的焦点距離の短い後方を同時に撮影可能とするカメラＵを、車両のフロントガラス付近の天井部分に取り付けて、前方及び後方（運転者）のモニタとして使用することができる。

なお、本第２の実施の形態においては、異なる形状の自由曲面プリズム２および３を使用した、前方視野の上下方向の視野角４０度および後方視野の上下方向の視野角６０度を撮影するカメラの例を示したが、例えば同じ形状の自由曲面プリズムを使用して、撮像素子１の分光フィルター２４または２５の直前に絞りを配置して、視野角を制限するようにしてもよい。その場合、撮像素子１で撮影された前方視野および後方視野は、図６のように、撮像素子１全体には結像されず、前方視野と後方視野が撮像素子１の一部分に結像された画像となるので、アドレスメモリ７０６には、それら前方視野および後方視野に対応する範囲を読み出す読み出しアドレスをアドレス変換テーブルに予め記憶しておく。そして、読出／書込コントローラ７０５が、そのアドレス変換テーブルを参照して第２のフレームメモリ７０７に前方視野および後方視野の画像を書き込む。

また、分光フィルター２４または２５の直前に絞りを配置せずに、アドレスメモリ７０６に記憶するアドレス変換テーブルに記憶する読み出しアドレスを画像の所望の視野部分を読み出すように設定することにより、前方視野の視野角および後方視野の視野角を指定するようにしてもよい。

以上、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用される撮影装置は、その機能が実行されるのであれば、上述の各実施の形態等に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。

また、本発明による撮影装置は、例えば、車外を観察し、前方や後方の走行車両、障害物、白線検知等に用いたり、車内の運転者、搭乗者の顔の位置、向きを検出し、脇見運転や居眠りの検知、エアバック点火時に、大人か子供か、顔の位置方向を判断し、安全にエアバッグを作動させるセンサーとして利用したりすることも可能である。

また、本発明による撮影装置は、車載のカメラシステムの他に、ロボット、鉄道、飛行機、船舶、監視カメラ、遠隔会議システム用カメラ等にも応用ができるものである。
また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記憶媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトウェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記憶媒体を撮影装置に供給し、その撮影装置のコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、可搬記憶媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記憶媒体等は本発明を構成することになる。

プログラムコードを供給するための可搬記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記憶媒体などを用いることができる。

また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現される。

さらに、可搬型記憶媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現され得る。

すなわち、本発明は、以上に述べた各実施の形態等に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成又は形状を取ることができる。

１撮像素子
２第１の光学素子（自由曲面プリズム）
２ａ（第１の光学素子２の）第１面
２ｂ（第１の光学素子２の）第２面
２ｃ（第１の光学素子２の）第３面
３第２の光学素子（自由曲面プリズム）
３ａ（第２の光学素子３の）第１面
３ｂ（第２の光学素子３の）第２面
３ｃ（第２の光学素子３の）第３面
４近赤外発光ＬＥＤ
２４、２５分光フィルター
２６、２７カバー
５１ａ、５１ｂ画像
５２カメラユニット
５３ＣＰＵ
５４操作入力部
５５ディスプレー
５６ディスプレーコントローラ
５７画像処理ＭＰＵ
５８メモリ
６０ＴＧ／ＳＳＧ部
６１ＣＤＳ／ＡＧＣ／Ａ／Ｄ部
６２デジタル信号処理部
６３シリアルＩ／Ｆ
６４第２の警報装置
６５第１の加速度センサー
６６第２の加速度センサー
６７ドライバーモニターシステム
６８外部メモリ
６９ＧＰＳ／ナビ
７０ＬＥＤドライバー
７１カメラコントローラ
７２ドライビングコントローラ
７３第１の警報装置
７４通信Ｉ／Ｆ
７５通信Ｉ／Ｆ
７７通信Ｉ／Ｆ
７８通信Ｉ／Ｆ
７９バス
７０１撮像部
７０２ＡＤＣ（Ａ／Ｄコンバータ）
７０３画像生成部
７０４第１のフレームメモリ
７０５読出／書込コントローラ
７０６アドレスメモリ
７０７第２のフレームメモリ
７０８読み出しコントローラ
７０９補間部
７１０第３のフレームメモリ
７１１表示コントローラ
７１２表示パネル
７１４表示モードスイッチ
７１７露出検出部
７１８露出コントローラ
８００読出しコントローラ
８１０２値化部
８２０車間／白線検出部
８３０車間演算／白線接近・離脱判定部
８４０第１の警報装置
８５０２値化部
８６０眼球／瞼位置／顔向き検出部
８７０居眠り／よそ見判定部
８８０第２の警報装置
９００第１の加速度センサー
９１０閾値検出部
９２０画像フォーマット部
９３０外部メモリ
９７０第２の加速度センサー
Ｌ１、Ｌ２、Ｌ３、Ｌ４結像レンズ
Ｌ５、Ｌ８反射部材
Ｌ６、Ｌ７リレーレンズ
Ｌ１００第１の結像光学系
Ｌ１０１第２の結像光学系
Ｕカメラ

Claims

所定の周期で被写体を電気信号に変換する１つの撮像素子と、
第１の結像光学系及び前記第１の結像光学系とは異なる焦点距離の第２の結像光学系でそれぞれ異なる方向からの被写体像を前記１つの撮像素子上の所定の領域に結像させる結像手段と、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、
前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する撮影画像分割手段と、
前記撮影画像分割手段によって分割された前記部分画像を所定の配置で合成して第２の動画像に生成する画像合成手段と、
前記画像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段と、
を有することを特徴とする撮影装置。
前記第１の結像光学系及び前記第２の結像光学系は、自由曲面プリズムにより構成されている、
ことを特徴とする請求項１に記載の撮影装置。
前記撮影装置は車両内に配置されるものであって、
前記第１の結像光学系は、前記撮影装置を前記車両内の所定位置に配置した場合に前記車両の進行方向の所定距離だけ離れた位置に合焦するように構成され、
前記第２の結像光学系は、前記車両の運転者に合焦するように構成されている、
ことを特徴とする請求項１叉は２に記載の撮影装置。
前記第１の結像光学系は可視光領域の光を透過する分光特性である第１の分光フィルターを有し、
前記第２の結像光学系は赤外領域の光を透過する分光特性である第２の分光フィルターを有する、
ことを特徴とする請求項３に記載の撮影装置。
前記第１の分光フィルター及び前記第２の分光フィルターは、前記撮像素子の直前に配置されていることを特徴とする請求項４に記載の撮影装置。
所定の周期で被写体を電気信号に変換する１つの撮像素子と、第１の結像光学系及び前記第１の結像光学系とは異なる焦点距離の第２の結像光学系でそれぞれ異なる方向からの被写体像を前記１つの撮像素子上の所定の領域に結像させる結像手段とを備える撮影装置を制御する撮影方法であって、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、
前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、
前記分割された前記部分画像を所定の配置で合成して第２の動画像に生成し、
前記合成された前記第２の動画像を表示装置に表示させる、
ことを特徴とする撮影方法。