JP2018518000A - 車両監視システム - Google Patents

Abstract

車両監視は、車両に隣接した領域の３次元（３Ｄ）情報を使用して、閾値距離よりも車両に近い物体を視覚的に強調する。車両監視システムは、車両に隣接した領域を走査し、走査領域内に位置する物体の空間構成を含む３Ｄモデルを提供するための３Ｄ走査器を含む。車両監視システムは、３Ｄモデルを用いて走査領域の一部分を表示するための、および、車両からの閾値距離よりも近くに位置する表示部分内の物体を視覚的に強調するための電子ディスプレイをさらに含む。

Description

関連出願の相互参照
該当なし

連邦政府資金による研究開発の記載
該当なし

車両監視システムは、状況認識および衝突回避を提供するための手段としてますます一般的になっている。そのような車両監視システムは、ユーザ（例えば車両の運転手）に情報を伝達するための電子ディスプレイを含むことが多い。特に電子ディスプレイは、車両に隣接した領域の視像を提供して、隣接領域にある物体をユーザに気付かせ、ユーザがそれを回避するのを容易にすることができる。

陰極線管（ＣＲＴ）、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、電子発光（ＥＬ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）およびアクティブマトリクスＯＬＥＤ（ＡＭＯＬＥＤ）ディスプレイ、電気泳動（ＥＰ）ディスプレイ、ならびに電気機械または電気流体光変調（例えば、デジタルマイクロミラーデバイス、エレクトロウェッティングディスプレイなど）を使用した様々なディスプレイに基づくディスプレイを含むが、これらに限定されない多種多様な電子ディスプレイが、車両監視システムで用いられ得る。一般に、電子ディスプレイは、アクティブディスプレイ（すなわち、光を放射するディスプレイ）またはパッシブディスプレイ（すなわち、別の発生源により生成された光を変調するディスプレイ）に分類することができる。アクティブディスプレイの最も明らかな例には、ＣＲＴ、ＰＤＰ、およびＯＬＥＤ／ＡＭＯＬＥＤがある。放射される光を考慮したときにパッシブとして通常分類されるディスプレイは、ＬＣＤおよびＥＰディスプレイである。パッシブディスプレイは、多くの場合、本質的に消費電力が低いことを含めて、これだけに限らず魅力的な性能特性を呈するが、光を放射する能力がないことを考えると、多くの実用的な用途においていくらか使用が制限される場合がある。

放射される光に関連するパッシブディスプレイの限界を克服するために、多くのパッシブディスプレイは外部光源に連結される。連結された光源は、通常ならばパッシブ型のこれらのディスプレイが光を放射し、実質的にアクティブディスプレイとして機能することを可能にし得る。このような連結された光源の例は、バックライトである。バックライトは、通常ならばパッシブ型のディスプレイの裏側に、このパッシブディスプレイを照射するように配置された光源（多くの場合、パネル光源）である。例えば、バックライトはＬＣＤまたはＥＰディスプレイに連結されてもよい。バックライトは光を放射し、この光がＬＣＤまたはＥＰディスプレイを通過する。放射された光は、ＬＣＤまたはＥＰディスプレイにより変調され、変調された光はその後、ＬＣＤまたはＥＰディスプレイから放射される。多くの場合、バックライトは白色光を放射するように構成される。その場合、白色光を、ディスプレイに用いられる様々な色に変換するために、カラーフィルタが用いられる。カラーフィルタは、例えばＬＣＤまたはＥＰディスプレイの出力部に配置されてもよく（あまり一般的ではない）、またはバックライトと、ＬＣＤもしくはＥＰディスプレイとの間に配置されてもよい。

本明細書で説明する原理による例および実施形態の様々な特徴は、同様の参照番号が同様の構造要素を表す添付の図面と併せて以下の発明を実施するための形態を参照することにより、より容易に理解することができる。

本明細書で説明する原理と一致した一実施形態による、一例における車両監視システムのブロック図である。 本明細書で説明する原理と一致した一実施形態による、一例における図１の車両監視システムを用いて監視される領域の斜視図である。 本明細書で説明する原理と一致した一実施形態による、一例における図２Ａの監視領域の側面図である。 本明細書で説明する原理と一致した一実施形態による、一例における走査された領域の表示部分を示す図である。 （Ｂ）本明細書で説明する原理と一致した一実施形態による、一例における図３Ａの表示部分１０８内の視覚的に強調された物体を示す図である。（Ｃ）本明細書で説明する原理と一致した別の実施形態による、一例における図３Ａの表示部分１０８内の視覚的に強調された物体を示す図である。 本明細書で説明する原理と一致した別の実施形態による、一例における視覚的に強調された物体を描く３Ｄ電子ディスプレイの斜視図である。 本明細書で説明する原理と一致した一実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する３次元（３Ｄ）電子ディスプレイの断面図である。 （Ｂ）本明細書で説明する原理と一致した別の実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する３次元（３Ｄ）電子ディスプレイの断面図である。（Ｃ）本明細書で説明する原理と一致した一実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する３Ｄ電子ディスプレイの一部分の斜視図である。 本明細書で説明する原理の一実施形態による、一例における３次元（３Ｄ）車両監視システムのブロック図である。 本明細書で説明する原理と一致した一実施形態による、一例における車両監視方法のフローチャートである。

いくつかの例および実施形態は、上記で参照した図に示される特徴の追加および代替のうちの１つである他の特徴を有している。これらおよび他の特徴は、上記で参照した図を参照して以下で詳述される。

本明細書で説明する原理と一致した一実施形態は、３次元（３Ｄ）情報を使用する車両監視システムを提供する。特に本明細書で説明する原理のいくつかの実施形態によれば、３Ｄ走査または画像を備える３Ｄ情報が、車両に隣接した監視領域に対して収集される。例えば監視領域は、車両の前方、側方、および後方のうちの１つまたは複数とすることができる。次いで監視領域からの３Ｄ情報は、監視領域内の物体の空間構成を含む３Ｄモデルを構築するために使用される。さらに、３Ｄモデルに基づく監視領域の一部分が表示され、車両からの所定の閾値距離よりも近くにある表示部分内の物体は、視覚的に強調される物体である。様々な実施形態によれば、視覚的に強調された物体の、ユーザによる知覚が向上し得る。さらに、例えば視覚的に強調された物体の向上した知覚によって、車両に近すぎる視覚的に強調された物体に対する衝突回避を容易にすることができる。

様々な実施形態によれば、３Ｄ走査器または３Ｄカメラは、車両に隣接した領域を監視するための車両監視システムとして電子ディスプレイと組み合わせられる。３Ｄ走査器は、監視領域の物体に関する３Ｄ情報を収集して３Ｄモデルの構築を容易にする。電子ディスプレイは、３Ｄモデルに基づき監視領域の画像を提供する。さらに、車両に近すぎるとみなされる物体（すなわち、車両からの所定の閾値距離よりも近くにある物体）の視覚的強調が、電子ディスプレイによって提供される。

本明細書で説明するいくつかの実施形態によれば、物体の視覚的強調は、３Ｄ電子ディスプレイ（単色およびカラーのうちの一方または両方）によって提供される。さらに様々な実施形態では、３Ｄ電子ディスプレイは、いわゆる「裸眼」の３Ｄまたはオートステレオスコピックな３Ｄの態様で、画像および関連情報を提示するように構成されてもよい。特にいくつかの実施形態では、３Ｄ電子ディスプレイは、回折格子ベースのまたは「格子ベースの」バックライトを使用して、３Ｄ画像または情報の異なる視像を生成してもよい。格子ベースのバックライトを使用する３Ｄ電子ディスプレイでは、複数の回折格子を用いて光がライトガイドからカップリングして外へ出される。カップリングして外へ出される光は、事前定義された方向（例えば視認方向）に向けられた複数の光ビームを形成する。さらに複数の光ビームのうちの光ビームは、互いに異なる主極大角度方向を有して、電子ディスプレイの視認方向に光照射野を形成または提供してもよく、いくつかの実施形態では、複数の原色を表してもよい。異なる主極大角度方向を有する光ビーム（「異なる方向に向けられた光ビーム」とも呼ばれる）、およびいくつかの実施形態では異なる色を表す光ビームは、３次元（３Ｄ）情報を含む情報をオートステレオスコピックに表示するために使用され得る。例えば、異なる方向に向けられた異なる色の光ビームは変調され、「裸眼」３Ｄ電子ディスプレイの異なる視像の色画素として機能してもよく、またはその異なる視像を表してもよい。

本明細書では「ライトガイド」は、内部全反射を用いて構造体内で光を導波する構造体として定義される。特に、ライトガイドは、ライトガイドの動作波長において実質的に透明なコアを含んでもよい。様々な実施形態では、「ライトガイド」という用語は全般的に、ライトガイドの誘電体材料と、そのライトガイドを取り囲む材料または媒体との間の境界面において光を導波するために内部全反射を使用する誘電体光導波路を指す。定義上、内部全反射のための条件は、ライトガイドの屈折率が、ライトガイド材料の表面に隣接する周囲の媒体の屈折率より大きいことである。いくつかの実施形態では、ライトガイドは、内部全反射をさらに容易にするために、上述の屈折率差に加えてまたはその代わりにコーティングを含んでもよい。コーティングは、例えば反射コーティングであってもよい。ライトガイドは、平板またはスラブガイド、およびストリップガイドの一方または両方を含むがこれらに限定されないいくつかのライトガイドのうちの任意のものとすることができる。

さらに本明細書では、「平板」という用語は、「平板ライトガイド」のようにライトガイドに適用された場合は、区分的または個別的に平面状の層またはシートとして定義され、それはときに「スラブ」ガイドと呼ばれる。特に、平板ライトガイドは、ライトガイドの上面と下面（すなわち、対向する表面）により境界を画された２つの実質的に直交する方向に光を導波するように構成されたライトガイドとして定義される。さらに、本明細書における定義上、上面および下面はともに互いに隔てられ、少なくとも個別的な意味で互いに実質的に平行であり得る。すなわち、平板ライトガイドのいずれの個別的に小さな区分内でも、上面および下面は実質的に平行であるかまたは同一平面にある。

いくつかの実施形態では、平板ライトガイドは、実質的に平坦（すなわち、平面に制限される）であってよく、したがって平板ライトガイドは平面状ライトガイドとなる。他の実施形態では、平板ライトガイドは、１つまたは２つの直交する寸法において曲線状であってもよい。例えば、平板ライトガイドは、円筒形状の平板ライトガイドを形成するように、単一の寸法において曲線状であってもよい。しかしながら、いずれの曲率も、光を導波するために平板ライトガイド内での内部全反射が維持されることを確実にするように、十分大きな曲率半径を有する。

本明細書で説明する様々な実施形態によれば、回折格子（例えばマルチビーム回折格子）は、光を散乱させてまたはカップリングして、光ビームとしてライトガイド（例えば平板ライトガイド）から外へ出すために使用されてもよい。本明細書において、「回折格子」は、回折格子に入射する光の回折を実現するように配置された複数の特徴部（すなわち、回折特徴部）として全般的に定義される。いくつかの実施形態では、複数の特徴部は、周期的にまたは準周期的に配置されてもよい。例えば、回折格子は、１次元（１Ｄ）アレイに配置された複数の特徴部（例えば、材料表面における複数の溝）を含んでもよい。他の例では、回折格子は、特徴部の２次元（２Ｄ）アレイであってもよい。例えば、回折格子は、材料表面の突起または穴の２Ｄアレイであってもよい。

このように、また本明細書における定義上、「回折格子」は、回折格子に入射する光の回折を実現する構造体である。光がライトガイドから回折格子に入射すると、そこで実現される回折または回折散乱は、回折カップリングを生じ得、したがってそれは「回折カップリング」と呼ばれるが、回折格子が回折によりライトガイドから光をカップリングして外へ出すことができる。回折格子はまた、回折により光の角度（すなわち、回折角度）を方向変更する、または変化させる。特に、回折の結果として、回折格子を出る光（すなわち、回折された光）は、概して回折格子への光入射（すなわち、入射光）の伝播方向とは異なる伝播方向を有する。本明細書では、回折による光の伝播方向の変化は、「回折的方向変更（diffractive redirection）」と呼ばれる。したがって、回折格子は、回折格子に入射する光を回折により方向変更する回折特徴部を含む構造体であると理解することができ、光がライトガイドから入射する場合には、回折格子はライトガイドから光を回折によりカップリングして外へ出すこともできる。

さらに、本明細書における定義上、回折格子の特徴部は、「回折特徴部」と呼ばれ、表面（すなわち、ここで「表面」とは、２つの材料間の境界を指す）で、表面内、および表面上（at, in and on）のうちの１つまたは複数にあるものとすることができる。この表面は、平板ライトガイドの表面とすることができる。回折特徴部は、溝、隆線、穴、および突起のうちの１つまたは複数を含むがこれらに限定されない、光を回折する様々な構造体のうちの任意のものを含んでもよく、これらの構造体は、表面、表面内、表面上のうちの１つまたは複数にあってもよい。例えば、回折格子は、材料表面内の複数の平行な溝を含んでもよい。別の例では、回折格子は、材料表面から立ち上がった複数の平行な隆線を含むことができる。回折特徴部（溝、隆線、穴、突起などであっても）は、正弦波輪郭、長方形輪郭（例えば、バイナリ回折格子）、三角形輪郭、および鋸歯状輪郭（例えば、ブレーズ化格子）のうちの１つまたは複数を含むがこれらに限定されない、回折を実現する様々な断面形状または輪郭のうちの任意のものを有することができる。

本明細書における定義上、「マルチビーム回折格子」は、複数の光ビームを含む、カップリングして外へ出される光を生成する回折格子である。さらに、マルチビーム回折格子により生成される複数の光ビームは、本明細書における定義上、互いに異なる主極大角度方向（principal angular direction）を有する。特に、定義上、マルチビーム回折格子による入射光の回折カップリングおよび回折的方向変更の結果として、複数の光ビームのうちの１つの光ビームは、複数の光ビームのうちの別の光ビームとは異なる所定の主極大角度方向を有する。複数の光ビームは光照射野を形成してもよい。例えば、複数の光ビームは、８つの異なる主極大角度方向を有する８つの光ビームを含んでもよい。例えば、組み合わされた８つの光ビーム（すなわち、複数の光ビーム）が、光照射野（light field）を表してもよい。様々な実施形態によれば、様々な光ビームの異なる主極大角度方向は、それぞれの光ビームの原点でマルチビーム回折格子の回折特徴部の格子ピッチまたは間隔と、向きまたは回転とを組み合わせることによって、マルチビーム回折格子に入射する光の伝播方向に対して決定される。

本明細書で説明する様々な実施形態によれば、回折格子（例えばマルチビーム回折格子）によってカップリングしてライトガイドから外へ出される光は、電子ディスプレイの画素を表す。特に、異なる主極大角度方向を有する複数の光ビームを生成するためのマルチビーム回折格子を有するライトガイドは、「裸眼」３次元（３Ｄ）電子ディスプレイ（マルチビューもしくは「ホログラフィック」電子ディスプレイ、またはオートステレオスコピック・ディスプレイとも呼ばれる）などであるがこれらに限定されない電子ディスプレイのバックライト、またはそれらの電子ディスプレイと併せて用いられるバックライトの一部とすることができる。したがって、マルチビーム回折格子を用いて導波光をライトガイドからカップリングして外へ出すことにより生成される異なる方向に向けられた光ビームは、３Ｄ電子ディスプレイの「画素」とすることができる、または「画素」を表すことができる。

本明細書において、「コリメーション」ミラーは、コリメーションミラーによって反射される光をコリメートするように構成された曲線形状を有するミラーとして定義される。例えば、コリメーションミラーは、放物曲線または放物形状を特徴とする反射面を有してもよい。別の例では、コリメーションミラーは、形成された放物面ミラーを備えてもよい。「形成された放物面」とは、形成された放物面ミラーの曲線状の反射面が、所定の反射特性（例えばコリメーションの程度）を達成するように決定された態様で、「真の」放物曲線から逸脱していることを意味する。いくつかの実施形態では、コリメーションミラーは連続したミラー（すなわち実質的に滑らかな連続した反射面を有する）であってもよく、他の実施形態では、ミラーは、光のコリメーションを実現するフレネル反射体またはフレネルミラーを備えてもよい。様々な実施形態によれば、コリメーションミラーによって実現されるコリメーションの量は、実施形態に応じて所定の程度または量で変化してもよい。さらに、コリメーションミラーは、２つの直交する方向（例えば垂直方向および水平方向）のうちの一方または両方へのコリメーションを実現するように構成されてもよい。すなわち様々な例によれば、コリメーションミラーは、２つの直交する方向のうちの一方または両方において放物面または形成された放物形状を含んでもよい。

本明細書において、「ゼロ視差平面（zero disparity plane）」という用語は、３Ｄ電子ディスプレイに関して使用されるときには、表示またはレンダリングされる３Ｄシーンまたは領域のうちの、３Ｄ電子ディスプレイのすべての視像において同一に見える（すなわち視覚的な差を有さない）平面または平坦な区分として定義される。さらに、本明細書における定義上、ゼロ視差平面は、３Ｄ電子ディスプレイの物理的表面にあるように、それに対応しているように、またはそれと一致しているように見える。すなわち、３Ｄ領域内のゼロ視差平面に位置する表示シーンまたは領域にある物体は、３Ｄ電子ディスプレイによってレンダリングされ、その上で目視されるとき、３Ｄ電子ディスプレイの物理的表面に並置されているように見える。ゼロ視差平面よりも遠くにある物体は、物理的表面の後ろにあるように見え、ゼロ視差表面よりも近くにある物体は、物理的表面の前にあるように見える。

本明細書において「投影変換（projective transformation）」または同じことであるが「投影変換（projective transform）」は、線を線に（または光線を光線に）マッピングする、３Ｄ空間の（場合により非線形の）変換として定義される。投影変換は、４次元（４Ｄ）空間（すなわち「投影空間」）においての４×４のマトリクスを用いた線形変換という観点から概して表され得ることに留意されたい。いくつかの実施形態では、投影変換は、発散レンズ（例えば魚眼レンズ）を介してシーンを見るのと実質的に同じように奥行きコンテンツを圧縮するように構成された光学変換を含んでもよい。特に投影変換は、無限遠平面（infinite far plane）を、ゼロ視差平面から所望の距離１／ｈにマッピングする。無限遠平面を１／ｈ距離マッピングに提供する投影変換は、式（１）によって

として与えられ得、ここで（ｘ’，ｙ’，ｚ’，ｗ’）は、座標（ｘ，ｙ，ｚ，ｗ）の投影変換に対応する画像座標である。さらに、本明細書における定義上、式（１）の投影変換は、ゼロ視差平面それ自体の近くの奥行きまたはパララックス（parallax）を概して圧縮しない。他の実施形態では、本明細書における投影変換として、別の光学変換（例えば４×４マトリクスによって表される）が使用されてもよい。本明細書で説明する原理のいくつかの実施形態によれば、例えば投影変換は、以下で説明するように、物体またはその一部分を強調する実質的に任意の投影変換とすることができる。さらに様々な実施形態によれば、本明細書において投影変換は、線形変換または非線形変換のいずれかを備えてもよい。

さらに、本明細書で用いられるとき、冠詞「ａ（１つ）」は、特許技術における通常の意味、すなわち、「１つまたは複数（one or more）」を有することを意図するものである。本明細書では例えば、「（１つの）格子（a grating）」は１つまたは複数の格子を意味し、したがって「その（１つの）格子（the grating）」は「その１つまたは複数の格子（the grating(s)）」を意味する。また、本明細書における「上部（top）」、「下部（bottom）」、「上側（upper）」、「下側（lower）」、「上向き（up）」、「下向き（down）」、「前面（front）」、「背面（back）」、「第１の」、「第２の」、「左」、または「右」に対するいずれの参照も、本明細書では限定を意図するものではない。本明細書では、「約」という用語は、値に適用されたときは全般的にその値を生成するために用いられる機器の許容差範囲内を意味し、または他に明示的に指定されない限り、±１０％、または±５％、または±１％を意味する場合がある。さらに、本明細書で用いられるとき「実質的に」という用語は、大多数、またはほとんどすべて、またはすべて、または約５１％〜約１００％の範囲内の量を意味する。さらに本明細書における例は、例示的にすぎず、考察の目的で示され、限定のためのものではないことが意図される。

本明細書で説明する原理のいくつかの実施形態によれば、車両監視システムが提供される。図１は、本明細書で説明する原理と一致した一実施形態による、一例における車両監視システム１００のブロック図を示す。図２Ａは、本明細書で説明する原理と一致した一実施形態による、一例における図１の車両監視システム１００を用いて監視される領域１０２の斜視図を示す。図２Ｂは、本明細書で説明する原理と一致した一実施形態による、一例における図２Ａの監視領域１０２の側面図を示す。本明細書における定義上、車両監視システム１００によって監視される「領域」は、車両の近辺の、それに隣接した、またはその周りのエリアである（以降、「領域」は、集合的に「隣接領域」として呼ばれることもある）。様々な実施形態によれば、監視される領域１０２は、車両の前方、車両の後方、および車両の側方のうちの１つまたは複数を含んでもよい。

例えば車両監視システム１００は、車両の後方の領域１０２を監視するために用いられてもよく、したがって後進またはリアビュー監視システムとして機能する。特に、車両監視システム１００は、車両が後ろ向きに動いているときに衝突の回避を補助するためのリアビューまたは後進補助車両監視システムとして構成されてもよい。別の例では、監視される領域１０２は、車両の前方であってもよい。したがって、例えば車両監視システム１００は、車両が前方に動いているときのための前端部衝突回避システムとして機能してもよい。

図１に示されるように、車両監視システム１００は、３次元（３Ｄ）走査器１１０を備える。３Ｄ走査器１１０は、車両に隣接した領域１０２を走査するように構成される。この場合３Ｄ走査器による走査は、その領域１０２の３Ｄモデルを生成するまたは提供するために使用される。特に３Ｄモデルは、走査された領域１０２内に位置する物体１０４の空間構成を含む。車両に隣接した走査された領域１０２は、本明細書において「走査」領域１０２、または同じことであるが「画像化」領域１０２とも呼ばれ得る。

全般的に、３Ｄ走査器１１０は、走査領域１０２内の様々な物体１０４までの距離を判定することができる様々な異なる３Ｄ走査システムまたは画像システムのうちの任意のものを含んでもよい。いくつかの実施形態によれば、３Ｄ走査器１１０は、互いにずれた複数のカメラを備える。走査領域１０２内の３Ｄ走査器１１０から物体１０４までの距離は、例えば複数のカメラのうちの異なるカメラによって捕捉された別々の画像を用いて視差推定によって判定されてもよい。例えば複数のカメラは、カメラの両眼対を備えてもよく、物体１０４までの距離は、走査された領域１０２内の両眼視差推定を用いて判定されてもよい。いくつかの実施形態によれば、車両監視システム１００の画像プロセッサ（図１、図２Ａ、図２Ｂには示さず）は視差推定を実行してもよく、さらに視差推定により判定された物体１０４までの距離から３Ｄモデルを生成または他の態様で提供してもよい。例えば画像プロセッサは、３Ｄ走査器１１０の一部であってもよい。

別の実施形態では、３Ｄ走査器１１０は、走査された領域１０２にある物体によって反射された光のパルスの伝播時間から距離が判定される飛行時間カメラ（time-of-flight camera）などの、走査器のない光検出および測距（LIDAR：light detection and ranging）システムを備える。特に、飛行時間カメラは、レーザまたは別の同様の光源を用いて光のパルスを生成する。次いで光パルスは、走査領域１０２を照射するために用いられる。走査領域１０２内の任意の物体１０４は、照射光パルスを飛行時間カメラに反射し返す。物体１０４までの距離は、照射光パルスが物体まで伝播し、物体から反射して離れ、次いで飛行時間カメラの光学センサ（例えば焦点面アレイ）まで戻るのにかかる時間の長さ、すなわち飛行時間、から判定される。例えば飛行時間距離は、飛行時間カメラを用いて画素毎に決定されて、走査領域１０２の３Ｄモデルが提供されてもよい。

別の実施形態では、３Ｄ走査器１１０は、走査された領域１０２内の複数の点までの距離を測定するように構成された距離センサを備える。例えば複数の点は、物体１０４を含んでもよい。距離センサを含むいくつかの実施形態では、３Ｄ走査器１１０は、走査領域１０２の対応する２次元（２Ｄ）画像を捕捉するように構成されたカメラをさらに備えてもよい。距離センサによって提供された測定距離は、走査領域１０２の点群（point cloud）および物体メッシュ（object mesh）の一方または両方を生成するために使用されてもよい。次いで、点群および物体メッシュは、（例えば車両監視システム１００の画像プロセッサにおいて）３Ｄモデルとして直接用いられるか、３Ｄモデルを生成するために使用されるかのいずれかであってもよい。カメラによって捕捉された２Ｄ画像は、３Ｄモデルをペイントするために使用されてもよい。「ペイントする」とは、（例えば３Ｄモデルがディスプレイ上にレンダリングされるときに）２Ｄモデルを３Ｄモデルに重ねる、または３Ｄモデルと組み合わせることを意味する。例えば、音響距離センサおよび光学（例えば走査レーザベースの）距離センサを含むがこれらに限定されない様々な距離センサが、３Ｄ走査器１１０のこの実施形態において使用されてもよい。

特に３Ｄ走査器１１０の距離センサは、領域１０２を走査するように構成されたレーザを備えてもよい。さらに距離センサは、走査された領域１０２内の１つまたは複数の物体１０４から反射されたレーザ光を用いて、複数の点までの距離を測定するように構成された光学センサを備えてもよい。例えば３Ｄ走査器１１０は、２Ｄカメラ、第２の赤外線カメラ、および赤外線レーザプロジェクタを組み合わせたＩｎｔｅｌ ＲｅａｌＳｅｎｓｅ（登録商標）３Ｄカメラを備えてもよい。２Ｄカメラは、走査領域１０２の２Ｄ画像を捕捉するように構成され、赤外線レーザプロジェクタおよび第２の赤外線カメラは、走査領域１０２内の距離情報を収集するための距離センサとして協働する。Ｉｎｔｅｌ ＲｅａｌＳｅｎｓｅ（登録商標）およびＩｎｔｅｌ（登録商標）は、米国カリフォルニア州サンタクララのインテル社の登録商標である。

図１に示される車両監視システム１００は、電子ディスプレイ１２０をさらに備える。電子ディスプレイ１２０は、３Ｄモデルを用いて領域１０２の一部分を表示するように構成される。さらに電子ディスプレイ１２０は、車両からの（または同じことであるが、車両監視システム１００からの）閾値距離よりも近くに位置する表示部分内の物体１０４’を視覚的に強調するように構成される。様々な実施形態によれば、視覚的強調は、閾値距離よりも車両に近い物体１０４’の、ユーザによる知覚を向上させるように構成される。例えば視覚的に強調された物体１０４’を知覚することが向上すると、物体１０４’と車両との衝突を回避することが容易になり得る。図２Ａおよび図２Ｂでは、ｄ_Ｔと符号付けされた閾値距離は、車両監視システム１００から、監視領域１０２内で物体１０４’と交わる（例えば二分する）破線の境界として示される平面１０６までの距離として示される。

図３Ａは、本明細書で説明する原理と一致した一実施形態による、一例における領域１０２の表示部分１０８を示す。特に図３Ａは、電子ディスプレイ１２０の表示画面に物体１０４が見え得るときの、走査された領域１０２内の様々な物体１０４を示す。例えば、電子ディスプレイ１２０は２次元（２Ｄ）電子ディスプレイ１２０（例えばＬＤＣディスプレイ）であってもよく、走査領域１０２の表示部分１０８は、２Ｄ電子ディスプレイ上で２Ｄ画像として表示またはレンダリングされてもよい。さらに図３Ａで示されるように、いずれの物体１０４も視覚的に強調されていない。

いくつかの実施形態によれば、閾値距離よりも近い物体１０４’は、物体１０４’に適用されるマスクを用いて、電子ディスプレイ１２０上でまたはそれによって、視覚的に強調されてもよい。例えば網掛けまたは色の陰影を備えるマスクが、強調される物体１０４’またはその一部分に適用されてもよい。さらに、例えばマスクは、マスクされた物体１０４’に注意を引きつけるように構成された色（例えば黄色、赤色など）を備えてもよい。いくつかの例では、マスクは、車両からの距離が閾値距離よりも短いと判定された、走査領域１０２の任意の部分（例えば任意の画素）に適用されてもよい。

図３Ｂは、本明細書で説明する原理と一致した一実施形態による、一例における図３Ａの表示部分１０８内にある視覚的に強調された物体１０４’を示す。特に図３Ｂは、マスク２１０を用いて視覚的に強調された物体１０４’を含む走査領域１０２の表示部分を示す。図３Ｂに示されるように、マスク２１０は、閾値距離よりも近い物体１０４’にまたはその上に重なった網掛けを備える。この例では、物体１０４’全体が網掛けマスク２１０によって実質的に覆われている。他の例（図示せず）では、物体１０４’の実際に閾値距離よりも近い部分だけが、マスク２１０によって覆われて視覚的強調を提供し、物体１０４’の残りの部分は実質的にマスク２１０がない（すなわちマスク２１０によって覆われていない）状態であってもよい。

別の例では、電子ディスプレイ１２０に表示された視覚的強調は、閾値距離よりも近い物体の縁または周囲を囲む輪郭線を備えてもよい。例えば輪郭線は、物体に特別に注意を引きつけるための、黄色、オレンジ色、または赤色などであるがこれらに限定されない色を備えてもよい。さらにいくつかの例では、輪郭線は、車両からの閾値距離よりも近いと判定された領域１０２の任意の部分の周りに提供されてもよい。いくつかの例では、輪郭線は、マスクと併せて用いられてもよい（例えばマスクされた物体にさらに輪郭線が付けられてもよい）。

さらに他の例では、車両からの距離が閾値距離よりも短いと判定された物体を強調するために、電子ディスプレイ１２０上に警告アイコンが表示されてもよい。例えば警告アイコンは、閾値距離内にある物体、または同じことであるが走査領域１０２内の一部分に重ねられたものとして表示されてもよい。例えば警告アイコンは、注意を引きつける色でレンダリングされてもよく、三角形、円形、または四角形を含んでもよいが、これらに限定されない。いくつかの例では、三角形、円形、または四角形は、警告アイコンにさらに注意を引きつけるように、感嘆符または別の英数字を取り囲んでもよい。いくつかの実施形態では、警告アイコンは、マスクおよび輪郭線のうちの一方または両方と併せて用いられてもよい（例えば警告アイコンが、マスクまたは輪郭線内に位置してもよい）。

図３Ｃは、本明細書で説明する原理と一致した別の実施形態による、一例における図３Ａの表示部分１０８にある視覚的に強調された物体１０４’を示す。特に図３Ｃは、輪郭線２２０を用いて視覚的に強調された物体１０４’を含む走査領域１０２の表示部分を示す。さらに、図３Ｃには警告アイコン２３０が示される。警告アイコン２３０は、全般的に表示部分のいずれの場所に位置してもよいが、例として図３Ｃでは、警告アイコン２３０が輪郭線２２０内に位置しており、物体１０４’上に重なっている。

再び図１を参照すると、いくつかの実施形態によれば、車両監視システム１００の電子ディスプレイ１２０は、３Ｄ電子ディスプレイ１２０を備えてもよい。これらの実施形態のうちのいくつかでは、閾値距離は、３Ｄ電子ディスプレイ１２０に表示される領域１０２の一部分に関連付けられたゼロ視差平面に対応してもよい。さらにいくつかの実施形態によれば、視覚的に強調された物体１０４’は、３Ｄ電子ディスプレイ１２０のゼロ視差平面の前方にあると知覚される物体であってもよい。特に閾値距離よりも短い距離に位置する物体１０４’が表示またはレンダリングされるとき、物体１０４’は、３Ｄ電子ディスプレイ１２０上でゼロ視差平面の前方にレンダリングされる。したがって様々な実施形態によれば、物体は、３Ｄ電子ディスプレイ１２０の物理的表示面から突き出ている、または突出している、またはその前方にあるものとして（例えば目視者によって）知覚されて、物体１０４’が視覚的に強調される。

図４は、本明細書で説明する原理と一致した別の実施形態による、一例における視覚的に強調された物体１０４’を描く３Ｄ電子ディスプレイ１２０の斜視図を示す。特に図４は、ゼロ視差平面の前方にレンダリングされることによって視覚的に強調された物体１０４’を含む走査領域１０２の表示部分１０８を示す。物体１０４’（例えば子供用おもちゃの自転車）は、３Ｄ電子ディスプレイの物理的表面１２０’から突出している、またはその前方にあるものとして３Ｄ電子ディスプレイ上に見える。図４に示されるように、閾値距離よりも遠い距離にある他の物体１０４は、３Ｄ電子ディスプレイの物理的表面１２０’の後方に見える。

いくつかの実施形態では、投影変換は、表示部分が３Ｄ電子ディスプレイ１２０上にレンダリングされる前に３Ｄモデルに適用されてもよい。特に車両監視システム１００は、例えば図６に関して下で説明するように、画像プロセッサをさらに備えてもよい。例えば画像プロセッサは、３Ｄ電子ディスプレイ１２０の一部であってもよい。別の例では、画像プロセッサは、３Ｄ走査器１１０の一部であり、または車両監視システム１００の別の（例えば別個の）要素であってもよい。

画像プロセッサは、表示部分が３Ｄ電子ディスプレイ１２０上にレンダリングされる前に投影変換を３Ｄモデルに適用するように構成されてもよい。様々な実施形態によれば、投影変換は、ゼロ視差平面に対応する閾値距離よりも遠い距離にある画像内の他の物体１０４に比べて、視覚的に強調された物体１０４’の相対サイズを大きくするように構成される。その結果、視覚的に強調された物体１０４’が、３Ｄ電子ディスプレイ１２０の物理的表示面１２０’の前方に見えるだけでなく、視覚的に強調された物体１０４’が、３Ｄ電子ディスプレイ１２０にレンダリングされるときに、空間的にゆがめられる、またはサイズが大きくされる。その効果は、視覚的に強調された物体１０４’が、３Ｄ電子ディスプレイ１２０によって表示される他の物体と比べて、あたかも拡大される、大きくされる、視覚的に膨張される、または拡張されるようなものである。例えば図４に示される物体１０４’は、投影変換を適用することによって空間的にゆがめられる。したがって様々な実施形態によれば、視覚的に強調された物体１０４’の知覚は、投影変換を適用することによって得られるサイズがゆがめられたレンダリングによってさらに向上する。

様々な実施形態によれば、３Ｄ電子ディスプレイ１２０は、実質的に任意の３Ｄ電子ディスプレイとすることができる。特にいくつかの実施形態では、３Ｄ電子ディスプレイ１２０は、マルチビーム格子ベースのバックライトおよび光変調層を備えるマルチビーム格子ベースの３Ｄ電子ディスプレイ１２０である。図５Ａは、本明細書で説明する原理と一致した一実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する３Ｄ電子ディスプレイ１２０の断面図を示す。図５Ｂは、本明細書で説明する原理と一致した別の実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する３Ｄ電子ディスプレイ１２０の断面図を示す。図５Ｃは、本明細書で説明する原理と一致した一実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する３Ｄ電子ディスプレイ１２０の一部分の斜視図を示す。例えば図５Ｃに示される３Ｄ電子ディスプレイ１２０の一部分は、図５Ａまたは図５Ｂのいずれかに示される３Ｄ電子ディスプレイ１２０を表してもよい。様々な実施形態によれば、マルチビーム格子ベースのバックライトを有する３Ｄ電子ディスプレイ１２０は、上記で説明した視覚的に強調された物体の向上した知覚を提供することができる。

様々な実施形態によれば、図５Ａ〜図５Ｃに示される３Ｄ電子ディスプレイ１２０は、変調された「指向性の」光、すなわち異なる主極大角度方向を有する光ビームを備える光、を提供するように構成される。例えば、図５Ａ〜図５Ｃに示されるように、３Ｄ電子ディスプレイ１２０は、矢印で示される異なる所定の主極大角度方向に（例えば光照射野として）３Ｄ電子ディスプレイ１２０から出て行くように方向付けられる複数の光ビームをもたらす、または発生させることができる。次いで複数の光ビームは、視覚的に強調された物体を含むがそれに限定されない３Ｄコンテンツを有する情報の表示を容易にするように、変調されてもよい。いくつかの実施形態では、異なる所定の主極大角度方向を有する変調された光ビームは、３Ｄ電子ディスプレイ１２０の複数の画素を形成する。さらに、３Ｄ電子ディスプレイ１２０は、３Ｄ電子ディスプレイ１２０の異なる「視像」に関連する画素に光ビームが対応するいわゆる「裸眼」の３Ｄ電子ディスプレイ（例えば、マルチビュー、「ホログラフィック」、またはオートステレオスコピックなディスプレイ）である。

図５Ａ、図５Ｂ、および図５Ｃに示されるように、３Ｄ電子ディスプレイ１２０のマルチビーム格子ベースのバックライトは、ライトガイド１２２を備える。特にいくつかの実施形態によれば、ライトガイド１２２は平板ライトガイド１２２であってもよい。平板ライトガイド１２２は、光源（図５Ａ〜図５Ｃには示さず）からの光を、導波光（平板ライトガイド１２２内を伝播する長い矢印として示され、以下でさらに説明される）として導波するように構成される。例えば、平板ライトガイド１２２は、光導波路として構成される誘電体材料を含んでもよい。誘電体材料は、誘電体光導波路を囲む媒体の第２の屈折率よりも大きい第１の屈折率を有し得る。例えば、屈折率の差は、平板ライトガイド１２２の１つまたは複数の導波モードに従って、導波光の内部全反射を容易にするように構成される。

様々な実施形態では、光源からの光は、平板ライトガイド１２２の長さに沿って光のビームとして導波される。さらに、平板ライトガイド１２２は、非ゼロの伝播角度で光（すなわち導波光ビーム）を導波するように構成されてもよい。例えば、導波光ビームは、内部全反射を用いて平板ライトガイド１２２内で非ゼロの伝播角度で導波されてもよい。特に導波光ビームは、平板ライトガイド１２２の上面と下面との間で反射する、または「跳ね返る」ことによって非ゼロの伝播角度で伝播する（例えば、導波光ビームの光線を表す長い傾斜した矢印によって示される）。

本明細書において定義される「非ゼロの伝播角度」は、平板ライトガイド１２２の表面（例えば、上面または下面）に対する角度である。いくつかの例では、導波光ビームの非ゼロの伝播角度は、約１０度〜約５０度、またはいくつかの例では、約２０度〜約４０度、または約２５度〜約３５度とすることができる。例えば、非ゼロの伝播角度は約３０度とすることができる。他の例では、非ゼロの伝播角度は、約２０度、または約２５度、または約３５度とすることができる。

いくつかの例では、光源からの光は、非ゼロの伝播角度（例えば約３０〜３５度）で平板ライトガイド１２２内に導入される、またはカップリングして入れられる。例えば、レンズ、ミラー、または同様の反射体（例えば、傾斜したコリメート反射体（collimating reflector）、およびプリズム（図示せず））のうちの１つまたは複数が、光を、光のビームとして非ゼロの伝播角度で平板ライトガイド１２２の入力端部にカップリングして入れるのを容易にすることができる。平板ライトガイド１２２内にカップリングして入れられると、導波光ビームは、入力端部から概して離れる方向に平板ライトガイド１２２に沿って伝播する（例えば、図５Ａ〜図５Ｂのｘ軸に沿った方向を指す太線の矢印によって示される）。

さらに、いくつかの例によれば、光を平板ライトガイド１２２にカップリングして入れることにより生成される導波光ビームは、コリメートされた導波光ビームとすることができる。特に、「コリメートされた光ビーム」とは、導波光ビーム内の複数の光線が、導波光ビーム内で互いに実質的に平行であることを意味する。本明細書における定義上、導波光ビームのコリメートされた光ビームから発散するまたは散乱する光線は、コリメートされた光ビームの一部とはみなされない。例えば、コリメートされた導波光ビームを生成するための光のコリメーションは、平板ライトガイド１２２に光をカップリングして入れるために用いられるレンズまたはミラー（例えば、傾斜したコリメート反射体など）によって実現することができる。

いくつかの例では、平板ライトガイド１２２は、光学的に透明な誘電体材料の長い実質的に平面状のシートを備えるスラブまたは平板の光導波路であってもよい。誘電体材料の実質的に平面状のシートは、内部全反射を用いて導波光ビームを導波するように構成される。様々な例によれば、平板ライトガイド１２２の光学的に透明な材料は、様々なタイプのガラス（例えば石英ガラス、アルカリ・アルミノシリケート・ガラス、ホウケイ酸ガラスなど）、および実質的に光学的に透明なプラスチックまたはポリマー（例えばポリ（メチルメタクリレート）または「アクリルガラス」、ポリカーボネートなど）のうちの１つまたは複数を含むがこれらに限定されない様々な誘電体材料のうちの任意のものを含んでもよく、またはこれらのうちの任意のもので形成されてもよい。いくつかの例では、平板ライトガイド１２２は、平板ライトガイド１２２の表面（例えば、上面および下面の一方または両方）の少なくとも一部分上にクラッド層をさらに含んでもよい（図示せず）。いくつかの例によれば、クラッド層は、内部全反射をさらに容易にするために用いられてもよい。

図５Ａ、図５Ｂ、および図５Ｃでは、示される３Ｄ電子ディスプレイ１２０のマルチビーム格子ベースのバックライトは、マルチビーム回折格子１２４のアレイをさらに備える。図５Ａ〜図５Ｂに示されるように、マルチビーム回折格子１２４は、平板ライトガイド１２２の表面（例えば上面または前面）に位置付けられる。他の例（図示せず）では、マルチビーム回折格子１２４の１つまたは複数は、平板ライトガイド１２２の中に位置付けられてもよい。さらに別の例（図示せず）では、マルチビーム回折格子１２２の１つまたは複数は、平板ライトガイド１２０の下面もしくは背面にまたはその上に（すなわちマルチビーム回折格子１２４によって示される面とは反対の面に）位置付けられてもよい。平板ライトガイド１２２とマルチビーム回折格子１２４のアレイとを組み合わせることによって、それらが３Ｄ電子ディスプレイ１２０のマルチビーム回折格子ベースのバックライトを実現する、またはそのバックライトとして機能する。

様々な実施形態によれば、アレイのマルチビーム回折格子１２４は、導波光ビームの一部分を散乱させてまたは回折によりカップリングして、３Ｄ電子ディスプレイ１２０の異なる視像に対応する異なる主極大角度方向を有する複数の光ビームとして外へ出すように構成される。例えば、導波光ビームの一部分は、マルチビーム回折格子１２４によって平板ライトガイド表面を通って（例えば、平板ライトガイド１２２の上面を通って）回折によりカップリングして外へ出されてもよい。さらに、マルチビーム回折格子１２４は、導波光ビームの一部分を回折によりカップリングして、カップリングして外へ出される光ビームとして外へ出し、そのカップリングして外へ出される光ビームを、複数の光ビームとして平板ライトガイド表面から離れるように回折により方向変更するように構成される。上述したように、複数の光ビームうちのそれぞれは、マルチビーム回折格子１２４の回折特徴部の特徴によって決定される異なる所定の主極大角度方向を有する。

様々な実施形態によれば、アレイのマルチビーム回折格子１２４は、回折を実現する複数の回折特徴部を含む。実現される回折により、平板ライトガイド１２２からの導波光ビームの一部分の回折カップリングがもたらされる。例えば、マルチビーム回折格子１２４は、回折特徴部として機能する平板ライトガイド１２２の表面内の溝、および平板ライトガイド表面から突出した隆線の一方または両方を含んでもよい。溝および隆線は、互いに平行に配置されてもよく、回折特徴部に沿った少なくともある点では、溝および隆線は、マルチビーム回折格子１２４によりカップリングして外へ出されることになる導波光ビームの伝播方向に垂直である。

いくつかの例では、溝および隆線は、平板ライトガイド表面内へエッチング、ミリング、またはモールドされてもよい。したがって、マルチビーム回折格子１２４の材料は、平板ライトガイド１２２の材料を含み得る。図５Ａに示すように、例えば、マルチビーム回折格子１２４は、平板ライトガイド１２２の表面を貫通する実質的に平行な複数の溝を含む。図５Ｂでは、マルチビーム回折格子１２４は、平板ライトガイド１２２の表面から突出する実質的に平行な複数の隆線を含む。他の例では（図示せず）、マルチビーム回折格子１２４は、平板ライトガイド表面に塗布された、または貼り付けられた膜または層とすることができる。

いくつかの実施形態によれば、マルチビーム回折格子１２４は、チャープ回折格子であってもよい、またはそれを含んでもよい。定義上、「チャープ」回折格子は、図５Ａ〜図５Ｃに示されるように、チャープ回折格子の範囲または長さにわたって変化する回折特徴部の回折間隔（すなわち回折ピッチ）を呈する、または有する回折格子である。本明細書では、変化する回折間隔は、「チャープ」と定義され呼ばれる。チャープがあることによって、平板ライトガイド１２２から回折によりカップリングして外へ出される導波光ビームの部分は、マルチビーム回折格子１２４のチャープ回折格子にわたる異なる原点に対応する異なる回折角度でカップリングして外へ出される光ビームとして、チャープ回折格子から出射する、または放射される。事前定義されたチャープのおかげで、チャープ回折格子によって、カップリングして外へ出される複数の光ビームの所定の異なる主極大角度方向がもたらされる。

いくつかの例では、マルチビーム回折格子１２４のチャープ回折格子は、距離とともに線形に変化する回折間隔のチャープを有するまたは呈することができる。したがって、定義上、チャープ回折格子は、「線形チャープ」回折格子と呼ばれる。例えば、図５Ａ〜図５Ｃは、マルチビーム回折格子１２４を線形チャープ回折格子として示している。特に、示されるように、回折特徴部は、マルチビーム回折格子１２４の第２の端部においては、第１の端部においてよりも互いに近くにある。さらに示される回折特徴部の回折間隔は、例としてであって限定としてではなく示される第１の端部から第２の端部まで線形に変化する。

別の例では（図示せず）、マルチビーム回折格子１２４のチャープ回折格子は、回折間隔の非線形チャープを呈してもよい。マルチビーム回折格子１２４を実現するために用いることができる様々な非線形チャープは、指数関数チャープ、対数チャープ、または別の実質的に不均一もしくはランダムであるが依然として単調に変化するチャープを含むが、これらに限定されない。正弦波チャープ、または三角形もしくは鋸歯状チャープなどであるが、これらに限定されない非単調なチャープも使用可能である。これらのタイプのチャープの任意の組み合わせも使用可能である。

いくつかの実施形態によれば、マルチビーム回折格子１２４は、曲線状でかつチャープされているか、またはそれらのうちのいずれかである回折特徴部を含んでもよい。図５Ｃは、平板ライトガイド１２２の表面内に、表面に、または表面上にある曲線状のかつチャープされたマルチビーム回折格子１２４の斜視図を示す（すなわち、マルチビーム回折格子１２４は曲線状のチャープ回折格子である）。図５Ｃでは、導波光ビームは、マルチビーム回折格子１２４の第１の端部において太線の矢印として示されるマルチビーム回折格子１２４に対する入射方向を有する。また、矢印で示される平板ライトガイド１２２の表面でマルチビーム回折格子１２４から離れる方向を指す複数のカップリングして外へ出されるまたは放射される光ビームが示される。示されるように、光ビームは、複数の所定の異なる主極大角度方向に放射される。特に、放射される光ビームの所定の異なる主極大角度方向は、示されるように方位角と仰角の両方において互いに異なる。様々な例によれば、回折特徴部の事前定義されたチャープと回折特徴部の曲線との両方によって、放射される光ビームの所定の異なる主極大角度方向がもたらされ得る。

特に、回折特徴部の曲線に沿った異なる点において、曲線状回折特徴部に関連するマルチビーム回折格子１２４の「下にある回折格子」は、異なる方位配向角度φ_ｆを有する。「下にある回折格子」とは、重なるとマルチビーム回折格子１２４の曲線状回折特徴部を作り出す複数の非曲線状回折格子のうちの１つの回折格子を意味する。曲線状回折特徴部に沿った所与の点において、曲線は、曲線状回折特徴部に沿った別の点における方位配向角度φ_ｆとは概して異なる特定の方位配向角度φ_ｆを有する。さらに、特定の方位配向角度φ_ｆによって、所与の点から放射される光ビームの主極大角度方向｛θ，φ｝の対応する方位角成分φが与えられる。いくつかの例では、回折特徴部（例えば溝、隆線など）の曲線は、円の一区分を表してもよい。円は、ライトガイド表面と同一平面上にあってもよい。他の例では、曲線は、例えばライトガイド表面と同一平面上にある楕円または別の曲線形状の一区分を表してもよい。

再び図５Ａ〜図５Ｂを参照すると、３Ｄ電子ディスプレイ１２０の変調層は、ライトバルブアレイ１２６を備える。様々な実施形態によれば、ライトバルブアレイ１２６は、３Ｄ電子ディスプレイ１２０の異なる視像に対応する異なる方向に向けられた光ビーム（すなわち、異なる主極大角度方向を有する複数の光ビーム）を変調するように構成される。特に複数の光ビームのうちの光ビームは、ライトバルブアレイ１２６の個々のライトバルブを通過し、それによって変調される。様々な実施形態によれば、変調された異なる方向に向けられた光ビームは、３Ｄ電子ディスプレイ１２０の画素を表してもよい。様々な例では、液晶ライトバルブ、電気泳動ライトバルブ、およびエレクトロウェッティングに基づくライトバルブのうちの１つまたは複数を含むがこれらに限定されない異なるタイプのライトバルブがライトバルブアレイ１２６内で使用されてもよい。

本明細書で説明する原理のいくつかの例によれば、３次元（３Ｄ）車両監視システムが提供される。図６は、本明細書で説明する原理の一実施形態による、一例における３次元（３Ｄ）車両監視システム３００のブロック図を示す。特に３Ｄ車両監視システム３００は、車両が監視方向に動いているときに衝突回避を提供するように構成される。例えば３Ｄ車両監視システム３００は、車両の後方の領域を監視するように構成されてもよく、したがって車両の操作者に後進補助を提供する。

図６に示されるように、３Ｄ車両監視システム３００は、３Ｄカメラ３１０を備える。いくつかの実施形態では、３Ｄカメラ３１０は、後方に面した３Ｄカメラ３１０である。３Ｄカメラ３１０は、車両に隣接した領域（例えば車両の後方）の３Ｄ画像を捕捉するように構成される。様々な実施形態によれば、３Ｄカメラ３１０は、車両監視システム１００に関して上記で説明した３Ｄ走査器１１０と実質的に同様であってもよい。特に３Ｄカメラ３１０は、車両に隣接した領域を監視するように構成された互いにずれた複数のカメラ、飛行時間カメラ、およびレーザベースの距離センサと２次元（２Ｄ）カメラの複合体のうちの１つまたは複数を備えてもよい。

図６に示される３Ｄ車両監視システム３００は、画像プロセッサ３２０をさらに備える。画像プロセッサ３２０は、３Ｄカメラ３１０によって捕捉された３Ｄ画像を用いて、３Ｄ画像化領域の３Ｄモデルを提供するように構成される。様々な実施形態によれば、３Ｄモデルは、３Ｄ画像化領域内の物体の空間構成を含む。３Ｄ画像化領域および３Ｄ画像化領域内の物体は、車両監視システム１００に関して上記で説明した領域１０２および物体１０４、１０４’と実質的に同様であってもよい。

様々な実施形態によれば、３Ｄ車両監視システム３００は、３Ｄ電子ディスプレイ３３０をさらに備える。３Ｄ電子ディスプレイ３３０は、３Ｄモデルを用いて３Ｄ画像化領域の一部分を表示するように構成される。いくつかの実施形態によれば、閾値距離よりも短い車両からの距離（例えば車両の後方からの距離）に位置する表示部分内の任意の物体が、３Ｄ電子ディスプレイ３３０上で視覚的に強調されてもよい。特にいくつかの実施形態によれば、３Ｄ電子ディスプレイ３３０は、車両からの閾値距離よりも近くに位置する表示部分内の物体を視覚的に強調するようにさらに構成される。

いくつかの実施形態では、３Ｄ電子ディスプレイ３３０は、上記で説明した車両監視システム１００の３Ｄ電子ディスプレイ１２０と実質的に同様である。例えば閾値距離は、３Ｄ電子ディスプレイ３３０によって表示される３Ｄ画像化領域の一部分に関連付けられたゼロ視差平面に対応してもよい。いくつかの実施形態では、視覚的に強調された物体は、ゼロ視差平面の前方にある（すなわち、３Ｄ電子ディスプレイ３３０の物理的表面の前方にある）ものとして知覚され得る。さらにいくつかの実施形態では、画像プロセッサ３２０は、表示部分が３Ｄ電子ディスプレイ３３０上にレンダリングされる前に、３Ｄモデルに対して投影変換を適用するようにさらに構成される。適用される投影変換は、ゼロ視差平面に対応する閾値距離よりも長い距離に位置する表示部分内の他の物体に比べて、視覚的に強調された物体の相対サイズを大きくするように構成されてもよい。

いくつかの実施形態では、３Ｄ電子ディスプレイ３３０は、マルチビーム格子ベースの３Ｄ電子ディスプレイを備えてもよい。例えばいくつかの実施形態では、３Ｄ電子ディスプレイ３３０は、車両監視システム１００に関して上記で説明したマルチビーム格子ベースのバックライトおよび変調層を有する３Ｄ電子ディスプレイ１２０と実質的に同様であってもよい。特に３Ｄ電子ディスプレイ３３０は、マルチビーム格子ベースのバックライトおよび変調層を備えてもよい。マルチビーム格子ベースのバックライトは、光のビーム（例えばコリメートされた光ビーム）を導波するためのライトガイドと、導波光の一部分を回折によりカップリングして、ライトガイドから離れるように方向付けられた複数の異なる方向に向けられた光ビームとして外へ出すように構成されたマルチビーム回折格子のアレイとを備えてもよい。ライトガイドおよびマルチビーム回折格子は、車両監視システム１００について上記で説明した平板ライトガイド１２２およびマルチビーム回折格子１２４と実質的に同様であってもよい。さらに、変調層は、異なる方向に向けられた光ビームを変調するためのライトバルブアレイを備えてもよい。様々な実施形態によれば、変調され、異なる方向に向けられた光ビームは、３Ｄ電子ディスプレイ３３０の複数の異なる視像を形成する。ライトバルブアレイは、車両監視システム１００に関して上記で説明したライトバルブアレイ１２６と実質的に同様であってもよい。特に、変調され、異なる方向に向けられた光ビームは、３Ｄ電子ディスプレイ３３０の異なる「視像」に関連付けられた複数の画素を形成する異なる所定の主極大角度方向を有する。

いくつかの実施形態（図示せず）によれば、３Ｄ電子ディスプレイ３００は、光源をさらに含んでもよい。光源は、導波光ビームとしてライトガイド内で伝播する光を提供するように構成される。特に、いくつかの実施形態によれば、導波光は、カップリングしてライトガイドの縁部（または入力端部）に入れられる、光源からの光である。例えば、レンズ、コリメート反射体、または同様の装置（図示せず）が、光をカップリングしてライトガイド内にその入力端部または縁部において入れることを、容易にすることができる。様々な例では、光源は、発光ダイオード（ＬＥＤ）を含むがそれに限定されない実質的に任意の光の発生源を備えてもよい。いくつかの例では、光源は、特定の色により表される狭帯域のスペクトルを有する実質的に単色の光を生成するように構成された光学エミッタを備えてもよい。特に、単色光の色は、特定の色空間または色モデル（例えば、赤−緑−青（ＲＧＢ）色モデル）の原色とすることができる。

本明細書で説明する原理のいくつかの例によれば、車両監視方法が提供される。車両監視方法は、車両に隣接したエリアまたは領域を監視するために用いられ得る。例えばエリアまたは領域は、車両の前方、側方、および後方または後ろの領域を含んでもよいが、これらに限定されない。

図７は、本明細書で説明する原理と一致した一実施形態による、一例における車両監視方法４００のフローチャートを示す。図７に示されるように、車両監視方法４００は、３Ｄ走査器を用いて車両に隣接した領域の３Ｄ走査を捕捉するステップ４１０を備える。様々な実施形態によれば、捕捉するステップ４１０に用いられる３Ｄ走査器は、車両監視システム１００に関して上記で説明した３Ｄ走査器１１０と実質的に同様であってもよい。例えば３Ｄ走査器は、互いにずれた複数のカメラ（例えばカメラの両眼対）、飛行時間カメラ、およびレーザベースの距離センサと２次元（２Ｄ）カメラの複合体のうちの１つまたは複数を備えてもよい。いくつかの例では、３Ｄ走査器は、３Ｄ車両監視システム３００に関して上記で説明した３Ｄカメラ３１０と実質的に同様であってもよい。

図７に示された車両監視方法４００は、捕捉された３Ｄ走査から３Ｄモデルを生成するステップをさらに備える。様々な実施形態によれば、３Ｄモデルは、走査領域内に位置する物体の空間構成を含む。例えば３Ｄモデルは、３Ｄ走査器によって生成される点群および物体メッシュのうちの一方または両方を用いて、３Ｄ走査から生成され得る。

様々な実施形態によれば、車両監視方法４００は、３Ｄモデルを用いて走査領域の一部分を表示するステップ４３０をさらに備える。様々な実施形態によれば、走査領域の一部分を表示するステップ４３０は、車両からの距離が閾値距離よりも近い表示部分内の物体を視覚的に強調するステップを備える。いくつかの実施形態では、走査領域の一部分を表示するステップ４３０は、上記で説明した車両監視システム１００の電子ディスプレイ１２０と実質的に同様の電子ディスプレイを使用してもよい。さらに、物体を視覚的に強調するステップは、上記で説明した視覚的な強調の任意の形態と実質的に同様であってもよい。例えば物体は、マスク、輪郭線、および警告アイコンのうちの１つまたは複数を用いて視覚的に強調されてもよい。別の例では、走査領域の一部分を表示するステップ４３０は、例えば３Ｄ車両監視システム３００の３Ｄ電子ディスプレイ３３０に関して上記で説明した３Ｄ電子ディスプレイを用いるステップを備える。３Ｄ電子ディスプレイを用いると、視覚的に強調された物体は、閾値距離に対応した３Ｄ電子ディスプレイのゼロ視差平面の前方にあるように見える。

いくつかの実施形態によれば、３Ｄ電子ディスプレイ（例えばマルチビーム格子ベースのバックライトを有する３Ｄ電子ディスプレイ）を用いて走査領域の一部分を表示するステップ４３０は、光を平板ライトガイド内で光ビームとして非ゼロの伝播角度で導波するステップをさらに備えてもよい。３Ｄ電子ディスプレイを用いて走査領域の一部分を表示するステップ４３０は、平板ライトガイド上のマルチビーム回折格子のアレイを用いて、導波光ビームの一部分を回折によりカップリングして外へ出すステップをさらに備えてもよい。例えば導波光ビームの一部分を回折によりカップリングして外へ出すステップは、３Ｄ電子ディスプレイの異なる視像に対応する複数の異なる主極大角度方向に、平板ライトガイドから離れるように方向付けられた複数のカップリングして外へ出される光ビームを生成するステップを備えてもよい。さらに、３Ｄ電子ディスプレイを用いて走査領域の一部分を表示するステップ４３０は、複数のカップリングして外へ出される光ビームを、複数のライトバルブを用いて変調するステップをさらに備えてもよく、変調された光ビームは、３Ｄ電子ディスプレイの画素を表す。

さらに、車両監視方法４００は、走査領域の一部分を３Ｄディスプレイ上に表示するステップ４３０の前に、３Ｄモデルに対して投影変換を適用するステップを備えてもよい。いくつかの実施形態では、投影変換は、ゼロ視差平面に対応する閾値距離よりも遠い距離にある画像内の物体に比べて、強調された物体の相対サイズを大きくするために、表示部分の奥行き圧縮を含んでもよい。

このように、閾値距離よりも車両に近い物体を視覚的に強調する車両監視システム、３Ｄ車両監視システム、および車両監視方法の例が説明された。上述の例は、本明細書で説明する原理を表す多数の特定の例のいくつかを単に例示するものであることが理解されるべきである。明らかに当業者は、添付の特許請求の範囲により定義される範囲から逸脱せずに数多くの他の構成を容易に考案することができる。

１００ 車両監視システム
１０２ 走査領域
１０４ 物体
１０６ 平面
１０８ 表示部分
１１０ ３次元（３Ｄ）走査器
１２０ 電子ディスプレイ
１２２ 平板ライトガイド
１２４ マルチビーム回析格子
１２６ ライトバルブアレイ
２１０ マスク
２２０ 輪郭線
２３０ 警告アイコン
３００ ３次元（３Ｄ）車両監視システム
３１０ ３Ｄカメラ
３２０ 画像プロセッサ
３３０ ３Ｄ電子ディスプレイ
４００ 車両監視方法

本明細書で説明する原理と一致した一実施形態による、一例における車両監視システムのブロック図である。 本明細書で説明する原理と一致した一実施形態による、一例における図１の車両監視システムを用いて監視される領域の斜視図である。 本明細書で説明する原理と一致した一実施形態による、一例における図２Ａの監視領域の側面図である。 本明細書で説明する原理と一致した一実施形態による、一例における走査された領域の表示部分を示す図である。 （Ｂ）本明細書で説明する原理と一致した一実施形態による、一例における図３Ａの表示部分内の視覚的に強調された物体を示す図である。（Ｃ）本明細書で説明する原理と一致した別の実施形態による、一例における図３Ａの表示部分内の視覚的に強調された物体を示す図である。 本明細書で説明する原理と一致した別の実施形態による、一例における視覚的に強調された物体を描く３Ｄ電子ディスプレイの斜視図である。 本明細書で説明する原理と一致した一実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する３次元（３Ｄ）電子ディスプレイの断面図である。 （Ｂ）本明細書で説明する原理と一致した別の実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する３次元（３Ｄ）電子ディスプレイの断面図である。（Ｃ）本明細書で説明する原理と一致した一実施形態による、一例におけるマルチビーム格子ベースのバックライトを有する３Ｄ電子ディスプレイの一部分の斜視図である。 本明細書で説明する原理の一実施形態による、一例における３次元（３Ｄ）車両監視システムのブロック図である。 本明細書で説明する原理と一致した一実施形態による、一例における車両監視方法のフローチャートである。

図５Ａ、図５Ｂ、および図５Ｃでは、示される３Ｄ電子ディスプレイ１２０のマルチビーム格子ベースのバックライトは、マルチビーム回折格子１２４のアレイをさらに備える。図５Ａ〜図５Ｂに示されるように、マルチビーム回折格子１２４は、平板ライトガイド１２２の表面（例えば上面または前面）に位置付けられる。他の例（図示せず）では、マルチビーム回折格子１２４の１つまたは複数は、平板ライトガイド１２２の中に位置付けられてもよい。さらに別の例（図示せず）では、マルチビーム回折格子１２４の１つまたは複数は、平板ライトガイド１２２の下面もしくは背面にまたはその上に（すなわちマルチビーム回折格子１２４によって示される面とは反対の面に）位置付けられてもよい。平板ライトガイド１２２とマルチビーム回折格子１２４のアレイとを組み合わせることによって、それらが３Ｄ電子ディスプレイ１２０のマルチビーム回折格子ベースのバックライトを実現する、またはそのバックライトとして機能する。

いくつかの実施形態（図示せず）によれば、３Ｄ電子ディスプレイ３３０は、光源をさらに含んでもよい。光源は、導波光ビームとしてライトガイド内で伝播する光を提供するように構成される。特に、いくつかの実施形態によれば、導波光は、カップリングしてライトガイドの縁部（または入力端部）に入れられる、光源からの光である。例えば、レンズ、コリメート反射体、または同様の装置（図示せず）が、光をカップリングしてライトガイド内にその入力端部または縁部において入れることを、容易にすることができる。様々な例では、光源は、発光ダイオード（ＬＥＤ）を含むがそれに限定されない実質的に任意の光の発生源を備えてもよい。いくつかの例では、光源は、特定の色により表される狭帯域のスペクトルを有する実質的に単色の光を生成するように構成された光学エミッタを備えてもよい。特に、単色光の色は、特定の色空間または色モデル（例えば、赤−緑−青（ＲＧＢ）色モデル）の原色とすることができる。

Claims (20)

1. 車両に隣接した領域を走査するように構成された３次元（３Ｄ）走査器であって、前記走査が、前記走査された領域内に位置する物体の空間構成を含む３Ｄモデルを提供するために用いられる、走査器と、
   前記３Ｄモデルを用いて前記走査領域の一部分を表示し、前記車両からの閾値距離よりも近くに位置する前記表示された部分内の物体を視覚的に強調するように構成された電子ディスプレイと、
   を備え、
   前記視覚的な強調が、前記閾値距離よりも前記車両に近い前記物体の、ユーザによる知覚を向上させるように構成された、車両監視システム。
2. 前記３Ｄ走査器が、互いにずれた複数のカメラを備え、前記３Ｄ走査器からの距離が、前記複数のうちの異なるカメラによって捕捉された別々の画像を用いた視差推定によって判定される、請求項１に記載の車両監視システム。
3. 前記３Ｄ走査器が飛行時間カメラを備える、請求項１に記載の車両監視システム。
4. 前記３Ｄ走査器が、
   距離センサから前記走査領域内の複数の点までの距離を測定するように構成された前記距離センサと、
   前記走査領域の２次元（２Ｄ）画像を捕捉するように構成されたカメラとを備え、前記測定された距離が、前記３Ｄモデルを提供するための点群および物体メッシュのうちの一方または両方を生成するために用いられ、前記２Ｄ画像が、前記３Ｄモデルをペイントするために用いられる、請求項１に記載の車両監視システム。
5. 前記距離センサが、
   前記走査領域を走査するように構成されたレーザと、
   前記走査領域内の物体から反射されたレーザ光を用いて、前記複数の点までの距離を測定するように構成された光学センサと
   を備える、請求項４に記載の車両監視システム。
6. 前記表示部分内で前記車両からの閾値距離よりも近くに位置する前記物体の視覚的な強調が、前記電子ディスプレイによる、前記表示された物体に適用されたマスク、前記表示された物体の周りの輪郭線、および前記表示された物体を示す警告アイコンのうちの１つまたは複数を備える、請求項１に記載の車両監視システム。
7. 前記電子ディスプレイが、３Ｄ電子ディスプレイを備え、前記３Ｄ電子ディスプレイによって表示された前記走査領域の前記一部分に関連付けられたゼロ視差平面に、前記閾値距離が対応しており、前記車両からの閾値距離よりも近くに位置する前記物体の前記視覚的な強調が、前記３Ｄ電子ディスプレイの前記ゼロ視差平面の前方に前記物体があるという視覚的な知覚である、請求項１に記載の車両監視システム。
8. 前記表示部分が前記３Ｄディスプレイ上にレンダリングされる前に、前記３Ｄモデルに対して投影変換を適用するように構成された画像プロセッサをさらに備え、前記投影変換が、前記ゼロ視差平面に対応する前記閾値距離よりも長い距離にある表示部分内の物体に比べて、前記強調された物体の相対サイズを大きくするように構成された、請求項７に記載の車両監視システム。
9. 前記３Ｄ電子ディスプレイが、
   非ゼロの伝播角度で光ビームを導波するように構成された平板ライトガイドと、
   マルチビーム回折格子のアレイであって、前記アレイのマルチビーム回折格子が、前記３Ｄ電子ディスプレイの異なる視像に対応する異なる主極大角度方向を有する複数のカップリングして外へ出される光ビームとして、前記導波光ビームの一部分を回折によりカップリングして外へ出すように構成された、マルチビーム回折格子のアレイと、
   前記３Ｄ電子ディスプレイの前記異なる視像に対応する前記複数のカップリングして外へ出される光ビームを変調するように構成されたライトバルブアレイであって、前記変調された光ビームが、前記３Ｄ電子ディスプレイの画素を表す、ライトバルブアレイと
   を備える、請求項７に記載の車両監視システム。
10. 前記マルチビーム回折格子が、線形チャープ回折格子を備え、前記マルチビーム回折格子の回折特徴部が、前記平板ライトガイド表面内の曲線状の溝、および前記平板ライトガイド表面上の曲線状の隆線のうちの一方または両方を備える、請求項９に記載の車両監視システム。
11. 前記３Ｄ走査器が、前記車両の後方の領域を走査するように構成され、前記向上したユーザによる知覚が、前記車両が後ろ向きに動いているときに衝突回避を補助するように構成され、前記車両監視システムが、リアビューの後進補助車両監視システムである、請求項１に記載の車両監視システム。
12. 車両に隣接した領域の３Ｄ画像を捕捉するように構成された３Ｄカメラと、
    前記３Ｄ画像を用いて、前記３Ｄ画像化された領域の３Ｄモデルを提供するように構成された画像プロセッサであって、前記３Ｄモデルが、前記３Ｄ画像化領域内の物体の空間構成を含む、画像プロセッサと、
    前記３Ｄモデルを用いて前記３Ｄ画像化領域の一部分を表示し、前記車両からの閾値距離よりも近くに位置する前記表示部分内の物体を視覚的に強調するように構成された３Ｄ電子ディスプレイと
    を備え、
    前記視覚的に強調された物体が、前記車両が前記隣接領域の方向に動いているときに衝突回避を提供するように構成された、３次元（３Ｄ）車両監視システム。
13. 前記３Ｄカメラが、互いにずれた複数のカメラ、飛行時間カメラ、およびレーザベースの距離センサと２次元（２Ｄ）カメラの複合体のうちの１つまたは複数を備える、請求項１２に記載の３Ｄ車両監視システム。
14. 前記閾値距離が、前記３Ｄ電子ディスプレイによって表示されるように構成された前記３Ｄ画像化領域の前記一部分に関連付けられたゼロ視差平面に対応しており、前記表示部分内の前記視覚的に強調された物体が、前記ゼロ視差平面の前方にあるものとして知覚される、請求項１２に記載の３Ｄ車両監視システム。
15. 前記画像プロセッサが、前記３Ｄ画像化領域の一部分が前記３Ｄ電子ディスプレイ上に表示される前に、前記３Ｄモデルに投影変換を適用するようにさらに構成され、前記投影変換が、前記表示部分内の他の物体に比べて、前記視覚的に強調された物体の相対サイズを大きくするように構成され、前記他の物体が、前記ゼロ視差平面に対応する前記閾値距離よりも長い距離に位置する、請求項１２に記載の３Ｄ車両監視システム。
16. 前記３Ｄ電子ディスプレイが、マルチビーム格子ベースの３Ｄ電子ディスプレイを備える、請求項１２に記載の３Ｄ車両監視システム。
17. ３Ｄ走査器を用いて、車両に隣接する領域の３Ｄ走査を捕捉するステップと、
    前記捕捉された３Ｄ走査から３Ｄモデルを生成するステップであって、前記３Ｄモデルが、前記走査された領域内に位置する物体の空間構成を含む、生成するステップと、
    前記３Ｄモデルを用いて、前記走査領域の一部分を表示するステップと
    を備え、
    前記走査領域の一部分を表示するステップが、前記車両からの距離が閾値距離よりも短い前記表示部分内の物体を視覚的に強調するステップを備え、
    前記視覚的に強調された物体が、前記閾値距離よりも前記車両に近い前記物体の、ユーザによる知覚を向上させるように構成された、車両監視方法。
18. 前記走査領域の一部分を表示するステップが、３Ｄ電子ディスプレイを用いるステップをさらに備え、前記視覚的に強調された物体が、前記閾値距離に対応する前記３Ｄ電子ディスプレイのゼロ視差平面の前方にあるように見え、前記３Ｄモデルを生成するステップが、前記３Ｄ電子ディスプレイ上に前記走査領域の前記一部分を表示するステップの前に、前記３Ｄモデルに対して投影変換を適用するステップを備える、請求項１７に記載の車両監視方法。
19. 前記投影変換が、前記ゼロ視差平面に対応する前記閾値距離よりも長い距離にある前記走査領域内の物体に比べて、前記視覚的に強調された物体の相対サイズを大きくするために、前記表示部分の奥行き圧縮を含む、請求項１８に記載の車両監視方法。
20. 前記３Ｄ電子ディスプレイを用いて前記走査領域の一部分を表示するステップが、
    光を、非ゼロの伝播角度で光ビームとして平板ライトガイド内で導波するステップと、
    前記平板ライトガイド上のマルチビーム回折格子のアレイを用いて、前記導波光ビームの一部分を回折によりカップリングして外へ出すステップであって、前記３Ｄ電子ディスプレイの異なる視像に対応する複数の異なる主極大角度方向に、前記平板ライトガイドから離れるように方向付けられた複数のカップリングして外へ出される光ビームを生成するステップを備える、前記導波光ビームの一部分を回折によりカップリングして外へ出すステップと、
    複数のライトバルブを用いて、前記複数のカップリングして外へ出される光ビームを変調するステップであって、前記変調された光ビームが、前記一部分を３Ｄ画像として表示するための前記３Ｄ電子ディスプレイの画素を表す、変調するステップと
    を備える、請求項１８に記載の車両監視方法。