JP2021060590A - 取込まれた像のパススルー表示 - Google Patents

Abstract

【課題】画像が取込まれる時間と画像が表示される時間との間に実質的な遅れをもたらさないＡＲディスプレイシステムを提供する。
【解決手段】撮像センサによって取込まれた画像における１組の画素行のうちの各画素行を撮像センサから連続的に出力するステップと、取込まれた画像の第１の画素行を表わす画素行を、取込まれた画像の第２の画素行が撮像センサによって出力される前に、ディスプレイ装置において表示するステップを含む。
【選択図】図１

Description

関連出願の相互参照
本願は、２０１５年５月４日に出願された米国仮出願番号第６２／１５６，８１５号の利点を主張するものであって、その全体が引用によりこの明細書中に援用されている。

開示の分野
本開示は、概して、ディスプレイシステムに関し、より特定的には、ディスプレイシステムにおける１つ以上の撮像センサを介して取込まれた像の表示に関する。

背景
拡張現実（augmented reality：ＡＲ）ディスプレイシステムは、典型的には、ユーザ
の環境の像を取込むように動作し、次いで、取込まれた像の表現をディスプレイ装置上に表示する。これにより、取込まれた像の表現は、拡張表示情報、たとえばＡＲオーバーレイなど、または、取込まれた像の仮想現実（virtual reality：ＶＲ）表現、たとえば、
取込まれた画像における現実的内容の漫画表現もしくはコンピュータ描写表現などを含み得る。従来のＡＲディスプレイシステムにおいては、各々の画像が取込まれた後、画像の画素がすべて出力されてフレームバッファに一緒にバッファリングされる。その後、プロセッサが、その画像を、フレームバッファからの全体画像として処理し、さらに、結果として生じる修正画像がフレームバッファからディスプレイ装置に出力されて、修正画像が表示される。

この処理経路は、画像が取込まれる時間と画像の表現が表示される時間との間に実質的な遅れをもたらす。多くのＡＲ実現例においては、特に、頭部装着型ディスプレイ（head
mounted display：ＨＭＤ）システムなどにおける画像取込み装置が動作中であり得るような実現例においては、この遅れは、画像取込み装置の動きとディスプレイ装置における動きの結果の表示との間に認知可能な遅延をもたらす可能性があり、これにより、ユーザの経験が損なわれる可能性がある。

図面の簡単な説明
添付の図面を参照することにより、本開示が当業者によってより良く理解され得るとともに、その多数の特徴および利点が当業者にとって明らかになり得る。異なる図面において同じ参照符号を用いる場合、これらは同様のアイテムまたは同一のアイテムを示している。

本開示の少なくとも１つの実施形態に従った、ラインロック型ディスプレイを用いて、拡張現実表示を行なう電子装置を示す図である。 本開示の少なくとも１つの実施形態に従った、電子装置の頭部装着型ディスプレイ（ＨＭＤ）の実現例を示す正面平面図である。 本開示の少なくとも１つの実施形態に従った、図２のＨＭＤ実現例を示す背面平面図である。 本開示の少なくとも１つの実施形態に従った図２のＨＭＤ実現例を示す断面図である。 本開示の少なくとも１つの実施形態に従った、ラインロック型ディスプレイを有する電子装置の処理システムを示すブロック図である。 本開示の少なくとも１つの実施形態に従った、図５の処理システムの一部の詳細を示すブロック図である。 本開示の少なくとも１つの実施形態に従った、ラインロック型ディスプレイを用いて、取込まれた像のパススルー表示を行うための、図５および図６の処理システムの動作を示すフロー図である。 少なくとも１つの実施形態に従った、ラインロック型ディスプレイにおいて２つの像ストリームを表示するための立体視ＨＭＤシステムの動作を示す図である。 少なくとも１つの実施形態に従った、ラインロック型ディスプレイにおいて２つの像ストリームを交互に表示するための立体視ＨＭＤシステムの動作を示す図である。 少なくとも１つの実施形態に従った、相補的な空間歪みタイプであるカメラレンズおよび接眼レンズを利用するＡＲディスプレイシステムの実現例を示す図である。

詳細な説明
以下の説明は、像の取込みおよび表示のシステムを含むいくつかの具体的な実施形態および詳細を提供することによって本開示の十分な理解をもたらすように意図されている。しかしながら、本開示が、単なる例示に過ぎないこれらの具体的な実施形態および詳細に限定されないものであり、このため、開示の範囲が添付の特許請求の範囲およびその同等例によってのみ限定されるよう意図されていることが理解される。当業者が、公知のシステムおよび方法に鑑みて、特定の設計および他の必要性に応じて、いくつもの代替的な実施形態において、その意図された目的および利点についての開示を使用することを認識するだろうことがさらに理解される。

並列的な取込み／表示のシステムにおいては、１つ以上の撮像センサを用いて、局所環境の像を（ビデオ形式で）取込み、さらに、この像が（たとえば、ＡＲオーバーレイを含むように、もしくは、視覚的内容の仮想現実（ＶＲ）表現に変換されるように、または、特定のフィルタリングもしくは歪曲修正を組込むように）修正され、次いで、結果として得られる修正像がユーザに表示される。従来のシステムにおいては、像処理／表示工程は、取込まれた画像（またはフレーム）の各々が全体的にフレームバッファにバッファリングされることを必要とする。画像全体がフレームバッファにバッファリングされると、プロセッサは、たとえば、画像全体に対して、空間フィルタもしくは色フィルタを適用したり、ＡＲオーバーレイを適用したり、または、現実的内容の表現的ＶＲ内容（たとえば、画像における物体の「漫画」バージョン）への変換を適用したりすることなどによって、画像内容を修正するために１つ以上のプロセスを実行し得る。次いで、結果として生じる修正画像がディスプレイ装置に提供されて表示される。この比較的長い処理工程により、画像取込みと画像表示との間に、しばしばユーザにとって認知可能なかなりの待ち時間がもたらされる。

図１〜図１０は、画像取込みと画像表示との間の待ち時間を減らすかまたは最小限にするように、ディスプレイシステムにおける像の取込みおよび表示を効率的にするためのさまざまな技術を示す。ディスプレイシステムは、局所環境から像を取込むための１つ以上の撮像センサと、取込まれた像またはその修正表現を表示するディスプレイ装置とを実現する。典型的には、撮像センサは、画像を取込むために数行の画素センサを露光させることによって動作し、次いで、画素センサの各行ごとの画素データが順々に移出される。画像を処理して表示し始める前に、画素データの行（以下、「画素行」）をすべてバッファリングするのではなく、少なくとも１つの実施形態において、ディスプレイシステムは、画像の最後の画素行が撮像センサによって出力される前に、撮像センサによって出力され
た画像の画素行の処理および表示を開始する。例示のために、いくつかの実施形態においては、ディスプレイシステムは、画像についての出力画素行ストリームの「スライディングウィンドウ」を表現する各々の画素行が小型バッファにおける撮像センサから出力されると、一時的にこれら各々の画素行をバッファリングし、バッファに格納された画素行の小さなサブセットを用いて効率的な修正プロセスを１回以上実行し、次いで、バッファから各々の修正画素行に順々にアクセスし、アクセスされた修正画素行でディスプレイ装置の対応する行を駆動する。

この態様では、バッファが画像のうち最初の画素行で満たされている最初の短い期間の後、各々の画素行が撮像センサによって出力されてバッファにバッファリングされると、別の画素行がバッファからアクセスされ、ディスプレイ装置の画素の対応する行に表示される。このため、このプロセスはこの明細書中においては「パススルー表示（pass-through display）」と称され、パススルー表示をもたらすように撮像センサに連結されたディスプレイ装置の構成は、撮像センサからの「ライン」（すなわち画素行）の出力とディスプレイ装置において表示された対応するラインまたは行との間のこの１対１の同期を反映させるための「ラインロック型（line-locked）」ディスプレイと称される。このパスス
ルー表示プロセスでは、画像処理およびその後の表示処理を始める前に画像全体をバッファリングする必要が無くなり、このため、画像取込みと表現的画像の表示との間の遅延が、従来のディスプレイシステムと比べて著しく減じられている。これにより、この明細書中に記載されるパススルー表示システムおよび技術は、従来のディスプレイシステムと比べて、ユーザ経験を向上させる。

例示のために、画像取込み／ディスプレイシステムにおける待ち時間は、光の光子がセンサによってサンプリングされてから光子がディスプレイによってユーザに提示されるまでの時間との間の時間として理解されてもよい。従来のシステムにおいては、この待ち時間は、Ｔｅｘｐ＋Ｔｒｏｗ＋（ｒｏｗｓ＿ｆｒａｍｅ^＊Ｔ＿ｒｏｗ）＋Ｔｓｙｎｃ＋Ｔｃｏｍｐｏｓｅ＋Ｔｄｉｓｐｌａｙとして表現され得る。この場合、Ｔｅｘｐは画像センサ上の画素の露光時間であり、Ｔｒｏｗは、単一の行をセンサから読出す時間であり、ｒｏｗｓ＿ｆｒａｍｅは画像フレームにおける行の数であり、Ｔｃｏｍｐｏｓｅはコンポジタによって導入される時間であり、Ｔｓｙｎｃは、行を出力する準備ができ（歪みおよび合成のために十分に調整され）てから、そのラインのためにディスプレイコントローラの準備ができるまでの時間との間の時間であり、Ｔｄｉｓｐｌａｙは、ディスプレイコントローラがディスプレイ上で画素をアクティブにするのに必要な時間である。この明細書中に記載される例示的な技術により、レンズ歪みに合わせて調整するのに必要な行の数が減らされるかもしくは最小限にされ、または、他のいくつかの画像修正技術が実現され、これにより、コンポーネント（ｒｏｗｓ＿ｆｒａｍｅ^＊Ｔ＿ｒｏｗ）が（ｃ＿ｒｏｗｓ^＊Ｔ＿ｒｏｗ）にまで減じられる。この場合、ｃ＿ｒｏｗｓは、フレームのその部分での所望の修正アルゴリズムを実現するためにフレームからバッファリングされた行の数である。そのため、これらのラインロック技術によって実現される待ち時間の減少は、（ｒｏｗｓ＿ｆｒａｍｅ−ｃ＿ｒｏｗｓ）^＊Ｔ＿ｒｏｗとして表現され得る。さらに、画像センサは、この明細書中に記載される技術を用いて、ディスプレイに同期されたフレームであり得るので、記載された技術は、画像取込みと表示との間の待ち時間に対するＴｓｙｎｃの寄与を排除し得る。

図１は、本開示の少なくとも１つの実施形態に従った、パススルー表示によってＡＲ機能またはＶＲ機能を提供するように構成された電子装置１００を示す。電子装置１００は、ポータブルなユーザ装置、たとえば、頭部装着型ディスプレイ（ＨＭＤ）、タブレットコンピュータ、コンピューティング対応の携帯電話（たとえば「スマートフォン」）、ノート型コンピュータ、携帯情報端末（personal digital assistant：ＰＤＡ）、ゲームコンソールシステムなどを含み得る。他の実施形態においては、電子装置１００は、取付け
装置、たとえば、医療用撮像機器、セキュリティ撮像センサシステム、工業用ロボット制御システム、ドローン制御システムなどを含み得る。例示を容易にするために、電子装置１００は、この明細書中において、ＨＭＤシステムの例示的文脈において概略的に説明されている。しかしながら、電子装置１００はこれらの実現例には限定されない。

図示される例においては、電子装置１００は、表面１０４および対向する別の表面１０６を有するハウジング１０２と、１組のストラップまたはハーネス（明瞭にするために図１から省かれている）とを含む。１組のストラップまたはハーネスは、ユーザがハウジング１０２の表面１０４に向かって面するようにユーザ１１０の頭部にハウジング１０２を装着するためのものである。細い矩形ブロックのフォームファクタで示される例においては、表面１０４および表面１０６はハウジング１０２において実質的に平行である。ハウジング１０２は、他の多くのフォームファクタで実現されてもよく、表面１０４および表面１０６は平行に配向されていなくてもよい。図示されるＨＭＤシステムを実現するために、電子装置１００は、表面１０６に配置されてユーザ１１０に視覚情報を提示するためのディスプレイ装置１０８を含む。このため、参照を容易にするために、表面１０６はこの明細書中においては「前向きの」表面と称され、表面１０４はこの明細書中においては「ユーザの方を向いた」表面と称されており、ユーザ１１０に対する電子装置１００のこの例示的な向きを反映するものとしているが、これらの表面の向きはこれらの関係を表わす呼称によって限定されるものではない。

電子装置１００は、電子装置１００の局所環境１１２に関する情報を得るために複数のセンサを含む。電子装置１００は、前向きの表面１０６に配置された撮像センサ１１４、１１６などの１つ以上の撮像センサを介して、局所環境１１２についての視覚情報（像）を得る。一実施形態においては、撮像センサ１１４は、表面１０６に面する局所環境１１２のより広角の視野を提供するために、魚眼レンズまたは他の広角レンズを有する広角撮像センサとして実現されており、撮像センサ１１６は、表面１０６に面する局所環境１１２のより狭角の視野を提供するために、典型的な画角レンズを有する狭角撮像センサとして実現されている。したがって、撮像センサ１１４および撮像センサ１１６は、この明細書中において、それぞれ「広角撮像センサ１１４」および「狭角撮像センサ１１６」とも称される。

広角撮像センサ１１４および狭角撮像センサ１１６は、それらセンサの視野同士の重なりが電子装置１００から特定の距離を空けて始まるように、前向きの表面１０６上に位置決めして配向され得る。これにより、多視点画像分析によって、局所環境１１２のうち視野が重なっている領域に位置している物体の奥行きを検知することが可能となる。代替的には、表面１０６上に配置された奥行きセンサ１２０は、局所環境における物体についての奥行き情報を提供するために用いられてもよい。奥行きセンサ１２０は、一実施形態においては、調光プロジェクタを用いて、調光パターンを前向きの表面１０６から局所環境１１２に投影し、撮像センサ１１４および撮像センサ１１６のうち一方または両方を用いて、局所環境１１２において調光パターンが物体から反射して戻ってくるときにこれら調光パターンの反射を取込む。これらの調光パターンは、空間的に調整された光パターンまたは時間的に調整された光パターンのいずれかであり得る。取込まれた調光フラッシュの反射は、この明細書中においては「奥行き画像」または「奥行き像」と称される。奥行きセンサ１２０は、次いで、物体の奥行き（すなわち、奥行き像の分析に基づいた電子装置１００から物体までの距離）を計算し得る。奥行きセンサ１２０から結果として得られた奥行きデータは、撮像センサ１１４および１１６によって取込まれた画像データの多視点分析（たとえば立体視的分析）から得られる奥行き情報を較正するかまたは拡張するために用いられてもよい。代替的には、奥行きセンサ１２０からの奥行きデータは、多視点分析から得られる奥行き情報の代わりに用いられてもよい。

撮像センサ１１４および１１６のうちの１つ以上は、局所環境１１２の像を取込むことに加えて、電子装置１００のための他の撮像機能を果たし得る。例示するために、撮像センサ１１４および１１６は、位置および配向の検出をサポートするために、像を取込むなどの視覚的な遠隔測定機能をサポートするために用いられてもよい。さらに、いくつかの実施形態においては、ユーザの方に面する表面１０４に配置された撮像センサ（図示せず）は、ユーザ１１０の頭部の動きを追跡するために、または顔認識のために用いられてもよく、これにより、ディスプレイ装置１０８を介して提示される像を透視する視野を調整するために用いられ得る頭部追跡情報を提供し得る。電子装置１００はまた、位置／配向の検出についての非画像情報に依拠する可能性がある。この非画像情報は、ジャイロスコープまたは周囲光センサなどの１つ以上の非画像センサ（図１には図示せず）を介して電子装置１００によって得ることができる。非画像センサはまた、キーパッド（たとえばタッチスクリーンまたはキーボード）、マイクロホン、マウスなどのユーザインターフェイス構成要素を含み得る。

動作時に、電子装置１００は、撮像センサ１１４、１１６のうちの一方または両方を介して局所環境１１２の像を取込み、取込まれた像を修正するかまたは処理し、処理された取込み像をディスプレイ装置１０８上に表示にするように提供する。取込まれた像の処理は、たとえば、空間フィルタリングもしくは色フィルタリング、ＡＲオーバーレイの追加、像の現実的内容を対応するＶＲ内容に変換することなどを含み得る。図１に示されるように、２つの撮像センサを備えた実現例においては、ディスプレイ装置１０８の右側領域において右側の撮像センサ１１６からの像が処理されて表示されるのと同時に、左側の撮像センサ１１４からの像がディスプレイ装置１０８の左側領域において処理されて表示されてもよく、これにより、取込まれた像の立体視的３Ｄ表示が可能となる。

局所環境１１２の像を取込んでＡＲ修正またはＶＲ修正を施して表示することに加えて、少なくとも１つの実施形態においては、電子装置１００は、画像センサデータおよび非画像センサデータを用いて、電子装置１００の相対的位置／配向（すなわち、局所環境１１２に対する位置／配向）を判断する。この相対的位置／配向情報は、ＳＬＡＭ（simultaneous location and mapping）機能、自己位置認識（visual odometry）または他の位置ベースの機能をサポートするために電子装置１００によって用いられてもよい。さらに、相対的な位置／配向情報は、取込まれた像と共に表示されるＡＲオーバーレイ情報の生成をサポートし得るか、または、取込まれた像の表現に表示されるＶＲ視覚情報の生成をサポートし得る。一例として、電子装置１００は、局所環境１１２をマッピングすることができ、さらに、このマッピングを用いて、マッピング情報から生成されるフロアプランと、電子装置１００の現在の相対的位置から判断されるようなフロアプランに対するユーザの現在位置についてのインジケータとをユーザに表示することなどによって、ユーザによる局所環境１１２内のナビゲーションを容易にし得る。

この目的のために、相対的位置／配向の判断は、撮像センサ１１４および１１６のうちの１つ以上によって取込まれた画像データ内における空間的特徴の検出と、検出された空間的特徴に対して相対的な電子装置１００の位置／配向の判断とに基づいていてもよい。例示するために、図１に示される例においては、局所環境１１２は、３つの角部１２４、１２６および１２８、幅木１３０、ならびに電気コンセント１３２を含むオフィスビルの廊下を含む。ユーザ１１０は、撮像センサ１１４および１１６が玄関のこれらの空間的特徴を含むカメラ画像データ１３４を取込むように、電子装置１００を位置決めして配向している。この例においては、奥行きセンサ１２０はまた、電子装置１００の現在の位置／配向に対するこれらの空間的特徴の相対的距離を反映した奥行きデータ１３８を取込む。さらに、ユーザの方に面する撮像センサ（図示せず）は、ユーザ１１０の頭部の現在位置／配向についての頭部追跡データ１４０を表現する画像データを取込む。ジャイロスコープ、磁力計、周囲光センサ、キーパッド、マイクロホンなどからの読取り値などの非画像
センサデータ１４２は、その現在位置／配向にある電子装置１００によっても収集される。

この入力データから、電子装置１００は、外部ソースからの明確な絶対的位置特定情報なしでも、その相対的な位置／配向を判断することができる。例示するために、電子装置１００は、広角撮像センサ画像データ１３４および狭角撮像センサ画像データ１３６の多視点分析を実行して、電子装置１００と角部１２４、１２６、１２８との間の距離を判断することができる。代替的には、奥行きセンサ１２０から得られた奥行きデータ１３８は、空間的特徴の距離を判断するために用いることができる。これらの距離から、電子装置１００は、局所環境１１２によって表現されるオフィス内のその相対的位置を三角測量するかまたは推量することができる。別の例として、電子装置１００は、画像データ１３４のうち１セットの取込まれた画像フレームに存在する空間的特徴を識別し、これらの空間的特徴までの初期距離を判断し、次いで、後に取込まれた像におけるこれらの空間的特徴の位置および距離の変化を追跡して、電子装置１００の位置／配向の変化を判断することができる。このアプローチでは、ジャイロスコープデータまたは加速度計データなどのいくつかの非画像センサデータは、１つの画像フレームにおいて観察された空間的特徴をその後続の画像フレームにおいて観察される空間的特徴と相互に関連付けるために用いることができる。さらに、電子装置１００によって得られる相対的な位置／配向情報を補足的情報１４４と組合わせて、局所環境１１２のＡＲ視野を、電子装置１００のディスプレイ装置１０８を介してユーザ１１０に提示することができる。この補足的情報１４４は１つ以上のＡＲデータベースを含み得る。１つ以上のＡＲデータベースは、電子装置１００にローカルに格納されているか、または、有線ネットワークもしくは無線ネットワークを介して電子装置１００によってリモートでアクセス可能である。

例示するために、図１に示される例においては、ローカルまたはリモートのデータベース（図示せず）は、局所環境１１２によって表現されるオフィスの壁内に埋込まれた電気的配線についての位置／配向ＣＡＤ（computer-aided drawing）情報を格納する。したがって、電子装置１００は、撮像センサ１１４、１１６を介して局所環境１１２の視野のビデオ像を取込み、電子装置１００の相対的な配向／位置を判断し、局所環境１１２の視野に存在する壁内に位置する電気的配線の位置および配向を判断することができる。電子装置１００は、次いで、ビデオ像において識別された対応する空間的特徴（たとえば角部１２４、１２６および１２８）に対して相対的に位置決めされて配向された電気的配線の視覚的表現を用いて、グラフィカルなＡＲオーバーレイを生成することができる。図１に示されるように、グラフィカルなＡＲオーバーレイは、この図において電気的配線を表現している破線１５２および１５４と、配線タイプ、配線に関連付けられた識別子、および、対応する配線によって電力供給される建築部材などの電気的配線を説明するための説明用の吹出し１５６および１５８とを含み得る。さらに、電子装置１００は、狭角撮像センサ１１６によって取込まれるような局所環境１１２の現在の表示内における電気的配線の位置の図的表現１６０をユーザ１１０に提示するために、ディスプレイ装置１０８においてグラフィカルなオーバーレイおよび取込まれた像を一緒に提示する。電子装置１００が以前の視野に対して相対的に移動すると、電子装置１００は変化した見え方を反映するようにＡＲオーバーレイを更新する。さらに、頭部追跡データ１４０を用いて、ディスプレイ装置１０８に対するユーザ１１０の頭部１２２の位置の変化を検出することができ、これに応じて、電子装置１００は、ディスプレイ装置１０８に対するユーザ１１０の視野角の変化を反映するように、表示された図的表現１６０を調整することができる。

別の例として、ローカルまたはリモートのＡＲデータベースを用いることにより、電子装置１００による屋内のナビゲーションを容易にすることができる。例示するために、局所環境１１２は、ショッピングモールの内部を表現することができ、特定の店舗を捜し出したいとの要望を示すユーザ入力を受取ったことに応じて、電子装置１００は、ＡＲデー
タベースにアクセスして、その現在の位置に対する店舗の位置を判断することができる。この情報を用いれば、電子装置１００は、（たとえば、「右折」、「左折」「真っすぐに直進」または「方向転換」の矢印図の表示により）電子装置１００が向けられている現在の方向に対する店舗の方向を識別するグラフィカルなオーバーレイを、撮像センサ１１４および１１６のうち１つ以上によって現在取込まれているビデオ像の上に、表示することができる。

図１の例においては、電子装置１００はＨＭＤシステムとして実現される。このため、撮像センサ１１４および１１６は、ユーザ１１０が局所環境１１２を通って移動するせいで、大幅に動いてしまうこととなる。電子装置１００が特定の位置／配向に配置されているときに行われる像の取込みと取込まれた像の表示との間に生じる認知可能な遅れはいずれも、ユーザ１１０の方向感覚を著しく狂わせてしまう可能性がある。したがって、画像の取込みと画像の表示との間の遅れを減らすために、少なくとも１つの実施形態においては、電子装置１００は、各々の画像が撮像センサのうちの１つによって取込まれて、画像の各画素行の連続出力が撮像センサによって開始されたときに、画像の最後の画素行が撮像センサによって出力される前に電子装置１００が画像の画素行の処理および表示を開始するように、撮像センサ１１４および１１６のうちの一方または両方によって取込まれた像のパススルー表示を行なう。すなわち、最初のバッファリングがほんのわずかだけ遅れた後、各々の画素行が撮像センサによって出力されると、先に出力された画素行がディスプレイ装置１０８に表示され、これにより、ディスプレイ装置１０８が撮像センサ１１４および１１６のうち一方または両方にラインロックされる。このパススルー表示プロセスのための例示的なシステムおよび技術が、図５〜図９に関連付けて、以下においてより詳細に記載される。

図２および図３は、それぞれ、本開示の少なくとも１つの実施形態に従った、電子装置１００の実現例をＨＭＤフォームファクタで示す正面平面図および背面平面図を例示する。電子装置１００は、例示されるものと同様の構成を実現する他のフォームファクタ、たとえばスマートフォンのフォームファクタ、タブレットのフォームファクタ、医療用画像装置のフォームファクタなど、で実現されてもよい。

図２の正面平面図２００によって示されるように、電子装置１００は、前向きの表面１０６に配置された撮像センサ１１４、１１６と、奥行きセンサ１２０の調光プロジェクタ２０２とを含み得る。図２および図３は、図４における断面図の例示のために、直線に沿って位置合わせされた撮像センサ１１４、１１６および調光プロジェクタ２０２を示しているが、撮像センサ１１４、１１６および調光プロジェクタ２０２は互いにずらされていてもよい。

図３の背面平面図３００によって示されるように、電子装置１００は、表面１０４に配置されたディスプレイ装置１０８と、（ストラップまたはハーネスとともに使用される）ユーザ１１０の顔に電子装置１００を固定するための顔用パッキン３０２と、ユーザ１１０の左眼および右眼のそれぞれに対する接眼レンズ３０４および３０６とを含む。背面平面図３００に示されるように、接眼レンズ３０４は、ディスプレイ装置１０８の表示区域の左側領域３０８と位置合わせされ、接眼レンズ３０６はディスプレイ装置１０８の表示区域の右側領域３１０と位置合わせされている。このため、立体表示モードでは、撮像センサ１１４によって取込まれた像は、左側領域３０８に表示されて、接眼レンズ３０４を介してユーザの左眼によって視認され得るとともに、撮像センサ１１６によって取込まれた像は、右側領域３１０に表示されて、接眼レンズ３０６を介してユーザの右眼によって視認され得る。

図４は、本開示の少なくとも１つの実施形態に従った、図２および図３の平面図に示さ
れた線２０４に沿ってユーザ１１０の頭部４０２に装着される電子装置１００の例示的な断面図４００を示す。例示されるように、電子装置１００は、ハウジング１０２のうち前向きの表面１０６における対応するアパーチャまたは他の開口部に配置された撮像センサ１１４、１１６および調光プロジェクタ２０２と、ハウジング１０２のうちユーザの方に面する表面１０４における対応するアパーチャまたは他の開口部に配置された接眼レンズ３０４および３０６と、ハウジング１０２内の接眼レンズ３０４および３０６から遠位側に配置されたディスプレイ装置１０８とを含む。撮像センサ１１４は、画像センサ４０８と、画像センサ４０８の検知面上に配置された１つ以上の光学レンズ４１０とを含む。同様に、撮像センサ１１６は、画像センサ４１２と、画像センサ４１２の検知面上に配置された１つ以上の光学レンズ４１４とを含む。各々の撮像センサのために実現されるレンズのタイプは、撮像センサの意図される機能に左右される。たとえば、レンズ４１０は、たとえば、既知の高い歪みがある状態で１６０度〜１８０度の画角を有する広角レンズまたは魚眼レンズとして実現されてもよく、撮像センサ１１６のレンズ４１４は、たとえば水平に８０度〜９０度の画角を有する狭角レンズとして実現されてもよい。これらの画角が単に例示的なものに過ぎないことに留意されたい。

いくつかの実施形態においては、電子装置１００の撮像センサ１１４、１１６、ディスプレイ装置１０８および他の構成要素の動作を制御およびサポートする電子部品のうちのいくつかまたはすべては、断面図４００においてブロック４２０によって表現されるようにハウジング１０２内に実現されてもよく、図５に関連付けて以下に詳細に記載されている。ブロック４２０は例示を容易にするために一体構造のブロックとして示されているが、これらの電子部品が単一のパッケージもしくは構成要素として、または１組の相互接続された離散的な電子部品として実現され得ることが認識されるだろう。さらに、いくつかの実施形態においては、これらの電子部品のうちのいくつかまたはすべてはハウジング１０２に対して遠隔で実現されてもよい。例示するために、ディスプレイシステムの処理構成要素は、タブレットコンピュータ、ノート型コンピュータ、デスクトップコンピュータ、コンピュータ計算対応の携帯電話などの別個の装置において実現されてもよく、１つ以上の無線接続または有線接続を介して、撮像センサ１１４、１１６およびディスプレイ装置１０８を組込んだＨＭＤに接続されている。

図５は、本開示の少なくとも１つの実施形態に従った、電子装置１００によって実現される例示的な処理システム５００を示す。処理システム５００は、ディスプレイ装置１０８、撮像センサ１１４、１１６、および奥行きセンサ１２０を含む。処理システム８００はさらに、コンポジタ５０２、画素行バッファ５０３および５０５、アプリケーションプロセッサ５０４、ディスプレイコントローラ５０６、システムメモリ５０８、非画像センサのセット５１０、ならびにユーザインターフェイス５１２を含む。ユーザインターフェイス５１２は、電子装置１００にユーザ入力を提供するためにユーザによって操作される１つ以上の構成要素、たとえば、タッチスクリーン５１４、マウス、キーボード、マイクロホン５１６、さまざまなボタンまたはスイッチ、およびさまざまな触覚型アクチュエータ５１８など、を含む。非画像センサのセット５１０は、電子装置１００の非画像の情状況または状態を提供するのに用いられる任意のさまざまなセンサを含み得る。このようなセンサの例として、ジャイロスコープ５２０、磁力計５２２、加速度計５２４および周囲光センサ５２６が含まれる。非画像センサはさらに、さまざまな無線受信または送信ベースのセンサ、たとえば、ＧＰＳレシーバ５２８、無線ローカルエリアネットワーク（wireless local area network：ＷＬＡＮ）インターフェイス５３０、セルラーインターフェ
イス５３２、ピア・ツー・ピア（peer-to-peer：Ｐ２Ｐ）無線インターフェイス５３４、および近距離無線通信（near field communications：ＮＦＣ）インターフェイス５３６
などを含み得る。非画像センサはまた、タッチスクリーン５１４またはマイクロホン５１６などのユーザインターフェイス５１２のユーザ入力コンポーネントを含み得る。

電子装置１００はさらに、その画像処理、位置マッピングおよび位置利用プロセスと共に用いられる情報またはメタデータを格納するさまざまなデータストア５４２にアクセスする。データストア５４２は、電子装置１００の撮像センサによって取込まれた像から識別される２Ｄまたは３Ｄの空間的特徴についてのメタデータを格納するための空間的特徴データストアと、電子装置１００によって既に探索されていた局所環境１１２（図１）の区域についてのマッピング情報などのＳＬＡＭベースの情報を格納するＳＬＡＭデータストアと、局所環境１１２における対象となる物体の相対的位置についてのＣＡＤベースの表現などのＡＲオーバーレイ情報またはＶＲ情報を格納するＡＲデータストアとを含み得る。データストアはハードドライブ、ソリッドステートメモリまたはリムーバブル記憶媒体（図示せず）上などにおいて電子装置１００にとってローカルであってもよく、データストアは１つ以上のサーバにおいてリモートに配置されて、たとえば電子装置１００の無線インターフェイスのうち１つ以上を介してアクセス可能であってもよく、または、データストアはローカルデータストレージとリモートデータストレージとの組合せとして実現されてもよい。

動作の際に、撮像センサ１１４および１１６は局所環境の像を取込み、コンポジタ５０２は取込まれた像を処理して修正像を生成し、ディスプレイコントローラ５０６はディスプレイ装置１０８に修正像を表示するようにディスプレイ装置１０８を制御する。同時に、アプリケーションプロセッサ５０４は、オペレーティングシステム（operating system：ＯＳ）５４０および他のソフトウェアプログラムを実行して、取込まれた像と組合わせてさまざまな機能を提供する。たとえば、奥行きセンサ１２０によって取込まれた取込み像または奥行き情報における空間的特徴を検出するための空間的特徴検出プロセス、検出された空間的特徴または非画像センサのセット５１０によって提供される非センサ情報に基づいた電子装置１００の現在位置／配向の検出、取込まれた像と共に表示されるべきＡＲオーバーレイの生成、取込まれた像の表現に加えて、または取込まれた像の表現として表示されるべきＶＲ内容など、である。

図６および図７に関連付けて以下にさらにより詳細に記載されるように、少なくとも１つの実施形態においては、処理システム５００は、撮像センサによって取込まれた像のパススルー表示を可能にするために、撮像センサ１１４、１１６およびディスプレイ装置１０８をラインロックされた構成で用いる。この実現例においては、撮像センサ１１４によって取込まれた各画像は、行ごとに画素行バッファ５０３に移出される。次いで、画素行バッファ５０３は、直前に出力された画素行よりも前に出力された画素行のサブセットと共に、直前に出力された画素行をバッファリングするように動作する。同様に、撮像センサ１１６によって取込まれた各画像は、行ごとに画素行バッファ５０５に移出される。画素行バッファ５０５は、撮像センサ１１６から事前に出力された画素行のサブセットと共に、撮像センサ１１６から直前に出力された画素行をバッファリングするように動作する。同時に、ＯＳ５４０または他のコンピュータプログラムがアプリケーションプロセッサ５０４によって実行されて、各画像と共に表示されるべきＡＲオーバーレイが決定され、結果として生じるＡＲオーバーレイ情報がコンポジタ５０２に提供される。コンポジタ５０２は、画素行の対応する位置に関連付けられたＡＲオーバーレイ情報を組込むように、画素行バッファにおける１つ以上の画素行を修正する。コンポジタ５０２はさらに、対応する画素行バッファにバッファリングされる画素行を用いて、エッジ検出または他の空間フィルタリング、色フィルタリングなどのさまざまな付加的な画像処理機能を、バッファリングされた画素行の比較的小さなサブセットを用いて、実行し得る。取込まれた画像のための新しい画素行が画素行バッファに移されると、取込まれた画像のうちの処理された画素行が行バッファから移出され、ディスプレイコントローラ５０６に提供される。ディスプレイコントローラ５０６は、さらに、受取った修正画素行を表示するようにディスプレイ装置１０８を操作する。このアプローチにおいては、取込まれた画像について結果として生じる修正表現は、撮像センサが取込まれた画像を出力し終わる前に表示され始めら
れる可能性があり、これにより、画像全体が移出されて全体としてバッファリングされてからでないと表示処理が開始できないような従来のシステムと比べて、画像取込みと表示との間の遅れが減じられる。

撮像センサ１１４および１１６のそれぞれの画像センサ４０８および４１２は、電荷結合素子（charge coupled device：ＣＣＤ）ベースのセンサ、相補性金属酸化膜半導体（complementary metal-oxide-semiconductor：ＣＭＯＳ）アクティブ画素センサなど、として実現することができる。ＣＭＯＳベースの実現例において、画像センサはローリング・シャッター・センサを含んでもよく、これにより、画像センサの画素センサのうちの１つ以上の行のサブセットが読出されるが、この間、センサ上の他のすべての行が露光され続けている。このアプローチは、露光時間がより長いかまたは使用可能な感光面積がより広いことにより、感度が高くなるという利点を有するが、高速物体がフレームに取込まれることにより、歪みが起こり易いという欠点もある。歪みの影響は、ローリング・シャッターにおいて全体的なリセット機構を実現することによって最小限にすることができ、このため、センサ上の画素がすべて、電荷を行ごとではなく同時に蓄積し始めるようになる。ＣＣＤベースの実現例においては、画像センサは、全体的なシャッタセンサとして実現することができる。これにより、センサの画素がすべて同時に露光され、次いで、シールド区域に移送され、さらに、次の画像フレームが露光されている間に行ごとに移出され得る。このアプローチは、歪みが起こりにくいという利点を有するが、画素ごとに追加の電子機器が必要になるせいで感度が全体的に低下するという欠点もある。さらに、全体的なリセット機構がアーティファクトをもたらし、これにより、各行の露光時間の量に相違が生じてしまう（露光の合計時間が最上行から最下行に向かって減少する）ので、かつ、一定の照明条件を前提とするとこの相違により露光時間が直線的に変化してしまうので、コンポジタ５０２は、画素行バッファ５０３および５０５における画素行をこれに応じて修正することによって、この露光の相違に合わせて調整を行ない得る。

図６は、本開示の少なくとも１つの実施形態に従った、撮像センサ１１４、画素行バッファ５０３、コンポジタ５０２、ディスプレイコントローラ５０６およびディスプレイ装置１０８を含むサブシステムをより詳細に示す。撮像センサ１１６および画素行バッファ５０５は、コンポジタ５０２、ディスプレイコントローラ５０６およびディスプレイ装置１０８に関して同様の態様で構成されてもよい。図示される実施形態においては、撮像センサ１１４はセンサアレイ６０４およびアレイ制御論理６０６を含む。センサアレイ６０４は１組の画素センサ行（図示せず）を含む。各々の画素センサ行は、画素の対応する行のための光を、蓄積された電荷の形態で集めるための回路類を含む。蓄積された電荷は、画素行における各々の画素「位置」において取込まれて、対応する画像フレームのためのその画素行内の画素位置についての「画像データ」または「画像内容」を表現する。アレイ制御論理６０６は、（「ＦＲＡＭＥ＿ＣＬＫ」として図６に表わされる）フレームクロック６１６に同期されるように、センサコントローラ６０８から受取ったさまざまな制御シグナリング（（それぞれ「リセット（ＲＥＳＥＴ）」、「読出し（ＲＥＡＤＯＵＴ）」および「露光（ＥＸＰＯＳＥ）」として図６に表わされる）リセットシグナリング６１０、読出しシグナリング６１２および露光信号６１４を含む）に応じて各画素行からの画像データの実行、終了および読出しを制御する。リセットシグナリング６１０のアサーションに応じて、アレイ制御論理６０６は、センサアレイ６０４の「全体的なリセット」に影響を及ぼす。この場合、センサアレイ６０４の全画素行の回路類がリセットされ、これにより、センサアレイ６０４に存在するいずれの蓄積電荷もクリアされる。露光信号６１４のアサーションに応じて、アレイ制御論理６０６は、シャッター信号６２０のアサーションによって、上を覆っている機械的または電子的シャッター６１８の開口を開始し、これにより画素センサ行を露光させて、対応する画像のための画像データの取込みを表現する電荷を蓄積し始めるようにする。読出しシグナリング６１２のアサーションに応じて、アレイ制御論理６０６は、露光のために実行されるのと同じ順序で各画素行の露光を終了さ
せるプロセスを開始し、センサアレイ６０４からの画素データを各画素センサ行から順々に移出するプロセスを開始する。

画素行バッファ５０３は、撮像センサ１１４の出力に連結されて、撮像センサ１１４から順番に出力される各画素行を受取るための入力と、各々が対応する画素行を格納すべき１セットの１つ以上のバッファエントリ６２３（図６に示される４つのエントリなど）と、処理された画素行を順番に供給するための出力とを有する。図６に示される実施形態においては、画素行バッファ５０３は、アクセス衝突を避けるためにダブルバッファリング型の実現例を有する。これにより、画素行バッファ５０３は、画素行バッファエントリのうち１つのコピー６２１と、画素行バッファエントリのうち別のコピー６２２とを交互にして、入来する画素行を格納する。画素行バッファ５０３はさらにスイッチング回路類６２４を含む。スイッチング回路類６２４は、マルチプレクサ６２６、６２８、６３０、６３２およびバッファコントローラ６３４を含む。バッファコントローラ６３４は、撮像センサ１１４、コンポジタ５０２およびディスプレイコントローラ５０６による適切なバッファエントリ６２３へのアクセスを容易にするようにこれらマルチプレクサを制御するためのものである。

コンポジタ５０２は、スイッチング回路類６２４を介して画素行バッファ５０３に連結された入力および出力を有する。コンポジタ５０２は、撮像センサ１１４から入来する画素行を受取るのにその時点では用いられていない画素バッファ行コピーにおいてバッファリングされた画素行を処理するように動作する。この目的のために、コンポジタ５０２はオーバーレイ回路類６３６を含み得る。オーバーレイ回路類６３６を用いて、１つ以上のバッファリングされた画素行を修正することにより、処理されている時点での画像タイムスロットの最中にアプリケーションプロセッサ５０４から受取られたＡＲオーバーレイデータ６３８における対応する画像行位置についての画像情報が組込まれる。撮像センサ１１４によって取込まれた画像の表示とＡＲオーバーレイ情報の表示との間の適切な同期を確実にするために、コンポジタ５０２は同期回路類６４０を含み得る。同期回路類６４０は、ＡＲオーバーレイ情報を適切なタイミングで組込むことを確実にするために、ＡＲオーバーレイデータ６３８の一部として提供されるタイムスタンプ情報を分析する。さらに、コンポジタ６０２はフィルタリング回路類６４２を含み得る。フィルタリング回路類６４２は、エッジ検出／強調化、空間歪み補正、色歪み補正などの１つ以上のフィルタリングプロセスを適用することによって１つ以上のバッファリングされた画素行を修正するために用いられる。

ディスプレイコントローラ５０６は、画素行バッファ５０３の出力に連結された入力と、ディスプレイ装置１０８に連結された少なくとも１つのスキャンアウトライン６４４とを有する。図６に示されるように、ディスプレイ装置１０８は、列ドライバ６４８および行ドライバ６５０によって選択的に起動される（発光ダイオード（light emitting diode：ＬＥＤ）または有機発光ダイオード（organic light emitting diode：ＯＬＥＤ）などの）ディスプレイ要素６４６のアレイ６４５から構成されてもよい。ディスプレイコントローラ５０６は、画素行バッファ５０３から処理済みの各画素行を順番に受取り、受取った画素行毎に、受取った画素行の行位置に基づいてアレイ６４５の行を示す行選択インジケータ６５２を行ドライバ６５０に提供し、受取った画素行における画素の画素値を表現する画素行データ６５４を列ドライバ６４８に提供する。行ドライバ６５０および列ドライバ６４８は、次いで、これらの入力に基づいてアレイ６４５に対するそれぞれの出力を制御して、アレイ６４５の対応する行におけるディスプレイ要素６４６を選択的に起動することにより、アレイ６４５のその行において画素行の表現を表示するようにする。

図６は、撮像センサ１１４からの出力行が画素行バッファ５０３において一時的にバッファリングされてコンポジタ５０２によって処理されている実現例を示しているが、いく
つかの実施形態においては、撮像センサ１１４は、各々の行が出力されると、これら各々の行がディスプレイ１０８の対応する行においてディスプレイコントローラ５０６によって直接表示され得るように、ディスプレイコントローラ５０６に直接連結されていてもよい。このような場合、撮像センサ１１４は、ディスプレイと適合したフォーマットで画素データを出力するように構成されているか、または、ディスプレイ１０８は撮像センサ１１４の出力フォーマットを受付けるように構成されている。例示するために、多くの従来の撮像センサが、典型的には、ＭＩＰＩカメラシリアルインターフェイス（camera serial interface：ＣＳＩ）フォーマットで画素データを出力するのに対して、ディスプレイ
は、典型的には、ＭＩＰＩディスプレイシリアルインターフェイス（display serial interface：ＤＳＩ）フォーマットで表示データを受付けるように構成されている。したがって、一実現例においては、撮像センサ１１４は、ＭＩＰＩ ＤＳＩフォーマットで画素行を出力し得るか、または代替的には、ディスプレイ１０８は、ＭＩＰＩ ＣＳＩフォーマットで画素データを受付けるように構成され得る。

図７は、少なくとも１つの実施形態に従った、電子装置１００の撮像センサによって取込まれた像をパススルー表示するための動作の例示的な方法７００を示す。参照を容易にするために、方法７００は、図５および図６の処理システム５００の実現例の文脈に記載されている。上述のように、撮像センサ１１４および１１６は、一連の画像（すなわちビデオ）の形式で局所環境の像を取込むように動作する。方法７００は、各画像ごとにこの順序で電子装置１００によって繰返されるプロセスを表現する。したがって、方法７００はブロック７０２から始まり、撮像センサ（たとえば以下の説明の場合、撮像センサ１１４）によって画像の取込みが開始される。上述のように、センサコントローラ６０８は、たとえば、リセット信号６１０のアサーションによってセンサアレイ６０４をリセットし、次いで、センサアレイ６０４の画素センサ行の露光を開始するように信号６１４をアサートすることによって、画像の取込みを開始し得る。

センサアレイ６０４が露光されていれば、ブロック７０４において、センサコントローラ６０８は、ＲＥＡＤＯＵＴ信号６１２をアサートすることにより、センサアレイ６０４において取込まれた画像の画素行の読出しを開始する。この信号のアサーションに応じて、アレイ制御論理６０６は、各画素センサ行に順々に格納されたデータを移出し始める。各画素行が撮像センサ１１４によって出力されると、各画素行は画素行バッファ５０３の対応するエントリにおいてバッファリングされる。図６のダブルバッファリング型実現例においては、バッファコントローラ６３４は、最初に画素行バッファ５０３のコピー６２１を選択して、撮像センサ１１４によって出力された画素行をバッファリングし始める。コピー６２１のエントリ６２３がすべて埋められると、バッファコントローラ６３４が、撮像センサ１１４から入来する画素行を格納するために画素行バッファ５０３のコピー６２２を用いるように切換えられ、次いで、コピー６２１はそこに格納された画素データを処理するためにコンポジタ５０２にとって利用可能になる。次いで、コピー６２２のエントリ６２３がすべて画素行で満たされると、バッファコントローラ６３４は、コピー６２１に格納されたすべての画素行を無効にし、次いで、撮像センサ１１４から入来する画素行の次のサブセットを格納するためにコピー６２１を利用可能にする。同時に、バッファコントローラ６３４はバッファリングされた画素データを処理するために、コピー６２２をコンポジタ５０２にとって利用可能にする。画像の画素行のすべてが撮像センサによって出力されてしまうまで、画素行を格納してその後の処理を行なうためにコピー６２１とコピー６２２とを交互にするこのプロセスが繰返される。

画像を取込むプロセスよりも前に、または当該プロセス中に、ＯＳ５４０またはアプリケーションプロセッサ５０４における他のソフトウェアプログラムは、取込まれている画像と組合わせられるべきＡＲオーバーレイを決定し、さらに、ブロック７０６において、このＡＲオーバーレイを表現するＡＲオーバーレイデータ６３８をコンポジタ５０２に提
供する。ＡＲオーバーレイの内容は、撮像センサ１１４によって出力されている画像の取込みまたは表示の時に、電子装置１００の位置／配向の予測に少なくとも部分的に依拠する可能性がある。例示するために、データストア５４２は、電子装置１００が動作している局所環境についての仮想物体の３Ｄモデルを格納し得るとともに、アプリケーションプロセッサ５０４は、事前に取込まれた像において検出される空間的特徴、ジャイロスコープおよび加速度計の読取り値から得られる配向および運動量の情報などのさまざまな入力に基づいて、来たるべき時間Ｔにおける電子装置１００の位置および配向を予測し得る。さらに、この予測された位置および配向から、アプリケーションプロセッサ５０４は、３Ｄモデルのいくつかの仮想物体の表示を、これら仮想物体が予測された位置および配向から現われるのに応じてレンダリングし得る。こうして、アプリケーションプロセッサ５０４は、このレンダリングされた表示を、時間Ｔにおいて表示されることになっている取込み画像に組込まれるようにアプリケーションオーバーレイとして提供し得る。

画素行バッファ５０３のコピーを切換えるバッファコントローラ６３４が、ブロック７０８において、コンポジタ５０２をトリガして、現在バッファリング中の受信画素行から切換えられているとともに画素行バッファ５０３のコピーに格納された画素データを処理し始める。この処理は、たとえば、バッファリングされた画素の行位置に対応するＡＲオーバーレイの領域を、バッファリングされた画素行に組込むコンポジタ５０２のオーバーレイ回路類６３６を含み得る。いくつかの実施形態においては、アプリケーションプロセッサ５０４は、時間Ｔよりも十分に前に、時間Ｔにおいて表示されるべき画像のためのＡＲオーバーレイを決定する。このため、ＡＲオーバーレイがフレームバッファにバッファリングされ得るとともに、コンポジタ５０２が、取込まれた画像についての対応するバッファリングされた画素行を処理するときに、フレームバッファからＡＲオーバーレイの各行にアクセスし得る。他の実施形態においては、アプリケーションプロセッサ５０４およびコンポジタ５０２はアプリケーションプロセッサ５０４が取込まれた画像のうち対応する画素行の処理と同期してＡＲオーバーレイの各行を提供するように、ＡＲオーバーレイデータを同期させる。いずれの場合にも、同期回路類６４０は、ＡＲオーバーレイが正確な取込み画像に同期されることを確実にするために、各ＡＲオーバーレイに関連付けられたタイムスタンプ情報にアクセスするように動作する。ブロック７０８において実行される処理はさらに、たとえば、空間フィルタリング、色フィルタリング、エッジ強調化、色ベース変換などを含み得る。

コンポジタ５０２が画素行バッファ５０３の選択されたコピーにあるバッファリングされた画素行の処理を完了した後、ブロック７１０において、バッファコントローラ６３４は、各画素行を画素行バッファ５０３のうち選択されたコピーからディスプレイコントローラ５０６へと順々に出力し始める。ディスプレイコントローラ５０６は、次いで、ディスプレイ要素６４６のアレイ６４５における対応する行（またはライン）として受取った各画素行を表示するようにディスプレイ装置１０８を制御する。

取込まれた画像の最後の画素行が撮像センサ１１４から出力されていれば、プロセスフローはブロック７０２および７０６に戻り、取込まれて表示されるべき次の画像のために、方法７００が電子装置１００によってさらに繰返される。方法７００によって実証されるように、電子装置１００は、像を取込む撮像センサにラインロックされるディスプレイ装置を用いることによって、取込まれた像のパススルー表示を提供する。画素行バッファ５０３が、撮像センサ１１４によって出力された画素行の最初のサブセットで満たされるのに応じて遅れが最初にもたらされるが、この遅れは典型的なヒトの知覚のしきい値に関して問題にはならないほどわずかなものである。たとえば、画素行バッファ５０３について１０８０ｐ（１０８０行）の高精細解像度、６０フレーム／秒のリフレッシュレート、および４画素行であると想定すると、画素行は、約１５マイクロ秒ごとのレートで出力され、このため、撮像センサ１１４からの第１の画素行で画素行バッファ５０３を初期化す
るために約６０マイクロ秒の初期遅れが存在することとなる。これは、表示状況において人にとって認知可能となるべく示される典型的な最短期間よりも短い桁であり、このため、この初期のバッファリング遅れと、コンポジタ５０２による関連する処理とによってもたらされる遅延はユーザ１１０にとって感知できないものである。

これらの例は、１つの撮像センサによって取込まれる像のパススルー表示の文脈において記載されているが、多くの実現例においては、２つ以上の撮像センサによって取込まれた像が同時に表示されてもよい。図８および図９は、このような実現例におけるパススルー表示を提供するための例示的な技術を示す。図８は、撮像センサ１１４、１１６、画素行バッファ５０３、５０５、ディスプレイコントローラ８０６（ディスプレイコントローラ５０６の一実施形態）、およびディスプレイ装置８０８（ディスプレイ装置１０８の一実施形態）を有する電子装置１００の実現例を示す。この実現例においては、ディスプレイコントローラ８０６は２つのスキャン出力を有し、ディスプレイ装置８０８は２つのスキャン入力を有しており、これにより、２つの画素ストリームを、独立して、かつ同時にディスプレイ装置８０８において並べて表示することが可能となる。代替的には、ディスプレイ装置８０８は、代わりに、各々が単一のスキャン入力を備えている２つの隣り合って並んだディスプレイとして実現されてもよい。このため、撮像センサ１１４によって出力される画素行ストリーム８０３のスライディングウィンドウは画素行バッファ５０３においてバッファリングされ、ディスプレイコントローラ８０６は、画素行バッファ５０３からバッファリングされた画素行に連続的にアクセスして、ラスタスキャンオーダーでディスプレイ装置８０８（または左側のディスプレイ）の左側領域８１０における対応する行を駆動する。同時に、撮像センサ１１６によって出力される画素行ストリーム８０５のスライディングウィンドウが画素行バッファ５０５においてバッファリングされ、さらに、ディスプレイコントローラ８０６が、画素行バッファ５０５からバッファリングされた画素行に連続的にアクセスして、ラスタスキャンオーダーでディスプレイ装置８０８（または別個の右側ディスプレイ）の右側領域８１２における対応する行を駆動する。こうして、この実現例においては、ディスプレイ装置８０８は、撮像センサ１１４および１１６の両方からの取込み画像を同時に表示し得る。

図９は、撮像センサ１１４、１１６、画素行バッファ５０３、５０５、ディスプレイコントローラ９０６（ディスプレイコントローラ５０６の一実施形態）、およびディスプレイ装置９０８（ディスプレイ装置１０８の一実施形態）を有する電子装置１００の代替的な実現例を示す。この実現例においては、ディスプレイコントローラ９０６は、単一のスキャン入力を有し、ディスプレイ装置９０８は単一のスキャン入力を有する。そのため、画像カメラ１１４および１１６からの１つの画像だけがいずれの所与の時間においてもディスプレイ装置９０８上に表示され得る。この場合、撮像センサ１１４および１１６の画像取込みレートが、ディスプレイ装置９０８のフレームレートの半分に設定されてもよく、ディスプレイコントローラ９０６は、撮像センサ１１４によって取込まれた画像と、撮像センサ１１６によって取込まれた画像とを交互に表示してもよい。ビュー９０７によって示されるように、撮像センサ１１４が時間０において選択されると、撮像センサ１１４によって出力される画素行ストリーム９０３は、画素行バッファ５０３においてバッファリングされ、さらに、ディスプレイコントローラ９０６は、画素行バッファ５０３からバッファリングされた画素行に連続的にアクセスして、ラスタスキャンオーダーでディスプレイ装置９０８の左側領域９１０における対応する行を駆動する。同時に、ディスプレイコントローラ９０６は、右側領域９１２内のディスプレイ要素がインアクティブなままとなるようにディスプレイ装置９０８を制御し、これにより、黒の画像または空白の画像をユーザの右眼に提示するようにする。その後、ビュー９０９によって示されるように、撮像センサ１１４が次に時間１において選択されると、撮像センサ１１６によって出力される画素行９０５が画素行バッファ５０３においてバッファリングされ、さらに、ディスプレイコントローラ９０６が、画素行バッファ５０５からバッファリングされた画素行にア
クセスして、ラスタスキャンオーダーでディスプレイ装置９０８の右側領域９１２における対応する行を駆動する。同時に、ディスプレイコントローラ９０６は、左側領域９１０内のディスプレイ要素がインアクティブなままとなるようにディスプレイ装置９０８を制御し、これにより、黒の画像または空白の画像をユーザの左眼に提示するようにする。こうして、この実現例においては、ディスプレイ装置８０８は、画像の左眼表示と右眼表示とを交互にして、片方の眼に空白領域または黒色領域が提示されるようにし得る。しかしながら、表示速度が十分に高ければ、空白領域／黒色領域はユーザ１１０にとって感知不可能となり、このため、ユーザの経験に悪影響を及ぼすことはないだろう。

撮像センサにおいて見出されるようなレンズまたは頭部装着型ディスプレイ（ＨＭＤ）実現例の接眼レンズにおいて見出されるレンズなどの光学レンズは、典型的には、バレル歪み、ピンクッション歪みまたは複雑な歪み（「マスタッシュ歪み」とも称される）などの何らかの形式の空間歪みを表示工程にもたらす。従来より、ディスプレイシステムは、バッファリングされた画像に存在する空間歪み、またはバッファリングされた画像が接眼鏡のレンズを介して視認されるときにもたらされるであろう空間歪みを補償するために、各々のバッファリングされた画像上で１つ以上の歪曲変形を実行することによって、これらの空間歪みを少なくとも部分的に補正することができる。しかしながら、上述のパススルー表示プロセスを用いることにより、このような空間歪みの完全な補正が妨げられる可能性がある。なぜなら、歪曲変形のせいで、バッファリングされるよりも多くの画素行を十分に効果的にする必要があるからであるか、または、画素行が表示される前にバッファリングされる時間では、歪曲変形を適用する時間が不十分であるからである。したがって、いくつかの実施形態においては、電子装置１００のＨＭＤシステム実現例におけるレンズ、または表示工程における少なくとも２つのレンズを用いる他の実現例におけるレンズは、当該工程におけるレンズのうちの１つによってもたらされる空間歪みが当該工程における他のレンズによってもたらされる相補的な空間歪みによって少なくとも部分的に訂正または補償されるように、選択され得る。

図１０は、この相補的なレンズアプローチについての２つの実現例を示す。両方のシナリオについて、パススルー表示システムのディスプレイ経路１０００は、撮像センサ１００２を有する。撮像センサ１００２は、光学カメラレンズ１００４（撮像センサ１１４および１１６の一実施形態）と、撮像センサ１００２によって取込まれた像を表示するためのディスプレイ装置１００８（ディスプレイ装置１０８の一実施形態）と、ユーザが表示された像をみるのに用いる接眼レンズ１００６（接眼レンズ３０４および３０６の一実施形態）とを備える。

図１０の上半分に示されるシナリオ１００１においては、広角レンズは、たとえば、マシン・ビジョンの用途をサポートする撮像センサ１００２の企図された使用のために、カメラレンズ１００４として実現するために選択される。広角レンズがバレル歪みをもたらす傾向があるため、このシナリオにおいて撮像センサ１００２によって取込まれた像は、取込まれた像にバレル歪みを伝える可能性が高くなり、これにより、取込まれた像の表示はバレル歪みの影響も呈するだろう。画像におけるバレル歪みは、ピンクッション歪みをもたらすレンズを介して画像を視認することによって、少なくとも部分的に補正され得る。すなわち、ピンクッション歪みはバレル歪みに対して相補的であり、その逆もまた同様に相補的である。このため、カメラレンズ１００４によってもたらされるバレル歪みを光学的に補償するために、相補的な程度のピンクッション歪みをもたらすレンズを接眼レンズ１００６として実現するために選択することができる。ユーザが接眼レンズ１００６を介して表示画像を観察すると、カメラレンズ１００４からの表示画像におけるバレル歪みは、接眼レンズ１００６によってもたらされるピンクッション歪みによって少なくとも部分的に補正される。

図１０の下半分に示されるシナリオ１００３においては、広角レンズは、接眼レンズ１００６とディスプレイ装置１００８との間に焦点距離があるせいで接眼レンズ１００６として実現するために選択される。上述のように、広角レンズはバレル歪みを起こしやすい。このため、如何なる空間歪みもないディスプレイ装置１００８上に表示された画像は、接眼レンズ１００６を介して見たときにバレル歪みを呈することとなる。このため、表示経路１０００の後端において接眼レンズ１００６によってもたらされるバレル歪みを光学的に補償するために、ピンクッション歪みをもたらすレンズは、カメラレンズ１００４として実現するために選択され得る。このようにして、カメラレンズ１００４は取込まれた画像を「予め歪ませる」。この予歪は、接眼レンズ１００６によってもたらされる相補的なバレル歪みによって取消されるかまたは補正される。

上述された創造的な機能の多く、および創造的な原理の多くは、特定用途向け集積回路（application specific integrated circuit：ＡＳＩＣ）などの集積回路（ＩＣ）を備
えた実現例または当該ＩＣにおける実現例に十分に適している。当業者であれば、場合によっては、たとえば可用時間、現在の技術および経済上の考慮事項によって著しい労力および多くの設計上の選択が動機付けされるにもかかわらず、この明細書中に開示された概念および原理によって誘導されると、最小限の実験でこのようなＩＣを容易に作製することができるであろうことが予想される。したがって、本開示に従った原理および概念を不明瞭にする如何なるリスクをも最小限にして簡潔にするために、このようなソフトウェアおよびＩＣのさらなる説明は、もしあったとしても、好ましい実施形態の範囲内の原理および概念に関する要点に制限されるだろう。

この文書においては、第１および第２などの関係語は、このような実体または動作間の実際のこのような関係または順序を必ずしも必要とするかまたは示唆することなく、単に１つの実体または動作を別の実体または動作から区別するために用いられ得るだけに過ぎない。「含む」、「含んでいる」という語またはこれらの他のいずれの変形例も、非排他的包含をカバーするよう意図されたものであり、このため、要素のリストを含むプロセス、方法、物品または装置がそれらの要素だけを含むのではなく、明確に列挙されていない他の要素またはこのようなプロセス、方法、物品または装置に固有のものではない他の要素を含み得ることとなる。「（１つの）…を含む」で始まる要素は、それ以上の制約なしで、その要素を含むプロセス、方法、物品または装置における付加的な同一の要素の存在を排除するものではない。この明細書中において用いられている「別の」という語は、少なくとも第２またはそれ以上のものとして定義される。この明細書中において用いられている「含む」および／または「有する」という語は含むことを意味するものとして定義される。この明細書中において電気光学技術に関して用いられている「連結される」という語は接続されることを意味するものとして定義されているが、必ずしも直接的ではなく、必ずしも機械的ではない。この明細書中において用いられている「プログラム」という語は、コンピュータシステム上で実行されるように設計された一連の命令として定義される。「プログラム」または「コンピュータプログラム」は、コンピュータシステム上で実行されるように設計されたサブルーチン、機能、手順、物の方法、物の実現例、実行可能なアプリケーション、アプレット、サーブレット、ソースコード、オブジェクトコード、共有ライブラリ／ダイナミックロードライブラリ、および／または、他の一連の命令を含み得る。

明細書および図面は例としてのみ見なされるべきであり、このため、開示の範囲は、添付の特許請求の範囲およびその同等例によってのみ限定されるように意図されている。概略的な記述において上述されていた動作または要素のすべてが必要であるとは限らないこと、特定の動作または装置の一部が必要とされ得ないこと、および、記載されたものに加えて、１つ以上のさらなる動作が実行され得るかまたは要素が含まれ得ることに留意されたい。さらに、動作が列挙されている順序は、必ずしも、それら動作が実行される順序で
はない。上述のフローチャートのステップは特に指定のない限り、如何なる順序であってもよく、ステップは、実現例に応じて、削除されてもよく、繰返されてもよく、および／または、追加されてもよい。また、概念は具体的な実施形態に関連付けて説明されてきた。しかしながら、当業者であれば、添付の特許請求の範囲に記載される本開示の範囲から逸脱することなく、さまざまな変更および変形が実施可能であることを認識する。したがって、明細書および図は限定的ではなく例示的な意味で考慮されるべきであり、このようなすべての変更例は本開示の範囲内に含まれるように意図されている。

利益、他の利点および問題の解決策が具体的な実施形態に関連付けて上述されてきた。しかしながら、利益、利点、問題の解決策、およびいずれかの利益、利点または解決策をもたらし得るかまたはより顕著にし得るいずれかの特徴は、いずれかの請求項またはすべての請求項の重要な特徴、必要な特徴または本質的な特徴として解釈されるべきではない。

Claims (26)

1. 第１の撮像センサによって取込まれた第１の画像の画素行の第１のセットの各画素行を前記第１の撮像センサから連続的に出力するステップと、
   前記第１の画像の第１の画素行を表わす画素行を、前記第１の画像の第２の画素行が前記第１の撮像センサによって出力される前に、ディスプレイ装置において表示するステップとを含む、方法。
2. 画素行の前記第１のセットのサブセットをバッファにバッファリングするステップをさらに含み、前記サブセットは前記第１の画素行を含み、さらに、
   前記バッファにおける画素行の前記バッファリングされたサブセットを修正して、前記第１の画素行を表わす前記画素行を生成するステップを含み、
   前記第１の画素行を表わす前記画素行を表示するステップは、前記バッファから前記第１の画素行を表わす前記画素行にアクセスするステップと、前記アクセスされた画素行で、前記ディスプレイ装置の対応する行を駆動するステップとを含む、請求項１に記載の方法。
3. 画素行の前記バッファリングされたサブセットを修正するステップは、
   画素行の前記第１のサブセットのうち１つ以上の画素行についての拡張現実オーバーレイ情報を受取るステップと、
   前記拡張現実オーバーレイ情報に基づいて画素行の前記バッファリングされたサブセットを修正するステップとを含む、請求項２に記載の方法。
4. 画素行の前記バッファリングされたサブセットを修正するステップは、
   画素行の前記バッファリングされたサブセット上で１つ以上のフィルタリングプロセスを実行するステップを含む、請求項２に記載の方法。
5. １つ以上のフィルタリングプロセスを実行するステップは、
   空間フィルタリングプロセスおよび色フィルタリングプロセスのうち少なくとも１つを実行するステップを含む、請求項４に記載の方法。
6. 前記第１の画素行を画素行バッファにバッファリングするステップと、
   前記第１の画素行の位置に関連付けられた拡張現実オーバーレイ情報に基づいて、前記画素行バッファにおいて前記第１の画素行を修正して、前記第１の画素行を表わす前記画素行を生成するステップとをさらに含み、
   前記第１の画素行を表わす前記画素行を表示するステップは、前記バッファから前記第１の画素行を表わす前記画素行にアクセスして、前記アクセスされた画素行で前記ディスプレイ装置を駆動するステップを含む、請求項１に記載の方法。
7. 第２の画素行を表わす画素行を、前記第１の画像の第３の画素行が前記第１の撮像センサによって出力されるよりも前に、前記ディスプレイ装置において表示するステップをさらに含む、請求項１に記載の方法。
8. 第２の撮像センサによって取込まれた第２の画像の画素行の第２のセットのうち各画素行を前記第２の撮像センサから連続的に出力するステップと、
   前記第２の画像の第３の画素行を表わす画素行を、前記第２の画像の第４の画素行が前記第２の撮像センサによって出力される前に、前記ディスプレイ装置において表示するステップとを含む、請求項１に記載の方法。
9. 前記第１の画像は前記ディスプレイの第１の領域において表示され、
   前記第２の画像は、前記第１の画像の表示と同時に前記ディスプレイの第２の領域において表示される、請求項８に記載の方法。
10. 前記第１の画像は第１の時間において前記ディスプレイの第１の領域において表示され、
    前記第２の画像は、前記第１の時間とは異なる第２の時間において前記ディスプレイの第２の領域において表示され、
    前記第２の領域は前記第１の時間においてインアクティブであり、
    前記第１の領域は前記第２の時間においてインアクティブである、請求項８に記載の方法。
11. 第１の取込まれた画像の画素行を連続的に出力するための出力を有する第１の撮像センサと、
    前記第１の撮像センサの前記出力に連結されたディスプレイコントローラとを含み、前記ディスプレイコントローラは、前記第１の取込まれた画像の最後の画素行が前記第１の撮像センサによって出力される前に、ディスプレイ装置において、前記第１の取込まれた画像の画素行を連続的に表示し始めるためのものである、装置。
12. 前記第１の撮像センサの前記出力に連結された画素行バッファをさらに含み、前記画素行バッファは、前記第１の取込まれた画像の前記画素行のサブセットをバッファにバッファリングするための複数のエントリを有し、さらに、
    前記画素行バッファに連結されたコンポジタを含み、前記コンポジタは、画素行の前記バッファリングされたサブセットを修正して、画素行の修正済みサブセットを生成するためのものであり、
    前記ディスプレイコントローラは、前記画素行バッファに連結されており、前記ディスプレイコントローラは、前記画素行バッファから画素行の前記修正済みサブセットの各画素行に連続的にアクセスすることによって、前記第１の取込まれた画像の前記画素行を連続的に表示するためのものであり、かつ、前記アクセスされた画素行で、前記ディスプレイ装置の対応する行を駆動するためのものである、請求項１１に記載の装置。
13. 前記コンポジタはさらに、画素行の前記サブセットのうち１つ以上の画素行についての拡張現実オーバーレイ情報を受取るためのものであり、
    前記コンポジタは、前記拡張現実オーバーレイ情報に基づいて画素行の前記バッファリングされたサブセットを修正するためのものである、請求項１２に記載の装置。
14. 前記コンポジタは、画素行の前記バッファリングされたサブセット上において１つ以上のフィルタリングプロセスを実行することによって、画素行の前記バッファリングされたサブセットを修正するためのものである、請求項１２に記載の装置。
15. 前記１つ以上のフィルタリングプロセスは、空間フィルタリングプロセスおよび色フィルタリングプロセスのうち少なくとも１つを含む、請求項１４に記載の装置。
16. 画素行バッファをさらに含み、前記第１の取込まれた画像の第１の画素行が前記画素行バッファにバッファリングされ、さらに、
    前記画素行バッファに連結されたコンポジタを含み、前記コンポジタは、前記第１の画素行の位置に関連付けられた拡張現実オーバーレイ情報に基づいて前記画素行バッファにおいて前記第１の画素行を修正して、前記第１の画素行を表わす画素行を生成するためのものであり、
    前記ディスプレイコントローラは、前記画素行バッファに連結されており、前記ディスプレイコントローラは、前記バッファから前記第１の画素行を表わす前記画素行にアクセ
    スすることによって前記第１の画素行を表わす前記画素行を表示するためのものであり、かつ、前記アクセスされた画素行で前記ディスプレイ装置を駆動するためのものである、請求項１１に記載の装置。
17. 前記ディスプレイコントローラはさらに、第２の画素行を表わす画素行を、前記第１の取込まれた画像の第３の画素行が前記第１の撮像センサによって出力される前に、前記ディスプレイ装置において表示するためのものである、請求項１１に記載の装置。
18. 第２の取込まれた画像の画素行を連続的に出力するための出力を有する第２の撮像センサをさらに含み、
    前記ディスプレイコントローラは、前記第２の撮像センサに連結されており、前記ディスプレイコントローラはさらに、前記第２の取込まれた画像の最後の画素行が前記第２の撮像センサによって出力される前に、前記ディスプレイ装置において、前記第２の取込まれた画像の画素行を連続的に表示し始めるためのものである、請求項１１に記載の装置。
19. 前記ディスプレイコントローラは、前記ディスプレイの第１の領域において前記第１の取込まれた画像を表示して、前記第１の取込まれた画像の表示と同時に、前記ディスプレイの第２の領域において前記第２の取込まれた画像を表示するためのものである、請求項１８に記載の装置。
20. 前記ディスプレイコントローラは、第１の時間において前記ディスプレイの第１の領域において前記第１の取込まれた画像を表示するためのものであり、
    前記ディスプレイコントローラは、前記第１の時間とは異なる第２の時間において、前記ディスプレイの第２の領域において前記第２の取込まれた画像を表示するためのものであり、
    前記第２の領域は前記第１の時間においてインアクティブであり、
    前記第１の領域は前記第２の時間においてインアクティブである、請求項１８に記載の装置。
21. 前記ディスプレイと位置合わせされた接眼レンズをさらに含み、前記接眼レンズは第１のタイプの空間歪みをもたらし、
    前記第１の撮像センサは、前記第１のタイプの空間歪みに対して相補的な第２のタイプの空間歪みをもたらすレンズを含む、請求項１１に記載の装置。
22. 請求項１１に記載の装置を含む頭部装着型ディスプレイシステム。
23. 装置であって、
    第１のタイプの空間歪みをもたらすレンズを有する撮像センサと、
    前記撮像センサに連結されたディスプレイ装置とを含み、前記ディスプレイ装置は、前記撮像センサによって取込まれるとともに前記第１のタイプの空間歪みを有する像を表示するためのものであり、前記装置はさらに、
    前記ディスプレイと位置合わせされた接眼レンズを含み、前記接眼レンズは、前記第１のタイプの空間歪みを補償する第２のタイプの空間歪みをもたらす、装置。
24. 前記第１のタイプの空間歪みはバレル歪みであり、前記第２のタイプの空間歪みはピンクッション歪みである、請求項２３に記載の装置。
25. 前記第１のタイプの空間歪みはピンクッション歪みであり、前記第２のタイプの空間歪みはバレル歪みである、請求項２３に記載の装置。
26. 請求項２３に記載の装置を含む頭部装着型ディスプレイ。

Images