JP2015525491A - フォーカス距離に基づいて表示情報の表現を決定する方法および装置 - Google Patents

Abstract

フォーカス距離に基づいて表示情報の表現を決定することを促進する方法、装置、およびコンピュータ・プログラム製品が提供される。方法の文脈では、ユーザのフォーカス距離が求められる。方法はさらに、フォーカス距離に基づいてデータの表現を決定してもよい。方法はさらに、ディスプレイ上で表現を提示させてもよい。【選択図】図３

Description

本発明の例は、全般的に、ディスプレイ上に提供される情報の表現を決定することに関し、特に、ユーザのフォーカス距離（ｆｏｃｕｓ ｄｉｓｔａｎｃｅ）に基づいて表示情報の表現を決定する方法、装置、およびコンピュータ・プログラム製品に関する。

背景

デバイスの製造業者は、魅力的なサービスおよびアプリケーションを消費者に提供するという課題を常に抱えている。開発分野の１つでは、拡張現実および電子ディスプレイ（例えばニア・アイ・ディスプレイ、頭部装着型ディスプレイなど）を用いて、より没入感の強い体験がもたらされてきた。例えば、拡張現実では、ディスプレイ上で物理的世界に仮想グラフィック（すなわち情報の視覚表現）が重ねられてユーザに提示される。さらに、このような拡張現実のユーザ・インターフェースは、前述の頭部装着型ディスプレイ（例えば眼鏡）からハンドヘルド・ディスプレイ（例えばモバイル電話またはデバイス）まで、様々なディスプレイ上でユーザに提示される。場合によっては、物理的世界の上に情報の表現を重ねることが、潜在的な視覚的誤り（ｖｉｓｕａｌ ｍｉｓｃｕｅ）（例えばフォーカスの不一致）を生じ得る。このような視覚的誤りは、例えば眼精疲労を引き起こして、劣悪なユーザ体験を生じる虞がある。それゆえ、デバイスの製造業者は、視覚的誤り、またはそのユーザへの影響を軽減または解消するという、大きな技術的課題に直面している。

摘要

したがって、表示情報の表現を決定する方法、装置、およびコンピュータ・プログラム製品が提供される。実施形態では、この方法、装置、およびコンピュータ・プログラム製品は、ユーザのフォーカス距離（例えば、ディスプレイ上に提供される視野内でユーザが見ているところ、またはユーザの注目が集中しているところに関連する距離）に基づいて、情報の表現（例えば表現の視覚特性またはレンダリング特性）を決定する。例として、求められたフォーカス距離に表現が一致するかどうかに基づいて、情報の表現に、ぼかし、陰影、色などが施されてもよい。このように、本発明の様々な例示の実施形態は、潜在的な視覚的誤りおよびユーザの眼精疲労を軽減し、その結果、様々なディスプレイに関連するユーザ体験を改善することができる。

実施形態によれば、方法は、ユーザのフォーカス距離を求めることを含む。本方法はさらに、フォーカス距離に基づいて情報の表現を決定することを含む。本方法は、ディスプレイ上で表現を提示させることをさらに含む。本方法の実施形態では、フォーカス距離は、視線追跡情報に基づいて求められてもよい。実施形態の方法はさらに、フォーカス距離の変化を判断することと；変化に基づいて表現を更新させることとを含んでもよい。

本方法はさらに、表現が関心対象であるかどうかに基づいて表現を決定してもよい。この実施形態では、本方法は、ユーザが表現を見ているかどうかに基づいて関心対象を判断してもよい。本方法はさらに、フォーカス距離からの表現距離（ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ ｄｉｓｔａｎｃｅ）に基づいて、表現に適用する少なくとも１つのレンダリング特性の度合いを決定してもよい。本方法はさらに、フォーカス距離に関係なく、表現距離に基づいて表現を決定してもよい。実施形態では、本方法はさらに、ディスプレイの、少なくとも１つの動的フォーカス光学コンポーネント（ｄｙｎａｍｉｃ ｆｏｃｕｓ ｏｐｔｉｃａｌ ｃｏｍｐｏｎｅｎｔ）の焦点設定（ｆｏｃａｌ ｐｏｉｎｔ ｓｅｔｔｉｎｇ）を決定することを含んでもよい。この実施形態では、表現は、焦点設定にさらに基づく。

別の実施形態によれば、装置は、少なくとも１つのプロセッサと、１つ以上のコンピュータ・プログラムのコンピュータ・プログラム・コードを含む少なくとも１つのメモリとを有し、該少なくとも１つのメモリおよびコンピュータ・プログラム・コードは、該少なくとも１つのプロセッサとともに、装置に少なくとも、ユーザのフォーカス距離を求めることを行わせるよう構成される。該少なくとも１つのメモリおよびコンピュータ・プログラム・コードはさらに、該少なくとも１つのプロセッサとともに、装置に、ディスプレイ上で表現を提示させることを行わせるよう構成される。この装置の実施形態では、フォーカス距離は、視線追跡情報に基づいて求められてもよい。実施形態では、該少なくとも１つのメモリおよびコンピュータ・プログラム・コードはさらに、該少なくとも１つのプロセッサとともに、装置に、フォーカス距離の変化を判断することと；変化に基づいて表現を更新させることとを行わせるよう構成されてもよい。

該少なくとも１つのメモリおよびコンピュータ・プログラム・コードはさらに、該少なくとも１つのプロセッサとともに、装置に、表現が関心対象であるかどうかに基づいて表現を決定することを行わせるよう構成されてもよい。この実施形態では、該少なくとも１つのメモリおよびコンピュータ・プログラム・コードはさらに、該少なくとも１つのプロセッサとともに、装置に、ユーザが表現を見ているかどうかに基づいて関心対象を判断することを行わせるよう構成されてもよい。該少なくとも１つのメモリおよびコンピュータ・プログラム・コードはさらに、該少なくとも１つのプロセッサとともに、装置に、フォーカス距離からの表現距離に基づいて、表現に適用する少なくとも１つのレンダリング特性の度合いを決定することを行わせるよう構成されてもよい。該少なくとも１つのメモリおよびコンピュータ・プログラム・コードはさらに、該少なくとも１つのプロセッサとともに、装置に、フォーカス距離に関係なく、表現距離に基づいて表現を決定することを行わせるよう構成されてもよい。実施形態では、該少なくとも１つのメモリおよびコンピュータ・プログラム・コードは、該少なくとも１つのプロセッサとともに、装置に、ディスプレイの、少なくとも１つの動的フォーカス光学コンポーネントの焦点設定を決定することを行わせるよう構成される。この実施形態では、表現は、焦点設定にさらに基づく。

別の実施形態によれば、コンピュータ可読プログラム命令が記憶された少なくとも１つの非一時的コンピュータ可読ストレージ媒体を有するコンピュータ・プログラム製品が提供され、コンピュータ可読プログラム命令は、ユーザのフォーカス距離を求めるよう構成されたプログラム命令を含む。コンピュータ可読プログラム命令はさらに、フォーカス距離に基づいて情報の表現を決定するよう構成されたプログラム命令を含む。コンピュータ可読プログラム命令はさらに、ディスプレイ上で表現を提示させるよう構成されたプログラム命令を含む。実施形態では、コンピュータ可読プログラム命令はさらに、フォーカス距離を視線追跡情報に基づいて求めるよう構成されたプログラム命令を含んでもよい。実施形態では、コンピュータ可読プログラム命令はさらに、フォーカス距離の変化を判断するよう構成されたプログラム命令と；変化に基づいて表現を更新させるよう構成されたプログラム命令とを含んでもよい。実施形態では、コンピュータ可読プログラム命令はさらに、表現が関心対象であるかどうかに基づいて表現を決定するよう構成されたプログラム命令を含んでもよい。

さらに別の実施形態によれば、装置は、ユーザのフォーカス距離を求める手段を有する。装置はさらに、フォーカス距離に基づいて情報の表現を決定する手段を有する。装置は、ディスプレイ上で表現を提示させる手段をさらに有する。実施形態では、装置はさらに、視線追跡情報に基づいてフォーカス距離を求める手段を有してもよい。装置はさらに、フォーカス距離の変化を判断する手段と；変化に基づいて表現を更新させる手段とを有してもよい。装置はさらに、表現が関心対象であるかどうかに基づいて表現を決定する手段を有してもよい。

本発明の実施につき考えられる最良の形態を含むいくつかの特定の実施形態および実装を単に示すことによって、以下の詳細な説明から、本発明のさらに他の側面、機能および利点が容易に分かる。本発明は、他の様々な実施形態も可能であり、そのいくつかの細部は、種々の明白な点において変更可能であり、いずれも本発明の意図および範囲から逸脱するものではない。したがって、図面および記載は、限定的なものではなく、本質的に例示的なものであるとみなされるべきである。

本発明の実施形態は、限定としてではなく例として、添付図面の各図に示される。

本発明の少なくとも１つの例示の実施形態による、透過型ディスプレイを備える眼鏡によって具現化されたディスプレイの斜視図である。 本発明の少なくとも１つの例示の実施形態による、視覚的誤りを示す透過型ディスプレイの透視図である。 本発明の少なくとも１つの例示の実施形態による、動的フォーカス光学コンポーネントを備えるディスプレイの透視図である。 本発明の少なくとも１つの例示の実施形態による、多焦点面コンポーネントを備えるディスプレイの透視図である。 本発明の少なくとも１つの例示の実施形態による、フォーカス距離に基づいて表示情報の表現を決定する装置のブロック図である。 本発明の少なくとも１つの例示の実施形態による、フォーカス距離に基づいて表示情報の表現を決定する動作のブロック図である。 本発明の少なくとも１つの例示の実施形態による、関心対象の判断に基づいて表示情報の表現を決定する動作のブロック図である。 本発明の少なくとも１つの例示の実施形態による、ディスプレイを介したユーザの視界である。 本発明の少なくとも１つの例示の実施形態による、フォーカス距離に基づき、ディスプレイの動的フォーカス光学コンポーネントの焦点設定を決定する動作のブロック図である。 本発明の少なくとも１つの例示の実施形態による、動的フォーカス光学コンポーネントを使用してフォーカス補正を提供するディスプレイの透視図である。 本発明の少なくとも１つの例示の実施形態による、動的フォーカス光学コンポーネントを使用してフォーカス補正を提供するディスプレイの透視図である。 本発明の少なくとも１つの例示の実施形態による、動的フォーカス光学コンポーネントを使用してフォーカス補正を提供するディスプレイの透視図である。 本発明の少なくとも１つの例示の実施形態による、動的フォーカス光学コンポーネントを使用してフォーカス補正を提供するディスプレイの透視図である。 本発明の少なくとも１つの例示の実施形態を実装するために使用することができるチップ・セットの図である。 本発明の少なくとも１つの例示の実施形態を実装するために使用することができるモバイル端末（例えばハンドセット）の図である。

いくつかの実施形態の詳細説明

フォーカス距離に基づいて表示情報の表現を決定する方法、装置、およびコンピュータ・プログラム製品の例が開示される。説明のために、以下の記載では、本発明の実施形態が完全に理解されるよう多数の具体的な詳細事項を記載する。しかし、当業者には当然のことながら、本発明の実施形態はこうした具体的な詳細を伴わずに実践されても、または等価な構成を用いて実践されてもよい。他の場合には、本発明の実施形態を不必要に曖昧にすることを回避するために、周知の構造およびデバイスは、ブロック図の形式で示される。

図１Ａは、少なくとも１つの例示の実施形態による、透過型ディスプレイを備える眼鏡によって具現化されたディスプレイの斜視図である。上述のように、透過型ディスプレイおよびその他電子ディスプレイは、仮想情報と、物理的な実世界情報とが組み合わさったものを提示するために使用され得る。すなわち、透過型ディスプレイは、情報、物体、シーンなどをユーザがディスプレイを介して視認する（ｖｉｅｗ）ことを可能にしながら、仮想データ（例えばデータの視覚表現）の提示を可能にする。例えば、拡張現実アプリケーションは、生のシーンの上にグラフィック・オーバーレイを提供して、ディスプレイを介して視認可能なシーンを強化または補足する情報の表現を提示し得る。図１に示されているように、ディスプレイ１０１は、透過型ディスプレイを備える頭部装着型眼鏡として具現化されている。図で示した例では、ユーザは、ディスプレイ１０１を介して実世界の物体１０３（例えば球体）を視認している。少なくとも１つの例示の実施形態では、ディスプレイ１０１は、物体１０３の両眼視を提供するために、個別のサブディスプレイ１０５ａおよび１０５ｂを表す２つのレンズを備える。サブディスプレイ１０５ａおよび１０５ｂそれぞれを介して物体１０３が見える。この例では、さらに追加情報（例えば、集合的に表現１０７とも呼ばれる、スマイリーフェイスの表現１０７ａおよび１０７ｂ）が、拡張現実の表示を提供するために、物体１０３上のオーバーレイとして提示されている。

透過型ディスプレイの実施形態としては、例として、図１Ａに示されている眼鏡が挙げられる。なお、本願明細書に記載される方法、装置、およびコンピュータ・プログラム製品の様々な実施形態はさらに、例としてヘッドアップ・ディスプレイ（ＨＵＤ：ｈｅａｄｓ−ｕｐ ｄｉｓｐｌａｙ）ユニット、ゴーグル、バイザー、フロントガラス、窓などを含む、透過型ディスプレイの任意の実施形態に適用可能である。典型的には、ディスプレイ１０１のような透過型ディスプレイは、重ねられる情報の表現を提示するために、固定のフォーカス・ポイントを用いて実装されてきた。ディスプレイの固定フォーカスは決まっているのに、他の奥行き手がかり（例えば両眼連動、影など）が原因で、ユーザが、物体１０３と、表現１０７ａおよび１０７ｂとを異なる奥行きで知覚する場合、このような実装は、矛盾または視覚的誤りを引き起こすことがある。例えば、両眼視では、ある距離をおいて物体１０３を見ることで、自動的に眼の両眼連動および調節が生じる。両眼連動とは、例えば、注目する物体１０３を網膜中心窩へと移動させるための両眼の動きである。調節とは、例えば、カメラレンズの合焦のように、フォーカスの合った明瞭な中心窩像をもたらすべく、眼が屈折力を変化させるプロセスである。

したがって、矛盾または視覚的誤りとは、調節を期待される奥行きとは異なる奥行きに眼が調節を行い、またはフォーカスを合わせる、両眼連動−調節の不一致（例えばフォーカスの不一致）である。これにより、眼の疲労または不快感が生じ得る。固定フォーカス・システムでは、一般に眼は、他の奥行き手がかりにかかわらず固定フォーカスで調節しようとするので、この問題が悪化する。

図１Ｂは、本発明の少なくとも１つの例示の実施形態による、視覚的誤りを示す透過型ディスプレイの透視図である。図１Ｂは、透過型ディスプレイに関する視覚的誤りを示すが、同様の視覚的誤りは、例えば組み込みディスプレイを含む他のタイプのディスプレイにおいて見られることもある。さらに、透過型ディスプレイの採用するレンダリング・システムによっては、ディスプレイは、下記と同じコンポーネントを有する必要はない。例えば、ディスプレイに使用されるレンダラー１１５によっては、ライトガイド１１７は存在してもしなくてもよい。この例で示されるように、図１Ｂは、ディスプレイ１０１の１つのサブディスプレイ１０５ａ（例えばディスプレイ１０１の眼鏡の一方のレンズ）を、上方視点から示す。上方視点から示されるように、サブディスプレイ１０５ａが固定フォーカス・モードで動作している場合、物体距離１０９（例えばユーザの眼１１３から物体１０３までの知覚距離）と、表現距離１１１（例えば、ユーザの眼１１３から表現１０７ａまでの知覚距離）とは一致しない。例えば、固定フォーカス・モードで動作するとき、サブディスプレイ１０５ａは、表現１０７ａを、表現距離１１１（例えば、典型的には、固定フォーカス・モードの場合は無限遠に設定される）でユーザにより知覚されるようにライトガイド１１７（例えばレンズ）を介して（例えばレンダラー１１５を用いて）投影し得る。しかし、この例において、表現距離１１１（例えば無限遠）は、知覚される物体距離１０９（例えば有限距離）と矛盾する。結果的に、表現１０７ａは物体１０３上に表示されるよう意図されていることから、表現１０７ａに対する無限距離での調節と、物体１０３に対する有限距離での調節との差が、ユーザの眼における視覚的誤りまたは矛盾をもたらし得る。

少なくともこれらの課題に対処するために、本願明細書に記載される方法、装置、およびコンピュータ・プログラム製品の様々な実施形態は、ディスプレイ１０１において表現１０７がどのように提示されるかをユーザのフォーカス距離に基づいて決定する能力を導入する。少なくとも１つの例示の実施形態では、表現１０７は、ユーザのフォーカス距離に一致するように提示される。例として、フォーカス距離は、ユーザの眼１１３から、ユーザがフォーカスを合わせ、または調節を行っている箇所までの距離を表現する。本発明の様々な実施形態は、光学技術、非光学技術、またはその組み合わせに基づいて、表現がディスプレイ１０１においてどのように提示されるべきかを決定することを可能にする。例として、光学技術および非光学技術を用いて、視覚的誤りまたは矛盾が軽減または解消され得るように表現が決定される。

少なくとも１つの例示の実施形態では、光学技術は、ユーザのフォーカス距離を求めることと、フォーカス距離に基づいて焦点設定を決定することと、続いて、決定された焦点設定を用いて、１つ以上の動的フォーカス光学要素を設定することとに基づく。少なくとも１つの例示の実施形態では、フォーカス距離は、視線追跡情報に基づいて求められる。例として、視線追跡器が、両眼の視軸がどこに向いているかを測定することができる。続いて視線追跡器は、視軸の交点を計算して、両眼の輻輳距離を求めることができる。視線追跡器の少なくとも１つの例示の実施形態では、次に、この輻輳距離が、両眼のフォーカス距離またはフォーカス・ポイントとして使用される。非光学手段を含む他の手段を、眼のフォーカス距離を求めるために使用することができると考えられる。

さらに、または代わりに、（例えば、入力デバイスを用いてディスプレイのユーザの視野における特定箇所を選択してフォーカス距離を示す）ユーザによるユーザ・インターフェース・インタラクションを用いて、フォーカス距離を求めることができる。本発明の少なくとも１つの例示の実施形態は、表現１０７がユーザのフォーカス距離に正しく一致するように、視線追跡を使用してユーザのフォーカスを判断して、情報の表現１０７をニア・アイ・ディスプレイの各レンズ上に表示する。例えば、ユーザが４フィート（約１．２メートル）の距離でレンダリングされるべき仮想物体にフォーカスを合わせているとすると、この距離に対するユーザのフォーカスを、視線追跡を使用して検出することができ、ディスプレイの光学素子の焦点設定が、４フィート（約１．２メートル）のフォーカスをもたらすよう動的に変更される。少なくとも１つの例示の実施形態では、ユーザのフォーカス距離が変化するのに伴い、ディスプレイの動的フォーカス光学コンポーネントの焦点設定も動的に変更されて、ユーザの視線または注目を受ける物体の距離に光学素子が合焦されてもよい。

図１Ｃは、表現１０７について決定されたフォーカス距離を表現するために動的フォーカス光学コンポーネントを採用するディスプレイ１１９の、少なくとも１つの例示の実施形態を示す。より具体的には、ディスプレイ１１９は、焦点設定を動的に変更してフォーカスを変更することができる、２つの動的フォーカス光学コンポーネント１２１ａおよび１２１ｂを備える。動的フォーカス光学コンポーネント１２１ａおよび１２１ｂは、流体工学、電気光学、またはその他任意の動的合焦技術などの技術を使用することができると考えられる。例えば、流体工学に基づく動的フォーカス・コンポーネントは、合焦要素の流体注入または収縮により焦点設定またはフォーカスを変更することができる、合焦要素を備えてもよい。電気光学に基づく動的フォーカス・コンポーネントは、電界の変化に応じて光学的特性（例えば複屈折）を変更することができる物質を採用する。その結果、光学的特性の変化を使用して、電気光学に基づく動的フォーカス・コンポーネントの焦点設定またはフォーカスを変更することができる。そのような動的フォーカス光学コンポーネントの利点の１つは、ある範囲の距離にわたって連続的なフォーカスをサポートする能力である。別の例として、レンズの圧電動作（ｐｉｅｚｏｅｌｅｃｔｒｉｃ ｍｏｖｅｍｅｎｔ）に基づく合焦能力を持つレンズ・システムが挙げられる。本願明細書に記載される合焦技術の例は、例として提供されるものであり、動的フォーカスを実現するために他の技術または手段を使用することを制限することは意図されていない。

図１Ｃに示されているように、ディスプレイ１１９は、視点位置（例えばユーザの眼１１３）と、表現１０７が提示されるライトガイド１２３との間に配置された、１つの動的フォーカス光学コンポーネント１２１ａを備える透過型ディスプレイである。第２の動的フォーカス光学コンポーネント１２１ｂが、ライトガイド１２３と、ライトガイド１２３または透過型ディスプレイを介して視認される情報との間に配置され得る。このようにして、表現１０７のフォーカスを補正するための焦点設定を、情報が確実にディスプレイ１１９を介して視認されるようにするための焦点設定とは独立して制御することができる。少なくとも１つの例示の実施形態では、ディスプレイ１１９を介して視認される情報は、他の表現１０７または他の物体であってもよい。このように、複数のディスプレイ１１９を層状にすることで、表現１０７およびディスプレイを介して視認される情報両方のフォーカス制御の、より複雑な制御を提供することができる。

少なくとも１つの例示の実施形態では、ディスプレイは、物理的世界またはその他情報への透過表示の上に表現１０７を重ねることなくデータの表現１０７を提示する、非透過型ディスプレイであってもよい。この例では、ディスプレイは、不透明で、ディスプレイ上で表現１０７を視認するための焦点設定またはフォーカスを変更するためにディスプレイの前面に動的フォーカス光学要素を採用することになる。動的フォーカス光学要素、ライトガイド、ディスプレイなどの構成および数の記載は、例として提供され、限定するよう意図されてはいない。様々な実施形態において記載される任意数のコンポーネントが、任意の組み合わせで組み合わされること、または使用されることが可能であると考えられる。

図１Ｄは、複数の焦点面に基づく動的フォーカスのための光学技術を提供するディスプレイ１２５の、少なくとも１つの例示の実施形態を示す。図のように、ディスプレイ１２５は、データの表現１０７を各焦点設定またはフォーカス距離１２９ａ〜１２９ｃで表示するよう構成された、３つのライトガイド１２７ａ〜１２７ｃ（例えば射出瞳拡大素子（ＥＰＥ：ｅｘｉｔ ｐｕｐｉｌ ｅｘｐａｎｄｅｒ））を備える。この例では、各ライトガイド１２７ａ〜１２７ｃは、固定されているが異なる焦点設定または焦点面に関連する（例えば、近焦点面１２９ａ、中間焦点面１２９ｂ、および無限遠焦点面１２９ｃ）。所望のフォーカス距離に応じて、レンダラー１１５は、ライトガイド１２７ａ〜１２７ｃのうちのどれが所望のフォーカス距離に最も近い焦点設定を有するかを選択することができる。続いてレンダラー１１５は、選択されたライトガイドまたは焦点面を用いて表現１０７を提示することができる。少なくとも１つの例示の実施形態では、表現１０７と、ディスプレイ１２５を介して見られるデータ（例えば画像源）との間で、フォーカス距離をより厳密に一致させられるよう、ライトガイド１２７ａ〜１２７ｃは湾曲している。例として、湾曲したライトガイド１２７ａ〜１２７ｃは、複数の仮想画像距離のために積層され円柱状または球状に形成されたＥＰＥとすることができる。図１Ｄの例は、３つの焦点面１２９ａ〜１２９ｃを提供する３つのライトガイド１２７ａ〜１２７ｃに関して記載されるが、少なくとも１つの例示の実施形態では、ディスプレイ１２５は、例えば別々の各焦点面間の焦点設定にどれだけ細かい粒度が望まれるかに応じて、任意数のライトガイドまたは焦点面を用いて構成することができる。

上述のとおり、少なくとも１つの例示の実施形態では、どのようにデータの表現１０７が提示されれば視覚的誤りまたは矛盾を軽減または回避できるかを判断するために、上記の光学技術に加えて、またはその代わりに、非光学技術を使用することができる。例えば、ディスプレイ（例えばディスプレイ１０１、ディスプレイ１１９、またはディスプレイ１２５）は、（１）ユーザのフォーカス距離、（２）表現１０７がユーザの関心対象であるかどうか、または（３）その組み合わせに基づいて、奥行き感およびフォーカスをもたらすように表現１０７を決定または生成することができる。少なくとも１つの例示の実施形態では、ディスプレイ１０１は、ユーザのフォーカス距離を求め、続いて、提示する表現１０７をフォーカス距離に基づいて決定する。ディスプレイ１０１は、例として、データの表現１０７がユーザの視線またはフォーカスの対象でなくぼやけているべきである場合に、フォーカスの合っていないデータの表現１０７をレンダリングすることができる。少なくとも１つの例示の実施形態では、表現をぼかすこと、またはピンぼけさせることに加えて、他のレンダリング特性（例えば陰影、両眼連動、色など）を、フォーカス距離に基づいて変更することができる。

少なくとも１つの例示の実施形態では、本発明の方法、装置、およびコンピュータ・プログラム製品の様々な実施形態を、奥行き感知情報を用いて強化することができる。例えば、ディスプレイ１０１は、ユーザの視界中の対象物の奥行きおよび外形を検出する、前方奥行き感知カメラ（ｆｏｒｗａｒｄ ｆａｃｉｎｇ ｄｅｐｔｈ ｓｅｎｓｉｎｇ ｃａｍｅｒａ）またはその他同様の技術を備えてもよい。この場合、ディスプレイ１０１は、フォーカスの合っている特定の対象物の距離を検出して、確実に、その特定の対象物に関連するデータの任意の表現１０７が適切な焦点距離に位置し、かつそれに応じてフォーカスが調整されるようにすることができる。

フォーカス距離に基づいて表示情報の表現を決定する、本願明細書に記載されたプロセスは、ソフトウェア、ハードウェア、ファームウェア、またはソフトウェアおよび／またはファームウェアおよび／またはハードウェアの組み合わせによって実装することができ、有利である。例えば、本願明細書に記載されたプロセスは、プロセッサ（単数または複数）、デジタル信号処理（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）チップ、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などによって実装でき、有利である。そのような、記載された機能を実行する例示のハードウェアについて、以下に詳述する。

図２は、本発明の少なくとも１つの例示の実施形態による、フォーカス距離に基づいて表示情報の表現を決定する装置２００のブロック図である。少なくとも１つの例示の実施形態では、装置２００は、図１に関して前述したディスプレイ１０１、ディスプレイ１１９、および／またはディスプレイ１２５に関連するか、またはそれに組み込まれる。なお、他のデバイスまたは装置が、図示されている装置２００のハードウェアおよびコンポーネントの全部または一部を展開することができると考えられる。少なくとも１つの例示の実施形態では、装置２００は、本願明細書に記載されたように、フォーカス距離に基づいて表示情報の表現を決定するよう（例えばコンピュータ・プログラム・コードまたは命令を用いて）プログラムされ、装置２００の他の内部コンポーネントおよび外部コンポーネント間で情報を渡すためのバス２１０などの通信メカニズムを備える。情報（データとも呼ばれる）は、測定可能な現象の物理的表現として表され、この現象とは、典型的には電圧であるが、他の実施形態では、磁気、電磁気、圧力、化学、生物学、分子、原子、素粒子、および量子的な相互作用などの現象が含まれる。例えば、北および南の磁場、またはゼロおよび非ゼロの電圧は、バイナリ・デジット（ビット）の２つの状態（０，１）を表現する。その他の現象は、より大きい進数を表現することができる。測定前の複数の同時量子状態の重ね合わせは、量子ビット（キュビット）を表現する。１つ以上のデジットのシーケンスは、数または文字のコードを表現するために使用されるデジタル・データを構成する。少なくとも１つの例示の実施形態では、アナログ・データと呼ばれる情報が、特定の範囲内の測定可能な値の近似連続体によって表現される。装置２００またはその一部は、本願明細書で説明される方法、装置、およびコンピュータ・プログラム製品の様々な実施形態に関して記載されるように、フォーカス距離に基づいて表示情報の表現を決定する１つ以上のステップを実行する手段を構成する。

バス２１０は、バス２１０に結合されたデバイス間で情報が迅速に転送されるように、情報の１つ以上の並列導体を備える。情報を処理する１つ以上のプロセッサ２０２が、バス２１０と結合されている。

プロセッサ（または複数のプロセッサ）２０２は、フォーカス距離に基づいて表示情報の表現を決定することに関係するコンピュータ・プログラム・コードによって指定されるとおりに、情報に対し一連の操作を実行する。コンピュータ・プログラム・コードは、指定の機能を実行するための、プロセッサおよび／またはコンピュータ・システムの動作に関する命令を提供する一連の命令またはステートメントである。コードは、例えば、コンピュータ・プログラミング言語で書かれてもよく、これは、プロセッサのネイティブ命令セットにコンパイルされる。さらに、コードは、ネイティブ命令セット（例えば機械語）を直接使用して書かれてもよい。一連の操作には、バス２１０から情報を取り込むこと、およびバス２１０に情報を載せることが含まれる。さらに、一連の操作には、典型的には、２つ以上の情報ユニットを比較すること、情報ユニットの位置をシフトすること、ならびに加算もしくは乗算、またはＯＲ、排他的ＯＲ（ＸＯＲ：ｅｘｃｌｕｓｉｖｅ ＯＲ）、およびＡＮＤなどの論理演算によって２つ以上の情報ユニットを結合することが含まれる。プロセッサによって実行可能な一連の操作の各操作は、１つ以上のデジットの操作コードなどの、命令と呼ばれる情報によってプロセッサに対して表される。操作コードのシーケンスなど、プロセッサ２０２によって実行される操作のシーケンスは、コンピュータ・システム命令とも、単にコンピュータ命令とも呼ばれる、プロセッサ命令を構成する。プロセッサは、特に、機械、電気、磁気、光学、化学、または量子コンポーネントとして、単体で、または組み合わせて実装され得る。

装置２００は、バス２１０に結合されたメモリ２０４も備える。ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）またはその他任意の動的ストレージ・デバイスなどのメモリ２０４は、フォーカス距離に基づいて表示情報の表現を決定するためのプロセッサ命令を含む情報を記憶する。動的メモリは、その中に記憶された情報が、装置２００によって変更されることを可能にする。ＲＡＭは、メモリ・アドレスと呼ばれる位置に記憶された情報ユニットが、隣接したアドレスにある情報とは独立して記憶および取得されることを可能にする。メモリ２０４は、プロセッサ２０２によって、プロセッサ命令の実行中に一時的な値を記憶するためにも使用される。装置２００は、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）２０６、またはその他、装置２００によって変更されない命令を含む静的情報を記憶するための、バス２１０に結合された任意の静的ストレージ・デバイスも備える。一部のメモリは、電源を失うとそこに記憶された情報を失う揮発性ストレージから成る。装置２００が電源を切られても、または他の形で電源を失っても永続する、命令を含む情報を記憶するための磁気ディスク、光ディスク、またはフラッシュ・カードなどの不揮発性（永続）ストレージ・デバイス２０８も、バス２１０に結合されている。

フォーカス距離に基づいて表示情報の表現を決定するための命令を含む情報は、人であるユーザによって操作される英数字キーを含むキーボードなどの外部入力デバイス２１２、またはカメラ／センサー２９４から、プロセッサによる使用のためにバス２１０に提供される。カメラ／センサー２９４は、付近の条件（例えば奥行き情報）を検出し、その検出を、装置２００において情報を表現するために使用される測定可能な現象に適合する物理的な表現に変換する。センサー２９４の例としては、例えば、位置センサー（例えばＧＰＳ位置受信機）、ポジション・センサー（例えばコンパス、ジャイロスコープ、加速度計）、環境センサー（例えば奥行きセンサー、気圧計、温度センサー、光センサー、マイクロホン）、視線追跡センサーなどが挙げられる。

主として人とのやり取りに使用される、バス２１０に結合される他の外部デバイスとしては、テキストもしくは画像を提示するための、ニア・アイ・ディスプレイ、頭部装着型ディスプレイ、陰極線管（ＣＲＴ：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、発光ダイオード（ＬＥＤ：ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ：ｏｒｇａｎｉｃ ＬＥＤ）ディスプレイ、プラズマ・スクリーン、またはプリンタなどのディスプレイ・デバイス２１４と、ディスプレイ２１４上に提示された小さなカーソル画像の位置を制御して、ディスプレイ２１４上に提示されたグラフィカル要素に関連するコマンドを発行するための、マウス、トラックボール、カーソル方向キー、またはモーション・センサーなどのポインティング・デバイス２１６とが挙げられる。少なくとも１つの例示の実施形態では、コマンドは、例としてフォーカス距離、関心対象などを指示することを含む。少なくとも１つの例示の実施形態、例えば、装置２００が人による入力なしに自動的にすべての機能を実行する実施形態では、外部入力デバイス２１２、ディスプレイ・デバイス２１４、およびポインティング・デバイス２１６のうちの１つ以上が省かれる。

図で示した実施形態では、特定用途向け集積回路（ＡＳＩＣ）２２０などの特殊用途ハードウェアがバス２１０に結合されている。特殊用途ハードウェアは、プロセッサ２０２では特殊用途のため十分迅速に実行されない動作を実行するよう構成される。ＡＳＩＣの例としては、ディスプレイ２１４用の画像を生成するグラフィックス・アクセラレータ・カード、ネットワーク上で送信されるメッセージを暗号化および復号する暗号ボード、発話認識、ならびにハードウェアに実装した方がより効率的である何らかの複雑な動作のシーケンスを繰り返し実行する、ロボット・アームおよび医療用スキャン機器などの特殊な外部デバイスへのインターフェースが挙げられる。

装置２００は、バス２１０に結合された通信インターフェース２７０の１つ以上のインスタンスも含む。通信インターフェース２７０は、外部ディスプレイなど、専用のプロセッサを用いて動作する様々な外部デバイスに対する一方向または双方向通信結合を提供する。一般に、この結合は、ローカル・ネットワーク２８０に接続されているネットワーク・リンク２７８との結合であり、ローカル・ネットワーク２８０には、専用のプロセッサを備える様々な外部デバイスが接続される。例えば、通信インターフェース２７０は、イーサネット（登録商標）などの対応するローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）へのデータ通信接続を提供するＬＡＮカードであってもよい。ワイヤレス・リンクも実装され得る。ワイヤレス・リンクに関しては、通信インターフェース２７０は、デジタル・データなどの情報ストリームを搬送する赤外線および光信号を含む、電気信号、音響信号、もしくは電磁信号の送信もしくは受信、または送受信両方を行う。例えば、セル方式の電話のようなモバイル電話などのワイヤレス・ハンドヘルド・デバイスでは、通信インターフェース２７０は、無線送受信機と呼ばれる無線帯域の電磁送信機および受信機を備える。少なくとも１つの例示の実施形態では、通信インターフェース２７０は、フォーカス距離に基づいて表示情報の表現を決定するために、ローカル・ネットワーク２８０、インターネット・サービス・プロバイダ２８４、および／またはインターネット２９０に接続することを可能にする。

本願明細書で使用される「コンピュータ可読媒体」という用語は、実行される命令を含む情報をプロセッサ２０２に提供することに関与する任意の媒体を指す。そのような媒体は、コンピュータ可読ストレージ媒体（例えば不揮発性媒体、揮発性媒体）および伝送媒体を含むがこれらに限定されない、多数の形態をとり得る。不揮発性媒体などの一時的でない媒体としては、例えば、ストレージ・デバイス２０８などの光ディスクまたは磁気ディスクが挙げられる。揮発性媒体としては、例えば、動的メモリ２０４が挙げられる。伝送媒体としては、例えば、ツイストペア線、同軸ケーブル、銅線、光ファイバ・ケーブル、ならびに電波、光波、および赤外線波を含む、音波および電磁波などのワイヤまたはケーブルなしに空間を進む搬送波が挙げられる。信号には、伝送媒体を介して伝送される振幅、周波数、位相、偏光、またはその他の物理的特性における人工の過渡変動が含まれる。コンピュータ可読媒体の形態としては、例えば、フレキシブル・ディスク、ハード・ディスク、磁気テープ、その他任意の磁気媒体、ＣＤ−ＲＯＭ、ＣＤＲＷ、ＤＶＤ、その他任意の光媒体、パンチカード、紙テープ、光学マークシート、穴もしくはその他光学的に認識可能な印のパターンを備えた他の任意の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、その他任意のメモリチップもしくはカートリッジ、搬送波、またはその他コンピュータが読み取りできる任意の媒体が挙げられる。コンピュータ可読ストレージ媒体という用語は、本願明細書において、伝送媒体以外の任意のコンピュータ可読媒体を指すよう使用される。

１つ以上の有形媒体に符号化された論理には、コンピュータ可読ストレージ媒体およびＡＳＩＣ２２０などの特殊用途ハードウェア上のプロセッサ命令の一方または両方が含まれる。

ネットワーク・リンク２７８は、典型的には、情報を使用または処理する他のデバイスへの、１つ以上のネットワークを通る伝送媒体を使用した情報通信を提供する。例えば、ネットワーク・リンク２７８は、ローカル・ネットワーク２８０を介して、ホスト・コンピュータ２８２、またはインターネット・サービス・プロバイダ（ＩＳＰ：Ｉｎｔｅｒｎｅｔ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）により運用される機器２８４への接続を提供してもよい。次にＩＳＰ機器２８４は、インターネット２９０と呼ばれているネットワークの世界的な公衆パケット交換通信ネットワークを介して、データ通信サービスを提供する。

インターネットに接続されたサーバ・ホスト２９２と呼ばれるコンピュータは、インターネット上で受信された情報に応答してサービスを提供するプロセスをホストする。例えば、サーバ・ホスト２９２は、ディスプレイ２１４において提示される情報を提供するプロセスをホストする。装置２００のコンポーネントは、他のデバイスまたはコンポーネント内に、様々な構成で展開できると考えられる。

本発明の少なくとも１つの実施形態は、本願明細書に記載された技術の一部または全部を実装するための装置２００の使用に関する。本発明の少なくとも１つの例示の実施形態によれば、これらの技術は、メモリ２０４に含まれる１つ以上のプロセッサ命令の１つ以上のシーケンスをプロセッサ２０２が実行するのに応答して、装置２００によって実行される。コンピュータ命令、ソフトウェア、およびプログラム・コードとも呼ばれるそのような命令は、ストレージ・デバイス２０８またはネットワーク・リンク２７８などの別のコンピュータ可読媒体からメモリ２０４内へ読み込まれてもよい。メモリ２０４に含まれた命令のシーケンスの実行は、プロセッサ２０２に、本願明細書に記載された方法ステップのうちの１つ以上を実行させる。別の実施形態では、本発明を実装するために、ＡＳＩＣ２２０などのハードウェアが、ソフトウェアの代わりに、またはそれと組み合わせて使用され得る。したがって、本発明の実施形態は、本願明細書に別途明記されない限り、ハードウェアおよびソフトウェアのいかなる特定の組み合わせにも限定されない。

通信インターフェース２７０を介してネットワーク・リンク２７８およびその他ネットワーク上で伝送される信号は、装置２００への情報および装置２００からの情報を搬送する。装置２００は、ネットワーク・リンク２７８および通信インターフェース２７０を介し、特にネットワーク２８０、２９０を経由して、プログラム・コードを含む情報を送受信することができる。インターネット２９０を使用する例では、サーバ・ホスト２９２が、装置２００から送信されたメッセージによって要求された特定のアプリケーションのプログラム・コードを、インターネット２９０、ＩＳＰ機器２８４、ローカル・ネットワーク２８０、および通信インターフェース２７０を介して伝送する。受信されたコードは、受信されるときにプロセッサ２０２によって実行されてもよく、または後から実行するためにメモリ２０４もしくはストレージ・デバイス２０８もしくはその他任意の不揮発性ストレージに記憶されてもよく、またはこの両方が行われてもよい。このように、装置２００は、アプリケーション・プログラム・コードを搬送波上の信号という形態で獲得してもよい。

様々な形態のコンピュータ可読媒体が、命令またはデータまたは両方の１つ以上のシーケンスを、実行のためにプロセッサ２０２へ搬送することに関与し得る。例えば、命令およびデータは、当初、ホスト２８２などのリモート・コンピュータの磁気ディスク上に保持されていてもよい。リモート・コンピュータは、その動的メモリ内へ命令およびデータをロードし、命令およびデータを、モデムを使用して電話回線上で送信する。通信インターフェース２７０は、赤外線信号において搬送された命令およびデータを受信し、命令およびデータを表現する情報をバス２１０上に載せる。バス２１０は、メモリ２０４へ情報を搬送し、プロセッサ２０２は、メモリ２０４から命令を取得して、命令とともに送信されたデータの一部を使用して命令を実行する。メモリ２０４において受信された命令およびデータは、任意選択で、プロセッサ２０２による実行の前後いずれかに、ストレージ・デバイス２０８上に記憶されてもよい。

図３は、本発明の少なくとも１つの例示の実施形態による、フォーカス距離に基づいて表示情報の表現を決定する動作のブロック図である。少なくとも１つの例示の実施形態では、図２の装置２００および／またはそのコンポーネント（例えばプロセッサ２０２、ディスプレイ２１４、カメラ／センサー２９４）が、図３のプロセス３００に記載される動作のいずれかを実行し、かつ／またはその実行手段を提供する。さらに、または代わりに、図８に示されるプロセッサおよびメモリを備えるチップ・セット、および／または図９に示されるモバイル端末が、プロセス３００の動作のいずれかを実行する手段を備えてもよい。なお、さらに、図３の動作３０１〜３０７は、本発明の少なくとも１つの実施形態の例として提供される。さらに、動作３０１〜３０７の順序は変更可能であり、動作３０１〜３０７の一部が組み合わされてもよい。例えば、動作３０７は、実行されてもされなくてもよく、または、動作３０１、もしくは他の動作３０３もしくは３０５のいずれかと組み合わされてもよい。

前述のとおり、光学技術および／または非光学技術により、潜在的な視覚的誤りおよび矛盾（例えばフォーカスの不一致）および／またはそのユーザへの影響を軽減または解消することができる。プロセス３００の動作を実行する方法、装置、およびコンピュータ・プログラム製品は、ディスプレイ１０１上に表示されるデータの表現１０７を操作または決定するための非光学技術に関する。動作３０１において、装置２００は、ユーザのフォーカス距離を求める手段（例えば、プロセッサ２０２、カメラ／センサー２９４、入力デバイス２１２、ポインティング・デバイス２１６など）を実行し、該手段を備える。例として、フォーカス距離は、ディスプレイ（例えばディスプレイ１０１、１１９、１２５、および／または２１４）の視野内の、ユーザの注目の対象である箇所までの距離を表現する。

少なくとも１つの例示の実施形態では、視野内の箇所およびフォーカス距離は、視線追跡情報を使用して求められる。したがって、装置２００は、ユーザの視線を追跡することによって、注目されている箇所を判断し、視線追跡情報に基づいてフォーカス距離を求める手段（例えばカメラ／センサー２９４）を用いて構成されてもよい。少なくとも１つの例示の実施形態では、装置２００は、ディスプレイ１０１の視野内の少なくとも１つのシーンに存在する情報、データ、および／または物体（例えば物理的および仮想両方）の奥行きバッファを保持する手段（例えばプロセッサ２０２、メモリ２０４、カメラ／センサー２９４）を用いて構成される。例えば、装置２００は、奥行きバッファをもたらすために、前方奥行き感知カメラなどの手段を備えてもよい。その結果、例えば、視線追跡情報を奥行きバッファと照合してフォーカス距離を求めることができる。

少なくとも１つの例示の実施形態では、装置２００は、ユーザ・インタラクション、入力、および／または感知された文脈情報に基づいて、ユーザが関心を持っているディスプレイの視野内の箇所を判断する手段（例えばプロセッサ２０２、入力デバイス２１２、ポインティング・デバイス２１６、カメラ／センサー２９４）を用いて構成されてもよい。例えば、装置２００は、視線追跡情報に加えて、またはその代わりに、視野内のどの箇所がユーザにより（例えば入力デバイス２１２、ポインティング・デバイス２１６を介して）選択されるかを判断してもよい。別の例では、装置２００は、注目されている箇所を示すために、感知された文脈情報（例えば加速度計データ、コンパス・データ、ジャイロスコープ・データなど）を処理して方向または動き方を求めてもよい。続いて、この箇所を奥行きバッファと比較して、フォーカス距離を求めることができる。

ユーザのフォーカス距離を求めた後、装置２００は、フォーカス距離に基づいてディスプレイ１０１に提示されるデータの表現を決定する手段（例えばプロセッサ２０２）を実行し、該手段を用いて構成されてもよい（動作３０３）。少なくとも１つの例示の実施形態では、表現を決定することは、例として、ディスプレイ１０１を見るときの眼精疲労および／または劣悪なユーザ体験の一因となり得る潜在的な視覚的誤りまたは矛盾（例えばフォーカスの不一致）を軽減または解消する、表現の視覚特性を判断することを含む。

少なくとも１つの例示の実施形態では、装置２００は、フォーカス距離に加えて、またはその代わりとして、他のパラメータに基づいて表現を決定するよう構成されてもよい。例えば、装置２００は、データに関連する表現距離に基づいて表現を決定する手段（例えばプロセッサ２０２）を用いて構成されてもよい。表現距離とは、例えば、視野またはシーンにおいて表現１０７が提示されるべき距離である。例えば、ディスプレイ１０１内で視認可能な実世界の物体を表現１０７が拡張する例では、表現距離は、物体の距離と一致してもよいであろう。この表現距離に基づいて、装置２００は、表現距離の関数（例えば線形または非線形）である様々なレンダリング特性を適用する手段（例えばプロセッサ２０２）を用いて構成されてもよい。

少なくとも１つの例示の実施形態では、ディスプレイ１０１は、フォーカスまたは焦点設定を光学調整する手段（例えば動的フォーカス光学コンポーネント１２１ａおよび１２１ｂ）を用いて構成されてもよい。このような実施形態では、装置２００は、動的フォーカス光学コンポーネントの焦点設定に少なくとも部分的に基づいて表現１０７を決定する手段（例えばプロセッサ２０２）を用いて構成されてもよい。例えば、光学焦点設定によりぼかし効果が既にもたらされている場合、表現は、ぼかし効果を含むとしても、動的フォーカス光学コンポーネントなしのディスプレイ１０１と比較した場合ほどは含まなくてよい。他の場合には、表現１０７は、例としてディスプレイ１０１上での奥行きまたはフォーカス効果を付加または強化する追加効果を持つように決定されてもよい。

少なくとも１つの例示の実施形態では、装置２００は、フォーカス距離から表現距離の差を求める手段（例えばプロセッサ２０２）を用いて構成されてもよい。すなわち、表現１０７の外観は、求められたフォーカス距離から表現距離が（例えば前景側または後景側いずれかに）どれだけ離れているかに応じてもよい。このように、装置２００は、表現１０７に適用する少なくとも１つのレンダリング特性の度合いを、フォーカス距離からの表現距離に基づいて決定する手段（例えばプロセッサ２０２）を用いて構成されてもよい。例えば、レンダリング特性は、ぼかし、陰影、両眼連動（例えば両眼ディスプレイの場合）などを含んでもよい。フォーカス距離から遠い表現１０７ほど、強くぼかしてレンダリングされてもよく、両眼ディスプレイの左／右の画像が、その距離に適した両眼連動設定を用いてレンダリングされてもよい。任意のタイプのレンダリング特性（例えば色、彩度、サイズなど）が、表現距離に基づき変更され得ると考えられる。

表現１０７を決定した後、装置２００は、ディスプレイ上で表現１０７を提示させる手段（例えばプロセッサ２０２、ディスプレイ２１４）を実行し、該手段を用いて構成されてもよい（動作３０５）。本願明細書に記載される方法、装置、およびコンピュータ・プログラム製品の様々な実施形態が、頭部装着型の透過型両眼ディスプレイに関して説明されるが、視覚的誤りが生じ得る任意のタイプのディスプレイ上での表現１０７の提示に、様々な実施形態を適用可能であると考えられる。例えば、他のディスプレイとしては、（例えば上記の）非透過型ディスプレイ、片眼のみに調節の不一致が起こり得る単眼ディスプレイなどが挙げられる。さらに、様々な実施形態は、（例えば生の光景を用いない）完全な仮想情報の表示に適用されてもよい。

動作３０７に示されているように、装置２００は、フォーカス距離の変化を判断し、続いて、その変化に基づいて表現を更新させる手段（例えばプロセッサ２０２、カメラ／センサー２９４）を実行し、該手段を用いて構成することができる。少なくとも１つの例示の実施形態では、装置２００は、実質的にリアルタイムで、継続的に、定期的に、スケジュールに従って、要求に応じてなどという形で、変化がないかどうかフォーカス距離を監視してもよい。このように、ユーザが視線またはフォーカスを変更するのに伴い、装置２００は、新たなフォーカス距離に一致するよう、表現１０７を動的に調整することができる。

図４は、本発明の少なくとも１つの例示の実施形態による、関心対象の判断に基づいて表示情報の表現を決定する動作のブロック図である。少なくとも１つの例示の実施形態では、図２の装置２００および／またはそのコンポーネント（例えばプロセッサ２０２、ディスプレイ２１４、カメラ／センサー２９４）が、図４のプロセス４００に記載される動作のいずれかを実行し、かつ／または実行手段を提供する。さらに、または代わりに、図８に示されるプロセッサおよびメモリを備えるチップ・セット、および／または図９に示されるモバイル端末が、プロセス４００の動作のいずれかを実行する手段を備えてもよい。

動作４０１に示されているように、装置２００は、ディスプレイ１０１上のユーザの視野内の関心対象（例えば、ディスプレイ１０１に提示されているどの情報または物体にユーザが関心を持っているか）を判断する手段（例えばプロセッサ２０２、カメラ／センサー２９４）を実行し、該手段を用いて構成されてもよい。フォーカス距離を求めるのと同様に、視線追跡またはユーザ・インタラクション／入力が、関心対象の判断に使用されてもよい。少なくとも１つの例示の実施形態では、装置２００は、ユーザが表現１０７を見ているかどうかに基づいて関心対象を判断する手段（例えばプロセッサ２０２、カメラ／センサー２９４）を用いて構成されてもよい。複数の表現１０７、情報、または物体がほぼ同じフォーカス距離で知覚される少なくとも１つの例示の実施形態では、装置２００は、（例えば、視線追跡の精度またはユーザ・インタラクション情報に応じて）焦点面のどの項目にユーザの関心があるかをさらに判断してもよい。

動作４０３において、装置２００は、関心対象に基づいて表現を決定する手段（例えばプロセッサ２０２）を実行し、該手段を用いて構成されてもよい。例えば、ユーザが表現１０７を見るとき、表現１０７は、ある外観を有してもよい（例えば明るくてフォーカスが合っている）。ユーザが表現１０７から目を離し、同じ焦点面の別の項目を見る状況では、表現は別の外観を有してもよい（例えば暗くてフォーカスが合っている）。ユーザが表現１０７から目を離し、別の焦点面または距離にある別の項目を見る状況では、表現は、さらに別の外観を有してもよい（例えば暗くてフォーカスが合っていない）。

図５は、本発明の少なくとも１つの例示の実施形態による、ディスプレイを介したユーザの視界である。少なくとも１つの例示の実施形態では、装置２００は、ユーザのフォーカス距離に基づいてディスプレイ１０１を提示するためにデータの表現１０７を決定する手段を備えてもよい。図のように、ユーザは、ディスプレイ１０１の左レンズに対応するサブディスプレイ１０５ａと、ディスプレイ１０１の右レンズに対応するサブディスプレイ１０５ｂとを有する透過型両眼ディスプレイであるディスプレイ１０１を介して物体１０３を視認している。したがって、装置は、ディスプレイ１０１に提示される両眼用のユーザ・インターフェースを生成する手段（例えばプロセッサ２０２、ディスプレイ２１４）を備えてもよい。

この例では、装置２００は、ユーザのフォーカス距離を、物体１０３に対応するフォーカス距離５０１と判断した。図１Ａに関して記載されたように、装置２００は、判断されたフォーカス距離５０１にある物体１０３上のオーバーレイとして各サブディスプレイ１０５ａおよび１０５ｂそれぞれに拡張表現５０３ａおよび５０３ｂを提示している。図のように、装置２００はさらに、表現距離５０９に位置する仮想物体５０７の表現５０５ａおよび５０５ｂ、表現距離５１５に位置する仮想物体５１３の表現５１１ａおよび５１１ｂを提示している。

図５に示されているように、仮想物体５０７の表現距離５０９と、フォーカス距離５０１との差は、仮想物体５１３の表現距離５１５と、フォーカス距離５０１との差よりも大きい。したがって、装置２００は、仮想物体５１３の表現５１１ａおよび５１１ｂよりもぼかし効果が強くなるよう仮想物体５０７の表現５０５ａおよび５０５ｂを決定する手段（例えばプロセッサ２０２）を用いて構成される。さらに、両眼ディスプレイであることから、表現５０３ａ〜５０３ｂ、５０５ａ〜５０５ｂ、および５１１ａ〜５１１ｂは、各表現ペアの両眼連動が、求められたフォーカス距離に対し適切となるように決定される。少なくとも１つの例示の実施形態では、装置２００は、表現に関して、ぼかし効果と両眼連動とを別々に決定しても、または組み合わせて決定してもよい。

図６は、本発明の少なくとも１つの例示の実施形態による、フォーカス距離に基づき、ディスプレイの動的フォーカス光学コンポーネントの焦点設定を決定する動作のブロック図である。少なくとも１つの例示の実施形態では、図２の装置２００および／またはそのコンポーネント（例えばプロセッサ２０２、ディスプレイ２１４、カメラ／センサー２９４）が、図６のプロセス６００に記載される動作のいずれかを実行し、かつ／またはその実行手段を提供する。さらに、または代わりに、図８に示されるプロセッサおよびメモリを備えるチップ・セット、および／または図９に示されるモバイル端末が、プロセス６００の動作のいずれかを実行する手段を備えてもよい。なお、図６の動作６０１〜６０７は、本発明の少なくとも１つの実施形態の例として提供される。さらに、動作６０１〜６０７の順序は変更可能であり、動作６０１〜６０７の一部が組み合わされてもよい。例えば、動作６０７は、実行されてもされなくてもよく、または動作６０１、もしくは他の動作６０３もしくは６０５のいずれかと組み合わされてもよい。

前述のとおり、光学技術および／または非光学技術により、潜在的な視覚的誤りおよび矛盾（例えばフォーカスの不一致）および／またはそのユーザへの潜在的な影響を、軽減または解消することができる。プロセス６００の動作を実行する方法、装置、およびコンピュータ・プログラム製品は、視覚的誤りまたは矛盾を軽減または解消するために、ディスプレイ１０１の動的フォーカス光学コンポーネント１２１の焦点設定を決定するための光学技術に関する。動作６０１は、図３の動作３０１に関して記載されたフォーカス距離を求める動作に類似している。例えば、動作６０１において、装置２００は、ユーザのフォーカス距離を求める手段（例えば、プロセッサ２０２、カメラ／センサー２９４、入力デバイス２１２、ポインティング・デバイス２１６など）を実行し、該手段を備える。例として、フォーカス距離は、ディスプレイ（例えばディスプレイ１０１、１１９、１２５、および／または２１４）の視野内の、ユーザの注目の対象である箇所までの距離を表現する。

少なくとも１つの例示の実施形態では、視野内の箇所およびフォーカス距離は、視線追跡情報を使用して求められる。したがって、装置２００は、ユーザの視線を追跡することによって、注目されている箇所を判断し、視線追跡情報に基づいてフォーカス距離を求める手段（例えばカメラ／センサー２９４）を用いて構成されてもよい。少なくとも１つの例示の実施形態では、装置２００は、ディスプレイ１０１の視野内の少なくとも１つのシーンに存在する情報、データ、および／または物体（例えば物理的および仮想両方）の奥行きバッファを保持する手段（例えばプロセッサ２０２、メモリ２０４、カメラ／センサー２９４）を用いて構成される。例えば、装置２００は、奥行きバッファをもたらすために、前方奥行き感知カメラなどの手段を備えてもよい。奥行き感知カメラまたはその他類似のセンサーは、例として、ディスプレイ１０１を介して視認される表現１０７および情報、物体などの奥行き、外形、またはその組み合わせを判断する手段である。例えば、奥行きバッファは、ディスプレイ１０１の視野内の識別された画素または箇所のｚ軸値を記憶することができる。

奥行きおよび外形情報は、奥行きバッファに記憶すること、またはその他の形で奥行きバッファと関連付けることができる。このようにして、例えば、視線追跡情報を奥行きバッファと照合してフォーカス距離を求めることができる。少なくとも１つの例示の実施形態では、装置は、装置２００にて奥行きバッファをローカルに記憶する手段（例えばプロセッサ２０２、メモリ２０４、ストレージ・デバイス２０８）を用いて構成することができる。さらに、または代わりに、装置２００は、奥行きバッファおよび関連情報をリモートに、例としてサーバ２９２、ホスト２８２などに記憶する手段（例えば通信インターフェース２７０）を備えるよう構成されてもよい。

少なくとも１つの例示の実施形態では、装置２００は、ユーザ・インタラクション、入力、および／または感知された文脈情報に基づいて、ユーザが関心を持つディスプレイの視野内の箇所を判断する手段（例えばプロセッサ２０２、入力デバイス２１２、ポインティング・デバイス２１６、カメラ／センサー２９４）を用いて構成されてもよい。例えば、装置２００は、視線追跡情報に加えて、またはその代わりに、視野内のどの箇所がユーザにより（例えば入力デバイス２１２、ポインティング・デバイス２１６を介して）選択されるかを判断してもよい。別の例では、装置２００は、感知された文脈情報（例えば加速度計データ、コンパス・データ、ジャイロスコープ・データなど）を処理して、注目されている箇所を示す、方向または動き方を求めてもよい。続いて、この箇所を奥行きバッファと比較して、フォーカス距離を求めることができる。

動作６０３において、装置２００は、フォーカス距離に基づいて、ディスプレイ１０１の１つ以上の動的フォーカス光学コンポーネント１２１の、少なくとも１つの焦点設定を決定する手段（例えばプロセッサ２０２）を実行し、該手段を用いて構成されてもよい。少なくとも１つの例示の実施形態では、この少なくとも１つの焦点設定に関連するパラメータは、ディスプレイ１０１により採用される動的合焦システムのタイプによって決まってもよい。図１Ｃに関して記載されたように、動的フォーカス光学コンポーネントのタイプの１つは、流体工学または電気光学などの技術に基づく連続的フォーカス・システムである。流体工学に基づくシステムの場合、装置２００は、所望の焦点を実現するために、流体膨張または収縮に関連するパラメータまたは焦点設定を決定する手段（例えばプロセッサ２０２）を用いて構成されてもよい。電気光学に基づくシステムの場合、装置２００は、電気光学システムの光学的特性を変更するために電界を発生させるためのパラメータを決定する手段（例えばプロセッサ２０２）を備えるよう構成されてもよい。

図１Ｄは、複数の焦点面を備えるディスプレイに基づく動的合焦システムを図示する。このタイプのシステムの場合、装置２００は、複数の焦点面のうちどれが、求められたフォーカス距離に最も近い焦点を有するかを示す、焦点設定を決定する手段（例えばプロセッサ２０２）を備えるよう構成されてもよい。上記の光学システムの説明は、例示のためのものと意図されており、方法、装置、およびコンピュータ・プログラム製品の様々な実施形態が適用される動的合焦システムを限定することは意図されていない。

少なくとも１つの例示の実施形態では、装置２００は、ディスプレイ１０１上に提示されるデータの表現１０７と、ディスプレイ１０１を介して視認される情報との間のフォーカスの不一致に基づいて、少なくとも１つの焦点設定を決定する手段（例えばプロセッサ２０２、カメラ／センサー２９４）を用いて構成されてもよい。例として、装置２００は、ディスプレイ１０１上での表現１０７の提示に関する奥行きと、ディスプレイを介した情報の視認に関する別の奥行きとを判断する。これら２つの奥行きに基づき、装置２００は、潜在的なフォーカスの不一致またはその他視覚的誤りがあるかどうかを判断し、続いて、フォーカスの不一致を補正させるために該少なくとも１つの焦点設定を決定することができる。

ディスプレイ１０１が少なくとも２つの動的フォーカス光学コンポーネント１２１を備える少なくとも１つの例示の実施形態では、装置２００は、動的フォーカス光学コンポーネント１２１のうちの１つに対して設定された第１セットの焦点設定から生じる、表現、ディスプレイを介して視認される情報、またはその組み合わせの知覚される奥行きのずれを判断することにより、フォーカスの不一致を判断する手段（例えばプロセッサ２０２、カメラ／センサー２９４）を用いて構成されてもよい。その結果、装置２００は、ずれに基づいて、別の動的フォーカス光学コンポーネント１２１の別のセットの焦点設定を決定することができる。例として、ディスプレイ１０１に提示される表現１０７と、ディスプレイを介して視認される情報との間の任意のずれまたは誤りを補正するために、第２の、または別の動的フォーカス光学要素に、第２の、または別のセットの焦点設定を適用することができる。光学コンポーネントを使用したフォーカス補正のプロセスのさらなる説明が、図７Ａ〜図７Ｄに関して下記で提供される。

少なくとも１つの例示の実施形態では、装置は、光学フォーカス調整に加えて、フォーカス距離に基づいて、該１つ以上の動的フォーカス光学コンポーネントの、少なくとも１つの両眼連動設定を決定する手段（例えばプロセッサ２０２）を用いて構成されてもよい。少なくとも１つの例示の実施形態では、両眼連動とは、両眼視を提供するために垂直軸の周りを両眼が回転するプロセスを指す。例えば、眼に近い物体ほど、典型的には、両眼がより大きく内側に回転することを要し、無限遠に向かって離れた物体に対しては、両眼が平行に近づく。したがって、装置２００は、特定のフォーカス距離に対して適切なレベルの両眼連動に近づけるために、動的フォーカス光学コンポーネント１２１をどのような物理的構成とするかを決定してもよい。少なくとも１つの例示の実施形態では、該少なくとも１つの両眼連動設定は、該１つ以上の動的フォーカス光学要素の傾き設定を含む。両眼光学コンポーネントの傾き両眼連動設定の例示を、下記、図７Ｃおよび図７Ｄに関して提供する。様々な実施形態において記載されるようにフォーカスおよび両眼連動設定の調整を可能にすることにより、装置２００が、眼精疲労につながり得る潜在的な視覚的誤りを軽減または解消することができる。

少なくとも１つの例示の実施形態では、装置２００は、フォーカスまたはその他視覚的誤りの補正を決定するために、光学および非光学両方の技術の使用を組み合わせる手段（例えばプロセッサ２０２、カメラ／センサー２９４）を用いて構成することができる。したがって、動作６０５において、装置２００は、動的フォーカス光学コンポーネントの焦点設定に少なくとも部分的に基づいて表現１０７を決定する手段（例えばプロセッサ２０２）を実行し、該手段を用いて構成されてもよい。例えば、光学焦点設定によりぼかし効果が既にもたらされている場合、表現は、ぼかし効果を含むとしても、動的フォーカス光学コンポーネントなしのディスプレイ１０１と比較した場合ほどは含まなくてよい。他の場合には、表現１０７は、例えば所与の焦点設定でディスプレイ１０１上での奥行きまたはフォーカス効果を付加または強化する追加効果を持つように決定されてもよい。

動作６０７に示されているように、装置２００は、フォーカス距離の変化を判断し、続いて、その変化に基づいて動的フォーカス光学コンポーネント１２１の該少なくとも１つの焦点設定を更新させる手段（例えばプロセッサ２０２、カメラ／センサー２９４）を実行し、該手段を用いて構成することができる。少なくとも１つの例示の実施形態では、装置２００は、実質的にリアルタイムで、継続的に、定期的に、スケジュールに従って、要求に応じてなどという形で、変化がないかどうかフォーカス距離を監視してもよい。このように、ユーザが視線またはフォーカスを変更するのに伴い、装置２００は、新たなフォーカス距離に一致するよう、光学コンポーネントのフォーカスを動的に調整することができる。

図７Ａ〜図７Ｄは、本発明の少なくとも１つの例示の実施形態による、動的フォーカス光学コンポーネントを使用してフォーカス補正を提供するディスプレイの透視図である。上記図１Ｂに関して説明したように、典型的なニア・アイ透過型ディスプレイ１０１は、固定フォーカスで、物理的世界の光景の上にデータの表現１０７（例えば仮想画像）を提示する。これは、典型的には無限遠のフォーカス距離に固定されている表現１０７と、ディスプレイを介して視認される実際の物体または情報との間のフォーカスの不一致をもたらし得る。図７Ａに示されているように、少なくとも１つの例示の実施形態では、レンズ７０１が、眼１１３とライトガイド１２３との間に設けられる。例として、この単一のレンズ７０１は、仮想画像（例えば表現１０７）をより近くに引き寄せる効果を有する。透過型でないディスプレイ１０１の場合、単一のレンズで、ディスプレイ上に提示される仮想画像または表現１０７のフォーカス距離を有効に変更することができる。

一方、透過型ディスプレイ１０１の場合、ディスプレイを介して視認される物体１０３の画像の知覚される奥行きも近く引き寄せられ、その結果、潜在的なフォーカスの不一致は保持される。図７Ｂの実施形態では、第２のレンズ７０３がライトガイド１２３と物体１０３との間に配置され、物体１０３の知覚される奥行きを、その実際の奥行きに有効に変更する。したがって、単一のレンズは、ディスプレイが不透明または非透過型である場合に、ディスプレイ１０１上の表現１０７または画像のフォーカス距離を変更するのに有効となり得る。その一方で、デュアルレンズ・システムは、仮想物体（例えば表現１０７）と組み合わさった実際の物体（例えば物体１０３）をディスプレイ１０１が提示する場合に、視覚的誤りおよびフォーカスの不一致を補正するのに有効となり得る。

少なくとも１つの例示の実施形態では、図７Ｂのデュアルレンズ・システムが、レンズとして動的フォーカス光学コンポーネント１２１を用いて構成される場合、システムは、仮想画像と、ディスプレイを介して視認される情報とを組み合わせるにあたり、より高い柔軟性を提供することができる。図６の動作６０７に関して説明されるように、２つのレンズの焦点設定を調整して、フォーカスの不一致の調整を行うことができる。例えば、ユーザによって決定されたフォーカス距離にデータの表現１０７を提示するよう、第１のレンズ７０１の焦点設定を調整することができる。次に、ディスプレイ１０１を介して視認される情報の知覚される奥行きのずれを使用して、第２のレンズ７０３の焦点設定を決定することができる。少なくとも１つの例示の実施形態では、ディスプレイ１０１を介して視認されるとき、情報の意図されるまたは実際の奥行きに知覚距離を移動するべく、知覚距離の任意のずれを補正するように第２のレンズ７０３の焦点設定が決定される。

図７Ｃは、少なくとも１つの例示の実施形態による、ユーザの左眼および右眼７０９ａおよび７０９ｂに対応する動的フォーカス光学要素７０７ａおよび７０７ｂを備える両眼ディスプレイ７０５を示す。調節またはフォーカス矛盾に加え、両眼連動も、適切なフォーカス距離に整合していない場合に眼精疲労に影響を及ぼし得る。少なくとも１つの例示の実施形態では、動的フォーカス光学要素７０７ａおよび７０７ｂは、輻輳を光学的に調整する手段である。図７Ｃに示されているように、物体７１１を視認するとき（特に、物体７１１がディスプレイ７０５に近いとき）、眼７０９ａおよび７０９ｂは、典型的には、内側へ回転して、物体７１１を網膜の視野（例えば中心窩領域）内に持ってきて、物体７１１の整合のとれた両眼視を提供しなければならない。図７Ｃの例では、それぞれの動的フォーカス光学要素７０７ａおよび７０７ｂを収容するサブディスプレイ７１３ａおよび７１３ｂは、輻輳のための調整を行うよう物理的に回転する手段を備える。

図７Ｄは、少なくとも１つの例示の実施形態による、各動的フォーカス要素７１９ａおよび７１９ｂを収容するサブディスプレイ７１７ａおよび７１７ｂ上に光が投射される角度を変更することによって輻輳のための調整を行うことができる、両眼ディスプレイ７１５を示す。例えば、ディスプレイ７１５は、サブディスプレイ７１７ａおよび７１７ｂを物理的に回転させず、その代わりに、物体７１１に対して輻輳を行うために眼７０９ａおよび７０９ｂが内側へ回転されるべき角度を表現する角度αを求める手段を備えてもよい。その結果、ディスプレイ７１５は、角度αに合わせてサブディスプレイ７１７ａおよび７１７ｂに投射される光の角度を変更する手段（例えばレンダリング・エンジン７２１ａおよび７２１ｂ）を備えてもよい。このように、サブディスプレイ７１７ａおよび７１７ｂは、上記図７Ｃに関して記載されたように物理的に回転しなくてもよい。

図８は、本発明の実施形態が実装され得るチップ・セットまたはチップ８００を示す。チップ・セット８００は、本願明細書に記載されたように、フォーカス距離に基づいて表示情報の表現を決定するようプログラムされており、例として、１つ以上の物理的パッケージ（例えばチップ）に組み込まれた、図２に関して記載されたプロセッサおよびメモリ・コンポーネントを備える。例として、物理的パッケージは、構造組立品（例えばベースボード）上の１つ以上の材料、コンポーネント、および／またはワイヤの配列を備え、物理的強度、サイズの節減、および／または電気的相互作用の制限などの１つ以上の特徴を提供する。少なくとも１つの例示の実施形態では、チップ・セット８００は、単一のチップに実装できると考えられる。さらに、少なくとも１つの例示の実施形態では、チップ・セットまたはチップ８００は、単一の「システム・オン・チップ」として実装することができると考えられる。さらに、少なくとも１つの例示の実施形態では、例えば別個のＡＳＩＣは使用されず、本願明細書において開示された関連機能はすべて、１つまたは複数のプロセッサによって実行されることになると考えられる。チップ・セットもしくはチップ８００、またはその一部は、機能の利用可能性に関連するユーザ・インターフェース・ナビゲーション情報を提供する１つ以上のステップを実行する手段を構成する。チップ・セットもしくはチップ８００、またはその一部は、フォーカス距離に基づいて表示情報の表現を決定する１つ以上のステップを実行する手段を構成する。

少なくとも１つの例示の実施形態では、チップ・セットまたはチップ８００は、チップ・セット８００のコンポーネント間で情報を渡すための、バス８０１などの通信メカニズムを備える。プロセッサ８０３は、命令を実行して、例えばメモリ８０５に記憶されている情報を処理するために、バス８０１への接続性を有する。プロセッサ８０３は、各コアが独立して実行するよう構成されている、１つ以上の処理コアを備えてもよい。マルチコア・プロセッサは、単一の物理的パッケージ内でのマルチプロセッシングを可能にする。マルチコア・プロセッサの例には、２つ、４つ、８つ、またはより多くの数の処理コアが含まれる。あるいは、またはさらに、プロセッサ８０３は、命令の独立した実行、パイプライン処理、マルチスレッディングを可能にするよう、バス８０１を介してタンデム構成された１つ以上のマイクロプロセッサを備えてもよい。さらに、プロセッサ８０３は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）８０７、または１つ以上の特定用途向け集積回路（ＡＳＩＣ）８０９など、特定の処理機能およびタスクを実行するための１つ以上の特殊コンポーネントを伴ってもよい。ＤＳＰ８０７は、典型的には、プロセッサ８０３とは独立して、リアルタイムで実世界の信号（例えば音）を処理するよう構成される。同様に、ＡＳＩＣ８０９は、より汎用型のプロセッサでは容易に実行されない特殊機能を実行するよう構成可能である。本願明細書に記載された本発明の機能の実行を支援する他の特殊コンポーネントとしては、１つ以上のフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、１つ以上のコントローラ、またはその他１つ以上の特殊用途コンピュータ・チップを挙げることができる。

少なくとも１つの例示の実施形態では、チップ・セットまたはチップ８００は、１つ以上のプロセッサ、ならびに該１つ以上のプロセッサをサポートする、かつ／または該１つ以上のプロセッサに関係する、かつ／または該１つ以上のプロセッサのための、何らかのソフトウェアおよび／またはファームウェアのみを備える。

プロセッサ８０３および付随するコンポーネントは、バス８０１を介したメモリ８０５への接続性を有する。メモリ８０５には、実行されると、フォーカス距離に基づいて表示情報の表現を決定するための、本願明細書に記載された本発明のステップを実行する実行可能命令を記憶する、動的メモリ（例えばＲＡＭ、磁気ディスク、書き込み可能な光ディスクなど）および静的メモリ（例えばＲＯＭ、ＣＤ−ＲＯＭなど）の両方がある。メモリ８０５は、本発明のステップの実行に関連する、またはそれによって生成されたデータも記憶する。

図９は、少なくとも１つの例示の実施形態による、図１のシステムにおいて動作できる通信用のモバイル端末（例えばハンドセット）の例示のコンポーネントの図である。少なくとも１つの例示の実施形態では、モバイル端末９０１、またはその一部は、フォーカス距離に基づいて表示情報の表現を決定する１つ以上のステップを実行する手段を構成する。一般に、無線受信機は、フロントエンドおよびバックエンドの特徴の観点から定義されることが多い。受信機のフロントエンドが、無線周波数（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路全体を含むのに対し、バックエンドは、ベースバンド処理回路全体を含む。本願において使用される「回路」という用語は、（１）ハードウェアのみの実装（アナログ回路および／またはデジタル回路のみにおける実装など）、および（２）回路とソフトウェア（および／またはファームウェア）との組み合わせ（特定の文脈に当てはまる場合、モバイル電話またはサーバなどの装置に様々な機能を実行させるべく協働する、デジタル信号プロセッサ（単数または複数）を含むプロセッサ（単数または複数）、ソフトウェア、およびメモリ（単数または複数）の組み合わせなど）の両方を指す。「回路」のこの定義は、任意の特許請求の範囲を含め、本願におけるこの用語のすべての使用に当てはまる。さらなる例として、本願において使用され、かつ特定の文脈に当てはまる場合、「回路」という用語は、プロセッサ（または複数のプロセッサ）およびその（またはそれらの）付随するソフトウェアおよび／またはファームウェアのみの実装も対象とすると考えられる。「回路」という用語は、特定の文脈に当てはまる場合、例えば、モバイル電話内のベースバンド集積回路もしくはアプリケーション・プロセッサ集積回路、またはセルラー・ネットワーク・デバイスもしくはその他ネットワーク・デバイス内の同様の集積回路も対象とすると考えられる。

電話の関連内部コンポーネントには、主制御ユニット（ＭＣＵ：Ｍａｉｎ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）９０３、デジタル信号プロセッサ（ＤＳＰ）９０５、ならびにマイクロホン利得制御ユニットおよびスピーカ利得制御ユニットを含む受信機／送信機ユニットが含まれる。主ディスプレイ・ユニット９０７は、フォーカス距離に基づいて表示情報の表現を決定するステップを実行またはサポートする様々なアプリケーションおよびモバイル端末機能のサポートとして、ユーザに表示を提供する。ディスプレイ９０７は、モバイル端末（例えばモバイル電話）のユーザ・インターフェースの少なくとも一部を表示するよう構成されたディスプレイ回路を備える。さらに、ディスプレイ９０７およびディスプレイ回路は、モバイル端末の少なくとも一部の機能のユーザ制御を促進するよう構成されている。オーディオ機能回路９０９は、マイクロホン９１１、およびマイクロホン９１１から出力される発話信号を増幅するマイクロホン増幅器を備える。マイクロホン９１１から出力された増幅発話信号は、コーダ／デコーダ（ＣＯＤＥＣ：ｃｏｄｅｒ／ｄｅｃｏｄｅｒ）９１３に供給される。

無線セクション９１５は、モバイル通信システムに含まれる基地局とアンテナ９１７を介して通信するために、電力を増幅し周波数を変換する。電力増幅器（ＰＡ：ｐｏｗｅｒ ａｍｐｌｉｆｉｅｒ）９１９および送信機／変調回路は、ＭＣＵ９０３に動作応答し、ＰＡ９１９からの出力は、当該技術分野で周知のように、デュプレクサ９２１またはサーキュレータまたはアンテナ・スイッチに結合される。ＰＡ９１９は、バッテリ・インターフェースおよび電力制御ユニット９２０にも結合する。

使用中、モバイル端末９０１のユーザは、マイクロホン９１１に向かって発話し、その音声は、検出された任意の背景雑音とともにアナログ電圧に変換される。続いて、アナログ電圧は、アナログ・デジタル変換器（ＡＤＣ：Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）９２３を介してデジタル信号に変換される。制御ユニット９０３は、ＤＳＰ９０５内での、発話符号化、チャネル符号化、暗号化、およびインターリービングなどの処理のために、デジタル信号をＤＳＰ９０５内へ送る。少なくとも１つの例示の実施形態では、処理された音声信号は、例えばグローバル・エボリューションのための拡張データ・レート（ＥＤＧＥ：ｅｎｈａｎｃｅｄ ｄａｔａ ｒａｔｅｓ ｆｏｒ ｇｌｏｂａｌ ｅｖｏｌｕｔｉｏｎ）、汎用パケット無線サービス（ＧＰＲＳ：ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ）、ＧＳＭ（登録商標）（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、インターネット・プロトコル・マルチメディア・サブシステム（ＩＭＳ：Ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ ｍｕｌｔｉｍｅｄｉａ ｓｕｂｓｙｓｔｅｍ）、ユニバーサル移動体通信システム（ＵＭＴＳ：ｕｎｉｖｅｒｓａｌ ｍｏｂｉｌｅ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｓｙｓｔｅｍ）などのセルラー伝送プロトコル、ならびにその他例えばマイクロ波アクセス（ＷｉＭＡＸ）、ロング・ターム・エボリューション（ＬＴＥ：Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）ネットワーク、符号分割多重アクセス（ＣＤＭＡ：ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ＷＣＤＭＡ（登録商標）（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、ワイヤレス・フィディリティ（ＷｉＦｉ：ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）、衛星および同様のものなどの任意の適切なワイヤレス媒体、またはその任意の組み合わせを使用して、別個に示されていないユニットによって符号化される。

続いて、符号化信号は、位相および振幅歪みなど、空中を伝送する間に発生する任意の周波数依存減衰の補償のために、イコライザ９２５に送られる。ビット・ストリームを等化した後、モジュレータ９２７が、信号と、ＲＦインターフェース９２９において生成されたＲＦ信号とを組み合わせる。モジュレータ９２７は、周波数変調または位相変調によって正弦波を生成する。信号の伝送準備をするために、アップコンバータ９３１が、モジュレータ９２７からの正弦波出力と、シンセサイザ９３３によって生成された別の正弦波とを組み合わせて、所望の伝送周波数を達成する。続いて、信号は、信号を適切な電力レベルに増強させるために、ＰＡ９１９を通る。実際のシステムでは、ＰＡ９１９は、ネットワーク基地局から受信される情報からＤＳＰ９０５によって利得が制御される、可変利得増幅器として機能する。続いて、信号は、デュプレクサ９２１内でフィルタリングされ、任意選択で、最大電力転送を提供するためにインピーダンスを整合させるべく、アンテナ・カプラ９３５に送信される。最後に、信号はアンテナ９１７を介してローカル基地局へ伝送される。受信機の最終段階の利得を制御するために、自動利得制御（ＡＧＣ：ａｕｔｏｍａｔｉｃ ｇａｉｎ ｃｏｎｔｒｏｌ）が供給されることが可能である。信号は、そこから、別のセルラー電話、他の任意のモバイル電話、または公衆交換電話ネットワーク（ＰＳＴＮ：Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ）もしくはその他電話ネットワークに接続された固定電話であってもよいリモートの電話に転送されてもよい。

モバイル端末９０１に伝送された音声信号は、アンテナ９１７を介して受信され、低雑音増幅器（ＬＮＡ：ｌｏｗ ｎｏｉｓｅ ａｍｐｌｉｆｉｅｒ）９３７によって直ちに増幅される。ダウンコンバータ９３９は、搬送周波数を低下させ、デモジュレータ９４１は、ＲＦを除去してデジタル・ビット・ストリームのみを残す。続いて、信号は、イコライザ９２５を通過し、ＤＳＰ９０５によって処理される。デジタル−アナログ変換器（ＤＡＣ：Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）９４３は、信号を変換し、結果として生じる出力が、スピーカ９４５を介してユーザに伝えられる。これはすべて、中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）として実装可能な主制御ユニット（ＭＣＵ）９０３に制御される。

ＭＣＵ９０３は、キーボード９４７からの入力信号を含む様々な信号を受領する。キーボード９４７および／またはＭＣＵ９０３は、他のユーザ入力コンポーネント（例えばマイクロホン９１１）とともに、ユーザ入力を管理するためのユーザ・インターフェース回路を構成する。ＭＣＵ９０３は、ユーザ・インターフェース・ソフトウェアを実行して、フォーカス距離に基づいて表示情報の表現を決定するためのモバイル端末９０１の少なくとも一部の機能を、ユーザが制御することを促進する。さらに、ＭＣＵ９０３は、ディスプレイ９０７および発話出力切り替えコントローラに、それぞれディスプレイ・コマンドおよび切り替えコマンドを配信する。さらに、ＭＣＵ９０３は、ＤＳＰ９０５と情報をやり取りし、任意選択で組み込まれたＳＩＭカード９４９およびメモリ９５１にアクセスすることができる。さらにＭＣＵ９０３は、端末に必要な様々な制御機能を実行する。ＤＳＰ９０５は、実装に応じて、音声信号に対し、従来の様々なデジタル処理機能のうちのいずれかを実行してもよい。さらに、ＤＳＰ９０５は、マイクロホン９１１によって検出された信号から、ローカル環境の背景雑音レベルを決定し、モバイル端末９０１のユーザの自然な傾向を補償するように選択されたレベルに、マイクロホン９１１の利得を設定する。

ＣＯＤＥＣ９１３は、ＡＤＣ９２３およびＤＡＣ９４３を備える。メモリ９５１は、電話着信音データを含む様々なデータを記憶し、さらに、例えば世界的なインターネットを介して受信される音楽データを含む他のデータを記憶できる。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、レジスタ、またはその他当該技術分野において周知の任意の形態の書き込み可能なストレージ媒体に存在することができるであろう。メモリ・デバイス９５１は、次に限定されるものではないが、単一のメモリ、ＣＤ、ＤＶＤ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、光学ストレージ、磁気ディスク・ストレージ、フラッシュ・メモリ・ストレージ、またはその他デジタル・データを記憶できる任意の不揮発性ストレージ媒体とされ得る。

任意選択で組み込まれたＳＩＭカード９４９は、例えば、セルラー電話番号、サービスを供給するキャリア、加入詳細、およびセキュリティ情報などの重要情報を保持する。ＳＩＭカード９４９は、主として、無線ネットワーク上でモバイル端末９０１を識別する役割を果たす。さらに、カード９４９は、個人電話番号帳、テキスト・メッセージ、およびユーザ固有のモバイル端末設定を記憶するメモリを含む。

さらに、１つ以上のカメラ・センサー１０５３が、移動局１００１上に組み入れられてもよく、該１つ以上のカメラ・センサーは、移動局上の１つ以上の位置に配置されてもよい。一般に、カメラ・センサーは、音声記録も含み得る１つ以上の静止画および／または動画（例えばビデオ、ムービーなど）を捕捉し、記録し、記憶させるために利用されてもよい。

本発明について、いくつかの実施形態および実装に関連して記載してきたが、本発明はそのように限定はされず、種々の明白な変更および等価な構成も対象としており、それらは添付の特許請求の範囲に記載の範囲内に入る。本発明の特徴は、特許請求の範囲の中で特定の組み合わせで表現されているが、こうした特徴は、任意の組み合わせおよび順序で構成することができると考えられる。

Claims (20)

1. ユーザのフォーカス距離を求めることと；
   前記フォーカス距離に基づいてデータの表現を決定することと；
   ディスプレイ上で前記表現を提示させることと；
   を含む方法。
2. 前記フォーカス距離を、視線追跡情報に基づいて求めること；
   をさらに含む、請求項１に記載の方法。
3. 前記フォーカス距離の変化を判断することと；
   前記変化に基づいて前記表現を更新させることと；
   をさらに含む、請求項１に記載の方法。
4. 前記表現が関心対象であるかどうかに基づいて前記表現を決定すること；
   をさらに含む、請求項１に記載の方法。
5. 前記ユーザが前記表現を見ているかどうかに基づいて前記関心対象を判断すること；
   をさらに含む、請求項４に記載の方法。
6. 前記フォーカス距離からの表現距離に基づいて、前記表現に適用する少なくとも１つのレンダリング特性の度合いを決定すること；
   をさらに含む、請求項１に記載の方法。
7. 前記表現は、表現距離にさらに基づく、請求項１に記載の方法。
8. 前記方法は、
   前記ディスプレイの、少なくとも１つの動的フォーカス光学コンポーネントの焦点設定を決定すること；
   をさらに含み、
   前記表現は、前記焦点設定にさらに基づく、
   請求項１に記載の方法。
9. 少なくとも１つのプロセッサと；
   １つ以上のプログラムのコンピュータ・プログラム・コードを含む少なくとも１つのメモリと；
   を有する装置であって、
   前記少なくとも１つのメモリおよび前記コンピュータ・プログラム・コードは、前記少なくとも１つのプロセッサとともに、前記装置に少なくとも、
   ユーザのフォーカス距離を求めることと；
   前記フォーカス距離に基づいて情報の表現を決定することと；
   ディスプレイ上で前記表現を提示させることと；
   を行わせるよう構成される、装置。
10. 前記少なくとも１つのメモリおよび前記コンピュータ・プログラム・コードは、前記少なくとも１つのプロセッサとともに、前記装置に、
    前記フォーカス距離を、視線追跡情報に基づいて求めること；
    を行わせるよう構成される、請求項９に記載の装置。
11. 前記装置にはさらに、
    前記フォーカス距離の変化を判断することと；
    前記変化に基づいて前記表現を更新させることと；
    を行わせる、請求項９に記載の装置。
12. 前記装置にはさらに、
    前記表現が関心対象であるかどうかに基づいて前記表現を決定すること；
    を行わせる、請求項９に記載の装置。
13. 前記装置にはさらに、
    前記ユーザが前記表現を見ているかどうかに基づいて前記関心対象を判断すること；
    を行わせる、請求項１２に記載の装置。
14. 前記装置にはさらに、
    前記フォーカス距離からの表現距離に基づいて、前記表現に適用する少なくとも１つのレンダリング特性の度合いを決定すること；
    を行わせる、請求項９に記載の装置。
15. 前記表現は、表現距離にさらに基づく、請求項９に記載の装置。
16. 前記装置にはさらに、
    前記ディスプレイの、少なくとも１つの動的フォーカス光学コンポーネントの焦点設定を決定すること；
    を行わせ、
    前記表現は、前記焦点設定にさらに基づく、
    請求項９に記載の装置。
17. コンピュータ可読プログラム命令が記憶されている少なくとも１つの非一時的コンピュータ可読ストレージ媒体を有するコンピュータ・プログラム製品であって、前記コンピュータ可読プログラム命令は、
    ユーザのフォーカス距離を求めるよう構成されたプログラム命令と；
    前記フォーカス距離に基づいて情報の表現を決定するよう構成されたプログラム命令と；
    ディスプレイ上で前記表現を提示させるよう構成されたプログラム命令と；
    を含む、コンピュータ・プログラム製品。
18. 前記フォーカス距離を、視線追跡情報に基づいて求めるよう構成されたプログラム命令
    をさらに含む、請求項１７に記載のコンピュータ・プログラム製品。
19. 前記フォーカス距離の変化を判断するよう構成されたプログラム命令と；
    前記変化に基づいて前記表現を更新させるよう構成されたプログラム命令と；
    をさらに含む、請求項１７に記載のコンピュータ・プログラム製品。
20. 前記表現が関心対象であるかどうかに基づいて前記表現を決定するよう構成されたプログラム命令
    をさらに含む、請求項１７に記載のコンピュータ・プログラム製品。

Images