JP2018032440A - 制御可能なヘッドセットコンピュータディスプレイ - Google Patents

Abstract

【課題】どのような音声コマンドが利用可能であるかをユーザが把握することを可能にする、ヘッドセットコンピュータを提供する。【解決手段】方法は、ヘッドセットコンピュータ１００にユーザインターフェース２０２、３０２を提供する過程と、ユーザのキュー・トグルコマンドの発話に応答して、少なくとも１つのキューをユーザインターフェース２０２、３０２に表示する過程であって、各キューは、実行すべきコードが関連付けられた音声コマンド３０４ａ〜３０４ｆにそれぞれ対応する、過程と、ユーザの音声コマンドの発話に応答して、音声コマンドに関連付けられたコードを実行する過程とを含む。【選択図】図４

Description

関連技術

本願は、2013年1月4日付出願の米国特許出願第61/749,240号の優先権を主張する、2013年3月13日付出願の米国特許出願第13/799,790号の継続出願である。なお、米国特許出願第13/799,790号は、2010年9月20日付出願の米国特許出願第61/384,586号の優先権を主張する、2011年9月16日付出願の米国特許出願第13/234,916号の一部継続出願である。これら米国特許出願の全内容は、参照をもって本明細書に取り入れたものとする。

現在、ノートブックＰＣ、スマートフォン、タブレット型コンピューティング端末等のモバイルコンピューティングデバイスは、ビジネスライフおよび私生活の両方において、データを生成、分析、通信および消費するための日常的なツールとなっている。消費者は、高速無線通信技術のユビキタス化に伴ない、ますます容易にデジタル情報にアクセスできることを背景に、モバイルデジタルライフスタイルを享受し続ける。モバイルコンピューティングデバイスのよくある用途として、大量の高解像度コンピュータグラフィックス情報及び動画コンテンツを表示する用途が挙げられ、デバイスにワイヤレスでストリーミングして表示する場合が多い。典型的にこれらのデバイスはディスプレイ画面を備えているものの、モバイル性を推し進めるため、デバイス自体の物理的サイズは制限されている。そのため、これらのモバイルデバイスで、高解像度の大型ディスプレイのようなより好ましい視覚的体験を再現することは難しい。その他にも、このような種類のデバイスの短所として、ユーザインターフェースがヒトの手に依存する（ヒトの手を使うことを必要とする）点が挙げられる。典型的には、一般的にユーザは、（物理的または仮想的な）キーボードやタッチスクリーンディスプレイを用いてデータの入力や何らかの選択を行うことを求められる。そのため、今日の消費者は、ヒトの手に依存するモバイルデバイスを補うまたはこれにとって代わる、ハンズフリーで（ヒトの手に依存しないで）、高品質且つ携帯可能な、カラーディスプレイのソリューションを所望している。

近年開発されたマイクロディスプレイは、大型フォーマットの高解像度カラー画像及びストリーミング映像を、極めて小さい形状の構成要素で提供することができる。このようなディスプレイの用途として、ユーザの視野内にディスプレイが収まるように眼鏡やオーディオヘッドセットやビデオアイウェアと似た形式の、ユーザの頭部に装着される無線ヘッドセットコンピュータへの組込みが挙げられる。「無線ヘッドセットコンピューティング」デバイスは、少なくとも１つの小型高解像度マイクロディスプレイと画像を拡大する光学系とを備える。ＷＶＧＡマイクロディスプレイは、スーパービデオグラフィックスアレイ（ＳＶＧＡ）（800×600）解像度または拡張グラフィックスアレイ（ＸＧＡ）（1024×768）解像度、あるいは、それを超える解像度を提供することができる。また、無線コンピューティングヘッドセットは、データ機能や映像ストリーミング機能を可能にする少なくとも１つの無線コンピューティングインターフェースと通信インターフェースを備えており、かつ、ヒトの手に依存する装置を介して優れた利便性およびモバイル性を提供している。以上のようなデバイスに関する詳細な情報については、同時係属中の、2009年1月5日付出願の米国特許出願第12/348,648号“Mobile Wireless Display Software Platform for Controlling Other Systems and Devices”、2009年3月27日付出願の国際出願第PCT/US09/38601号“Handheld Wireless Display Devices Having High Resolution Display Suitable For Use as a Mobile Internet Device”および2012年4月25日付出願の米国特許出願第61/638,419号“Improved Headset Computer”を参照されたい。なお、これら特許出願の全内容は、参照をもって本明細書に取り入れたものとする。

本発明の一実施形態に係る方法は、ヘッドセットコンピュータにユーザインターフェースを提供する過程と、ユーザのキュー・トグルコマンド（キューとなるトグルコマンド）の発話に応答して、少なくとも１つのキュー（cue：合図、指示等）を前記ユーザインターフェースに表示する過程とを含む。各キューは、実行すべきコードが関連付けられた音声コマンドにそれぞれ対応し得る。この方法は、ユーザの前記音声コマンドの発話に応答して、当該音声コマンドに関連付けられた前記コードを実行する過程も含み得る。他の実施形態において、この方法は、さらに、前記キュー・トグルコマンドの前および次のキュー・トグルコマンドの後のうちの少なくとも一方において、前記インターフェースを前記キューなしで表示する過程を含み得る。前記キューを表示する過程は、前記音声コマンドをアクティベート（起動または活性化）する語（word）を表示することを含み得る。また、前記キューを表示する過程は、前記ユーザインターフェースに表示されているコントロールに関連付けられた前記音声コマンドに対応する前記キューを、当該ユーザインターフェースに表示することを含み得る。前記キューを表示する過程は、前記ユーザインターフェースから隠れているコントロールに関連付けられた前記音声コマンドに対応する前記キューを、当該ユーザインターフェースに表示することを含み得る。前記キューを表示する過程は、グローバルな（広域的な）ヘッドセットのコントロールであるコントロール（ＵＩのコンポーネントのこと。詳細は後述。）に関連付けられた前記音声コマンドに対応する前記キューを、前記ユーザインターフェースに表示することを含み得る。前記キューは、当該キューと前記音声コマンドとを示すコントロールからロードされ得る。

他の実施形態において、ヘッドセットコンピュータにユーザインターフェースを表示するシステムは、ヘッドセットコンピュータにユーザインターフェースを提供するディスプレイ手段または表示手段を備え得る。この表示手段は、さらに、ユーザのキュー・トグルコマンドの発話に応答して、少なくとも１つのキューを前記ユーザインターフェースに表示し得る。各キューは、実行すべきコードが関連付けられた音声コマンドにそれぞれ対応し得る。このシステムは、さらに、ユーザの前記音声コマンドの発話に応答して、当該音声コマンドに関連付けられた前記コードを実行するコマンド手段または命令手段を備え得る。

他の実施形態において、ヘッドセットコンピュータにユーザインターフェースを展開する方法は、前記ユーザインターフェース用のコントロールに、キューおよび音声コマンドを埋め込む過程を含む。この方法は、さらに、前記コントロールを前記ユーザインターフェースに提供する過程であって、当該ユーザインターフェースは、キュー・トグルコマンドに応答した前記キューを表示する過程を含む。

前述の内容は、添付の図面に示す本発明の例示的な実施形態についての以下の詳細な説明から明らかになる。図面では、異なる図をとおして同じ参照符号は同じ構成／構成要素を指すものとする。なお、図面は必ずしも縮尺どおりではなく、むしろ、本発明の実施形態を示すことに重点を置いている。

本発明の原理に従ってホストコンピュータ（例えば、スマートフォン、ラップトップなど）および該コンピュータと協働するヘッドセットコンピュータの概略図である。 本発明の原理に従ってホストコンピュータと協働するヘッドセットコンピュータの拡大斜視図である。 図１Ａ及び図１Ｂの実施形態における制御およびデータのフローを示すブロック図である。 ＨＳＣで用いられるユーザインターフェースの例示的な一実施形態を示す図である。 「Ｓｈｏｗコマンド」の音声コマンドを受け付けた後のユーザインターフェースの例示的な一実施形態を示す図である。 本発明で用いられる方法の例示的な一実施形態を示すフロー図である。 本発明が実現され得るコンピュータネットワークまたは同様のデジタル処理環境を示す図である。 図６のコンピュータシステムに含まれるコンピュータ（例えば、クライアント側処理装置／端末、サーバコンピュータなど）の内部構造を示す図である。

図１Ａ及び図１Ｂに、無線コンピューティングヘッドセットデバイス１００（本明細書ではヘッドセットコンピュータ（ＨＳＣ）と称することもある）の例示的な一実施形態を示す。ＨＳＣ１００は、高解像度（ＶＧＡまたはそれを超える解像度）のマイクロディスプレイ要素１０１０を組み込んでいると共に、下記のその他の構成要素も組み込んでいる。具体的に述べると、ＨＳＣ１００は：音声入力および／または音声出力装置（少なくとも１つのマイクロホン、少なくとも１つの入力スピーカ、および少なくとも１つの出力スピーカが含まれ得る）；および／または地理位置センサ（ＧＰＳ）；および／または３軸〜９軸の自由度の方位センサ；および／または気圧センサ；および／または健康状態センサ；および／またはデジタルコンパス；および／または圧力センサ；および／または環境センサ；および／またはエネルギーセンサ；および／または加速度センサ；および／または位置センサ；および／または姿勢センサ；および／または動きセンサ；および／または速度センサ；および／または光センサ；および／またはカメラ（可視光カメラ、赤外線カメラなど）；および／または複数のワイヤレス無線機；および／または補助照明；および／または距離計；および／またはその他；を備え得る。ＨＳＣ１００は：ヘッドセットに埋め込まれたセンサのアレイ；および／またはヘッドセットに組み込まれたセンサのアレイ；および／または少なくとも１つのペリフェラル（周辺機器）ポート（図１Ｂに詳細には示されていない）を介してデバイスに取り付けられるセンサのアレイ；を備え得る。典型的に、ヘッドセットコンピューティングデバイス１００のハウジング内部には、様々な電子回路が配置されている。そのような電子回路には：マイクロコンピュータ（シングルコアまたはマルチコアのプロセッサ）；１つ以上の有線および／または無線の通信インターフェース；メモリまたは記憶装置；各種センサ；ならびにペリフェラルマウント（装着部）または「ホットシュー」等のマウント；が含まれ得る。

ＨＳＣ１００の例示的な実施形態は、音声コマンド、頭の動き１１０，１１１，１１２、手のジェスチャ１１３、またはこれらの組合せを検出することにより、ユーザの入力を受け取り得る。具体的に述べると、ＨＳＣ１００に動作可能に接続された、または、好ましくは、ＨＳＣ１００に組み込まれた少なくとも１つのマイクロホンを用いて、発話コマンドまたは音声コマンドを捉え得る。捉えられた音声コマンドは、自動発話認識技術または自動音声認識技術を用いてデジタル化されて処理される。また、ＨＳＣ１００には、ジャイロスコープ、加速度計、および微小電気機械システムに基づくその他のセンサが組み込まれ得る。これらのセンサ等は、ユーザの頭の動きを追跡してユーザに入力コマンドを提供する。また、カメラまたはその他の動き追跡センサを用いて、ユーザの手のジェスチャを監視してユーザに入力コマンドを提供し得る。これらのようなユーザインターフェースにより、他のモバイルデバイスのようなヒトの手に依存する様式を不要にすることができる。

ＨＳＣ１００は、様々な方法で使用することができる。具体的に述べると、ＨＳＣ１００は、リモートホストコンピューティングデバイス２００（図１Ａに示されている）から受け取った映像信号をストリーミング再生する遠隔ディスプレイとして使用可能である。ホスト２００の例として、ノートブックＰＣ、スマートフォン、タブレット型端末など、または、無線コンピューティングヘッドセットデバイス１００よりも演算複雑度が高いまたは低い、その他のコンピューティングデバイス（例えば、クラウドベースのネットワークリソースなど）が挙げられる。ホストは、他のネットワーク２１０（例えば、インターネットなど）にさらに接続され得る。ヘッドセットコンピューティングデバイス１００とホスト２００とは、１つ以上の無線プロトコル（例えば、Bluetooth（登録商標）、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）、４Ｇ ＬＴＥ、その他のワイヤレス無線リンクなど）１５０で、ワイヤレスに相互に通信し得る（Bluetooth（登録商標）は、5209 Lake Washington Boulevard, Kirkland, Washington 98033に居所を有するBluetooth Sig, Inc.社の登録商標である）。例示的な一実施形態において、ホスト２００は、無線リレーとして機能可能なように、他のネットワークにさらに接続され得る（例えば、無線接続で、インターネットまたはその他のクラウドベースのネットワークリソースにさらに接続される）。いくつかの変形例として、ＨＳＣ１００の例示的な実施形態は、インターネットやクラウドベースのネットワークリソースに対し、ホストを無線リレーとして使用することなく無線接続され得る。

図１Ｂは、ヘッドセットコンピュータ１００の例示的な一実施形態について、その詳細の一部を示す斜視図である。この例示的な実施形態のＨＳＣ１００は、概して、フレーム１０００、ストラップ１００２、後部ハウジング１００４、スピーカ１００６、マイクロホンが組み込まれたカンチレバー（片持ち支持部材）（アームまたはブームとも称される）１００８、およびマイクロディスプレイサブアセンブリ１０１０を備える。

頭部に装着されるフレーム１０００およびストラップ１００２は、一般的に、ユーザがヘッドセットコンピュータデバイス１００を自身の頭部に装着することを可能とするように構成されている。ハウジング１００４は、一般的に、電子部品（例えば、マイクロプロセッサ、メモリ、その他の記憶装置など）をその他の関連回路と共に収容する、背の低いユニットとなっている。スピーカ１００６は、ユーザに音声出力を提供することにより、ユーザが情報を聞くことを可能にする。マイクロディスプレイサブアセンブリ１０１０は、ユーザに視覚的情報または表示情報（visual information）を表示する。マイクロディスプレイサブアセンブリ１０１０は、アーム１００８に連結している。アーム１００８は、概して、マイクロディスプレイサブアセンブリをユーザの視野３００（図１Ａ）内、好ましくは、ユーザの眼の前方、あるいは、ユーザの周辺視野内（好ましくは、ユーザの眼よりも若干下または若干上）に配置できるように物理的な支持を行う。アーム１００８は、さらに、マイクロディスプレイサブアセンブリ１０１０とハウジングユニット１００４内に収容された制御回路との、電気的なまたは光学的な接続を行う。

後で詳述する側面によると、ＨＳＣディスプレイデバイス１００は、ユーザが視野３００を、仮想的なディスプレイ４００によって形成される、当該視野３００よりも遥かに広い領域内から選択することを可能にする。ユーザは、典型的に、視野３００の位置および／または範囲（例えば、Ｘ−Ｙ範囲、３Ｄ範囲など）、および／または倍率を操作することができる。

なお、図１Ａに示されているのは単眼式のマイクロディスプレイであり、ユーザの顔に対してカンチレバー型のブームによって片持ち支持固定される単一のディスプレイ要素が図示されているが、遠隔制御ディスプレイデバイス１００の機械的構成として、その他の構成を採用することも可能であることを理解されたい。

図２は、ＨＳＣデバイス１００の詳細、ホスト２００の詳細、およびこれらの間を行き交うデータの詳細を示すブロック図である。ＨＳＣデバイス１００は、ユーザからの音声入力を、マイクロホンを介して受け取り、手の動きまたは体のジェスチャを位置センサ及び方位センサ、カメラまたは少なくとも１つの光センサを介して受け取り、頭の動きによる入力を３軸〜９軸の自由度の方位センシング等の頭追跡回路を介して受け取る。これらは、ＨＳＣデバイス１００のソフトウェアによってキーボードコマンドおよび／またはマウスコマンドに翻訳された後、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはその他のワイヤレスインターフェース１５０を介してホスト２００に送信される。ホスト２００は、これら翻訳されたコマンドを、自身のオペレーティングシステム／アプリケーションソフトウェアに従って解釈し、様々な機能を実行する。このようなコマンドの一つとして、視野３００を仮想的なディスプレイ４００内から選択し、選択された画面データをＨＳＣデバイス１００に返すコマンドが挙げられる。すなわち、ホスト２００で動作するアプリケーションソフトウェアまたはオペレーティングシステムに、極めて大型のフォーマットの仮想的なディスプレイ領域が関連付けられ得ると理解されたい。ただし、その大型の仮想的なディスプレイ領域４００のうち、前記視野３００内の一部のみが返されて、ＨＳＣデバイス１００のマイクロディスプレイ１０１０で実際に表示される。

一実施形態において、ＨＳＣ１００は、同時係属中の米国特許出願公開公報第2011/0187640号に記載されたＨＳＣの形態を取りうる。なお、この米国特許出願公開公報の全内容は、参照をもって本明細書に取り入れたものとする。

他の実施形態において、本発明は、ヘッドマウントディスプレイ（ＨＭＤ）１０１０を、外部の「スマート」デバイス２００（例えば、スマートフォン、タブレットなど）と協働で使用することにより、ユーザに対してハンズフリーで情報及び制御機能を提供するという技術思想に関する。本発明は、少量のデータ送信で済み、高い信頼性のデータ転送方法をリアルタイムで実行することを可能にする。

つまり、この意味では、接続１５０を介して送信されるデータ量により、画面をどのようにレイアウトするかについて、どのようなテキストを表示するのかについて、およびその他のスタイル情報（例えば、描画矢印、背景カラー、含まれるイメージなど）についての短い単純な命令で済む。

ホスト２００の要求があれば、さらなるデータ（例えば、映像ストリームなど）が、同じ接続１５０またはその他の接続を介してストリーミングされて画面１０１０上に表示され得る。

本発明は、さらに、音声によって制御されるＨＳＣ１００で、アプリケーション内において、コンテキストに敏感なまたはコンテキストを認識したオーバーレイを視ることを可能にする技術に関する。

具体的に述べると、データを画面表示で（over a visual）、コンテキストに依存しつつ、オンデマンドで提示するというのが、その考えである。ユーザは、音声コマンド（典型的には、「Ｓｈｏｗ（表示）コマンド」）により、オーバーレイを呼び出すことができる。この音声コマンドは、システム１００の標準コマンドであり、常に利用可能である。このコマンドは、ＨＳＣ１００に、適用可能な音声コマンドおよびその他の情報を、コンテキストに敏感に且つ直感的に表示させる。

それら適用可能な音声コマンドは、ディスプレイユニット１０１０の、その時点での画面ビューにおいて、半透明のオーバーレイ上に示される。この構成により、ユーザは、そのオーバーレイを呼び出すための画面について、当該画面のコンテキストを維持することができる。

これらオーバーレイおよび表示された適用可能なコマンドは、短時間後にフェードアウトする。これは、画面ビューをリフレッシュするタイミングメカニズムによって実現される。

それら適用可能な音声コマンドは、関連性の順番で表示される。具体的に述べると、最も関連性の高いコマンドが、関連性の低いコマンドよりも目立って配置される。ＨＳＣ１００は、ディスプレイ１０１０のコンテンツの、その時点でのコンテキストに基づいて、関連性の程度（relevancy）を決定する。

関連するシステムの各画面は、ユーザインターフェース（ＵＩ）の各種コンポーネントで構成される。これらコンポーネントの一部は「コントロール」である。コントロールとは、ユーザに情報を提供したり何らかの機能を可能にしたりする、ＵＩのコンポーネントである。コントロールの例として、ボタン、ラジオボタン、テキストボックス、チェックボックス、ドロップダウンメニュー、ファイルメニュー、リボンメニュー、ライブタイルなどが挙げられる。これらは、ソフトウェアデベロッパーのコンポーネントライブラリ内に、利用可能なかたちで様々な形態で存在しており、所与の機能をカスタマイズすることを可能にする。このようなコントロールの一例として、「ボタン」は単純に、このボタン上に存在する音声コマンドをユーザが利用することで、当該ボタンを押すことを可能にする。この「ボタン」コントロールのような各種コントロールは、デベロッパーにとって利用可能なものであり、例えば、デベロッパーのコンポーネントライブラリの一部またはその他のライブラリの一部として利用可能である。具体的に述べると、デベロッパーは、始めから自らコントロールをコード化せずとも、予めコード化されたコントロールを挿入し、これを自分の趣向に合わせてカスタマイズすることができる。

「Ｓｈｏｗコマンド」機能は、デベロッパーのライブラリ内のコントロールに組み込まれている。一例を挙げて説明するならば、デベロッパーが例えばボタンを作成して当該ボタン上に書き込むべきテキスト列を指定すると、そのテキスト列は、デベロッパー（またはユーザ）が音声コマンドを無効にしない限り、そのボタンをアクティベート（起動または活性化）するデフォルトの音声コマンドとなる。コントロール（例えば、上記ボタンなど）は、「Ｓｈｏｗコマンド」の音声コマンドに対し、当該コントロール上または当該コントロール近傍に、当該コントロールをアクティベートする語（word）のテキスト列をオーバーレイ表示することによって応答するように構成される。

ＨＳＣ１００で利用可能な各ユーザインターフェース画面は、いずれも、「Ｓｈｏｗコマンド」の音声コマンド（例えば、デフォルトで利用可能なシステムコマンドなど）を受け付けることができる。すなわち、画面がＵＩのライブラリからのコントロールを用いて構築されるとき、どのような音声コマンドがユーザにとって利用可能なのかを案内するＳｈｏｗコマンド機能が組み込まれている。これらユーザにとって利用可能な音声コマンドは、（デフォルトで）その時点で表示されているコンテンツ（スクリーンビュー）のコンテキストで示される。

「Ｓｈｏｗコマンド」のオーバーレイ内には、表示されているまたは視覚可能なコントロールに関連付けられていない、その他の利用可能な音声コマンドも配置され得る。これらの音声コマンドはデベロッパーによって前記オーバーレイ内に配置され、音声コマンドオンリーのコントロールや隠れているコントロール（通常は非表示のコントロール）を追加するのに用いられ、具体的に述べると、ボタンまたはその他のコントロールに関連付けられていない音声コマンドの表示されているまたは視覚可能なキュー（cue：合図、指示等）を提供する。

図３は、ＨＳＣで用いられるユーザインターフェース２０２の例示的な一実施形態を示す図表２５０である。この実施形態において、ユーザインターフェース２０２は、ユーザのインボックスを表示する電子メールアプリケーションである。各電子メールがリスト化され、第１〜第６の電子メールコントロール２０４ａ〜２０４ｆが示されている。ユーザは、各コントロールを選択することにより、各電子メールを開くことができる。各電子メールコントロール２０４ａ〜２０４ｆは、少なくともそれに対応する音声コマンドによって選択されるようにプログラムされている。

図４は、「Ｓｈｏｗコマンド」の音声コマンドを受け付けた後のユーザインターフェース３０２の例示的な一実施形態を示す図表３００である。ユーザインターフェースは、図３の各電子メールコントロール２０４ａ〜２０４ｆにそれぞれ対応する音声コマンドを表示する。具体的に述べると、図４における第１〜第６の音声コマンド３０４ａ〜３０４ｆは、第１〜第６の電子メールコントロール２０４ａ〜２０４ｆにそれぞれ対応している。一例として、第１の音声コマンド３０４ａを発話する（すなわち、「第１の電子メールを開く」等といった内容の発話をする）ことにより、ＨＳＣ１００に、リスト内の第１の電子メールを開かせることができる。

「Ｓｈｏｗコマンド」モードのユーザインターフェース３０２には、さらに、第１〜第９の暗示的なまたは対応付けなどの条件のない（implicit）音声コマンド３０６ａ〜３０６ｉが複数示されている。これら第１〜第９の暗示的な音声コマンド３０６ａ〜３０６ｉは、ユーザインターフェースで表示されているまたは視覚可能な、どの特定のコントロールにも対応していない（例えば、前記電子メールコントロールに対応していない）ものの、ユーザにとって利用可能な音声コマンドである。幾つかの例を挙げるならば、ユーザは、第１の暗示的な音声コマンド３０６ａを発話することによって前のページに移動することができ、第２の暗示的な音声コマンド３０６ｂを発話することによって次のページに移動することができる。また、ユーザは、第３の暗示的なコマンド３０６ｃを発話することによって電子メールを作成することができる。また、ユーザは、第４の暗示的なコマンド３０６ｄを発話することによって自身の電子メールアカウントを管理することができる。また、ユーザは、第５の暗示的なコマンド３０６ｅを発話することによって自身のアカウントを閲覧することができる。また、ユーザは、第６の暗示的な音声コマンド３０６ｆを発話することによってフォルダを切り替えることができる。また、ユーザは、第７の暗示的な音声コマンド３０６ｇを発話することによってインボックスをリフレッシュすることができる。

また、ユーザは、第８の暗示的な音声コマンド３０６ｈを発話することによって前の画面に戻ることができる。また、ユーザは、第９の暗示的な音声コマンド３０６ｉを発話することによってホーム画面に戻ることができる。第８および第９の暗示的な音声コマンドは、ＨＳＣ１００のどの画面においてもユニバーサル（汎用的）なまたはアプリケーションに依存しないコマンドである。その一方で、第１〜第６の音声コマンド３０４ａ〜３０４ｆおよび第１〜第７の暗示的な音声コマンド３０６ａ〜３０６ｇは、この特定のアプリケーション（ここではメールアプリケーション）内でのローカル（局所的）なコマンドである。しかし、他の実施形態では、第１および第２の暗示的な音声コマンド３０６ａ，３０６ｂが、アプリケーション内での、前のページおよび次のページに移動するためのグローバル（広域的）なコマンドとされ得る。

このような音声コマンドによるオーバーレイは、画面上のオプションやボタンを整理することになるので、ユーザを支援することができる。さらに、音声コマンドにより、ユーザにシステムをどのように使用するのかの把握を促す一助とできる。このことは、デバイスおよび音声コマンドの利用方法をユーザが覚える際に特に有用である。

図５は、本発明で用いられる方法の例示的な一実施形態を示すフロー図５００である。まず、この方法は、ヘッドセットコンピュータにユーザインターフェースを提供する（過程５０２）。次に、この方法は、前出のキューとなるトグルコマンドを、例えばユーザの発話から音声手段を介して受け取ったか否かを判断する（過程５０４）。この方法は、その判断結果が否定である場合、引き続きキュー・トグルコマンドの入力を待つ（過程５０４）。この方法は、その判断結果が肯定である場合には、少なくとも１つのキューを前記ユーザインターフェースに表示する（過程５０６）。各キューには、それぞれ対応する音声コマンドが関連付けられている。この音声コマンドは、発話されると、システムにコードまたはプログラム（code）を実行させる。

次に、システムは、音声コマンド（例えば、前記キューのうちの一つにより示された音声コマンドなど）を受け取ったか否かを判断する（過程５０８）。システムは、その判断結果が否定である場合、引き続き音声コマンドの入力を待つ（過程５０８）。システムは、その判断結果が肯定である場合には、受け取った音声コマンドに関連付けられたコードまたはプログラムを実行する（過程５１０）。

図６に、本発明を実現し得るコンピュータネットワークまたは同様のデジタル処理環境を示す。

少なくとも１つのクライアント側コンピュータ／端末５０および少なくとも１つのサーバコンピュータが、アプリケーションプログラム等を実行する処理装置、記憶装置および入出力装置などを実現し得る。少なくとも１つのクライアント側コンピュータ／端末５０は、通信ネットワーク７０を介して別のコンピューティングデバイス（別のクライアント側端末／処理装置５０および少なくとも１つの別のサーバコンピュータ６０が含まれ得る）に接続可能である。通信ネットワーク７０は、リモートアクセスネットワークの一部、グローバルネットワーク（例えば、インターネットなど）の一部、世界規模のコンピュータの集合の一部、ローカルエリアネットワークの一部、ワイドエリアネットワークの一部、あるいは、一般に各種プロトコル（ＴＣＰ／ＩＰ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を用いて相互通信するゲートウェイの一部であり得る。それ以外の電子デバイス／コンピュータネットワークアーキテクチャも使用可能である。

図７は、図６のコンピュータシステムに含まれるコンピュータ（例えば、クライアント側処理装置／端末５０、サーバコンピュータ６０など）の内部構造を示す図である。各コンピュータ５０，６０は、システムバス７９を備える。バスは、コンピュータ（または処理システム）の構成要素間のデータ転送に用いられるハードウェアラインのセットからなる。また、バス７９は、本質的には、コンピュータシステムにおける相異なる構成要素（例えば、プロセッサ、ディスクストレージ、メモリ、入力／出力ポート、ネットワークポートなど）同士を接続する共有の配管のようなものであり、それら構成要素間の情報のやり取りを可能にする。システムバス７９には、様々な入出力装置（例えば、キーボード、マウス、ディスプレイ、プリンタ、スピーカなど）をコンピュータ５０，６０に接続するためのＩ／Ｏ装置インターフェース８２が取り付けられている。ネットワークインターフェース８６は、コンピュータがネットワーク（例えば、図６のネットワーク７０など）に取り付けられた他の様々な装置／端末／デバイスに接続することを可能にする。メモリ９０は、本発明の一実施形態（例えば、前述したユーザインターフェースコード内の、コンテキストに敏感なまたはコンテキストを認識したオーバーレイなど）を実現するのに用いられるコンピュータソフトウェア命令９２およびデータ９４を記憶する揮発性メモリである。ディスクストレージ９５は、本発明の一実施形態を実施するのに用いられるコンピュータソフトウェア命令９２およびデータ９４を記憶する不揮発性ストレージである。システムバス７９には、さらに、コンピュータ命令を実行する中央演算処理装置８４も取り付けられている。

一実施形態において、プロセッサのルーチン９２およびデータ９４は、本発明にかかるシステムに対するソフトウェア命令の少なくとも一部を提供するコンピュータプログラムプロダクト（概して符号９２で示す）である。コンピュータプログラムプロダクト９２には、コンピュータ読み取り可能な媒体（例えば、少なくとも１つのＤＶＤ−ＲＯＭ、少なくとも１つのＣＤ−ＲＯＭ、少なくとも１つのディスク、少なくとも１つのテープ等といった取外し可能な記憶媒体など）が含まれる。コンピュータプログラムプロダクト９２は、当該技術分野において周知である任意の適切なソフトウェアインストール方法によってインストール可能なものであり得る。他の実施形態において、前記ソフトウェア命令の少なくとも一部は、ケーブル接続および／または通信接続、および／または無線接続を介してダウンロード可能なものであり得る。さらなる他の実施形態において、本発明にかかるプログラムは、伝播媒体上の伝播信号（例えば、無線波、赤外線波、レーザ波、音波、インターネット等といったグローバルネットワークやその他の少なくとも１つのネットワークによって伝播される電気波動など）によって実現される、伝播信号によるコンピュータプログラムプロダクト１０７である。このような搬送媒体または搬送信号が、本発明にかかるルーチン／プログラム９２用のソフトウェア命令の少なくとも一部を提供する。

さらなる他の実施形態において、前記伝播信号は、伝播媒体上を搬送されるアナログ搬送波またはデジタル信号である。例えば、前記伝播信号は、グローバルネットワーク（例えば、インターネットなど）、電気通信ネットワークまたはその他のネットワーク上を搬送されるデジタル信号であり得る。一実施形態において、前記伝播信号は、所与の期間のあいだ伝播媒体上を送信される信号であり、例えば、数ミリ秒、数秒、数分またはそれ以上の期間のあいだネットワーク上をパケットで送信される、ソフトウェアアプリケーション用の命令などであり得る。他の実施形態において、コンピュータプログラムプロダクト９２の前記コンピュータ読み取り可能な媒体は、コンピュータシステム５０が受け取って読み取り可能な伝播媒体である。例えば、コンピュータシステム５０は、前述した伝播信号によるコンピュータプログラムプロダクトの場合のように、伝播媒体を受け取ってその伝播媒体内に組み込まれた伝播信号を特定する。

一般的に言って、「搬送媒体」や過渡的または一時的なキャリアという用語は、前述したような過渡的なまたは一時的な信号、伝播信号、伝播媒体、記憶媒体、およびその他を包含する用語である。

本発明を例示的な実施形態を参照しながら具体的に図示・説明したが、当業者であれば、添付の特許請求の範囲に包含される本発明の範囲から逸脱することなく、形態および細部の詳細な変更が可能であることを理解するであろう。
なお、本発明は、実施の態様として以下の内容を含む。
［態様１］
ヘッドセットコンピュータにユーザインターフェースを提供する過程と、
ユーザのキュー・トグルコマンドの発話に応答して、少なくとも１つのキューを前記ユーザインターフェースに表示する過程であって、各キューは、実行すべきコードが関連付けられた音声コマンドにそれぞれ対応する、過程と、
ユーザの前記音声コマンドの発話に応答して、当該音声コマンドに関連付けられた前記コードを実行する過程と、
を含む、方法。
［態様２］
態様１に記載の方法において、さらに、
前記キュー・トグルコマンドの前および次のキュー・トグルコマンドの後のうちの少なくとも一方において、前記インターフェースを前記キューなしで表示する過程、
を含む、方法。
［態様３］
態様１に記載の方法において、前記キューを表示する過程が、前記音声コマンドをアクティベートする語を表示することを含む、方法。
［態様４］
態様１に記載の方法において、前記キューを表示する過程が、前記ユーザインターフェースに表示されているコントロールに関連付けられた前記音声コマンドに対応する前記キューを、当該ユーザインターフェースに表示することを含む、方法。
［態様５］
態様１に記載の方法において、前記キューを表示する過程が、前記ユーザインターフェースから隠れているコントロールに関連付けられた前記音声コマンドに対応する前記キューを、当該ユーザインターフェースに表示することを含む、方法。
［態様６］
態様１に記載の方法において、前記キューを表示する過程が、グローバルなヘッドセットのコントロールに関連付けられた前記音声コマンドに対応する前記キューを、前記ユー
ザインターフェースに表示することを含む、方法。
［態様７］
態様１に記載の方法において、前記キューが、当該キューと前記音声コマンドとを示すコントロールからロードされる、方法。
［態様８］
ヘッドセットコンピュータにユーザインターフェースを表示するシステムであって、
ヘッドセットコンピュータにユーザインターフェースを提供し、さらに、ユーザのキュー・トグルコマンドの発話に応答して、少なくとも１つのキューを前記ユーザインターフェースに表示する表示手段であって、各キューは、実行すべきコードが関連付けられた音声コマンドにそれぞれ対応する、表示手段と、
ユーザの前記音声コマンドの発話に応答して、当該音声コマンドに関連付けられた前記コードを実行するコマンド手段と、
を備える、システム。
［態様９］
態様８に記載のシステムにおいて、前記表示手段が、さらに、前記キュー・トグルコマンドの前および次のキュー・トグルコマンドの後のうちの少なくとも一方において、前記インターフェースを前記キューなしで表示する、システム。
［態様１０］
態様８に記載のシステムにおいて、前記表示手段が、さらに、前記音声コマンドをアクティベートする語を表示する、システム。
［態様１１］
態様８に記載のシステムにおいて、前記表示手段が、さらに、前記ユーザインターフェースに表示されているコントロールに関連付けられた音声コマンドに対応するキューを、当該ユーザインターフェースに表示する、システム。
［態様１２］
態様８に記載のシステムにおいて、前記表示手段が、さらに、前記ユーザインターフェースから隠れているコントロールに関連付けられた前記音声コマンドに対応する前記キューを、当該ユーザインターフェースに表示する、システム。
［態様１３］
態様８に記載のシステムにおいて、前記表示手段が、さらに、グローバルなヘッドセットのコントロールに関連付けられた前記音声コマンドに対応する前記キューを、前記ユーザインターフェースに表示する、システム。
［態様１４］
態様８に記載のシステムにおいて、前記キューが、当該キューと前記音声コマンドとを示すコントロールからロードされる、システム。
［態様１５］
ヘッドセットコンピュータにユーザインターフェースを展開する方法であって、
前記ユーザインターフェース用のコントロールに、キューおよび音声コマンドを埋め込む過程と、
前記コントロールを前記ユーザインターフェースに提供する過程であって、当該ユーザインターフェースは、キュー・トグルコマンドに応答した前記キューを表示する過程と、
を含む、方法。
［態様１６］
態様１５に記載の方法において、前記キューが、前記音声コマンドをアクティベートする語を含む、方法。
［態様１７］
態様１５に記載の方法において、前記キューが、前記ユーザインターフェースに表示されているコントロールに関連付けられた前記音声コマンドに対応する、方法。
［態様１８］
態様１５に記載の方法において、前記キューが、前記ユーザインターフェースから隠れ
ているコントロールに関連付けられた前記音声コマンドに対応する、方法。
［態様１９］
態様１５に記載の方法において、前記キューが、グローバルなヘッドセットのコントロールに関連付けられた前記音声コマンドに対応する、方法。
［態様２０］
態様１５に記載の方法において、前記キューが、当該キューと前記音声コマンドとを示すコントロールからロードされる、方法。

Claims (20)

1. ヘッドセットコンピュータに、少なくとも１つのコントロールを有するユーザインターフェースを提供する過程と、
   ユーザのキュー・トグルコマンドの発話に応答して、少なくとも１つのキューの半透明のオーバーレイを前記提供されたユーザインターフェースに表示する過程であって、各キューは、前記ユーザインターフェースにおいて、少なくとも１つのコントロールを実行するコードが関連付けられた音声コマンドにそれぞれ対応する、過程と、
   ユーザの前記音声コマンドの発話に応答して、当該音声コマンドに関連付けられた前記コードを実行する過程と、
   を含む、方法。
2. 請求項１に記載の方法において、さらに、
   前記キュー・トグルコマンドの前および次のキュー・トグルコマンドの後のうちの少なくとも一方において、前記インターフェースを前記キューなしで表示する過程、
   を含む、方法。
3. 請求項１に記載の方法において、前記キューを表示する過程が、前記音声コマンドをアクティベートする語を表示することを含む、方法。
4. 請求項１に記載の方法において、前記キューを表示する過程が、前記ユーザインターフェースに表示されているコントロールに関連付けられた前記音声コマンドに対応する前記キューを、当該ユーザインターフェースに表示することを含む、方法。
5. 請求項１に記載の方法において、前記キューを表示する過程が、前記ユーザインターフェースから隠れているコントロールに関連付けられた前記音声コマンドに対応する前記キューを、当該ユーザインターフェースに表示することを含む、方法。
6. 請求項１に記載の方法において、前記キューを表示する過程が、グローバルなヘッドセットのコントロールに関連付けられた前記音声コマンドに対応する前記キューを、前記ユーザインターフェースに表示することを含む、方法。
7. 請求項１に記載の方法において、前記キューが、当該キューと前記音声コマンドとを示すコントロールからロードされる、方法。
8. ヘッドセットコンピュータにユーザインターフェースを表示するシステムであって、
   ヘッドセットコンピュータに、少なくとも１つのコントロールを有するユーザインターフェースを提供し、さらに、ユーザのキュー・トグルコマンドの発話に応答して、少なくとも１つのキューの半透明のオーバーレイを前記提供されたユーザインターフェースに表示する表示手段であって、各キューは、前記ユーザインターフェースにおいて、少なくとも１つのコントロールを実行するコードが関連付けられた音声コマンドにそれぞれ対応する、表示手段と、
   ユーザの前記音声コマンドの発話に応答して、当該音声コマンドに関連付けられた前記コードを実行するコマンド手段と、
   を備える、システム。
9. 請求項８に記載のシステムにおいて、前記表示手段が、さらに、前記キュー・トグルコマンドの前および次のキュー・トグルコマンドの後のうちの少なくとも一方において、前記インターフェースを前記キューなしで表示する、システム。
10. 請求項８に記載のシステムにおいて、前記表示手段が、さらに、前記音声コマンドをアクティベートする語を表示する、システム。
11. 請求項８に記載のシステムにおいて、前記表示手段が、さらに、前記ユーザインターフェースに表示されているコントロールに関連付けられた音声コマンドに対応するキューを、当該ユーザインターフェースに表示する、システム。
12. 請求項８に記載のシステムにおいて、前記表示手段が、さらに、前記ユーザインターフェースから隠れているコントロールに関連付けられた前記音声コマンドに対応する前記キューを、当該ユーザインターフェースに表示する、システム。
13. 請求項８に記載のシステムにおいて、前記表示手段が、さらに、グローバルなヘッドセットのコントロールに関連付けられた前記音声コマンドに対応する前記キューを、前記ユーザインターフェースに表示する、システム。
14. 請求項８に記載のシステムにおいて、前記キューが、当該キューと前記音声コマンドとを示すコントロールからロードされる、システム。
15. ヘッドセットコンピュータにユーザインターフェースを展開する方法であって、
    前記ユーザインターフェース用のコントロールに、キューおよび音声コマンドを埋め込む過程と、
    前記コントロールを前記ユーザインターフェースに提供する過程であって、当該ユーザインターフェースは、キュー・トグルコマンドに応答した前記キューの半透明のオーバーレイを表示する過程と、
    を含む、方法。
16. 請求項１５に記載の方法において、前記キューが、前記音声コマンドをアクティベートする語を含む、方法。
17. 請求項１５に記載の方法において、前記キューが、前記ユーザインターフェースに表示されているコントロールに関連付けられた前記音声コマンドに対応する、方法。
18. 請求項１５に記載の方法において、前記キューが、前記ユーザインターフェースから隠れているコントロールに関連付けられた前記音声コマンドに対応する、方法。
19. 請求項１５に記載の方法において、前記キューが、グローバルなヘッドセットのコントロールに関連付けられた前記音声コマンドに対応する、方法。
20. 請求項１５に記載の方法において、前記キューが、当該キューと前記音声コマンドとを示すコントロールからロードされる、方法。

Images