JP2019516170A - インクコマンドによる視覚的ユーザインタフェースコントロールの操作 - Google Patents

Abstract

ユーザがインクコマンドを用いて視覚的ユーザインタフェースコマンドを操作することを可能にする設備を説明する。この設備は、マウス入力で操作可能なコントロールを表示させ、表示されたコントロールに向けられたインクコマンドを受け取る。これに応答して、受け取ったインクコマンドに従って、表示されたコントロールを操作する。例えばラジオボタンの周囲にデジタルインクサークルを実施することにより、ラジオボタンを選択する。

Description

コンピュータの視覚的インタフェース、例えばオペレーティングシステム、アプリケーションプログラム及びウェブページの視覚的インタフェースは、従来的に、マウス及び／又はキーボードを介して受け取られるユーザ入力に作用するように設計されてきた。例えばワードプロセッシング文書では垂直方向にスクロール可能であることが一般的である。このような文書で１ページ下に移動するためには、ユーザはキーボード上のページダウンボタンを押すか又は表示されたスクロールバーのエレベータ部分の下でのマウスクリックすることができる。ページの一部を下に移動させるには、ユーザはキーボードの下矢印ボタンを押すか、マウスを使用してスクロールバーの下矢印部分をクリックすることができる。この例では、スクロールバーは、様々な異なる「視覚的ユーザインタフェースコントロール」の一種であり、本明細書では単に「コントロール」と呼ばれることもある。

この概要は、以下の詳細な説明で更に説明される概念の選択を簡略化した形で紹介するために提供される。 この概要は、特許請求に係る主題の主要な要素又は本質的な特徴を特定するようには意図されておらず、また、特許請求に係る主題の範囲を限定するために使用されるようにも意図されていない。

ユーザがインクコマンドを用いて視覚的ユーザインタフェースコントロールを操作することを可能にする設備（facility）を説明する。この設備は、マウス入力で操作可能なコントロールを表示させ、表示されたコントロールに向けられたインクコマンドを受け取る。それに応答して、設備は、受け取ったインクコマンドに従って、表示されたコントロールを操作する。

設備が作用するコンピュータシステム及び他のデバイスのうちの少なくとも一部に組み込まれ得る、構成要素の一部を示すブロック図である。

一部の例において、インクコマンドで操作されることを可能にする方法でコントロールを管理するために、設備によって実行されるプロセスを示すフロー図である。

サンプルのコマンド記号のインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。 サンプルのコマンド記号のインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。

サンプルのスライダーハッシュのインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。 サンプルのスライダーハッシュのインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。

サンプルの数値テキストのインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。 サンプルの数値テキストのインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。

サンプルの囲み形状のインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。 サンプルの囲み形状のインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。

サンプルのアイテム転送インクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。 サンプルのアイテム転送インクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。

サンプルのテキストフィルタリングのインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。 サンプルのテキストフィルタリングのインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。

サンプルのテキストフィルタリング反転インクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。 サンプルのテキストフィルタリング反転インクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。

サンプルのチェック選択コマンドの入力とそれに対する設備の応答を示すディスプレイ図である。 サンプルのチェック選択コマンドの入力とそれに対する設備の応答を示すディスプレイ図である。

サンプルのラインアウト削除コマンドの入力とそれに対する設備の応答を示すディスプレイ図である。 サンプルのラインアウト削除コマンドの入力とそれに対する設備の応答を示すディスプレイ図である。

サンプルのアイテムピッカー（item picker）囲み形状インクコマンド（上記の囲み形状のアイテム選択コマンドと同様）の入力とそれに対する設備の応答を示すディスプレイ図である。 サンプルのアイテムピッカー囲み形状インクコマンド（上記の囲み形状のアイテム選択コマンドと同様）の入力とそれに対する設備の応答を示すディスプレイ図である。

サンプルのアイテムピッカーテキスト日付コマンド（上記の数値テキストのインクコマンドと同様）の入力とそれに対する設備の応答を示すディスプレイ図である。 サンプルのアイテムピッカーテキスト日付コマンド（上記の数値テキストのインクコマンドと同様）の入力とそれに対する設備の応答を示すディスプレイ図である。

コンピュータオペレーティングシステムは、最近では、電子インクのためのサポートを追加している：すなわち、ユーザが手書きをし、描画し又は他の任意の空間的な動きを実行する場合のユーザ入力技術をサポートする。そのようなユーザ入力の結果として、動きの経路に対応する視覚的マークがディスプレイに追加される。例えば手書きの場合、手書きされた単語は、それらがユーザによって実行されたのと同じ手書きスタイルでディスプレイ上に現れる。

場合によっては、ユーザは、ディスプレイデバイスの表面にわたってスタイラス又はユーザ自身の指を動かすことによって、この入力を実行する。そのような場合、電子インクは、一般に、対話が発生した位置でディスプレイ上に現れる。場合によっては、ユーザは、マウス又はタッチパッドのような入力デバイスを使用して、表示された位置ポインタを画面上で動かすことによってインキング入力を実行する。

電子インクが筆跡（handwriting）に対応する場合、様々な筆跡形状認識技術を使用して、筆跡によって表現されるテキストを識別することができ、これを、電子インク筆跡と一緒に又はその代わりにドキュメント内に表示することができる。同様に、電子インクが形状に対応する場合、様々な形状認識技術を使用して、インクによって描かれた形状を識別することができる。

本発明者らは、ユーザが、インクを使用して、拡張可能アプリケーションマークアップ言語（「XAML」（Extensible Application Markup Language））で作成されるもののような従来の視覚的ユーザインタフェースコントロールと対話するための新しい方法を識別した。特に、本発明者らは、インクコマンドを用いて視覚的ユーザインタフェースコントロールを操作するためのソフトウェア及び／又はハードウェア設備（「設備」）を実施することを構想し、軽減させた。様々な例では、ユーザは、特定の方法で、特定のコントロール上で又はその近くで手書き又は描画をすることによりインク入力を生成する。設備は、このインク入力を特定のコントロールに向けられたインクコマンドとして解釈し、インクコマンドに従ってコントロールを動作させることに進む。

例えば背景技術の節で説明したワードプロセッシング文書をスクロールする従来の方法とは対照的に、ユーザは、文書内の対応する場所へジャンプするために、ワードプロセッシングアプリケーション文書ウィンドウの垂直スクロールバーに垂直な線分を、スクロールバーの高さの特定のポイントで描くことができる。あるいは、ユーザは、例えばジャンプするページ番号又は文書を通してジャンプするパーセンテージに対応する番号を、スクロールバー上又はその近くに手書きすることができる。同様の技術を、スライダーやワードプロセッシングフォーマットルーラ等のような他の１次元の値設置コントロールに使用することができる。

様々な追加の例において、ユーザは次のことをすることができる：すなわち、リスト、グリッド又は他のコンテナコントロール内の１つ以上のアイテムを丸で囲み、丸で囲んだアイテムを選択すること；コンテナ内の１つ以上のアイテムの横にチェックマークや星印等の形状を描き、これらのアイテムを選択すること；アイテムを宛先コンテナに転送するために、ソースコンテナ内で選択されたアイテムから宛先コンテナへの矢印を描画すること、あるいはソースコンテナ内で選択されたアイテムから、それらのアイテムに対して実行可能なアクションの視覚的指示へ、例えばアイテムを印刷するためのプリンタの視覚的指示への矢印を描画すること；コンテナからアイテムを削除するために、水平線分、一端にループを有する水平線分又は走り書き（scribble）のような形状をコンテナ内のアイテム上に描くこと；メディアプレーヤの再生ボタンをアクティブにする「＞」や、メディアプレーヤの早送りボタンをアクティブにする「＜＜」のように、ボタンをアクティブにするために、ボタン上の記号の近似物（approximation）を描くこと；コンテナコントロール内に文字シーケンスを書いて、コンテナ内に表示されるアイテムを、その文字シーケンスに一致するテキストを有するもののみにサブセット化するか、かつ／又は一致するテキストを有する最初のアイテム又は全てのアイテムを選択することができる。

一部の例において、設備に応じたインクコマンドの使用は、ユーザが、一部又は全ての視覚的ユーザインタフェースコントロールが隠されているモードで操作することを可能にし、追加の実質的なコンテンツを表示し、より高レベルの拡大／詳細さで実質的なコンテンツを表示し、他の視覚的情報を表示し、小さいディスプレイデバイスを操作すること等を可能にするよう表示空間を保持する。このことは、そうでなければ視覚的ユーザインタフェースコントロールの表示のオンとオフをトグル切り換えするために必要とされることになるユーザの対話を更に節約することができ、ユーザ側の労力と時間を節約することができる。

一部の例において、設備は、可視のユーザインタフェースコントロールと隠れたユーザインタフェースコントロールの双方がない場合に、インクコマンドを単独で受け取る。例えば様々な例において、設備は、仮想現実又は拡張現実ディスプレイ、ゲームディスプレイ、ビデオ再生ディスプレイ等のように可視のユーザインタフェースコントロールのないモードレス表示モードでインクコマンドを受け取り；様々な例において、そのようなインクコマンドは、指、スタイラス又は他の保持物体、レーザポインタ等の移動を介して受け取られる。

発話コマンドと比較して、設備に応じたインクコマンドの使用はより正確であり、いずれかの特定の表示位置に関連しない発話コマンドとは対照的に、インクコマンドが書かれた表示位置によって提供される空間的なコンテキストから利益を得ることができる。

上記の方法の一部または全部を実行することにより、設備は、ユーザが、多くの従来的な視覚的ユーザインタフェースコントロールを、そのコントロール用に元々設計された入力形式を使用するよりも、より迅速かつ／又はより正確に操作することを可能にし、そして、スタイラスをセットすることやマウス又はキーボードを使用して再開する必要があるという中断なしに、そのような操作を行うことを可能にする。一部の例では、設備は更に、インクコマンドが代用されるマウス又はキーボードコマンドを処理する処理リソースを費やす必要性を除去すること、特定のデバイスにマウス及び／又はキーボードを装備する必要性を取り除くこと、一部のデバイスがより小さなディスプレイを採用することを可能にすること等によって、消費される演算リソースのレベルの低減を提供する。

図１は、設備が作用するコンピュータシステム及び他のデバイスの少なくとも一部に組み込まれ得る、構成要素の一部を示すブロック図である。様々な例において、これらのコンピュータシステム及び他のデバイス１００は、サーバコンピュータシステム、デスクトップコンピュータシステム、ラップトップコンピュータシステム、タブレットコンピュータシステム、ネットブック、携帯電話、パーソナルデジタルアシスタント、テレビ、カメラ、自動車コンピュータ、電子メディアプレーヤ、電子キオスクデバイス、電子テーブルデバイス、電子ホワイトボードデバイス等を含むことができる。様々な例において、コンピュータシステム及びデバイスは、下記のうち任意の数のものを含んでよい：すなわち、コンピュータプログラムを実行するための中央処理ユニット（「CPU」）１０１；設備及び関連するデータ、カーネル及びデバイスドライバを含むオペレーティングシステム並びに１つ以上のアプリケーションを含む、プログラム及びデータが使用されている間にこれらのプログラム及びデータを格納するためのコンピュータメモリ１０２；プログラム及びデータを永続的に格納するためのハードドライブ又はフラッシュドライブ等の永続的ストレージデバイス１０３；コンピュータ読取媒体上に格納されたプログラム及びデータを読み出すための、フロッピー（登録商標）、CD-ROM又はDVDドライブ等のコンピュータ読取可能媒体ドライブ１０４；並びに／あるいは、インターネット又は別の有線若しくは無線ネットワークとそのネットワーキングハードウェア、例えばスイッチ、ルータ、リピータ、電気ケーブルと光ファイバ、光エミッタとレシーバ、無線トランスミッタとレシーバ等を介すること等により、コンピュータシステムを他のコンピュータシステム及び／又は他のデバイスに接続してデータを送信及び／又は受信するための通信サブシステム１０５；のうちの任意の数を含んでよい。

様々な例において、これらのコンピュータシステム及び他のデバイス１００は、下記のうち任意の数のものを含んでよい：すなわち、テキスト、画像、アイコン、文書、メニュー等のような視覚的情報を提示するためのディスプレイ１０６と；１つ以上の指、スタイラス又は他の物体でディスプレイに触れることのような、ディスプレイとの対話を感知するためのタッチスクリーンデジタイザ１０７；のうちの任意の数を含んでよい。様々な例において、タッチスクリーンデジタイザは、抵抗感知、表面音響波感知、表面静電容量感知、投影静電容量感知、赤外グリッド感知、赤外アクリル投影感知、光イメージング感知、分散信号感知及び音響パルス認識感知のようなディスプレイとの対話を感知するための１つ以上の利用可能な技術を使用する。様々な例では、コンピュータシステム及び他のデバイス１００は、キーボード、マウス、スタイラス等（図示せず）のような様々な他のタイプの入力デバイスを含む。

上述のように構成されるコンピュータシステム又は他のデバイスを使用して設備の動作をサポートすることができるが、当業者には、設備は様々なタイプ及び構成のデバイスを使用して実装されてよく、様々な構成要素を有することが認識されよう。

図２は、一部の例において、インクコマンドで操作されることを可能にする方法でコントロールを管理するために、設備によって実行させるプロセスを示すフロー図である。一部の例では、このプロセスは、設備が作用するコンピュータシステム又は他のデバイス上で動作するオペレーティングシステムによって実行される。このプロセスの実施を示す例が図３〜図２４に図示され、以下で説明される。

２０１において、設備は、例えばオペレーティングシステムシェル、アプリケーションプログラム又はウェブページの状況等において、１つ以上の視覚的ユーザインタフェースコントロールを表示する。一部の例では、２０１で表示される１つ以上のコントロールは、完全に従来の方法で定義される。一部の例では、２０１で表示される１つ以上のコントロールは、１つ以上のインクコマンドのセットを指定するように定義される。場合によってはインクコマンドで許容可能な特定の範囲の制御操作を含め、各々動作するようにインクコマンドを使用することができる。２０２において、設備はユーザ入力を受け取り、受け取った入力のタイプに対して分岐する。受け取った入力がキーボード又はマウス入力である場合、設備は２０３に続き、受け取った入力がインク入力の場合、設備は２０４に続く。

２０３において、設備は、２０１で表示されたコントロールを、受け取ったキーボード又はマウス入力に従って、例えばコントロールについての従来の方法で操作する。動作２０３の後、設備は２０２に続き、更なる入力を受け取る。受け取った入力がインク入力であり、２０４において、受け取ったインク入力でインクコマンドが認識可能である場合、設備は２０５に続き、そうでなければ、設備は２０２に続く。２０５において、設備は、受け取ったインク入力で認識されたインクコマンドに従って、コントロールを操作する。動作２０５の後、設備は２０２に続く。

当業者には、図２に図示される動作が様々な方法で変更されてよいことが認識されよう。例えば動作の順序が再配置されてよく；一部の動作が並行に実行されてよく；図示される動作が省略されるか、他の動作が含まれてもよく；図示される動作が副次動作に分割されるか、図示される複数の動作が単一の動作に組み合わされてもよい。

図３及び図４は、サンプルのコマンド記号のインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。図３は、オーディオシーケンスを再生するプロセスで一時停止されたメディアプレーヤウィンドウ３００の初期状態を示している。一部の例では、そのようなメディアプレーヤを使用して、オーディオシーケンス、ビデオシーケンス、アニメーション、スライドショー等を含め、様々な時間インデックス化されたメディアタイプを再生することができる。メディアプレーヤウィンドウは、下記を含むコントロールを包含する：すなわち、ユーザが、例えばオーディオファイルの再生を開始するためにマウスを使用してその中をクリックすることによって起動することができる、再生コントロール３０１；ユーザが、例えばオーディオファイルの再生を後の時間インデックスへ素早く進めるために、マウスを使用してその中をクリックすることによって起動することができる、早送りコントロール３０２；ユーザが、例えばオーディオファイルの再生をより早い時間インデックスに戻すために、マウスを使用してその中をクリックすることによって起動することができる、巻戻しコントロール３０３と；ユーザが、例えばマオーディオファイルの再生を終了するために、マウスを使用してその中をクリックすることによって起動することができる停止コントロール３０４と；ユーザが、例えば現在の再生時間インデックスを対応する再生時間インデックスに変更するために、そのノブ３０６を新たな水平位置にドラッグすることによって操作することができる再生インデックス時間コントロール３０５を含む。再生コントロール３０１の現在の表示は、オーディオファイルの再生が現在一時停止されていることを示している。

ディスプレイは更に、再生記号「＞」を形成するインク入力３２０のユーザによる生成を示している。設備は、インク入力３２０を「再生」記号インクコマンドとして認識する。

図４は、インク入力３２０を「再生」インクコマンドとして認識したことに対する設備の応答を示している。多くの場合、コマンド記号のインクコマンドとして認識されるインク入力は、インクコマンドがアクティブになるコントロール内で表示される記号のように、コマンドに関連付けられる記号に視覚的に幾らか似ている。このインクコマンドの効果は、図３に図示される再生コントロール３０１をアクティブにして、オーディオファイルの再生を再開することであることがわかる。この再生状態は、一時停止コントロール４０１による図３に図示される再生コントロール３０１の代替によって反映されている。

再生ボタンをクリックすることに比べて、インクコマンドを使用することは、より素早く、かつより少ない空間視力で行うことができる：この場合、再生ボタンをクリックすることは、再生ボタンの小さなエリア内でのタッチ又はクリックを必要とし、インクコマンドを、画面のはるかに広いエリアに描画することができる。また、インクコマンドは、再生ボタンが表示されていないときに（図示せず）直ぐに行うことが可能であるが、この状況において、再生ボタンを押すためには、ユーザは最初に再生ボタンを表示するための対話を行って、次にその中をタッチ又はクリックしなければならない。

様々な例において、設備は、メディアプレーヤコントロールを操作するための様々な類似のコントロール記号のインクコマンドを認識し、一部の場合には：一時停止コントロール４０１を操作するための一時停止インクコマンド「||」；早送りコントロール４０２をアクティブにするための早送りインクコマンド「＞＞」；巻戻しコントロール４０３をアクティブにするためのインクコマンド「＜＜」；停止コントロール４０４をアクティブにするための停止インクコマンド「□」等を含む。

一部の例では、設備は、読書のために本又は他の刊行物の内容を表示する電子リーダアプリケーションに関連して類似のコマンド記号のインクコマンドを認識する。一部の例は、現在のページから１ページ先にフリップするフリップ・シングルページコマンド「＞」；現在のページから３ページ先にフリップするトリプルページ・フリップインクコマンド「＞＞＞」；６ページ先にフリップするためのインクコマンド「６＞」等を含む。

当業者であれば、様々な例において、設備が、様々なコンテキストで様々なタイプのコントロールを操作する様々な類似のコマンド記号のインクコマンドを認識することを理解するであろう。

図５及び図６は、サンプルのスライダーハッシュのインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。図５は、オーディオシーケンスを再生するプロセスにあるメディアプレーヤウィンドウ５００の初期状態を示す。メディアプレーヤウィンドウは、トラックの長さによって表される許容範囲内の点に再生ボリュームを設定するために、トラック５０３上の異なる位置に動かすことができるノブ５０２を有するボリュームスライダー５０１を含むコントロールを含む。ユーザは、例えばマウスでそのノブ上をクリックし、マウスボタンを離す前にノブをトラック上の新たな水平位置へドラッグすることによって、ボリュームスライダーを操作することができる。

ディスプレイは更に、ボリュームスライダー上の特定の水平位置におおよそ垂直のハッシュマークを形成するインク入力５２０のユーザによる生成を示す。設備は、インク入力５２０をスライダーハッシュマークのインクコマンドとして認識する。

図６は、インク入力５２０をスライダーハッシュのインクコマンドとして認識したことに対する設備の応答を示す。このインクコマンドの効果は、ボリュームスライダーを操作し、そのノブ６０２を、ハッシュインク入力がボリュームスライダーと交差した点へ動かすことであることがわかる。

様々な例において、設備は、再生時間インデックススライダー６０３のようなメディアプレーヤコントロールに関連して、様々な類似のスライダーハッシュのインクコマンドを認識する。

様々な例において、設備は、様々なコンテキストで様々なスライダーコントロールを操作する類似のスライダーハッシュのインクコマンドを認識し、同様に、スクロールバー、ルーラー、ラウンドアナログ時計、円グラフコントロール等のように、スライダー以外の１次元位置コントロールを操作する類似のスライダーハッシュのインクコマンドを認識する。

図７及び図８は、サンプルの数値テキストのインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。図７は、オーディオシーケンスを再生するプロセスにあるメディアプレーヤウィンドウ７００の初期状態を示す。メディアプレーヤウィンドウは、ノブ７０２を有する再生時間インデックススライダー７０１を含むコントロールを含み、スライダー上のノブ７０２の位置が、オーディオシーケンスの持続時間内の現在の再生時間インデックスの相対位置を示す。メディアプレーヤウィンドウ３００はまた、現在の再生時間インデックスの表示７０３を含み、これは、現在の再生時間インデックスが「００：１０」であることを示している。ユーザは、例えばマウスでそのノブ上をクリックし、マウスボタンを離す前に、再生時間インデックススライダー上の新たな水平位置へノブをドラッグすることによって、再生時間インデックススライダーを操作することができる。そのようにすることは、（ａ）スライダー上のノブを再配置し；（ｂ）現在の再生時間インデックス表示を更新し；（ｃ）新たな再生時間インデックスで再生を再開させる。

ディスプレイは更に、「２：３０」というテキストを形成するインク入力７２０のユーザによる生成を示している。設備は、インク入力７２０を、絶対時間インデックス「２：３０」にジャンプするためのインクコマンドとして認識する。

図８は、インク入力７２０を絶対再生時間インデックス「２：３０」にジャンプするインクコマンドとして認識したことに対する設備の応答を示す。このインクコマンドの効果は、現在の再生時間インデックスの表示８０３を「２：３０」に変更し、スライダーノブ８０２を再生時間インデックススライダー８０１上の対応する位置に動かすことであることがわかる。

様々な例において、設備は、ボリュームスライダー８０４のようなメディアプレーヤコントロールを操作するための様々な類似の数値テキストのインクコマンドを認識する。ユーザは、例えば「２５％」又は「８５ｄＢＡ」といった値を書き込むことができる。

様々な例において、設備は、電子リーダアプリケーションのページにページ番号を書き込んで、本の対応するページにジャンプすること、テキスト編集アプリケーション内の垂直スクロールバー上にページ番号を書き込んで、編集中のドキュメントの対応するページにジャンプすること、対応する寸法サイズに形状をスケーリングするために、ドキュメント内の形状に寸法サイズを書き込むこと等のように、様々なコントロールを操作する同様の数値テキストのインクコマンドを認識する。

図９及び図１０は、サンプルの囲み形状のアイテム選択コマンドの入力とそれに対する設備の応答を示すディスプレイ図である。図９は、テキストドキュメントアイテム９０１〜９１２を含むファイルシステムコンテナコントロールウィンドウ９００の初期状態を示す。ユーザは、例えばキーボード上のコントロールキーを押しながら、選択する各アイテムを順番にクリックすることによって、コンテナ内のアイテムを選択することができる。ディスプレイ内でアイテムが選択されると、ユーザはこれらのコマンドの全てを同じコマンドの対象にすることができる。例えばこれらを削除し、これらを開き、これらを異なるコンテナへ移動又はコピーすること等ができる。

ディスプレイは更に、アイテム９０３、９０４、９０８及び９１２の周囲に囲み形状を形成するインク入力９２０のユーザによる生成を示している。設備は、インク入力９２０を囲み形状のアイテム選択コマンドとして認識する。

図１０は、インク入力９２０を囲み形状のアイテム選択インクコマンドとして認識したことに対する設備の応答を示す。場合によっては、設備によって囲み形状のアイテム選択コマンドとして認識されたインク入力は閉形状であるが、一部の例では、設備は、その形状は閉じられていないが１つ以上のアイテムを囲む意図を示すインク入力を、囲み形状のアイテム選択コマンドとして認識する。このインクコマンドの効果は、アイテム１００３、１００４、１００８及び１０１２を選択すること、例えばこれらの４つのアイテム全てに対して同時に特定のファイルシステム操作を実行すること等であることがわかる。

様々な例において、設備は、様々なタイプのコンテナコントロール内において、あるいはリスト、ツリー、図等のようなアイテムの他の集合内で、様々なタイプのアイテムを選択するための様々な類似の囲み形状のアイテム選択コマンドを認識する。

図１１及び図１２は、サンプルのアイテム転送インクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。図１１は、ファイルシステムコンテナコントロール１１００の初期状態を示す。このファイルシステムコンテナコントロール内では、アイテム１１０３、１１０４、１１０８及び１１１２が選択されていることがわかる。４つの選択したアイテムを異なるコンテナに移動又はコピーするために、ユーザは、例えば選択したアイテムのうちの１つをマウスでクリックし、マウスボタンを離す前にこのアイテムをコンテナにドラッグすることができる。

ディスプレイは更に、選択したアイテムのうちの１つから、異なるファイルシステムコンテナ「ｆｏｌｄｅｒ Ｈ」の表現１１１９までの矢印を形成するインク入力１１２０のユーザによる生成を示している。設備は、インク入力１１２０をアイテム転送インクコマンドとして認識する。

図１２は、入力１１２０をアイテム転送インクコマンドとして認識したことに対する設備の応答を示す。一部の場合に、設備によってアイテム転送コマンドとして認識されたインク入力は、影響を受けるアイテムを、ファイルシステムコンテナ及び他のタイプのコンテナを含む様々な宛先に転送すること；転送されたアイテムを印刷するためのプリンタの視覚的表現のように、転送されたアイテムに対するアクションを実行するためのアクションの視覚的表現等を指定する。図１２は、宛先「ｆｏｌｄｅｒ Ｈ」コンテナに対応する新たなファイルシステムコンテナコントロール１２００を示している。アイテム１２０３、１２０４、１２０８及び１２１２は、例えばこれらのアイテムが元の「ｔｅｘｔ ｓｎｉｐｐｅｔｓ」コンテナに含まれなくなるよう、これらのアイテムを移動させることによって、あるいはこれらのアイテムが元の「ｔｅｘｔ ｓｎｉｐｐｅｔｓ」コンテナに引き続き含まれるよう、これらのアイテムをコピーすることによって、「ｆｏｌｄｅｒ Ｈ」コンテナに転送されたことがわかる。

図１３及び図１４は、サンプルのテキストフィルタリングのインクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。図１３は、アイテム１３０１〜１３１２を含むファイルシステムコンテナコントロール１３００の初期状態を示している。各アイテムは、そのアイテムと関連して表示される異なる名前を有する。

ディスプレイは更に、テキスト文字列「ｎｅｗ」を形成するインク入力１３２０のユーザによる生成を示している。設備は、インク入力１３２０を、コンテナ内の表示されるアイテムを、名前が文字列「ｎｅｗ」を含むものにフィルタすることを指定するテキストフィルタリングのインクコマンドとして認識する。

図１４は、インク入力１３２０をテキストフィルタリングコマンドとして認識したことに対する設備の応答を示している。一部の例では、テキストフィルタリングのインクコマンドは、名前以外のアイテムの属性に基づいて、表示されるアイテムをフィルタする。一部の例では、テキストフィルタリングのインクコマンドは、コンテナ内のアイテムと一緒に表示されないアイテムの属性に基づいて、表示されるコンテナ内のアイテムをフィルタする。このインクコマンドの効果は、図１３に図示された、その名前に文字列「ｎｅｗ」が含まれていないアイテム１３０２、１３０３、１３０５〜１３１１を表示することを省略して、名前に文字列「ｎｅｗ」を有するアイテム１４０１、１４０４及び１４１２のみをコンテナ１４００内に表示することであることがわかる。

様々な例において、設備は、様々なコンテナ内又はリスト、ツリー、図等といったアイテムの他の集合内に表示されるアイテムをフィルタするための様々な類似のテキストフィルタリングのインクコマンドを認識する。

図１５及び図１６は、サンプルのテキストフィルタリング反転（text filtering reversal）インクコマンドの入力とそれに対する設備の応答を示すディスプレイ図である。図１５は、ファイルシステムコンテナ１５００の初期状態を示しており、そのディスプレイは、図１３及び図１４に図示され、上記で検討したように、コンテナによって包含されるアイテムがその名前に文字列「ｎｅｗ」を有するアイテムのみ、すなわち、アイテム１５０１、１５０４及び１５１２のみを含むようにフィルタされている。

ディスプレイは更に、「ｌ」という復帰記号（revert symbol）を形成するインク入力１５２０のユーザによる生成を示している。設備は、インク入力１５２０をテキストフィルタリング反転コマンドとして認識する。

図１６は、インク入力１５２０をテキストフィルタリング反転インクコマンドとして認識したことに対する設備の応答を示している。一部の例では、設備は、類似のインク入力を、上述したアイテム転送コマンド、下述する削除コマンド等のような様々な他の正（positive）インクコマンドを逆にするインクコマンドとして認識する。このインクコマンドの効果は、ファイルシステムコンテナ１６００内のアイテムのフィルタリングを逆にし、コンテナにより含まれるアイテムの全ての表示、すなわちアイテム１６０１〜１６１２の表示に復帰することであることがわかる。

図１７及び図１８は、サンプルのチェック選択コマンドの入力とそれに対する設備の応答を示すディスプレイ図である。図１７は、電子メール受信ボックスコンテナコントロール１７００の初期状態を示している。コンテナは、少なくとも電子メールアイテム１７０１〜１７０９を含む。ユーザは、例えばマウスを使用して、表示された電子メールアイテムのうちの１つ以上の各々の左をクリックすることによって、電子メールアイテムを選択することができる。

ディスプレイは更に、電子メールメッセージアイテム１７０４、１７０６及び１７０７の各々の近くにチェックマークを形成するインク入力１７２１、１７２２及び１７２３のユーザによる生成を示している。設備は、インク入力１７２１〜１７２３を１つ以上のチェック選択インクコマンドとして認識する。

図１８は、インク入力１７２１〜１７２３を１つ以上のチェック選択コマンドとして認識したことに対する設備の応答を示す。このインクコマンドの効果は、電子メールアイテム１８０４、１８０６及び１８０７を選択すること、例えばこれらの電子メールアイテムの３つ全てに対して同時に単一のアクションを実行すること等であることがわかる。

様々な例において、設備は、様々な類似の記号又は他のインク付けアクションを選択インクコマンドとして認識する。様々な例において、設備は、様々なタイプのコンテナコントロール内において、あるいはリスト、ツリー、図等のようなアイテムの他の集合の中で、様々なタイプのアイテムを選択するための様々な類似の選択コマンドを認識する。

一部の例（図示せず）において、設備は、コンテナコントロール内のアイテムをお気に入りとしてマークするためのインクコマンドとして、星印又はアスタリスクといった記号を認識する。加えて、あるアイテムを３つ星のお気に入りとしてマークするために、ユーザは一連の３つの星の記号を描くことができ、あるいは単一の星の後に数字の３を書くことができる。

図１９及び図２０は、サンプルのラインアウト削除コマンドの入力とそれに対する設備の応答を示すディスプレイ図である。図１９は、電子メールアイテム１９０１〜１９０９を少なくとも含む受信ボックスの電子メールコンテナコントロール１９００の初期状態を示す。表示された電子メールアイテムのうちの１つを削除するためには、ユーザは、例えばその左をクリックしてアイテムを選択し、キーボードの削除キーを押すことができる。

ディスプレイは更に、電子メールアイテム１９０２の少なくとも一部を通る水平線を形成するインク入力１９２０のユーザによる生成を示している。設備は、インク入力１９２０をラインアウト削除インクコマンドとして認識する。一部の例では、設備は、図１９に示すものとは異なり、右端のループを省略した水平線；前後する走り書き（back-and-forth scribble）を構成するインク入力形状等といった他のインク入力形状をラインアウト削除インクコマンドとして認識する。

図２０は、インク入力１９２０をラインアウト削除コマンドとして認識したことに対する設備の応答を示している。このインクコマンドの効果は、受信ボックス電子メールコンテナ２０００に含まれないものとなるよう、図１９に図示される電子メールアイテム１９０２を削除することであることがわかる。

様々な例において、設備は、様々なタイプのコンテナコントロール内、あるいはリスト、ツリー、図等のようなアイテムの他の集合内の様々なタイプのアイテムを削除するラインアウト削除コマンドを認識する。

図２１及び図２２は、サンプルのアイテムピッカー囲み形状インクコマンド（上述の囲み形状のアイテム選択コマンドと同様）の入力とそれに対する設備の応答を示すディスプレイ図である。図２１は、旅行ウェブサイト上のホテル検索ウェブページ２１００を示している。このウェブページは、ホテルの部屋を予約する日付範囲を選択するための日付ピッカーコントロール２１０１を含む。マウスを使用して、ユーザは、例えば最初に範囲の開始の日付をクリックし、次いで範囲の最後の日付をクリックすることによって、これを行うことができる。

ディスプレイは更に、日付２１０２（２０１６年３月９日）と日付２１０３（２０１６年３月１０日）の周囲にループを形成するインク入力２１２０のユーザによる生成を示している。設備は、インク入力２１２０を、アイテムピッカー囲み形状インクコマンドとして認識する。

図２２は、インク入力２１２０をアイテムピッカー囲み形状インクコマンドをとして認識したことに対する設備の応答を示している。このインクコマンドの効果は、日付２２０２（２０１６年３月９日）から日付２２０３（２０１６年３月１０日）までの日付範囲を選択したことであることがわかる。

様々な例において、設備は、アイテムピッカー囲み形状及びコマンドを認識して、様々な種類のアイテムピッカーコントロール内で選択を行う。

図２３及び図２４は、サンプルのアイテムピッカーテキスト日付コマンド（上述の数字テキストインクコマンドと同様）の入力とそれに対する設備の応答を示すディスプレイ図である。図２３は、旅行ウェブサイトのホテル予約ウェブページ２３００の初期状態を示している。このウェブページは、ホテルの部屋を予約するためにチェックイン日付とチェックアウト日付を指定するための個別の日付ピッカーコントロール２３０１及び３０２を含む。ユーザは、例えばマウスで各々のコントロールをクリックしてキーボードで日付をタイプすることにより；カレンダアイコンをクリックして、その中に図２１に図示されるコントロール２１０１を表示すること等により、これらの日付ピッカーコントロールを操作することができる。

ディスプレイは更に、日付ピッカーコントロールの近くに「March 9-10」のテキストを形成するインク入力２３２０のユーザによる生成を示す。設備は、インク入力２３２０をアイテムピッカーテキストインクコマンドとして認識する。

図２４は、「March 9-10」という日付範囲を指定するアイテムピッカーテキストインクコマンドとしてインク入力２３２０を認識したことに対する設備の応答を示している。このインクコマンドの効果は、日付ピッカーコントロール２４０１内で２０１６年３月９日というチェックイン日付を選択し、日付ピッカーコントロール２４０２内で２０１６年３月１０日というチェックアウト日付を選択することであることがわかる。

一部の例において、設備は、テキスト入力フィールドコントロールに関連するインクコマンドを認識することを省略し、かつ／又は任意のタイプのコントロールのフィールド内へ手書きテキストを直接転写することを省略し、かつ／又は認識されたテキストに対して変換を実行した後にのみ、コントロールのフィールド内へ手書きテキストを転写する。

様々な例において、設備は、アイテムピッカーテキストインクコマンドを認識して、様々なタイプのアイテムピッカーにおいて選択を行う。

一部の例において、設備は、プロセッサベースのデバイスを提供する。当該プロセッサベースのデバイスは、プロセッサと、該プロセッサによるオペレーティングシステムの実行に応答して、プロセッサに、マウス及び／又はキーボード入力で操作可能なコントロールを表示させ、表示されたコントロールに近接するインク入力を受け取らせ；受け取ったインク入力をインクコマンドとして解釈させ；解釈されたインクコマンドに従って、表示されたコントロールを操作させるコンテンツを有するメモリとを備える。

一部の例において、設備は、コンピューティングシステムに：マウス入力で操作可能なコントロールを表示させ；表示されたコントロールに向けられたインクコマンドを受け取らせ；受け取ったインクコマンドに従って、表示されたコントロールを操作させるように構成されるコンテンツを有する、コンピュータ読取可能媒体を提供する。

一部の例において、設備は、コンピューティングシステムにおける方法を提供する。当該方法は、マウス入力で操作可能なコントロールを表示させることと；表示されたコントロールに近接するインク入力を受け取ることと；受け取ったインク入力をインクコマンドとして解釈することと；解釈されたインクコマンドに従って、表示されたコントロールを操作することとを含む。

当業者であれば、上記の設備が、様々な方法で直接的に適合又は拡張されてもよいことが理解されよう。前述の説明は特定の例を参照しているが、本発明の範囲は、以下の特許請求の範囲及びその中に記載される要素によってのみ定義される。

Claims (15)

1. プロセッサベースのデバイスであって：
   プロセッサと；
   前記プロセッサによるオペレーティングシステムの実行に応答して、前記プロセッサに、
   マウス及び／又はキーボード入力で操作可能なコントロールを表示させ、
   前記表示されたコントロールに近接するインク入力を受け取らせ、
   前記受け取ったインク入力をインクコマンドとして解釈させ、
   前記解釈されたインクコマンドに従って前記表示されたコントロールを操作させる、
   コンテンツを有するメモリと；
   を備える、デバイス。
2. 前記表示されたコントロールは、インデックス値を設定するための１次元値設定コントロールであり、
   前記受け取ったインク入力は、手書きの数字を含み、
   前記解釈されたインクコマンドは、前記手書きの数字に基づくインデックス値を指定する、
   請求項１に記載のデバイス。
3. 前記表示されたコントロールは、量を設定するためのものであり、コントロール、ハンドル及びトラックを有し、該トラックは、第１端部と第２端部を有し、前記ハンドルは、前記量の異なる値に対応する前記トラック上の異なる点に再配置可能であり、
   前記受け取ったインク入力は、前記コントロールのトラックを、前記トラックの前記第１端部から前記トラックの前記第２端部までの距離の特定のパーセンテージで横切るインクを含み、
   前記解釈されたインクコマンドは、前記パーセンテージに基づく、前記量についての値を指定する、
   請求項１に記載のデバイス。
4. 前記表示されたコントロールは、視覚的記号を有するボタンであり、
   前記受け取ったインク入力は、前記ボタンが有する前記視覚的記号の近似物を含み、
   前記解釈されたインクコマンドに従って前記表示されたコントロールを操作することは、前記ボタンをアクティブにすることを含む、
   請求項１に記載のデバイス。
5. 前記表示されたコントロールは、複数の列挙されたテキスト文字列のうちの１つを設定するための列挙テキスト文字列ピッカーコントロールであり、列挙されたテキスト文字列の各々が文字シーケンスで構成され、
   前記受け取ったインク入力は、前記複数の列挙されたテキスト文字列のうちのただ１つの列挙されたテキスト文字列の文字シーケンスの先頭部分に一致している手書きの文字シーケンスであり、
   前記解釈されたインクコマンドに従って前記表示されたコントロールを操作することは、そのシーケンスの先頭部分が前記手書きの文字シーケンスに一致している前記列挙されたテキスト文字列を設定することを含む、
   請求項１に記載のデバイス。
6. 前記表示されたコントロールは、コンテナ内のアイテムを選択するためのコンテナコントロールであり、該コンテナコントロールは、前記コンテナ内のアイテムの少なくとも一部の各々の視覚的表現を含み、
   前記受け取ったインク入力は、前記アイテムの視覚的表現のうちの１つ以上を囲んでいる囲み形状であり、
   前記解釈されたインク入力に従って前記表示されたコントロールを操作することは、その視覚的表現が前記囲み形状によって囲まれている前記アイテムを選択することを含む、
   請求項１に記載のデバイス。
7. 前記表示されたコントロールは、ソースコンテナ内のアイテムの少なくとも一部の各々の視覚的表現を含むコンテナコントロールであり、該アイテムの視覚的表現のうちの少なくとも１つは、表現されるアイテムが選択されたことを示し、
   前記受け取ったインク入力は、前記表現されるアイテムが選択されたことを示すアイテムの視覚的表現のうちの１つの近くで始まり、宛先コンテナの視覚的指示の近くで終わる矢印であり、
   前記解釈されたインク入力に従って前記表示されたコントロールを操作することは、前記選択されたアイテムを前記ソースコンテナから前記宛先コンテナに転送することを含む、
   請求項１に記載のデバイス。
8. 前記表示されたコントロールは、コンテナ内のアイテムの少なくとも一部の各々の視覚的表現を含むコンテナコントロールであり、
   前記受け取ったインク入力は、選択されたアイテムの表現の少なくとも一部の上に描かれた形状を含み、
   前記解釈されたインク入力に従って前記表示されたコントロールを操作することは、前記選択されたアイテムを前記コンテナから削除することを含む、
   請求項１に記載のデバイス。
9. コンピューティングシステムに：
   マウス入力で操作可能なコントロールを表示させ；
   前記表示されたコントロールに向けられたインクコマンドを受け取らせ；
   前記受け取ったインクコマンドに従って前記表示されたコントロールを操作させる；
   ように構成されるコンテンツを有する、コンピュータ読取可能媒体。
10. コンピューティングシステムにおける方法であって：
    ディスプレイ領域に対して特定の位置でインク入力を受け取るステップと；
    前記受け取ったインク入力の形状及び位置に基づいて、前記受け取ったインク入力をインクコマンドとして解釈するステップと；
    前記解釈されたインクコマンドを実行するステップと；
    を備える、方法。
11. 前記表示されたコントロールは、１つ以上の電子ドキュメントリーダのページであり、
    前記受け取ったインク入力は、選択された方向を指す選択された数の手書きのキャレットを含み、
    前記解釈されたインクコマンドに従って前記表示されたコントロールを操作することは、前記選択された方向で前記選択された数のページフリップを実行することを含む、
    請求項１に記載のデバイス。
12. 前記表示されたコントロールは、日付を設定するための日付ピッカーコントロールであり、該コントロールは、週に各々対応する行に配列された複数の日付を提示し、
    前記受け取ったインク入力は、前記コントロールによって提示される選択された日付を包含する囲み形状又は日付を指示するテキストであり、
    前記解釈されたインクコマンドに従って前記表示されたコントロールを操作することは、前記選択された日付又は前記指示された日付を設定することを含む、
    請求項１に記載のデバイス。
13. 前記表示されたコントロールは、コンテナ内のアイテムを選択するためのコンテナコントロールであり、該コンテナコントロールは、前記コンテナ内のアイテムの少なくとも一部の各々の視覚的表現を含み、前記コンテナ内の前記アイテムの各々は、当該アイテムに関連付けられるテキスト文字列を有し、
    前記受け取ったインク入力は、文字シーケンスを含む手書きのテキスト文字列であり、
    前記解釈されたインク入力に従って前記表示されたコントロールを操作することは、前記コンテナコントロールが視覚的表現を含んでいるアイテムを、関連付けられるテキスト文字列が前記手書きのテキスト文字列と一致するアイテムのみにサブセット化することを含む、
    請求項１に記載のデバイス。
14. 前記表示されたコントロールは、ソースコンテナ内のアイテムの少なくとも一部の各々の視覚的表現を含むコンテナコントロールであり、アイテムの視覚的表現のうちの少なくとも１つは、表現されるアイテムが選択されたことを示し、
    前記受け取ったインク入力は、前記表現されるアイテムが選択されたことを示す前記アイテムの視覚的表現のうちの１つの近くで始まり、アイテムに対して実行可能な操作の視覚的指示の近くで終わる矢印であり、
    前記解釈されたインク入力に従って前記表示されたコントロールを操作することは、前記選択されたアイテムを指示された操作の対象にすることを含む、
    請求項１に記載のデバイス。
15. 前記表示されたコントロールは、コンテナ内のアイテムを選択するためのコンテナコントロールであり、該コンテナコントロールは、前記コンテナ内のアイテムの少なくとも一部の各々の視覚的表現を含み、
    前記受け取ったインク入力は、１つ以上の区別されたアイテムの各々の表現の近くに描かれたチェックマーク、星形又はアスタリスクを含み、
    前記解釈されたインク入力に従って前記表示されたコントロールを操作することは、前記区別されたアイテムを選択することを含む、
    請求項１に記載のデバイス。
    

Images