JP2016033831A - 重畳された注釈出力 - Google Patents

Abstract

【課題】第１出力に重畳されたユーザ入力に対応する第２出力を第１出力とともに表示するシステムおよび方法を提供する。【解決手段】第２出力は、ディスプレイ上に、第１出力と同時に、第１出力に重畳して表示される。第２出力は、ユーザ入力に対応する。第１出力および第２出力がオーバーラップするディスプレイの領域内で、第２出力は、不透明であり、第１出力は、不透明の第２出力を通して可視である。第１出力および第２出力がオーバーラップしないディスプレイの領域内で、第１出力が可視である。第１出力を、ビデオ電話会議のビデオ部分とすることができ、第２出力は、電話会議中にユーザから受け取られる注釈またはメモに対応することができる。【選択図】図５

Description

現代のコンピューティングデバイスは、複数のプログラムを同時に実行する能力を提供する。デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、携帯情報端末、および携帯電話機さえ、複数のアプリケーションを同時に実行することを可能にするマルチプロセッシング能力を有する。したがって、例示のシナリオでは、そのようなデバイスのユーザが、ビデオを再生する第１プログラムを実行し、メモなどのユーザ入力を記録する第２プログラムを同時に実行することができる。

たとえば、デスクトップコンピュータまたはラップトップコンピュータなどの豊富なディスプレイを有するコンピューティングデバイスは、第１アプリケーションでのビデオの表示および第２アプリケーションでのユーザ入力の記録に同時に対処することができる。しかし、相対的に小さいディスプレイを有する携帯電話機および携帯情報端末などのコンピューティングデバイスについて、２つのアプリケーションの同時ビューイングは、時々不可能ではないとしても、むずかしい。さらに、アプリケーションの性質およびこれらのアプリケーションのユーザの意図する使用に応じて、アプリケーションプログラムの間の切替は、有用な代替案ではない。たとえば、ユーザが、ビデオ電話会議であるものとすることができるビデオストリームを見ると同時に、ビデオストリームに関するメモをとることを望む場合がある。相対的に小さいディスプレイを有する携帯電話機またはＰＤＡなどのデバイスでは、ビデオストリームを見るアプリケーションとメモをとるアプリケーションとの両方を同時に提示することが、可能ではない。さらに、２つのアプリケーションの間での切替は、ユーザが、両方のアクティビティ（ビデオを見ることとメモをとることと）に同時にかかわることを阻むが、この同時にかかわることは、技術の限界がなければ、ユーザが行うことを望むものである。

効果的に、第１出力を表示し、第１出力に重畳されたユーザ入力に対応する第２出力を同時に表示するシステムおよび方法に関する技術を、全般的に説明する。第１出力および第２出力がオーバーラップするディスプレイの領域内で、第２出力は、不透明であり、第１出力は、不透明の第２出力を通して可視である。第１出力および第２出力がオーバーラップしないディスプレイの領域内で、第１出力が可視である。

例示的シナリオでは、第１出力を、ビデオ電話会議のビデオストリームとすることができる。第２出力は、電話会議中にユーザから受け取られる注釈またはメモを含む。注釈またはメモは、第１出力が表示されるディスプレイ上で受け取られるユーザ入力に対応することができる。ディスプレイを、たとえば接触感知ディスプレイとすることができ、ユーザ入力を、電話会議のビデオストリームがディスプレイに表示されつつある間にディスプレイ上で入力された手書きのメモまたは注釈とすることができる。したがって、ビデオ電話会議からのビデオが表示されつつある間に、オペレータは、ディスプレイ上でメモまたは注釈を記録することができ、それらユーザ入力に対応するマーキングまたは出力は、ビデオ出力に重畳して表示される。ビデオすなわち第１出力および注釈すなわち第２出力がオーバーラップするディスプレイの領域では、注釈が不透明であり、ビデオは、不透明の第２出力を通して可視である。第１出力および第２出力がオーバーラップしないディスプレイの領域では、第１出力が可視である。

開示される実施形態のもう１つの態様によれば、第１出力および第２出力を、２つの出力を同期化する情報と一緒に格納することができる。たとえば、第１出力がビデオ出力であり、第２出力がユーザの入力したメモまたは注釈を含む例のシナリオでは、ビデオと注釈との両方が、ビデオに対する相対的な、特定のメモまたは注釈が表示された時刻を記録する同期化する情報と一緒に格納される。第１出力、第２出力、および同期化情報を、後の時に取り出し、最初に表示された出力のタイミングシーケンスに従って出力を表示するのに使用することができる。たとえば、格納された第１出力がビデオであり、格納された第２出力がビデオの再生中に作られたメモまたは注釈を表す例のシナリオでは、取り出された格納されたビデオが、再生され、注釈が、オリジナルマーキングが行われた、再生中のビデオに対する相対的なタイミングを再現するのに適当なインターバルで、再生中のビデオに重畳される。

開示される実施形態のもう１つの態様によれば、メモまたは注釈を、ユーザコマンドならびに／または表示するデバイスによって強制される（または適用される）所定のプリファレンスおよびルールに応答して、ディスプレイ上で移動し、またはディスプレイから除去することができる。たとえば、第１出力がビデオ出力であり、第２出力がユーザの入力したメモまたは注釈を含む例のシナリオでは、ユーザは、注釈またはメモをディスプレイ上で移動することを要求することができる。ユーザは、注釈をドラッグして、注釈をディスプレイの異なる部分に移動する望みを示すことができる。同様に、ユーザ入力に応答して、システムは、現在表示されている注釈をディスプレイから除去することができる。もう１つの実施形態では、デバイスは、第２出力が規定された時間期間にわたって表示された後に、第２出力をディスプレイの特定の部分に移動し、またはディスプレイから除去しなければならないと指定する事前定義のルールを含むことができる。

この「課題を解決するための手段」は、下の「発明を実施するための形態」でさらに説明する概念の選択物を単純化された形で導入するために提供される。この「課題を解決するための手段」は、請求される主題の主要な特徴または本質的特徴を識別することを意図されたものではなく、請求される主題の範囲を限定するのに使用されることも意図されていない。他の特徴は、下で説明される。

本明細書で説明する主題の諸態様を実施できる例示的コンピューティング配置を示す図である。 例示的なディスプレイインターフェース装置を示す図である。 その上に第１出力を表示された例示的なディスプレイ装置を示す図である。 その上に第２出力を表示された例示的なディスプレイ装置を示す図である。 その上に２つの出力を同時に表示された例示的なディスプレイ装置を示す図である。 重畳されたディスプレイ出力を提供するように適合された例示的なコンピューティングデバイス上に含まれる例示の論理コンポーネントを示すブロック図である。 第１出力に重畳された第２出力を提示する例示のプロセスを示す流れ図である。 第１出力および第２出力を格納し、取り出す、例示のプロセスを示す流れ図である。 ディスプレイ装置上で第２出力を移動し、ディスプレイ装置から第２出力を除去する、例示のプロセスを示す流れ図である。 本明細書で説明される主題の諸態様をそれを用いて展開できるコンピューティング環境を示すブロック図である。

次の詳細な説明では、その一部を形成する添付図面を参照する。図面では、文脈がそうではないと規定しない限り、類似する記号が、通常は類似するコンポーネントを識別する。詳細な説明、図面、および特許請求の範囲で説明される例示的実施形態は、限定的であることを意図されたものではない。本明細書で提示される主題の趣旨または範囲から逸脱せずに、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で全体的に説明され、図面に示された本開示の諸態様を、さまざまな異なる構成で配置し、置換し、組み合わせ、分離し、設計することができ、そのすべてが本明細書で明示的に企図されていることが、たやすく理解されるであろう。

概要
現代のコンピューティングデバイスは、複数のプログラムを同時に実行する能力を提供する。したがって、例示のシナリオでは、ユーザは、ビデオを再生する第１プログラムを実行し、メモなどのユーザ入力を記録する第２プログラムを同時に実行することができる。たとえば、デスクトップコンピュータまたはラップトップコンピュータなどの豊富なディスプレイインターフェースを有するコンピューティングデバイスは、第１アプリケーションでのビデオの表示および第２アプリケーションでのユーザ入力の記録に同時に対処することができる。しかし、相対的に限られたまたは小さいディスプレイインターフェースを有する携帯電話機および携帯情報端末などのコンピューティングデバイスについて、２つのアプリケーションの同時ビューイングは、むずかしい。

効果的に、第１出力を表示し、第１出力に重畳されたユーザ入力に対応する第２出力を同時に表示するシステムおよび方法に関する技術を、全般的に開示する。第１出力および第２出力がオーバーラップするディスプレイの領域内で、第２出力は、不透明であり、第１出力は、不透明の第２出力を通して可視である。第１出力および第２出力がオーバーラップしないディスプレイの領域内で、第１出力が可視である。例示的シナリオでは、第１出力を、ビデオ電話会議のビデオ部分とすることができ、第２出力を、電話会議中にユーザから受け取られる注釈またはメモとすることができる。注釈またはメモを、第１出力が表示されるディスプレイ上で受け取ることができる。

例のコンピューティング配置
図１に、本明細書で説明する主題の諸態様を実施できる例示的コンピューティング配置を示す。具体的には、図１は、本明細書で説明されるように重畳された出力を提供するようにそれぞれを適合させることができるコンピューティングデバイス１１０からなる例示のコンピューティング配置１００を示す。デバイス１１０は、たとえば、デスクトップコンピュータ１１０ａ、ラップトップコンピュータ１１０ｂ、電話機１１０ｃ、タブレットコンピューティングデバイス１１０ｄ、携帯情報端末（ＰＤＡ）１１０ｅ、および携帯電話機１１０ｆのいずれかを含み、これらのそれぞれを、たとえば２つの実行中のアプリケーションからの２つの出力フィードを同時に表示するように適合させることができる。例のシナリオでは、デバイス１１０ａ〜ｆの任意の１つが、第１アプリケーションの出力を表示し、たとえばビデオ出力を表示し、同時に、第２アプリケーションへの入力を表示し、たとえばデバイスオペレータによって入力されたメモまたは注釈を表示することができる。より具体的には、デバイス１１０ａ〜ｆの任意の１つを、ビデオを表示すると同時に、タッチスクリーンディスプレイ上で手書き注釈を受け取り、ディスプレイ上に注釈に対応するマーキングを表示するようにプログラムすることができる。代替のシナリオでは、デバイス１１０ａ〜ｆの任意の１つは、静止イメージを表示すると同時に、イメージが表示されている間にデバイスオペレータによって入力された入力を表示することができる。

デバイス１１０のそれぞれを、通信ネットワーク１５０と通信するように適合させることができる。通信ネットワーク１５０は、コンピューティングデバイス１１０ａ〜ｆとデバイス１１０ａ〜ｆによってアクセスされる任意のサーバとの間の通信を提供するのに適する任意のタイプのネットワークとすることができる。通信ネットワーク１５０は、異なる技術を使用することができる別個のネットワークの組合せを含むことができる。たとえば、通信ネットワーク１５０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、セルラネットワーク、またはその組合せを含むことができる。通信ネットワーク１５０は、無線、有線、またはその組合せを含むことができる。例の実施形態では、通信ネットワーク１５０は、インターネットを含み、さらに、インターネットと通信するように適合された任意のネットワークを含むことができる。通信ネットワーク１５０は、デバイス１１０の間でビデオ、オーディオ、および他のデータを通信するように適合された無線テレフォニネットワークを含むことができる。特定のシナリオでは、テレフォニネットワークは、デバイス１１０の間でビデオ電話会議を通信するように適合される。

図２に、例示的なディスプレイ装置２００を示す。ディスプレイ装置２００を、図１に示されたデバイスのいずれかでディスプレイコンポーネントとして使用することができるが、ディスプレイ装置２００のサイズは、それがその一部である特定のシステムに依存して変化する可能性がある。たとえば、ディスプレイ装置２００が、デスクトップシステム１１０ａに含まれる場合には、ディスプレイ装置２００は、ディスプレイ装置２００が電話機１１０ｆまたはＰＤＡ １１０ｅに含まれる状況より大きくなる可能性が高い。ディスプレイ装置２００を、出力を電子的に表示するのに適する任意のデバイスとすることができ、たとえばビデオ、静止イメージ、テキスト、グラフィックス、ならびに電子的に表現できる任意の他のタイプの出力を表示するように適合させることができる。例示の実施形態では、ディスプレイ装置２００は、たとえば接触感知スクリーン２０２などの入力デバイスをも含むことができる。例示の実施形態では、接触感知スクリーン２０２は、その表面上で入力を受け取り、ディスプレイ装置２００上で入力の位置に対応する位置に電子マーキングを生成するように適合される。たとえば、ユーザは、彼／彼女の指および手ならびに／またはスタイラスなどのポインティングデバイスを接触感知スクリーン２０２上で使用して、入力することができ、この入力は、ディスプレイ装置２００上で入力に対応する位置に表示される電子マーキングによって反映される。

図３に、その上に第１出力３１０を表示された例示的なディスプレイ装置２００を示す。図３の例示的実施形態では、第１出力３１０は、人の顔を表す。例示のシナリオでは、第１出力３１０を、ビデオイメージとすることができ、たとえば、ビデオ電話会議のビデオストリームとすることができる。図３に示された例では、第１出力３１０が、人の肖像を示し、ビデオ出力を表すが、第１出力３１０は、任意のタイプの画像を表すことができ、たとえば、静止イメージ、グラフィックス、および／またはテキストを含む任意のタイプのコンテンツとすることができる。さらに、第１出力３１０を、ディスプレイ装置２００上で提示される任意の出力とすることができる。

図４に、その上に第２出力４１０を表示された例示的なディスプレイ装置２００を示す。図４の例示的実施形態では、第２出力４１０がテキストである。例示のシナリオでは、第２出力４１０を、ユーザ入力に対応するテキストとすることができる。より具体的には、第２出力４１０は、接触感知スクリーン２０２上で受け取られたか、たとえばキーボードまたはコンピュータによる音声認識などの他の入力手段を介して入力されたユーザ入力に対応するテキストを含むことができる。図４に示された例では、第２出力４１０がテキストを示すが、第２出力４１０は、たとえばビデオ、静止イメージ、グラフィックス、および／またはテキストを含む任意のタイプのコンテンツを表すことができる。

したがって、図３および図４に示されているように、ディスプレイ装置２００は、例示の実施形態で電話会議のビデオフィードとすることができる第１出力３１０と、例示の実施形態でユーザ入力に対応するテキストまたは注釈とすることができる第２出力４１０とを表示するように適合される。たとえば、携帯電話機１１０ｆおよびＰＤＡ １１０ｅなどのデバイスについて、ディスプレイ装置２００は、第１出力３１０と第２出力４１０との両方の同時表示に対処するのに十分に大きくはない可能性が高い。さらに、ディスプレイ装置２００に表示される２つの出力の間での切替は、ユーザが同時に複数のアクティビティにかかわるのを阻むので、決して有利ではない。

例示的実施形態では、デバイス１１０ａ〜ｆのうちの任意の１つが、２つの出力を重畳するように適合されたディスプレイ装置２００を含むことができる。図５に、その上に２つの出力を同時に表示された例示的なディスプレイ装置２００を示す。図示されているように、第１出力３１０が表示され、第２出力４１０は、第１出力３１０の上に重畳して表示される。第２出力４１０が第１出力３１０にオーバーラップするディスプレイ装置２００の領域内では、第２出力３１０は、不透明であるが、第１出力３１０は、第２出力４１０の背後で可視である。第１出力３１０が第２出力４１０によってオーバーラップされない領域では、第１出力３１０は、はっきりと可視である。第２出力４１０は、第２出力４１０の下で第１出力３１０が見えることを可能にするレベルの透明度を有することができる。第２出力４１０の不透明さのレベルを、変更し、これによって、２つの出力がオーバーラップする部分での第１出力３１０の可視性を高め、または下げることができる。さらに、第１出力３１０を可視にすることを可能にしながらよりよくまたはより少なく識別できるようにするために、第２出力４１０を、特定のカラーリング方式を用いて表示することができる。第２出力４１０が、接触感知スクリーン２０２上で入力されたユーザ入力に対応するシナリオでは、第２出力４１０を、それがその上に表示される背景に対して相対的に目立つ特定の灰色を使用して表示することができる。代替実施形態では、第２出力４１０の色を、第２出力４１０をよりよくまたはより少なく識別できるようにするために、赤、黄色、黒、または応用例に適する任意の他の色とすることができる。

第１出力３１０を、たとえばビデオ、静止イメージ、グラフィックス、テキスト、その他を含む任意のタイプのデータとすることができる。例のシナリオでは、第１出力３１０を、ビデオストリーム、より具体的にはオーディオ／ビデオ電話会議のビデオストリーム部分とすることができる。第２出力４１０を、ビデオストリームを見ている間に受け取られたユーザ入力に対応する出力とすることができる。ユーザ入力を、任意の適切な手段によって受け取ることができる。例のシナリオでは、ユーザ入力を、接触感知スクリーン２０２上で受け取ることができる。そのようなシナリオでは、ディスプレイ装置２００のユーザは、第１出力３１０を見ると同時に、接触感知スクリーン２０２上でメモまたは注釈を入力することができる。受け取られたユーザ入力に対応する第２出力４１０は、第１出力３１０に重畳される。ユーザは、第１出力３１０を見ると同時に、第１出力３１０によって引き起こされ得るメモおよび注釈すなわち第２出力４１０を取り込み、表示することができる。第１出力３１０が電話会議のビデオストリームであるシナリオでは、電話に参加する人は、電話に参加し続け、ビデオを見ると同時に、接触感知スクリーン２０２上でメモまたは注釈を記録することもできる。このシナリオでは、第１出力３１０は、第２出力４１０がその上に重畳される場合であっても、可視であり、識別できる状態であり続ける。手書き注釈を同時に提示しながらディスプレイ装置２００上でのビデオの表示の組合せは、メモを記録できるガラスセパレータの向こうの人と話しているという感覚を生じる。

図６に、重畳されたディスプレイ出力を提供するように適合された例示的なコンピューティングデバイス１１０上に含まれる例の論理コンポーネントのブロック図を示す。論理コンポーネントを、たとえば、デスクトップ１１０ａ、ラップトップ１１０ｂ、電話機１１０ｃ、タブレットコンピューティングデバイス１１０ｄ、ＰＤＡ １１０ｅ、および携帯電話機１１０ｆを含む任意のタイプのコンピューティングデバイス上に含めることができる。例の実施形態では、例示的なデバイス１１０は、ディスプレイ装置２００上での表示のためにデータを受け取るように動作する受取データ制御ロジック６１０を含むことができる。たとえば、受取データ制御ロジック６１０を、ビデオストリームまたはたとえば静止イメージ、テキスト、および／もしくはグラフィックスを含む任意のタイプのデータの受取を調整するように適合させることができる。

例の実施形態では、例示的なデバイス１１０は、さらに、たとえば接触感知スクリーン、キーボード、その他から受け取られたユーザ入力を制御するように動作するユーザインターフェース入力制御ロジック６１２を含むことができる。デバイス１１０が、静止イメージまたはビデオ会議のビデオストリームを表示するように適合される例のシナリオでは、ユーザインターフェース入力制御ロジック６１２を、接触感知スクリーン２０２から入力を受け取るように適合させることができる。ユーザインターフェース入力制御ロジック６１２を、たとえば、ビデオ、イメージ、静止イメージ、テキスト、およびグラフィックスを含む任意のタイプのユーザ入力を受け取るように適合させることができる。同様に、ユーザインターフェース入力ロジック６１２を、たとえば接触感知スクリーンまたはディスプレイ、物理キーボード、仮想キーボード、ポインティングマウス、コンピュータによる音声認識システム、その他を含む任意の適切な入力デバイスからの入力を制御するように適合させることができる。ユーザインターフェース入力ロジック６１２および受取データ制御ロジック６１０を、同一のまたは別々のソフトウェアアプリケーション内に含めることができる。

出力制御ロジック６１４は、デバイス出力を制御するように適合される。たとえば、出力制御ロジック６１４は、ディスプレイ装置２００上の第１出力３１０の表示および第２出力４１０の第一出力３１０への重畳を可能にすることができる。例のシナリオでは、出力制御ロジック６１４を、ビデオ会議のビデオストリームと、ビデオストリームに重畳されたユーザ入力に対応する注釈とを表示するように適合させることができる。もう１つの例のシナリオでは、出力制御ロジック６１４を、静止イメージと、接触感知スクリーン２０２から受け取られた注釈とを表示するように適合させることができる。出力制御ロジック６１４を、受取データ制御ロジック６１０およびユーザインターフェース入力制御ロジック６１２と共通のプログラムアプリケーション内に含めることができるが、その代わりに、受取データ制御ロジック６１０およびユーザインターフェース入力制御ロジック６１２を含む１つまたは複数のアプリケーションとは別々とすることができる。

出力制御ロジック６１４を、第１出力３１０および第２出力４１０がディスプレイ装置２００に表示される間にこの２つの出力の完全性（integrity）を維持するように適合させることができる。言い替えると、第２出力４１０の明瞭さは、第２出力４１０が第１出力３１０に重畳されている間に第１出力３１０に対して変更が行われる可能性がある場合であっても、維持される。たとえば、第１出力３１０が、その性質によって経時的に変化するビデオ出力を含む場合に、第２出力４１０の明瞭さおよび鮮明度は、第１出力３１０に含まれるビデオストリーム内の連続する変化によって影響されない。出力制御ロジック６１４は、表示の前に出力３１０および４１０に対応するデータをバッファリングし、第１出力３１０のバッファリングされたデータの上に第２出力４１０のバッファリングされたデータをマッピングすることができる。たとえば、出力制御ロジック６１４は、第２出力４１０および第１出力３１０のデータを、ディスプレイ装置２２０上の画素位置にマッピングすることができる。マッピングは、別々の出力３１０および４１０の完全性の制御を可能にする。その後、出力制御ロジック６１４は、表示のために、第１出力３１０データ上にマッピングされた第２出力４１０データを通信することができる。

受取データストア６１６は、ディスプレイ装置２００上で受け取られ、表示されるデータを格納するロジックおよびコンピューティングメモリを含む。たとえば、受取データストア６１６は、第１出力３１０のコピーを格納する。デバイス１１０が、ビデオ会議のビデオストリームを受け取るように適合される例示のシナリオでは、ビデオストリームおよび対応するオーディオストリームを、受取データストア６１６内に格納することができる。

ユーザ入力データストア６１８は、ユーザ入力に対応するデータおよびそれに対応する出力を格納するロジックおよびコンピューティングメモリを含む。たとえば、ユーザ入力が接触感知スクリーン２０２上で受け取られる例示のシナリオでは、入力に対応するデータならびにディスプレイ装置２００上で生成された対応する出力が、ユーザ入力データストア６１８に格納される。また、ユーザ入力データおよび対応する出力を、たとえばビデオ出力などの任意の他の出力と同期化するのに使用できる任意のデータを、ユーザ入力データストア６１８に格納することができる。たとえば、ビデオの表示に対する相対的な、入力の受取および対応する出力の生成のタイミングに関する情報を記録することができる。タイミング情報を、オリジナル表示のタイミングインターバルと一致する２つの出力の表示の同期化に適する任意のタイプの情報とすることができる。タイミング情報は、絶対タイミング情報を含むことができ、あるいは、第１出力の再生時間に対する相対的なタイミング情報とすることができる。たとえば、タイミング情報は、特定の第２出力が、対応する第１出力の再生時間の３分目に表示されたことを指定することができる。

同期化制御ロジック６１４は、格納されたデータの同期化された表示を制御するように適合される。たとえば、データストア６１６を表示する要求に応答して、同期化制御ロジックは、出力制御ロジック６１４に２つの出力ストリームのオリジナル表示のタイミングと一致して格納されたデータを表示させるために、ストア６１６および６１８からデータを取り出し、ストア６１８に格納された同期化情報を使用するように適合される。たとえば、接触感知スクリーン２０２上で受け取られたユーザ入力に対応する出力がディスプレイ装置２００上で提示されるビデオストリームに重畳して表示される例示のシナリオでは、同期化制御ロジック６１４を、２つの出力が最初に表示された時に適用されたタイミングおよびシーケンスと一致する形でデータストア６１６および６１８からの対応する格納されたデータを提示するように適合させることができる。

重畳された出力処理
図７は、第１出力３１０に重畳された第２出力４１０を提示する例示のプロセスの流れ図である。例示のプロセスを、たとえばデバイス１１０ａ〜ｆのいずれかを含む任意の適切なデバイス上で実施することができる。例示のプロセスは、ブロック７１０、７１２、および／または７１４のうちの１つまたは複数によって示されるように、１つまたは複数の動作、アクション、または機能を含むことができる。さらに、本明細書で説明する上記および他のプロセスおよび／または方法について、別個のブロックとして図示されるが、所望の実施態様に応じて、さまざまなブロックを、追加のブロックに分割し、より少数のブロックに組み合わせ、または除去することができる。処理を、ブロック７１０で開始することができる。

ブロック７１０（第１出力を提供する）では、第１出力３１０を、ディスプレイ装置２００上で表示する。第１出力３１０は、ディスプレイ装置２００上での表示に適切な任意の出力とすることができる。たとえば、第１出力３１０を、ビデオ、イメージ、静止イメージ、テキスト、グラフィックス、または任意の他の出力タイプとすることができる。１つの例示のシナリオでは、第１出力３１０は、電話会議のビデオストリームを含むことができる。ビデオの表示と同時に、ビデオに対応するオーディオを、デバイス１１０のスピーカコンポーネントによって出力することができる。処理は、ブロック７１０からブロック７１２に継続することができる。

ブロック７１２（入力を受け取る）では、ユーザ入力をデバイス１１０で受け取る。入力を、デバイス１１０上での受取に適切なすべてのものとすることができ、たとえばタッチ入力、機械的入力、および／またはオーディオ入力を含むことができる。さらに、入力を、たとえば接触感知スクリーン、物理キーボード、仮想キーボード、マウス、音声認識ソフトウェアを伴うマイクロホン、その他を含む任意の適切な入力デバイスを介して受け取ることができる。例のシナリオでは、入力は、第１出力３１０がディスプレイ装置２００上に表示されている間に接触感知スクリーン２０２上で受け取られる。より具体的には、ビデオ電話会議ストリームとすることができるビデオストリームがディスプレイ装置２００上に表示されている間に、手書き入力を、接触感知スクリーン２０２上で受け取ることができる。処理は、ブロック７１２からブロック７１４に継続することができる。

ブロック７１４（第１出力に重畳して第２出力を提供する）では、ブロック７１２で受け取られたユーザ入力に対応する第２出力４１０を、ディスプレイ装置２００上で表示する。第２出力４１０は、第１出力３１０と同時に表示され、これに重畳される。第１出力３１０および第２出力４１０がオーバーラップするディスプレイ装置２２０の領域では、第２出力４１０は、不透明であり、第１出力３１０は、不透明の第２出力４１０を通して可視である。第２出力４１０を、第１出力３１０がディスプレイ装置２００上で可視にすることができるように、少なくとも部分的に透明にすることができる。第１出力３１０および第２出力４１０がオーバーラップしないディスプレイ装置２００の領域では、第１出力３１０は、可視である。

第２出力４１０が第１出力３１０にオーバーラップするディスプレイ装置２００の領域では、不透明の度合またはレベルおよび反対に透明度のレベルが、デバイスオペレータのプリファレンスに依存して変化することができる。したがって、不透明のレベルは、非常に不透明から非常に透明まで変化することができる。同様に、第１出力３１０が、２つの出力がオーバーラップする領域内で第２出力４１０によって部分的に隠されるか暗くされる度合は、大きくからごくわずかまで変化することができる。実際に、いくつかの実施形態では、第１出力３１０をほぼ完全に隠すことができ、他の実施形態では、第１出力３１０はごくわずかに隠される。

ブロック７１２で、第１出力３１０が表示されている間に、メモまたは注釈がデバイス１１０への入力として受け取られる例示のシナリオでは、ブロック７１４で、入力に対応するマーキング、注釈、および／またはメモが、ディスプレイ装置２００上で、入力に対応する位置に表示される。より具体的には、手書きの注釈またはメモが、接触感知スクリーン２０２上でユーザによって受け取られる場合に、対応する注釈が、ディスプレイ装置２００上で第１出力３１０に重畳して表示され、この第１出力３１０は、たとえばオーディオ／ビデオ会議のビデオ出力とすることができる。代替実施形態では、注釈は、物理キーボードまたは仮想キーボード上で作られ、対応するメモまたは注釈が、ディスプレイ装置２００上で第１出力３１０に重畳して表示される。もう１つの実施形態では、ユーザ入力は、コンピュータによる音声認識を介して入力され、対応する出力が、ディスプレイ装置２００上で第１出力３１０に重畳して表示される。

例示のシナリオでは、デバイス１１０は、第１出力３１０および第２出力４１０がディスプレイ装置２００上で表示される間に、この２つの出力の完全性を維持するように動作する。言い替えると、第２出力４１０の明瞭さは、第２出力４１０が第１出力３１０に重畳されている間に、第１出力３１０に対して変更が行われる可能性がある場合であっても、維持される。同様に、第１出力３１０の明瞭さおよび完全性は、第２出力４１０が第１出力３１０に重畳されている間に、第２出力４１０に対して変更が行われる可能性がある場合であっても、維持される。例示のシナリオでは、第１出力３１０は、ビデオ出力を含む。その性質により、ビデオ出力は、動きを描写するために経時的に変化する。第２出力４１０の明瞭さおよび鮮明度は、第１出力３１０に含まれるビデオストリーム内の連続する変化によって影響されない。同様に、第２出力４１０が、たとえば連続する手書きメモが受け取られる時など、経時的に変化するシナリオでは、第１出力３１０の明瞭さが維持される。

ブロック７１４での出力の提供に関連して、デバイス１１０は、任意の適切な形で出力３１０および４１０の完全性および明瞭さを維持することができる。例示の実施形態では、ディスプレイ装置２２０は、ディスプレイデバイスの通常の動作と一致し、提示されるデータを継続的にリフレッシュする。例示のシナリオでは、デバイス１１０は、表示の前に、出力３１０および４１０に対応するデータをバッファリングすることができる。デバイス１１０、具体的には出力制御６１４ロジックは、第１出力３１０のバッファリングされたデータ内にまたはその上に第２出力４１０のバッファリングされたデータをマッピングすることができる。たとえば、出力制御ロジック６１４は、第２出力４１０および第１出力３１０のデータを、ディスプレイ装置２２０上の画素位置にマッピングすることができる。バッファリングおよびマッピングは、別々の出力３１０および４１０の完全性の制御を可能にする。その後、第１出力３１０データ上にマッピングされた第２出力４１０データを含むデータが、ディスプレイ装置２２０によって表示される。表示の前にデータをバッファリングし、マッピングするロジックを、たとえば、ディスプレイ装置２２０上の画素表示を制御するグラフィックスコントローラおよびまたはディスプレイコントローラによって実施することができる。

潜在的な実施形態のもう１つの態様によれば、第１出力３１０および第２出力４１０を、格納し、その後に取り出し、表示することができる。出力を、別々に独立に取り出し、表示することができる。しかし、出力を、同時に取り出し、表示することもでき、出力は、同期化され、出力が最初に表示された時に使用されたものと同一の相対タイミングで表示される。図８は、第１出力３１０および第２出力４１０を格納し、取り出す、例示のプロセスの流れ図である。例のプロセスは、ブロック８１０、８１２、８１４、および／または８１６のうちの１つまたは複数によって示されるように、１つまたは複数の動作、アクション、または機能を含むことができる。処理を、ブロック８１０で開始することができる。

ブロック８１０（第１出力を格納する）では、第１出力３１０を、たとえばデータベースストア６１６に格納する。たとえば、第１出力３１０が、ビデオ電話会議の出力である例のシナリオでは、ビデオストリーム、およびいくつかのシナリオではオーディオストリームが、データベースストア６１６に格納される。処理は、ブロック８１０から８１２に継続することができる。

ブロック８１２（第２出力を格納する）では、第２出力４１０および対応するユーザ入力が、たとえばデータベースストア６１８に格納されまたは記録される。たとえば、ユーザ入力が、ディスプレイ装置２００上でメモまたは注釈として受け取られ、表示される例示のシナリオでは、ブロック８１２で、これらの注釈が、データベースストア６１８に格納される。処理は、ブロック８１２からブロック８１４に継続することができる。

ブロック８１４（同期化する情報を格納する）では、第２出力４１０を第１出力３１０に同期化する情報を格納する。たとえば、同期化情報を、ユーザ入力データストア６１８に格納することができる。格納される同期化情報を、第１出力３１０に対する相対的な第２出力４１０の時間的配置を記録し、再現するのに有用な任意のデータとすることができる。言い替えると、第２出力４１０が第１出力３１０に対して相対的にいつ表示されたのかを示すデータを、記録することができる。第１出力３１０が、オーディオ／ビデオ会議のビデオストリームであり、第２出力４１０が、ユーザ入力に対応する注釈またはメモを含む例示のシナリオでは、同期化情報は、さまざまな第２出力４１０が表示された、第１出力３１０の再生時間に対する相対的な時刻を取り込む。たとえば、第２出力４１０が、ビデオストリームを含む第１出力３１０の表示の３０秒目に表示された場合に、同期化情報は、第２出力４１０がビデオストリームの３０秒目に表示されたことを記録する情報を含む。第１出力３１０のオーディオ部分が記録される実施形態では、オーディオを第２出力４１０に同期化する情報を記録することもできる。処理は、ブロック８１４から８１６に継続することができる。

ブロック８１６（格納された第１出力および／または第２出力を取り出し、出力する）では、第１出力３１０の格納されたデータおよび／または第２出力４１０の格納されたデータを、取り出し、表示することができる。たとえば、格納された第１出力３１０が、ビデオストリームおよびオーディオストリームを含み、格納された第２出力４１０が、ビデオストリームに対して作られ、これに重畳された注釈を含む場合に、ブロック８１６では、格納された情報をメモリから取り出し、表示することができる。前に言及したように、第２出力４１０および第１出力３１０は、同期化され、その結果、第２出力４１０は、第１出力３１０および第２出力４１０が最初に表示された時の表示の相対タイミングと一致する、第１出力３１０に対する相対的な適当な時刻に表示される。例示の実施形態では、格納された第１出力３１０は、ビデオおよびオーディオを含むことができ、格納された第２出力４１０は、注釈を含むことができる。すべてを、メモリから取り出し、格納された同期化情報に合うように出力することができる。もう１つのシナリオでは、格納された出力のうちの１つのみまたは一部を再生することができる。たとえば、メモまたは注釈を含むことができる第２出力４１０を、第１出力３１０とは別々に表示することができる。もう１つの例示のシナリオでは、第１出力３１０のオーディオ部分が再生されている間に、第２出力４１０を取り出し、表示することができる。そのようなシナリオでは、注釈またはメモは、オーディオストリームに対する相対的なメモまたは注釈の時間的配置と一致するように、オーディオ再生と同期化されて表示される。

開示される実施形態のもう１つの態様によれば、第２出力４１０を、ディスプレイ装置２００上で移動し、かつ／またはこれから除去することができる。そのような機能性は、ディスプレイ装置２００が相対的に小さく、第２出力４１０がディスプレイ装置２００のあまりに多くまたは特定の部分をカバーする場合に、特に有用である可能性がある。第２出力４１０を、より少なく隠すようにディスプレイ装置２００上で移動することができる。その代わりにまたはそれに加えて、第２出力４１０を、ディスプレイ装置２００から除去することができる。

図９は、ディスプレイ装置上で第２出力を移動し、かつ／またはディスプレイ装置から第２出力を除去する、例のプロセスの流れ図である。例のプロセスは、ブロック９１０および／または９１２のうちの１つまたは複数によって示されるように、１つまたは複数の動作、アクション、または機能を含むことができる。処理を、ブロック９１０で開始することができる。

ブロック９１０（第２出力のすべてまたは一部を移動する）では、第２出力４１０のすべてまたは一部を、ディスプレイ装置２００上で移動することができる。たとえば、第２出力４１０を、第１出力３１０とのより少ない量のオーバーラップを有するように移動することができる。したがって、例示の実施形態では、第２出力４１０を、ユーザ入力に応答してディスプレイ装置２００上で移動することができる。たとえば、第２出力４１０を、第２出力４１０上でのマウスカーソルドラッグに応答して移動することができる。例示の実施形態では、第２出力４１０を、規定された時間期間の後にデバイス１１０によって自動的に移動することができる。たとえば、第２出力４１０を、第２出力４１０が５分にわたって表示された後に、たとえば最下部など、ディスプレイ装置２００の特定の部分にデバイス１１０によって自動的に移動することができる。処理は、ブロック９１０から９１２に継続することができる。

ブロック９１２（第２出力のすべてまたは一部を除去する）では、第２出力４１０のすべてまたは一部を、ディスプレイ装置２００から除去することができる。たとえば、第２出力４１０を、ユーザ入力に応答して、またはデバイス１１０によって実施されるか適用されるルールまたは要件に応答して、除去することができる。例示のシナリオでは、第２出力４１０を、ユーザ入力に応答してディスプレイ装置２００から除去することができる。たとえば、ユーザは、追加のメモまたは注釈のための余地を作るために、ディスプレイ装置２００上に表示されるメモまたは注釈のすべてまたは一部をクリアすることを選択することができる。例の実施形態では、デバイス１１０は、規定された時間期間が満了した後に、ユーザ入力に対応する出力を除去しなければならないことを指定するルールを含むことができる。たとえば、出力が、１０分にわたって表示された後に、デバイス１１０は、ディスプレイ装置２００を除去することができる。

例示のコンピューティング環境
図１０に、本明細書で説明されるシステムおよび方法を実施するのに使用できる例示のコンピューティングシステム１０００のブロック図を示す。たとえば、コンピューティングシステム１０００を使用して、デバイス１１０ａ〜ｆのいずれをも実施することができる。コンピューティングシステム１０００を、主に、ソフトウェアの形とすることができるコンピュータ可読命令によって制御することができる。たとえば、コンピューティングシステム１０００を、本明細書で説明するものと一致する機能性を実行する命令を含むコンピューティングアプリケーション１０８０によって制御することができる。コンピュータ可読命令は、コンピューティングシステム１０００がコンピュータ可読命令自体を格納し、これにアクセスするための命令を含むことができる。そのようなソフトウェアを、中央処理装置（ＣＰＵ）１０１０内で実行して、コンピューティングシステム１０００にプロセスまたはこれに関連する機能を実行させることができる。多くの既知のコンピュータサーバ、ワークステーション、パーソナルコンピュータ、または類似物では、ＣＰＵ １０１０を、マイクロプロセッサと呼ばれるマイクロ電子チップＣＰＵによって実施することができる。

動作時に、ＣＰＵ １０１０は、命令をフェッチし、復号し、かつ／または実行することができ、主データ転送経路またはシステムバス１００５を介して他のリソースへおよびこれから情報を転送することができる。そのようなシステムバスは、コンピューティングシステム１０００内のコンポーネントを接続することができ、データ交換の媒体を定義することができる。コンピューティングシステム１０００は、さらに、システムバス１００５に結合されたメモリデバイスを含むことができる。例の実施形態によれば、メモリデバイスは、ランダムアクセスメモリ（ＲＡＭ）１０２５および読取り専用メモリ（ＲＯＭ）１０３０を含むことができる。ＲＡＭ １０２５およびＲＯＭ １０３０は、情報を格納し、取り出すことを可能にする回路網を含むことができる。一実施形態では、ＲＯＭ １０３０は、変更できない格納されたデータを含むことができる。さらに、ＲＡＭ １０２５に格納されたデータを、通常、ＣＰＵ １０１０または他のハードウェアデバイスによって読み取るか変更することができる。ＲＡＭ １０２５および／またはＲＯＭ １０３０へのアクセスを、メモリコントローラ１０２０によって制御することができる。メモリコントローラ１０２０は、命令が実行される時に仮想アドレスを物理アドレスに変換するアドレス変換機能を提供することができる。

さらに、コンピューティングシステム１０００は、ＣＰＵ １０１０から接触感知入力１０４０、キーボード１０４５、マウス１０５０、およびオーディオ入出力デバイス１０５５などの周辺機器へ命令を通信する責任を負うことができる周辺コントローラ１０３５を含むことができる。コンピューティングシステム１０００は、さらに、ディスプレイコントローラ１０６３によって制御できるディスプレイ１０６５を含むことができる。ディスプレイ１０６５を使用して、コンピューティングシステム１０００によって生成されたビジュアル出力を表示することができ、ディスプレイ１０６５は、本明細書で議論したディスプレイ装置２００に対応することができる。そのようなビジュアル出力は、テキスト、グラフィックス、アニメーション付きグラフィックス、ビデオ、または類似物を含むことができる。ディスプレイコントローラ１０６３は、ディスプレイ１０６５に送ることができるビデオ信号を生成する電子コンポーネントを含むことができる。さらに、コンピューティングシステム１０００は、図１に関連して上で説明した、ネットワーク１５０などの外部通信ネットワークにコンピューティングシステム２０００を接続するのに使用できるネットワークアダプタ１０７０を含むことができる。

したがって、本出願人は、ユーザインターフェース処理を実行するシステムおよび方法の例の実施形態を開示した。本出願人は、第１出力を表示し、同時に、第１出力に重畳されてユーザ入力に対応する第２出力を表示するシステムおよび方法を開示する。第１出力および第２出力がオーバーラップするディスプレイの領域では、第２出力は不透明であり、第１出力は、不透明の第２出力を通して可視である。第１出力および第２出力がオーバーラップしないディスプレイの領域では、第１出力が可視である。

本明細書で説明するさまざまな技法を、ハードウェアもしくはソフトウェアに関連して、または、適当な場合にこの両方の組合せに関連して実施できることを理解されたい。したがって、本明細書で説明される主題の方法もしくは装置、またはそのある態様もしくは部分が、フロッピ（登録商標）ディスケット、ＣＤ−ＲＯＭ、ハードドライブ、または任意の他の機械可読記憶媒体などの有形の媒体内で実施されるプログラムコード（すなわち、命令）の形をとることができ、プログラムコードがコンピュータなどの機械にロードされ、その機械によって実行される時に、その機械が、本明細書で説明される主題を実践する装置になる。プログラムコードが媒体に格納される場合に、当該のプログラムコードが、当該のアクションを集合的に実行する１つまたは複数の媒体に格納される、すなわち、一緒に扱われる１つまたは複数の媒体が、アクションを実行するコードを含むが、複数の媒体がある場合に、コードの特定の部分が特定の媒体に格納されるという要件がない場合がある。プログラム可能コンピュータでのプログラムコード実行の場合に、コンピューティングデバイスは、一般に、プロセッサ、プロセッサによって読取可能な記憶媒体（揮発性および不揮発性のメモリおよび／または記憶要素を含む）、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスを含む。１つまたは複数のプログラムは、たとえばＡＰＩ、再利用可能コントロール、または類似物の使用を介して、本明細書で説明される主題に関連して説明されたプロセスを実施するか利用することができる。そのようなプログラムは、コンピュータシステムと通信するために、好ましくは高水準の手続き指向プログラミング言語またはオブジェクト指向プログラミング言語で実施される。しかし、プログラム（１つまたは複数）を、望まれる場合にアセンブリ言語または機械語で実施することができる。どの場合でも、言語は、コンパイルされる言語または解釈される言語とすることができ、ハードウェア実施態様と組み合わせることができる。

例の実施形態が、１つまたは複数の独立型のコンピュータシステムまたはデバイスの文脈で本明細書で説明される主題の態様の利用に言及する場合があるが、本明細書で説明される主題は、そのように限定されるのではなく、ネットワークコンピューティング環境または分散コンピューティング環境などの任意のコンピューティング環境に関連して実施され得る。さらに、本明細書で説明される主題の諸態様を、複数の処理チップまたはデバイス内でまたはこれにまたがって実施することができ、ストレージを、同様に、複数のデバイスにまたがって拡散させることができる。そのようなデバイスは、パーソナルコンピュータ、ネットワークサーバ、ハンドヘルドデバイス、スーパーコンピュータ、または自動車もしくは航空機などの他のシステムに一体化されたコンピュータを含むことができる。

主題を、構造的特徴および／または方法論的行為に固有の言語で説明したが、添付の特許請求の範囲で定義される主題が、必ずしも上で説明した特定の特徴または行為に限定されないことを理解されたい。たとえば、オーディオ／ビデオ電話会議のビデオ部分の表示と、接触感知スクリーンまたはディスプレイから受け取られる注釈の重畳とを用いる例示のシナリオを説明した。しかし、本明細書で説明される方法およびシステムを、出力タイプの任意の組合せに適用することができる。たとえば、第１出力を、電話会議の一部ではないビデオストリームとすることができる。第１出力を、静止イメージとすることができる。第２出力を、接触感知スクリーンではなくキーボードを介して入力することができる。上で説明された特定の特徴および行為は、下にリストされた請求項の主題を実施する例の形態として開示される。

さまざまな態様および実施形態を本明細書で開示したが、他の態様および実施形態が、当業者には明白であろう。本明細書で開示されたさまざまな態様および実施形態は、例示のためのものであって、限定的であることは意図されておらず、真の趣旨および範囲は、次の特許請求の範囲によって示される。

Claims (143)

1. ディスプレイ上で第１出力を表示することと、
   前記ディスプレイ上で前記第１出力に重畳して第２出力を表示することであって、前記第２出力は、ユーザ入力に対応する、表示することと
   を含み、前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの領域内で、前記第２出力は、不透明であり、前記第１出力は、前記不透明の第２出力を通して可視であり、
   前記第１出力および前記第２出力がオーバーラップしない前記ディスプレイの領域内で、前記第１出力は、可視である
   ユーザインターフェース処理の方法。
2. ディスプレイ上で第１出力を表示することは、ビデオを表示することを含む、請求項１に記載の方法。
3. ディスプレイ上で第１出力を表示することは、ビデオ、イメージ、静止イメージ、テキスト、およびグラフィックスのうちの１つまたは複数を表示することを含む、請求項１に記載の方法。
4. 前記ディスプレイ上で前記第１出力に重畳して第２出力を表示することは、ビデオ、イメージ、静止イメージ、テキスト、およびグラフィックスのうちの１つまたは複数を表示することを含む、請求項１、２、または３に記載の方法。
5. 前記ディスプレイ上で前記第１出力に重畳して第２出力を表示することは、ユーザ入力に対応する注釈を表示することを含む、請求項１、２、３、または４に記載の方法。
6. ユーザ入力に対応する注釈を表示することは、前記ディスプレイ上で受け取られるユーザ入力に対応する注釈を表示することを含む、請求項５に記載の方法。
7. ユーザ入力に対応する注釈を表示することは、接触感知スクリーン上で受け取られる手書き入力に対応する注釈を表示することを含む、請求項５に記載の方法。
8. ユーザ入力に対応する注釈を表示することは、キーボード上で受け取られるユーザ入力に対応する注釈を表示することを含む、請求項５、６、または７に記載の方法。
9. キーボード上で受け取られるユーザ入力に対応する注釈を表示することは、物理キーボードおよびコンピュータ生成されたキーボードのうちの少なくとも１つで受け取られるユーザ入力に対応する注釈を表示することを含む、請求項８に記載の方法。
10. ユーザ入力に対応する注釈を表示することは、コンピュータによる音声認識を介して受け取られるユーザ入力に対応する注釈を表示することを含む、請求項５、６、７、または８に記載の方法。
11. 前記第１出力の表示と同時にユーザ入力を受け取ることをさらに含み、前記ディスプレイ上で第２出力を表示することは、前記受け取られたユーザ入力に対応する出力を表示することを含む、請求項６、７、８、９、または１０に記載の方法。
12. 前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの前記領域内で、前記第２出力は、不透明であり、前記第１出力は、隠される、請求項１、２、３、４、５、６、７、８、９、１０、または１１に記載の方法。
13. 前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの前記領域内で、前記第２出力は、部分的に不透明であり、前記第１出力は、部分的に隠される、請求項１、２、３、４、５、６、７、８、９、１０、または１１に記載の方法。
14. 前記ディスプレイ上で第２出力を表示することは、前記ディスプレイ上で不透明マーキングを表示することを含み、前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの領域内で、前記不透明マーキングは、可視であり、前記第１出力は、隠される、請求項１、２、３、４、５、６、７、８、９、１０、または１１に記載の方法。
15. 前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの前記領域内で、前記第１出力は、完全に隠される、請求項１４に記載の方法。
16. 前記ディスプレイ上で不透明マーキングを表示することは、部分的に不透明のマーキングを表示することを含み、前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの領域内で、前記第１出力は、部分的に隠される、請求項１４に記載の方法。
17. 前記第１出力の表示と同時にユーザ入力を受け取ることをさらに含む、請求項１に記載の方法。
18. 前記ディスプレイ上で第２出力を表示することは、前記ディスプレイ上で、前記受け取られたユーザ入力に対応する注釈を表示することを含む、請求項１７に記載の方法。
19. 前記ディスプレイ上で第２出力を表示することは、前記ディスプレイ上で、前記受け取られたユーザ入力に対応するメモを表示することを含む、請求項１７または１８に記載の方法。
20. 前記ディスプレイ上で第１出力を表示することは、ビデオを表示することを含む、請求項１８に記載の方法。
21. ビデオを表示することは、オーディオ／ビデオ会議のビデオストリームを表示することを含む、請求項２０に記載の方法。
22. 前記第１出力の表示と同時にユーザ入力を受け取ることは、前記ディスプレイ上でユーザ入力を受け取ることを含む、請求項１８、２０、または２１に記載の方法。
23. 前記第１出力の表示と同時にユーザ入力を受け取ることは、キーボード上でユーザ入力を受け取ることを含む、請求項１８、２０、２１、または２２に記載の方法。
24. 前記ディスプレイ上で前記受け取られたユーザ入力に対応する注釈を表示することは、前記ディスプレイ上で、ユーザ入力が受け取られる前記ディスプレイ上の位置にマーキングを表示することを含む、請求項１８、２０、または２１に記載の方法。
25. 前記第１出力の表示と同時にユーザ入力を受け取ることは、前記ディスプレイ上で手書き入力を受け取ることを含む、請求項２０または２１に記載の方法。
26. 前記注釈を格納することをさらに含む、請求項１８、２０、２１、２２、２３、２４、または２５に記載の方法。
27. 前記格納された注釈を表示することをさらに含む、請求項２６に記載の方法。
28. 前記注釈を格納することと、
    前記ビデオを格納することと、
    前記注釈を前記ビデオに同期化する情報を格納することと、
    前記ビデオ、前記注釈、および前記注釈を前記ビデオに同期化する前記情報を取り出すことと、
    前記取り出されたビデオおよび前記取り出された注釈を表示することであって、前記注釈は、前記ビデオに重畳され、前記ビデオと同期化される、表示することと
    をさらに含む、請求項２０、２１、または２５に記載の方法。
29. ビデオの表示と同時にオーディオを生成することと、
    前記ビデオ、前記オーディオ、および前記注釈を格納することと、
    前記注釈を前記オーディオおよび前記ビデオに同期化する情報を格納することと、
    前記ビデオ、前記オーディオ、前記注釈、および前記注釈を前記オーディオおよびビデオに同期化する前記情報を取り出すことと、
    前記取り出されたオーディオを再生することと、
    前記ディスプレイ上で前記取り出されたビデオを表示することと、
    前記ディスプレイ上で前記取り出された注釈を表示することであって、前記取り出された注釈は、前記取り出されたビデオに重畳され、前記取り出されたビデオおよび前記取り出されたオーディオに同期化される、表示することと
    をさらに含む、請求項２０、２１、または２５に記載の方法。
30. ディスプレイ上に第１出力を表示することは、前記ディスプレイ上にビデオを表示することを含み、前記ビデオの表示と同時に前記ディスプレイ上でユーザ入力を受け取ることをさらに含む、請求項１に記載の方法。
31. 前記ディスプレイ上に前記第１出力に重畳して第２出力を表示することは、前記ディスプレイ上に前記受け取られたユーザ入力に対応する注釈を表示することを含み、前記注釈は、前記ビデオに重畳され、前記ビデオおよび前記注釈を記録することをさらに含み、前記記録された注釈は、前記記録されたビデオに同期化される、請求項３０に記載の方法。
32. 前記ディスプレイ上に前記記録された注釈を表示することをさらに含む、請求項３１に記載の方法。
33. 前記記録されたビデオおよび前記記録された注釈を表示することをさらに含み、前記記録された注釈は、前記記録されたビデオに重畳され、前記記録されたビデオと同期化される、請求項３１に記載の方法。
34. オーディオを生成することであって、前記オーディオは、前記ビデオと同期化される、生成することと
    前記オーディオを記録することと
    をさらに含む、請求項３１に記載の方法。
35. 前記ディスプレイ上に前記記録された注釈を表示することと、前記記録されたオーディオを再生することとをさらに含み、前記記録されたオーディオの前記再生は、前記表示された記録された注釈と同期化される、請求項３４に記載の方法。
36. 前記記録されたビデオを表示することと、
    前記表示された記録されたビデオと同期化して前記記録されたオーディオを再生することと、
    前記表示された記録されたビデオに重畳して前記表示された記録されたビデオと同期化して前記記録された注釈を表示することと
    をさらに含む、請求項３４に記載の方法。
37. 前記ビデオは、オーディオ／ビデオ会議のビデオストリームである、請求項３０、３１、３２、３３、３４、３５、または３６に記載の方法。
38. 前記注釈が、規定された時間期間にわたって表示された後に、前記注釈の少なくとも一部を前記ディスプレイから除去することをさらに含む、請求項１８、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３１、３２、３３、３４、３５、３６、または３７に記載の方法。
39. ユーザ入力の受取に応答して前記注釈の少なくとも一部を除去することをさらに含む、請求項１８、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３１、３２、３３、３４、３５、３６、または３７に記載の方法。
40. ユーザ入力に応答して前記ディスプレイ上で前記注釈の少なくとも一部を移動することをさらに含む、請求項１８、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、３１、３２、３３、３４、３５、３６、または３７に記載の方法。
41. 前記ディスプレイ上で前記注釈の少なくとも一部を維持することをさらに含む、請求項３８または３９に記載の方法。
42. 前記ディスプレイ上で維持される前記注釈の前記少なくとも一部は、ユーザ入力によって識別される、請求項４１に記載の方法。
43. 前記注釈は、前記第１出力に重畳される時に、識別できる色を使用して表示される、請求項１８、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３１、３２、３３、３４、３５、３６、または３７に記載の方法。
44. 前記色は、前記第１出力の色に依存して選択される、請求項４３に記載の方法。
45. ディスプレイ上に第１出力を表示することは、モバイルデバイス上で出力を表示することを含む、請求項１ないし４４のいずれか１項に記載の方法。
46. ディスプレイ上に第１出力を表示することは、電話機、携帯電話機、携帯情報端末、ラップトップコンピュータ、タブレットコンピュータ、およびデスクトップコンピュータのうちの１つまたは複数上で出力を表示することを含む、請求項１ないし４４のいずれか１項に記載の方法。
47. 装置であって、
    ディスプレイと、
    入力デバイスと、
    コンピューティングプロセッサであって、前記コンピューティングプロセッサは、前記ディスプレイおよび前記入力デバイスに通信的に結合される、コンピューティングプロセッサと、
    前記プロセッサに通信的に結合されたメモリであって、前記メモリは、前記装置によって実行された時に、前記装置に
    ディスプレイ上に第１出力を表示することと、
    前記ディスプレイ上に前記第１出力に重畳して第２出力を表示することであって、前記第２出力は、ユーザ入力を不透明に表示するように構成される、表示することと
    を含む動作を実行させる命令を含む、メモリと
    を含み、前記第２出力は、前記重畳された第２出力を通して可視である
    装置。
48. ディスプレイ上で第１出力を表示することは、ビデオを表示することを含む、請求項４７に記載の装置。
49. ディスプレイ上で第１出力を表示することは、ビデオ、イメージ、静止イメージ、テキスト、およびグラフィックスのうちの１つまたは複数を表示することを含む、請求項４７に記載の装置。
50. 前記ディスプレイ上で前記第１出力に重畳して第２出力を表示することは、ビデオ、イメージ、静止イメージ、テキスト、およびグラフィックスのうちの１つまたは複数を表示することを含む、請求項４７、４８、または４９に記載の装置。
51. 前記ディスプレイ上で前記第１出力に重畳して第２出力を表示することは、ユーザ入力に対応する注釈を表示することを含む、請求項４７、４８、４９、または５０に記載の装置。
52. ユーザ入力に対応する注釈を表示することは、前記ディスプレイ上で受け取られるユーザ入力に対応する注釈を表示することを含む、請求項５１に記載の装置。
53. ユーザ入力に対応する注釈を表示することは、接触感知スクリーン上で受け取られる手書き入力に対応する注釈を表示することを含む、請求項５１に記載の装置。
54. ユーザ入力に対応する注釈を表示することは、キーボード上で受け取られるユーザ入力に対応する注釈を表示することを含む、請求項５１、５２、または５３に記載の装置。
55. キーボード上で受け取られるユーザ入力に対応する注釈を表示することは、物理キーボードおよびコンピュータ生成されたキーボードのうちの少なくとも１つで受け取られるユーザ入力に対応する注釈を表示することを含む、請求項５４に記載の装置。
56. ユーザ入力に対応する注釈を表示することは、コンピュータによる音声認識を介して受け取られるユーザ入力に対応する注釈を表示することを含む、請求項５１、５２、５３、または５４に記載の装置。
57. 前記メモリは、前記第１出力の表示と同時にユーザ入力を受け取ることを含むさらなる動作を前記装置に実行させる命令をさらに含み、前記ディスプレイ上で第２出力を表示することは、前記受け取られたユーザ入力に対応する出力を表示することを含む、請求項５２、５３、５４、５５、または５６に記載の装置。
58. 前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの領域内で、前記第２出力は、不透明であり、前記第１出力は、隠される、請求項４７、４８、４９、５０、５１、５２、５３、５４、５５、５６、または５７に記載の装置。
59. 前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの領域内で、前記第２出力は、部分的に不透明であり、前記第１出力は、部分的に隠される、請求項４７、４８、４９、５０、５１、５２、５３、５４、５５、５６、または５７に記載の装置。
60. 前記ディスプレイ上で第２出力を表示することは、前記ディスプレイ上で不透明マーキングを表示することを含み、前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの領域内で、前記不透明マーキングは、可視であり、前記第１出力は、隠される、請求項４７、４８、４９、５０、５１、５２、５３、５４、５５、５６、または５７に記載の装置。
61. 前記第２出力は、前記ディスプレイ上で受け取られる入力に対応する、請求項４７に記載の装置。
62. 前記ディスプレイ上で不透明マーキングを表示することは、部分的に不透明のマーキングを表示することを含み、前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの領域内で、前記第１出力は、部分的に隠される、請求項６０に記載の装置。
63. 前記メモリは、前記第１出力の表示と同時にユーザ入力を受け取ることを含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項４７に記載の装置。
64. 前記ディスプレイ上で第２出力を表示することは、前記ディスプレイ上で、前記受け取られたユーザ入力に対応する注釈を表示することを含む、請求項６３に記載の装置。
65. 前記ディスプレイ上で第２出力を表示することは、前記ディスプレイ上で、前記受け取られたユーザ入力に対応するメモを表示することを含む、請求項６３または６４に記載の装置。
66. 前記ディスプレイ上で第１出力を表示することは、ビデオを表示することを含む、請求項６４に記載の装置。
67. ビデオを表示することは、オーディオ／ビデオ会議のビデオストリームを表示することを含む、請求項６６に記載の装置。
68. 前記第１出力の表示と同時にユーザ入力を受け取ることは、前記ディスプレイ上でユーザ入力を受け取ることを含む、請求項６４、６６、または６７に記載の装置。
69. 前記第１出力の表示と同時にユーザ入力を受け取ることは、キーボード上でユーザ入力を受け取ることを含む、請求項６４、６６、６７、または６８に記載の装置。
70. 前記ディスプレイ上で、前記受け取られたユーザ入力に対応する注釈を表示することは、前記ディスプレイ上で、ユーザ入力が受け取られる前記ディスプレイ上の位置にマーキングを表示することを含む、請求項６４、６６、または６７に記載の装置。
71. 前記第１出力の表示と同時にユーザ入力を受け取ることは、前記ディスプレイ上で手書き入力を受け取ることを含む、請求項６６または６７に記載の装置。
72. 前記メモリは、前記注釈を格納することを含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項６４、６６、６７、６８、６９、７０、または７１に記載の装置。
73. 前記メモリは、前記格納された注釈を表示することを含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項７２に記載の装置。
74. 前記メモリは、
    前記注釈を格納することと、
    前記ビデオを格納することと、
    前記注釈を前記ビデオに同期化する情報を格納することと、
    前記ビデオ、前記注釈、および前記注釈を前記ビデオに同期化する前記情報を取り出すことと、
    前記取り出されたビデオおよび前記取り出された注釈を表示することであって、前記取り出された注釈は、前記取り出されたビデオに重畳され、前記取り出されたビデオと同期化される、表示することと
    を含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項６６、６７、または７１に記載の装置。
75. 前記メモリは、
    ビデオの表示と同時にオーディオを生成することと、
    前記ビデオ、前記オーディオ、および前記注釈を格納することと、
    前記注釈を前記オーディオおよびビデオに同期化する情報を格納することと、
    前記ビデオ、前記オーディオ、前記注釈、および前記注釈を前記オーディオおよび前記ビデオに同期化する前記情報を取り出すことと、
    前記取り出されたオーディオを再生することと、
    前記ディスプレイ上で前記取り出されたビデオを表示することと、
    前記ディスプレイ上で前記取り出された注釈を表示することであって、前記取り出された注釈は、前記取り出されたビデオに重畳され、前記取り出されたビデオおよび前記取り出されたオーディオに同期化される、表示することと
    を含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項６６、６７、または７１に記載の装置。
76. ディスプレイ上に第１出力を表示することは、前記ディスプレイ上にビデオを表示することを含み、前記メモリは、前記ビデオの表示と同時に前記ディスプレイ上でユーザ入力を受け取ることを含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項４７に記載の装置。
77. 前記ディスプレイ上に前記第１出力に重畳して第２出力を表示することは、前記ディスプレイ上に前記受け取られたユーザ入力に対応する注釈を表示することを含み、前記注釈は、前記ビデオに重畳され、
    前記メモリは、前記ビデオおよび前記注釈を記録することを含むさらなる動作を前記装置に実行させる命令をさらに含み、前記記録された注釈は、前記記録されたビデオに同期化される
    請求項７６に記載の装置。
78. 前記メモリは、前記ディスプレイ上に前記記録された注釈を表示することを含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項７７に記載の装置。
79. 前記メモリは、前記記録されたビデオおよび前記記録された注釈を表示することを含むさらなる動作を前記装置に実行させる命令をさらに含み、前記記録された注釈は、前記記録されたビデオに重畳され、前記記録されたビデオと同期化される、請求項７７に記載の装置。
80. 前記メモリは、
    オーディオを生成することであって、前記オーディオは、前記ビデオと同期化される、生成することと
    前記オーディオを記録することと
    を含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項７７に記載の装置。
81. 前記メモリは、前記ディスプレイ上に前記記録された注釈を表示することと、前記記録されたオーディオを再生することとを含むさらなる動作を前記装置に実行させる命令をさらに含み、前記記録されたオーディオの前記再生は、前記表示された記録された注釈と同期化される、請求項８０に記載の装置。
82. 前記メモリは、
    前記記録されたビデオを表示することと、
    前記表示された記録されたビデオと同期化して前記記録されたオーディオを再生することと、
    前記表示された記録されたビデオに重畳し、前記表示された記録されたビデオと同期化して前記記録された注釈を表示することと
    を含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項８０に記載の装置。
83. 前記ビデオは、オーディオ／ビデオ会議のビデオストリームである、請求項７６、７７、７８、７９、８０、８１、または８２に記載の装置。
84. 前記メモリは、前記注釈が規定された時間期間にわたって表示された後に、前記注釈の少なくとも一部を前記ディスプレイから除去することを含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項６４、６６、６７、６８、６９、７０、７１、７２、７３、７４、７５、７６、７７、７８、７９、８０、８１、８２、または８３に記載の装置。
85. 前記メモリは、ユーザ入力の受取に応答して注釈を除去することを含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項６４、６６、６７、６８、６９、７０、７１、７２、７３、７４、７５、７７、７８、７９、８０、８１、８２、または８３に記載の装置。
86. 前記メモリは、ユーザ入力に応答して前記ディスプレイ上で前記注釈の少なくとも一部を移動することを含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項６４、６６、６７、７１、７２、７３、７４、７５、７７、７８、７９、８０、８１、８２、または８３に記載の装置。
87. 前記メモリは、前記ディスプレイ上で前記注釈の少なくとも一部を維持することを含むさらなる動作を前記装置に実行させる命令をさらに含む、請求項８４または８５に記載の装置。
88. 前記ディスプレイ上で維持される前記注釈の前記少なくとも一部は、ユーザ入力によって識別される、請求項８７に記載の装置。
89. 前記注釈は、前記第１出力に重畳される時に、識別できる色を使用して表示される、請求項６４、６６、６７、７１、７２、７３、７４、７５、７７、７８、７９、８０、８１、８２、または８３に記載の装置。
90. 前記色は、前記第１出力の色に依存して選択される、請求項８９に記載の装置。
91. ディスプレイ上に第１出力を表示することは、モバイルデバイス上で出力を表示することを含む、請求項４７ないし９０のいずれか１項に記載の装置。
92. ディスプレイ上に第１出力を表示することは、電話機、携帯電話機、携帯情報端末、ラップトップコンピュータ、タブレットコンピュータ、およびデスクトップコンピュータのうちの１つまたは複数上で出力を表示することを含む、請求項４７ないし９０のいずれか１項に記載の装置。
93. 前記装置は、モバイルデバイスである、請求項４７ないし９０のいずれか１項に記載の装置。
94. 前記装置は、電話機である、請求項９３に記載の装置。
95. 前記装置は、携帯情報端末である、請求項９３に記載の装置。
96. 前記装置は、ラップトップコンピュータである、請求項９３に記載の装置。
97. 前記装置は、タブレットコンピュータである、請求項９３に記載の装置。
98. コンピューティングデバイスによって実行された時に、前記コンピューティングデバイスに、
    ディスプレイ上で第１出力を表示することと、
    前記ディスプレイ上で前記第１出力に重畳して第２出力を表示することであって、前記第２出力は、ユーザ入力に対応する、表示することと
    を含む動作を実行させる命令をその上に格納された有形のコンピュータ可読媒体であって、前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの領域内で、前記第２出力は、可視であり、前記第１出力は、前記表示された第２出力を通して部分的に隠されるが可視であり、
    前記第１出力および前記第２出力がオーバーラップしない前記ディスプレイの領域内で、前記第１出力は、可視である
    有形のコンピュータ可読媒体。
99. ディスプレイ上で第１出力を表示することは、ビデオを表示することを含む、請求項９８に記載の有形のコンピュータ可読媒体。
100. ディスプレイ上で第１出力を表示することは、ビデオ、イメージ、静止イメージ、テキスト、およびグラフィックスのうちの１つまたは複数を表示することを含む、請求項９８に記載の有形のコンピュータ可読媒体。
101. 前記ディスプレイ上で前記第１出力に重畳して第２出力を表示することは、ビデオ、イメージ、静止イメージ、テキスト、およびグラフィックスのうちの１つまたは複数を表示することを含む、請求項９８、９９、または１００に記載の有形のコンピュータ可読媒体。
102. 前記ディスプレイ上で前記第１出力に重畳して第２出力を表示することは、ユーザ入力に対応する注釈を表示することを含む、請求項９８、９９、１００、または１０１に記載の有形のコンピュータ可読媒体。
103. ユーザ入力に対応する注釈を表示することは、前記ディスプレイ上で受け取られるユーザ入力に対応する注釈を表示することを含む、請求項１０２に記載の有形のコンピュータ可読媒体。
104. ユーザ入力に対応する注釈を表示することは、接触感知スクリーン上で受け取られる手書き入力に対応する注釈を表示することを含む、請求項１０２に記載の有形のコンピュータ可読媒体。
105. ユーザ入力に対応する注釈を表示することは、キーボード上で受け取られるユーザ入力に対応する注釈を表示することを含む、請求項１０２、１０３、または１０４に記載の有形のコンピュータ可読媒体。
106. キーボード上で受け取られるユーザ入力に対応する注釈を表示することは、物理キーボードおよびコンピュータ生成されたキーボードのうちの少なくとも１つで受け取られるユーザ入力に対応する注釈を表示することを含む、請求項１０５に記載の有形のコンピュータ可読媒体。
107. ユーザ入力に対応する注釈を表示することは、コンピュータによる音声認識を介して受け取られるユーザ入力に対応する注釈を表示することを含む、請求項１０２、１０３、１０４、または１０５に記載の有形のコンピュータ可読媒体。
108. 前記第１出力の表示と同時にユーザ入力を受け取ることを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含み、前記ディスプレイ上で第２出力を表示することは、前記受け取られたユーザ入力に対応する出力を表示することを含む、請求項１０３、１０４、１０５、１０６、または１０７に記載の有形のコンピュータ可読媒体。
109. 前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの前記領域内で、前記第２出力は、不透明である、請求項９８、９９、１００、１０１、１０２、１０３、１０４、１０５、１０６、１０７、または１０８に記載の有形のコンピュータ可読媒体。
110. 前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの前記領域内で、前記第２出力は、部分的に不透明である、請求項９８、９９、１００、１０１、１０２、１０３、１０４、１０５、１０６、１０７、または１０８に記載の有形のコンピュータ可読媒体。
111. 前記ディスプレイ上で第２出力を表示することは、前記ディスプレイ上で不透明マーキングを表示することを含み、前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの領域内で、前記不透明マーキングは、可視であり、前記第１出力は、部分的に隠される、請求項９８、９９、１００、１０１、１０２、１０３、１０４、１０５、１０６、１０７、または１０８に記載の有形のコンピュータ可読媒体。
112. 前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの前記領域内で、前記第１出力は、前記第１出力の残りに対して相対的に暗くされる、請求項１１１に記載の有形のコンピュータ可読媒体。
113. 前記ディスプレイ上で不透明マーキングを表示することは、部分的に不透明のマーキングを表示することを含み、前記第１出力および前記第２出力がオーバーラップする前記ディスプレイの領域内で、前記第１出力は、部分的に隠される、請求項１１１に記載の有形のコンピュータ可読媒体。
114. 前記第１出力の表示と同時にユーザ入力を受け取ることを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項９８に記載の有形のコンピュータ可読媒体。
115. 前記ディスプレイ上で第２出力を表示することは、前記ディスプレイ上で、前記受け取られたユーザ入力に対応する注釈を表示することを含む、請求項１１４に記載の有形のコンピュータ可読媒体。
116. 前記ディスプレイ上で第２出力を表示することは、前記ディスプレイ上で、前記受け取られたユーザ入力に対応するメモを表示することを含む、請求項１１４または１１５に記載の有形のコンピュータ可読媒体。
117. 前記ディスプレイ上で第１出力を表示することは、ビデオを表示することを含む、請求項１１５に記載の有形のコンピュータ可読媒体。
118. ビデオを表示することは、オーディオ／ビデオ会議のビデオストリームを表示することを含む、請求項１１７に記載の有形のコンピュータ可読媒体。
119. 前記第１出力の表示と同時にユーザ入力を受け取ることは、前記ディスプレイ上でユーザ入力を受け取ることを含む、請求項１１５、１１７、または１１８に記載の有形のコンピュータ可読媒体。
120. 前記第１出力の表示と同時にユーザ入力を受け取ることは、キーボード上でユーザ入力を受け取ることを含む、請求項１１５、１１７、１１８、または１１９に記載の有形のコンピュータ可読媒体。
121. 前記ディスプレイ上で、前記受け取られたユーザ入力に対応する注釈を表示することは、前記ディスプレイ上で、ユーザ入力が受け取られる前記ディスプレイ上の位置にマーキングを表示することを含む、請求項１１５、１１７、または１１８に記載の有形のコンピュータ可読媒体。
122. 前記第１出力の表示と同時にユーザ入力を受け取ることは、前記ディスプレイ上で手書き入力を受け取ることを含む、請求項１１７または１１８に記載の有形のコンピュータ可読媒体。
123. 前記注釈を格納することを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項１１５、１１７、１１８、１１９、１２０、１２１、または１２２に記載の有形のコンピュータ可読媒体。
124. 前記格納された注釈を表示することを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項１２３に記載の有形のコンピュータ可読媒体。
125. 前記注釈を格納することと、
     前記ビデオを格納することと、
     前記注釈を前記ビデオに同期化する情報を格納することと、
     前記ビデオ、前記注釈、および前記注釈を前記ビデオに同期化する前記情報を取り出すことと、
     前記取り出されたビデオおよび前記取り出された注釈を表示することであって、前記取り出された注釈は、前記取り出されたビデオに重畳され、前記取り出されたビデオと同期化される、表示することと
     を含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項１１７、１１８、または１２２に記載の有形のコンピュータ可読媒体。
126. ビデオの表示と同時にオーディオを生成することと、
     前記ビデオ、前記オーディオ、および前記注釈を格納することと、
     前記注釈を前記オーディオおよび前記ビデオに同期化する情報を格納することと、
     前記ビデオ、前記オーディオ、前記注釈、および前記注釈を前記オーディオおよび前記ビデオに同期化する前記情報を取り出すことと、
     前記取り出されたオーディオを再生することと、
     前記ディスプレイ上で前記取り出されたビデオを表示することと、
     前記ディスプレイ上で前記取り出された注釈を表示することであって、前記取り出された注釈は、前記取り出されたビデオに重畳され、前記取り出されたビデオおよび前記取り出されたオーディオに同期化される、表示することと
     を含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項１１７、１１８、または１２２に記載の有形のコンピュータ可読媒体。
127. ディスプレイ上に第１出力を表示することは、前記ディスプレイ上にビデオを表示することを含み
     前記有形のコンピュータ可読媒体は、前記ビデオの表示と同時に前記ディスプレイ上でユーザ入力を受け取ることを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む
     請求項９８に記載の有形のコンピュータ可読媒体。
128. 前記ディスプレイ上に前記第１出力に重畳して第２出力を表示することは、前記ディスプレイ上に、前記受け取られたユーザ入力に対応する注釈を表示することを含み、前記注釈は、前記ビデオに重畳され
     前記有形のコンピュータ可読媒体は、前記ビデオおよび前記注釈を記録することを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含み、前記記録された注釈は、前記記録されたビデオに同期化される
     請求項１２７に記載の有形のコンピュータ可読媒体。
129. 前記ディスプレイ上に前記記録された注釈を表示することを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項１２８に記載の有形のコンピュータ可読媒体。
130. 前記記録されたビデオおよび前記記録された注釈を表示することを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含み、前記記録された注釈は、前記記録されたビデオに重畳され、前記記録されたビデオと同期化される、請求項１２８に記載の有形のコンピュータ可読媒体。
131. オーディオを生成することであって、前記オーディオは、前記ビデオと同期化される、生成することと
     前記オーディオを記録することと
     を含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項１２８に記載の有形のコンピュータ可読媒体。
132. 前記ディスプレイ上に前記記録された注釈を表示することと、前記記録されたオーディオを再生することとを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含み、前記記録されたオーディオの前記再生は、前記表示された記録された注釈と同期化される、請求項１３１に記載の有形のコンピュータ可読媒体。
133. 前記記録されたビデオを表示することと、
     前記表示された記録されたビデオと同期化して前記記録されたオーディオを再生することと、
     前記表示された記録されたビデオに重畳し、前記表示された記録されたビデオと同期化して前記記録された注釈を表示することと
     を含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項１３１に記載の有形のコンピュータ可読媒体。
134. 前記ビデオは、オーディオ／ビデオ会議のビデオストリームである、請求項１２７、１２８、１２９、１３０、１３１、１３２、または１３３に記載の有形のコンピュータ可読媒体。
135. 前記注釈が規定された時間期間にわたって表示された後に、前記注釈の少なくとも一部を前記ディスプレイから除去することを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項１１５、１１７、１１８、１１９、１２０、１２１、１２２、１２３、１２４、１２５、１２６、１２８、１２９、１３０、１３１、１３２、１３３、または１３４に記載の有形のコンピュータ可読媒体。
136. ユーザ入力の受取に応答して注釈を除去することを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項１１５、１１７、１１８、１１９、１２０、１２１、１２２、１２３、１２４、１２５、１２６、１２８、１２９、１３０、１３１、１３２、１３３、または１３４に記載の有形のコンピュータ可読媒体。
137. ユーザ入力に応答して前記ディスプレイ上で前記注釈の少なくとも一部を移動することを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項１１５、１１７、１１８、１１９、１２０、１２１、１２２、１２３、１２４、１２５、１２６、１２８、１２９、１３０、１３１、１３２、１３３、または１３４に記載の有形のコンピュータ可読媒体。
138. 前記ディスプレイ上で前記注釈の少なくとも一部を維持することを含むさらなる動作を前記コンピューティングデバイスに実行させる命令をさらに含む、請求項１３５または１３６に記載の有形のコンピュータ可読媒体。
139. 前記ディスプレイ上で維持される前記注釈の前記少なくとも一部は、ユーザ入力によって識別される、請求項１３８に記載の有形のコンピュータ可読媒体。
140. 前記注釈は、前記第１出力に重畳される時に、識別できる色を使用して表示される、請求項１１５、１１７、１１８、１１９、１２０、１２１、１２２、１２３、１２４、１２５、１２６、１２８、１２９、１３０、１３１、１３２、１３３、または１３４に記載の有形のコンピュータ可読媒体。
141. 前記色は、前記第１出力の色に依存して選択される、請求項１４０に記載の有形のコンピュータ可読媒体。
142. ディスプレイ上に第１出力を表示することは、モバイルデバイス上で出力を表示することを含む、請求項９８ないし１４１のいずれか１項に記載の有形のコンピュータ可読媒体。
143. 前記ディスプレイ上に前記第１出力を表示することは、電話機、携帯電話機、携帯情報端末、ラップトップコンピュータ、タブレットコンピュータ、およびデスクトップコンピュータのうちの１つまたは複数上で出力を表示することを含む、請求項９８ないし１４１のいずれか１項に記載の有形のコンピュータ可読媒体。
     

Images