[go: up one dir, main page]

JP2016523011A - モバイルコンピューティングデバイスによって注釈付きビデオコンテンツを表示するためのシステムおよび方法 - Google Patents

モバイルコンピューティングデバイスによって注釈付きビデオコンテンツを表示するためのシステムおよび方法 Download PDF

Info

Publication number
JP2016523011A
JP2016523011A JP2016507660A JP2016507660A JP2016523011A JP 2016523011 A JP2016523011 A JP 2016523011A JP 2016507660 A JP2016507660 A JP 2016507660A JP 2016507660 A JP2016507660 A JP 2016507660A JP 2016523011 A JP2016523011 A JP 2016523011A
Authority
JP
Japan
Prior art keywords
video
computing device
mobile computing
user interface
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016507660A
Other languages
English (en)
Other versions
JP6449853B2 (ja
Inventor
ジャスティン・ルイス
ケヴィン・グリーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2016523011A publication Critical patent/JP2016523011A/ja
Application granted granted Critical
Publication of JP6449853B2 publication Critical patent/JP6449853B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

モバイルコンピューティングデバイスによって注釈付きビデオコンテンツを表示するためのシステムおよび方法である。方法の一例は、モバイルコンピューティングデバイスのディスプレイ上に、複数のビデオフレームを含むビデオストリームを提供するステップ、複数のビデオフレーム上に重畳されたビデオ注釈を提供するステップ、モバイルコンピューティングデバイスのユーザ入力インタフェースを介してユーザインタフェースコマンドを受信するステップ、およびビデオ注釈とユーザインタフェースコマンドによって定義された動作に関する動作を実行するステップ、を含む。

Description

本開示は、一般にコンピュータシステムに関連し、より具体的には、コンピューティングデバイスによって、注釈付きビデオコンテンツを表示するためのシステムおよび方法に関する。
コンテンツ共有プラットフォームは、ビデオコンテンツ、画像コンテンツ、及び/又はオーディオコンテンツのような、共有コンテンツの閲覧を可能にする。特定の実施例において、共有コンテンツは、ストリーミングメディアによって表示されてもよい。ストリーミングメディアは、ネットワーク(例えば、インターネット)を上でストリーミングプロバイダによって配信される間、エンドユーザによって受信されかつエンドユーザに表示され得る、ビデオ及び/又はオーディオコンテンツのような、マルチメディアである。さらに、いくつかのコンテンツ共有プラットフォームは、事前に記録されたメディアコンテンツのストリーミングだけでなく、メディアのライブストリーミングを提供する。
コンピューティングデバイスによって注釈付きビデオコンテンツを表示するための方法が提供される。モバイルコンピューティングデバイスは、複数のビデオフレームおよび複数のビデオフレームのフレーム上に重畳されたビデオ注釈を含むビデオストリームを表示してもよい。モバイルコンピューティングデバイスは、モバイルコンピューティングデバイスのユーザ入力インタフェースを介して、ユーザインタフェースコマンドを受信してもよい。モバイルコンピューティングデバイスは、ユーザインタフェースコマンドによって定義された、ビデオ注釈に関する動作を実行してもよい。
さらに、上記説明された方法の操作を実行するためのコンピューティングデバイス、および上記説明された方法の操作をコンピューティングデバイスに実行させるための命令を格納する、コンピュータ可読記憶媒体も提供される。
本開示は、例によって図示されており、限定するものではないが、図面に関連して考慮される以下の詳細な説明を参照して、より完全に理解されるであろう。
本開示の一つ以上の態様に従って動作するモバイルコンピューティングデバイスの、1つの具体例のブロック図である。 本開示の一つ以上の態様に従って動作するモバイルコンピューティングデバイスによって認識可能な、いくつかのユーザ入力ジェスチャタイプを示す図である。 本開示の一つ以上の態様に従って動作するモバイルコンピューティングデバイスによって認識可能な、いくつかのユーザ入力ジェスチャタイプを示す図である。 本開示の一つ以上の態様に従って動作するモバイルコンピューティングデバイスによって認識可能な、いくつかのユーザ入力ジェスチャタイプを示す図である。 本開示の一つ以上の態様に従って動作するモバイルコンピューティングデバイスによって認識可能な、いくつかのユーザ入力ジェスチャタイプを示す図である。 本開示の一つ以上の態様に従って動作するモバイルコンピューティングデバイスによって認識可能な、いくつかのユーザ入力ジェスチャタイプを示す図である。 本開示の一つ以上の態様に従って動作するモバイルコンピューティングデバイスによって認識可能な、いくつかのユーザ入力ジェスチャタイプを示す図である。 本開示の一つ以上の態様に従って動作するモバイルコンピューティングデバイスによって表示可能なビデオストリームの構造例を示す図である。 本開示の一つ以上の態様に従った、ビデオストリーミングサーバ、ビデオ注釈サーバ、及び複数のビデオストリーミングクライアントを含むネットワークの、ネットワークレベルの略図を示す図である。 本開示の一つ以上の態様に従って動作するモバイルコンピューティングデバイスによって表示可能なビデオ注釈の構造例を示す図である。 本開示の一つ以上の態様に従った、ビデオ注釈のいくつかのタイプの画面表示を示す図である。 本開示の一つ以上の態様に従った、ビデオ注釈を作成するためのビデオフレーム編集画面の図である。 本開示の一つ以上の態様に従ったモバイルコンピューティングデバイスによって注釈付きビデオコンテンツを表示するための方法の一例のフローチャート図である。 本開示の一つ以上の態様に従って動作するコンピュータシステムを示すブロック図である。
以下に説明されるのは、モバイルコンピューティングデバイスによって注釈付きビデオコンテンツを表示するための方法およびシステムである。ここで、「モバイルコンピューティングデバイス」は、プロセッサ、メモリ、および少なくとも一つの通信インタフェースを有する携帯デバイスを参照するものとする。モバイルコンピューティングデバイスの例は、スマートフォン、タブレットコンピュータ、およびノートブックコンピュータを含むが、これに限定しない。
モバイルコンピューティングデバイスは、ストリーミングサーバからネットワークを通じてダウンロードされ得るビデオストリームを表示するためのビデオプレイヤーアプリを実行してもよい。ビデオストリーミング機能は、エンタテイメント、教育、および、他のアプリケーションで採用されてもよい。特定の実装において、本明細書に記載のモバイルコンピューティングデバイスは、ビデオ注釈を含むビデオストリームを表示することが可能であってもよい。ここで、「ビデオ注釈」は、ビデオストリームの複数のフレーム上に重畳され、並びに、ユーザに情報を伝えること、及び/又は一つ以上のユーザインタフェースコマンドを発行するようにユーザに促すことを目的とする、一つ以上の視覚要素を参照するものとする。ビデオ注釈は、例えば、表示されているビデオコンテンツに関する追加の情報を提供し、表示されたコンテンツを選択するユーザ入力(例えば、いくつかの可能な視聴経路のうちの一つを選択するか、または現在表示されているビデオストリームの断片を選択する)を受け付け、関連するコンテンツアイテムへのリンクを提供し、及び/又はモバイルコンピューティングデバイスによって実行可能な、関連したアプリケーションに対するリンクを提供するために使用されてもよい。
例えば、デスクトップコンピュータと比較して、モバイルコンピューティングデバイス(例えば、携帯電話、タブレットコンピュータ、またはスマートフォン)は、より小さいサイズ及び/又は解像度の画面を有する可能性があり、従って、いくつかの従来のユーザインタフェースコマンドを実装することは困難である。それに対して、モバイルコンピューティングデバイスは、ユーザコマンドの入力に使用され得る、例えば、タッチスクリーン、ビデオまたは静止画像カメラ、マイクロフォン、及び/又はアクセレロメータを含む、幅広い種類のユーザインタフェースデバイスを提供することによって、エンドユーザエクスペリエンスを拡張し得る。従って、特定の実装において、ビデオ注釈を含むビデオストリームの再生に使用されるモバイルコンピューティングデバイスは、モバイルコンピューティングデバイスのユーザインタフェース機能を考慮して、ビデオ注釈を変更してもよい。一例において、モバイルコンピューティングデバイスは、モバイルコンピューティングデバイスの画面に合うように、サイズを変更することによってビデオ注釈を変更してもよい。他の例において、モバイルコンピューティングデバイスは、モバイルコンピューティングデバイスの画面サイズを考慮して、表示位置を変更することによってビデオ注釈を変更してもよい。さらに他の例において、モバイルコンピューティングデバイスは、ビデオ注釈要素の視覚が交差することを防ぐために、モバイルコンピューティングデバイスの画面上に2つ以上のビデオ注釈を再配置してもよい。
他の態様において、モバイルコンピューティングデバイスは、モバイルコンピューティングデバイスによって表示されているビデオ注釈に適用できる、一つ以上のユーザインタフェースコマンド(例えば、タッチスクリーンジェスチャ及び/又はアクセレロメータ測定ジェスチャを含む)を定義してもよい。モバイルコンピューティングデバイスは、一つ以上の可能なシステム動作のそれぞれに、ユーザインタフェースコマンドを割り当ててもよい。ユーザインタフェースコマンドは、タッチスクリーン、カメラ、マイクロフォン、及び/又はアクセレロメータを介して入力されるコマンドを含んでもよい。ユーザインタフェースコマンドに対応するシステム動作は、再生制御コマンド(一時停止、停止、巻き戻し、及び/又は早送りなど)、コンテンツ選択コマンド(関連するコンテンツアイテムを表示する、など)、及び/又はアプリケーション制御コマンド(定義されたアプリケーションの起動など)等を含んでもよい。
さらに別の態様において、モバイルコンピューティングデバイスは、ビデオ注釈を含むビデオストリームを再生する間、例えば、タッチスクリーン、ビデオまたは静止画像カメラ、マイクロフォン、及び/又はアクセレロメータを含む、様々なユーザインタフェースを介してユーザコマンドを受理してもよい。各ユーザインタフェースコマンドは、コマンド及び/又は実行されるアプリケーションのコンテキストによって定義された機能を、モバイルコンピューティングデバイスに実行させてもよい。一例において、モバイルコンピューティングデバイスは、例えば、タップ、ダブルタップ、押す、スワイプ、ピンチ、及び/又はタッチスクリーンの回転を含む、タッチスクリーンを介して発行される多数のユーザのジェスチャを認識してもよい。他の例において、ユーザのジェスチャは、ビデオまたは静止画像カメラを介して入力されてもよい。さらに他の例において、ユーザのボイスコマンドまたは他の音コマンド(例えば、口笛)は、マクロフォンを介して入力されてもよい。さらに他の例において、アクセレロメータは、定義された頻度、大きさ、及び/又は移動の方向(例えば、水平または垂直面でモバイルコンピューティングデバイスを振る、モバイルコンピューティングデバイスを回転する、等)を含む、一つ以上の事前に定義されたパターンに従ったモバイルコンピューティングデバイスの移動を含む、ユーザのコマンドを受理するために使用されてもよい。
ユーザインタフェースコマンドの受信に応答して、モバイルコンピューティングデバイスは、ビデオ注釈と、ビデオプレイヤーアプリの動作に対するユーザインタフェースコマンドのマッピングと、に関連する、一つ以上のデータ構造内に格納された記録に基づいて、ユーザインタフェースコマンドに対応する動作を決定してもよい。モバイルコンピューティングデバイスは、ユーザインタフェースコマンドによって定義された、ビデオ注釈に関連する動作を次いで実行してもよい。
上記で参照された方法およびシステムの様々な態様は、限定としてよりも、実施例として、以下に詳細に説明される。
図1は、本開示の一つ以上の態様に従って動作するモバイルコンピューティングデバイスの一つの具体例を図示するブロック図である。モバイルコンピューティングデバイスは、例えば、スマートフォン、タブレットコンピュータ、パーソナルデジタルアシスタント、またはノートブックコンピュータによって提供されてもよい。
モバイルコンピューティングデバイス100は、システムバス120に結合されたプロセッサ110を含んでもよい。後者は、データバス、アドレスバス、及び/又はコントロールバスを含んでもよい。プロセッサ110は、汎用プロセッサ(例えば、復号命令セットコンピュータ(CISC)マイクロプロセッサ、縮小命令セットコンピュータ(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、命令の他のタイプを実装するマイクロプロセッサ、または命令のタイプの組合せを実装するマイクロプロセッサ)、または専用プロセッサ(例えば、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ)といった、一つ以上の物理的なプロセッサによって提供されてもよい。
システムバスに結合された他のデバイスは、メモリ130、ディスプレイ135、キーボード140、スピーカ145、マイクロフォン150、ビデオまたは静止画像カメラ155、アクセレロメータ160、および/または一つ以上の無線ネットワークインタフェース165を含んでもよい。ここで、「結合された」という用語は、一つ以上のインタフェースデバイス、アダプタ、および同類のものを介して、電気的に接続されること、および通信可能に結合されることの両方を含むべきである。
メモリ130は、一つ以上の揮発性メモリデバイス(例えば、RAMチップ)、一つ以上の不揮発性メモリデバイス(例えば、ROMまたはEEPROMチップ)、及び/又は一つ以上のセカンダリメモリデバイス(例えば、光学または磁気ディスクのような、記憶メモリデバイス)を含んでもよい。記憶メモリは、本明細書で説明された方法を実行する命令を記憶し得る、持続性コンピュータ可読記憶メディアを含んでもよい。
特定の実装において、メモリ130は、ビデオプレイヤーアプリ190の命令を保存してもよい。一つの具体例において、ビデオプレイヤーアプリ190は、本開示の一つ以上の態様に従って、ビデオ注釈を含むビデオコンテンツを提供し、タッチスクリーン170、カメラ155、マイクロフォン150、またはアクセレロメータ150から一つの注釈に関するユーザインタフェースコマンドを受信し、次いで、ユーザインタフェースコマンドに応答して注釈に関する動作を実行するために、モバイルデバイス100上で実行されてもよい。
無線ネットワークインタフェース165は、例えば、IEEE802.11準拠のインタフェース、セルラーインタフェース(UMTS、LTE、WiMAX、HSPAまたはEV-DOを含む、3Gまたは4Gインタフェース等)、及び/又はブルートゥースインタフェースによって提供されてもよい。モバイルコンピューティングデバイス100は、無線ネットワークインタフェース165を通じて通信をサポートするために、例えばTCP/IPといったネットワークプロトコルスタックを実装してもよい。
特定の実装において、モバイルコンピューティングデバイス100は、例えば、ディスプレイ135のタッチセンシティブ、及び/又はプレゼンスセンシティブ(presence-sensitive)面によって表される、タッチスクリーン入力デバイス170を含んでもよい。一例において、タッチセンシティブ面は、キャパシティセンシティブ(capacity-sensitive)レイヤを含んでもよい。他の例において、タッチセンシティブ面は、ディスプレイの水平および垂直軸に沿って設置された二つ以上の音響変換機を含んでもよい。
特定の実装において、タッチスクリーンを備えたモバイルコンピューティングデバイス100は、タッチセンシティブ面の外部の物体による接触の検出に応答して、接触の位置、以前の位置に対する位置の変更、及び/又は接触の方法(例えば、タッチセンシティブ面との接触を保ちながら外部の物体が移動しているかどうか)を判断してもよい。タッチスクリーンに接触するために使用される外部の物体は、例えば、ユーザの指、タッチペンによって、または任意の他の適切なデバイスによって、表されてもよい。
タッチ/リリースイベント、判定されたコンタクトの位置、コンタクト位置の変更、及び/又はコンタクトの方法の検出に基づいて、コンピューティングデバイス100は、例えば、図2a乃至2fに模式的に図示されるようなタップ、ダブルタップ、押す、スワイプ、ピンチ、及び/又はタッチスクリーンの回転を含む、一つ以上のユーザ入力ジェスチャタイプを認識してもよい。
図2aに模式的に図示したように、タップは、第1の事前に定義された持続時間閾値以下の継続した、および第2の事前に定義された持続時間閾値以上のリリースによって生じる接触である。タップは、タッチセンシティブ面上の外部の物体が移動しないことを含む。図2bに模式的に図示したように、ダブルタップは、第2の事前に定義された持続時間閾値以下の時間内でリリースする、2つの連続したタップジェスチャを含む。図2cに模式的に図示したように、押す、または長押しは、第1の事前に定義された持続時間閾値以上の継続した接触である。図2dに模式的に図示したように、スワイプは、仮想の直線セグメントに沿ったタッチセンシティブ面上の外部の物体の移動を伴う接触である。図2eに模式的に図示したように、ピンチは、仮想の直線または曲線のセグメントに沿って互いに向かって移動する二つの外部の物体(例えば、ユーザの二本の指)による接触である。図2fに模式的に図示したように、回転は、仮想の円に沿って同じ方向に移動する二つの外部の物体(例えば、ユーザの二本の指)による接触である。
特定の実装において、モバイルコンピューティングデバイス100は、モバイルコンピューティングデバイスの正確な加速を計測するアクセレロメータを備えてもよい。一例において、モバイルコンピューティングデバイスは、定義された頻度、大きさ、及び/又は移動の方向(例えば、水平または垂直面でモバイルコンピューティングデバイスを振る、モバイルコンピューティングデバイスを回転する、等)を含む、一つ以上の事前に定義されたパターンを使用した、ユーザのモバイルコンピューティングデバイスの移動を含むユーザインタフェースコマンドを、アクセレロメータを使用して受領するためにプログラムされてもよい。
特定の実装において、モバイルコンピューティングデバイス100は、ビデオまたは静止画像カメラを備えてもよい。一例において、カメラは、ユーザのジェスチャによって表されるユーザインタフェースコマンドを入力するために使用されてもよい。
特定の実装において、モバイルコンピューティングデバイス100は、マイクロフォンを備えてもよい。一例において、マイクロフォンは、ユーザのボイスコマンドまたは他の音コマンド(例えば、口笛)を入力するために使用されてもよい。
特定の実装において、モバイルコンピューティングデバイス100は、ビデオストリーム及び/又はオーディオストリームを再生し得るビデオプレイヤーアプリを実行してもよい。モバイルコンピューティングデバイス100は、オーディオコーデック(例えば、MP3、VorbisまたはAAC)を使用して圧縮されたオーディオストリームを再生してもよく、及び/又はビデオコーデック(例えば、H.264またはVP8)を使用して圧縮されたビデオストリームを再生してもよい。一例において、モバイルコンピューティングデバイスは、符号化されたオーディオおよびビデオストリームを含む、組み合わされたビットストリーム(例えば、FLV、WebM、ASFまたはISMA)を再生してもよい。図3に模式的に図示したように、ビデオストリーム300は、ヘッダ310および複数のビデオフレーム320を含んでもよい。ビデオフレーム320のそれぞれは、ビデオデータ325及び/又はタイムスタンプ330を含んでもよい。
図4に模式的に図示したように、特定の実装において、モバイルコンピューティングデバイス100は、例えば、ストリーミングサーバ410またはピアモバイルコンピューティングデバイス420から、ネットワーク415を通じて、ビデオストリームを受信している間、ビデオストリームを表示してもよい。ストリーミングサーバ410は、一例において、コンテンツ共有プラットフォームとして参照されてもよい、共有コンテンツホスティング(hosting)および配信プラットフォーム412の一部であってもよい。ネットワーク415は、一例において、インターネットを含んでもよい。イントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、及び/又は仮想プライベートネットワーク(VPN)といった、有線および無線ネットワークを含む、他のネットワークは、ネットワーク415の一部であってもよい。
図4に図示したように、共有コンテンツホスティングおよび配信プラットフォーム412は、ネットワーク418を介して、コンテンツデータストア417に結合されたフロントエンドストリーミングサーバ410を含んでもよい。コンテンツデータストア417は、ローカルまたは分散型データベース、ファイルリポジトリ、または適切なアーキテクチャの任意の他のデータリポジトリによって提供されてもよい。コンテンツデータストア417は、例えば、ビデオクリップ、テレビクリップ(ニュース、スポーツ、映画など)、音楽ビデオ、ビデオブログエントリ、及び/又は短いビデオを含み得る、複数のコンテンツアイテム(総称して「コンテンツ」と呼ぶ)を保存するために使用されてもよい。一つの具体例において、コンテンツは、他のユーザと共有するために、共有コンテンツホスティング及び配信プラットフォーム412のユーザによってアップロードされた一つ以上のアイテムを含んでもよい。アップロードされたコンテンツアイテムは、ネットワーク415を通じてモバイルコンピューティングデバイス100によってキャプチャされた、及び/又は送信されたデータを含んでもよい。
ネットワーク418は、ローカルエリアネットワークによって提供されてもよい。インターネット、一つ以上のイントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及び/又は仮想プライベートネットワーク(VPN)を含む他のネットワークは、ネットワーク418の一部であってもよい。特定の実装において、共有コンテンツホスティングおよび配信プラットフォーム412は、本明細書において以下に詳細が記載される、ビデオ注釈を配信するために使用されるビデオ注釈サーバ430をさらに含んでもよい。
フロントエンドサーバ410、コンテンツデータストア417、およびビデオ注釈サーバ430は、図4で別のコンポーネントとして図示されるが、コンテンツホスティングおよび配信プラットフォーム412の他のコンポーネントは、単一のコンピューティングデバイス、または多数の異なるコンピューティングデバイス、およびLAN及び/又はWANを含む一つ以上のネットワークを介して相互接続し得るシステムの、様々な組合せで同時に実装されてもよい。特定の実装において、共有コンテンツホスティングおよび配信プラットフォーム412は、複数のフロントエンドサーバ410に対して、ネットワーク415を通じて受信したユーザリクエストを発送するために使用され得るロードバランサ(図4には記載せず)等の、他のコンポーネントをさらに含んでもよい。特定の実装において、共有コンテンツホスティングおよび配信プラットフォーム412は、共有コンテンツホスティングおよび配信プラットフォーム412にアクセスするユーザを認証するために使用され得るユーザディレクトリをさらに含んでもよい。
一つの具体例において、ユーザは、ネットワーク415上でモバイルコンピューティングデバイス100を介して、ホスティングおよび配信プラットフォーム412によって保存されたコンテンツにアクセスしてもよい。モバイルコンピューティングデバイス100は、ストリーミングサーバ410に対して制御メッセージ(例えば、リアルタイムストリーミングプロトコル(RTSP)メッセージ)を発行することによって、ストリーミング処理を制御してもよい。ビデオストリームは、ストリーミングサーバ410からモバイルコンピューティングデバイス100に対して、リアルタイム転送プロトコル(RTP)等の転送プロトコルを使用して配信されてもよい。モバイルコンピューティングデバイス100は、ストリーミングサーバ410に対して、リアルタイム転送制御プロトコル(RTCP)を使用して、クオリティオブサービス(QoS)情報を定期的に送信してもよい。RTP/RTCPストリーミングの代わりとして、モバイルコンピューティングデバイス100は、特定の実装において、適応ビットレートストリーミングを実行するために、HTTPプログレッシブダウンロードを使用してもよい。
特定の実装において、モバイルコンピューティングデバイス100は、ストリーミングサーバ410によって、複数の受信者420に対して送信されたマルチキャストストリームを受信する、マルチキャストグループのメンバであってもよい。マルチキャストグループのメンバは、通常、サーバによって送信を制御することを制限されるか、または制御する能力を持たない。エンドユーザの視覚エクスペリエンスを向上するために、モバイルコンピューティングデバイス100は、受信したビデオストリームをバッファすることができるので、従って、一時停止、停止、早送り、及び/又は早戻しといった再生制御コマンドを、エンドユーザが発行することを可能にする。
特定の実装において、モバイルコンピューティングデバイス100は、ピアツーピア(P2P)プロトコルを使用して、一つ以上のピアモバイルコンピューティングデバイス420から、ビデオストリームを受信してもよい。ビデオストリームの一つ以上の断片は、一つ以上のピアモバイルコンピューティングデバイスのそれぞれから受信されてもよい。ビデオストリームは、モバイルコンピューティングデバイス100によって、再生される前にアセンブルされてもよい。
特定の実装において、モバイルコンピューティングデバイス100によって再生されるビデオストリームは、一つ以上のビデオ注釈を含んでもよい。ビデオ注釈は、例えば、表示されているビデオコンテンツに関する追加の情報を提供するために、表示されるコンテンツを(例えば、多数の視聴経路、及び/又は目次機能を提供するために)選択するユーザ入力を受理するために、コンテンツアイテムに関するリンクを提供するために、及び/又はモバイルコンピューティングデバイスによって実行可能な関連するアプリケーションへのリンクを提供するために、使用されてもよい。モバイルコンピューティングデバイス100は、ビデオ注釈に関する(例えば、キーボード、タッチスクリーン、及び/又はアクセレロメータを介した)、およびモバイルコンピューティングデバイスに再生するプロセスを制御する特定の機能を実行させる、ユーザ入力を受理してもよい。ユーザ入力によって選択可能な動作の例は、ビデオストリーム表示の一時停止、ビデオストリーム内の選択した位置へのジャンプ、関連するコンテンツ(例えば、他のビデオストリーム、または静止画像)の表示、及び/又はモバイルコンピューティングデバイスによって実行可能な他のアプリケーションへの切り替え、を含む。
図5に模式的に図示したように、ビデオ注釈510は、ビデオフレーム内に表示される、一つ以上の文字列520及び/又は一つ以上の画像525を含んでもよい。特定の実装において、ビデオ注釈は、例えば、ビデオ注釈タイプ識別子535(例えば、タイトル、吹き出し、メモ、ラベル、スポットライト、またはビデオサムネイル)、ビデオ注釈が表示されるべきビデオフレーム内の位置を定義するディスプレイ位置識別子540、および/または表示されるビデオ注釈内の複数のビデオフレームを定義するビデオフレーム識別子545を含む、表示不可情報を保存するデータ構造530をさらに含んでもよい。特定の実装において、ビデオフレーム識別子は、表示されるべきビデオ注釈内で、フレーム範囲の開始フレームと終了フレームを定義し得る、開始フレーム識別子547および終了フレーム識別子549によって表されてもよい。一例において、開始フレーム識別子および終了フレーム識別子は、ビデオストリームの開始に関する、開始時間および終了時間を識別してもよい。
特定の実装において、ビデオ注釈は、ユーザインタフェースコマンド560に関連し、ビデオプレイヤ動作565(例えば、ビデオ注釈フィールド内のクリックは、関連するリソースを識別するURIにマッピングされてよく、ビデオ注釈フィールド内のダブルクリックは、ビデオストリームの所定の部分にジャンプするようにマッピングされ得る、など)に対応する一つ以上の記録を保存するデータ構造550をさらに含んでもよい。特定の実装において、ビデオ注釈は、例えば、ビデオストリームがキャプチャされた位置を識別する地理位置情報識別子575、ビデオ注釈作成者/編集者の識別子580、および/またはビデオ注釈作成/編集日時585を含む、表示不可メタデータを保存するデータ構造570、さらに含んでもよい。
図4で模式的に図示したように、特定の実装において、ビデオ注釈識別子は、ビデオストリーム、および、ビデオストリーミングサーバ420とは異なってもよい、ビデオ注釈サーバ430からビデオプレイヤーアプリによって取り出され得るビデオ注釈に関連するデータ構造の中に保存されてもよい。あるいは、ビデオ注釈に関連するデータ構造は、ビデオストリーム内に保存されてもよい。
図6は、ビデオ注釈の様々なタイプを模式的に図示している。一例において、ビデオ注釈は、タイトル610によって表示されてもよい。他の例において、ビデオ注釈は、吹き出し620によって表示されてもよい。さらに他の例において、ビデオ注釈は、メモ630によって表示されてもよい。さらに他の例において、ビデオ注釈は、ラベル640によって表示されてもよい。さらに他の例において、ビデオ注釈は、スポットライト650によって表示されてもよい。さらに他の例において、ビデオ注釈は、サムネイル655によって表示されてもよい。
ビデオストリームに添付されたビデオ注釈は、典型的なモバイルコンピューティングデバイスの画面よりも、大きいサイズの画面を有する、及び/又は高解像度を有するコンピューティングデバイスによって表示されるために、設計されてもよい。この結果、モバイルコンピューティングデバイスによって表示されたビデオ注釈は、ユーザによって識別可能な、及び/又は読み取り可能にするためには、不適切なサイズになる可能性がある。いくつかの状況において、二つ以上のビデオ注釈は、互いに空間的に非常に近く表示され得るため、ビデオ注釈の内の一つを(例えば、対応するリンクをクリックすることによって)選択しようとするユーザの試みは、多くの場合、誤って、間違ったビデオ注釈を選択する結果(例えば、誤ったリンクをクリックする)となる。さらに、一般的なコンピュータデバイス向けに設計されたビデオ注釈は、ビデオ注釈フィールド上のクリックまたはダブルクリックの受理のみしかできず、様々なタッチスクリーンユーザインタフェース入力を受理するようには設計されていない。
したがって、モバイルコンピューティングデバイス100は、モバイルコンピューティングデバイス100によって表示するためのビデオストリームに添付されたビデオ注釈を変更及び/又は調整するために、ビデオストリームを処理してもよい。一例において、モバイルコンピューティングデバイス100は、一つ以上のビデオ注釈を見えるようにし、及び/又はモバイルコンピューティングデバイス100の画面上のユーザのタッチスクリーン入力によって選択されるように、それらのサイズを変更してもよい。ビデオ注釈のサイズ変更は、注釈メッセージの読みやすさを向上するために、例えば、モバイルコンピューティングデバイス100の特定の画面サイズ用の事前に定義された最小のフォントサイズに基づいた、ビデオ注釈メッセージのフォントのサイズ変更を含んでもよい。ビデオ注釈のサイズ変更は、例えば、モバイルコンピューティングデバイス100の特定の画面サイズ用の事前に定義された最小の視覚要素サイズに基づいて、一つ以上のビデオ注釈の視覚要素のサイズを変更することを、さらに含んでもよい。
他の例において、モバイルコンピューティングデバイス100は、モバイルコンピューティングデバイス100の画面上のユーザのタッチスクリーン入力によって、ビデオ注釈を視覚可能及び/又は選択可能にするために、一つ以上のビデオ注釈を再配置してもよい。ビデオ注釈を再配置することは、画面の事前に定義された角に相対的に定義された方向に、ビデオ注釈を移動する、といった一つ以上の再配置規則に基づいてもよい。一例において、単一のフレーム内に表示された、いくつかのビデオ注釈を再配置することは、画面の一つ以上の事前に定義された角に対して、相対的に定義された方向に再配置する手順(例えば、画面の左上隅に向かって第1のビデオ注釈を移動し、次いで画面の右上隅に向かって第2のビデオ注釈を移動する)に基づいてもよい。さらに他の例において、モバイルコンピューティングデバイスは、ビデオ注釈要素の視覚的交差を避けるために、二つ以上のビデオ注釈をモバイルコンピューティングデバイスの画面上に再配置してもよい。
特定の実装において、モバイルコンピューティングデバイス100は、モバイルコンピューティングデバイス100によって表示されているビデオ注釈に適用可能な、一つ以上のユーザインタフェースコマンド(例えば、タッチスクリーンジェスチャ及び/又はジェスチャを計測するアクセレロメータ)を定義してもよい。モバイルコンピューティングデバイスは、一つ以上の可能なシステム動作のそれぞれに対して、ユーザインタフェースコマンドを割り当ててもよい。ユーザインタフェースコマンドは、タッチスクリーン、カメラ、マイクロフォン、及び/又はアクセレロメータを介して入力されたものを含んでもよい。ユーザインタフェースコマンドに対応するシステム動作は、再生制御コマンド(一時停止、停止、早送り、及び/又は早戻し等)、コンテンツ選択コマンド(関連するコンテンツアイテムの表示等)、及び/又はアプリケーション制御コマンド(定義されたアプリケーションの起動等)などを含んでもよい。
ビデオストリームの一つ以上のフレーム上に重畳したビデオ注釈の表示に応答して、モバイルコンピューティングデバイスは、タッチスクリーン、カメラ、マイクロフォン、及び/又はアクセレロメータを介して、ユーザインタフェースコマンドを受信してもよい。ユーザインタフェースコマンドは、例えば、タップ、ダブルタップ、押す、スワイプ、ピンチ、及び/又はタッチスクリーンの回転を含む、タッチスクリーンを介して発行される一つ以上のジェスチャによって表されてもよい。他の例において、ユーザインタフェースコマンドは、マイクロフォンを介して入力される音声及び/又は音コマンドによって表されてもよい。さらに他の例において、ユーザインタフェースコマンドは、ビデオまたは静止画像カメラを介して入力される、一つ以上のユーザのジェスチャによって表されてもよい。さらに他の例において、ユーザインタフェースコマンドは、定義された頻度、大きさ、及び/又は移動の方向(例えば、水平または垂直面でモバイルコンピューティングデバイスを振る、モバイルコンピューティングデバイスを回転する、など)を含む、一つ以上の事前に定義されたパターンに従った、ユーザのモバイルコンピューティングデバイスの移動を含んでもよい。
ユーザインタフェースコマンドを受信することに応答して、モバイルコンピューティングデバイスは、ビデオ注釈に関連し、ユーザインタフェースコマンドをビデオプレイヤーアプリの動作にマッピングする、データ構造に保存された一つ以上の記録に基づいてユーザインタフェースコマンドに対応する動作を決定してもよい。モバイルコンピューティングデバイスは、ユーザインタフェースコマンドによって定義された、ビデオ注釈に関連した動作を次いで実行してもよい。ユーザインタフェースコマンドによって選択可能な動作の例は、表示中のビデオストリームの一時停止、ビデオストリーム内の選択された位置へのジャンプ、関連するコンテンツの表示(例えば、他のビデオストリーム、または静止画像)、及び/又はモバイルコンピューティングデバイスによって実行可能な他のアプリケーションへの切り替えなどを含む。
ビデオコンテンツアイテムのためのビデオ注釈は、デスクトップまたはモバイルコンピューティングデバイスによって実行可能なビデオ注釈エディタを使用して作成されてもよい。図7に模式的に図示したように、特定の実装において、モバイルコンピューティングデバイス100は、フレームウィンドウ710で編集されているビデオストリームを表示してもよい。モバイルコンピューティングデバイス100は、ビデオ注釈を一つ以上のビデオフレームに挿入することに関する一つ以上のユーザインタフェースコマンドを受理してもよい。ビデオフレームは、表示されたタイムライン712に基づいて、ユーザによって選択されてもよく、及び/又は、編集中のビデオストリームの再生、早送り、及び/又は早戻しによって選択されてもよい。特定の実装において、ビデオ注釈検索機能は、ビデオ注釈に関する一つ以上の検索条件を指定するために、ユーザの入力を受理し、検索条件(例えば、ユーザが提供した文字列を含む吹き出し)に合致するビデオ注釈を有する一つ以上のフレームを表示するように実装されてもよい。
特定の実装において、ユーザインタフェースコマンドを受信することに応答して、モバイルコンピューティングデバイスは、吹き出し注釈720、メモ注釈730、ラベル注釈740、スポットライト注釈750及び/又はタイトル注釈760を挿入してもよい。ボイスコマンドは、注釈タイプ、事前に定義されたフレームの角または他の注釈要素に対する相対的な注釈位置、注釈テキスト、及び/又は他の注釈パラメータ(例えば、フォントサイズ)を含んでもよい。一例において、ユーザインタフェースコマンドは、マイクロフォンを介して受信されてもよい。あるいは、ユーザインタフェースコマンドは、タッチスクリーンを介して受信されてもよい。特定の実装において、ユーザインタフェースコマンドのいくつかの要素は、ユーザインタフェースコマンドの他の要素が第二のユーザインタフェース(例えば、吹き出しテキストがマイクロフォンを介して入力されてよく、及び吹き出し位置はタッチスクリーンを介して入力されてもよい)を介して受信され得る間、第一のユーザインタフェースを介して受信されてもよい。特定の実装において、いくつかのユーザインタフェースコマンドは、単一のフレームに表示された複数のビデオ注釈に適用されてもよい(例えば、ユーザがモバイルコンピューティングデバイスを振ることに応答して、後者は、ビデオ注釈要素の視覚的交差を解消するために、現在表示されているフレーム内に表示されたビデオ注釈を再配置してもよい)。
図8は、本開示の一つ以上の態様に従った、モバイルコンピューティングデバイスによって注釈付きビデオコンテンツを表示するための方法800の一例のフローチャート図を図示している。方法800は、ハードウェア(例えば、電気回路、専用ロジック、及び/又はプログラム可能なロジック)、ソフトウェア(例えば、ハードウェアシミュレーションを実行するコンピュータシステム上で実行可能な命令)、またはそれらの組合せを含んでもよい、(例えば、モバイルコンピューティングデバイス100上で実行するビデオプレイヤーアプリ190の)処理ロジックによって実行されてもよい。方法800および/または個別の機能、ルーチン、サブルーチン、または操作のそれぞれは、この方法を実行するコンピューティングデバイスの一つ以上の物理プロセッサによって実行されてもよい。方法800の二つ以上の機能、ルーチン、サブルーチン、または操作は、並列または上述された順序とは異なり得る順序で実行されてもよい。
ブロック810で、モバイルコンピューティングデバイスは、複数のビデオフレームを含むビデオストリームを再生してもよい。本明細書に上述したように、特定の実装において、モバイルコンピューティングデバイスは、例えば、無線通信インタフェースを通じて、ストリーミングサーバまたはピアモバイルコンピューティングデバイスからビデオストリームが受信されている間、ビデオストリームを表示してもよい。
ブロック820で、モバイルコンピューティングデバイスは、ビデオストリームの一つ以上のフレーム上に重畳するビデオ注釈を表示してもよい。本明細書において上述したように、特定の実装において、モバイルコンピューティングデバイスは、例えば、本明細書において上記で詳細に説明したように、モバイルコンピューティングデバイスの画面により合うようにビデオ注釈をサイズ変更することによって、及び/又は画面上にビデオ注釈を再配置することによって、先に表示したビデオ注釈を変更してもよい。
ブロック830で、モバイルコンピューティングデバイスは、モバイルコンピューティングデバイスのユーザ入力インタフェースを介して、ユーザインタフェースコマンドを受信してもよい。特定の実装において、本明細書で上記にさらに詳細に説明したように、ユーザ入力インタフェースは、タッチスクリーン、カメラ、マイクロフォン、及び/又はアクセレロメータによって提供されてもよい。モバイルコンピューティングデバイスは、本明細書で上記にさらに詳細に説明されたように、ビデオ注釈に関連するデータ構造内に格納された一つ以上の記録、およびビデオプレイヤーアプリ動作に対するユーザインタフェースコマンドのマッピングに基づいて、ユーザインタフェースコマンドに対応する動作を次いで決定してもよい。
ブロック840で、モバイルコンピューティングデバイスは、ユーザインタフェースコマンドによって定義される、ビデオ注釈に関する動作を実行してもよい。ブロック840によって参照される動作を完了することに応答して、方法は終了してもよい
図9は、本明細書で説明される一つ以上の方法をコンピュータシステムに実行させるための、実行され得る命令のセットを含む典型的なコンピュータシステム500のブロック図を図解する。コンピュータシステムは、LAN、イントラネット、エクストラネット、またはインターネットで、他のコンピュータシステムと結合されてもよい。コンピュータシステムは、クライアント−サーバネットワーク環境で、サーバまたはクライアントコンピュータシステムの立場において操作してもよく、またはピアツーピア(または分散型の)ネットワーク環境におけるピア(peer)コンピュータシステムとして操作してもよい。コンピュータシステムは、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、パーソナルデジタルアシスタント(PDA)、携帯電話、ウェブ電化製品、サーバ、ネットワークルータ、スイッチまたはブリッジ、または、コンピュータシステムによって取得される動作を指定する命令のセット(逐次的またはそれ以外)を実行できる任意のコンピュータシステムであってもよい。さらに、単一のコンピュータシステムだけが図示されているが、「コンピュータシステム」という用語は、本明細書で説明される方法論の任意の一つ以上を実行するための命令のセット(もしくは多数のセット)を個別にまたは共同で実行するコンピュータシステムの任意の集合を含んでもよいと解釈されるべきである。
典型的なコンピュータシステム500は、バス530を介してそれぞれ他と通信する、処理デバイス(プロセッサ)502、メインメモリ504(例えば、読み出し専用メモリ(ROM)、フラッシュメモリ、シンクロナスDRAM(SDRAM)またはラムバスDRAM(RDRAM)のような動的ランダムアクセスメモリ(DRAM)など)、スタティックメモリ506(例えば、フラッシュメモリ、静的ランダムアクセスメモリ(SRAM)など)および、データ記憶デバイス518を含む。
プロセッサ502は、マイクロプロセッサ、中央処理装置、または同種のものといった、一つ以上の汎用処理デバイスを表す。とりわけ、プロセッサ502は、復号命令セットコンピュータ(CISC)マイクロプロセッサ、縮小命令セットコンピュータ(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、または他の命令セットを実装するプロセッサまたは命令セットの組み合わせを実装するプロセッサであってもよい。プロセッサ502は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ、または同種のもののような、一つ以上の専用処理デバイスも含んでもよい。プロセッサ502は、本明細書で説明された操作およびステップを実行するための命令526を実行するように構成される。
コンピュータシステム500は、ネットワークインタフェースデバイス522をさらに含んでもよい。コンピュータシステム500は、ビデオディスプレイユニット510(例えば、液晶ディスプレイ(LCD)またはブラウン管(CRT))、英数入力デバイス512(例えば、キーボード)、タッチスクリーン入力デバイス514、およびアクセレロメータ515も、含んでもよい。
データ記憶デバイス518は、本明細書で説明された方法または機能のうち、任意の一つ以上を具現化する一つ以上の命令のセット526を格納する、コンピュータ可読記憶メディア524を含んでもよい。命令526は、メインメモリ504内、及び/又は、コンピュータ可読記憶媒体も構成している、コンピュータシステム500、メインメモリ504、およびプロセッサ502によって実行される間、プロセッサ502内に、完全にまたは少なくとも部分的に、存在してもよい。命令526は、ネットワーク516上でネットワークインタフェースデバイス522を介して、さらに送信または受信されてもよい。
特定の実装において、命令526は、図8の方法800に対応し得る注釈付きビデオコンテンツを表示する方法のための命令を含んでもよく、図1のビデオプレイヤーアプリ190を使用して実行されてもよい。コンピュータ可読記憶媒体524が図9の例でシングルメディアとなるように示されるが、「コンピュータ可読記憶媒体」という用語は、一つまたは複数の命令のセットを格納する、シングルメディアまたは複数のメディア(例えば、集中型または分散型のデータベース、及び/又はキャッシュおよびサーバに関連する)を含むように解釈されるべきである。「コンピュータ可読記憶媒体」という用語はまた、マシンによって実行される命令のセットを記憶、符号化または伝送できるか、またはマシンに本開示の任意の一つ以上の方法を実行させることが可能な、任意のメディアも含むと解釈されるべきである。「コンピュータ可読記憶媒体」という用語は、固体メモリ、光媒体、磁気媒体を含むと解釈されなければならないが、それに限定されるものではない。
以上の説明において、多くの詳細が記載された。しかしながら、本開示は、これらの特定の詳細なしに実施できることが、この開示の利益を有する当業者には明らかであろう。いくつかの例において、周知の構造およびデバイスは、本開示を不明瞭にすることを避けるために、詳細よりもむしろブロック図の形で示される。
詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する操作のアルゴリズムおよび記号表現の用語で表示されている。これらのアルゴリズム的記載および表現は、データ処理分野の技術者が、彼らの業務内容を他の当該分野の技術者に伝えるために用いる最も効果的な手段である。ここでアルゴリズムは、一般に、望ましい結果を導くステップの首尾一貫したシーケンスであると考えられる。通常、必然ではないが、これらの量は、格納、結合、比較、およびその他の操作が可能な電気又は磁気信号の形をとる。これは、ビット、値、要素、記号、文字、用語、数字などと呼ぶために、主に共通利用の理由から、時に便利であることが証明されている。
しかしながら、これらおよび類似の用語の全ては、適切な物理量に関連付られ、単にこれらの量に適用される便利なラベルであることに留意すべきである。具体的には以下の説明から明らかなように、特に説明しない限り、言うまでもなく、本説明全体を通じて、「決定」、「演算」、「計算」、「取得」、「識別」、「変更」等の用語を用いる説明は、コンピュータシステムのレジスタやメモリ、もしくは他のそのような情報の格納装置、伝送装置またはディスプレイ装置内の物理(電子)量として表わされるデータを操作し、変換するコンピュータシステムまたは類似の電子計算装置の動作および処理を指す。
本開示は、本明細書の操作を実行するための装置にも関する。この装置は、要求された目的のために特別に構成されてもよく、あるいは、汎用コンピュータを選択的に活性化する、またはコンピュータに格納されたコンピュータプログラムによって再構成されることを含んでもよい。このようなコンピュータプログラムは、フロッピ(登録商標)ディスク、光ディスク、CD-ROM、および磁気ディスクを含む任意のタイプのディスク、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気または光カード、または電子的命令を格納するのに適した任意のタイプのメディアといった、しかしこれらに限定されない、コンピュータ可読ストレージメディアに格納されてもよい。
上記の説明は例示であって、限定を意図するものではないことが理解されよう。多くの他の実施形態は、上記の説明を読み取り、理解することにより当業者には明らかであろう。本開示の範囲は、従って、そのような請求項が権利を有しているために均等物の全範囲と共に、添付の特許請求の範囲を参照して決定されるべきである。
100 モバイルコンピューティングデバイス
110 プロセッサ
120 バス
130 メモリ
135 ディスプレイ
140 キーボード
145 スピーカ
150 マイクロフォン
155 カメラ
160 アクセレロメータ
165 ネットワークインタフェース
170 タッチスクリーン
190 ビデオプレイヤーアプリ
300 ビデオストリーム
310 ヘッダ
320 ビデオフレーム
325 ビデオデータ
330 タイムスタンプ
410 ストリーミングサーバ
412 配信プラットフォーム
415 ネットワーク
417 コンテンツデータストア
418 ネットワーク
420 ビデオストリーミングサーバ
430 ビデオ注釈サーバ
500 コンピュータシステム
520 テキスト
525 画像
530 表示不可情報
535 タイプID
540 ポジションID
545 フレームID
547 スタートID
549 エンドID
550 ユーザインタフェースコマンド
560 UIコマンド
565 ビデオプレイヤ動作
570 メタデータ
575 地理位置情報ID
580 作成者ID
585 タイムスタンプID
610 タイトル
620 吹き出し
630 メモ
640 ラベル
650 スポットライト
655 サムネイル
720 吹き出し注釈
730 メモ注釈
740 ラベル注釈
760 タイトル注釈

Claims (20)

  1. 複数のビデオフレームを含むビデオストリームを、モバイルコンピューティングデバイスのディスプレイに表示するステップと、
    前記複数のビデオフレームのフレーム上に重畳されたビデオ注釈を表示するステップと、
    前記モバイルコンピューティングデバイスのユーザ入力インタフェースを介してユーザインタフェースコマンドを受信するステップと、
    前記ビデオ注釈に関連する動作を実行するステップであって、前記動作は、前記ユーザインタフェースコマンドによって定義される、ステップと、を含む、方法。
  2. 前記ユーザ入力インタフェースが、前記ディスプレイ上に重畳されたタッチセンシティブ面、カメラ、マイクロフォン、またはアクセレロメータのうちの、少なくとも一つである、請求項1に記載の方法。
  3. 前記モバイルコンピューティングデバイスによって表示するための前記ビデオ注釈を変更するステップをさらに含む、請求項1に記載の方法。
  4. 前記変更するステップが、前記ビデオ注釈のサイズを変更するステップを含む、請求項3に記載の方法。
  5. 前記変更するステップが、前記ビデオ注釈の表示位置を変更するステップを含む、請求項3に記載の方法。
  6. 前記ビデオ注釈に関する複数の動作を複数のユーザインタフェースコマンドに関連づけるステップをさらに含む、請求項1に記載の方法。
  7. 前記ユーザインタフェースコマンドが、
    タッチセンシティブ面をタップすること、前記タッチセンシティブ面をダブルタップすること、前記タッチセンシティブ面を押すこと、前記タッチセンシティブ面をスワイプすること、前記タッチセンシティブ面をピンチすること、または前記タッチセンシティブ面を回転させることのうちの、少なくとも一つによって提供される、請求項1に記載の方法。
  8. 前記ユーザインタフェースコマンドが、
    定義された頻度の動作、定義された大きさの動作、または定義された動作の方向のうちの、少なくとも一つを含むパターンに従って前記モバイルコンピューティングデバイスを動かすステップを含む、請求項1に記載の方法。
  9. 前記ビデオ注釈が、
    タイトル、吹き出し、メモ、ラベル、スポットライト、またはビデオサムネイルのうちの、少なくとも一つによって表示される、請求項1に記載の方法。
  10. 前記動作が、
    前記ビデオストリームをポーズすること、前記ビデオストリーム内の定義された位置にジャンプすること、第2のビデオストリームを表示すること、静止画像を表示する事こと、または前記モバイルコンピューティングデバイスによって実行可能なアプリケーションに切り替えることのうちの、少なくとも一つによって提供される、請求項1に記載の方法。
  11. ビデオ注釈データが、前記ビデオストリーム内にカプセル化される、請求項1に記載の方法。
  12. メモリと、
    ディスプレイと、
    前記メモリと結合されたプロセッサと、を含み、前記プロセッサは、
    複数のビデオフレームを含むビデオストリームを表示し、
    前記複数のビデオフレーム上に重畳されたビデオ注釈を表示し、
    モバイルコンピューティングデバイスのユーザ入力インタフェースを介して、ユーザインタフェースコマンドを受信し、
    前記ビデオ注釈に関する動作であって、前記動作は、前記ユーザインタフェースコマンドによって定義される動作を実行するように構成された、
    モバイルコンピューティングデバイス。
  13. 前記ユーザ入力インタフェースが、前記ディスプレイ上に重畳されたタッチセンシティブ面、カメラ、マイクロフォン、またはアクセレロメータのうちの、少なくとも一つである、
    請求項12に記載のモバイルコンピューティングデバイス。
  14. 前記プロセッサが、前記モバイルコンピューティングデバイスによって表示するための前記ビデオ注釈を変更するようにさらに構成された、
    請求項12に記載のモバイルコンピューティングデバイス。
  15. 前記変更することが、前記ビデオ注釈のサイズを変更することを含む、
    請求項14に記載のモバイルコンピューティングデバイス。
  16. 前記変更することが、前記ビデオ注釈の表示位置を変更することを含む、
    請求項14に記載のモバイルコンピューティングデバイス。
  17. 前記プロセッサが、複数のユーザインタフェースコマンドと、前記ビデオ注釈に関する複数の動作を関連づけるようにさらに構成された、
    請求項12に記載のモバイルコンピューティングデバイス。
  18. 前記ユーザインタフェースコマンドが、タッチセンシティブ面をタップすること、前記タッチセンシティブ面をダブルタップすること、前記タッチセンシティブ面を押すこと、前記タッチセンシティブ面をスワイプすること、前記タッチセンシティブ面をピンチすること、または前記タッチセンシティブ面を回転させることのうちの、少なくとも一つによって提供される、
    請求項12に記載のモバイルコンピューティングデバイス。
  19. 前記ユーザインタフェースコマンドが、
    動作の定義された周波数、動作の定義された振幅、または動作の定義された方向のうちの、少なくとも一つを含むパターンに従って前記モバイルコンピューティングデバイスを動かすことを含む、
    請求項12に記載のモバイルコンピューティングデバイス。
  20. モバイルコンピューティングデバイスによって実行されるとき、前記モバイルコンピューティングデバイスに、
    複数のビデオフレームを含むビデオストリームの表示と、
    前記複数のビデオフレームのフレーム上に重畳されたビデオ注釈の表示と、
    前記モバイルコンピューティングデバイスのユーザ入力インタフェースを介したユーザインタフェースコマンドの受信と、
    前記ビデオ注釈に関する動作の実行と、をさせる、実行可能な命令を含み、
    前記動作は、前記ユーザインタフェースコマンドによって定義される、コンピュータ可読持続性ストレージメディア。
JP2016507660A 2013-04-11 2014-04-10 モバイルコンピューティングデバイスによって注釈付きビデオコンテンツを表示するためのシステムおよび方法 Active JP6449853B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/861,234 2013-04-11
US13/861,234 US10489501B2 (en) 2013-04-11 2013-04-11 Systems and methods for displaying annotated video content by mobile computing devices
PCT/US2014/033653 WO2014169123A1 (en) 2013-04-11 2014-04-10 Systems and methods for displaying annotated video content by mobile computing devices

Publications (2)

Publication Number Publication Date
JP2016523011A true JP2016523011A (ja) 2016-08-04
JP6449853B2 JP6449853B2 (ja) 2019-01-09

Family

ID=51687656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507660A Active JP6449853B2 (ja) 2013-04-11 2014-04-10 モバイルコンピューティングデバイスによって注釈付きビデオコンテンツを表示するためのシステムおよび方法

Country Status (6)

Country Link
US (1) US10489501B2 (ja)
EP (1) EP2984818A4 (ja)
JP (1) JP6449853B2 (ja)
KR (1) KR102224420B1 (ja)
CN (1) CN105122826B (ja)
WO (1) WO2014169123A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648066B2 (en) * 2014-08-29 2017-05-09 The Boeing Company Peer to peer provisioning of data across networks
US10609324B2 (en) 2016-07-18 2020-03-31 Snap Inc. Real time painting of a video stream
CN110392307B (zh) * 2018-04-17 2021-11-09 富泰华工业(深圳)有限公司 电视节目过滤系统及方法
US11141656B1 (en) * 2019-03-29 2021-10-12 Amazon Technologies, Inc. Interface with video playback
CN114979678B (zh) * 2021-02-25 2024-09-06 阿里巴巴集团控股有限公司 视频播放方法、设备、系统及计算机程序产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187737A (ja) * 1996-12-19 1998-07-21 Mitsubishi Electric Corp 枠表示装置
JPH1188861A (ja) * 1997-09-04 1999-03-30 Hitachi Ltd 番組連動情報処理装置
JP2006113632A (ja) * 2004-10-12 2006-04-27 Toshiba Corp メタデータのデータ構造及びメタデータの再生装置とその方法
JP2008084320A (ja) * 2006-09-26 2008-04-10 Samsung Electronics Co Ltd 携帯用端末のマルチメディアコンテンツの管理装置及び方法
JP2009519552A (ja) * 2005-12-12 2009-05-14 株式会社ソニー・コンピュータエンタテインメント 相互対話的な電子的にシミュレートされた環境の音声および映像制御
JP2010098730A (ja) * 2008-09-22 2010-04-30 Toshihiko Okabe リンク情報の提供装置、表示装置、システム、方法、プログラム、記録媒体及びリンク情報の送受信システム
JP2011060209A (ja) * 2009-09-14 2011-03-24 Sony Corp 情報処理装置、表示方法及びプログラム
JP2011215824A (ja) * 2010-03-31 2011-10-27 Brother Industries Ltd 画像表示装置、画像表示方法、及び画像表示プログラム
US20120069052A1 (en) * 2009-09-21 2012-03-22 Olaworks, Inc. Method and terminal for providing different image information in accordance with the angle of a terminal, and computer-readable recording medium

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600775A (en) * 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US6092068A (en) * 1997-08-05 2000-07-18 Netscape Communication Corporation Marked document tutor
US20020065678A1 (en) * 2000-08-25 2002-05-30 Steven Peliotis iSelect video
US20040194021A1 (en) 2001-09-14 2004-09-30 Fuji Xerox Co., Ltd. Systems and methods for sharing high value annotations
US6988245B2 (en) * 2002-06-18 2006-01-17 Koninklijke Philips Electronics N.V. System and method for providing videomarks for a video program
US7343552B2 (en) 2004-02-12 2008-03-11 Fuji Xerox Co., Ltd. Systems and methods for freeform annotations
US7383495B2 (en) * 2005-02-15 2008-06-03 Microsoft Corporation Presentation viewing tool designed for the viewer
US8392821B2 (en) * 2006-03-17 2013-03-05 Viddler, Inc. Methods and systems for displaying videos with overlays and tags
US8065313B2 (en) * 2006-07-24 2011-11-22 Google Inc. Method and apparatus for automatically annotating images
US20080140623A1 (en) * 2006-12-11 2008-06-12 Microsoft Corporation Recursive reporting via a spreadsheet
US7559017B2 (en) * 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
US8347206B2 (en) * 2007-03-15 2013-01-01 Microsoft Corporation Interactive image tagging
US20090044144A1 (en) * 2007-08-06 2009-02-12 Morris Robert P Methods And Apparatus For Sharing User Interface Widget Annotations
US8364020B2 (en) * 2007-09-28 2013-01-29 Motorola Mobility Llc Solution for capturing and presenting user-created textual annotations synchronously while playing a video recording
US8898558B2 (en) * 2007-12-07 2014-11-25 Hewlett-Packard Development Company, L.P. Managing multimodal annotations of an image
US8140973B2 (en) * 2008-01-23 2012-03-20 Microsoft Corporation Annotating and sharing content
US8112702B2 (en) * 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
US20090300473A1 (en) * 2008-05-31 2009-12-03 Randy Adams Systems and Methods for Displaying Albums Having Links to Documents
US8566353B2 (en) * 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
KR101513620B1 (ko) * 2008-08-21 2015-04-20 엘지전자 주식회사 이동단말기의 진동제어 장치 및 방법
US9390169B2 (en) * 2008-06-28 2016-07-12 Apple Inc. Annotation of movies
US20100037149A1 (en) * 2008-08-05 2010-02-11 Google Inc. Annotating Media Content Items
US8751942B2 (en) * 2011-09-27 2014-06-10 Flickintel, Llc Method, system and processor-readable media for bidirectional communications and data sharing between wireless hand held devices and multimedia display systems
US8411066B2 (en) * 2010-01-05 2013-04-02 3M Innovative Properties Company High speed noise tolerant multi-touch touch device and controller therefor
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
JPWO2011099096A1 (ja) 2010-02-12 2013-06-13 株式会社日立製作所 帳票表示システム、帳票表示プログラム、および注釈表示方法
KR101743244B1 (ko) * 2010-07-16 2017-06-02 삼성전자주식회사 메뉴 표시 방법 및 장치
US20120072957A1 (en) * 2010-09-20 2012-03-22 Google Inc. Providing Dynamic Content with an Electronic Video
US20120151345A1 (en) * 2010-12-10 2012-06-14 Mcclements Iv James Burns Recognition lookups for synchronization of media playback with comment creation and delivery
GB2487972A (en) * 2011-02-11 2012-08-15 Nokia Corp A method of display of comments associated with an object
US9645986B2 (en) * 2011-02-24 2017-05-09 Google Inc. Method, medium, and system for creating an electronic book with an umbrella policy
GB2489675A (en) 2011-03-29 2012-10-10 Sony Corp Generating and viewing video highlights with field of view (FOV) information
US20130042171A1 (en) * 2011-08-12 2013-02-14 Korea Advanced Institute Of Science And Technology Method and system for generating and managing annotation in electronic book
US20130332834A1 (en) * 2011-09-12 2013-12-12 Wenlong Li Annotation and/or recommendation of video content method and apparatus
US8838432B2 (en) * 2012-02-06 2014-09-16 Microsoft Corporation Image annotations on web pages
KR20140136471A (ko) * 2012-02-29 2014-11-28 퀄컴 인코포레이티드 필기된 컨텐츠에 대해 공간적으로 관련된 주석의 디스플레이
US8823744B2 (en) * 2012-03-23 2014-09-02 Bluebeam Software, Inc. Method for indicating annotations associated with a particular display view of a three-dimensional model independent of any display view
JP5753945B2 (ja) * 2012-05-16 2015-07-22 楽天株式会社 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体
US9147221B2 (en) * 2012-05-23 2015-09-29 Qualcomm Incorporated Image-driven view management for annotations
TWI464667B (zh) * 2012-05-23 2014-12-11 Wistron Corp 電子書之筆記共享方法及電子閱讀裝置、電腦可讀取媒體
US8475284B1 (en) * 2012-07-31 2013-07-02 Scott Rudi Dynamic views within gaming environments
US9032335B2 (en) * 2012-08-14 2015-05-12 Christopher V. Beckman User interface techniques reducing the impact of movements
US9113033B2 (en) * 2012-08-28 2015-08-18 Microsoft Technology Licensing, Llc Mobile video conferencing with digital annotation
US9710944B2 (en) * 2012-10-22 2017-07-18 Apple Inc. Electronic document thinning
US20140149884A1 (en) * 2012-11-26 2014-05-29 William Joseph Flynn, III User-Based Interactive Elements
US10783319B2 (en) * 2013-03-11 2020-09-22 Coachmyvideo.Com Llc Methods and systems of creation and review of media annotations
US20140337705A1 (en) * 2013-05-10 2014-11-13 Successfactors, Inc. System and method for annotations

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187737A (ja) * 1996-12-19 1998-07-21 Mitsubishi Electric Corp 枠表示装置
JPH1188861A (ja) * 1997-09-04 1999-03-30 Hitachi Ltd 番組連動情報処理装置
JP2006113632A (ja) * 2004-10-12 2006-04-27 Toshiba Corp メタデータのデータ構造及びメタデータの再生装置とその方法
JP2009519552A (ja) * 2005-12-12 2009-05-14 株式会社ソニー・コンピュータエンタテインメント 相互対話的な電子的にシミュレートされた環境の音声および映像制御
JP2008084320A (ja) * 2006-09-26 2008-04-10 Samsung Electronics Co Ltd 携帯用端末のマルチメディアコンテンツの管理装置及び方法
JP2010098730A (ja) * 2008-09-22 2010-04-30 Toshihiko Okabe リンク情報の提供装置、表示装置、システム、方法、プログラム、記録媒体及びリンク情報の送受信システム
JP2011060209A (ja) * 2009-09-14 2011-03-24 Sony Corp 情報処理装置、表示方法及びプログラム
US20120069052A1 (en) * 2009-09-21 2012-03-22 Olaworks, Inc. Method and terminal for providing different image information in accordance with the angle of a terminal, and computer-readable recording medium
JP2011215824A (ja) * 2010-03-31 2011-10-27 Brother Industries Ltd 画像表示装置、画像表示方法、及び画像表示プログラム

Also Published As

Publication number Publication date
US20140310586A1 (en) 2014-10-16
WO2014169123A1 (en) 2014-10-16
CN105122826B (zh) 2020-01-14
EP2984818A1 (en) 2016-02-17
KR102224420B1 (ko) 2021-03-05
CN105122826A (zh) 2015-12-02
KR20150142016A (ko) 2015-12-21
JP6449853B2 (ja) 2019-01-09
EP2984818A4 (en) 2016-12-21
US10489501B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
KR102577186B1 (ko) 코스웨어 녹화 및 재생 방법, 장치, 스마트 인터랙티브 태블릿 및 저장 매체
US9489113B2 (en) System and method for playback of media content with audio touch menu functionality
JP7195426B2 (ja) ディスプレイページのインタラクション制御方法及び装置
US10031921B2 (en) Methods and systems for storage of media item metadata
JP2021144250A (ja) 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム
US9244600B2 (en) Video preview creation with audio
US10353577B2 (en) Method and system for implementing content navigation or selection using touch-based input
US10638082B2 (en) Systems and methods for picture-in-picture video conference functionality
KR20190137903A (ko) 컴퓨팅 디바이스 인터렉션에 응답하여 비디오 미리보기
US20170075468A1 (en) System and method for playback of media content with support for force-sensitive touch input
US9661254B2 (en) Video viewing system with video fragment location
WO2019007029A1 (zh) 一种弹幕信息的处理方法及客户端
JP6705625B2 (ja) 動画再生プログラム、装置、及び方法
JP6449853B2 (ja) モバイルコンピューティングデバイスによって注釈付きビデオコンテンツを表示するためのシステムおよび方法
JP6073664B2 (ja) コンテンツ再生装置及びコンテンツ再生プログラム
US10095390B1 (en) Methods, systems, and media for inserting and presenting video objects linked to a source video
US20150277707A1 (en) System and method for multi-track playback of media content
EP2925008A1 (en) System and method for multi-track playback of media content
JP2014078929A (ja) ビデオ・プレゼンテーションを一時停止する方法、計算処理システム及びプログラム
WO2016150273A1 (zh) 一种视频播放方法、移动终端及系统
CN104683822A (zh) 媒体体验的动态增强

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181206

R150 Certificate of patent or registration of utility model

Ref document number: 6449853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250