JP2011521520A - 携帯型マルチメディア受信および送信装置 - Google Patents
携帯型マルチメディア受信および送信装置 Download PDFInfo
- Publication number
- JP2011521520A JP2011521520A JP2011505216A JP2011505216A JP2011521520A JP 2011521520 A JP2011521520 A JP 2011521520A JP 2011505216 A JP2011505216 A JP 2011505216A JP 2011505216 A JP2011505216 A JP 2011505216A JP 2011521520 A JP2011521520 A JP 2011521520A
- Authority
- JP
- Japan
- Prior art keywords
- display
- multimedia device
- internet content
- content
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17318—Direct or substantially direct transmission and handling of requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
- H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42676—Internal components of the client ; Characteristics thereof for modulating an analogue carrier signal to encode digital information or demodulating it to decode digital information, e.g. ADSL or cable modem
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
携帯型マルチメディア装置は、インターネットに接続することでインターネット・コンテンツを得るとともに、インターネット・コンテンツを含むフォーマットされたコンテンツをテレビ等のディスプレイに送信する。したがって、マルチメディア装置のユーザは、インターネット・テレビまたは映画を見たり、インターネット音楽を聴いたり、ゲームで遊んだり、またはさもなければ従来のコンピュータをテレビに接続する必要なくインターネット接続を体験する。さらに、いくつかの実施形態では、マルチメディア装置は、ポインティング装置として該装置を用いること(ユーザがこの装置を動かすことでユーザの望むスクリーン上にカーソルを置くこと)により、インターネットとのシームレスな対話を可能にする。
Description
(関連出願)
この出願は、米国仮出願第61/045,562号(2008年4月16日出願)と米国特許出願第12/425,297(2009年4月16日付)の利益および優先権を主張するもので、それらの内容を全体として本明細書中に援用する。
(背景)
この出願は、米国仮出願第61/045,562号(2008年4月16日出願)と米国特許出願第12/425,297(2009年4月16日付)の利益および優先権を主張するもので、それらの内容を全体として本明細書中に援用する。
(背景)
この出願は、テレビ等のディスプレイ上に対話型インターネット・マルチメディアを表示する装置および方法に関する。
(概要)
携帯型マルチメディア装置は、インターネットに接続することでインターネット・コンテンツを得るとともに、インターネット・コンテンツを含むフォーマットされたコンテンツをテレビ等のディスプレイに送信する。
携帯型マルチメディア装置は、インターネットに接続することでインターネット・コンテンツを得るとともに、インターネット・コンテンツを含むフォーマットされたコンテンツをテレビ等のディスプレイに送信する。
したがって、マルチメディア装置のユーザは、インターネット・テレビまたはインターネット映画を見たり、インターネット音楽を聴いたり、ゲームで遊んだり、またはさもなければ従来のコンピュータをテレビに接続する必要なくインターネット接続を体験するプラットフォームを手にする。
さらに、いくつかの実施形態では、マルチメディア装置は、ポインティング・デバイス装置として該装置を用いること(ユーザがこの装置を動かすことでユーザの望むスクリーン上にカーソルを置くこと)により、インターネットとのシームレスなやりとりを可能にする。
参照することにより、本開示の特徴および目的は、よりいっそう明らかになる。
同様の参照符号が同様の構成要素を示す添付した図面に関連して以下の説明を参照することによる。
(詳細な説明)
次に示す本開示の実施形態の詳細な記述では、同じ参照は同じ要素を示し、本開示が実施される特定の実施形態によって示される添付の図面が参照される。これらの実施形態は、本開示の実施を当業者が可能になるように、十分に詳細に記述されており、他の実施形態を利用することが可能であること、ならびに論理的変更、機械的変更、電気的変更、生物学的変更、化学的変更、機能的変更、およびその他の変更を、本開示の範囲から逸脱することなく、行うことが可能であることが、理解される。したがって、以下の詳細な説明は、限定的な意味で理解されるものではなく、添付された請求項の範囲によってのみ、本開示の範囲が定義される。本開示で使用されるように、用語「または」は論理的選言肢(すなわち、用語「および」を包含)として定義されると理解されるものとし、明確にそういうものとして示される場合または「排他的選言」として示される場合を除き、排他的選言肢を示すものではないとする。
次に示す本開示の実施形態の詳細な記述では、同じ参照は同じ要素を示し、本開示が実施される特定の実施形態によって示される添付の図面が参照される。これらの実施形態は、本開示の実施を当業者が可能になるように、十分に詳細に記述されており、他の実施形態を利用することが可能であること、ならびに論理的変更、機械的変更、電気的変更、生物学的変更、化学的変更、機能的変更、およびその他の変更を、本開示の範囲から逸脱することなく、行うことが可能であることが、理解される。したがって、以下の詳細な説明は、限定的な意味で理解されるものではなく、添付された請求項の範囲によってのみ、本開示の範囲が定義される。本開示で使用されるように、用語「または」は論理的選言肢(すなわち、用語「および」を包含)として定義されると理解されるものとし、明確にそういうものとして示される場合または「排他的選言」として示される場合を除き、排他的選言肢を示すものではないとする。
本開示は、マルチメディア装置および方法に関する。具体的には、本開示の発明者は、インターネット・コンテンツへのアクセスがコンピュータ・ディスプレイのみではないディスプレイ上で可能になるように、関連方法とともに、装置を発明した。実際、本開示の実施形態によれば、装置は、ディスプレイ固有フォーマットでフォーマットされ、かつディスプレイに無線送信されるインターネット・コンテンツを受信する。
図1は、関連する原理を説明するものである。実施形態によれば、また図1に示されるように、マルチメディア装置は、インターネット・コンテンツ装置250(例えば、ルータ、無線ケーブル・モデムなど)を介してインターネット・コンテンツ200を受信する装置である。実施形態によれば、インターネット・コンテンツ200はマルチメディア装置100に送信され、インターネット・コンテンツ装置250から無線信号を受け取るように構成される受信機120を介して受信される。。インターネット・コンテンツ200は獲得され、ディスプレイ300に表示できるようにフォーマットされる。その後、マルチメディア装置100は、無線で送信機130を用いて、インターネット・コンテンツ200をディスプレイ300へ送信する。
マルチメディア装置100のユーザは、コンピュータ110に接続する1つ以上の入力装置140を用いて、インターネットとのやりとりを行う。受信機120は、コンピュータ110によって制御され、インターネット・コンテンツ装置250からインターネット・コンテンツ200を受信する。また、送信機130は、ディスプレイ300上での閲覧用にフォーマットされたインターネット・コンテンツ200を、ディスプレイ300に送信する。
実施形態によって、また図2および図3に図示されるように、マルチメディア装置100は、ディスプレイ300(例えば、テレビ)と連動する携帯装置であり、設けられたディスプレイ300がマルチメディア装置100から無線信号を受信することができる。また、設けられたマルチメディア装置100がインターネット信号を受信する。いくつかの実施形態では、コンテンツがマルチメディア装置100そのものから提供されている場合、インターネット信号は任意のものである。ユーザがディスプレイ300の範囲内にマルチメディア装置100を持ち込むと、任意のインターネット・コンテンツ200を含むコンテンツがマルチメディア装置100からディスプレイ300に送信される。
図2に示されるものは、インターネット・コンテンツ装置250からインターネット・コンテンツ200を有する無線信号を受信するマルチメディア装置の説明である。続いてマルチメディア装置は、インターネット・コンテンツ200をユーザ・フレンドリなグラフィカル・ユーザ・インタフェース(GUI)にフォーマットし、該フォーマットがなされたインターネット・コンテンツ200をテレビ標準信号(例えば、ATSC)を介してディスプレイ300Aに出力する。ディスプレイ300Aは、アンテナ320Aを介してマルチメディア装置100から信号を受信する。
図3では、ユーザはもはや、元の閲覧位置にはいない。しかし、マルチメディア装置100がインターネット・コンテンツ200を送信していることから、マルチメディア装置100から無線信号を受信するように構成された任意のディスプレイ300B(アンテナ320Bを有する)に対して、ユーザが直前に体験していた同一コンテンツを送信可能である。したがって、マルチメディア装置は、マルチメディア装置100から無線信号を受信するように構成できる任意の数のディスプレイ300上でコンテンツを体験するための移動可能な解決策を構成する。
例えば、ユーザがテレビ・コンテンツを記録したディジタル・ビデオ・レコーダ(DVR)が、記録されたコンテンツをインターネットに流すためのサーバとして構成される。ユーザは、マルチメディア装置100を用いて、記録されたコンテンツにインターネット経由でアクセスすることが可能であり、またマルチディア装置100を用いて自分の家の任意のディスプレイ300上で、それを見ることが可能である。さらに、ユーザが友人の家へ行き、ユーザが友人のインターネット接続にマルチメディア装置100を接続すると、あたかも自分の家にいるかのように、ユーザは友人のテレビ上でインターネット・コンテンツ200を体験することができる。別の例によれば、ユーザがホテルへ行き、ホテルのインターネット接続へ無線または有線を介して接続すると、ユーザは、自分が記録し、かつ自分のDVRを介して利用可能となったテレビ番組を見ることを含め、インターネット・コンテンツ200を体験することができる。
例えば、ユーザは、インターネットを通じて利用可能になったテレビ番組コンテンツの商用リポジトリからテレビ番組または映画を見たいとすると、そのようなリポジトリとしては、テレビ番組の以前のエピソードがオンデマンド視聴できるネットワーク・サイト、Netfix.comまたはHulu.com等のサード・パーティ・プロバイダ、またはNLB.tv等のスポーツ提供プロバイダといったネットワークサイトが考えられる。そのようなインターネット・コンテンツ200は、マルチメディア装置100によって獲得され、無線信号を受信することができるディスプレイ300があり、インターネット接続が利用可能な任意の場所から見るためにディスプレイ300(例えば、テレビまたはコンピュータのモニタ)に送信される。
実施形態によれば、マルチメディア装置100は筐体内に配置される。筐体内に配置されるものは、コンピュータ110、受信機120、および送信機130である。少なくとも1つの入力装置140は、筐体の外部に配置され、ユーザがコマンドまたは他の入力をマルチメディア装置100に入力するのを可能にする。実施形態によれば、筐体はテレビ用リモコンまたは他のポータブル携帯装置に匹敵する携帯型の筐体となるように構成される。一般に、この装置は、ポータブルであること、また容易に運搬、保持、または移動できるよう意図されている。
図3Aおよび図3B(図5も参照)は、マルチメディア装置100の実施形態を図示するものである。装置は、図3Aおよび図3Bに示されるものから、多くの寸法、構成、またはレイアウトが得られる。図3Aおよび図3Bに例証する実施形態によれば、マルチメディア装置100が示されている。図示されるように、コンピュータ110、受信機120、および送信機130を含む動作用構成部品の多くは、示した筐体内部に配置される。
本明細書中で使用される用語「コンピュータ」は、当業者に一般に連想され、かつ公知の意味を有するものであり、限定されるものではないが、パーソナル・コンピュータおよび携帯情報端末と、マイクロプロセッサを有する、またはコンピュータにもともと関連している機能を実行することができるポータブル装置と、コンソール型のマルチメディア装置と、ディスプレイに対してマルチメディア・コンテンツを送るために用いられるセットトップ装置とが挙げられる。一般に、コンピュータは、複数のタスクを実行するための1つ以上のコア・マイクロプロセッサ(例えば中央処理装置(CPU)、グラフィック処理装置(GPU)、または機能的な等価物)、あるいは特定の専用の命令を実行するための少なくとも1つの専用処理装置を有する。
実施形態によれば、本開示のコンピュータはまた、ディスプレイに対してGUIのビデオ画像を送ることができるビデオ処理チップまたはGPUを有する。例えば、NVIDIA Tegraチップセットは、この開示の装置とともに使用するのに適した処理装置である。
実施形態によれば、マルチメディア装置100は、コンピュータに共通するプロセッサおよび他の構成部品、例えば携帯情報端末型の装置または携帯電話で用いられるようなARMまたはIntel ATOMプロセッサを有する携帯装置を具備する。
同様に、実施形態によれば、マルチメディア装置100のメモリおよびデータ保存装置は揮発性または不揮発性であってもよい。主記憶装置は、ランダム・アクセス・メモリ(RAM)または読出し専用メモリ(ROM)の形態であってもよい。当業者には承知され理解されるように、メモリもまた、プロセッサ・レジスタまたはプロセッサ・キャッシュ・メモリを有するものであってもよい。さらに、不揮発性メモリの形態も同様に熟考されるもので、当業者に周知かつ理解される、磁気メモリを含む、例えばハード・ディスク・ドライブ、ソリッドステート・ディスク・ドライブ、フラッシュ・メモリ、およびその他種々の形態の記憶装置が挙げられる。実施形態によれば、この開示の装置は、マルチメディア装置から着脱できない固定式メモリおよび着脱式のメモリの両方を有するものであってもよく、着脱式メモリは固定式メモリに加えて、またはその代わりに用いてもよい。実施形態によれば、別個のメモリをGPU用に用いてもよい。
実施形態によれば、マルチメディア装置100は電池駆動式である。マルチメディア装置100の低消費電力実施形態は、例えばアルカリ電池を電源とするものであってもよい。より高電力が要求される場合には、この開示の装置用に設計された特定の充電ステーションをつなぐことができるニッケル水素電池またはリチウムイオン電池等の特定の電源が必要となる場合がある。当業者は、個別対応で各実施形態に必要な所要電源条件を明確に理解し、不適当な実験なしに適切な電源を設ける。
実施形態によれば、制御装置140はインターネット・コンテンツ200の選択およびそれとのやりとりを行うための入力メカニズムを提供する。図4Aおよび図4Bに示されるように、入力装置は、例えばボタン140A、140Dまたは接触感受式のダイアル140Bを有する。インターネット・コンテンツ200に関しては、統一資源識別子(URI)のアドレスをタイプするために、またはインターネット・コンテンツ200と情報のやりとりを行うために、多くの場合、キーボード140Cまたはテンキーパッドが有用である。これらの入力メカニズムには、コンピュータ110において少なくとも1つのコマンドが割り当てられており、それによってマルチメディア装置100のユーザがコンピュータ110に接続または該コンピュータ110に対して入力を行うことが可能となる。なお、該入力はディスプレイ300上にアイコンまたはイベントとして対応表示される。当業者は、入力装置の構成が種々の形態を呈するものであってもよく、また種々の構成部品を含むものであってもよいことを、容易に理解する。例えば、キーボード、キーパッド、テンキーパッド、追加のボタン、タッチ・スクリーン、タッチパッド、スクロール・ホイール、アクセロメータ、振動装置、重力検知装置、音声応答装置、およびリモコン、ゲーム用コントローラ、またはコンピュータでインストール可能な他の入力装置が適当なものであり、本開示ではそれらを明確かつ詳細に検討する。さらに、インターネットによる社会的相互関係を促進するために、または音声制御コマンド用に、マイクロホンを装置に設けてもよい。また、マルチメディア装置100は、ビデオゲーム・プラットフォームと一緒に使用するために特別に設計された制御装置を具備するものであってもよい。
実施形態に基づく受信機120は、コンピュータ110とインターネット・コンテンツ装置250との間の無線通信のための送信機と受信機とを具備する。インターネット・コンテンツ装置250は、マルチメディア装置100に対して、無線(またはいくつかの実施形態によれば有線)で、インターネット・コンテンツ200を提供またはアクセス可能にするように、構成された任意の装置である。例えば、インターネット・コンテンツ装置250は、無線ルータまたは携帯電話タワーを有するものであってもよい。インターネット・コンテンツ装置250は、データ転送のための無線プロトコルを少なくとも介して通信を行うもので、それは独自のものであってもよく、またインターネット・コンテンツ装置250からマルチメディア装置100へ特定のデータの転送に最適化されたものであってもよく、あるいはIEEE 802.ll、Bluetooth (例えば、IEEE 802.15.x)、GSM、CDMA、または3G等の安定したプロトコルに基づいて、転送されるものであってもよい。一般に、受信機は、データをA点からB点へ無線または有線で送信するように構成された装置と連携するように、設計されている。
同様に、送信機130は、マルチメディア装置100からディスプレイ300にコンテンツを送信するために、発信器で構成される。実施形態によれば、送信機130は、手を加えられることなくディスプレイが受信して用いる信号を送信する。例えば、ディスプレイ200がテレビである場合、信号はATSC、DVB、ISDB、DTMB、DMB、NTSC、PAL、SECAM、または他の標準的もしくは非標準的なテレビ放送信号であってもよい。これらの例では、内蔵アンテナまたはテレビに接続された別のアンテナが信号を受信してコンテンツを、他の放送信号の受信および表示と同じように、ディスプレイ300上に表示することもある。実施形態によれば、送信機130の信号強度は、ディスプレイ300が配置されている所定の領域にとっては十分ではあるが、近隣のディスプレイ300に対しての送信には十分とは言えないものである。例えば、送信機130は、ある任意の範囲(例えば20フィート)に配信するように送信機を構成することもあり得る。同様に、ユーザは、電力の節約とマルチメディア装置100の範囲とのバランスを保つために、オプションとして、送信機130の信号強度を選択することが可能であってもよい。
実施形態によれば、送信機から送られた信号130にスクランブルをかけることで、マルチメディア装置100からディスプレイ300へ送られたコンテンツが無許可で視聴されるのを防ぐことが可能である。例えば、ATSC規格は、地上波放送用限定受信システム(Conditional Access System for Terrestrial Broadcast)と呼ばれる規定を有しており、これによって、無線放送局が信号にスクランブルをかけて、要求された認証なしでは表示できないようにする。地上波放送用限定受信システムは、低出力のATSC信号によってディスプレイ300に送信されるコンテンツにふさわしいプラットフォームを提供する一方で、無許可の視聴者(例えば、隣人)が自分のディスプレイ300を、送信者130が送信しているチャンネル/周波数に合わせることでマルチメディア装置100から送信されたコンテンツを見ことを不可能にする。
実施形態によれば、マルチメディア装置100は、さらに放送信号を受信するATSCチューナ等の少なくとも1つの標準チューナを具備する。マルチメディア装置100は、マルチメディア装置100からのコンテンツ(例えばインターネット・コンテンツ200)と放送コンテンツとを結合してフォーマットし、送信機130が信号をディスプレイ300に送信する。実施形態によれば、マルチメディア装置100からのコンテンツは放送コンテンツの上に置かれたGUIオーバーレイである。例えば、もしユーザがKTLAで送信される野球放送を見たければ、マルチメディア装置100のアンテナがこのゲームを受信することになる。インターネット・コンテンツ200もまた、マルチメディア・装置100によって受信され、これは、例えば統計、ソーシャル・ネットワーキング/インタラクション、またはファンタジー・ベースボール統計を示すために、ゲーム・コンテンツの上に置くことが可能であるGUIレイヤである。
図4に示す別の実施例では、ライブの野球スポーツ・イベントの典型的な表示が示されている。マルチメディア装置100は、放送コンテンツ・プロバイダによってフォーマットされる方法で、イベントを受信する。マルチメディア装置100は、インターネット・コンテンツ200と放送信号とを組み合わせて、ユーザのファンタジー・スポーツ・チームからのインターネット・コンテンツ200でディスプレイ300の左側に野球の試合を重ねる。スクリーンがより広いディスプレイ300では、何も表示されていない部分がもしスクリーン上にあれば、そこでマルチメディア装置100からデータと重畳される。例えばスクリーンが16:9であるのにテレビのコンテンツが4:3である例である。示した例では、インターネット・コンテンツ200は、野球の試合の上に目立たない場所で右側に重ねられる。実施形態によれば、ユーザはマルチメディア装置100上の入力装置140を用いて、配置、サイズ、位置、および他の設定可能な提示オプションを制御することが可能である。例えば、ユーザは、ディスプレイ300の特定の領域にカーソルが置かれている場合を除いて、1つ以上の重畳されたインターネット・コンテンツ200を隠すことができ、またフォント・サイズ等を変えることが可能である。さらに、インターネット・コンテンツ200がリアルタイムであるので、図4に示すようにチャット等のソーシャル・ネットワーキングが許可されることで、野球の試合観戦の体験が豊かになる。
実施形態によれば、送信機130は独自の信号受信機につながれてもよい。独自の信号受信機は、既知の方法(例えばコンポジット、コンポーネント、HDMI、D−sub等)を介して直接、ディスプレイ300に接続する。さらに、独自の信号受信機はケーブルまたは衛星受信機に接続することにより、または放送コンテンツを受信する能力のあるチューナを有することにより、さらにサードパーティ・コンテンツを受信するように構成されてもよい。実施形態によれば、独自の信号受信機は、ケーブルまたは衛星受信機等を接続することができる1つ以上の入力を持つ。その後、ケーブルまたは衛星ボックス等からの入力信号は、マルチメディア装置100から独自の信号受信機に無線で送信されたコンテンツと重畳される。実施形態によれば、プライバシーを保障するために、送信機130から独自の信号受信機に至る独自のスクランブル信号が利用される。
ディスプレイ300は、マルチメディア装置100からオーディオ/ビジュアル・コンテンツを表示することが可能な任意の装置であってもよい。例えば、ディスプレイはテレビまたはコンピュータ・モニタであってもよい。さらに、ディスプレイ300を、ビルボード、大きなスタジアム・ディスプレイ、アリーナ・ディスプレイ、プロジェクター等とすることができ、各々がマルチメディア・コンテンツを表示することができる。
実施形態によれば、マルチメディア装置100は、装置の中心的機能を実行するために、さらにオペレーティング・システムを含む。当業者によって知られ、かつ理解されるように、オペレーティング・システムは、ソフトウェア・レベルで、コンピュータ110、送信機130、受信機120、および入力装置からの入力を制御する。オペレーティング・システムは、商用のオペレーティング・システムをそのまま、またはマルチメディア装置100に対して特別に改良したものであってもよい。例えば、Microsoft Windows(登録商標)オペレーティング・システム、Microsoft Windows(登録商標)モバイルあるいはunixベースのオペレーティング・システム(Linux等)は、マルチメディア装置100のオペレーティング・システムとして用いられてもよい商用ソフトウェアの例である。実施形態によれば、オペレーティング・システムはさらに独自オペレーティング・システムであってもよく、またはマルチメディア装置100に特化して作られた改良型の商用オペレーティング・システムであってもよい。
一般に、オペレーティング・システムは、マルチメディア装置100のハードウェア・コンポーネントを制御するもので、該ハードウェア・コンポーネントは、入力、インターネットからのコンテンツの受信、ならびにディスプレイ300上に表示するデータのフォーマットおよび送信に備えるものである。オペレーティング・システムは、インターネット・ブラウザ、ユーティリィティ、マルチメディア・プレーヤー、ゲーム等の追加ソフトウェアが付加されたものであってもよい。実施形態によれば、オペレーティング・システムは、ハード・ディスク・ドライブまたは揮発性メモリに組み込まれたフラッシュ・メモリ等のメモリ装置上に格納されて存在してもよく、あるいは読み出し専用のメモリの一部として存在してもよい。当業者は、本開示の装置とともにオペレーティング・システムをどのように実装するか、また本開示の方法をどのように実施するかを知り、かつ理解することだろう。
実施形態によれば、オペレーティング・システムはウェブ・ブラウジング能力を直接提供する。さらに、オペレーティング・システムは、サードパーティ・アプリケーションまたはウィジェットのサポートを含むことができる。これらのサードパーティ・アプリケーションまたはウィジェットは、マルチメディア装置100に特有のもの、またはサードパーティーによって提供されるものであってもよい。実施形態によれば、オペレーティング・システムのブラウザは標準のウェブ・プロトコルを用いて、インターネット・サーバを識別することで、インターネット・サーバが特定のマルチメディア・フォーマットされたページと、マルチメディア装置100ユーザ・インタフェースと互換性をもつ追加のデータ・ストリームおよびインタラクティブ性を、任意に提供することが可能になる。実施形態によれば、オペレーティング・システムは署名入り環境を提供する。それによって署名されたプログラムのみが、オーバーレイされたオペレーティング・システムの環境内で実行される。
実施形態によれば、マルチメディア装置100は、アプリケーション・プログラミング・インタフェースを有しており、該アプリケーション・プログラミング・インタフェースには、開発者を支援する開発ツール、コンパイラ、エディタ、デバッガおよび他のユーティリィティ・アプリケーションが備わっている。特化したインターフェース、プログラミング環境、および言語(例えば、C++、Flash、Java(登録商標)、Silverlight、OpenGL)、同様に独自のビデオ、グラフィックス、ゲーム、およびその他のアプリケーション・プログラミング・インタフェースのサポートが検討される。
実施形態によれば、受信機120はインターネット・コンテンツ装置250からインターネット・コンテンツ200を受信する。インターネット・コンテンツ200には、インターネットで一般に入手可能なコンテンツが含まれ、該コンテンツとして、ウェブ・ページ、ダウンロード可能またはストリーミングされた音楽、画像、および視聴覚コンテンツの形態となったマルチメディア・コンテンツ、ゲーム等が含まれる。実施形態によれば、マルチメディア装置100は、インターネット・コンテンツ200を正しく表示するためのコーデックおよびソフトウェアのライブラリを有する。例えば、マルチメディア装置100には、MP3、MPEG−4動画等を再生するためのAdobe Macromedia Flashまたはコーデックの種々のバージョンがインストールされている。ここに列挙されない一般に用いられているソフトウェアおよびコーデックが明確かつ詳細に検討され、一般に、ホーム・コンピュータがインターネット・コンテンツ200を表示することができれば、マルチメディア装置100は、同じインターネット・コンテンツ200を表示することができる(多くの場合、必要なコーデックまたはソフトウェアをインストールし使用することによる)。
典型的には、受信機120はインターネット・コンテンツ200を無線で受信するように構成されるが、イーサネット(登録商標)(例えば802.3)等の有線を介してインターネット・コンテンツを受信するように構成されたものであってもよい。本実施形態によれば、無線受信は、従来の規格、例えばIEEE 802.11、Bluetooth(IEEE 802.15)、GSM、CDMA3 EDGE、3G、または他の一般に使用される規格によるものであってもよい。当業者に知られ、かつ理解されるように、無線インターネット・コンテンツは既知の暗号アルゴリズム、例えばWPA、WPA2、WEP等、または無線技術で用いられる他の暗号化規格によって暗号化されてもよい。
実施形態によれば、受信機120は、少なくとも1本のアンテナと、インターネット・コンテンツ200を受信するための装置を具備する。実施形態によれば、マルチメディア装置100のバッテリ持続時間を保つために、より低出力状態となるように受信機120が構成される。
実施形態によれば、送信機130は、マルチメディア装置100が送出するメニューおよびソフトウェアインターフェースのような、インターネット・コンテンツ200および他の所望のコンテンツを表示するためにディスプレイ300にデータを送信する。実施形態によれば、送信機130はテレビ等のディスプレイ300に固有のフォーマットで信号をディスプレイ300に送信する発信器を有する。例えば、ディスプレイ300がテレビである場合、信号は、標準化された放送信号(ATSC、DVB、ISDB、DTMB、DMB、NTSC、PAL、SECAM、または他の規格等)あるいは非標準のテレビ放送信号であってもよく、アンテナを介して該信号をテレビのチューナで受信することができる。ディスプレイの種類とディスプレイまたはディスプレイ・ハードウェアに接続された補助的受信装置によって受信され得る信号の種類に応じて、他の信号も同様に検討されるもので、該信号として、無線HDMI、無線USB、Wifi、またはBluetooth信号が挙げられる。一般に、信号フォーマットは、ユーザに有用である程度に、ディスプレイ300に対する十分な明瞭度とともに、ディジタルまたはアナログ信号を送信するために十分な帯域幅および忠実度を有していなければならない。
ATSC等の規格化された放送信号を用いることは、場合によっては小さな標準的なアンテナを付けた後、マルチメディア装置100が同報するのと同じチャンネルに、ユーザがテレビを合わせることを可能にする。さらに、デジタル・データの実際のエンコードを変えることなく周波数をシフトした低消費電力ATSC互換信号の同報によって、アナログ受信機がATSC規格の周波数にシフトすることを可能にすることで、ATSC規格のチューナと互換性をもつようになる。
実施形態によれば、マルチメディア装置100は、フォーマットされたコンテンツを送信機130がディスプレイ300に送信する周波数をユーザが指定することを可能にする。したがって、例えば、多数のマルチメディア装置100が隣接しているディスプレイ300と共に用いられる場合、あるいは放送信号が妨げられる場合、ある周波数上での干渉は別の周波数を用いることで解決可能である。
送信機130によって送信されたインターネット・コンテンツ200は、テレビまたはコンピュータ・モニタ等の特定のディスプレイ300用にフォーマットされる。実施形態によれば、インターネット・コンテンツは、ディスプレイ300の表示画面をすべて実質的に占める。インターネット・コンテンツ200のディスプレイは当該技術分野で周知である。実際、オープン・ソース・ウェブ・ブラウジングおよびディスプレイ・ソフトウェアは容易に入手可能であり、本開示の装置に容易に取り込むことができる。それにより、ユーザはマルチメディア装置100の入力装置140を用いて、YouTube.comまたはHulu.comを介してテレビ番組、映画、および動画等のマルチメディア・コンテンツを見ること、音楽を聴くこと、インターネットもしくはマルチメディア装置100上にホスティングされたゲームで遊ぶこと、あるいはさもなければキーボードおよびマウスを用いてコンピュータの前で体験するようなインターネットを体験することを選択するなど、インターネットを「サーフィン」することができる。
それだけでなく、いくつかの実施形態によれば、本開示の装置は、マルチメディア装置100に関連していないテレビまたはビデオゲーム・コンテンツの見方をより良いものにするために用いられることを意図している。これらの場合では、マルチメディア装置100は、コンテンツとの対話、あるいはソーシャル・ネットワーキングに有用なディスプレイ300上の重畳を提供することができる。テレビジョンに連結されたアンテナを介してコンテンツが放送受信されている場合、有用なデータまたはソーシャル・ネットワーキングを放送コンテンツと重畳してもよい。ケーブル・ボックスまたは衛星受信機が存在する場合、送信機130は信号を独自信号受信機へ送信することができ、この信号は、上記のように、ケーブル・ボックスまたは衛星受信機からディスプレイ300に送信されているデータと一緒に用いられる。
実施形態によれば、マルチメディア装置100はユーザがディスプレイ300の大きさを指定することを可能にするように構成される。したがって、マルチメディア装置100は、送信機130によってディスプレイ300に送信されるコンテンツをフォーマットすることで、正確な表示比率および解像度を持つ。例えば、例えば、ユーザは、ディスプレイのアスペクト比を表示装置のアスペクト比、例えば16:9に合わせ、水平方向画素数1440で表示させるよう解像度を設定する。他の機能、例えば色補正、3Dレンダリング等も検討される。
インターネット・コンテンツ200は、実施形態に従ってあらかじめフォーマットされたGUIを備えたディスプレイ300上に表示される。実施形態によれば、GUIナビゲーションは、使いやすくするためにポイント・アンド・クリックとなるように、設計される。
上に詳細に記述されるように、入力装置140は多くの異なる形態を呈するものであってもよい。実施形態によれば、入力装置は、ポインティング装置(例えばタッチパッド、ポイティング・スティック、トラックボール、または方向パッド)およびキーボードを有するものであってもよい。実施形態によれば、キーボードは、必要になるまでマルチメディア装置100の筐体内に収めておくことも可能であり、必要時にキーボードを引き出すか、カバーを取り除いてキーボードを露出させる。さらに、マルチメディア装置がゲーム・プラットホームとして用いられる場合、専用ゲーム・コントローラは入力装置140を具備するもので、該入力装置140として、例えば、専用コントロール・パッド、トリガー、および計画的に配置されたボタンが挙げられる。
キーボードは、例えば、共通の携帯型の通信装置の中で用いられるようなQWERTYキーボードまたは各キーに複数の文字が関連づけられたより小型のキーボードとすることができる。マルチメディア装置100は、最初の数文字が入力された後、よく使う言葉を完成させてユーザを支援するオートコンプリートロジックがプリプログラムされたものであってもよい。
実施形態によれば、マルチメディア装置100は、メニュー・オプション、キーボードを表示、あるいはカーソルの操作を可能にする接触感応画面を有する。例えば、実施形態によれば、タッチ感応画面はディスプレイ300と同じ縦横比を有するものであってもよい。また、カーソルは、ユーザが指を置くタッチ感応ディスプレイ上の位置に対応するディスプレイ300上に置かれる。他の実施形態によれば、タッチ画面は、メニュー・オプションを選択するのに、あるいはカーソルを置くのに役立つように同じ縦横比を共有する必要はない。しかしながら、タッチ感応画面は、ディスプレイ300に示されたコンテンツに依存して変わるダイナミック・メニューに限定されるものであってもよい。例えば、ユーザがディスプレイ上の「メニュー」環境を入力すれば、メニューに特有のオプションがひとそろいになってタッチ感応画面に示される。ユーザがインターネット提供映画サイトの映画を見ている場合、ポーズ、スキップ、または巻き戻し等の映画専用のオブションをタッチ感応画面に表示することが可能である。
実施形態によれば、音声認識ソフトウェアによって、マルチメディア装置100に入力されるコマンド用の単純なプラットフォームを提供することが可能である。したがって、これらの実施形態によれば、明らかに、マルチメディア装置100はマイクロホンを具備することになる。他の実施形態によれば、マルチメディア装置100は入力装置140の少なくとも1つとしてマイクロホンを含む。マイクロホンを、リアルタイムにおいて社交的に通信するソーシャル・ネットワーキングに用いてもよい。音声入力は、ソーシャル・ネットワーキング・プロトコルを介して接続している他のすべてのユーザのもとへ送られる。また、音声はディスプレイ300に接続されたスピーカーから発される。
実施形態によれば、ポインティング装置はマルチメディア装置100から構成される。すなわち、カーソルは、レーザ・ポインタのように、マルチメディア装置がねらいを定められている位置に、実質的に置かれる。
ディスプレイ認識
ディスプレイ認識
実施形態によれば、本開示は、入力装置140を備えたマルチメディア装置100から構成される。この入力装置40は、コンピュータ110に接続されたディスプレイ・レコグナイザ602を有するディスプレイ認識装置である。ディスプレイ認識装置はディスプレイ300を認識するように構成される。マルチメディア装置100がディスプレイ300に対して向けられる場所を決めることによって、アイコンまたはカーソルがコンテンツ・フォーマット・プロセスを介してディスプレイ300上に示される。実施形態によれば、コンピュータ110は、決定された位置にあるカーソルで送信機130からコンテンツを送信することにより、ディスプレイ300にアイコンを配置する。
実施形態によれば、また図5に示されるように、マルチメディア装置100の一実施形態が示される。マルチメディア装置100はディスプレイ・レコグナイザ602(専用入力装置140)および他の入力装置140を有する。ディスプレイ・レコグナイザ602は撮像装置を有する。この撮像装置は、ディスプレイが位置する空間を撮像し、ディスプレイを識別する。実施形態によれば、ディスプレイ・レコグナイザ602は、ビデオカメラ、電荷結合素子(CCD)、または音響撮像装置であってもよい。一般に、ディスプレイ・レコグナイザ602はディスプレイが位置する環境の画像を形成することができる任意の装置であってもよい。以下により詳細に説明されるように、それによってディスプレイ300の位置を推定することができる。当業者は、本明細書に開示された一般的原理に基づいて考えられるディスプレイ・レコグナイザ602および他の入力装置140の多くの変更例を認識するだろう。
実施形態によれば、ディスプレイ・レコグナイザ602は、CCD、CMOSディジタル・センサ、または動画もしくは静止画を撮像するのに有用な他のディジタルもしくはアナログビデオ撮像装置であってもよい。マルチメディア装置100がディスプレイ300に向けられる場合、ディスプレイ・レコグナイザ602はディスプレイ300が位置する空間の画像をとらえる。撮像された画像から、以下に詳しく開示するように、例えば一般のディスプレイの縦横比(すなわち幅を高さで割って得られる値)に基づいて、ディスプレイ位置が決められる。本明細書で用いられるように、用語「撮像された画像」は、写真そっくりに撮像された完成画像を意味するものであってもよく、または他の撮像技術、例えばライン走査を意味するものであってもよい。ディスプレイ位置が決定された後、ディスプレイ上のアイコンは、送信機130によってディスプレイ300に送信されたフォーマット済みのコンテンツで示される。それによってアイコンは、ディスプレイ認識装置100が向けられたディスプレイ300上の位置に相当する。
ディスプレイ・レコグナイザ602は、実施形態によれば、可視電磁気(visual electromagnetic、EM)範囲内にある画像を撮像する。実施形態によれば、ディスプレイ・レコグナイザ602は、赤外線EM範囲内の画像を撮像する。実施形態によれば、ディスプレイ・レコグナイザ602は、他のEM範囲中の画像を捕らえてもよい。
実施形態によれば、ディスプレイ・レコグナイザ602は、音響信号器、例えばエコロケーション型技術に基づいて空間を撮像するものであってもい。実施形態によれば、ディスプレイ・レコグナイザ602は光検出測距(LIDAR)装置、例えば遠位にある標的の範囲または他の情報を見つけるために、散乱光の特性を測定するものであってもよい。ディスプレイ・レコグナイザ602からの出力は、ディスプレイ・レコグナイザ602の動作結果に対応する点の集まりから構成されるものであってもよい。
ディスプレイ認識装置が用いられる実施形態によれば、マルチメディア装置100はリモート・コントロール式の携帯型装置である。したがって、マルチメディア装置100は、ユーザがポインティングすることができる携帯装置から構成されるものであってよい。それによってディスプレイ300に対して可変的に配向させることが可能である。
実施形態によれば、マルチメディア装置100を動かすことで、ディスプレイ300上のアイコン(例えば矢印または十字)が動く。すなわち、アイコンはディスプレイ300に対してマルチメディア装置100が向けられているところを実質的に追跡する。マルチメディア装置100がディスプレイ300の中心に向けられる場合、アイコンはディスプレイ300の中心に合わせられる。マルチメディア装置100がディスプレイ300の中心を向いているところから、ディスプレイ300の左上側へ移動すると、その動きを追跡するためにアイコンの位置が変わり、それによって、マルチメディア装置100とアイコンとがディスプレイ300の左上側に向けられるまで、アイコンは常に実質的にマルチメディア装置100が向いている場所を指す。実施形態によれば、動きはコンピュータ110によって獲得されるか、または比較的迅速な方式でマルチメディア装置100からコンピュータ110へ伝えられる。それによって、マルチメディア装置100の動きを追跡することから、画面を横切るアイコンの動きが滑らかに見える。
実施形態によれば、ディスプレイ300に関するマルチメディア装置100の配向、位置、および動作には、上に記述されるように、ディスプレイ300に表示されたアイコンの位置と、1対1の相関性があってもよい。実施形態によれば、マルチメディア装置100の相対的な動きがディスプレイ300に表示されたアイコンの抑制された動きまたは過剰な動きに変えられるように、マルチメディア装置100の相対的な動きに対して、係数(例えば「因数」)を乗じてもよい。実施形態によれば、ディスプレイ300に示されるアイコンの位置は、ディスプレイ300の中心からの方向とディスプレイの中心からの距離とから構成されるものであってもよい。ディスプレイ300の中心からアイコンへの方向は、四辺形の中心からマルチメディア装置100が向けられる場所への方向に相当する。ディスプレイ300の中心からのアイコンの距離は、四辺形の中心からマルチメディア装置100が向けられる場所への距離であり、該距離は、それよりもより大きい係数、それよりも小さい係数、またはそれに等しい係数が乗じられる。実施形態によれば、ディスプレイ300の中心からのアイコンの距離と四辺形の中心からマルチメディア装置100が向けられる場所への距離との関係は、線形、指数関数的、または可変感度(variable sensitivity)のものであってもよい。実施形態によれば、因数は、定数、変数、あるいは他の既知の条件あるいは決定可能な条件の関数であってもよい。
例えば、実施形態によれば、マルチメディア装置100がディスプレイ300の中心に向けられる場合、アイコンはディスプレイ300の中心に合わされる。マルチメディア装置100がディスプレイ300の中心に向いているところから、ディスプレイ300の左上に移動する場合、アイコンの位置は、マルチメディア装置100の移動の方向にしたがって変わるが、この変化は、マルチメディア装置100の移動に単に比例して(例えば、1よりも大きい因数または1未満のファクタによって)、行われる。したがって、マルチメディア装置100は、ディスプレイ300の左上境界を超えた位置に向けられてもよく、またアイコンは、ディスプレイ300の左上側内に表示されてもよい(ここで因数は1未満である)。したがって、「より遅い」ものとしてディスプレイ300上のアイコン移動を感知し、マルチメディア装置100の小さな動作にそれほど反応しない。あるいは、マルチメディア装置100は、ディスプレイ300の左上境界内側の位置に向けられてもよく、またアイコンは、ディスプレイ300の左上側内に表示されてもよい(ここで因数は1よりも大きい)。したがって、「より速い」ものとしてディスプレイ300上のアイコン移動を感知し、マルチメディア装置100の小さな動作に対して、より敏感に反応する。
アイコンがディスプレイ300上のどこに位置しているかの判断を、図6の実施形態に基づいて説明する。図に示されるように、マルチメディア装置100はディスプレイ300が存在する空間の少なくとも1つの画像を撮像する。操作702において、一般に、この空間は、部屋または屋外の場所、例えば大きなディスプレイを有するスタジアムから構成されるものであってもよい。画像は、種々のアナログまたはデジタル・フォーマット形式(例えば不可逆圧縮(jpg)、ビットマップ、tiff圧縮、および撮像画像の操作に適する他のもの)で撮像することが可能である。
実施形態によって、マルチメディア装置100が空間の画像を撮像した後、操作704において、空間の画像にある三次元像を、三次元から二次元に写像してもよい。カメラ・レンズが3次元画像を2次元画像に転換するので、このプロセスはカメラ・レンズによって実行される、当業者は、操作702および704が、ほとんどの場合、同じプロセスで、すなわちディスプレイ・レコグナイザ602による画像の撮像中に、達成されることを容易に理解するだろう。
実施形態によれば、マルチメディア装置100は、微光条件下で空間を照らす光源をさらに有するものである。実施形態によれば、光源は赤外線照明を与えるものであってもよい。ディスプレイ・レコグナイザ602は、反射赤外光を検知するように構成されたものであってもよい。例えば、赤外線が人間の可視スペクトルの外側にあるので、赤外線光源は人間の目によって知覚されるほどに暗い部屋の明るさを増すことはない。
実施形態によれば、ひとたび操作702において画像が撮像された場合または操作704において3Dから2Dへマッピングされた場合、操作706で画像の分析を行い、ディスプレイ300を含む空間内のオブジェクトのエッジを判断する。本実施形態に基づいて、水平および垂直の走査線を用いてエッジが検出される。走査線は、画像の水平方向または垂直方向の「線」である。各々の走査線に沿って、信号の振幅(例えば、白黒画像の黒または白の強度)が測定可能である。したがって、ディスプレイ300の端がすべて検知されるので、マルチメディア装置100の配向は無関係である。実施形態によれば、ディスプレイ・レコグナイザ602は45°に位置する。それによって垂直方向のエッジおよび水平方向のエッジの両方が同一のステップで検知される。
実施形態によれば、マルチメディア装置100によって撮像された画像は、ガウシアンぼかしフィルタを通過する。ぼかすことによって、低振幅の高周波を取り除き、入力撮像画像に自然に存在するノイズが低減される。他のノイズ減少アルゴリズムを同様に用いることができる。
i個の二次元画像について、ガウス関数を以下のように表すことが可能である。すなわち、
式中、xは水平軸の基点からの距離、yは垂直軸の基点からの距離、およびσはガウス分布の標準偏差である。本実施形態によれば、マルチメディア装置100の光学的特性によって、ぼかしを達成することも可能である。
実施形態によれば、エッジを強調するために、出力されたぼけ画像をソーベル・オペレータにかけてもよい。ソーベル・オペレータは高周波(エッジ)で標本(ピクセル)を強調し、同時に低周波ピクセルを禁じる。2Dでは、ソーベル・オペレータの適用は、2回通して行い、1回は強調表示された水平方向のエッジに対して、もう1回は垂直方向に対して適用する。
式中、Aは原画像、GxおよびGyは、各々の点で、水平方向および垂直方向の導関数近似を含む2つの画像である。その出力は、各ピクセルでの水平方向および垂直方向の勾配(GxおよびGy)の測定値である。この出力は、1つのピクセルにある水平方向および垂直方向のエッジの強さを示す。これら2つを組み合わせて、ピクセルに対する全体的な勾配Gを計算することができる。すなわち、次の通りである。
更に、逆正接関数(Gy/Gx)はピクセル位置でのエッジに角度(Θ)を与える。すなわち、次の通りである。
このステップからの出力は、1つのピクセルあたり、所定のピクセルごとのエッジの強度(G)とエッジの角度(Θ)(0〜360度)とを示している。
実施形態によって、ソーベル演算からの出力はキャニー・エッジ検出に用いられる。ソーベル・オペレータが広いエッジを残す場合、各エッジのより正確な位置にキャニー・エッジ検出が施されてもよい。キャニー・アルゴリズムは、近隣のピクセルと比較して、ソーベル演算からの勾配強度Gが極小または極大であるピクセルを見つけ、他のピクセルすべてを捨てる。例えば、Gの値を有し、かつGが小さい左右に近隣ピクセルがあるピクセル(問題のピクセル)は、極大であると確認されるもので、該ピクセルが保存され、垂直方向エッジが識別される。同じことは、問題のピクセルの上方および下方にある複数のピクセルに対して繰り返され、水平方向のエッジが識別され、対角線上の複数のピクセルに対しては、対角線上のエッジが識別される。その出力はエッジ・マップであり、各々のピクセルは、それが含まれるかもしれない四種類のエッジ(水平方向、垂直方向、および2つの対角線方向)の1つとその強度を示している。
実施形態によれば、個別のピクセルはヒステリシス閾値化を用いて、実線を形成するために組み合わせられてもよい。高い閾値および低い閾値が確立される。ピクセルの評価を行って、それらが高い閾値を越える値を持っているかどうかを判断する。そのような値を持つピクセルは、低い閾値以下に低下しないピクセルを含む任意の方向をたどる。低い閾値よりも低くなる値を有するピクセルに遭遇する場合、トレースが停止する。
実施形態によれば、トレースされたピクセルの座標は最小二乗法または特異値分解を用いて、ピクセルが直線上にあるかどうかチェックし、かつ直線方程式を推定するために処理される。2本の直線が頂点を共有するところで、接続を仮定する。4つの直線が4つの頂点によって接続される場合、その後、4つの直線は四辺形を形成すると仮定する。複数の線分が共通の直線に沿って整列するところで、四辺形の計算および識別の目的のために共通の直線を考えて適用することが可能である。線分が交差しない場合、もし線分が伸びた場合に直線が交差するかどうかを評価するために、線分をそれぞれ伸ばすことが可能である。
実施形態によれば、検知されたエッジを用いて、空間内の四辺形を操作708で識別してもよい。マルチメディア装置100が必ずしもディスプレイ300に対して直角に配置されているとは限らないので、画像内に撮像された四辺形はディスプレイ300の縦横比を有する長方形ではなく、むしろ別の四辺形のなんらかの形に似たものであってもよい。例えば、マルチメディア装置100が45°の角度で位置する場合、ディスプレイ300の最も接近している垂直のエッジが、想像されるようにディスプレイ300の最も遠い垂直のエッジよりも長く見えるであろう。したがって、長方形以外の四辺形が識別されてもよいことから、ディスプレイ・レコグナイザ602がディスプレイ300に対してなす角度とは無関係になる。当業者は、四辺形を認定するための識別子が他の識別子と同様に見かけ上の縦横比を有すると容易に理解するだろう。
実施形態によれば、操作308中の四辺形の識別の後、ディスプレイ300として識別された1つの四辺形あるいは識別された一群の四辺形のうちの1つを認定するために、1つ以上の操作が、操作群309にて実行されてもよい。実施形態によれば、識別された一群の四辺形をディスプレイ300として認定され得る可能性のある一群の四辺形にするために、1つ以上の操作を操作セット309が実行してもよい。実施形態によれば、種々の操作が、組み合わさった状態で、または単独で、さらには任意の順序で、操作群309内で実行されることが可能であり、操作にはそれぞれディスプレイ300として識別された四辺形が認定されること、ディスプレイ300でないとして識別された四辺形を削除すること、あるいはディスプレイ300であるその可能性に基づいて、識別された四辺形をランキングすることの可能性がある。
実施形態によれば、マルチメディア装置100は、操作群709内での操作で観察される特性と、これらの特性と所定の識別子との比較に基づいて、ディスプレイ300としての四辺形を認定または除去してもよい。実施形態によれば、観察された特性として、識別された四辺形に対応する長方形の明白な縦横比、識別された四辺形に対応する長方形の見かけ上の縦横比に基づいたマルチメディア装置100の仮想位置、マルチメディア装置100によって撮像された画像内の識別された四辺形の位置、識別された四辺形から出る可視光の量、識別された四辺形から出る赤外線の量、および他の識別された四辺形に関する識別された四辺形の位置とが挙げられる。これらの特性は、ディスプレイ300の類似した特徴に対応する少なくとも1つの識別子と比較されてもよい。
実施形態によれば、識別された四辺形の各々は、ディスプレイ300の既知の縦横比に匹敵する見かけ上の縦横比を有する長方形に相当するかどうかに基づいて、認定されてもよいし、除去されてもよい。実施形態によれば、識別された四辺形の各々は、操作710において一対の三角形に分割されてもよい。各々の四辺形から得られる三角形を分析することで、各々の四辺形が相当する長方形の実際の縦横比の評価として、見かけ上の縦横比を計算する。例えば、2つの三角形の各々には所定の四辺形の2つの辺に対応する2つの辺を有すると考えられる。一方の三角形からの2つの辺の長さの比率と他方の三角形の2つの辺の長さの比率とを平均化することで、各四辺形が対応する長方形の見かけ上の縦横比を決定することが可能である。見かけ上の縦横比は、操作712において、所望または所定のディスプレイ300の所望まあは所定の縦横比と比較されてもよい。例えば、4:3または16:9を所望または所定の縦横比とすることが可能ではあるが、他の比率も本開示の原理に容易に適応可能である。所定の四辺形に対応する長方形の見かけ上の縦横比がディスプレイ300の所定の縦横比の所定範囲以内に収まらないと判断される場合、操作714において、その四辺形を無視し、次の四辺形の三角形を分析してもよい。もし単一の四辺形に必要な比率があれば、それを選択して、プロセスを操作722に進めてもよい。さもなければ、潜在的に認定されている四辺形の一群を、分解(resolution)プロセスに送ることが可能であり、該プロセスを操作716または別の操作において実行することができる。
実施形態によれば、他の縦横比に基づく識別子を用いることが可能である。例えば、比率が正確な長方形に四角形が相当するかどうかの判断は、除去のプロセスによって遂行されてもよい。長方形を見る角度は、二次元で見た場合の長方形に対応する四辺形の外観に対して、影響を及ぼす。したがって、比率が正確な長方形に所定の四角形が相当するかどうかを判断するプロセスは、その四角形を見る角度に依存する。言いかえれば、画像を撮像して2D画像に変換する場合、各々の四辺形に対してそれを3次元から2次元に写像するための変換が生ずる。変形は、例えば、撮像装置のレンズに基づくものである。例えば、広角レンズは、画像中の四辺形を魚眼レンズとは異なったかたちで作り出す。
したがって、所定の四辺形が認定された比率を有する長方形に相当するかどうか判断するために、2D画像の分析を脱変換して、認定された比率を有する長方形に四辺形が実際に相当し得るかどうか判断する。そのような分析は、レンズ、焦点距離、および他の既知のデータの特性に基づく。これらのデータから、マルチメディア装置100の仮想位置を四辺形に基づいて決定することが可能であり、該四辺形は脱変換プロセスにおいて認定された縦横比および既知のデータを有すると思われる長方形に相当すると判断されるものである。ひとたびマルチメディア装置100の仮想位置がわかると、例えば、それが長方形が床から20フィートの位置または90フィート遠方に位置していると判断されるならば、その仮想位置が妥当性があるものまたは除去すべきものであると考える。実際に、そのような分析が実行される際に、一群の四辺形によってマルチメディア装置100の仮想位置を多数生じてもよく、その結果、多数の認定された四辺形が生ずる。その後、選択プロセスを、各々の認定対象の四角形に対して実行することで、ディスプレイ300である四角形を選択する。
実施形態によれば、マルチメディア装置100は、1つの空間に関して主として用いられる。それ故、空間内にある複数の四辺形の相対的位置がわかるコンピュータ110を初期化してもよい。したがって、一旦複数の四辺形間の関係が決定されれば、所定の空間内のこれらの四辺形の相互関係に基づいて、ディスプレイ300の位置がわかる。システムが四辺形の相互関係の変化を検知すると、どの四辺形がディスプレイ300であるかを判断する全面的な方法が実行され、得られた相互関係の判断見直しが行われる。例えば、システムが初期化された後も表示が存在する空間内において、暖炉炉床の新しい額に入った写真を壁にかけてもよい。少なくとも2つの追加の四辺形が検知される(フレーム(写真自体のつや消し表面および輪郭を含む))。別の例では、マルチメディア・コンテンツの一部としてテレビをディスプレイ300に示すことも可能であり、これもまた追加の四辺形として検出される。
実施形態によれば、複数の認定可能な四辺形のなかで、どの四辺形が正しい比率を有しているかを決めるために、操作716において、または操作群709の別の操作において、分解プロセスを実行してもよい。分解プロセスは、所望の比率を有する複数の四辺形のなかでどの四辺形がディスプレイ300であるかを判断するための方法を含む。実施形態によれば、種々の分解技術を用いて、どの四角形がディスプレイ300であるかを判断することが可能である。
実施形態によれば、分解は、操作718において、マルチメディア装置100によって撮像された画像の中心に最接近している認定可能な四辺形の選択により、実行してもよい。
実施形態によれば、分解は、操作720において、複数のネスト化された四辺形のうちの1つを選択することによって、行ってもよい。例えば、複数のネスト化された四辺形の最も外側の1つをディスプレイ300として選択してもよい。実施形態によれば、複数のネスト化された四辺形の中で最大なものを、ディスプレイ300として選択してもよい。
実施形態によれば、マルチメディア装置100は、所定の識別された四辺形が発散させている可視光の量に関するデータを集めてもよい。ディスプレイ300が可視スペクトル中の光を発散させていることを知ることで、マルチメディア装置100は、それが発散させている光の量または相対量に基づいて、識別された四辺形の認定または除去を行うことが可能である。
実施形態によれば、マルチメディア装置100は、所定の識別された四辺形が発散させている赤外線の量に関するデータを集めてもよい。ディスプレイ300が熱を発し、またそれによって赤外線を発し得ることを知ることで、マルチメディア装置100は、それが発散させている赤外線の量または相対量に基づいて、識別された四辺形の認定または除去を行うことが可能である。
撮像された視界を既知の画像と比較することで、ディスプレイ300の方向、配向、および位置に関する情報と、該画像の視界を撮像した時点でのマルチメディア装置100の方向、配向、および位置に対するディスプレイ300上の既知の画像の特徴とを、得ることが可能である。例えば、ディスプレイ300は、マルチメディア装置100によって認識しうる特徴を備えた画像を示すものであってもよい。上記特徴は、他の特徴等に対して、それらの既知の特徴(例えば、形状、寸法、色、位置)に基づいて、認識可能なものであってもよい。マルチメディア装置100によって撮像される特徴は、マルチメディア装置100が向けられている方向に対する特徴の位置と同様に撮像された視界内のディスプレイ300の位置も示すものである。撮像された視界を、スケールおよび回転不変特徴検出に基づいたマルチメディア装置100の視点と無関係の既知の画像と比較してもよい。ディスプレイ300に示された画像はディスプレイ300を満たすもの、あるいはディスプレイ300の少なくとも一部分に与えられた部分的なオーバーレイであってもよい。実施形態によれは、ディスプレイ300に関するマルチメディア装置100のスケールまたは回転と無関係のディスプレイ300に示されることから、SIFTまたはSURP等のコンピュータ・ビジョン・アルゴリズムを用いて既知の画像を認識することが可能である。この分析は、ディスプレイ300にマルチメディア装置100の方向に対応するアイコンをどこで表示しなければならないかの決定を促進する。そのような方法は、単一の測定ステップとして、あるいは繰り返しマルチメディア装置100の操作中に実行されるものであってもよい。同様に、ディスプレイ・レコグナイザ602をマルチメディア装置100またはコンピュータの110と共に用いることで、光学式マウスを制御するアルゴリズム同様に、マルチメディア装置100が時間をかけて移動する方向をおおまかに決定することが可能である。これらの方法は、単独または組み合わせて、あるいは本明細書に開示されている他のものとともに、使用することが可能なものである。
実施形態によれば、間違った四辺形が選択されるならば、マルチメディア装置100はオーバーライド・ボタンまたはコマンド・シーケンスを有するものであってもよく、それによって、ユーザは、間違った四辺形が元あったコンピュータ110を選択したことが分かる。コンピュータ200は、四辺形の関係を「記憶にとどめる」ことが可能であり、それによって、後にアイコン位置決定を反復して行う際に、正しくない四辺形を選ばないようにすることが可能である。したがって、例えば、コンピュータ400が画面自体ではなくディスプレイ300の画面筐体を選択する場合、ユーザはネスト化された四辺形を選択するようにコンピュータに命じることができる。ここで留意すべきことは、ディスプレイ300ではない認定された四辺形上の位置に対してマルチメディア装置100が向けられる場合、非表示の認定された四辺形を選択し、ディスプレイ300の対応する部分にアイコンを出力してもよい。
実施形態によれば、四辺形がディスプレイ300として選択されていた後、ディスプレイ300上のアイコンの位置は操作722に決定されてもよい。実施形態によれば、ディスプレイ300上のアイコンの位置は、アイコンを各撮像された画像の中心に実質的に位置決めすることによって、決定されるものであってもよい。より具体的には、実施形態によれば、アイコンは、マルチメディア装置100のディスプレイ・レコグナイザ602の中心を通って伸びる想像上の経度の並列の直線によって交差した画素位置に置かれてもよい。実施形態によれば、さらにここに議論されるように、ディスプレイ300上のアイコンの位置は撮像された画像の上の任意の選択された位置に相当してもよいし、あるいは撮像された画像の上の任意の選択された位置と関係があってもよい。
例えば、図7に例証された実施形態によれば、ディスプレイ・レコグナイザ602によって撮像された画像850が示される。画像850は、鉢植え801と、ディスプレイ300を有するテレビと、テレビ用スタンド803と、壁掛け805とを有する空間の画像である。画像850内には、いくつかの四辺形802が存在しており、これらには、壁掛け805のフレーム、壁掛け805の写真、テレビ用スタンド803のキャビネット扉、テレビ用スタンド803の前面および側面、ディスプレイ300、およびディスプレイ300上に示された長方形のアイコン、さらにはメディア・コンテンツの一部としてディスプレイ300上に示された家の扉、窓、および煙突が含まれる。当業者が容易に理解することは、煙突が不規則な四辺形であって、この四辺形のすべての角度が直角だとは限らないことである。実施形態によれば、本明細書の方法は、それらが実質的に不規則であるとわかるとすぐに、ここの方法はそのような四辺形を除外してもよい。画像850の中心をドットで表してもよい。
実施形態によれば、本明細書中で議論されるように、ディスプレイ300として画像850内の識別された四辺形の認定または除去を行うために、画像850に対して、さらに1つ以上の操作を行ってもよい(例えば、操作群709にて)。実施形態によれば、画像850に対して、ディスプレイ300上のアイコンの位置を決定する1つ以上の操作(例えば操作722において)を行ってもよい。
実施形態によれば、画像850内で識別された四辺形の各々を2つの三角形に分割してもよい。また、各四辺形に対応する長方形の見かけ上の縦横比が決定される。例えば、見かけ上の縦横比が4:3、16:9、またはディスプレイ300の既知の特性に対応した別の所定の縦横比ではない場合、四辺形がディスプレイ300ではないと判断される。
壁掛け805の写真およびディスプレイ300が各々4:3の縦横比を持つと判断されると仮定する。壁掛け805の写真およびディスプレイ300の両方とも分解ステップにかけることで、どちらがディスプレイ300か判断される。実施形態によれば、画像の中心810に最も近い四辺形が選択され、今回、それはディスプレイ300に一致する。ここで、中心810は、マルチメディア装置100が向けられる位置を示す。
しかし、ディスプレイ300および長方形のアイコン802aが各々、4:3および16:9と判断されると仮定する。従って、分解ステップは、長方形のアイコン802aがディスプレイ300の内部でネスト化されていると判断することから、ディスプレイを表わす四辺形としてディスプレイ300が選択(すなわち、ネスト化され、認定された四辺形の一番外側を選択)される。
実施形態によれば、アイコンは、中心810に最も近い選択された四辺形内の位置に対応して置かれてもよい。このアイコンは中心810の同じ位置に対応して位置する。実施形態によれば、この位置を、ディスプレイ300(選択された四辺形)に対してX%、Y%値によって表すことができる。実施形態によれば、位置を水平方向および垂直方向のピクセル座標として、表すことができ、ディスプレイ300の解像度がわかる。当業者は、アイコンが置かれるべき座標を表わす様々な他の方法を知るとともに理解する。
実施形態によれば、画像850上の選択された位置は、ディスプレイ300上のアイコンの位置に対応する。ディスプレイ300として選択された四辺形が画像850上に出現する。画像850上の選択された位置は、四辺形内にあってもよい。四辺形は2つの三角形に分割されてもよい。また、選択された位置はこれらの2つの三角形のうちの1つの内側にあると判断されてもよい。重心座標および面積座標は、選択された位置が画像に現われる三角形の頂点に対する選択された場所の位置に基づいて決定されるものであってもよい。三角形の頂点がディスプレイ300の3つの既知の頂点に相当するので、アイコンがディスプレイ300に示されるように適切な位置を決定するために、座標をディスプレイ300上に写像することが可能である。
マルチメディア装置100がどこで向けられるかの座標が知られた後、操作724において、マルチメディア装置100が向けられる位置に一致するディスプレイ300に対して、アイコンが出力される。実施形態によれば、上記プロセスは短い間隔(例えば毎秒10回)で繰り返されてもよく、それによって、アイコンは、マルチメディア装置100がどこで向けられるかに関してマルチメディア装置100の小さな動作にさえ、反応するように思われる。
実施形態によれば、画像850に識別された四辺形に対応する長方形の見かけ上の縦横比を、四辺形の4つの頂点に基づいて決定することが可能である。各識別された四辺形と各識別された四辺形に対応する実際の縦横比とに関して、マルチメディア装置100の実際の位置(位置および配向を含む)は、未知と思われる。各識別された四辺形に関するマルチメディア装置100の仮定上の位置を求めることが可能である。また、仮定上の位置は、マルチメディア装置100の実際の位置である可能性について、評価されるものであってもよい。
実施形態によれば、ディスプレイ300の既知の特性に対応する所定の縦横比(4:3、16:9、他)を知ること、およびディスプレイ・レコグナイザ602の光学の特性を知ることによって、各識別された四辺形に対応する仮定上の位置を計算することが可能である。所定の四辺形用の仮定上の位置は、ディスプレイ300のそれと等しい実際の縦横比がある長方形に対応させるために、所定の四辺形のためにマルチメディア装置100が仮定する必要がある位置である。見かけ上の縦横比、ディスプレイ・レコグナイザ602の光学の特性およびマルチメディア装置100の想定する仮説の位置に基づいて、実際の縦横比は計算可能である。したがって、計算のための仮定は、各識別された四辺形がディスプレイ300である、またはそうであるかもしれないというものであってもよい。
例えば、画像850に基づいた対応する最初の四辺形がある最初の長方形の見かけ上の縦横比が4:3で、ディスプレイ300が4:3であると知られている場合、画像850が撮像された時点でのマルチメディア装置100の最初の仮定上の位置(最初の四辺形に対する)は、最初の四辺形に対して直角の位置となる。最初の仮定上の位置は、最初の四辺形に対するマルチメディア装置100の実際の位置ではないと考えられる。画像850に基づいた対応の第2の四辺形を有する第2の長方形の見かけ上の縦横比が5.8であり、またディスプレイ300が4:3であると知られている場合、画像850が撮像された時点でのマルチメディア装置100の第2の仮定上の位置(第2の四辺形に対する)は、4:3の実際の縦横比を5:3(例えば、第2の四辺形に直角でない位置)の見かけ上の縦横比に転換する位置である。第2の仮定上の位置は、第2の四辺形に対するマルチメディア装置100の実際の位置であってもよい。
実施形態によれば、マルチメディア装置100は各仮定上の位置を比較し、どれが最もマルチメディア装置100の実際の位置と思われるかを判断する。例えば、最初の仮定上の位置が最初の四辺形に対して直角で、第2の仮定上の位置が第2の四辺形に対して直角ではない場合、ユーザがディスプレイ300に対して直角にマルチメディア装置100を位置決めする可能性が高いという仮定に基づいて、マルチメディア装置100は、最初の仮定上の位置が好まれると結論を下してもよい。したがって、マルチメディア装置100は、最初の四辺形がディスプレイ300であると仮定し、それに従って選択してもよい。ディスプレイ300に対するマルチメディア装置100の好ましい位置に関する任意の仮定は、あらかじめ選択するか、ユーザによって定義するか、またはマルチメディア装置100の履歴位置に関係する使用データに基づくものとしてもよい。さらに、これらの原則は、立体空間内のマルチメディア装置100の位置を決定する際に適用可能である。この情報は、例えばゲーム・コンテキストで、マルチメディア装置100が向いている方向とディスプレイ300に相対するマルチメディア装置100の起点に基づいて、光線の位置を決めるための入力源として用いられる場合もある。
実施形態によれば、図6の操作をコンピュータ110上で実行する。例えば、ディスプレイ・レコグナイザ602は、操作702において、単独で画像表示空間を撮像して、他のステップを完了するためにコンピュータ上で処理するための低帯域幅損失圧縮ファイルとして、各画像を転送することが可能である。実施形態よれば、ディスプレイ・レコグナイザ602は、操作302において、ディスプレイ空間の撮像を実行し、三次元画像を2D画像に写像するものであってもよい。その後、さらに処理するためのコンピュータ110に対して2D画像を送信する。
実施形態に基づいて、かつコンピュータ110、受信機120、および送信機130の所要電力により、電力消費がマルチメディア装置100の問題となる場合がある。したがって、実施形態によればリチウムイオン電池を用いてマルチメディア装置100への電力供給がなされる。ニッケル水素電池またはニッケル・カドミウム電池もまた、いくつかの実施形態で用いることが可能である。実施形態によれば、アルカリ電池が用いられる。実施形態によれば、特注で構築されたバッテリーパックはマルチメディア装置100に動力を供給する。他の実施形態によれば、バッテリは商用電池サイズおよびパワー規格に一致する。
いくつかの実施形態によれば、充電式電池が用いられる場合、マルチメディア装置100を充電ステーションに接続する。充電ステーションは電源に接続されており、マルチメディア装置100のバッテリを充電する。同様に、マルチメディア装置100は、補助ポートを有するものであってもよく、それによってマルチメディア装置を操作し、かつバッテリを充電するための電源に直接接続する。
実施形態によれば、マルチメディア装置100は、従来のリモート・コントール機能、例えば、テレビ、VCR、DVDプレーヤ、ケーブル・ボックス、衛星受信機、オーディオ装置等の制御装置と連結している。したがって、ユーザは、マルチメディア装置100を用いる間にテレビのボリュームを変更するための個別の装置を用いる必要がなくなる。当然、マルチメディア装置100は、当業者に周知かつ理解されるように、適切な信号を発するハードウェアを有してもよく、該ハードウェアとして、例えば、赤外線もしくはRF送信機および適当なボタンまたはマルチメディア装置100に存在するボタンに対して写像されるコマンドが挙げられる。
実施形態によれば、マルチメディア装置100は内蔵またはウェブ・ホストされた「ホームページ」を提供する。この「ホームページ」は、マルチメディア装置100が用いる主ディスプレイ用にフォーマットされたインターネットへの入り口として作用する。実施形態によれば、そのような入り口は、距離を置いて大画面で見るために構成されるもので、該大画面には、文章が少なくビジュアルが多く含まれ、タイプ(ニュース、娯楽、音楽、ゲーム等)、トピックス(政治、科学、コメディ)、またはジャンルによって分類される。
実施形態によれば、マルチメディア装置100は様々なソーシャル・ネットワーキング活動用のプラットフォームとして役立つ。例えば、マルチメディア装置100は、場合により、Yahoo、MSN、ICQ、Google、Skype、MySpace、Facebook、Twitter等のプロプライエタリ・プラットフォームを用いて、オン・スクリーンのIM友達リストを提供する。実施形態によれば、それによって友達と同時にコンテンツを体験することが可能になる。例えば、一人のユーザがオンライン・テレビ番組またはビデオ・ゲームを中断する場合、番組またはビデオ・ゲームもまた、最初のユーザと同時にコンテンツを体験している他のユーザに対して中断する。
さらに、コンテンツは、実施形態によれば、1つ以上のソーシャル・ネットワーキング・データ・ストリームを有する場合もある。例えば、マルチメディア装置100は、コンテンツを体験するユーザによるマイクロホンを介したリアルタイムのコメント作成、入手可能な他の同様のコンテンツの作表、広告および他の「スポンサ・リンク」型情報、あるいはショウもしくは試合を見ることを可能にし、または好きな他の人々と視聴者を結びつけるインタラクティブ機能、例えばリアルタイムの投票を可能にする。
実施形態によれば、マルチメディア装置100は、ユーザの視聴パターンおよび一般的なナビゲーション体験に関するリアルタイムまたはオフラインのフィードバックを提供する。例えば、マルチメディア装置100は、ユーザが特定のアイコンまたは動画を何回クリックしたか、どのサイトをユーザが訪問したか、どのぐらいインスタント・メッセージまたはチャットの送信を行ったか、どれくらいの時間、かれらがマルチメディア装置100を使用したかと、装置のバージョンおよびステータスに関する情報(バッテリ寿命、記憶容量等)とを報告する。これらの統計はユーザに対して直接広告する目的または他の目的のために集められるものであってもよい。実施形態によれば、ユーザ・プライバシーは維持される。また、ユーザがデータを集めることを止めれば、そのようなデータは集められない。実施形態によれば、ユーザ・アカウントは、好み等のユーザ特異的情報、各ユーザ独特の関心に基づいてカスタマイズされたメニュー、好きなリンク、動画、もしくはゲーム等のリストを格納する。各マルチメディア装置100は、実施形態によれば、複数のユーザ・アカウントまたはプロフィルを作成および選択することを可能にする。ユーザ・アカウントは、必要に応じて、インターネット・ポータルを介したログインに基づいて駆動するサーバであってもよい。
図8は、本開示の方法の実施形態を示す。この方法によれば、ユーザは、ディスプレイ300上でディスプレイ・コンテンツへのマルチメディア装置100を用いる。従って、ユーザは、操作400あるいは操作408において、他のコンテンツに示すべきインターネット・コンテンツのうちの1つを選択する。実施形態によれば、他のコンテンツは、マルチメディア装置100のメモリ、ローカル・エリア・ネットワーク上のコンピュータ、またはデジタル・ビデオ・レコーダに格納されるコンテンツ、例えばメニュー、ナビゲーション機能、ゲーム、音楽、映画または動画、プレゼンテーション、ドキュメント等である。操作400において、インターネット・コンテンツ200がユーザによって選択される場合、操作402において、受信機120はインターネット・コンテンツ装置250からインターネット・コンテンツ200を受信する。
マルチメディア装置100は、操作406において、ディスプレイ300上に表示するためのインターネット・コンテンツ200または他のコンテンツをフォーマットする。フォーマットは、コンテンツをディスプレイ300に表示される正確な縦横比にすることあるいはディスプレイ300の全領域よりも実質的に少なく占有するウィンドウ内でコンテンツをフォーマットすることであってもよい。マルチメディア装置100は、さらに同様に他のコンテンツも表示用にフォーマットする。フォーマットは確かめることを含んでいてもよい、不透明なコンテンツ要素、例えば、コンテンツが他のコンテンツに被せられる場合。一旦フォーマットされたならば、送信機130は、操作410において、ディスプレイ130を表示するためにフォーマットされたコンテンツを送る。ここで、コンテンツはディスプレイ300に表示される。
種々の実施形態において、本開示の装置およびシステムは、多数の他の汎用または専用のコンピュータ・システム環境または構成あるいは他の複合システムを有するマルチメディア型セッティングにおいて、使用可能である。本発明による使用に適すると考えられる周知のコンピュータ・システム、環境、または構成の例として、限定されるものではないが、パーソナル・コンピュータ、サーバ・コンピュータ、携帯型もしくはラップトップ装置、マルチプロセッサ・システム、マイクロプロセッサ・ベース・システム、セット・トップ・ボックス、プログラム可能な家電、ネットワークPC、ミニコンピュータ、メインフレーム・コンピュータ、電話通信システム、上記システムもしくは装置のいずれかを具備する分散コンピューティング環境、およびその他のものが挙げられる。
ここに開示された装置、システムおよび方法は、コンピュータによって実行されて、プログラム・モジュール等のコンピュータ実行命令の一般的コンテキストに記述されてもよい。一般に、プログラム・モジュールは、特定のタスクの実行または特定のアブストラクト・データ・タイプの実現を行うルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含んでいる。システムは、分散コンピューティング環境においても実行可能なものであり、該分散コンピューティング環境において、通信ネットワークを介してリンクしている複数の遠隔処理装置によってタスクが実行される。分散コンピューティング環境では、プログラム・モジュールは、メモリ記憶装置を含む局地および遠隔のコンピュータ記憶媒体に置かれてもよい。コンピュータ・プログラムをメモリ媒体または記憶媒体に格納し、あるいはそれらをネットワークまたはI/Oバスを介してプロセッシング装置に提供してもよい。
一態様では、マルチメディア装置100は、少なくとも1つの中央処理装置(CPU)、グラフィック処理装置(GPU)、またはプロセッサを有する。GPU/GPUは、少なくとも、インターネット接続装置250からインターネット・コンテンツ200を受信し、フォーマットされたコンテンツをディスプレイ200へ送信し、または一時的および長期メモリでコンピュータ実行可能命令を実行するためのコンピュータ実行可能命令を含むメモリ、ROM、またはコンピュータ可読媒体に連結させることができる。コンピュータ可読媒体は、任意の入手可能な媒体であり、システムによってアクセスすることができる。このような媒体として、コンピュータ可読命令、データ構造、プログラム・モジュール、または他のデータのような情報の記憶のための任意の方法あるいは技術にインプリメントされた揮発および不揮発性媒体、取り外し可能および取り外し不可能な媒体が挙げられる。コンピュータ記憶装置媒体として、限定されるものではないが、RAM、ROM、EEPROM、フラッシュ・メモリ、ポータブルメモリ、もしくは他のメモリ技術、CD、ROM、ディジタル・バーサタイル・ディスク(DVD)、もしくは他の光学ディスク記憶装置、磁気カセット、磁気テープ、ディスク記憶装置、もしくは他の磁気記憶装置、もしくは所望の情報を格納するために用いることができる他の媒体、およびマルチメディア装置100によってアクセスすることができる媒体、あるいは少なくとも本明細書中に開示された方法が挙げられる。
通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラム・モジュール、または他のデータを、搬送波等の修飾データ信号または他の移送機構に具体化するもので、任意の情報送達媒体が挙げられる。一例として、制限されるものではないが、通信媒体として、有線媒体(例えば、有線ネットワークまたは直接有線接続)および無線媒体(例えば、音響、RF、赤外線、または他の無線媒体)が挙げられる。上記のもののうちのいずれかの組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるものとする。コンピュータ可読媒体は、本明細書に記載されたシステムの全体または一部分をインプリメントする命令またはデータを格納してもよい。
装置および方法が最も実践的で好ましい実施形態であると現在考えられるものに関して記述されている一方で、開示された実施形態に開示を制限する必要がないことが理解される。請求の範囲の精神および範囲内に含まれる種々の変更および類似の構成をカバーするように意図されたものであり、その範囲は、そのような変更および類似の構造を包含するように最も広い解釈が与えられるものとする。本開示は、次の請求項の任意および全ての実施形態を含んでいる。
Claims (17)
- 装置であって、
少なくとも1つの入力装置を有する携帯型の筐体と、
インターネット・コンテンツを無線で受信するように構成された受信機と、
該インターネット・コンテンツを表示するために、ディスプレイに無線信号を送るように構成された送信機と
を含む装置。 - 前記ディスプレイはテレビである、請求項1に記載の装置。
- 前記無線信号は、ATSC、DVB、ISDB、DTMB、DMB、NTSC、PAL、および、SECAMの放送規格からなる群から選択される、請求項2に記載の装置。
- 前記インターネット・コンテンツの無線受信は、IEEE802.11規格を介する、請求項1に記載の装置。
- 前記インターネット・コンテンツの無線受信は、携帯電話ネットワークデータ伝送規格を介する、請求項1に記載の装置。
- 前記送信機は、前記ディスプレイ上に表示するために、非インターネット・コンテンツをもまた構成する、請求項1に記載の装置。
- 装置であって、
少なくとも1つの入力装置を有する携帯型の筐体と、
インターネット・コンテンツを無線で受信するように構成された受信機と、
ディスプレイに無線信号を送るように構成された送信機と、
該装置上の所定の点から該ディスプレイまでの投影線に実質的に対応する該ディスプレイ上のカーソルを配置するためのディスプレイ・レコグナイザと
を含む装置。 - 前記ディスプレイはテレビである、請求項7に記載の装置。
- 前記無線信号は、ATSC、DVB、ISDB、DTMB、DMB、NTSC、PAL、および、SECAMの放送規格からなる群から選択される、請求項8に記載の装置。
- 前記インターネット・コンテンツの無線受信は、IEEE802.11規格を介する、請求項7に記載の装置。
- 前記インターネット・コンテンツの無線受信は、携帯電話ネットワークデータ伝送規格を介する、請求項7に記載の装置。
- 前記送信機は、前記ディスプレイ上に表示するために、非インターネット・コンテンツをもまた構成する、請求項7に記載の装置。
- 方法であって、
携帯装置へのインターネット・コンテンツを受信することと、
ディスプレイ上に表示される該インターネット・コンテンツを準備することと、
該携帯装置から該ディスプレイまで該インターネット・コンテンツを無線送信することと、
該携帯装置を介して該ディスプレイ上に表示された該インターネット・コンテンツと対話することと
を含み、
該ディスプレイ上に表示された該インターネット・コンテンツと対話することは、該ディスプレイを認識し、かつ、該携帯装置が示している位置に実質的に対応する該ディスプレイ上のカーソルを配置する該携帯装置によってもたらされる、方法。 - 前記インターネット・コンテンツを前記ディスプレイに送信することは、ATSC、DVB、ISDB、DTMB、DMB、NTSC、PAL、および、SECAMからなる群から選択された放送規格のうちの少なくとも1つを使用する、請求項13に記載の方法。
- 前記インターネット・コンテンツの無線受信は、IEEE802.11規格を介する、請求項13に記載の方法。
- 前記インターネット・コンテンツの無線受信は、携帯電話ネットワークデータ伝送規格を介する、請求項13に記載の方法。
- 前記送信機は、前記ディスプレイ上に表示するために、非インターネットコンテンツをもまた構成する、請求項13に記載の方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US4556208P | 2008-04-16 | 2008-04-16 | |
| US61/045,562 | 2008-04-16 | ||
| US12/425,297 | 2009-04-16 | ||
| PCT/US2009/040878 WO2009129423A2 (en) | 2008-04-16 | 2009-04-16 | Handheld multimedia receiving and sending devices |
| US12/425,297 US20090265748A1 (en) | 2008-04-16 | 2009-04-16 | Handheld multimedia receiving and sending devices |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011521520A true JP2011521520A (ja) | 2011-07-21 |
Family
ID=41199743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011505216A Withdrawn JP2011521520A (ja) | 2008-04-16 | 2009-04-16 | 携帯型マルチメディア受信および送信装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US20090265748A1 (ja) |
| JP (1) | JP2011521520A (ja) |
| WO (1) | WO2009129423A2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014013569A (ja) * | 2012-07-03 | 2014-01-23 | Samsung Electronics Co Ltd | ディスプレイ装置、対話型システム及び応答情報提供方法 |
| WO2015008732A1 (ja) * | 2013-07-16 | 2015-01-22 | 株式会社湯山製作所 | 光学文字認識装置 |
| JP2019080306A (ja) * | 2017-08-29 | 2019-05-23 | ヴェロシティ ザ グレイテスト フォン カンパニー エヴァー インコーポレイテッド | デジタルコンテンツを配信するためのシステム及び方法 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101143601B1 (ko) * | 2008-12-18 | 2012-05-11 | 한국전자통신연구원 | 이종 기기간 디지털 컨텐츠 이동 시스템 및 방법 |
| US8250612B2 (en) * | 2009-10-26 | 2012-08-21 | Lg Electronics Inc. | Digital broadcasting system and method of processing data in digital broadcasting system |
| US20110319056A1 (en) * | 2010-06-29 | 2011-12-29 | Enterproid Hk Ltd | Remote access to a mobile device |
| CN101917251B (zh) * | 2010-08-04 | 2012-09-26 | 中国传媒大学 | 一种dtmb系统中频域交织器和频率交织方法 |
| LT2617186T (lt) * | 2010-09-13 | 2022-02-25 | Contour Ip Holding, Llc | Nešiojama skaitmeninė vaizdo kamera, sukonfigūruota nuotolinio vaizdo gavimo valdymui ir peržiūrėjimui |
| US9519357B2 (en) * | 2011-01-30 | 2016-12-13 | Lg Electronics Inc. | Image display apparatus and method for operating the same in 2D and 3D modes |
| DE102011018555A1 (de) | 2011-04-26 | 2012-10-31 | Continental Automotive Gmbh | Schnittstelle zur Datenübertragung in einem Kraftfahrzeug und Computerprogrammprodukt |
| US8988198B2 (en) * | 2011-06-30 | 2015-03-24 | Nokia Technologies Oy | Method and apparatus for sensory tags providing sound, smell and haptic feedback |
| WO2013118134A1 (en) * | 2012-02-08 | 2013-08-15 | Reddy Rachamullu Pravarshi | A system and method to access multimedia content |
| US8725124B2 (en) | 2012-03-05 | 2014-05-13 | Enterproid Hk Ltd | Enhanced deployment of applications |
| US9697621B2 (en) | 2015-06-07 | 2017-07-04 | Apple Inc. | Unwrapping 3D meshes into low-distortion texture maps |
| KR102531386B1 (ko) | 2016-10-04 | 2023-05-12 | 주식회사 비원영상기술연구소 | 영상 데이터 부호화/복호화 방법 및 장치 |
| CN118945344A (zh) | 2016-10-04 | 2024-11-12 | 有限公司B1影像技术研究所 | 图像编码/解码方法、介质和传输比特流的方法 |
Family Cites Families (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5448261A (en) * | 1992-06-12 | 1995-09-05 | Sanyo Electric Co., Ltd. | Cursor control device |
| US6240555B1 (en) * | 1996-03-29 | 2001-05-29 | Microsoft Corporation | Interactive entertainment system for presenting supplemental interactive content together with continuous video programs |
| US6535198B1 (en) * | 1999-03-28 | 2003-03-18 | Nongqiang Fan | Remote control for interactive television |
| JP4708581B2 (ja) * | 2000-04-07 | 2011-06-22 | キヤノン株式会社 | 座標入力装置、座標入力指示具及びコンピュータプログラム |
| US6704000B2 (en) * | 2000-11-15 | 2004-03-09 | Blue Iris Technologies | Method for remote computer operation via a wireless optical device |
| DE10100648A1 (de) * | 2001-01-09 | 2002-07-11 | Alcatel Sa | Informationsausgabe-Vorrichtung |
| KR100449710B1 (ko) * | 2001-12-10 | 2004-09-22 | 삼성전자주식회사 | 원격 포인팅 방법 및 이에 적합한 장치 |
| US20030132913A1 (en) * | 2002-01-11 | 2003-07-17 | Anton Issinski | Touchless computer input device to control display cursor mark position by using stereovision input from two video cameras |
| JP2003288161A (ja) * | 2002-03-28 | 2003-10-10 | Nec Corp | 携帯機器 |
| US20050174488A1 (en) * | 2003-03-10 | 2005-08-11 | Sandeep Chennakeshu | Methods, devices, and systems for displaying information from a remote electronic device |
| CA2429880C (en) * | 2003-05-27 | 2009-07-07 | York University | Collaborative pointing devices |
| TW578031B (en) * | 2003-06-20 | 2004-03-01 | Benq Corp | Projection system with an image capturing device |
| US8010119B2 (en) * | 2004-04-30 | 2011-08-30 | Alcatel Lucent | Real-time transmission of a video between mobile stations |
| KR100678945B1 (ko) * | 2004-12-03 | 2007-02-07 | 삼성전자주식회사 | 터치패드 입력 정보 처리 장치 및 방법 |
| US7796116B2 (en) * | 2005-01-12 | 2010-09-14 | Thinkoptics, Inc. | Electronic equipment for handheld vision based absolute pointing system |
| KR100713359B1 (ko) * | 2005-02-03 | 2007-05-04 | 삼성전자주식회사 | 제3의 디스플레이를 통한 영상 제공이 가능하도록 하는영상 전화 방법 |
| US20080180395A1 (en) * | 2005-03-04 | 2008-07-31 | Gray Robert H | Computer pointing input device |
| US7477236B2 (en) * | 2005-04-29 | 2009-01-13 | Microsoft Corporation | Remote control of on-screen interactions |
| EP1891501B1 (en) * | 2005-05-31 | 2018-08-29 | Koninklijke Philips N.V. | Method for control of a device |
| JP4773170B2 (ja) * | 2005-09-14 | 2011-09-14 | 任天堂株式会社 | ゲームプログラムおよびゲームシステム |
| US7344084B2 (en) * | 2005-09-19 | 2008-03-18 | Sony Corporation | Portable video programs |
| TWI316195B (en) * | 2005-12-01 | 2009-10-21 | Ind Tech Res Inst | Input means for interactive devices |
| US20070214484A1 (en) * | 2006-03-13 | 2007-09-13 | Carolyn Taylor | Digital video broadcast transition method and device |
| TW200737942A (en) * | 2006-03-27 | 2007-10-01 | Asustek Comp Inc | Wireless network digital electronic device |
| TW200802036A (en) * | 2006-06-01 | 2008-01-01 | Micro Nits Co Ltd | Input method of a pointer input system |
| US20080034096A1 (en) * | 2006-08-01 | 2008-02-07 | Ati Technologies Inc. | Method and Apparatus for Transferring Multimedia Signals from a Handheld Device to a Computer System for Display |
| US7797004B2 (en) * | 2006-08-14 | 2010-09-14 | Kyocera Corporation | System, method, and device for providing content on a wireless communication device |
| US8588199B2 (en) * | 2006-10-11 | 2013-11-19 | At&T Mobility Ii, Llc | Mobile digital video recorders |
| KR100827243B1 (ko) * | 2006-12-18 | 2008-05-07 | 삼성전자주식회사 | 3차원 공간상에서 정보를 입력하는 정보 입력 장치 및 그방법 |
| EP1950957A2 (en) * | 2007-01-23 | 2008-07-30 | Funai Electric Co., Ltd. | Image display system |
| TWI345720B (en) * | 2007-04-24 | 2011-07-21 | Pixart Imaging Inc | Cursor controlling device and method for image apparatus and image system |
| US9176598B2 (en) * | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
| TWI406153B (zh) * | 2007-06-12 | 2013-08-21 | Quanta Comp Inc | 游標控制方法及應用該游標控制方法之簡報系統及電腦可讀取儲存媒體 |
| US8782731B2 (en) * | 2008-07-23 | 2014-07-15 | Centurylink Intellectual Property Llc | System, method, and apparatus for providing digital video recorder services on a portable wireless device |
| US20100251292A1 (en) * | 2009-03-27 | 2010-09-30 | Sudharshan Srinivasan | Smartphone for interactive television |
-
2009
- 2009-04-16 JP JP2011505216A patent/JP2011521520A/ja not_active Withdrawn
- 2009-04-16 US US12/425,297 patent/US20090265748A1/en not_active Abandoned
- 2009-04-16 WO PCT/US2009/040878 patent/WO2009129423A2/en not_active Ceased
-
2011
- 2011-10-12 US US13/272,113 patent/US20120036542A1/en not_active Abandoned
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014013569A (ja) * | 2012-07-03 | 2014-01-23 | Samsung Electronics Co Ltd | ディスプレイ装置、対話型システム及び応答情報提供方法 |
| WO2015008732A1 (ja) * | 2013-07-16 | 2015-01-22 | 株式会社湯山製作所 | 光学文字認識装置 |
| JPWO2015008732A1 (ja) * | 2013-07-16 | 2017-03-02 | 株式会社湯山製作所 | 光学文字認識装置 |
| JP2019080306A (ja) * | 2017-08-29 | 2019-05-23 | ヴェロシティ ザ グレイテスト フォン カンパニー エヴァー インコーポレイテッド | デジタルコンテンツを配信するためのシステム及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120036542A1 (en) | 2012-02-09 |
| WO2009129423A2 (en) | 2009-10-22 |
| US20090265748A1 (en) | 2009-10-22 |
| WO2009129423A3 (en) | 2010-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011521520A (ja) | 携帯型マルチメディア受信および送信装置 | |
| CN112866773B (zh) | 一种显示设备及多人场景下摄像头追踪方法 | |
| US9414125B2 (en) | Remote control device | |
| CN109416931B (zh) | 用于视线跟踪的装置和方法 | |
| CN104040463B (zh) | 信息处理设备和信息处理方法、以及计算机程序 | |
| US9641884B2 (en) | Method and device for establishing a content mirroring session | |
| US8230075B1 (en) | Method and device for identifying devices which can be targeted for the purpose of establishing a communication session | |
| US10261589B2 (en) | Information processing apparatus, information processing method, and computer program | |
| CN103108247B (zh) | 提供内容推荐服务的电子装置和方法 | |
| CN102870425B (zh) | 通过运动ui框架的主屏幕视图控制 | |
| US20120278904A1 (en) | Content distribution regulation by viewing user | |
| EP2453342A2 (en) | Method for providing display image in multimedia device and device thereof | |
| EP2753075A1 (en) | Display apparatus and method for video calling thereof | |
| JP5923021B2 (ja) | 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム | |
| KR102567803B1 (ko) | 디스플레이 장치 | |
| US10433011B2 (en) | Apparatus and method for providing programming information for media content to a wearable device | |
| KR20120077310A (ko) | 휴대 단말기 및 이를 이용한 디스플레이 장치에서의 출력 화면 제어 방법 | |
| TWI572203B (zh) | 媒體串流系統、控制方法及非暫態電腦可讀取儲存媒體 | |
| KR102174858B1 (ko) | 네트워크에서 데이터를 렌더링하는 방법 및 연관된 모바일 디바이스 | |
| US8682023B2 (en) | Interactive display recognition devices and related methods and systems for implementation thereof | |
| US20150325210A1 (en) | Method for real-time multimedia interface management | |
| KR102163860B1 (ko) | 영상표시장치의 동작 방법 | |
| CN111939561B (zh) | 显示设备及交互方法 | |
| CN115193032A (zh) | 游戏直播的处理方法及相关设备 | |
| US20150295783A1 (en) | Method for real-time multimedia interface management sensor data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120703 |