JP5392661B2 - 電子機器 - Google Patents
電子機器 Download PDFInfo
- Publication number
- JP5392661B2 JP5392661B2 JP2011276153A JP2011276153A JP5392661B2 JP 5392661 B2 JP5392661 B2 JP 5392661B2 JP 2011276153 A JP2011276153 A JP 2011276153A JP 2011276153 A JP2011276153 A JP 2011276153A JP 5392661 B2 JP5392661 B2 JP 5392661B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- input
- processing time
- time
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
- H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、操作入力に対する操作処理時間を仮想的に測定可能な電子機器に関する。
電子機器を動作させるのに必要なリソース(CPUの処理速度やメモリ容量、ハードディスクの容量など)は有限であるため、電子機器において多数の機能が並列的に動いている場合、リソースの配分が問題となる。特に、ビデオ通話機能は、TVや携帯電話などの様々な機器に搭載され、使われるようになってきたが、例えば、ビデオ通話機能利用時と利用時以外とでは、電子機器にかかるトータル負荷が変動する。この場合、ユーザが同じ操作(例えばリモコン入力)を行ったとしても、ユーザの操作に対する応答時間(例えばリモコンで方向キーを押してから実際にカーソルが動くまでの時間)が変動する。具体的には、ビデオ通話機能利用時には、リモコン入力時の応答時間が遅くなるといった具合である。この応答時間の遅延は、時には、ユーザが不快に感じるほどになる。
以下の特許文献1において開示された発明では、遠隔会議システムにおいて、各端末は、各端末自身のCPU負荷情報を計測(取得)し、さらに、各端末間で、エンコード処理された動画データに加えてCPU負荷情報の送受信を行うとともに、CPU負荷情報(送信側及び受信側)が予め設定された閾値よりも高いか否かの比較を行って、比較結果に応じたエンコードパラメータの調整を行うことが開示されている(0015段落参照)。
しかし、ユーザが操作感の良し悪しを判断する基準は、操作に対する応答時間である。操作に対する応答時間に影響を与えるのは、CPU負荷(CPU使用率)に限られず、例えばRAM帯域使用率やHDDデータ転送量など、CPU使用率以外のリソースの状況も考慮する必要がある。特許文献1に開示された先行技術では、CPU負荷情報(CPU使用率)以外のリソースの使用状況が考慮されるべきことについて開示されていない。
そこで、ユーザの快適な操作感を実現するために、操作に対する応答時間に影響を与えるリソースの状況を総合的に考慮可能な電子機器が必要であった。
以上の課題を解決するため、本願出願人は、次の電子機器を提案する。
すなわち、第一の発明として、操作入力部と、装置の機能を実現する動作部と、操作入力部による操作と動作部とによって共通に利用される装置リソースと、操作入力部から入力されて前記装置リソースを用いて実行される処理を実際の入力なしに間欠的に実行する仮想処理部と、仮想処理部での実行に要した仮想操作処理時間を測定する時間測定部と、を有する電子機器、を提案する。
第二の発明として、前記時間測定部により測定された仮想操作処理時間と、前記操作入力部から入力されて前記装置リソースを用いて実行される処理がされるべき目標となる時間である目標操作処理時間とを比較する操作処理時間比較部と、操作処理時間比較部における比較結果に応じてリソースを配分する負荷制御部と、をさらに有する第一の発明に記載の電子機器、を提案する。
第三の発明として、前記目標操作処理時間を設定する機能を有する目標操作処理時間設定部をさらに有する第二の発明に記載の電子機器、を提案する。
第四の発明として、前記操作入力部は、入力デバイスを含む第一の発明から第三の発明までのいずれか一に記載の電子機器、を提案する。
第五の発明として、第一の発明から第四の発明のいずれか一に記載の電子機器を含むテレビジョン受信装置、を提案する。
第六の発明として、前記装置の機能がテレビジョン受信・出力機能である第一の発明から第四の発明のいずれか一に記載の電子機器。
本件発明により、入力操作に対する応答時間(操作処理時間)に影響を与えるリソースの状況を総合的に考慮可能な電子機器を提供可能である。例えば、当該技術を利用することによりユーザの快適な操作感を実現可能となる。
以下、本件発明の実施の形態について、添付の図面を用いて説明する。なお、本件発明は、これら実施の形態に何ら限定されるべきものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。なお、実施形態1は、主に請求項1、4、5及び6などに関する。実施形態2は、主に請求項2などに関する。実施形態3は、主に請求項3などに関する。また、実施例1は、本件発明をビデオ通話機能を有するデジタルTVに適用した場合の例である。
<<実施形態1>>
<実施形態1:概要>
<<実施形態1>>
<実施形態1:概要>
本実施形態の電子機器は、仮想的な操作入力に対する仮想操作処理時間を測定することにより、操作に対する応答時間に影響を与えるリソースの状況を総合的に考慮可能とした点に特徴を有する。
<実施形態1:機能的構成>
<実施形態1:機能的構成>
図1は、本実施形態の電子機器の機能ブロックの一例を示す図である。この図を用いて、本実施形態の電子機器の機能的構成を説明する。
本実施形態の電子機器(0101)は、操作入力部(0102)と、動作部(0103)と、装置リソース(図示されない)と、仮想処理部(0104)と、時間測定部(0105)と、を有する。
「操作入力部」は、電子機器に対する操作入力を可能とする機能を有する。例えば、リモコン、キーボード、マウスなどの入力デバイスを含んでいてもよいし、他の端末と接続して操作データを受信可能な入力端子を備えていても良い。
「動作部」は、装置の機能を実現する。例えば、ビデオ通話機能を実現するために各種プログラムを実行するといった具合である。装置の機能は、テレビジョン受信・出力機能であっても良い。この場合、後述する仮想操作処理時間の測定において、テレビジョン受信・出力機能を実現するために動作部によって利用される装置リソースを用いて実行される処理も含めて、仮想操作処理時間が測定されることとなる。
「装置リソース」は、操作入力部による操作と動作部とによって共通に利用される資源である。「共通に」利用されることを構成要件とする趣旨は、仮に、操作入力部による操作が動作部と独立した装置リソースを利用して行われるときは、操作処理時間は動作部においていかなる装置の機能が実現されているかにかかわらず一定となるために、本件発明の課題が生じないからである。
「仮想処理部」は、操作入力部から入力されて前記装置リソースを用いて実行される処理を実際の入力なしに間欠的に実行する機能を有する。「間欠的に」とは、「定期的に」処理が行われる場合を含みつつも必ずしも同程度の時間間隔を置いて処理が行われる場合に限らない趣旨である。すなわち、仮想処理が行われる間隔には長短があってもよいし、場合によっては、間隔を設けずに仮想処理が繰り返される場合も含む。なお、実際には仮想処理が繰り返されず、1回のみ処理される場合があることは当然である。
「操作入力部から入力されて装置リソースを用いて実行される処理」の具体例として、例えば、以下に例示されるようなユーザインタフェース処理が挙げられる。
<1> マウスを動かすことにより、画面内のポインタを動かす。
<2> マウスの左クリックで、GUI上のアイコンを選択する。
<3> マウスでウインドウの閉じるボタンをクリックして、ブラウザを閉じる。
<4> マウスの右クリックで、編集メニューを表示する。
<5> マウスでスクロールバーをドラッグすることにより(あるいは、マウスホイールを回転させることにより)、画面をスクロールする。
<6> マウスのドラッグ アンド ドロップにより、ファイルのコピーなどのファイル操作を行う。
<7> キーボードで、カーソルを移動させる。
<8> キーボードで、テキストを入力する。
<9> リモコンの音量ボタン操作で、音量を上げる(又は下げる)。
<10>リモコンのチャンネルボタン操作で、チャンネルを変更する。
<11>タッチパネルに指で触れることで、GUI上のアイコンを選択する。
<12>マイクを通じた音声入力で、テキストを入力する。
<1> マウスを動かすことにより、画面内のポインタを動かす。
<2> マウスの左クリックで、GUI上のアイコンを選択する。
<3> マウスでウインドウの閉じるボタンをクリックして、ブラウザを閉じる。
<4> マウスの右クリックで、編集メニューを表示する。
<5> マウスでスクロールバーをドラッグすることにより(あるいは、マウスホイールを回転させることにより)、画面をスクロールする。
<6> マウスのドラッグ アンド ドロップにより、ファイルのコピーなどのファイル操作を行う。
<7> キーボードで、カーソルを移動させる。
<8> キーボードで、テキストを入力する。
<9> リモコンの音量ボタン操作で、音量を上げる(又は下げる)。
<10>リモコンのチャンネルボタン操作で、チャンネルを変更する。
<11>タッチパネルに指で触れることで、GUI上のアイコンを選択する。
<12>マイクを通じた音声入力で、テキストを入力する。
仮想処理部において処理を実行される仮想的な入力は、操作入力部で入力可能な操作入力の全部でも一部でも良い。仮想処理すべき操作入力量が過大になると、この仮想処理のために反応速度が遅くなり、快適な操作感が失われるなどの問題が発生する可能性がある。このため、仮想的な入力は、代表的な操作入力例に限るのが好ましい。動作部においてリアルタイムに実行されているプログラムの種類や、直近のユーザの入力などの情報に基づいて、当該状況下で操作入力の行われやすい代表的な操作入力を仮想的に入力すると、特に好ましい。そのために、仮想処理部にて利用可能なように、電子機器の動作パターン(TV視聴プログラム実行時など)と、当該状況下で操作入力の行われやすい代表的な操作入力(例えば、リモコンによる音量変更、チャンネル変更など)との組み合わせをテーブル化して保持していると良い。
なお、仮想処理部で行われる処理については、ユーザに対する出力の必要がないため、描画処理など、実際の処理を一部含まない場合がある。
「時間測定部」は、仮想処理部での実行に要した仮想操作処理時間を測定する。具体的には仮想処理部での処理開始時間(仮想的な入力をした時間)と、処理終了時間(当該仮想的な入力に対する実行が終了した時間)との差分を測定する。さらに、これらの測定結果の平均を算出して、平均処理時間を仮想操作処理時間として取得しても良い。
時間測定部で測定される「仮想操作処理時間」の具体例は次のとおりである。
<1> マウスを動かすことにより、画面内のポインタを動かす場合には、マウスを動かし始めてから、画面上でポインタが動き始めるまでの時間。
<2> マウスの左クリックで、GUI上のアイコンを選択する場合には、左クリックを行ってから、GUI上のアイコンが選択されるまでの時間。
<3> マウスでウインドウの閉じるボタンをクリックして、ブラウザを閉じる場合には、クリックしてからブラウザの終了処理が開始されるまでの時間。
<4> マウスの右クリックで、編集メニューを表示する場合には、右クリックしてから、編集メニューの表示が開始されるまでの時間。
<5> マウスでスクロールバーをドラッグすることにより(あるいは、マウスホイールを回転させることにより)、画面をスクロールする場合には、ドラッグしてから(あるいはマウスホイールの回転を開始してから)画面のスクロールが開始されるまでの時間。
<6> マウスのドラッグ アンド ドロップにより、ファイルのコピー処理を行う場合には、ドラッグ アンド ドロップを行ってから、ファイルのコピーが開始されるまでの時間。
<7> キーボードで、カーソルを移動させる場合には、キーボードを押してから、カーソルが移動するまでの時間。
<8> キーボードで、テキストを入力する場合には、キーボードを押してから、テキストが表示されるまでの時間。
<9> リモコンの音量ボタン操作で、音量を上げる(又は下げる)場合には、音量ボタンを押してから、音量が上がる(又は下がる)までの時間。
<10>リモコンのチャンネルボタン操作で、チャンネルを変更する場合には、チャンネルボタンを押してから、チャンネルが変更されるまでの時間。
<11>タッチパネルに指で触れることで、GUI上のアイコンを選択する場合には、タッチパネルに指で触れてから、アイコンが選択されるまでの時間。
<12>マイクを通じた音声入力で、テキストを入力する場合には、マイクを通じた音声入力を検知してから、テキストが表示されるまでの時間。
(テレビジョン受信装置)
<1> マウスを動かすことにより、画面内のポインタを動かす場合には、マウスを動かし始めてから、画面上でポインタが動き始めるまでの時間。
<2> マウスの左クリックで、GUI上のアイコンを選択する場合には、左クリックを行ってから、GUI上のアイコンが選択されるまでの時間。
<3> マウスでウインドウの閉じるボタンをクリックして、ブラウザを閉じる場合には、クリックしてからブラウザの終了処理が開始されるまでの時間。
<4> マウスの右クリックで、編集メニューを表示する場合には、右クリックしてから、編集メニューの表示が開始されるまでの時間。
<5> マウスでスクロールバーをドラッグすることにより(あるいは、マウスホイールを回転させることにより)、画面をスクロールする場合には、ドラッグしてから(あるいはマウスホイールの回転を開始してから)画面のスクロールが開始されるまでの時間。
<6> マウスのドラッグ アンド ドロップにより、ファイルのコピー処理を行う場合には、ドラッグ アンド ドロップを行ってから、ファイルのコピーが開始されるまでの時間。
<7> キーボードで、カーソルを移動させる場合には、キーボードを押してから、カーソルが移動するまでの時間。
<8> キーボードで、テキストを入力する場合には、キーボードを押してから、テキストが表示されるまでの時間。
<9> リモコンの音量ボタン操作で、音量を上げる(又は下げる)場合には、音量ボタンを押してから、音量が上がる(又は下がる)までの時間。
<10>リモコンのチャンネルボタン操作で、チャンネルを変更する場合には、チャンネルボタンを押してから、チャンネルが変更されるまでの時間。
<11>タッチパネルに指で触れることで、GUI上のアイコンを選択する場合には、タッチパネルに指で触れてから、アイコンが選択されるまでの時間。
<12>マイクを通じた音声入力で、テキストを入力する場合には、マイクを通じた音声入力を検知してから、テキストが表示されるまでの時間。
(テレビジョン受信装置)
本件発明には、本実施形態の電子機器を含むテレビジョン受信装置も含まれる。テレビジョン受信装置は、以上に述べたところの本実施形態の電子機器の各機能的構成に加えて、さらに、放送されたコンテンツデータを受信する機能(受信機能)と、受信したコンテンツデータをディスプレイに表示可能となるよう出力する処理する機能(出力機能)とを備える。
<実施形態1:ハードウェア構成>
<実施形態1:ハードウェア構成>
次に、本実施形態の電子機器のハードウェア構成について説明する。図2A及び図2Bは、本実施形態の電子機器のハードウェア構成の一例を示す概略図である。これらの図に示すように、本実施形態の電子機器は、「CPU」(0201)と、「主メモリ」(0202)と、「記憶装置」(0203)と、「I/O」(0204)と、から構成され、それらが「システムバス」(0205)などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。さらに、グラフィック処理のために、「GPU」(0206)と、「ビデオメモリ」(0207)と、「I/O」(0208)と、これらを相互に接続する「グラフィックバス」(0209)などのデータ通信経路を含む構成であっても良い。
記憶装置はCPUによって実行される各種プログラムなどを記憶している。また主メモリは、プログラムがCPUによって実行される際の作業領域であるワーク領域を提供する。また、この主メモリや記憶装置にはそれぞれ複数のメモリアドレスが割り当てられており、CPUで実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。さらに、グラフィック処理のためのGPUやビデオメモリ等により、グラフィック処理を行うこととしても良い。
本実施形態のディスプレイ装置の電源が入れられると、記憶装置に保持されている操作入力プログラム、動作プログラム、仮想処理プログラム、時間測定プログラム等のプログラムが主メモリ上に展開される。さらに、描画プログラム1、描画プログラム2等のグラフィック処理のためのプログラムがビデオメモリ上に展開される。
そして、操作入力部を構成するCPUは、主メモリ上に展開された操作入力プログラムに従って、I/Oに接続された入力デバイスからの操作入力の有無を間欠的に確認して、操作入力情報を受け付ける。
動作部を構成するCPUは、主メモリ上に展開した動作プログラムに従って、装置の機能を実現するための各種の処理を実行する。装置が複数の機能を備える場合など、動作プログラムは単一のプログラムではなく、いくつかのプログラムによって構成されている場合もある。そして、操作入力部において操作入力が受け付けられると、入力された操作入力情報に応じて、動作プログラムに従い、入力された操作が実現される。
操作入力部や動作部を構成するCPUと、主メモリと、記憶装置と、I/Oと、システムバスと、GPUと、ビデオメモリと、グラフィックバスなどが装置リソースに該当する。これらの装置リソースは、少なくとも一部が、操作入力部による操作と動作部とによって共通に利用される。
次に、仮想処理部を構成するCPUは、主メモリ上に展開した仮想処理プログラムに従って、操作入力部から入力されて前記装置リソースを用いて実行される処理を実際の入力なしに間欠的に実行する。仮想処理プログラムは、具体的には、入力される可能性のある仮想的な入力に応じた引数を動作プログラムに対して与えて処理を実行するといった具合である。
時間測定部を構成する時間測定プログラムは、仮想処理部での処理開始時間及び処理終了時間と差分を演算して仮想操作処理時間を測定する。
<実施形態1:処理の流れ>
<実施形態1:処理の流れ>
図3は、本実施形態の電子機器における処理の流れの一例を表すフローチャートである。(a)が全体的な処理の流れを、(b)(c)が各ステップでの処理の流れの詳細を示している。なお、以下に示すステップは、上記のような計算機の各ハードウェア構成によって実行されるステップであっても良いし、あるいは媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。
図3(a)を参照する。本実施形態の電子機器の処理の流れは、仮想処理ステップ(0301)と、時間測定ステップ(0302)と、を有する。
図3(b)を参照する。まず、仮想処理ステップは、操作入力部から入力される可能性のある仮想的な操作入力を行い、この操作入力に応じて、装置リソースを用いて仮想的に処理を実行する。この処理の開始時間、終了時間は、次の時間測定ステップで利用される。仮想処理ステップにおいて仮想処理される入力操作は、操作入力部から入力される蓋然性が高い操作であることが好ましい。そこで、仮想処理ステップには、どのような仮想的な入力について処理を実行するか判断するステップを含んでいることが好ましい。
図3(c)を参照する。次に、時間測定ステップは、仮想処理ステップにて仮想処理が開始されると、仮想操作処理開始時間を取得して記憶する。次に、仮想処理ステップにて仮想処理が終了すると、仮想処理終了時間と仮想操作処理開始時刻との差分を算出し、場合によっては複数の仮想的な操作入力に対する仮想操作処理時間の平均値を算出して、仮想操作処理時間を測定する。
これらのステップは、間欠的に繰り返される。
<実施形態1:効果>
<実施形態1:効果>
本実施形態の電子機器により、操作に対する応答時間に影響を与えるリソースの状況を総合的に考慮可能な電子機器を提供可能である。
一例として、仮想操作処理時間が著しく長い場合には、ユーザは快適な操作感を得られない。そこで、操作処理時間が著しく長い場合には、操作処理時間が短くなるように対応することが好ましい。対応方法は、本実施形態では特に限定されない。例えば、装置の機能を一部制限したり、管理者に対して対応を促す警告を表示したりすることもできる。
このように、例えば、当該技術を利用することによりユーザの快適な操作感を実現可能となる。
<<実施形態2>>
<実施形態2:概要>
<<実施形態2>>
<実施形態2:概要>
本実施形態の電子機器は、実施形態1を基本とする。実施形態1においては、仮想操作処理時間の測定結果をどのように用いてユーザの快適な操作感をすればよいかについて限定がない。本実施形態の電子機器は、目標となる操作処理時間に近づくようにリソースを配分することにより、例えば、ユーザの快適な操作感を実現可能としている点に特徴がある。
<実施形態2:機能的構成>
<実施形態2:機能的構成>
図4は、本実施形態の電子機器の機能ブロックの一例を示す図である。この図を用いて、本実施形態の電子機器の機能的構成を説明する。
本実施形態の電子機器(0401)は、操作入力部(0402)と、動作部(0403)と、装置リソース(図示されない)と、仮想処理部(0404)と、時間測定部(0405)と、操作処理時間比較部(0406)と、負荷制御部(0407)と、を有する。
操作入力部と、動作部と、装置リソースと、仮想処理部と、時間測定部と、については、実施形態1で説明したところと同様であるので、説明を省略する。
「操作処理時間比較部」は、仮想操作処理時間と、目標操作処理時間とを比較する機能を有する。「仮想操作処理時間」は、前記時間測定部により測定された結果として取得される。「目標操作処理時間」は、操作入力部から入力されて前記装置リソースを用いて実行される処理がされるべき目標となる時間である。目標操作処理時間は、ユーザの快適な操作感を実現するために、ユーザが許容可能な処理時間である。仮想的な入力の種類ごとに異なった時間であってもよいし、同じであってもよい。
「負荷制御部」は、操作処理時間比較部における比較結果に応じてリソースを配分する。「リソースを配分する」とは、CPU、HDDデータ転送量、主メモリ(RAM)、RAM帯域、システムバス帯域、ビデオメモリ(VRAM)、VRAM帯域、グラフィックバス帯域などを、入力操作を処理するための操作処理その他の処理に対して割り当てることをいう。例えば、CPUの使用を配分するといった具合である。ただし、上記例示した要素のすべてについて、比較結果に応じたリソースの配分が行われることは必要ではない。または、上記例示した要素以外について、比較結果に応じたリソースの配分が行われても良い。
図5は、操作処理時間測定部の測定結果の一例を模式的に示したグラフであり、図中の点線は、目標操作処理時間を示している。具体例として、ビデオ通話機能を備えた電子機器を挙げて説明する。点pの部分では、仮想操作処理時間が目標操作処理時間より長い(リソース不足)ため、操作入力を実行するためにより多くのリソースを配分する。例えば、ビデオ通話中であれば、ビットレートを下げて操作処理のリソースを増やし、操作処理時間を短くする。点qの部分では、仮想操作処理時間が目標操作処理時間より短い(リソース過剰)ため、操作入力を実行するためのリソース配分を減少させて、他の機能に対して配分する。例えば、ビデオ通話のためのビットレートを上げる。この場合、他の機能についてユーザの満足度を高めることが可能となる。例えば、ビデオ通話のためのビットレートを上げることで通話画質を向上させることが可能となるといった具合である。なお、「ビットレート」とは、ビデオ通話時の1秒当たりの画像のフレーム数又は/及び画像の画素数を指す。
<実施形態2:ハードウェア構成>
<実施形態2:ハードウェア構成>
本実施形態の電子機器のハードウェア構成について説明する。操作入力部と、動作部と、装置リソースと、仮想処理部と、時間測定部と、については、実施形態1で説明したところと同様であるので、説明を省略する。
操作処理時間比較部を構成するCPUは、主メモリ上に展開された操作処理時間時間測定部によって取得された仮想操作処理時間と、記憶媒体に記憶されているテーブルから参照可能な目標操作処理時間とを比較する。比較結果は、主メモリ上に記録される。
負荷制御部を構成するCPUは、主メモリ上の操作処理時間比較部による比較結果を取得して、その比較結果に応じてリソースを配分する。
<実施形態2:処理の流れ>
<実施形態2:処理の流れ>
図6は、本実施形態の電子機器の処理の流れについて、説明するための図である。(a)が全体的な流れを、(b)は、ビデオ通話機能を有する電子機器(ビットレートの上下によってリソースを増減可能な構成である。)を一例として操作処理時間比較ステップ及び負荷制御ステップにおける処理流れの一例を示している。
図6(a)を参照する。本実施形態の電子機器の処理の流れは、仮想処理ステップ(0601)と、時間測定ステップ(0602)と、操作処理時間比較ステップ(0603)と、負荷制御ステップ(0604)と、からなる。仮想処理ステップと、時間測定ステップと、については、実施形態1で述べたところと同様であるので、説明を省略する。
図6(b)を参照する。操作処理時間比較ステップは、時間測定ステップにおいて算出された仮想操作処理時間と、目標操作処理時間との違いが閾値以内であるかを判定する。負荷制御ステップは、仮想操作処理時間が目標操作処理時間より長い場合には、ビデオ通話用のビットレートを下げる。一方、仮想操作処理時間が目標操作時間より短い場合は、ビデオ通話用のビットレートを上げる。図6(b)の処理は繰り返される。
<実施形態2:効果>
<実施形態2:効果>
本実施形態の電子機器により、操作に対する応答時間に影響を与えるリソースの状況を総合的に考慮して、適切なリソース配分を実現することができる。これにより、電子機器上破綻を生じさせずに、例えば、ユーザの快適な操作感を実現可能となる。
<<実施形態3>>
<実施形態3:概要>
<<実施形態3>>
<実施形態3:概要>
本実施形態の電子機器は、実施形態2を基本とする。実施形態2に記載の電子機器においては、目標操作処理時間を設定することが必ずしも必須ではなく、目標操作処理時間は、あらかじめ設定されて電子機器に保持されていても良い。これに対し、本実施形態の電子機器では、目標操作処理時間設定部を設けることで、目標操作処理時間を、状況に応じて設定可能とする。これにより、操作に対する応答時間を場合によっては長く設定することで、その間、他の機能にリソースを配分して、ユーザの満足度を高めることができる。
<実施形態3:機能的構成>
<実施形態3:機能的構成>
図7は、本実施形態の電子機器の機能ブロックの一例を示す図である。この図を用いて、本実施形態の電子機器の機能的構成を説明する。
本実施形態の電子機器(0701)は、操作入力部(0702)と、動作部(0703)と、装置リソース(図示されない)と、仮想処理部(0704)と、時間測定部(0705)と、操作処理時間比較部(0706)と、負荷制御部(0707)と、目標操作処理時間設定部(0708)と、を有する。
操作入力部と、動作部と、装置リソースと、仮想処理部と、時間測定部と、操作処理時間比較部と、負荷制御部と、については、実施形態1または2で説明したところと同様であるので、説明を省略する。
「目標操作処理時間設定部」は、目標操作処理時間を設定する機能を有する。目標操作処理時間は、例えば、動作部において動作中の装置の機能別に設定されていても良い。例えば、ワープロソフト起動中は目標操作処理時間を比較的短く設定し、テレビ視聴中には、目標操作処理時間を比較的長く設定するといった具合である。あるいは、テレビ視聴中にはリモコンからの入力の可能性が高いので、リモコンから入力された入力操作については目標操作処理時間を短く設定するといった具合である。さらに、ユーザが操作入力を行った場合には、その後も続けて操作入力される蓋然性が高いので、ユーザが操作入力を行った場合には、目標操作処理時間を短くし、一定時間操作がおこなわれない場合には、目標操作処理時間を長くするといった具合である。
目標操作処理時間が短ければ、例えば、ユーザの入力操作に対して素早く応答することができるので、ユーザの快適な操作感を実現可能となる。さらに、目標操作処理時間を、ユーザの快適性を失わない程度に長く設定して、他の機能にリソースを配分すれば、ユーザの満足度を高めることができる。
<実施形態3:ハードウェア構成>
<実施形態3:ハードウェア構成>
本実施形態の電子機器のハードウェア構成について説明する。操作入力部と、動作部と、装置リソースと、仮想処理部と、時間測定部と、操作処理時間比較部と、負荷制御部と、については、実施形態1または2で説明したところと同様であるので、説明を省略する。
目標操作処理時間設定部を構成するCPUは、主メモリ上に展開された目標操作処理時間設定プログラムにしたがって、目標操作処理時間を設定し、この目標操作処理時間が、操作処理時間比較部において利用される。
<実施形態3:処理の流れ>
<実施形態3:処理の流れ>
図8は、本実施形態の電子機器の処理の流れについて、説明するための図である。(a)が全体的な流れを、(b)は、目標操作処理時間設定部の具体的な処理の流れの一例を示している。
図8(a)を参照する。本実施形態の電子機器の処理の流れは、仮想処理ステップ(0801)と、時間測定ステップ(0802)と、目標操作処理時間設定ステップ(0805)と、操作処理時間比較ステップ(0803)と、負荷制御ステップ(0804)と、からなる。仮想処理ステップと、時間測定ステップと、操作処理時間比較ステップと、負荷制御ステップと、については、実施形態1または2で述べたところと同様であるので、説明を省略する。
目標操作処理時間設定ステップでは、一定時間操作が行われない場合には、目標操作処理時間として、非操作中目標操作処理時間を設定する。逆に、操作が行われた場合には、目標操作処理時間として、操作中目標操作処理時間を設定する。非操作中目標操作処理時間は、操作中目標操作処理時間に比べて長く設定すると良い。いったん操作が行われた場合には、その後も操作が続けて行われるとの蓋然性が認められるからである。これらの目標操作処理時間は、操作処理時間比較ステップにて利用される。
<実施形態3:効果>
<実施形態3:効果>
本実施形態の電子機器により、状況に応じて、より適切にリソースを配分可能となる。これにより、電子機器上破綻を生じさせずに、ユーザの快適な操作感を実現できる。
<<実施例1>>
<<実施例1>>
本実施例は、実施形態3の電子機器を、ビデオ通話機能を有するデジタルTV(以下「DTV」と表記する場合がある。)に適用した一例である。図9は、このようなデジタルTV装置の機能ブロックの一例である。
本実施例のデジタルTV装置(0901)は、操作入力部(0902)と、動作部(0903)と、装置リソース(図示されない)と、仮想処理部(0904)と、時間測定部(0905)と、操作処理時間比較部(0906)と、負荷制御部(0907)と、目標操作処理時間設定部(0908)と、を有する。さらに、デジタルTV機能を実現するために、チューナー、復調部、分離部、DTV用デコーダ部、表示部、スピーカーなどを備えている。また、ビデオ通話機能を実現するために、カメラ、マイク、エンコーダ部、送信部、受信部、ビデオ通話用デコーダ部、表示部(DTVと共通)、スピーカー(DTVと共通)などを備えている。負荷制御部は、例えば、エンコーダ部を制御して自機器エンコーダのパラメータを制御するとともに、送信部を制御して相手機器エンコーダのパラメータを制御する。あるいは、負荷制御部は、受信部、ビデオ通話用デコーダ部、復調部、分離部、DTV用デコーダ部について処理を行うためのパラメータを変更することとしても良い。
図10は、デジタルTV視聴中に、ビデオ通話を行う場合のリソース分配率の遷移の一例を示す模式図である。
デジタルTV視聴中にビデオ通話を行う際、装置リソースは、デジタルTV放送の受信や表示などを行うためのDTV処理と、ビデオ通話のための送受信や表示などを行うためのビデオ通話処理などに配分されている。また、ユーザの入力操作のための操作処理にも一部の装置リソースが割り当てられている。
デジタルTV放送では、デジタルTVの解像度(DTV解像度)が標準画質(SD)の場合とハイビジョン画質(HD)の場合とが混在している。ビデオ通話処理中に、デジタルTVの解像度をSDからHDに変化させると、DTV処理に必要なリソース量が増加する。この場合、ビデオ通話処理については、DTV解像度を上げたことによる使用リソース量の増加を吸収して、操作処理に割り当てられたリソースを一定程度保つために、ビデオ通話処理のためのリソース量を減少させると良い。さらに、操作入力部で操作入力を受けつけた場合、その後も続けて操作がされる蓋然性が高いので、操作開始によって、操作処理のためのリソースを増やすと良い。そのために、ビデオ通話処理のためのリソースをさらに減少させる。その後、一定時間操作がない場合には、操作終了とみなして再び操作処理のためのリソースを元のレベルに戻し、ビデオ通話処理のためのリソースの割り当てを増やす。ビデオ通話処理のためのリソースの増減は、ビットレートの調整によって実現可能である。
図11は、本実施例のデジタルTV装置と、CPU利用率を計測してリソースの配分を行う構成との違いを説明するための図である。
図11(a)を参照する。CPU利用率を計測して計測結果に基づき、CPU使用率が目標値に近づくようにビデオ通話映像のビットレートが変更される。しかしながら、CPU使用率以外にも、応答時間に影響を与える要素は多いので、操作応答時間がユーザの快適な操作感を得られる限度に納まるかは不明である。さらに、CPU使用率の目標値を例えば70%に固定すると、ビデオ通話映像のビットレートもこれに対応するように固定されることとなるため、映像品位も固定される結果となる。
図11(b)を参照する。本実施例のデジタルTV装置では、仮想処理部にて代表的ないくつかの処理を仮想的に入力、処理した上で平均値を算出し、仮想操作処理時間を測定する。仮想操作処理時間により、実際の応答時間に近似した値を利用して、リソースの配分を行うことが可能となる。したがって、ユーザの操作入力に応じてOSD描画処理を行うなど、応答時間が速くなるので、ユーザの快適な操作感を実現できる。
さらに、操作処理目標時間設定部にて、ユーザが操作を開始した場合には、(操作中)目標操作処理時間を0.3秒に設定し、ユーザが一定時間操作を行わない場合には、(非操作中)目標操作処理時間を1.0秒に設定するといった具合に、目標操作処理時間を状況に応じて設定可能である。目標操作処理時間を0.3秒に設定したために操作処理のためのリソースが不足する場合には、ビデオ通話映像のビットレートを下げる。この場合、ビデオ通話の映像の動きが滑らかでなかったり、画像が粗くなったりするが、ユーザの入力操作に対する処理のためのリソースが確保されるので、ユーザの快適な操作感が得られる。一方、目標操作処理時間を1.0秒に設定したために操作処理のためのリソースが過剰となった場合には、ビデオ通話映像のビットレートを上げる。これにより、ユーザの快適な操作感を害さない範囲で、ビデオ通話映像の映像品位を高めることが可能となり、ユーザの満足度が向上する。
以上のとおり、本実施例のデジタルTV装置では、ビデオ通話機能利用時に装置に破綻をきたすことなく、ユーザの快適な操作感とビデオ通話映像の映像品位の向上とを両立可能となる。
電子機器 0101、0401、0701
操作入力部 0102、0402、0702
動作部 0103、0403、0703
仮想処理部 0104、0404、0704
時間測定部 0105、0405、0705
操作処理時間比較部 0406、0706
負荷制御部 0407、0707
目標操作処理時間設定部 0708
操作入力部 0102、0402、0702
動作部 0103、0403、0703
仮想処理部 0104、0404、0704
時間測定部 0105、0405、0705
操作処理時間比較部 0406、0706
負荷制御部 0407、0707
目標操作処理時間設定部 0708
Claims (6)
- 操作入力部と、
装置の機能を実現する動作部と、
操作入力部による操作と動作部とによって共通に利用され、操作に対する応答時間に影響を与える複数の装置リソースと、
操作入力部から入力されて前記装置リソースを用いて実行される処理を実際の入力なしに間欠的に実行する仮想処理部と、
仮想処理部での実行に要した仮想操作処理時間を測定する時間測定部と、
を有する電子機器。 - 前記時間測定部により測定された仮想操作処理時間と、前記操作入力部から入力されて前記装置リソースを用いて実行される処理がされるべき目標となる時間である目標操作処理時間とを比較する操作処理時間比較部と、
操作処理時間比較部における比較結果に応じてリソースを配分する負荷制御部と、をさらに有する請求項1に記載の電子機器。 - 前記目標操作処理時間を設定する機能を有する目標操作処理時間設定部をさらに有する請求項2に記載の電子機器。
- 前記操作入力部は、入力デバイスを含む請求項1から3までのいずれか1に記載の電子機器。
- 請求項1から4のいずれか一に記載の電子機器を含むテレビジョン受信装置。
- 前記装置の機能がテレビジョン受信・出力機能である請求項1から4のいずれか一に記載の電子機器。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011276153A JP5392661B2 (ja) | 2011-12-16 | 2011-12-16 | 電子機器 |
| PCT/JP2012/072028 WO2013088789A1 (ja) | 2011-12-16 | 2012-08-30 | 電子機器 |
| US14/365,435 US20140375748A1 (en) | 2011-12-16 | 2012-08-30 | Electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011276153A JP5392661B2 (ja) | 2011-12-16 | 2011-12-16 | 電子機器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013128169A JP2013128169A (ja) | 2013-06-27 |
| JP5392661B2 true JP5392661B2 (ja) | 2014-01-22 |
Family
ID=48612248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011276153A Expired - Fee Related JP5392661B2 (ja) | 2011-12-16 | 2011-12-16 | 電子機器 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20140375748A1 (ja) |
| JP (1) | JP5392661B2 (ja) |
| WO (1) | WO2013088789A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160070431A1 (en) * | 2014-09-06 | 2016-03-10 | Airwatch Llc | Sync based on navigation history |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1410199A2 (en) * | 2000-11-06 | 2004-04-21 | Koninklijke Philips Electronics N.V. | A method and a system for allocation of a budget to a task |
| JP2007241667A (ja) * | 2006-03-08 | 2007-09-20 | Nec Corp | 業務フロー制御システム、業務フロー制御方法および制御用プログラム |
| JP2010118976A (ja) * | 2008-11-14 | 2010-05-27 | Toshiba Corp | 通信装置、通信方法および通信プログラム |
| JP5448032B2 (ja) * | 2008-12-25 | 2014-03-19 | インターナショナル・ビジネス・マシーンズ・コーポレーション | リソース管理装置、リソース管理プログラム、およびリソース管理方法 |
| US8234236B2 (en) * | 2009-06-01 | 2012-07-31 | International Business Machines Corporation | System and method for efficient allocation of resources in virtualized desktop environments |
-
2011
- 2011-12-16 JP JP2011276153A patent/JP5392661B2/ja not_active Expired - Fee Related
-
2012
- 2012-08-30 WO PCT/JP2012/072028 patent/WO2013088789A1/ja not_active Ceased
- 2012-08-30 US US14/365,435 patent/US20140375748A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| WO2013088789A1 (ja) | 2013-06-20 |
| US20140375748A1 (en) | 2014-12-25 |
| JP2013128169A (ja) | 2013-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9131021B2 (en) | Dynamic screen sharing for optimal performance | |
| EP3046331B1 (en) | Media control method and system based on cloud desktop | |
| US10353529B2 (en) | Cloud-computing graphic server | |
| CN112399123B (zh) | 视频清晰度的调整方法、装置、电子设备及存储介质 | |
| US20110214061A1 (en) | User Interface for Managing Client Devices | |
| KR101594105B1 (ko) | 사용자 장치 간에 여러 화면을 분배하고 입력 인터페이스를 공유하는 멀티 스크린 구현 방법 및 장치 | |
| CN108990110B (zh) | 网络流量管理方法、装置、存储介质及终端 | |
| EP2996346A1 (en) | Multi-screen control method and device supporting multiple window applications | |
| US8839292B1 (en) | Systems and methods for rendering multiple applications on television screens | |
| CN112181353B (zh) | 音频播放方法、装置、电子设备及存储介质 | |
| CN103841342A (zh) | 显示控制方法及其系统 | |
| CN112486921B (zh) | 一种文件同步方法、显示设备及移动终端 | |
| CN105094663A (zh) | 用户终端设备、用于控制用户终端设备的方法及其多媒体系统 | |
| CN107148776B (zh) | 获取视频数据的方法、装置、系统及计算机可读存储介质 | |
| CN111666023B (zh) | 界面显示方法、装置、电子设备及可读存储介质 | |
| JP2018531564A6 (ja) | ビデオデータを取得するための方法、装置、及びシステム並びにコンピュータ可読記憶媒体 | |
| CN102890595B (zh) | 主屏幕与延伸屏幕的互动控制方法及系统 | |
| KR20150028588A (ko) | 스트리밍 서비스를 위한 전자 장치 및 방법 | |
| JP5392661B2 (ja) | 電子機器 | |
| EP3704861B1 (en) | Networked user interface back channel discovery via wired video connection | |
| CN114007129A (zh) | 一种显示设备及配网方法 | |
| US20110271195A1 (en) | Method and apparatus for allocating content components to different hardward interfaces | |
| CN113132779A (zh) | 音量按键消息的处理方法及显示设备 | |
| US20150271431A1 (en) | Information Transmission Method and Wireless Display System | |
| KR102011834B1 (ko) | 디스플레이 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131004 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |