JP2008244820A - Video display system and video output device - Google Patents
Video display system and video output device Download PDFInfo
- Publication number
- JP2008244820A JP2008244820A JP2007082192A JP2007082192A JP2008244820A JP 2008244820 A JP2008244820 A JP 2008244820A JP 2007082192 A JP2007082192 A JP 2007082192A JP 2007082192 A JP2007082192 A JP 2007082192A JP 2008244820 A JP2008244820 A JP 2008244820A
- Authority
- JP
- Japan
- Prior art keywords
- video
- frame information
- output device
- interpolation frame
- display system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】映像出力装置と映像再生装置間における通信状態などに基づいて、フレーム補間処理の負荷を分散できる映像表示システムを提供する。
【解決手段】映像表示システムは、映像信号を出力する映像出力装置2と、映像出力装置2からの映像信号を再生する映像再生装置3とがネットワークを介して接続される。映像出力装置2及び前記映像再生装置3は、映像信号の隣接する2つのフレームに基づいて補間フレーム情報を生成する補間フレーム情報生成部22a,32cを備え、映像出力装置2は、映像出力装置2と映像再生装置3間の通信状態を監視する通信状態監視部22dと、装置間の通信状態に基づいて、映像出力装置2と映像再生装置3のいずれで補間フレーム情報を生成するか判定する条件判定部22cとを備える。
【選択図】図3A video display system capable of distributing a load of frame interpolation processing based on a communication state between a video output device and a video reproduction device.
In a video display system, a video output device 2 for outputting a video signal and a video playback device 3 for reproducing a video signal from the video output device 2 are connected via a network. The video output device 2 and the video playback device 3 include interpolation frame information generation units 22 a and 32 c that generate interpolation frame information based on two adjacent frames of the video signal. The video output device 2 is the video output device 2. And a communication state monitoring unit 22d for monitoring the communication state between the video reproduction device 3 and a condition for determining which one of the video output device 2 and the video reproduction device 3 generates the interpolation frame information based on the communication state between the devices And a determination unit 22c.
[Selection] Figure 3
Description
本発明は、フレーム補間された映像を表示する映像表示システム及び映像出力装置に関し、より詳細には、映像出力装置と映像再生装置との間でフレーム補間処理の負荷を分散可能な映像表示システム及び映像出力装置に関する。 The present invention relates to a video display system and a video output device that display a frame-interpolated video, and more specifically, a video display system that can distribute the load of frame interpolation processing between the video output device and the video playback device, and The present invention relates to a video output device.
最近、携帯端末などチューナ機能の無い映像再生装置と、チューナ機能とインターネット接続機能を備えた映像出力装置とを無線LANやインターネットを介して接続し、映像出力装置から映像再生装置へ映像信号を転送することで、映像再生装置でリアルタイムでテレビ視聴できるようにしたテレビ視聴システムが知られている。このテレビ視聴システムは、ロケーションフリー(登録商標)と呼ばれ、一般家庭への普及が進んでいる。 Recently, video playback devices that do not have a tuner function, such as portable terminals, and video output devices that have a tuner function and an Internet connection function are connected via a wireless LAN or the Internet, and video signals are transferred from the video output device to the video playback device. Thus, there is known a television viewing system that allows a video playback device to view television in real time. This television viewing system is called location-free (registered trademark), and is spreading to ordinary households.
このテレビ視聴システムにおいて、映像出力装置はテレビ放送等の映像信号をリアルタイムでMPEG−4あるいはMPEG−2に変換してIPパケットとして映像再生装置に送信する。MPEG−4は、主として携帯端末向けの動画像符号化方式であるため、MPEG−2と比べて、ビットレートが低く、解像度が悪い。そこで、MPEG−4の動画像をより高画質で視聴しようとした場合、フレーム補間を行い、フレーム数を上げるなどの方法が考えられる。 In this television viewing system, a video output device converts a video signal of a television broadcast or the like into MPEG-4 or MPEG-2 in real time and transmits it as an IP packet to a video playback device. MPEG-4 is a moving picture coding system mainly for portable terminals, and therefore has a lower bit rate and lower resolution than MPEG-2. In view of this, when trying to view a moving image of MPEG-4 with higher image quality, a method such as performing frame interpolation to increase the number of frames can be considered.
一般に、フレーム補間の方法は、複数フレームからなる動画像信号に対して、隣接する2つのフレーム間に補間フレームを補間して、時間あたりの表示フレーム数を増大させることを目的としている。これにより、時間分解能が向上するため、液晶ディスプレイ(LCD: Liquid Crystal Display)などの表示装置における動画質を良くすることができる。 In general, the frame interpolation method is intended to increase the number of display frames per time by interpolating an interpolation frame between two adjacent frames with respect to a moving image signal composed of a plurality of frames. Thereby, since time resolution improves, the moving image quality in a display device such as a liquid crystal display (LCD) can be improved.
上記において、補間フレームを生成するためには、隣接する2つの原フレーム間の差分情報などである補間フレーム情報が必要となるが、通常の場合、特許文献1のように、映像再生装置がこの補間フレーム情報を生成している。 In the above, in order to generate an interpolated frame, interpolated frame information such as difference information between two adjacent original frames is required. Interpolated frame information is generated.
すなわち、映像再生装置は、映像出力装置が受信した映像信号の隣接する2つの原フレームから補間フレーム情報を生成し、この補間フレーム情報と2つの原フレームに基づいて、補間フレームを生成する。そして、2つの現フレームの間に補間フレームを挿入して映像表示させる。 That is, the video reproduction device generates interpolation frame information from two adjacent original frames of the video signal received by the video output device, and generates an interpolation frame based on the interpolation frame information and the two original frames. Then, an interpolation frame is inserted between the two current frames to display the video.
図21は、従来の映像表示システムを構成する映像出力装置と映像再生装置によるフレーム補間処理を説明するための図で、図中、200は映像出力装置、300は映像再生装置を示す。
図22は、図21に示す従来の映像表示システムの構成を示すブロック図である。映像出力装置200は、映像受信部201,通信部202を備え、映像再生装置300は、通信部301,補間フレーム情報生成部302,表示部303,及び補間フレーム生成部304を備える。
FIG. 21 is a diagram for explaining frame interpolation processing by a video output device and a video playback device that constitute a conventional video display system, in which 200 indicates a video output device and 300 indicates a video playback device.
FIG. 22 is a block diagram showing a configuration of the conventional video display system shown in FIG. The
図21及び図22において、映像出力装置200は、映像受信部201が映像信号を受信すると、図示しない制御部が映像信号をデコードして複数の原フレーム1011,1012,…を抽出する。そして、通信部202がこれらの原フレーム1011,1012,…を映像再生装置300に送信する。
21 and 22, in the
映像再生装置300は、通信部301が映像出力装置200から送信された原フレーム1011,1012,…を受信すると、補間フレーム情報生成部302が隣接する2つの原フレーム1011,1012から、補間フレームを生成するために必要な差分情報などの補間フレーム情報102を生成する。補間フレーム生成部304は、補間フレーム情報102と2つのフレーム1011,1012に基づいて、補間フレーム103を生成する。そして、表示部303は、2つのフレーム1011,1012と補間フレーム103からなる映像100を表示出力する。
図21及び図22に示した従来システムにおいて、フレーム補間処理を実行した場合、映像再生装置側で必ず補間フレーム情報が生成され、この補間フレーム情報に基づいて補間フレームが生成される。しかし、映像出力装置と映像再生装置との間の通信状態が良好な場合や、映像再生装置の処理能力(例えばCPUの性能)が低い場合、映像再生装置のバッテリ残量が少ない場合などに、映像再生装置側で補間フレーム情報を生成することは必ずしも効率的とはいえない。 In the conventional system shown in FIGS. 21 and 22, when frame interpolation processing is executed, interpolation frame information is always generated on the video playback device side, and an interpolation frame is generated based on this interpolation frame information. However, when the communication state between the video output device and the video playback device is good, when the processing capability of the video playback device (for example, the performance of the CPU) is low, or when the battery of the video playback device is low, It is not always efficient to generate interpolation frame information on the video playback device side.
例えば、映像再生装置が携帯端末であれば、通常の場合、携帯端末の処理能力よりも映像出力装置の処理能力のほうが高いと考えられる。従って、両者の通信状態が良好であれば、処理能力の高い映像出力装置で補間フレーム情報を生成したほうが効率がよい。また、逆に、両者の通信状態が悪い場合、映像出力装置からのデータ送信量をできるだけ減らした方が好ましいため、映像再生装置で補間フレーム情報を生成したほうが効率的な場合がある。 For example, if the video playback device is a portable terminal, it is considered that the processing capability of the video output device is usually higher than the processing capability of the portable terminal. Therefore, if the communication state between the two is good, it is more efficient to generate the interpolated frame information with a video output device having a high processing capability. Conversely, when the communication state between the two is poor, it is preferable to reduce the amount of data transmitted from the video output device as much as possible. Therefore, it may be more efficient to generate the interpolation frame information in the video playback device.
このように、映像出力装置と映像再生装置において、装置間の通信状態などに応じてフレーム補間処理の負荷を分散させることは、効率的な処理を行うために有効であるが、このような技術思想はこれまで実現されていなかった。 As described above, in the video output device and the video playback device, it is effective for performing efficient processing to distribute the load of the frame interpolation processing according to the communication state between the devices. The idea has never been realized.
本発明は、上述のごとき実情に鑑みてなされたものであり、映像出力装置と映像再生装置を備えた映像表示システムにおいて、装置間における通信状態や、映像再生装置の処理能力、バッテリ残量などに基づいて、フレーム補間処理の負荷を分散できる映像表示システム及び映像出力装置を提供すること、を目的とする。 The present invention has been made in view of the above circumstances, and in a video display system including a video output device and a video playback device, the communication state between the devices, the processing capability of the video playback device, the remaining battery level, etc. Based on the above, it is an object to provide a video display system and a video output device capable of distributing the load of the frame interpolation processing.
上記課題を解決するために、本発明の第1の技術手段は、映像信号を出力する映像出力装置と、映像出力装置からの映像信号を再生する映像再生装置とがネットワークを介して接続された映像表示システムであって、映像出力装置及び映像再生装置は、映像信号に基づいて補間フレーム情報を生成する補間フレーム情報生成部を備え、映像出力装置及び/又は映像再生装置は、映像再生装置に係る所定の条件に基づいて、映像出力装置と映像再生装置のいずれで補間フレーム情報を生成するか判定する条件判定部を備えることを特徴としたものである。 In order to solve the above problems, a first technical means of the present invention is that a video output device that outputs a video signal and a video playback device that reproduces a video signal from the video output device are connected via a network. In the video display system, the video output device and the video playback device include an interpolation frame information generation unit that generates interpolation frame information based on the video signal, and the video output device and / or the video playback device are included in the video playback device. A condition determination unit that determines which of the video output device and the video playback device generates the interpolated frame information based on the predetermined condition is provided.
第2の技術手段は、第1の技術手段において、条件判定部は、映像出力装置と映像再生装置間の通信状態を監視する通信状態監視部を備え、通信状態監視部により監視される映像出力装置と映像再生装置間の通信状態に基づいて、映像出力装置と映像再生装置のいずれで補間フレーム情報を生成するか判定することを特徴としたものである。 According to a second technical means, in the first technical means, the condition determining unit includes a communication state monitoring unit that monitors a communication state between the video output device and the video reproduction device, and the video output monitored by the communication state monitoring unit. It is characterized in that it is determined which of the video output device and the video playback device generates the interpolation frame information based on the communication state between the device and the video playback device.
第3の技術手段は、第2の技術手段において、条件判定部は、通信状態が良好である場合、映像出力装置側で補間フレーム情報を生成すると判定し、通信状態が悪い場合、映像再生装置側で補間フレーム情報を生成すると判定することを特徴としたものである。 According to a third technical means, in the second technical means, the condition determination unit determines that the interpolated frame information is generated on the video output device side when the communication state is good, and the video reproduction device when the communication state is bad. It is characterized in that it is determined that interpolation frame information is generated on the side.
第4の技術手段は、第3の技術手段において、映像出力装置は、通信状態が悪い場合、映像信号のフレーム数を削減することを特徴としたものである。 According to a fourth technical means, in the third technical means, the video output device reduces the number of frames of the video signal when the communication state is poor.
第5の技術手段は、第1の技術手段において、条件判定部は、映像再生装置の処理能力に関わる情報を取得する能力情報取得部を備え、能力情報取得部により取得される映像再生装置の処理能力に基づいて、映像出力装置と映像再生装置のいずれで補間フレーム情報を生成するか判定することを特徴としたものである。 According to a fifth technical means, in the first technical means, the condition determination unit includes a capability information acquisition unit that acquires information related to the processing capability of the video playback device, and the video playback device acquired by the capability information acquisition unit Based on the processing capability, it is determined which of the video output device and the video playback device generates the interpolation frame information.
第6の技術手段は、第5の技術手段において、条件判定部は、映像再生装置の処理能力が所定レベル以上の場合、映像再生装置側で補間フレーム情報を生成すると判定し、映像再生装置の処理能力が所定レベル未満の場合、映像出力装置側で補間フレーム情報を生成すると判定することを特徴としたものである。 According to a sixth technical means, in the fifth technical means, the condition determination unit determines that the interpolated frame information is generated on the video reproduction device side when the processing capability of the video reproduction device is equal to or higher than a predetermined level. When the processing capability is less than a predetermined level, the video output device side determines to generate interpolation frame information.
第7の技術手段は、第6の技術手段において、映像出力装置は、映像再生装置の処理能力が所定レベル以上の場合、映像信号のフレーム数を削減することを特徴としたものである。 A seventh technical means is the sixth technical means, wherein the video output device reduces the number of frames of the video signal when the processing capacity of the video reproduction device is equal to or higher than a predetermined level.
第8の技術手段は、第1の技術手段において、条件判定部は、映像再生装置がバッテリを内蔵する場合、映像再生装置のバッテリ残量を監視するバッテリ残量監視部を備え、バッテリ残量監視部により監視される映像再生装置のバッテリ残量に基づいて、映像出力装置と映像再生装置のいずれで補間フレーム情報を生成するか判定することを特徴としたものである。 According to an eighth technical means, in the first technical means, the condition determination unit includes a battery remaining amount monitoring unit that monitors a remaining battery level of the video reproduction device when the video reproduction device includes a battery, Based on the remaining battery level of the video playback device monitored by the monitoring unit, it is determined whether the video output device or the video playback device generates the interpolation frame information.
第9の技術手段は、第8の技術手段において、条件判定部は、映像再生装置のバッテリ残量が所定レベル以上の場合、映像再生装置側で補間フレーム情報を生成すると判定し、映像再生装置のバッテリ残量が所定レベル未満の場合、映像出力装置側で補間フレーム情報を生成すると判定することを特徴としたものである。 According to a ninth technical means, in the eighth technical means, the condition determination unit determines that the interpolated frame information is generated on the video reproduction device side when the battery remaining amount of the video reproduction device is equal to or higher than a predetermined level, and the video reproduction device When the remaining battery level is less than a predetermined level, the video output device side determines to generate interpolation frame information.
第10の技術手段は、第9の技術手段において、映像出力装置は、映像再生装置のバッテリ残量が所定レベル以上の場合、映像信号のフレーム数を削減することを特徴としたものである。 A tenth technical means is the ninth technical means, wherein the video output device reduces the number of frames of the video signal when the remaining battery level of the video reproducing device is equal to or higher than a predetermined level.
第11の技術手段は、第4,7,10のいずれかの技術手段において、映像出力装置は、映像信号から削減したフレームを生成するための補間フレーム情報を、映像信号の残りのフレームから生成することを特徴としたものである。 According to an eleventh technical means, in any one of the fourth, seventh and tenth technical means, the video output device generates interpolation frame information for generating a reduced frame from the video signal from the remaining frames of the video signal. It is characterized by doing.
第12の技術手段は、第1乃至11のいずれかの技術手段において、映像再生装置は、映像出力装置に対して補間フレームの生成数を入力・指定する入力部を備え、
映像出力装置の補間フレーム情報生成部は、入力部から指定された補間フレーム数に対応する補間フレーム情報を生成することを特徴としたものである。
In a twelfth technical means according to any one of the first to eleventh technical means, the video reproduction device includes an input unit that inputs and designates the number of generated interpolation frames to the video output device,
The interpolation frame information generation unit of the video output device generates interpolation frame information corresponding to the number of interpolation frames specified from the input unit.
第13の技術手段は、第1乃至11のいずれかの技術手段において、補間フレーム情報生成部は、映像信号の隣接する2つのフレームに基づいて補間フレーム情報を生成することを特徴としたものである。 A thirteenth technical means according to any one of the first to eleventh technical means is characterized in that the interpolation frame information generation unit generates interpolation frame information based on two adjacent frames of the video signal. is there.
第14の技術手段は、第13の技術手段において、映像再生装置は、隣接する2つのフレームと、映像出力装置あるいは映像再生装置で生成された補間フレーム情報とに基づいて、隣接する2つのフレーム間に挿入するための補間フレームを生成する補間フレーム生成部を備えることを特徴としたものである。 A fourteenth technical means is that in the thirteenth technical means, the video reproduction device comprises two adjacent frames based on two adjacent frames and interpolation frame information generated by the video output device or the video reproduction device. An interpolation frame generation unit that generates an interpolation frame to be inserted therebetween is provided.
第15の技術手段は、第1乃至11のいずれかの技術手段において、映像再生装置は、条件判定部により判定される条件をユーザが入力・指定する入力部を備え、条件判定部は、入力部から指定された判定条件に基づいて、映像出力装置と映像再生装置のいずれで補間フレーム情報を生成するか判定することを特徴としたものである。 According to a fifteenth technical means, in the technical means according to any one of the first to eleventh technical aspects, the video reproduction apparatus includes an input unit for a user to input and designate a condition determined by the condition determining unit. It is characterized in that it is determined which of the video output device and the video playback device generates the interpolated frame information based on the determination condition designated by the unit.
第16の技術手段は、第1の技術手段において、映像出力装置と映像再生装置の両方で補間フレーム情報を生成する場合、映像出力装置の補間フレーム情報生成部が映像信号の一部のフレームから補間フレーム情報を生成し、映像再生装置の補間フレーム情報生成部が映像信号の残りのフレームから補間フレーム情報を生成することを特徴としたものである。 According to a sixteenth technical means, in the first technical means, when the interpolation frame information is generated by both the video output device and the video reproduction device, the interpolation frame information generation unit of the video output device starts from a part of the frame of the video signal. The interpolation frame information is generated, and the interpolation frame information generation unit of the video reproduction device generates the interpolation frame information from the remaining frames of the video signal.
第17の技術手段は、映像信号に基づいて補間フレーム情報を生成可能な映像再生装置とネットワークを介して接続される映像出力装置であって、映像信号に基づいて補間フレーム情報を生成する補間フレーム情報生成部と、映像再生装置に係る所定の条件に基づいて、映像出力装置と映像再生装置のいずれで補間フレーム情報を生成するか判定する条件判定部とを備えることを特徴としたものである。 A seventeenth technical means is a video output device connected via a network to a video playback device capable of generating interpolation frame information based on a video signal, wherein the interpolation frame generates interpolation frame information based on the video signal An information generation unit, and a condition determination unit that determines which of the video output device and the video playback device generates the interpolation frame information based on a predetermined condition relating to the video playback device. .
本発明によれば、映像出力装置と映像再生装置を備えた映像表示システムにおいて、装置間における通信状態や、映像再生装置の処理能力、バッテリ残量などに基づいて、フレーム補間処理の負荷を分散できるため、装置の状況に応じてフレーム補間処理を効率的に実行することができる。 According to the present invention, in a video display system including a video output device and a video playback device, the frame interpolation processing load is distributed based on the communication status between the devices, the processing capability of the video playback device, the remaining battery level, and the like. Therefore, the frame interpolation process can be efficiently executed according to the status of the apparatus.
以下、添付図面を参照しながら、本発明の映像表示システム及び映像出力装置の好適な実施の形態について説明する。なお、図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。なお、本発明が適用されるフレーム信号は、互いに類似の関係にあるフィールド信号を含むものとする。 Hereinafter, preferred embodiments of a video display system and a video output device of the present invention will be described with reference to the accompanying drawings. In the drawings, portions having the same function are denoted by the same reference numerals, and repeated description is omitted. The frame signal to which the present invention is applied includes field signals having a similar relationship to each other.
図1は、本発明の一実施形態に係る映像表示システムの構成例を示す図で、図中、1はテレビ装置、2は映像出力装置、3は映像再生装置、4はネットワークを示す。本発明の映像表示システムは、映像出力装置2と映像再生装置3とがネットワーク4を介して接続され、映像再生装置3に係る所定の条件として、例えば、装置間の通信状態や、映像再生装置3の処理能力、バッテリ残量などに基づいて、フレーム補間処理の負荷を分散させる。具体的には、映像出力装置2と映像再生装置3の両方で補間フレーム情報を生成可能としておき、装置間の通信状態などに基づいて、補間フレーム情報を生成させる装置を適応的に決定する。
FIG. 1 is a diagram showing a configuration example of a video display system according to an embodiment of the present invention, in which 1 denotes a television device, 2 denotes a video output device, 3 denotes a video playback device, and 4 denotes a network. In the video display system of the present invention, the
図1において、映像表示システムは、例えば、ネットワーク4がインターネット、映像出力装置2がレコーダ、映像再生装置3が携帯端末(携帯電話機,PDAなど)である。本発明を適用可能な視聴形態は、例えば、家庭内に設置されたレコーダがテレビ放送などの映像信号を受信し、この映像信号をインターネット経由で携帯端末にリアルタイム転送する。そして、ユーザは携帯端末を用いて、レコーダから転送された映像信号を再生・視聴する。あるいは、レコーダのハードディスク等に映像信号を録画した後に、ユーザ所望のタイミングでこの録画映像をレコーダから携帯端末に転送し、携帯端末で再生・視聴するケースにも適用できる。
In FIG. 1, the video display system is, for example, the
映像出力装置2と映像再生装置3で扱うデータ形式が異なる場合、例えば、映像出力装置2がMPEG−2対応で、映像再生装置3がMPEG−4対応である場合には、映像出力装置2が映像再生装置3で再生可能なデータ形式に映像信号を変換するようにしてもよい。また、映像出力装置2が1セグチューナ等を備えて映像再生装置3で再生可能な映像信号を受信するようにしてもよい。また、映像再生装置3が自身で再生可能なデータ形式に映像信号を変換するようにしてもよい。
When the data formats handled by the
なお、映像出力装置2が映像信号を取り込む際の入力ソースは、例えば、アナログチューナ,デジタルチューナに限定されず、内蔵ハードディスク,DVD等の外部記録媒体などを対象としてもよい。
Note that the input source when the
(第1の実施形態)
図2は、本発明の第1の実施形態に係る映像表示システムを構成する映像出力装置と映像再生装置によるフレーム補間処理の一例を説明するための図である。本実施形態では、映像出力装置2が映像再生装置3との通信状態を監視する。
(First embodiment)
FIG. 2 is a diagram for explaining an example of frame interpolation processing by the video output device and the video playback device that constitute the video display system according to the first embodiment of the present invention. In the present embodiment, the
図2(A)に示すように、装置間の通信状態が悪い場合、映像出力装置2からのデータ送信量は出来るだけ減らした方が通信負荷を軽減できるため、映像出力装置2で補間フレーム情報を生成せずに、隣接フレームである原フレーム101のみを映像再生装置3に送信する。映像再生装置3は、原フレーム101を受信すると、原フレーム101から補間フレーム情報を生成し、この補間フレーム情報と原フレーム101とに基づいて補間フレームを生成する。
As shown in FIG. 2A, when the communication state between the devices is poor, it is possible to reduce the communication load by reducing the data transmission amount from the
一方、図2(B)に示すように、装置間の通信状態が良好である場合、映像出力装置2で補間フレーム情報102を生成し、この補間フレーム情報102と原フレーム101を映像再生装置3に送信する。映像再生装置3は、原フレーム101と補間フレーム情報102を受信すると、原フレーム101と補間フレーム情報102に基づいて補間フレームを生成する。
On the other hand, as shown in FIG. 2B, when the communication state between the devices is good, the
図3は、図2に示す映像表示システムの構成例を示すブロック図である。映像出力装置2は、テレビジョン放送信号(映像信号)を受信するチューナ(映像受信部)21と、装置の動作を制御するCPUなどで構成される制御部22と、テレビ番組等の映像データを記録するためのHDD(ハードディスクドライブ)23と、装置の動作を制御するための制御プログラム等を記憶するメモリ24と、ネットワーク4を介して映像再生装置3と接続するための通信部25とを備える。さらに制御部22は、チューナ21で受信した映像信号をデコードし、デコードした映像信号から補間フレーム情報を生成する補間フレーム情報生成部22aと、デコードした映像信号を再エンコードするエンコーダ22bと、映像再生装置3に係る所定の条件に基づいて、映像出力装置2と映像再生装置3のいずれで補間フレーム情報を生成するか判定する条件判定部22cとを備える。
FIG. 3 is a block diagram illustrating a configuration example of the video display system illustrated in FIG. The
補間フレーム情報生成部22aは、例えば、映像信号の隣接する2つのフレームから補間フレーム情報を生成することが考えられるが、補間フレーム情報の生成に必要なフレームは隣接する2フレームに限らず、複数フレームであればよく、さらには、1つのフレームから補間フレームを生成可能な画像フォーマットであれば、必ずしも複数フレームでなくてもよい。
For example, the interpolated frame
なお、映像出力装置2は、補間フレーム情報生成部22aでデコードした原フレームを映像再生装置3に送信する際に、原フレームのまま送信してもよいし、エンコーダ22bで再エンコードして送信するようにしてもよい。原フレームのまま送信する場合、エンコードする必要がないため、エンコーダ22bを構成から削除してもよい。
The
本実施形態の場合、条件判定部22cは、映像再生装置3との間の通信状態を監視する通信状態監視部22dを備える。条件判定部22cは、通信状態監視部22dにより監視される映像出力装置2と映像再生装置3間の通信状態に基づいて、映像出力装置2と映像再生装置3のいずれで補間フレーム情報を生成するか判定する。
In the case of this embodiment, the
より具体的には、条件判定部22cは、通信状態監視部22dにより監視される通信状態が良好である場合、映像出力装置2で補間フレーム情報を生成すると判定し、通信状態が悪い場合、映像再生装置3で補間フレーム情報を生成すると判定する。
More specifically, the
なお、条件判定部22cは、映像再生装置3側に備えてもよく、あるいは、映像出力装置2と映像再生装置3の両方に備えるようにしてもよい。この条件判定部22cを映像再生装置3に備える構成とした場合、この判定結果を映像再生装置3から映像出力装置2に通知するようにする。
The
ここで、通信状態の監視・判定方法の一例について説明する。映像再生装置3が映像出力装置2に対して、受信データの受信レート(1秒当りの受信データサイズ)を定期的あるいは所望のタイミングで通知する。受信レートが閾値以上の場合に通信状態が良好と判定し、受信レートが閾値未満の場合に通信状態が悪いと判定する。この閾値は予め決めておいてもよいし、ユーザが任意に設定できるようにしてもよい。
Here, an example of a communication state monitoring / determination method will be described. The
映像再生装置3は、ネットワーク4を介して映像出力装置2と接続するための通信部31と、装置の動作を制御するCPUなどで構成される制御部32と、映像データ等を記録するためのHDD(ハードディスクドライブ)33と、装置の動作を制御するための制御プログラム等を記憶するメモリ34と、映像データを表示出力する表示部35とを備える。さらに制御部32は、映像出力装置2からの映像信号をデコードするデコーダ32aと、映像信号の2つの原フレームと補間フレーム情報とに基づいて、2つの原フレーム間に挿入するための補間フレームを生成する補間フレーム生成部32bと、映像信号に基づいて補間フレーム情報を生成する補間フレーム情報生成部32cを備え、表示部35は、LCDなどで構成されるディスプレイ35aと、ディスプレイ35aに表示する画面データを格納するためのビデオRAM35bとを備える。
The
補間フレーム情報生成部32cは、前述の補間フレーム情報生成部22aと同様に、例えば、映像信号の隣接する2つのフレームから補間フレーム情報を生成することが考えられるが、補間フレーム情報の生成に必要なフレームは隣接する2フレームに限らず、複数フレームであればよく、さらには、1つのフレームから補間フレームを生成可能な画像フォーマットであれば、必ずしも複数フレームでなくてもよい。
The interpolation frame
デコーダ32aは、映像出力装置2で再エンコードされた原フレームを受信した場合、これをデコードするために必要となるが、再エンコードされていない原フレームを受信する場合、デコードする必要がないため、デコーダ32aを構成から削除してもよい。
The
図4は、本発明の第1の実施形態に係る映像表示システムを構成する映像出力装置と映像再生装置によるフレーム補間処理の一例を説明するためのフロー図である。まず、映像出力装置2は、通信状態監視部22dが映像再生装置3との間の通信状態を監視し(ステップS1)、条件判定部22cが、前述の通信状態の判定方法に従って、通信状態が良好かどうかを判定する(ステップS2)。
FIG. 4 is a flowchart for explaining an example of the frame interpolation process by the video output device and the video playback device that constitute the video display system according to the first embodiment of the present invention. First, in the
映像出力装置2は、ステップS2において、通信状態が悪いと判定された場合(NOの場合)、出来る限りデータ送信量を減らす方が望ましいため、通信部25が原フレームのみを映像再生装置3に送信する(ステップS3)。この場合、補間フレーム情報生成部22aは補間フレーム情報を生成しないため、映像再生装置3側で補間フレーム情報が生成される。
If it is determined in step S2 that the communication state is poor (in the case of NO), the
映像再生装置3は、通信部31が映像出力装置2から原フレームを受信すると(ステップS4)、補間フレーム情報生成部32cが、隣接する2つの原フレームに基づいて補間フレーム情報を生成する(ステップS5)。そして、補間フレーム生成部32bが、隣接する2つの原フレームと補間フレーム情報とを用いて、原フレーム間に挿入する補間フレームを生成する(ステップS6)。そして、表示部35が、原フレームと補間フレームからなる映像を表示する(ステップS7)。
In the
また、映像出力装置2は、ステップS2において、通信状態が良好と判定された場合(YESの場合)、映像出力装置2側で補間フレーム情報を生成したほうが効率的であるため、補間フレーム情報生成部22aが、隣接する2つの原フレームに基づいて補間フレーム情報を生成し(ステップS8)、通信部25が原フレームと補間フレーム情報を映像再生装置3に送信する(ステップS9)。
Further, when it is determined in step S2 that the communication state is good (in the case of YES), it is more efficient for the
映像再生装置3は、通信部31が映像出力装置2からの原フレームと補間フレーム情報を受信すると(ステップS10)、ステップS6に移行して、補間フレーム生成部32bが、隣接する2つの原フレームと補間フレーム情報とを用いて、原フレーム間に挿入する補間フレームを生成し、表示部35が原フレームと補間フレームからなる映像を表示する。
When the
図5、図6は、本発明に係るフレーム補間方法の一例を説明するための図である。本発明に適用可能なフレーム補間方法は特に限定されるものではなく、動き補間や線形補間など公知の方法を用いることができる。このフレーム補間方法は、補間フレーム情報生成部22a(または補間フレーム情報生成部32c)及び補間フレーム生成部32bにより実行される。
図5において、フレームTが、フレーム1とフレーム2の間に挿入される補間フレームである。このフレームTを生成するために、例えば、図6に示す差分情報による方法を用いることができる。
5 and 6 are diagrams for explaining an example of the frame interpolation method according to the present invention. The frame interpolation method applicable to the present invention is not particularly limited, and a known method such as motion interpolation or linear interpolation can be used. This frame interpolation method is executed by the interpolation frame
In FIG. 5, a frame T is an interpolated frame inserted between the
図6において、フレーム1における任意の画素(x,y)のフレーム情報をF1(x,y)とし、フレーム2における画素(x,y)のフレーム情報をF2(x+dx,y+dy)とする。このフレーム情報F2のdx,dyは情報の変化量を示す。そして、補間フレームTにおける画素(x,y)のフレーム情報は、Ft(x+1/2dx,y+1/2dy)となる。これより、フレーム1,2のフレーム情報F1,F2と、フレーム1,2の変化量である差分情報(すなわち補間フレーム情報)があれば、フレーム情報Ftが求まり、補間フレームTを生成することができる。
In FIG. 6, the frame information of an arbitrary pixel (x, y) in
図7は、映像出力装置による補間フレーム情報生成処理の一例を説明するためのフロー図である。まず、映像出力装置2は、映像受信部21により受信映像を取得すると(ステップS11)、補間フレーム情報生成部22aが映像を復号(デコード)する(ステップS12)。そして、補間フレーム情報生成部22aが、復号した映像の隣接2フレーム(原フレーム)から補間フレーム情報を作成し(ステップS13)、通信部25に原フレームと補間フレーム情報を渡す(ステップS14)。
FIG. 7 is a flowchart for explaining an example of interpolation frame information generation processing by the video output apparatus. First, when the
図8は、本発明の第1の実施形態に係る映像表示システムを構成する映像出力装置と映像再生装置によるフレーム補間処理の変形例を説明するためのフロー図である。本例では、装置間の通信状態が悪い場合に、ビットレートを落とさずに、フレームレートを落として通信負荷を軽減し、映像再生装置側で補間して再生する場合について説明する。すなわち、本発明は、前述の図4に示したように、原フレームに補間フレームを追加してフレーム数を増やすケースだけでなく、本例に示すように、原フレームから間引かれた分の補間フレームを生成するケースにも適用可能である。 FIG. 8 is a flowchart for explaining a modified example of the frame interpolation processing by the video output device and the video playback device that constitute the video display system according to the first embodiment of the present invention. In this example, when the communication state between devices is poor, a case will be described in which the frame rate is reduced to reduce the communication load without interfering with the bit rate, and the video reproduction device side performs interpolation and reproduction. That is, according to the present invention, not only the case where the number of frames is increased by adding an interpolation frame to the original frame as shown in FIG. 4 described above, but also the amount thinned out from the original frame as shown in this example. The present invention can also be applied to a case where an interpolation frame is generated.
まず、映像出力装置2は、通信状態監視部22dが映像再生装置3との間の通信状態を監視し(ステップS21)、条件判定部22cが、前述の通信状態の判定方法に従って、通信状態が良好かどうかを判定する(ステップS22)。
First, in the
映像出力装置2は、ステップS22において、通信状態が良好と判定された場合(YESの場合)、通信部25が原フレームを映像再生装置3に送信する(ステップS23)。
映像再生装置3は、通信部31が映像出力装置2から原フレームを受信すると(ステップS24)、表示部35が原フレームからなる映像を表示する(ステップS25)。
In the
In the
また、映像出力装置2は、ステップS22において、通信状態が悪いと判定された場合(NOの場合)、通信負荷を軽減するために、制御部22が原フレームを一部間引き(ステップS26)、通信部25が残りの原フレームを映像再生装置3に送信する(ステップS27)。この場合、補間フレーム情報生成部22aは補間フレーム情報を生成しないため、映像再生装置3側で補間フレーム情報が生成される。
When the
映像再生装置3は、通信部31が映像出力装置2から残りの原フレームを受信すると(ステップS28)、補間フレーム情報生成部32cが、隣接する2つの原フレームに基づいて補間フレーム情報を生成する(ステップS29)。そして、補間フレーム生成部32bが、隣接する2つの原フレームと補間フレーム情報とを用いて、原フレーム間に挿入する補間フレームを生成する(ステップS30)。そして、表示部35が、原フレームと補間フレームからなる映像を表示する(ステップS31)。
In the
本例の場合、原フレームから間引かれた分のフレームが補間フレームとして挿入されるため、映像再生装置3で再生されるフレーム数は原フレームと同じフレーム数となる。なお、映像再生装置3において、原フレームから間引かれた分の補間フレームを用いて、さらに補間フレームを生成するようにしてもよい。この場合、原フレームよりフレーム数が増加するため、動画質の向上を図ることができる。
In the case of this example, since the frames thinned out from the original frame are inserted as interpolation frames, the number of frames reproduced by the
また、上記変形例において、補間フレーム情報は原フレームほどデータ量が大きくないため、映像出力装置2で単純に間引くだけではなく、間引いた後、間引かなかった残りのフレームより補間フレーム情報を生成してもよい。この場合、映像出力装置2は、残りのフレームと補間フレーム情報を映像再生装置3に送信する。これによれば、映像出力装置2が補間フレーム情報を生成するため、映像再生装置3で補間フレーム情報を生成する負荷を軽減することができる。
Further, in the above modification, the amount of data of the interpolation frame information is not as large as that of the original frame. Therefore, not only the
このように、本実施形態によれば、映像出力装置と映像再生装置を備えた映像表示システムにおいて、装置間における通信状態に基づいて、フレーム補間処理の負荷を分散できるため、フレーム補間処理を効率的に実行することができる。 As described above, according to the present embodiment, in the video display system including the video output device and the video playback device, the load of the frame interpolation processing can be distributed based on the communication state between the devices. Can be executed automatically.
(第2の実施形態)
図9は、本発明の第2の実施形態に係る映像表示システムを構成する映像出力装置と映像再生装置によるフレーム補間処理の一例を説明するための図である。本実施形態では、映像出力装置2が映像再生装置3の処理能力に関わる情報(スペック情報)を取得する。
(Second Embodiment)
FIG. 9 is a diagram for explaining an example of frame interpolation processing by the video output device and the video playback device that constitute the video display system according to the second embodiment of the present invention. In the present embodiment, the
図9(A)に示すように、映像再生装置3のスペックが高い場合、映像再生装置3で補間フレーム情報を生成した方が通信負荷を軽減できるため、映像出力装置2で補間フレーム情報を生成せずに、隣接フレームである原フレーム101のみを映像再生装置3に送信する。映像再生装置3は、原フレーム101を受信すると、原フレーム101から補間フレーム情報を生成し、この補間フレーム情報と原フレーム101とに基づいて補間フレームを生成する。
As shown in FIG. 9A, when the specifications of the
一方、図9(B)に示すように、映像再生装置3のスペックが低い場合、映像出力装置2側で補間フレーム情報を生成した方が映像再生装置3の処理負荷を軽減できるため、映像出力装置2が補間フレーム情報102を生成し、この補間フレーム情報102と原フレーム101を映像再生装置3に送信する。映像再生装置3は、原フレーム101と補間フレーム情報102を受信すると、原フレーム101と補間フレーム情報102に基づいて補間フレームを生成する。
On the other hand, as shown in FIG. 9B, when the specification of the
図10は、図9に示す映像表示システムの構成例を示すブロック図である。映像出力装置2は、図3に示した構成と同様に、チューナ(映像受信部)21,制御部22,HDD23,メモリ24,及び通信部25を備え、さらに制御部22は、補間フレーム情報生成部22a,エンコーダ22b,及び条件判定部22cを備える。
FIG. 10 is a block diagram illustrating a configuration example of the video display system illustrated in FIG. Similar to the configuration shown in FIG. 3, the
本実施形態の場合、条件判定部22cは、映像再生装置3の処理能力に係る情報を取得する本発明の能力情報取得部に相当するスペック情報取得部22eを備える。条件判定部22cは、スペック情報取得部22eにより取得される映像再生装置3の処理能力に基づいて、映像出力装置2と映像再生装置3のいずれで補間フレーム情報を生成するか判定する。
In the case of this embodiment, the
より具体的には、条件判定部22cは、映像再生装置3のスペックが所定レベル以上(例えば「高」以上)の場合、映像再生装置3で補間フレーム情報を生成すると判定し、映像再生装置3のスペックが所定レベル未満(例えば「高」未満)の場合、映像出力装置2で補間フレーム情報を生成すると判定する。
More specifically, the
なお、第1の実施形態と同様に、条件判定部22cは、映像再生装置3側に備えてもよく、あるいは、映像出力装置2と映像再生装置3の両方に備えるようにしてもよい。この条件判定部22cを映像再生装置3に備える構成とした場合、この判定結果を映像再生装置3から映像出力装置2に通知するようにする。
As in the first embodiment, the
ここで、スペック情報の取得方法の一例について説明する。スペック情報取得部22eは、映像再生装置3のスペック情報を、映像出力装置2と映像再生装置3間での通信開始時や、装置間で定期的に通信することで取得する。スペック情報の具体例としてはCPUクロックなどが挙げられる。CPUクロックの場合、映像出力装置2は、例えば、クロック200MHz以下ではスペック「低」、クロック200〜500MHzではスペック「中」、クロック500MHz以上ではスペック「高」といったように、クロック周波数とスペックレベルとを関連付けたテーブルをメモリ24に予め保持しておいてもよい。条件判定部22cは、スペック情報取得部22eにより映像再生装置3のCPUクロック情報を取得すると、メモリ24を参照し、映像再生装置3のCPUクロックに対応するスペックレベルに基づいて、映像出力装置2と映像再生装置3のいずれで補間フレーム情報を生成するか判定する。
Here, an example of the specification information acquisition method will be described. The specification information acquisition unit 22e acquires the specification information of the
または、映像再生装置3が上記テーブルをメモリ34に保持してもよい。この場合、映像再生装置3は、映像出力装置2からスペック情報の取得要求があった際に、メモリ34を参照し、自身のスペックレベルを映像出力装置2に送信する。映像出力装置2の条件判定部22cは、スペック情報取得部22eにより映像再生装置3のスペックレベルを取得すると、このスペックレベルに基づいて、映像出力装置2と映像再生装置3のいずれで補間フレーム情報を生成するか判定する。
Alternatively, the
映像再生装置3は、図3に示した構成と同様に、通信部31,制御部32,HDD33,メモリ34,及び表示部35を備える。さらに制御部32は、デコーダ32a,補間フレーム生成部32b,及び補間フレーム情報生成部32cを備え、表示部35は、ディスプレイ35a,ビデオRAM35bを備える。
Similar to the configuration shown in FIG. 3, the
また、第2の実施形態の変形例として、映像再生装置3のスペックが高い場合、映像出力装置2でフレームレートを落として送信し、映像再生装置3でフレーム補間して再生するようにしてもよい。これにより、映像出力装置2からはフレーム数を落として送信することができるため、通信負荷を軽減することができる。
Further, as a modification of the second embodiment, when the specification of the
また、上記変形例において、補間フレーム情報は原フレームほどデータ量が大きくないため、映像出力装置2で単純に間引く(フレームレートを落とす)だけではなく、間引いた後、間引かなかった残りのフレームより補間フレーム情報を生成してもよい。この場合、映像出力装置2は、残りのフレームと補間フレーム情報を映像再生装置3に送信する。これによれば、映像出力装置2が補間フレーム情報を生成するため、映像再生装置3で補間フレーム情報を生成する負荷を軽減することができる。
Further, in the above modification, the amount of data of the interpolation frame information is not as large as that of the original frame. Therefore, not only the
このように、本実施形態によれば、映像出力装置と映像再生装置を備えた映像表示システムにおいて、映像再生装置のスペックに基づいて、フレーム補間処理の負荷を分散できるため、フレーム補間処理を効率的に実行することができる。 As described above, according to this embodiment, in the video display system including the video output device and the video playback device, the load of the frame interpolation processing can be distributed based on the specifications of the video playback device. Can be executed automatically.
(第3の実施形態)
図11は、本発明の第3の実施形態に係る映像表示システムを構成する映像出力装置と映像再生装置によるフレーム補間処理の一例を説明するための図である。本実施形態では、映像再生装置3がバッテリを備え、映像出力装置2が映像再生装置3のバッテリ残量を監視する。
(Third embodiment)
FIG. 11 is a diagram for explaining an example of frame interpolation processing by the video output device and the video playback device that constitute the video display system according to the third embodiment of the present invention. In the present embodiment, the
図11(A)に示すように、映像再生装置3のバッテリ残量が多い場合、映像再生装置3で補間フレーム情報を生成した方が通信負荷を軽減できるため、映像出力装置2で補間フレーム情報を生成せずに、隣接フレームである原フレーム101のみを映像再生装置3に送信する。映像再生装置3は、原フレーム101を受信すると、原フレーム101から補間フレーム情報を生成し、この補間フレーム情報と原フレーム101とに基づいて補間フレームを生成する。
As shown in FIG. 11A, when the battery capacity of the
一方、図11(B)に示すように、映像再生装置3のバッテリ残量が少ない場合、映像出力装置2側で補間フレーム情報を生成した方がバッテリを長持ちさせることができるため、映像出力装置2が補間フレーム情報102を生成し、この補間フレーム情報102と原フレーム101を映像再生装置3に送信する。映像再生装置3は、原フレーム101と補間フレーム情報102を受信すると、原フレーム101と補間フレーム情報102に基づいて補間フレームを生成する。
On the other hand, as shown in FIG. 11B, when the battery of the
図12は、図11に示す映像表示システムの構成例を示すブロック図である。映像出力装置2は、図3に示した構成と同様に、チューナ(映像受信部)21,制御部22,HDD23,メモリ24,及び通信部25を備え、さらに制御部22は、補間フレーム情報生成部22a,エンコーダ22b,及び条件判定部22cを備える。
FIG. 12 is a block diagram illustrating a configuration example of the video display system illustrated in FIG. 11. Similar to the configuration shown in FIG. 3, the
本実施形態の場合、条件判定部22cは、映像再生装置3のバッテリ残量を監視するバッテリ残量監視部22fを備える。条件判定部22cは、バッテリ残量監視部22fにより監視される映像再生装置3のバッテリ残量に基づいて、映像出力装置2と映像再生装置3のいずれで補間フレーム情報を生成するか判定する。
In the case of the present embodiment, the
より具体的には、条件判定部22cは、映像再生装置3のバッテリ残量が所定レベル以上(例えば「中」以上)の場合、映像再生装置3で補間フレーム情報を生成すると判定し、映像再生装置3のバッテリ残量が所定レベル未満(例えば「中」未満)の場合、映像出力装置2で補間フレーム情報を生成すると判定する。
More specifically, the
なお、第1,第2の実施形態と同様に、条件判定部22cは、映像再生装置3側に備えてもよく、あるいは、映像出力装置2と映像再生装置3の両方に備えるようにしてもよい。この条件判定部22cを映像再生装置3に備える構成とした場合、この判定結果を映像再生装置3から映像出力装置2に通知するようにする。
As in the first and second embodiments, the
ここで、バッテリ残量の監視・判定方法の一例について説明する。バッテリ残量監視部22fは、映像再生装置3のバッテリ残量を、映像出力装置2と映像再生装置3間での通信開始時や、装置間で定期的に通信することで取得する。バッテリ残量の場合、映像出力装置2は、例えば、バッテリ電圧1V以下では残量「少」、バッテリ電圧1〜2.5Vでは残量「中」、バッテリ電圧2.5V以上では残量「多」といったように、バッテリ電圧と残量レベルとを関連付けたテーブルをメモリ24に予め保持しておいてもよい。条件判定部22cは、バッテリ残量監視部22fにより映像再生装置3のバッテリ電圧を取得すると、メモリ24を参照し、映像再生装置3のバッテリ電圧に対応する残量レベルに基づいて、映像出力装置2と映像再生装置3のいずれで補間フレーム情報を生成するか判定する。
Here, an example of a method for monitoring and determining the remaining battery capacity will be described. The battery remaining
または、映像再生装置3が上記テーブルをメモリ34に保持してもよい。この場合、映像再生装置3は、映像出力装置2からバッテリ残量の取得要求があった際に、メモリ34を参照し、自身の残量レベルを映像出力装置2に送信する。映像出力装置2の条件判定部22cは、バッテリ残量監視部22fにより映像再生装置3の残量レベルを取得すると、この残量レベルに基づいて、映像出力装置2と映像再生装置3のいずれで補間フレーム情報を生成するか判定する。
Alternatively, the
映像再生装置3は、図3に示した構成と同様に、通信部31,制御部32,HDD33,メモリ34,表示部35を備え、さらにバッテリ36を備える。制御部32は、デコーダ32a,補間フレーム生成部32b,及び補間フレーム情報生成部32cを備え、表示部35は、ディスプレイ35a,ビデオRAM35bを備える。
Similar to the configuration shown in FIG. 3, the
また、第3の実施形態の変形例として、映像再生装置3のバッテリ残量が多い場合、映像出力装置2でフレームレートを落として送信し、映像再生装置3でフレーム補間して再生するようにしてもよい。これにより、映像出力装置2からはフレーム数を落として送信することができるため、通信負荷を軽減することができる。
Further, as a modification of the third embodiment, when the battery of the
また、上記変形例において、補間フレーム情報は原フレームほどデータ量が大きくないため、映像出力装置2で単純に間引く(フレームレートを落とす)だけではなく、間引いた後、間引かなかった残りのフレームより補間フレーム情報を生成してもよい。この場合、映像出力装置2は、残りのフレームと補間フレーム情報を映像再生装置3に送信する。これによれば、映像出力装置2が補間フレーム情報を生成するため、映像再生装置3で補間フレーム情報を生成する負荷を軽減することができる。
Further, in the above modification, the amount of data of the interpolation frame information is not as large as that of the original frame. Therefore, not only the
また、映像再生装置3のバッテリ残量が少ない場合、映像再生装置3の処理能力(CPUクロックなど)を落として、消費電力を低減するように制御してもよい。CPUによっては処理能力を制御できるものがあり、例えば、200MHzで動作するモード、500MHzで動作するモードを持つものがある。通常、処理能力を上げると消費電力は大きくなる。
Further, when the battery capacity of the
従って、バッテリ残量が少ない場合、できるだけバッテリを長持ちさせるために、映像再生装置3を処理能力の小さい200MHzで動作させ、映像出力装置2側で補間フレーム情報を生成する。一方、バッテリ残量が多い場合、通信負荷を軽減するために、映像再生装置3を処理能力の大きい500MHzで動作させ、映像再生装置3側で補間フレーム情報を生成するようにしてもよい。
Accordingly, when the remaining battery level is low, in order to make the battery last as long as possible, the
このように、本実施形態によれば、映像出力装置と映像再生装置を備えた映像表示システムにおいて、映像再生装置のバッテリ残量に基づいて、フレーム補間処理の負荷を分散できるため、フレーム補間処理を効率的に実行することができる。 As described above, according to this embodiment, in the video display system including the video output device and the video playback device, the frame interpolation processing load can be distributed based on the remaining battery level of the video playback device. Can be executed efficiently.
以上に説明した第1〜第3の実施形態においては、条件判定部22cが、映像出力装置2と映像再生装置3のいずれで補間フレーム情報を生成するか判定したが、映像出力装置2と映像再生装置3の両方で補間フレーム情報を生成するようにしてもよい。この場合、映像出力装置2の補間フレーム情報生成部22aが映像信号の一部のフレームから補間フレーム情報を生成し、映像再生装置3の補間フレーム情報生成部32cが映像信号の残りのフレームから補間フレーム情報を生成する。
In the first to third embodiments described above, the
例えば、15フレームの映像信号を30フレームにフレーム補間する場合、1−2,2−3,…,7−8フレーム間の補間フレーム情報を映像出力装置2で生成し、残りの8−9,9−10,…,14−15フレーム間の補間フレーム情報を映像再生装置3で生成する。この補間フレーム情報生成処理を2つの装置で同時に行うことで、効率的に負荷の分散を図ることができる。なお、2つの装置間の負荷の割合(すなわち、映像出力装置2と映像再生装置3それぞれに何フレームずつ割り当てるか)は、原フレーム数に応じて予め設定しておいてもよく、ユーザが任意に設定できるようにしてもよい。
For example, when 15 frames of video signals are interpolated into 30 frames, interpolated frame information between 1-2, 2-3,..., 7-8 frames is generated by the
また、条件判定部22cが判定する条件、すなわち、装置間の通信状態や、映像再生装置3の処理能力、バッテリ残量などに基づいて、2つの装置間の負荷の割合を決定するようにしてもよい。例えば、通信状態が良好であれば、映像再生装置3の処理負荷を軽減するために、映像出力装置2の負荷の割合を多くして補間フレーム情報を生成し、一方、通信状態が悪い場合、通信負荷を軽減するために、映像再生装置3の負荷の割合を多くして補間フレーム情報を生成する。
Further, the ratio of the load between the two devices is determined based on the conditions determined by the
(第4の実施形態)
図13は、本発明の第4の実施形態に係る映像表示システムを構成する映像出力装置と映像再生装置によるフレーム補間処理の一例を説明するための図である。本実施形態では、前述の第1〜第3の実施形態のいずれかにおいて、補間フレームの生成数を任意に変更可能とする。
(Fourth embodiment)
FIG. 13 is a diagram for explaining an example of frame interpolation processing by the video output device and the video playback device that configure the video display system according to the fourth embodiment of the present invention. In this embodiment, the number of interpolation frames generated can be arbitrarily changed in any of the first to third embodiments described above.
図13(A)に示すように、映像再生装置3から低画質(普通)モードが設定された場合、補間フレームを追加しないため、映像出力装置2は原フレーム1011,1012のみを映像再生装置3に送信し、映像再生装置3はこれらの原フレーム1011,1012からなる映像100を表示出力する。
As shown in FIG. 13A, when the low image quality (normal) mode is set from the
また、図13(B)に示すように、映像再生装置3から中画質モードが設定された場合、補間フレームを例えば1つ追加するため、映像出力装置2は原フレーム1011,1012と補間フレーム情報102を映像再生装置3に送信し、映像再生装置3はこれらの原フレーム1011,1012と補間フレーム情報102に基づいて、補間フレーム103を生成し、原フレーム1011,1012と補間フレーム103からなる映像100を表示出力する。
Further, as shown in FIG. 13B, when the medium image quality mode is set from the
また、図13(C)に示すように、映像再生装置3から高画質モードが設定された場合、補間フレームを例えば3つ追加するため、映像出力装置2は原フレーム1011,1012と補間フレーム情報1021,1022,1023を映像再生装置3に送信し、映像再生装置3はこれらの原フレーム1011,1012と補間フレーム情報1021,1022,1023に基づいて、補間フレーム1031,1032,1033を生成し、原フレーム1011,1012と補間フレーム1031,1032,1033からなる映像100を表示出力する。この場合、映像出力装置2において、まず、原フレーム1011,1012から補間フレーム情報1021を生成し、この補間フレーム情報1021から補間フレーム103を生成し、さらに、原フレーム1011,1012と補間フレーム103から補間フレーム情報1022,1023を生成する。
Further, as shown in FIG. 13C, when the high image quality mode is set from the
図14は、図13に示す映像表示システムの構成例を示すブロック図である。映像出力装置2は、図3に示した構成と同様に、チューナ(映像受信部)21,制御部22,HDD23,メモリ24,及び通信部25を備え、さらに制御部22は、補間フレーム情報生成部22a,エンコーダ22b,及び条件判定部22cを備える。
FIG. 14 is a block diagram illustrating a configuration example of the video display system illustrated in FIG. 13. Similar to the configuration shown in FIG. 3, the
また、映像再生装置3は、図3に示した構成と同様に、通信部31,制御部32,HDD33,メモリ34,表示部35を備え、さらに入力部37を備える。制御部32は、デコーダ32a,補間フレーム生成部32b,及び補間フレーム情報生成部32cを備え、表示部35は、ディスプレイ35a,ビデオRAM35bを備える。
Similarly to the configuration shown in FIG. 3, the
本実施形態の場合、映像再生装置3は、映像出力装置2に対して補間フレームの生成数を入力・指定する入力部37を備える。この入力部37は、ユーザ操作に従って、図15に示す画質モード指定画面を表示させる。本例の画質モード指定画面は、「高画質」,「中画質」,「普通」の3段階で構成され、ユーザが所望の画質モードを選択し、送信ボタンを押下すると、選択された画質モードが映像出力装置2へ送信される。
In the case of the present embodiment, the
映像出力装置2の補間フレーム情報生成部22aは、図13に示したように、映像再生装置3からの画質モードに応じた補間フレーム数に対応する補間フレーム情報を生成する。画質モードと補間フレーム数との対応関係を示すテーブルの例を後述の図17に示す。なお、図17に示すテーブルはメモリ24に予め記憶しておいてもよい。
As illustrated in FIG. 13, the interpolation frame
図16は、本発明の第4の実施形態に係る映像表示システムを構成する映像出力装置と映像再生装置によるフレーム補間処理の一例を説明するためのフロー図である。まず、映像出力装置2は、映像再生装置3の入力部37から受け付けた画質モード情報に基づいて画質モードを決定し(ステップS41)、図17に示すテーブルに基づいて、画質モードから補間フレーム数を決定する(ステップS42)。そして、映像出力装置2は、補間フレーム情報生成部22aが補間フレーム数に基づいて補間フレーム情報を生成し(ステップS43)、通信部25が原フレームと補間フレーム情報を映像再生装置3に送信する(ステップS44)。
FIG. 16 is a flowchart for explaining an example of the frame interpolation processing by the video output device and the video playback device that constitute the video display system according to the fourth embodiment of the present invention. First, the
映像再生装置3は、通信部31が原フレームと補間フレーム情報を受信し(ステップS45)、補間フレーム生成部32bが原フレームと補間フレーム情報を用いて、補間フレームを生成する(ステップS46)。そして、表示部35が原フレームと補間フレームからなる映像を表示する(ステップS47)。
In the
また、第4の実施形態の変形例として、映像出力装置2と映像再生装置3を接続する通信回線が高速回線あるいは低速回線に切り換え可能なシステムの場合、映像再生装置3から指定された補間フレーム数に応じて、通信回線を切り換えるようにしてもよい。例えば、補間フレーム数が多い場合、高速回線に切り換え、補間フレーム数が少ない場合、低速回線に切り換えるように制御する。
As a modification of the fourth embodiment, in the case of a system in which the communication line connecting the
本実施形態によれば、映像出力装置と映像再生装置を備えた映像表示システムにおいて、装置間の通信状態や、映像再生装置の処理能力、バッテリ残量などに基づいて、フレーム補間処理の負荷を分散できるため、フレーム補間処理を効率的に実行することができ、さらに、ユーザによって補間フレーム数を任意に指定することができるため、番組内容などに応じた最適なフレーム補間処理を行うことが可能となる。例えば、ユーザが視聴する番組が、高画質で見たい番組であれば補間フレーム数を増やし、普通画質でよければ補間しない、といったように補間フレーム数を指定することができる。 According to the present embodiment, in the video display system including the video output device and the video playback device, the load of the frame interpolation process is reduced based on the communication state between the devices, the processing capability of the video playback device, the remaining battery level, and the like. Since it can be distributed, frame interpolation processing can be executed efficiently, and the number of interpolation frames can be arbitrarily specified by the user, so that optimal frame interpolation processing according to the program content can be performed. It becomes. For example, the number of interpolation frames can be specified such that if the program that the user views is a program that the user wants to watch with high image quality, the number of interpolation frames is increased, and if the normal image quality is acceptable, no interpolation is performed.
また、映像再生装置3が備える入力部37は、条件判定部22cにより判定される条件をユーザが任意に入力・指定するための入力画面を表示するようにしてもよい。条件判定部22cは、入力部37から指定された判定条件に基づいて、映像出力装置2と映像再生装置3のいずれで補間フレーム情報を生成するか判定する。ユーザが指定できる条件は、例えば、装置間の通信状態や、映像再生装置3の処理能力、バッテリ残量などである。
Further, the
そして、各条件の判定基準に基づく負荷分散のさせ方なども指定できるようにしてもよい。具体例としては、前述したように、通信状態が良好であれば、映像出力装置2側で補間フレーム情報を生成し、通信状態が悪い場合、映像再生装置3側で補間フレーム情報を生成するなど、ユーザ指定の条件に応じて、どのように負荷を分散させるかを任意に指定させてもよい。
Then, it may be possible to specify how to distribute the load based on the criterion of each condition. As a specific example, as described above, if the communication state is good, interpolation frame information is generated on the
(第5の実施形態)
図18は、本発明の第5の実施形態に係る映像表示システムを構成する映像出力装置と映像再生装置によるフレーム補間処理の一例を説明するための図である。本実施形態では、装置間の通信状態や、映像再生装置3の処理能力やバッテリ残量などに係らず、常に映像出力装置2が補間フレーム情報を生成する。
(Fifth embodiment)
FIG. 18 is a diagram for explaining an example of frame interpolation processing by the video output device and the video playback device that configure the video display system according to the fifth embodiment of the present invention. In the present embodiment, the
映像出力装置2が、隣接する2つの原フレーム1011,1012に基づいて、補間フレーム情報102を生成し、この補間フレーム情報102と原フレーム1011,1012を映像再生装置3に送信する。映像再生装置3は、原フレーム1011,1012と補間フレーム情報102を受信すると、原フレーム1011,1012と補間フレーム情報102に基づいて補間フレーム103を生成し、原フレーム1011,1012と補間フレーム103からなる映像100を表示出力する。
The
図19は、図18に示す映像表示システムの構成例を示すブロック図である。映像出力装置2は、チューナ(映像受信部)21,制御部22,HDD23,メモリ24,及び通信部25を備え、さらに制御部22は、補間フレーム情報生成部22a,及びエンコーダ22bを備える。本例の場合、常に補間フレーム情報生成部22aで補間フレーム情報を生成するため、条件判定部22cを構成に含まないようにしてもよい。
FIG. 19 is a block diagram illustrating a configuration example of the video display system illustrated in FIG. The
一方、映像再生装置3は、通信部31,制御部32,HDD33,メモリ34,表示部35を備える。制御部32は、デコーダ32a,及び補間フレーム生成部32bを備え、表示部35は、ディスプレイ35a,ビデオRAM35bを備える。本例の場合、常に映像出力装置2の補間フレーム情報生成部22aで補間フレーム情報を生成するため、補間フレーム情報生成部32cを構成に含まないようにしてもよい。
On the other hand, the
図20は、本発明の第5の実施形態に係る映像表示システムを構成する映像出力装置と映像再生装置によるフレーム補間処理の一例を説明するためのフロー図である。まず、映像出力装置2は、映像受信部21が映像を受信すると(ステップS51)、補間フレーム情報生成部22aが補間フレーム情報を生成し(ステップS52)、通信部25が原フレームと補間フレーム情報を映像再生装置に送信する(ステップS53)。
FIG. 20 is a flowchart for explaining an example of the frame interpolation processing by the video output device and the video playback device that constitute the video display system according to the fifth embodiment of the present invention. First, in the
映像再生装置3は、通信部31が原フレームと補間フレーム情報を受信し(ステップS54)、補間フレーム生成部32bが原フレームと補間フレーム情報を用いて、補間フレームを生成する(ステップS55)。そして、表示部35が原フレームと補間フレームからなる映像を表示する(ステップS56)。
In the
本実施形態によれば、映像出力装置と映像再生装置を備えた映像表示システムにおいて、常に映像出力装置側で補間フレーム情報を生成して送信するため、映像再生装置側のフレーム補間処理の負荷を軽減することができる。 According to the present embodiment, in a video display system including a video output device and a video playback device, the interpolation frame information is always generated and transmitted on the video output device side, so the load of frame interpolation processing on the video playback device side is reduced. Can be reduced.
なお、これまで映像再生装置側に補間フレーム生成部を備える構成として説明したが、映像出力装置側に補間フレーム生成部を備え、補間フレームを映像再生装置に送信するようにしてもよい。 In addition, although demonstrated as a structure provided with the interpolation frame production | generation part in the video reproduction apparatus side until now, you may make it provide an interpolation frame production | generation part in the video output apparatus side, and may transmit an interpolation frame to a video reproduction apparatus.
1…テレビ装置、2,200…映像出力装置、3,300…映像再生装置、4…ネットワーク、21,201…チューナ(映像受信部)、22,32…制御部、22a,32c,302…補間フレーム情報生成部、22b…エンコーダ、22c…条件判定部、22d…通信状態監視部、22e…スペック情報取得部、22f…バッテリ残量監視部、23,33…HDD、24,34…メモリ、25,31,202,301…通信部、32a…デコーダ、32b,304…補間フレーム生成部、35,303…表示部、35a…ディスプレイ、35b…ビデオRAM、36…バッテリ、37…入力部。
DESCRIPTION OF
Claims (17)
前記映像出力装置及び前記映像再生装置は、映像信号に基づいて補間フレーム情報を生成する補間フレーム情報生成部を備え、
前記映像出力装置及び/又は前記映像再生装置は、前記映像再生装置に係る所定の条件に基づいて、前記映像出力装置と前記映像再生装置のいずれで補間フレーム情報を生成するか判定する条件判定部を備えることを特徴とする映像表示システム。 A video display system in which a video output device that outputs a video signal and a video playback device that plays back a video signal from the video output device are connected via a network,
The video output device and the video playback device include an interpolation frame information generation unit that generates interpolation frame information based on a video signal,
The video output device and / or the video playback device determines whether to generate interpolated frame information in the video output device or the video playback device based on a predetermined condition relating to the video playback device. A video display system comprising:
前記通信状態監視部により監視される前記映像出力装置と前記映像再生装置間の通信状態に基づいて、前記映像出力装置と前記映像再生装置のいずれで補間フレーム情報を生成するか判定することを特徴とする映像表示システム。 The video display system according to claim 1, wherein the condition determination unit includes a communication state monitoring unit that monitors a communication state between the video output device and the video reproduction device,
It is determined whether the interpolated frame information is generated by the video output device or the video playback device based on the communication status between the video output device and the video playback device monitored by the communication status monitoring unit. Video display system.
前記能力情報取得部により取得される前記映像再生装置の処理能力に基づいて、前記映像出力装置と前記映像再生装置のいずれで補間フレーム情報を生成するか判定することを特徴とする映像表示システム。 The video display system according to claim 1, wherein the condition determination unit includes a capability information acquisition unit that acquires information related to processing capability of the video playback device,
A video display system that determines which of the video output device and the video playback device generates interpolation frame information based on the processing capability of the video playback device acquired by the capability information acquisition unit.
前記バッテリ残量監視部により監視される前記映像再生装置のバッテリ残量に基づいて、前記映像出力装置と前記映像再生装置のいずれで補間フレーム情報を生成するか判定することを特徴とする映像表示システム。 The video display system according to claim 1, wherein the condition determination unit includes a battery remaining amount monitoring unit that monitors a remaining battery level of the video reproduction device when the video reproduction device includes a battery.
A video display comprising: determining whether interpolation video frame information is to be generated by the video output device or the video playback device based on a battery remaining amount of the video playback device monitored by the battery remaining amount monitoring unit. system.
前記映像出力装置の前記補間フレーム情報生成部は、前記入力部から指定された補間フレーム数に対応する補間フレーム情報を生成することを特徴とする映像表示システム。 12. The video display system according to claim 1, wherein the video playback device includes an input unit that inputs and designates the number of generated interpolation frames to the video output device,
The video display system, wherein the interpolation frame information generation unit of the video output device generates interpolation frame information corresponding to the number of interpolation frames specified from the input unit.
前記条件判定部は、前記入力部から指定された判定条件に基づいて、前記映像出力装置と前記映像再生装置のいずれで補間フレーム情報を生成するか判定することを特徴とする映像表示システム。 12. The video display system according to claim 1, wherein the video playback device includes an input unit through which a user inputs and designates a condition determined by the condition determining unit,
The video display system according to claim 1, wherein the condition determination unit determines which of the video output device and the video reproduction device generates the interpolation frame information based on a determination condition designated by the input unit.
映像信号に基づいて補間フレーム情報を生成する補間フレーム情報生成部と、前記映像再生装置に係る所定の条件に基づいて、前記映像出力装置と前記映像再生装置のいずれで補間フレーム情報を生成するか判定する条件判定部とを備えることを特徴とする映像出力装置。 A video output device connected via a network to a video playback device capable of generating interpolation frame information based on a video signal,
An interpolation frame information generation unit that generates interpolation frame information based on a video signal, and which of the video output device and the video playback device generates interpolation frame information based on a predetermined condition relating to the video playback device A video output device comprising: a condition determining unit for determining.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007082192A JP2008244820A (en) | 2007-03-27 | 2007-03-27 | Video display system and video output device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007082192A JP2008244820A (en) | 2007-03-27 | 2007-03-27 | Video display system and video output device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008244820A true JP2008244820A (en) | 2008-10-09 |
Family
ID=39915612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007082192A Pending JP2008244820A (en) | 2007-03-27 | 2007-03-27 | Video display system and video output device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008244820A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010239389A (en) * | 2009-03-31 | 2010-10-21 | Kddi R & D Laboratories Inc | Video transmission system |
WO2015170410A1 (en) * | 2014-05-09 | 2015-11-12 | 日立マクセル株式会社 | Image playback device, display device, and transmission device |
US9491538B2 (en) | 2009-07-23 | 2016-11-08 | Sling Media Pvt Ltd. | Adaptive gain control for digital audio samples in a media stream |
JP2018088672A (en) * | 2016-11-21 | 2018-06-07 | パナソニックIpマネジメント株式会社 | Video transmission system and mobile camera equipment |
US11669944B2 (en) | 2019-12-27 | 2023-06-06 | Samsung Electronics Co., Ltd. | Electronic device for video editing with dynamic tone metadata and operation method thereof |
-
2007
- 2007-03-27 JP JP2007082192A patent/JP2008244820A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010239389A (en) * | 2009-03-31 | 2010-10-21 | Kddi R & D Laboratories Inc | Video transmission system |
US9491538B2 (en) | 2009-07-23 | 2016-11-08 | Sling Media Pvt Ltd. | Adaptive gain control for digital audio samples in a media stream |
WO2015170410A1 (en) * | 2014-05-09 | 2015-11-12 | 日立マクセル株式会社 | Image playback device, display device, and transmission device |
CN106464970A (en) * | 2014-05-09 | 2017-02-22 | 日立麦克赛尔株式会社 | Image reproduction device, display device and transmission device |
JPWO2015170410A1 (en) * | 2014-05-09 | 2017-04-20 | 日立マクセル株式会社 | Video reproduction device, display device, and transmission device |
US10171770B2 (en) | 2014-05-09 | 2019-01-01 | Maxell, Ltd. | Image playback device, display device, and transmission device |
CN106464970B (en) * | 2014-05-09 | 2019-11-19 | 麦克赛尔株式会社 | Image reproduction device, display device and transmission device |
US10931914B2 (en) | 2014-05-09 | 2021-02-23 | Maxell, Ltd. | Image playback device, display device, and transmission device |
JP2018088672A (en) * | 2016-11-21 | 2018-06-07 | パナソニックIpマネジメント株式会社 | Video transmission system and mobile camera equipment |
JP7029586B2 (en) | 2016-11-21 | 2022-03-04 | パナソニックIpマネジメント株式会社 | Video transmission system and mobile camera equipment |
US11669944B2 (en) | 2019-12-27 | 2023-06-06 | Samsung Electronics Co., Ltd. | Electronic device for video editing with dynamic tone metadata and operation method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005510143A (en) | System and method for recording and displaying video programs for mobile handheld devices | |
JP2003259333A (en) | Digital signal transmission apparatus, digital signal receiver, and digital signal transmission/reception method | |
JP4709154B2 (en) | Removable device and recording / reproducing terminal | |
JP4636474B2 (en) | Video conversion device, video playback device, video conversion playback system, and program | |
JP5183231B2 (en) | Video playback apparatus and control method | |
JP2008244820A (en) | Video display system and video output device | |
JP5592716B2 (en) | Video transmission device | |
JP2010054940A (en) | Video display apparatus, video reproducing apparatus, video display method, and video reproducing method | |
KR100531583B1 (en) | Recording/playback apparatus and power control method | |
KR20070107278A (en) | Apparatus and method for converting image format of FB system | |
JP2011066577A (en) | Image processing program, display system, image processor, and image processing method | |
JP2011176537A (en) | Video signal processing device | |
US20070040897A1 (en) | Video communication apparatus and video communication method | |
JP2010171670A (en) | Data transmitter, data output device, and data transmission system | |
JP2008199368A (en) | Video transmitting device and video transmission system | |
JP2008103806A (en) | Communication terminal, communication system, and communication terminal control method | |
WO2013076778A1 (en) | Image transmitting apparatus, image receiving apparatus, image transmitting method, and image receiving method | |
JP2011015243A (en) | Playback apparatus and playback method | |
KR101392070B1 (en) | Apparatus for Providing Multimedia Data and Operating Method Thereof, Digital Multimedia System using the same and Operating Method Thereof | |
JP2010063168A (en) | Video display device, video reproduction apparatus, video display method, and video reproduction method | |
KR20070029090A (en) | Information processing apparatus and method, Transmission apparatus and method, Recording apparatus and method and program | |
JP2006094415A (en) | Video image apparatus and video image streaming method | |
KR101613241B1 (en) | Display apparatus and image playing method | |
JP2008147993A (en) | TV with built-in video recording device | |
JP2011128409A (en) | Liquid crystal display system |