[go: up one dir, main page]

JP2010057010A - Image display device - Google Patents

Image display device Download PDF

Info

Publication number
JP2010057010A
JP2010057010A JP2008221152A JP2008221152A JP2010057010A JP 2010057010 A JP2010057010 A JP 2010057010A JP 2008221152 A JP2008221152 A JP 2008221152A JP 2008221152 A JP2008221152 A JP 2008221152A JP 2010057010 A JP2010057010 A JP 2010057010A
Authority
JP
Japan
Prior art keywords
motion
vector
motion vector
unit
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008221152A
Other languages
Japanese (ja)
Inventor
Takashi Abe
貴志 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008221152A priority Critical patent/JP2010057010A/en
Publication of JP2010057010A publication Critical patent/JP2010057010A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】動きの大きい画像に対して、動き補償処理の有効/無効を切り換えることにより、動画応答性を向上させつつ、動き補償に起因する動画質の劣化を防止できるようにした画像表示装置を提供する。
【解決手段】画像表示装置は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、入力画像信号のフレーム数あるいはフィールド数を変換して液晶表示パネル16へ出力するFRC部10を備える。FRC部10は、入力画像信号のフレーム間あるいはフィールド間で検出される動きベクトルのヒストグラムを生成する動きベクトルヒストグラム生成部11gを備え、動きベクトルヒストグラム生成部11gにより生成された動きベクトルのヒストグラムに基づいて、動き補償処理の有効/無効を切り換える。
【選択図】図3
An image display apparatus capable of preventing the deterioration of moving image quality due to motion compensation while improving the response of moving images by switching between valid / invalid of motion compensation processing for a large motion image. provide.
An image display device converts a frame number or a field number of an input image signal by interpolating an image signal subjected to motion compensation between frames or fields of the input image signal, thereby displaying a liquid crystal display. An FRC unit 10 for outputting to the panel 16 is provided. The FRC unit 10 includes a motion vector histogram generation unit 11g that generates a histogram of a motion vector detected between frames or fields of the input image signal, and is based on the motion vector histogram generated by the motion vector histogram generation unit 11g. To enable / disable the motion compensation process.
[Selection] Figure 3

Description

本発明は、画像表示装置に関し、フレームレートあるいはフィールドレートを変換する機能を備えた画像表示装置に関する。   The present invention relates to an image display device, and more particularly to an image display device having a function of converting a frame rate or a field rate.

従来、液晶表示装置のようなホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート(フレーム数)を変換する技術が知られている。この技術はFRC(Frame Rate Converter)と呼ばれ、液晶表示装置等において実用化されている。   Conventionally, a technique for converting a frame rate (the number of frames) by interpolating an image between frames in order to improve motion blur in a hold-type display method such as a liquid crystal display device is known. This technique is called FRC (Frame Rate Converter) and is put into practical use in liquid crystal display devices and the like.

このフレームレートを変換する方法には、同一フレームの2回繰り返し読み出しや、フレーム間の直線内挿(線形補間)によるフレーム内挿などの各種の手法が知られている。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ(ジャーキネス、ジャダー)が発生するため、画質的には不十分なものであった。   As a method for converting the frame rate, various methods are known such as repeated reading of the same frame twice and frame interpolation by linear interpolation between frames (linear interpolation). However, in the case of frame interpolation processing by linear interpolation, unnatural motion (jerkiness, judder) associated with frame rate conversion occurs, so that the image quality is insufficient.

そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿処理が提案されている。この動き補償処理によれば、動画像そのものをとらえて補正するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。   Therefore, in order to eliminate the influence of the jerkiness and improve the moving image quality, motion compensation type frame interpolation processing using motion vectors has been proposed. According to this motion compensation process, since the moving image itself is captured and corrected, it is possible to obtain a very natural moving image without degradation in resolution and without occurrence of jerkiness. Furthermore, since the interpolated image signal is formed by motion compensation, it is possible to sufficiently improve the motion blur interference caused by the hold type display method described above.

例えば、特許文献1には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が記載されている。これは、表示画像のフレーム間に内挿する少なくとも1つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。   For example, Patent Document 1 describes a technique for improving a decrease in spatial frequency characteristics that causes motion blur by increasing the frame frequency of a display image by generating an interpolation frame adaptively in motion. ing. In this method, at least one interpolated image signal to be interpolated between frames of a display image is formed in a motion adaptive manner from the preceding and following frames, and the formed interpolated image signal is interpolated between frames and sequentially displayed. ing.

上記のFRC技術は、ワンセグ(ワンセグメント放送)等の低フレームレート(15fps)の画像信号に対しても動画応答性を高める効果があり、2倍のフレームレート(30fps)に対応した携帯電話機などが実用化されている。   The above-mentioned FRC technology has an effect of improving moving picture response even for an image signal with a low frame rate (15 fps) such as one-segment (one-segment broadcasting), and a mobile phone that supports a double frame rate (30 fps). Has been put to practical use.

しかしながら、ワンセグ等の毎秒15フレームの画像の場合、フレーム毎の要素が飛び飛びとなり、動きが大きい場合には、前フレームにあった要素が次フレームでなくなってしまったり、推定可能な範囲を超えてしまうことがある。このような場合では、画面の要素の動きベクトルの推定先(終点)が定まらず、該当部分について画面破綻(内挿画像のエラー)となってしまう。このため画像品位を劣化させていた。   However, in the case of an image of 15 frames per second such as 1Seg, the elements for each frame are skipped, and if the movement is large, the elements that were in the previous frame may not be the next frame or exceed the estimable range. It may end up. In such a case, the estimation destination (end point) of the motion vector of the screen element is not determined, and the screen is broken (error in the interpolated image) for the corresponding part. For this reason, the image quality was deteriorated.

これに対して、例えば、特許文献2には、動画表示時に発生する視覚的な表示ずれを少なくするために、正しい動きベクトルを検出できる動きベクトル検出回路が記載されている。これは、映像の揺らぎやノイズにより相関値演算部で求めた相関値にバラツキが生じ、最低相関値検出部で検出した最低相関値S1(例:9)が原点からかけ離れた誤ったブロックに対する相関値であり、原点に近いブロックに対する本来の最低相関値がS1より大きなS1a(例:10)に変化した場合、相関値変換部は相関値演算部で求めた相関値のうちの乗算部の乗算値(1.5×最低相関値S1)以下の相関値を0に置換し、置換前の本来の最低相関値S1a(>S1)も検出対象範囲に含める。動きベクトル生成部は、相関値0の複数ブロックのうちの原点に最も近いブロックに対する相関値0(置換前のS1aに対応)を検出し、この検出相関値のブロック位置と原点とを始点、終点とする正しい動きベクトルを生成して出力する。
特許第3295437号明細書 特開平11−45068号公報
On the other hand, for example, Patent Document 2 describes a motion vector detection circuit capable of detecting a correct motion vector in order to reduce a visual display shift that occurs when a moving image is displayed. This is because the correlation value obtained by the correlation value calculation unit varies due to image fluctuations and noise, and the lowest correlation value S1 (eg, 9) detected by the lowest correlation value detection unit is correlated with an erroneous block far from the origin. When the original minimum correlation value for a block close to the origin changes to S1a (eg, 10) larger than S1, the correlation value conversion unit multiplies the multiplication unit among the correlation values obtained by the correlation value calculation unit. A correlation value equal to or lower than the value (1.5 × lowest correlation value S1) is replaced with 0, and the original lowest correlation value S1a (> S1) before replacement is also included in the detection target range. The motion vector generation unit detects a correlation value 0 (corresponding to S1a before replacement) with respect to a block closest to the origin among a plurality of blocks having a correlation value 0, and starts and ends the block position and origin of the detected correlation value. A correct motion vector is generated and output.
Japanese Patent No. 3295437 Japanese Patent Laid-Open No. 11-45068

しかしながら、上記特許文献2に記載の技術では、動き補償型のFRC処理時に画面(1フレーム)内の要素の動きが大きい場合、特に前フレームにあった要素が次フレームでなくなってしまうような場合に、画像間の相関がなくなるため、正しい動きベクトルを検出することはできない。従って、このような場合にはやはり動きベクトルの推定先(終点)を定めることができず、該当部分について画面破綻(内挿画像のエラー)となってしまい、画像品位を改善することはできない。   However, in the technique described in Patent Document 2, when the motion of an element in the screen (one frame) is large during the motion compensation type FRC processing, particularly when the element in the previous frame is no longer the next frame. In addition, since there is no correlation between images, a correct motion vector cannot be detected. Therefore, in such a case, the estimation destination (end point) of the motion vector cannot be determined, resulting in a screen failure (interpolated image error) for the corresponding part, and the image quality cannot be improved.

また、移動する人物等を略中心にしてカメラを振りながら撮影するような場合、前景となる人物以外の背景部分の動きが大きくなるため、この背景部分において上記と同様に動きベクトルの終点が定まらないことになる。しかし、視聴者は通常人物を注視しており、この人物以外の背景部分では画面破綻が気にならない場合もある。このような場合、むしろ動き補償を行ったほうが人物近傍の前景部分の動画応答性が向上するため望ましいが、上記の従来技術はこのような課題を解決するものではない。   Also, when shooting while shaking the camera around a moving person or the like, the movement of the background part other than the foreground person increases, so the end point of the motion vector is not fixed in the background part as described above. There will be no. However, the viewer usually watches the person, and there are cases where the screen breakdown is not a concern in the background part other than this person. In such a case, it is preferable to perform motion compensation because the moving image responsiveness of the foreground portion in the vicinity of the person is improved. However, the above-described conventional technology does not solve such a problem.

本発明は、上述のごとき実情に鑑みてなされたものであり、動きの大きい画像に対して、動き補償処理の有効/無効を切り換えることにより、動画応答性を向上させつつ、動き補償に起因する動画質の劣化を防止できるようにした画像表示装置を提供すること、を目的とする。   The present invention has been made in view of the above-described circumstances, and is caused by motion compensation while improving motion picture responsiveness by switching between valid / invalid of motion compensation processing for a large motion image. An object of the present invention is to provide an image display device capable of preventing deterioration of moving image quality.

上記課題を解決するために、本発明に係る第1の技術手段は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して表示パネルへ出力するレート変換手段を備えた画像表示装置であって、前記入力画像信号のフレーム間あるいはフィールド間で検出される動きベクトルのヒストグラムを生成する動きベクトルヒストグラム生成手段を備え、前記レート変換手段は、前記動きベクトルヒストグラム生成手段により生成された動きベクトルのヒストグラムに基づいて、動き補償処理の有効/無効を切り換えることを特徴としたものである。   In order to solve the above-described problem, the first technical means according to the present invention interpolates an image signal subjected to motion compensation processing between frames or fields of an input image signal, thereby An image display device comprising rate conversion means for converting the number of frames or the number of fields and outputting the result to a display panel, wherein the motion vector generates a histogram of motion vectors detected between frames or fields of the input image signal Histogram generation means is provided, and the rate conversion means switches between valid / invalid of motion compensation processing based on the motion vector histogram generated by the motion vector histogram generation means.

第2の技術手段は、第1の技術手段において、前記動きベクトルヒストグラム生成手段によりヒストグラムが生成された動きベクトルのうち、予め設定された検出範囲外の動きベクトルの数が所定値以上である場合に、前記レート変換手段は、動き補償処理を無効化することを特徴としたものである。   The second technical means is the first technical means in which the number of motion vectors outside the preset detection range is greater than or equal to a predetermined value among the motion vectors generated by the motion vector histogram generating means. In addition, the rate conversion means invalidates the motion compensation process.

第3の技術手段は、第1の技術手段において、前記動きベクトルヒストグラム生成手段によりヒストグラムが生成された動きベクトルのうち、0ベクトル付近の動きベクトルの数が所定値以下である場合に、前記レート変換手段は、動き補償処理を無効化することを特徴としたものである。   According to a third technical means, in the first technical means, when the number of motion vectors near the zero vector is less than or equal to a predetermined value among the motion vectors generated by the motion vector histogram generating means, the rate The conversion means is characterized by invalidating the motion compensation process.

第4の技術手段は、第1の技術手段において、前記動きベクトルヒストグラム生成手段によりヒストグラムが生成された動きベクトルのうち、フレーム間あるいはフィールド間において予め設定された検出範囲外の動きベクトルの数の変化量が所定量以上の場合に、前記レート変換手段は、動き補償処理を無効化することを特徴としたものである。   According to a fourth technical means, in the first technical means, the number of motion vectors outside the detection range set in advance between frames or fields among the motion vectors generated by the motion vector histogram generating means. When the amount of change is equal to or greater than a predetermined amount, the rate conversion unit invalidates the motion compensation process.

第5の技術手段は、第1〜第4のいずれか1の技術手段において、前記レート変換手段は、動き補償処理を無効化する場合、前記入力画像信号のフレーム間あるいはフィールド間に、該フレームあるいはフィールドの画像信号を挿入することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換することを特徴としたものである。   According to a fifth technical means, in any one of the first to fourth technical means, when the rate conversion means invalidates motion compensation processing, the frame is inserted between frames or fields of the input image signal. Alternatively, the number of frames or the number of fields of the input image signal is converted by inserting a field image signal.

第6の技術手段は、第1の技術手段において、前記動きベクトルヒストグラム生成手段によりヒストグラムが生成された動きベクトルのうち、予め設定された検出範囲外の動きベクトルの数が第1の所定値以上であり、且つ、0ベクトル及び該0ベクトル付近の動きベクトルの数が共に第2の所定値以上である場合に、前記レート変換手段は、動き補償処理を有効にすることを特徴としたものである。   According to a sixth technical means, in the first technical means, the number of motion vectors outside a preset detection range among the motion vectors generated by the motion vector histogram generation means is equal to or greater than a first predetermined value. And the rate conversion means enables the motion compensation processing when both the zero vector and the number of motion vectors near the zero vector are equal to or greater than a second predetermined value. is there.

第7の技術手段は、第6の技術手段において、前記動きベクトルヒストグラム生成手段によりヒストグラムが生成された動きベクトルの位置情報に基づいて、前記0ベクトル及び該0ベクトル付近の動きベクトルが画面中央付近に位置すると判定された場合に、前記レート変換手段は、動き補償処理を有効にすることを特徴としたものである。   According to a seventh technical means, in the sixth technical means, based on the position information of the motion vector generated by the motion vector histogram generating means, the zero vector and the motion vector near the zero vector are near the center of the screen. When it is determined that the position is located at the position, the rate conversion means validates the motion compensation process.

第8の技術手段は、第1〜第7のいずれか1の技術手段において、前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトル情報を検出する動きベクトル検出部と、該検出した動きベクトル情報に基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルから内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴としたものである。   An eighth technical means is the motion vector according to any one of the first to seventh technical means, wherein the rate conversion means detects motion vector information between consecutive frames or fields included in the input image signal. A detection unit; an interpolation vector allocating unit that allocates an interpolation vector between the frames or between the fields based on the detected motion vector information; and an interpolation that generates an interpolation image signal from the allocated interpolation vector. An image generation unit and an image interpolation unit for interpolating the generated interpolated image signal between the frames or between the fields are characterized.

本発明によれば、動きの大きい画像に対して、動き補償処理の有効/無効を切り換えることができるため、動画応答性を向上させつつ、動き補償に起因する動画質の劣化を防止することができる。   According to the present invention, since it is possible to switch between valid / invalid of motion compensation processing for an image with large motion, it is possible to prevent degradation of moving image quality due to motion compensation while improving moving image response. it can.

以下、添付図面を参照しながら、本発明に係る画像表示装置の好適な実施の形態について説明する。本実施形態の画像表示装置は、フレームレートあるいはフィールドレートを変換するFRC機能を備えるものとする。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者(フィールドとフレーム)は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。   Hereinafter, preferred embodiments of an image display device according to the present invention will be described with reference to the accompanying drawings. The image display apparatus according to the present embodiment includes an FRC function that converts a frame rate or a field rate. Although the present invention can be applied to any of a field signal, an interpolated field signal, a frame signal, and an interpolated frame signal, both (field and frame) are in a similar relationship with each other, so A signal and an interpolated frame signal will be described as representative examples.

図1は、本発明の画像表示装置が備える動き補償型フレームレート変換部の構成例を示すブロック図である。図中、10はフレームレート変換部(以下、FRC部)で、該FRC部10は、本発明のレート変換手段に相当し、入力画像信号に含まれる2つの連続したフレーム間で動きベクトルを検出するベクトル検出部11と、検出した動きベクトルに基づいて内挿フレーム(内挿画像)を生成するフレーム生成部12とから構成される。なお、ベクトル検出部11は、動きベクトル検出に反復勾配法を用いた場合の例について示すが、この反復勾配法に限定されず、ブロックマッチング法などを用いてもよい。   FIG. 1 is a block diagram illustrating a configuration example of a motion compensated frame rate conversion unit included in the image display apparatus of the present invention. In the figure, reference numeral 10 denotes a frame rate conversion unit (hereinafter referred to as FRC unit), which corresponds to the rate conversion means of the present invention and detects a motion vector between two consecutive frames included in an input image signal. And a frame generation unit 12 that generates an interpolation frame (interpolated image) based on the detected motion vector. In addition, although the vector detection part 11 shows about the example at the time of using an iterative gradient method for a motion vector detection, it is not limited to this iterative gradient method, A block matching method etc. may be used.

ここで、反復勾配法の特徴は、動きベクトルの検出がブロック単位で可能であるため、数種類の動き量が検出でき、また、小領域の動物体でも動きベクトルを検出することができる。また、回路構成も他の方式(ブロックマッチング法など)と比較して小規模で実現することができる。この反復勾配法では、被検出ブロックに対して、すでに検出された近傍のブロックの動きベクトルを初期偏位ベクトルとして、これを起点として勾配法の演算を繰り返す方法が用いられる。この方法によれば、勾配法の繰り返しは2回程度でほぼ正確な動き量を得ることができる。   Here, the feature of the iterative gradient method is that a motion vector can be detected in units of blocks, so that several types of motion amounts can be detected, and a motion vector can be detected even in a small-sized moving object. Also, the circuit configuration can be realized on a small scale as compared with other methods (block matching method or the like). In this iterative gradient method, a method is used in which the gradient method is repeated for the detected block, using the motion vector of a nearby block that has already been detected as an initial displacement vector, and starting from this. According to this method, it is possible to obtain an almost accurate motion amount by repeating the gradient method about twice.

図1において、ベクトル検出部11は、入力画像信号(RGB信号)から輝度信号(Y信号)を抽出する輝度信号抽出部11aと、抽出したY信号にLPFを掛けて高域部の帯域を制限するための前処理フィルタ11bと、動き検出用フレームメモリ11cと、初期ベクトル候補を蓄積するための初期ベクトルメモリ11dと、反復勾配法を用いてフレーム間の動きベクトルを検出する動きベクトル検出部11eと、検出した動きベクトルに基づいてフレーム間に内挿ベクトルを割り付ける内挿ベクトル評価部11fとを備える。   In FIG. 1, a vector detection unit 11 limits a high frequency band by multiplying an extracted Y signal by LPF and a luminance signal extraction unit 11a that extracts a luminance signal (Y signal) from an input image signal (RGB signal). A preprocessing filter 11b for performing the motion detection, a frame memory 11c for motion detection, an initial vector memory 11d for storing initial vector candidates, and a motion vector detection unit 11e for detecting a motion vector between frames using an iterative gradient method. And an interpolation vector evaluation unit 11f that allocates an interpolation vector between frames based on the detected motion vector.

上記反復勾配法の演算は画素の微分成分を用いているため、ノイズの影響を受け易く、また、検出ブロック内の勾配の変化量が多いと演算誤差が大きくなるため、前処理フィルタ11bにおいてLPFをかけて高域部の帯域を制限しておく。初期ベクトルメモリ11dには、初期ベクトル候補として、前々フレームで既に検出されている動きベクトル(初期ベクトル候補)を蓄積しておく。   Since the calculation of the iterative gradient method uses the differential component of the pixel, it is easily affected by noise, and the calculation error increases if the amount of change in the gradient in the detection block is large. To limit the high-frequency band. In the initial vector memory 11d, motion vectors (initial vector candidates) already detected in the previous frame are stored as initial vector candidates.

動きベクトル検出部11eは、初期ベクトルメモリ11dに蓄積されている初期ベクトル候補の中から被検出ブロックの動きベクトルに最も近い動きベクトルを初期ベクトルとして選択する。すなわち、被検出ブロック近傍のブロックにおける既検出動きベクトル(初期ベクトル候補)の中からブロックマッチング法により初期ベクトルを選択する。そして、動きベクトル検出部11eは、選択した初期ベクトルを起点として、勾配法演算によって前フレームと現フレーム間の動きベクトルを検出する。   The motion vector detection unit 11e selects a motion vector closest to the motion vector of the detected block from among the initial vector candidates stored in the initial vector memory 11d as an initial vector. That is, the initial vector is selected by the block matching method from the already detected motion vectors (initial vector candidates) in the blocks near the detected block. Then, the motion vector detection unit 11e detects a motion vector between the previous frame and the current frame by gradient method calculation with the selected initial vector as a starting point.

内挿ベクトル評価部11fは、本発明の内挿ベクトル割付部に相当し、動きベクトル検出部11eにより検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付けて、フレーム生成部12に出力する。   The interpolation vector evaluation unit 11f corresponds to the interpolation vector allocation unit of the present invention, evaluates the motion vector detected by the motion vector detection unit 11e, and determines an optimal interpolation vector between frames based on the evaluation result. It is allocated to the interpolation block and output to the frame generation unit 12.

フレーム生成部12は、2つの入力フレーム(前フレーム、現フレーム)を蓄積するための内挿用フレームメモリ12aと、内挿用フレームメモリ12aからの2つの入力フレームと内挿ベクトル評価部11fからの内挿ベクトルとに基づいて内挿フレームを生成する内挿フレーム生成部12bと、入力フレーム(前フレーム、現フレーム)を蓄積するためのタイムベース変換用フレームメモリ12cと、タイムベース変換用フレームメモリ12cからの入力フレームに内挿フレーム生成部12bからの内挿フレームを挿入するタイムベース変換部12dとを備える。   The frame generation unit 12 includes an interpolation frame memory 12a for accumulating two input frames (previous frame and current frame), two input frames from the interpolation frame memory 12a, and an interpolation vector evaluation unit 11f. An interpolation frame generation unit 12b for generating an interpolation frame based on the interpolation vector of time, a time base conversion frame memory 12c for storing input frames (previous frame, current frame), and a time base conversion frame A time base conversion unit 12d that inserts the interpolation frame from the interpolation frame generation unit 12b into the input frame from the memory 12c.

なお、内挿フレーム生成部12bは、本発明の内挿画像生成部に相当し、タイムベース変換部12dは、本発明の画像内挿部に相当する。   The interpolation frame generation unit 12b corresponds to the interpolation image generation unit of the present invention, and the time base conversion unit 12d corresponds to the image interpolation unit of the present invention.

図2は、フレーム生成部12による内挿フレーム生成処理の一例を説明するための図である。内挿フレーム生成部12bは、内挿ブロックに割り付けられた内挿ベクトルVを前フレーム、現フレームに伸ばして、各フレームとの交点近傍の画素を用いて内挿ブロック内の各画素を補間する。例えば、前フレームでは近傍3点よりA点の輝度を算出する。現フレームでは近傍3点よりB点の輝度を算出する。内挿フレームではP点の輝度をA点とB点の輝度から補間する。P点の輝度は、例えばA点の輝度とB点の輝度の平均としてもよい。   FIG. 2 is a diagram for explaining an example of the interpolation frame generation processing by the frame generation unit 12. The interpolation frame generation unit 12b extends the interpolation vector V assigned to the interpolation block to the previous frame and the current frame, and interpolates each pixel in the interpolation block using pixels near the intersection with each frame. . For example, in the previous frame, the luminance of point A is calculated from three points in the vicinity. In the current frame, the luminance of point B is calculated from the three neighboring points. In the interpolated frame, the luminance at point P is interpolated from the luminance at points A and B. The brightness at point P may be the average of the brightness at point A and the brightness at point B, for example.

上記のようにして生成された内挿フレームは、タイムベース変換部12dに送られる。タイムベース変換部12dは、前フレーム、現フレームの間に、内挿フレームを挟み込んで、フレームレートを変換する処理を行う。このように、FRC部10により、入力画像信号(60フレーム/秒)を、動き補償された出力画像信号(120フレーム/秒)へ変換でき、これを表示パネルに出力することにより、動きぼけを低減して動画質を改善することが可能となる。なお、ここでは、60フレーム/秒の入力画像信号を、120フレーム/秒の出力画像信号にフレームレート変換する場合について説明するが、例えば90フレーム/秒、180フレーム/秒の出力画像信号を得る場合に適用しても良いことは言うまでもない。   The interpolated frame generated as described above is sent to the time base converter 12d. The time base conversion unit 12d performs a process of converting the frame rate by inserting an interpolation frame between the previous frame and the current frame. As described above, the FRC unit 10 can convert the input image signal (60 frames / second) into the motion compensated output image signal (120 frames / second), and outputs this to the display panel, thereby reducing motion blur. It is possible to reduce and improve the video quality. Here, a case where the frame rate conversion of an input image signal of 60 frames / second to an output image signal of 120 frames / second is described, but for example, output image signals of 90 frames / second and 180 frames / second are obtained. Needless to say, it may be applied to a case.

(第1の実施形態)
本発明の画像表示装置は、図1に示したFRC部10を備え、FRC処理を行う際に、動きベクトルのヒストグラムに応じて、動き補償処理の有効/無効を切り換えることにより、画像品位の劣化を防止することにある。なお、本発明は、液晶ディスプレイ、有機ELディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用可能であるが、以下の実施形態においては、表示パネルとして液晶表示パネルを用いた液晶表示装置に本発明を適用した場合を代表例として説明する。
(First embodiment)
The image display apparatus according to the present invention includes the FRC unit 10 shown in FIG. 1, and when performing the FRC process, switching between valid / invalid of the motion compensation process according to the histogram of the motion vector, thereby degrading the image quality. Is to prevent. The present invention can be applied to all image display devices having hold-type display characteristics such as a liquid crystal display, an organic EL display, and an electrophoretic display. In the following embodiments, a liquid crystal display panel is used as the display panel. A case where the present invention is applied to the liquid crystal display device used will be described as a representative example.

なお、本発明によるフレームレート変換処理は、ワンセグ等の放送波のみでなく、「youtube」等の低品質のインターネット動画を視聴する際にも好適に用いることができる。   Note that the frame rate conversion processing according to the present invention can be suitably used not only for watching broadcast waves such as one segment, but also when watching low-quality Internet moving images such as “youtube”.

図3は、本発明に係る液晶表示装置の要部構成例を示すブロック図で、図中、13は画像処理部、14は制御部、15は電極駆動部、16は液晶表示パネルを示す。FRC部10は、動きベクトル検出部11e、内挿ベクトル評価部11f、動きベクトルヒストグラム生成部11g、内挿用フレームメモリ12a、内挿フレーム生成部12b、タイムベース変換部12dを備える。なお、ここでは本発明に係る要部構成のみを図示し、図1に示した輝度信号抽出部11a、前処理フィルタ11b、動き検出用フレームメモリ11c、初期ベクトルメモリ11d、及びタイムベース変換用フレームメモリ12cの記載は省略するものとする。   FIG. 3 is a block diagram showing a configuration example of a main part of the liquid crystal display device according to the present invention, in which 13 denotes an image processing unit, 14 denotes a control unit, 15 denotes an electrode driving unit, and 16 denotes a liquid crystal display panel. The FRC unit 10 includes a motion vector detection unit 11e, an interpolation vector evaluation unit 11f, a motion vector histogram generation unit 11g, an interpolation frame memory 12a, an interpolation frame generation unit 12b, and a time base conversion unit 12d. Here, only the main configuration according to the present invention is illustrated, and the luminance signal extraction unit 11a, the preprocessing filter 11b, the motion detection frame memory 11c, the initial vector memory 11d, and the time base conversion frame illustrated in FIG. Description of the memory 12c is omitted.

画像処理部13は、FRC部10の前段に設けられ、入力画像信号に対して各種の画像処理を施してFRC部10に出力する。
制御部14は、図3に示す各部(FRC部10,画像処理部13,電極駆動部15,液晶表示パネル16)を制御するためのCPUやメモリなどで構成され、FRC部10におけるFRC処理を制御する。
The image processing unit 13 is provided before the FRC unit 10, performs various image processes on the input image signal, and outputs the processed image to the FRC unit 10.
The control unit 14 includes a CPU and a memory for controlling each unit (FRC unit 10, image processing unit 13, electrode driving unit 15, liquid crystal display panel 16) illustrated in FIG. 3, and performs FRC processing in the FRC unit 10. Control.

電極駆動部15は、制御部14の制御により、液晶表示パネル16に必要な表示タイミング信号を生成する。また、電極駆動部15は、液晶表示パネル16の表示動作をコントロールするために必要な表示制御信号を出力する。具体的には、電極駆動部15は、FRC部10によりフレームレート変換された画像データに基づき液晶表示パネル16のゲートドライバにより走査電極を駆動させ、ソースドライバによりデータ電極を駆動させる。   The electrode driving unit 15 generates a display timing signal necessary for the liquid crystal display panel 16 under the control of the control unit 14. Further, the electrode driving unit 15 outputs a display control signal necessary for controlling the display operation of the liquid crystal display panel 16. Specifically, the electrode driving unit 15 drives the scanning electrode by the gate driver of the liquid crystal display panel 16 based on the image data converted by the FRC unit 10 and drives the data electrode by the source driver.

液晶表示パネル16は、図示しないバックライトからの光により背面から照明される。そして2つの基板の間に注入されている異方性誘電率を有する液晶層に印加される電界の強さに応じて、基板を透過する照明光の量を調整して画像を表示させる。   The liquid crystal display panel 16 is illuminated from the back by light from a backlight (not shown). An image is displayed by adjusting the amount of illumination light transmitted through the substrate in accordance with the strength of the electric field applied to the liquid crystal layer having an anisotropic dielectric constant injected between the two substrates.

図3において、画像処理部13から出力された2つの入力フレーム(前フレーム,現フレーム)は、動きベクトル検出部11eと内挿用フレームメモリ12aに入力される。動きベクトル検出部11eは2つの入力フレーム間で動きベクトルを検出して動きベクトルヒストグラム生成部11gと内挿ベクトル評価部11fに出力する。また、内挿用フレームメモリ12aは2つの入力フレームを蓄積・保持する。   In FIG. 3, two input frames (previous frame and current frame) output from the image processing unit 13 are input to the motion vector detection unit 11e and the interpolation frame memory 12a. The motion vector detection unit 11e detects a motion vector between two input frames and outputs it to the motion vector histogram generation unit 11g and the interpolation vector evaluation unit 11f. The interpolation frame memory 12a stores and holds two input frames.

動きベクトルヒストグラム生成部11gは、本発明の動きベクトルヒストグラム生成手段に相当し、動きベクトル検出部11eで検出された動きベクトルに基づいてヒストグラムを生成し、生成したヒストグラム情報を制御部14に出力する。
一方、内挿ベクトル評価部11fは、動きベクトル検出部11eにより検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付けて、内挿フレーム生成部12bに出力する。
なお、説明上、動きベクトルヒストグラム生成部11gと内挿ベクトル評価部11fとを別々に示しているが、動きベクトルヒストグラム生成部11gを内挿ベクトル評価部11fに含めて構成してもよい。
The motion vector histogram generation unit 11g corresponds to the motion vector histogram generation unit of the present invention, generates a histogram based on the motion vector detected by the motion vector detection unit 11e, and outputs the generated histogram information to the control unit 14. .
On the other hand, the interpolation vector evaluation unit 11f evaluates the motion vector detected by the motion vector detection unit 11e, assigns an optimal interpolation vector to an inter-frame interpolation block based on the evaluation result, and inserts an interpolation frame. It outputs to the production | generation part 12b.
For the sake of explanation, the motion vector histogram generation unit 11g and the interpolation vector evaluation unit 11f are shown separately, but the motion vector histogram generation unit 11g may be included in the interpolation vector evaluation unit 11f.

制御部14は、動きベクトルヒストグラム生成部11gにより生成された動きベクトルのヒストグラム情報に基づいて、動き補償処理の有効/無効を切り換えるためのオン/オフ信号を内挿フレーム生成部12bに出力する。このオン/オフ信号がオンの場合に動き補償処理が有効にされ、オフの場合に動き補償処理が無効にされる。例えば、動きベクトルヒストグラム生成部11gによりヒストグラムが生成された動きベクトルのうち、予め設定された検出範囲外の動きベクトルの数が所定値以上である場合、制御部14はオフ信号を内挿フレーム生成部12bに出力し、内挿フレーム生成部12bは、オフ信号に従って動き補償処理を無効化する。この場合、内挿フレーム生成部12bは、動き補償処理のための内挿フレーム生成処理を行わず、内挿用フレームメモリ12aから前フレームを読み出す。なお、上記のヒストグラムによる動き補償処理の有効/無効の判定方法については後述の図4〜図6に基づいて説明する。   Based on the motion vector histogram information generated by the motion vector histogram generation unit 11g, the control unit 14 outputs an on / off signal for switching the validity / invalidity of the motion compensation processing to the interpolation frame generation unit 12b. The motion compensation process is validated when the on / off signal is on, and the motion compensation process is invalidated when the on / off signal is off. For example, when the number of motion vectors outside the preset detection range is greater than or equal to a predetermined value among the motion vectors for which the histogram is generated by the motion vector histogram generation unit 11g, the control unit 14 generates an off signal as an interpolation frame. The interpolated frame generation unit 12b invalidates the motion compensation process according to the off signal. In this case, the interpolation frame generation unit 12b reads the previous frame from the interpolation frame memory 12a without performing the interpolation frame generation process for the motion compensation process. A method for determining whether the motion compensation process is valid / invalid based on the histogram will be described with reference to FIGS.

一方、内挿フレーム生成部12bは、制御部14からオン信号が入力されると、動き補償処理が有効と判定し、内挿用フレームメモリ12aからの2つの入力フレーム(前フレーム,現フレーム)と内挿ベクトル評価部11fからの内挿ベクトルとに基づいて内挿フレームを生成する。   On the other hand, when the ON signal is input from the control unit 14, the interpolation frame generation unit 12b determines that the motion compensation process is valid, and two input frames (previous frame and current frame) from the interpolation frame memory 12a. And an interpolation frame based on the interpolation vector from the interpolation vector evaluation unit 11f.

タイムベース変換部12dは、タイムベース変換用フレームメモリ12cからの入力フレーム(前フレーム,現フレーム)に内挿フレーム生成部12bからの内挿フレームまたは前フレームを挿入する処理を行う。すなわち、タイムベース変換部12dは、前フレームと現フレーム間に、内挿フレームを挟み込んで、動き補償によるフレームレート変換処理を行うか、あるいは、前フレームと現フレーム間に、前フレームを挟み込んで、同じフレームの繰り返し出力によるフレームレート変換処理を行う。   The time base conversion unit 12d performs processing of inserting the interpolation frame or the previous frame from the interpolation frame generation unit 12b into the input frame (previous frame, current frame) from the time base conversion frame memory 12c. That is, the time base conversion unit 12d inserts an interpolated frame between the previous frame and the current frame and performs frame rate conversion processing by motion compensation, or inserts the previous frame between the previous frame and the current frame. The frame rate conversion process is performed by repeatedly outputting the same frame.

このように、FRC部10は、動き補償処理を無効化する場合、入力画像信号のフレーム間に、そのフレームの画像信号を挿入することにより、入力画像信号のフレーム数を変換する処理、換言すれば、前フレームと現フレーム間に、同一フレームを挟み込んで、同一フレームの繰り返し出力によるフレームレート変換処理を行う。上記例では前フレームを2回出力する例としたが、後フレームを2回出力するようにしてもよい。   As described above, when invalidating the motion compensation process, the FRC unit 10 converts the number of frames of the input image signal by inserting the image signal of the frame between the frames of the input image signal, in other words, For example, the same frame is sandwiched between the previous frame and the current frame, and frame rate conversion processing is performed by repeatedly outputting the same frame. In the above example, the previous frame is output twice, but the subsequent frame may be output twice.

図4は、動きベクトルヒストグラム生成部11gにより生成されるヒストグラム情報の一例を示す図である。このヒストグラム情報の例は、動きベクトルヒストグラム生成部11gによりヒストグラムが生成された動きベクトルのうち、予め設定された検出範囲外の動きベクトルの数が所定値以上の場合を示すものである。例えば、動きベクトルの検出範囲を±32画素とし、この検出範囲に含まれない、すなわち終点のない動きベクトルの値を40と設定する。なお、動きベクトルの頻度(数)に対して設定される設定値は予め図示しないメモリ等に格納されており、制御部14はこの設定値に基づいて動きベクトル値が40となった動きベクトルの数を判定する。制御部14は、動きベクトル値が40となった動きベクトルの数が設定値を超えた場合、FRC部10にオフ信号を出力し、前フレームを2回繰り返し出力するようにFRC部10を制御する。   FIG. 4 is a diagram illustrating an example of histogram information generated by the motion vector histogram generation unit 11g. This example of the histogram information shows a case where the number of motion vectors outside the detection range set in advance is greater than or equal to a predetermined value among the motion vectors generated by the motion vector histogram generation unit 11g. For example, the motion vector detection range is set to ± 32 pixels, and a motion vector value not included in the detection range, that is, having no end point is set to 40. Note that a setting value set for the frequency (number) of motion vectors is stored in advance in a memory or the like (not shown), and the control unit 14 determines the motion vector value having a motion vector value of 40 based on this setting value. Determine the number. When the number of motion vectors having a motion vector value of 40 exceeds the set value, the control unit 14 outputs an off signal to the FRC unit 10 and controls the FRC unit 10 to repeatedly output the previous frame twice. To do.

図5は、本発明の第1の実施形態に係る液晶表示装置によるフレームレート変換処理の一例を説明するための図で、図中、f1〜f3は入力フレーム、f1′は内挿フレーム、cはフレーム内の要素(自動車)を示す。自動車cはフレーム内を左から右に移動しているものとする。本例の入力フレームf1,f2では自動車cが存在しているが、入力フレームf3では自動車cが走り去ってしまいなくなっている。従って、入力フレームf2,f3の間で自動車cの動きベクトルを検出しようとすると、±32画素の検出範囲外であるため、自動車cの動きベクトルの値は終点のない動きベクトル値40に割り当てられる。   FIG. 5 is a diagram for explaining an example of frame rate conversion processing by the liquid crystal display device according to the first embodiment of the present invention, in which f1 to f3 are input frames, f1 ′ is an interpolation frame, and c Indicates an element (car) in the frame. It is assumed that the automobile c is moving from left to right in the frame. The vehicle c exists in the input frames f1 and f2 in this example, but the vehicle c does not run away in the input frame f3. Therefore, if an attempt is made to detect the motion vector of the automobile c between the input frames f2 and f3, the motion vector value of the automobile c is assigned to the motion vector value 40 having no end point because it is outside the detection range of ± 32 pixels. .

そして、制御部14により動きベクトル値40を持つ動きベクトルの数が設定値以上と判定されると、前フレームを2回繰り返し出力するようにFRC部10が制御される。この結果、入力フレームf1,f2の間には動き補償処理が施された内挿フレームf1′が内挿され、入力フレームf2,f3の間には入力フレームf2がそのまま挿入される。   When the control unit 14 determines that the number of motion vectors having the motion vector value 40 is equal to or greater than the set value, the FRC unit 10 is controlled to repeatedly output the previous frame twice. As a result, the interpolated frame f1 ′ subjected to the motion compensation process is inserted between the input frames f1 and f2, and the input frame f2 is inserted as it is between the input frames f2 and f3.

これにより、動きが大きく動きベクトルの推定先(終点)を定めることができない場合であっても、該当部分(上記例の自動車c)における画面破綻(内挿画像のエラー)を防止できるため、画像品位を維持しながらFRC処理を行うことができる。   Thereby, even when the motion is large and the estimation destination (end point) of the motion vector cannot be determined, screen failure (error in the interpolated image) in the corresponding part (the automobile c in the above example) can be prevented. The FRC process can be performed while maintaining the quality.

図6は、動きベクトルヒストグラム生成部11gにより生成されるヒストグラム情報の他の例を示す図である。この動きベクトルのヒストグラム情報は画像全体の動きを把握するための指標として用いられる。例えば、前述したように、動きベクトルの検出範囲が±32画素であり、フレーム内の全画素がこの検出範囲に含まれていれば、動きベクトルのヒストグラムは図6(A)に示すようになる。また、動きが激しく静止要素が少ない場合には、0ベクトル付近の動きベクトルが少なくなるため、動きベクトルのヒストグラムは図6(B)に示すようになる。また、動きが激しく画素の大半が検出範囲外で終点がない場合には、検出範囲(±32画素)に含まれる画素が少ないため、動きベクトルのヒストグラムは図6(C)に示すようになる。   FIG. 6 is a diagram illustrating another example of histogram information generated by the motion vector histogram generation unit 11g. The histogram information of the motion vector is used as an index for grasping the motion of the entire image. For example, as described above, if the motion vector detection range is ± 32 pixels and all the pixels in the frame are included in this detection range, the motion vector histogram is as shown in FIG. . In addition, when the motion is intense and there are few stationary elements, the motion vector near the zero vector decreases, and the motion vector histogram is as shown in FIG. In addition, when the movement is intense and most of the pixels are outside the detection range and there is no end point, the detection range (± 32 pixels) contains a small number of pixels, and the motion vector histogram is as shown in FIG. .

本発明の場合、動きベクトルヒストグラム生成部11gが、動きベクトルの検出範囲を±32画素とし、この検出範囲に含まれない終点のない動きベクトルの値を40としてヒストグラムを生成する。制御部14は予め設定された設定値に基づいて動きベクトル値が40となった動きベクトルの数を判定する。制御部14は、この動きベクトルの数が設定値を超えた場合、FRC部10にオフ信号を出力して動き補償処理を無効化し、前フレームを2回繰り返し出力するようにFRC部10を制御する。   In the case of the present invention, the motion vector histogram generator 11g generates a histogram with a motion vector detection range of ± 32 pixels and a motion vector value having no end point not included in the detection range as 40. The control unit 14 determines the number of motion vectors having a motion vector value of 40 based on a preset setting value. When the number of motion vectors exceeds the set value, the control unit 14 outputs an off signal to the FRC unit 10 to invalidate the motion compensation process, and controls the FRC unit 10 to repeatedly output the previous frame twice. To do.

また、図6(B)に示すように、動きベクトルヒストグラム生成部11gによりヒストグラムが生成された動きベクトルのうち、0ベクトル付近の動きベクトルの数が設定値以下である場合には、動きの大きい画像であることが推定される。この場合にも、制御部14は、FRC部10にオフ信号を出力して動き補償処理を無効化し、前フレームを2回繰り返し出力するようにFRC部10を制御してもよい。なお、このときの設定値は、動きベクトル値40に対する設定値よりも小さいものとする。   Further, as shown in FIG. 6B, when the number of motion vectors near the zero vector is equal to or less than the set value among the motion vectors generated by the motion vector histogram generation unit 11g, the motion is large. Presumed to be an image. Also in this case, the control unit 14 may output the OFF signal to the FRC unit 10 to invalidate the motion compensation process, and may control the FRC unit 10 to repeatedly output the previous frame twice. It is assumed that the set value at this time is smaller than the set value for the motion vector value 40.

また、上記以外にも、動きベクトルヒストグラム生成部11gによりヒストグラムが生成された動きベクトルのうち、フレーム間において予め設定された検出範囲外の動きベクトルの数の変化量が所定量以上の場合にも、動きの大きい画像であることが推定される。例えば、現フレームの動きベクトル値40を持つ動きベクトルの数が、前フレームに比べて所定量以上増加した場合に、制御部14は、FRC部10にオフ信号を出力して動き補償処理を無効化し、前フレームを2回繰り返し出力するようにFRC部10を制御してもよい。   In addition to the above, among the motion vectors generated by the motion vector histogram generation unit 11g, the change amount of the number of motion vectors outside the detection range set in advance between frames is greater than or equal to a predetermined amount. It is estimated that the image has a large motion. For example, when the number of motion vectors having the motion vector value 40 of the current frame has increased by a predetermined amount or more compared to the previous frame, the control unit 14 outputs an off signal to the FRC unit 10 to invalidate the motion compensation process. And the FRC unit 10 may be controlled so as to repeatedly output the previous frame twice.

なお、動き補償処理を行わずにフレームレートを変換する方法としては、動きベクトル検出部11eで検出された動きベクトルの出力を0ベクトルにする、あるいは、内挿ベクトル評価部11fで割り付けた内挿ベクトルの出力を0ベクトルにすることにより、動き補償処理を無効化することもできる。この方法によれば、内挿ベクトルが0ベクトルとなるため、結果的に同じフレームが内挿されることになる。この場合、内挿フレーム生成部12bにおいて同一フレームを内挿用フレームメモリ12aから読み出す必要はない。   As a method for converting the frame rate without performing the motion compensation process, the output of the motion vector detected by the motion vector detection unit 11e is set to 0 vector, or the interpolation assigned by the interpolation vector evaluation unit 11f is performed. The motion compensation process can be invalidated by setting the vector output to 0 vector. According to this method, since the interpolation vector becomes 0 vector, the same frame is interpolated as a result. In this case, it is not necessary to read the same frame from the interpolation frame memory 12a in the interpolation frame generation unit 12b.

本実施形態によれば、ワンセグのような低フレームレートの画像を高フレームレートに変換して視聴する際に、動きの大きい画像であっても、内挿画像のエラーによる画面乱れを低減し、高品位な画像を提供することができる。   According to this embodiment, when converting an image with a low frame rate such as one seg to a high frame rate and viewing, even if the image has a large movement, screen disturbance due to an error in the interpolated image is reduced, A high-quality image can be provided.

(第2の実施形態)
図7は、本発明の第2の実施形態に係る液晶表示装置によるフレームレート変換処理の一例を説明するための図で、図中、21は前景画像(本例では人物)、22は背景画像を示す。ここでは1フレームが前景画像21と背景画像22とで構成される。本実施形態では、動きベクトルヒストグラム生成部11gによりヒストグラムが生成された動きベクトルのうち、予め設定された検出範囲外の動きベクトルの数が第1の所定値以上であり、且つ、0ベクトル及び0ベクトル付近の動きベクトルの数が共に第2の所定値以上である場合に、FRC部10において動き補償処理を有効にする。
(Second Embodiment)
FIG. 7 is a diagram for explaining an example of frame rate conversion processing by the liquid crystal display device according to the second embodiment of the present invention, in which 21 is a foreground image (a person in this example), and 22 is a background image. Indicates. Here, one frame is composed of a foreground image 21 and a background image 22. In the present embodiment, the number of motion vectors outside the preset detection range among the motion vectors generated by the motion vector histogram generation unit 11g is equal to or greater than the first predetermined value, and the 0 vector and 0 When the number of motion vectors near the vector is both equal to or greater than the second predetermined value, the motion compensation process is enabled in the FRC unit 10.

例えば、移動する人物等を略中心にしてカメラを振って撮影する場合には、図7(A)に示すように、人物である前景画像21の動きが少なく(ほぼ静止状態)、前景画像21以外の背景画像22の動きが大きくなる。従って、この場合のヒストグラムは図7(B)に示すようになる。第1の実施形態であれば、動きベクトル値40を持つ動きベクトルの数が所定値(第1の所定値)以上であるため、前フレームを挿入することになる。しかし、通常視聴者は前景画像21の人物を注視しているのであって、それ以外の部分である背景画像22の画面破綻はそれほど気にならないものと考えられる。   For example, when shooting with a camera shaken about a moving person or the like as shown in FIG. 7A, the foreground image 21 that is a person moves little (substantially still), and the foreground image 21 The motion of the background image 22 other than is increased. Accordingly, the histogram in this case is as shown in FIG. In the first embodiment, since the number of motion vectors having the motion vector value 40 is equal to or greater than a predetermined value (first predetermined value), the previous frame is inserted. However, it is considered that the normal viewer is gazing at the person in the foreground image 21, and the screen failure of the background image 22 that is the other part is not so much concerned.

そこで、図7(B)に示すように、人物近傍に相当する0ベクトル及び0ベクトル付近の動きベクトルに対して第2の設定値を設け、0ベクトル及び0ベクトル付近の動きベクトルの数が共に第2の設定値以上であった場合には通常の動き補償による内挿処理を行う。こうすることによって、検出範囲以外の動きベクトルの数が設定値以上であっても、動きの少ない部分の動きベクトル(すなわち、0ベクトル及び0ベクトル付近の動きベクトル)が所定数以上ある場合には、通常の動き補償による内挿処理を行うことができるため、視聴者が注視する部分の動画応答性を向上させることができる。   Therefore, as shown in FIG. 7B, a second set value is provided for the 0 vector corresponding to the vicinity of the person and the motion vector near the 0 vector, and the number of motion vectors near the 0 vector and the 0 vector is both When the value is equal to or greater than the second set value, an interpolation process based on normal motion compensation is performed. By doing this, even when the number of motion vectors outside the detection range is greater than or equal to the set value, the motion vector of the portion with less motion (that is, the 0 vector and the motion vector near the 0 vector) is greater than or equal to the predetermined number. Since the interpolation process by the normal motion compensation can be performed, it is possible to improve the moving image responsiveness of the portion watched by the viewer.

ここで、前述の図5に示した例の場合、図7(C)に示すようなヒストグラムになることが予想される。この例の場合、カメラがパンニングしていないため、自動車cの背景が静止状態であれば、0ベクトルの数が最も大きくなるものと考えられる。従って、背景に相当する0ベクトルの数と、自動車cに相当する検出範囲外の動きベクトルの数とが大きくなる。一方、図7(B)に示す例の場合、カメラがパンニングしているため、カメラで追っている人物とその周辺は0ベクトル及び0ベクトル付近の動きベクトルとなり、それ以外の背景は検出範囲外の動きベクトルとなるため、人物周辺に相当する0ベクトル及び0ベクトル付近の動きベクトルの数と、それ以外の背景に相当する検出範囲外の動きベクトルの数とが大きくなる。   Here, in the case of the example shown in FIG. 5, the histogram shown in FIG. 7C is expected. In this example, since the camera is not panned, the number of zero vectors is considered to be the largest if the background of the automobile c is stationary. Therefore, the number of 0 vectors corresponding to the background and the number of motion vectors outside the detection range corresponding to the automobile c are increased. On the other hand, in the case of the example shown in FIG. 7B, since the camera is panning, the person chased by the camera and its surroundings are the 0 vector and the motion vector near the 0 vector, and the other backgrounds are outside the detection range. Since this is a motion vector, the number of motion vectors near the person and the number of motion vectors near the 0 vector and the number of motion vectors outside the detection range corresponding to the other backgrounds are large.

これより、図7(C)の場合、0ベクトルの数に比べて0ベクトル付近の動きベクトルの数が少ないため、0ベクトルの数は設定値を上回るが0ベクトル付近の動きベクトルの数は設定値を下回ることになる。これに対して、図7(B)の場合、0ベクトルの数及び0ベクトル付近の動きベクトルの数が共に多いため、0ベクトル及び0ベクトル付近の動きベクトルの数は共に設定値を上回ることになる。なお、0ベクトル付近の動きベクトルとは、例えば±10画素の範囲に入る動きベクトルとする。   Thus, in the case of FIG. 7C, since the number of motion vectors near the 0 vector is smaller than the number of 0 vectors, the number of 0 vectors exceeds the set value, but the number of motion vectors near the 0 vector is set. It will be below the value. On the other hand, in the case of FIG. 7B, both the number of 0 vectors and the number of motion vectors near the 0 vector are large, and therefore the number of motion vectors near the 0 vector and the 0 vector both exceed the set value. Become. Note that the motion vector near the zero vector is, for example, a motion vector that falls within a range of ± 10 pixels.

従って、0ベクトル及び0ベクトル付近の動きベクトルの数が共に設定値を上回るか否かを判定することで、図5に示した画像と図7(A)に示す画像とを判別することができる。   Therefore, it is possible to discriminate between the image shown in FIG. 5 and the image shown in FIG. 7A by determining whether the number of motion vectors near the zero vector and the zero vector exceeds the set value. .

また、図7(A)に示す画像の場合、パンニングにより、画面中央付近に0ベクトル及び0ベクトル付近の動きベクトルが集中することになる。そこで、制御部14は、動きベクトルヒストグラム生成部11gによりヒストグラムが生成された動きベクトルの位置情報を取得し、取得した位置情報に基づいて、0ベクトル及び0ベクトル付近の動きベクトルが画面中央付近に位置するか否かを判定してもよい。これにより、図7(A)の画像をより確実に判別することが可能となる。ここで、動きベクトル検出部11eは、動きベクトルを検出する際に画素毎の動きを見ているため、各動きベクトルの位置情報を取得することができる。そして、この位置情報が制御部14に入力され、制御部14により0ベクトル及び0ベクトル付近の動きベクトルが画面中央付近に位置すると判定された場合に、FRC部10が動き補償処理を有効にする。   In the case of the image shown in FIG. 7A, panning causes the zero vector and the motion vector near the zero vector to concentrate near the center of the screen. Therefore, the control unit 14 acquires the position information of the motion vector for which the histogram is generated by the motion vector histogram generation unit 11g, and based on the acquired position information, the 0 vector and the motion vector around the 0 vector are near the center of the screen. You may determine whether it is located. This makes it possible to more reliably determine the image in FIG. Here, since the motion vector detection unit 11e sees the motion of each pixel when detecting the motion vector, it can acquire the position information of each motion vector. When this position information is input to the control unit 14 and the control unit 14 determines that the zero vector and the motion vector near the zero vector are located near the center of the screen, the FRC unit 10 enables the motion compensation processing. .

本実施形態によれば、移動する人物等を略中心にしてカメラを振って撮影する場合などに、画像中の人物(動きが少ない部分)の動き補償を優先することによって、視聴者が注視する部分の動画質を向上させ、画像全体としての品位を保つことができる。   According to the present embodiment, when a camera is shaken around a moving person or the like to take a picture, the viewer pays attention by giving priority to motion compensation of a person (part with less movement) in the image. The moving image quality of the part can be improved and the quality of the entire image can be maintained.

本発明の画像表示装置が備える動き補償型フレームレート変換部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the motion compensation type frame rate conversion part with which the image display apparatus of this invention is provided. フレーム生成部による内挿フレーム生成処理の一例を説明するための図である。It is a figure for demonstrating an example of the interpolation frame production | generation process by a frame production | generation part. 本発明に係る液晶表示装置の要部構成例を示すブロック図である。It is a block diagram which shows the principal part structural example of the liquid crystal display device which concerns on this invention. 動きベクトルヒストグラム生成部により生成されるヒストグラム情報の一例を示す図である。It is a figure which shows an example of the histogram information produced | generated by the motion vector histogram production | generation part. 本発明の第1の実施形態に係る液晶表示装置によるフレームレート変換処理の一例を説明するための図である。It is a figure for demonstrating an example of the frame rate conversion process by the liquid crystal display device which concerns on the 1st Embodiment of this invention. 動きベクトルヒストグラム生成部により生成されるヒストグラム情報の他の例を示す図である。It is a figure which shows the other example of the histogram information produced | generated by the motion vector histogram production | generation part. 本発明の第2の実施形態に係る液晶表示装置によるフレームレート変換処理の一例を説明するための図である。It is a figure for demonstrating an example of the frame rate conversion process by the liquid crystal display device which concerns on the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

10…フレームレート変換(FRC)部、11…ベクトル検出部、11a…輝度信号抽出部、11b…前処理フィルタ、11c…動き検出用フレームメモリ、11d…初期ベクトルメモリ、11e…動きベクトル検出部、11f…内挿ベクトル評価部、11g…動きベクトルヒストグラム生成部、12…フレーム生成部、12a…内挿用フレームメモリ、12b…内挿フレーム生成部、12c…タイムベース変換用フレームメモリ、12d…タイムベース変換部、13…画像処理部、14…制御部、15…電極駆動部、16…液晶表示パネル。 DESCRIPTION OF SYMBOLS 10 ... Frame rate conversion (FRC) part, 11 ... Vector detection part, 11a ... Luminance signal extraction part, 11b ... Pre-processing filter, 11c ... Frame memory for motion detection, 11d ... Initial vector memory, 11e ... Motion vector detection part, 11f: Interpolation vector evaluation unit, 11g: Motion vector histogram generation unit, 12 ... Frame generation unit, 12a ... Interpolation frame memory, 12b ... Interpolation frame generation unit, 12c ... Time base conversion frame memory, 12d ... Time Base conversion unit, 13 ... image processing unit, 14 ... control unit, 15 ... electrode drive unit, 16 ... liquid crystal display panel.

Claims (8)

入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して表示パネルへ出力するレート変換手段を備えた画像表示装置であって、
前記入力画像信号のフレーム間あるいはフィールド間で検出される動きベクトルのヒストグラムを生成する動きベクトルヒストグラム生成手段を備え、
前記レート変換手段は、前記動きベクトルヒストグラム生成手段により生成された動きベクトルのヒストグラムに基づいて、動き補償処理の有効/無効を切り換えることを特徴とする画像表示装置。
Rate conversion means for converting the number of frames or fields of the input image signal and outputting it to the display panel by interpolating the image signal subjected to motion compensation processing between frames or fields of the input image signal An image display device,
A motion vector histogram generating means for generating a histogram of motion vectors detected between frames or fields of the input image signal;
The image conversion apparatus according to claim 1, wherein the rate conversion means switches between valid / invalid of motion compensation processing based on a motion vector histogram generated by the motion vector histogram generation means.
請求項1に記載の画像表示装置において、前記動きベクトルヒストグラム生成手段によりヒストグラムが生成された動きベクトルのうち、予め設定された検出範囲外の動きベクトルの数が所定値以上である場合に、前記レート変換手段は、動き補償処理を無効化することを特徴とする画像表示装置。   2. The image display device according to claim 1, wherein the number of motion vectors outside a preset detection range among motion vectors generated by the motion vector histogram generation unit is equal to or greater than a predetermined value. An image display device, wherein the rate conversion means invalidates the motion compensation process. 請求項1に記載の画像表示装置において、前記動きベクトルヒストグラム生成手段によりヒストグラムが生成された動きベクトルのうち、0ベクトル付近の動きベクトルの数が所定値以下である場合に、前記レート変換手段は、動き補償処理を無効化することを特徴とする画像表示装置。   2. The image display apparatus according to claim 1, wherein when the number of motion vectors near the zero vector is equal to or less than a predetermined value among the motion vectors generated by the motion vector histogram generation unit, the rate conversion unit An image display device characterized by invalidating motion compensation processing. 請求項1に記載の画像表示装置において、前記動きベクトルヒストグラム生成手段によりヒストグラムが生成された動きベクトルのうち、フレーム間あるいはフィールド間において予め設定された検出範囲外の動きベクトルの数の変化量が所定量以上の場合に、前記レート変換手段は、動き補償処理を無効化することを特徴とする画像表示装置。   2. The image display device according to claim 1, wherein a change amount of the number of motion vectors outside a detection range set in advance between frames or fields among motion vectors generated by the motion vector histogram generation unit is between frames. The image display device according to claim 1, wherein the rate conversion means invalidates the motion compensation process when the predetermined amount is exceeded. 請求項1〜4のいずれか1項に記載の画像表示装置において、前記レート変換手段は、動き補償処理を無効化する場合、前記入力画像信号のフレーム間あるいはフィールド間に、該フレームあるいはフィールドの画像信号を挿入することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換することを特徴とする画像表示装置。   5. The image display device according to claim 1, wherein the rate conversion unit invalidates the motion compensation process between frames or fields of the input image signal. An image display device that converts the number of frames or the number of fields of the input image signal by inserting an image signal. 請求項1に記載の画像表示装置において、前記動きベクトルヒストグラム生成手段によりヒストグラムが生成された動きベクトルのうち、予め設定された検出範囲外の動きベクトルの数が第1の所定値以上であり、且つ、0ベクトル及び該0ベクトル付近の動きベクトルの数が共に第2の所定値以上である場合に、前記レート変換手段は、動き補償処理を有効にすることを特徴とする画像表示装置。   The image display device according to claim 1, wherein the number of motion vectors outside a preset detection range among the motion vectors generated by the motion vector histogram generation unit is equal to or greater than a first predetermined value, In addition, when both the 0 vector and the number of motion vectors in the vicinity of the 0 vector are equal to or greater than a second predetermined value, the rate conversion unit validates the motion compensation process. 請求項6に記載の画像表示装置において、前記動きベクトルヒストグラム生成手段によりヒストグラムが生成された動きベクトルの位置情報に基づいて、前記0ベクトル及び該0ベクトル付近の動きベクトルが画面中央付近に位置すると判定された場合に、前記レート変換手段は、動き補償処理を有効にすることを特徴とする画像表示装置。   7. The image display device according to claim 6, wherein the zero vector and a motion vector near the zero vector are located near the center of the screen based on the positional information of the motion vector for which the histogram is generated by the motion vector histogram generation unit. When judged, the rate conversion means validates the motion compensation process. 請求項1〜7のいずれか1項に記載の画像表示装置において、前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトル情報を検出する動きベクトル検出部と、該検出した動きベクトル情報に基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルから内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴とする画像表示装置。   8. The image display device according to claim 1, wherein the rate conversion unit includes a motion vector detection unit that detects motion vector information between consecutive frames or fields included in the input image signal. An interpolation vector allocating unit that allocates an interpolation vector between the frames or between the fields based on the detected motion vector information, and an interpolation image generating unit that generates an interpolation image signal from the allocated interpolation vector And an image interpolating unit for interpolating the generated interpolated image signal between the frames or the fields.
JP2008221152A 2008-08-29 2008-08-29 Image display device Pending JP2010057010A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008221152A JP2010057010A (en) 2008-08-29 2008-08-29 Image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008221152A JP2010057010A (en) 2008-08-29 2008-08-29 Image display device

Publications (1)

Publication Number Publication Date
JP2010057010A true JP2010057010A (en) 2010-03-11

Family

ID=42072429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008221152A Pending JP2010057010A (en) 2008-08-29 2008-08-29 Image display device

Country Status (1)

Country Link
JP (1) JP2010057010A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9408591B2 (en) 2010-07-14 2016-08-09 Hitachi Medical Corporation Ultrasound diagnostic device and method of generating an intermediary image of ultrasound image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191448A (en) * 1995-01-09 1996-07-23 Oki Electric Ind Co Ltd Image interpolation device by motion vector and method therefor
JP2000134585A (en) * 1998-10-23 2000-05-12 Hitachi Ltd Motion vector determination method, image signal frame number conversion method and circuit
JP2000333134A (en) * 1999-05-20 2000-11-30 Toshiba Corp Interpolated field generation circuit and field double speed conversion circuit
JP2008167102A (en) * 2006-12-28 2008-07-17 Hitachi Ltd Video processing apparatus and video display apparatus including the same
JP2008236098A (en) * 2007-03-19 2008-10-02 Hitachi Ltd Video processing apparatus and video display apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191448A (en) * 1995-01-09 1996-07-23 Oki Electric Ind Co Ltd Image interpolation device by motion vector and method therefor
JP2000134585A (en) * 1998-10-23 2000-05-12 Hitachi Ltd Motion vector determination method, image signal frame number conversion method and circuit
JP2000333134A (en) * 1999-05-20 2000-11-30 Toshiba Corp Interpolated field generation circuit and field double speed conversion circuit
JP2008167102A (en) * 2006-12-28 2008-07-17 Hitachi Ltd Video processing apparatus and video display apparatus including the same
JP2008236098A (en) * 2007-03-19 2008-10-02 Hitachi Ltd Video processing apparatus and video display apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9408591B2 (en) 2010-07-14 2016-08-09 Hitachi Medical Corporation Ultrasound diagnostic device and method of generating an intermediary image of ultrasound image

Similar Documents

Publication Publication Date Title
JP4139430B1 (en) Image processing apparatus and method, image display apparatus and method
JP4303748B2 (en) Image display apparatus and method, image processing apparatus and method
JP4181593B2 (en) Image display apparatus and method
JP4615508B2 (en) Image display apparatus and method, image processing apparatus and method
JP4181592B2 (en) Image display apparatus and method, image processing apparatus and method
CN101518068B (en) Image display device and method, image processing device and method
CN101529902B (en) Image display device and method, image processing device and method
JP4303745B2 (en) Image display apparatus and method, image processing apparatus and method
JP5215668B2 (en) Image display apparatus and method
JP4303743B2 (en) Image display apparatus and method, image processing apparatus and method
JP2009055340A (en) Image display apparatus and method, image processing apparatus and method
JP2009182865A (en) Image display apparatus and method, image processing apparatus and image processing method
JP4504999B2 (en) Image display apparatus and method, image processing apparatus and method
JP4615594B2 (en) Image display apparatus and method, image processing apparatus and method
JP2009181067A (en) Image display apparatus and method, image processing apparatus and method
JP4181613B2 (en) Image display apparatus and method
JP2010057010A (en) Image display device
JP4505000B2 (en) Image display apparatus and method, image processing apparatus and method
JP4731356B2 (en) Image display apparatus and method
JP4181612B2 (en) Image display apparatus and method
JP2008167428A (en) Image display apparatus and method, image processing apparatus and method
JP4369971B2 (en) Image display apparatus and method, image processing apparatus and method
JP2009258269A (en) Image display device
JP4769234B2 (en) Image display apparatus and method, image processing apparatus and method
JP4359328B2 (en) Image display apparatus and method, image processing apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120918