[go: up one dir, main page]

JP2011211499A - Frame rate conversion circuit and display device mounting the same - Google Patents

Frame rate conversion circuit and display device mounting the same Download PDF

Info

Publication number
JP2011211499A
JP2011211499A JP2010077466A JP2010077466A JP2011211499A JP 2011211499 A JP2011211499 A JP 2011211499A JP 2010077466 A JP2010077466 A JP 2010077466A JP 2010077466 A JP2010077466 A JP 2010077466A JP 2011211499 A JP2011211499 A JP 2011211499A
Authority
JP
Japan
Prior art keywords
frame
pixel
interpolation
pixels
blank area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010077466A
Other languages
Japanese (ja)
Inventor
Tomoji Otowa
智司 音羽
Riichi Furukawa
利一 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
On Semiconductor Trading Ltd
Original Assignee
On Semiconductor Trading Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by On Semiconductor Trading Ltd filed Critical On Semiconductor Trading Ltd
Priority to JP2010077466A priority Critical patent/JP2011211499A/en
Publication of JP2011211499A publication Critical patent/JP2011211499A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technology for improving image quality of an interpolation frame.SOLUTION: In a frame rate conversion circuit, an interpolation frame-generating unit 10 refers to at least one of first and second frames to generate an interpolation frame between these frames. A marginal region detector 20 detects that a marginal region is present if pixel values of a plurality of pixels at an edge of the first frame or the second frame fall within a predetermined range. If it is detected by the marginal region detector 20 that the marginal region is present, the interpolation frame-generating unit 10 refers to at least either pixels in the first frame or pixels in the second frame corresponding to positions of pixels within the marginal region in the interpolation frame to generate pixels within the marginal region in the interpolation frame.

Description

本発明は、入力される動画像のフレーム数を増加させて出力するフレームレート変換回路、およびそれを搭載した表示装置に関する。   The present invention relates to a frame rate conversion circuit that increases the number of frames of an input moving image and outputs the same, and a display device equipped with the frame rate conversion circuit.

近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像間の少ない動画像を生成する手法が実用化されている。たとえば、毎秒60フレーム(60Hz)の動画像を2倍速または4倍速して、120Hzまたは240Hzの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、連続するフレーム間の動きベクトルを用いる手法が注目されている(たとえば、特許文献1、2参照)。   In recent years, a technique for increasing the number of frames of a moving image using a frame interpolation technique and generating a moving image that is smoother and has less afterimages has been put into practical use. For example, a technique of converting a moving image of 60 frames (60 Hz) per second to a moving image of 120 Hz or 240 Hz at a double speed or a quadruple speed and displaying it has been put into practical use. As a method for generating an interpolated frame, a method that uses a motion vector between consecutive frames has attracted attention (see, for example, Patent Documents 1 and 2).

日本では2006年4月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒15フレーム(15Hz)で映像が送信されるため、そのコマ数を増加させる必要性が高い。   In Japan, 1Seg broadcasting has started in April 2006. One-segment broadcasting is a broadcast that uses a narrow band mainly for portable devices such as mobile phones. In one-segment broadcasting, since video is normally transmitted at 15 frames per second (15 Hz), it is highly necessary to increase the number of frames.

特開2009−71842号公報JP 2009-71842 A 特開2009−21868号公報JP 2009-21868 A

動きベクトルを用いる補間フレームの生成アルゴリズムの一つに、連続する第1フレームと第2フレーム間の動きベクトルをブロック単位または画素単位で特定し、第1フレーム内の画素が等速直線運動で第2フレームに移動すると仮定して、補間フレームの画素を決定するものがある。このアルゴリズムでは、たとえば、補間フレームの対象画素を生成するための上記動きベクトルを特定し、その動きベクトルの始点および終点に対応する、第1フレーム内の画素および第2フレーム内の画素を、補間フレームの時間方向の位置に応じて加重平均した画素を、補間フレームの対象画素に割り当てる。   One of the interpolation frame generation algorithms using motion vectors is to specify a motion vector between a continuous first frame and a second frame in units of blocks or pixels, and the pixels in the first frame are generated by a constant linear motion. Some determine the pixels of an interpolated frame assuming they move to two frames. In this algorithm, for example, the motion vector for generating the target pixel of the interpolation frame is specified, and the pixel in the first frame and the pixel in the second frame corresponding to the start point and the end point of the motion vector are interpolated. The weighted average pixel according to the position in the time direction of the frame is assigned to the target pixel of the interpolation frame.

ここで、放送局から送信される映像には、画面内の左右の端の数画素に黒帯が含まれる場合がある。この黒帯領域の色は変化せず、その輪郭も明確であるため、補間フレームの生成処理によって黒帯領域にノイズが発生すると、ノイズが目立つおそれがある。そして、放送局側から黒帯を含む映像が送られてくるのか、黒帯を含まない映像が送られてくるのか、受信機側では不明である。さらに、受信機側ではどちらの映像が送られて来るのかを容易に判別することはできなかった。また、4:3の映像を16:9の画面に表示させる場合にも、画面内の左右に黒帯が表示され、同様の問題が発生するおそれがあった。   Here, the video transmitted from the broadcast station may include black bands in several pixels at the left and right ends in the screen. Since the color of the black belt region does not change and its outline is clear, if noise occurs in the black belt region by the interpolation frame generation process, the noise may be noticeable. Then, it is unclear on the receiver side whether the video including the black band is sent from the broadcasting station side or the video not including the black band is sent. Furthermore, the receiver side could not easily determine which video is being sent. In addition, when a 4: 3 video is displayed on a 16: 9 screen, black bands are displayed on the left and right sides of the screen, and the same problem may occur.

本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームの画質を向上させる技術を提供することにある。   The present invention has been made in view of such circumstances, and an object thereof is to provide a technique for improving the image quality of an interpolation frame.

上記課題を解決するために、本発明のある態様のフレームレート変換回路は、入力される動画像に含まれる第1フレームと第2フレームとの間に補間フレームを生成するフレームレート変換回路であって、第1フレームおよび第2フレームの少なくとも一方を参照して、それらフレーム間の補間フレームを生成する補間フレーム生成部と、第1フレームまたは第2フレームの縁部にある複数の画素の画素値が、予め定められた範囲内の画素値である場合に、余白領域が存在することを検出する余白領域検出部と、を備える。この補間フレーム生成部は、余白領域検出部により余白領域が存在することが検出された場合に、補間フレーム内の余白領域にある画素の位置に対応する、第1フレーム内の画素および第2フレーム内の画素の少なくとも一方を参照して、補間フレーム内の余白領域にある画素を生成する。   In order to solve the above problems, a frame rate conversion circuit according to an aspect of the present invention is a frame rate conversion circuit that generates an interpolation frame between a first frame and a second frame included in an input moving image. Then, referring to at least one of the first frame and the second frame, an interpolation frame generation unit that generates an interpolation frame between these frames, and pixel values of a plurality of pixels at the edge of the first frame or the second frame Includes a blank area detection unit that detects the presence of a blank area when the pixel value is within a predetermined range. The interpolation frame generation unit detects a pixel in the first frame and a second frame corresponding to the position of the pixel in the blank region in the interpolation frame when the blank region detection unit detects the presence of the blank region. A pixel in a blank area in the interpolation frame is generated with reference to at least one of the pixels in the interpolation frame.

本発明の別の態様もまた、フレームレート変換回路である。この装置は、入力される動画像に含まれる第1フレームと第2フレームとの間に補間フレームを生成するフレームレート変換回路であって、第1フレームと第2フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、動きベクトルをそれぞれ決定し、その動きベクトルの始点および終点に対応する、第1フレーム内の画素および第2フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する補間フレーム算出部と、を備える。この補間フレーム算出部は、動きベクトルの始点および終点に対応する第1フレーム内の画素および第2フレーム内の画素の少なくとも一方が、フレームの縁部に存在しうる余白領域を少なくとも含む端部領域に位置したとき、動きベクトルの始点および終点に対応する第1フレーム内の画素および第2フレーム内の画素のうちフレームの中央縦ラインに近い一方の画素を用いて、補間フレーム内の画素を生成する。   Another embodiment of the present invention is also a frame rate conversion circuit. This apparatus is a frame rate conversion circuit that generates an interpolation frame between a first frame and a second frame included in an input moving image, and is a block unit between the first frame and the second frame. Alternatively, a motion vector detection unit that detects a motion vector in units of pixels, and determines a motion vector, and at least one of a pixel in the first frame and a pixel in the second frame corresponding to the start point and end point of the motion vector is determined. And an interpolation frame calculation unit that generates each pixel in the interpolation frame. The interpolated frame calculation unit includes an end region in which at least one of a pixel in the first frame and a pixel in the second frame corresponding to a start point and an end point of a motion vector includes at least a blank region that may exist at an edge of the frame. When the pixel is located at the position, the pixel in the interpolation frame is generated using one of the pixels in the first frame and the pixels in the second frame corresponding to the start and end points of the motion vector, which is close to the center vertical line of the frame. To do.

本発明のさらに別の態様は、表示装置である。この装置は、フレームレート変換回路と、フレームレート変換回路により生成された補間フレームが挿入された画像を表示する表示部と、を備える。   Yet another embodiment of the present invention is a display device. This apparatus includes a frame rate conversion circuit and a display unit that displays an image in which an interpolation frame generated by the frame rate conversion circuit is inserted.

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, and the like are also effective as an aspect of the present invention.

本発明によれば、補間フレームの画質を向上させることができる。   According to the present invention, the image quality of an interpolation frame can be improved.

実施形態に係る表示装置の機能構成を示す図である。It is a figure which shows the function structure of the display apparatus which concerns on embodiment. 実施形態に係るフレームレート変換回路の構成を示す図である。It is a figure which shows the structure of the frame rate conversion circuit which concerns on embodiment. 補間フレームの生成原理(2倍速変換)を示す図である。It is a figure which shows the production | generation principle (double speed conversion) of an interpolation frame. 補間フレームの生成原理(4倍速変換)を示す図である。It is a figure which shows the production | generation principle (4 time speed conversion) of an interpolation frame. 黒帯領域を含む画面を示す図である。It is a figure which shows the screen containing a black belt area | region.

図1は、実施形態に係る表示装置500の機能構成を示す。表示装置500は、ワンセグ放送などのテレビ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、PDA、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。表示装置500は、テレビ放送を受信するものに限らず、動画像を表示再生する機器であってよい。   FIG. 1 shows a functional configuration of a display device 500 according to the embodiment. The display device 500 is a device equipped with a function of receiving a television broadcast such as a one-segment broadcast and displaying and reproducing it. For example, it may be a one-seg broadcast reception / playback machine, or may be a mobile phone, PDA, portable music player, electronic dictionary, car navigation device, or the like equipped with the function. The display device 500 is not limited to a device that receives a television broadcast, and may be a device that displays and reproduces a moving image.

表示装置500は、アンテナ200、画像処理回路300、フレームレート変換回路100および表示部400を備える。画像処理回路300は、受信部310、復号部320および映像出力部330を含む。受信部310は、アンテナ200を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部320へ出力する。   The display device 500 includes an antenna 200, an image processing circuit 300, a frame rate conversion circuit 100, and a display unit 400. The image processing circuit 300 includes a receiving unit 310, a decoding unit 320, and a video output unit 330. The receiving unit 310 receives the one-segment broadcast via the antenna 200, demodulates the signal of the selected channel, and outputs the demodulated signal to the decoding unit 320.

復号部320は、受信部310から入力される符号化データを復号する。ワンセグ放送画像の符号化には、AVC/H.264規格が採用されている。復号部320は、復号したフレームを映像出力部330に出力する。なお、復号されたフレームが映像出力部330に入力される前に、スケーラ(不図示)による解像度変換が施される。   The decoding unit 320 decodes the encoded data input from the receiving unit 310. For encoding one-segment broadcasting images, AVC / H. H.264 standard is adopted. The decoding unit 320 outputs the decoded frame to the video output unit 330. Note that resolution conversion by a scaler (not shown) is performed before the decoded frame is input to the video output unit 330.

映像出力部330は、復号部320にて復号された映像を、表示部400にて表示可能な形式で出力する。たとえば、15Hzの動画像を表示部400にて表示可能な60Hzの動画像に変換する。   The video output unit 330 outputs the video decoded by the decoding unit 320 in a format that can be displayed on the display unit 400. For example, a 15 Hz moving image is converted into a 60 Hz moving image that can be displayed on the display unit 400.

フレームレート変換回路100は、映像出力部330から受けとった動画像をもとに2倍速変換または4倍速変換をして、変換した動画像を出力する。具体的には、動画像に含まれる、連続する二枚の原フレーム間の補間フレームを補間フレーム生成部10により生成し、それら二枚の原フレーム間に挿入して出力する。具体的な変換方法については後述する。表示部400は、フレームレート変換回路100により倍速変換された動画像を表示する。   The frame rate conversion circuit 100 performs double speed conversion or quadruple speed conversion based on the moving picture received from the video output unit 330 and outputs the converted moving picture. Specifically, an interpolation frame between two continuous original frames included in the moving image is generated by the interpolation frame generation unit 10, inserted between the two original frames, and output. A specific conversion method will be described later. The display unit 400 displays the moving image that has been double-speed converted by the frame rate conversion circuit 100.

図2は、実施形態に係るフレームレート変換回路100の構成を示す図である。フレームレート変換回路100は、入力される動画像に含まれる第1フレームと第2フレームとの間の補間フレームを生成し、補間フレームを加えた動画像を出力する。たとえば、動画像に含まれる、隣接する二枚のフレーム間の補間フレームを生成する。   FIG. 2 is a diagram illustrating a configuration of the frame rate conversion circuit 100 according to the embodiment. The frame rate conversion circuit 100 generates an interpolation frame between the first frame and the second frame included in the input moving image, and outputs the moving image with the interpolation frame added. For example, an interpolation frame between two adjacent frames included in the moving image is generated.

当該フレームレート変換回路100は、入力部5、補間フレーム生成部10、余白領域検出部20、フレーム記憶部30、および出力部50を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。   The frame rate conversion circuit 100 includes an input unit 5, an interpolation frame generation unit 10, a blank area detection unit 20, a frame storage unit 30, and an output unit 50. These configurations can be realized by an arbitrary processor, memory, or other LSI in terms of hardware, and are realized by a program loaded in the memory in terms of software, but here, functions realized by their cooperation. Draw a block. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

入力部5は画像処理回路300から出力された動画像をフレーム記憶部30に書き込むとともに、余白領域検出部20に出力する。フレーム記憶部30は、入力部5から出力された動画像に含まれる原フレーム、および補間フレーム生成部10により生成される補間フレームを一時記憶する。   The input unit 5 writes the moving image output from the image processing circuit 300 to the frame storage unit 30 and outputs it to the blank area detection unit 20. The frame storage unit 30 temporarily stores the original frame included in the moving image output from the input unit 5 and the interpolation frame generated by the interpolation frame generation unit 10.

補間フレーム生成部10は、動画像に含まれる第1フレームと第2フレームとの間の補間フレームを生成する。補間フレーム生成部10は、基本的に、第1フレームと第2フレームの両方を参照して、それらフレーム間の補間フレームを生成し、例外的に、第1フレームと第2フレームの一方を参照して、それらフレーム間の補間フレームを生成する。以下、さらに具体的に説明する。   The interpolation frame generation unit 10 generates an interpolation frame between the first frame and the second frame included in the moving image. The interpolation frame generation unit 10 basically refers to both the first frame and the second frame, generates an interpolation frame between these frames, and exceptionally refers to one of the first frame and the second frame. Then, an interpolated frame between these frames is generated. More specific description will be given below.

補間フレーム生成部10は、動きベクトル検出部12および補間フレーム算出部14を備える。動きベクトル検出部12は、第1フレームと第2フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する。たとえば、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。   The interpolation frame generation unit 10 includes a motion vector detection unit 12 and an interpolation frame calculation unit 14. The motion vector detection unit 12 detects a motion vector in block units or pixel units between the first frame and the second frame. For example, pixel-by-pixel motion vectors are detected by two-stage block matching.

当該二段階のブロックマッチングの第一段階では、第1フレームを複数のブロック(たとえば、8×8または16×16のマクロブロック)に分割して、第2フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。   In the first stage of the two-stage block matching, the first frame is divided into a plurality of blocks (for example, 8 × 8 or 16 × 16 macroblocks), and is matched with the respective blocks in the second frame or Search for the block with the smallest error.

たとえば、第1フレーム内の対象ブロックと第2フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、第2フレーム内の最適予測ブロックとする。また、第1フレーム内の対象ブロックと第2フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、第2フレーム内の最適予測ブロックとしてもよい。そして、第1フレーム内の各ブロックと、第2フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。   For example, between the target block in the first frame and the candidate block in the second frame, a difference absolute value sum or a sum of squared differences of pixels at corresponding positions included in both is obtained, and a candidate block having the smallest value is obtained. The optimal prediction block in the second frame. In addition, the candidate block having the largest number of pixels corresponding to the corresponding positions included in both the target block in the first frame and the candidate block in the second frame is determined as the optimum in the second frame. It is good also as a prediction block. Then, a motion vector between each block in the first frame and each optimum prediction block in the second frame is calculated. Thereby, the motion vector of a block unit can be detected.

上記二段階のブロックマッチングの第二段階では、第1フレーム内の各ブロックと、第2フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、第1フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、第2フレーム内において探索する。これにより、第1フレームと第2フレームとの間で、画素単位の動きベクトルを検出することができる。   In the second stage of the two-stage block matching, motion vectors of pixels whose pixel values do not substantially match between each block in the first frame and each optimum prediction block in the second frame are obtained. Ask. For example, by using a method similar to the above-described method, a region having the same or minimum error as the pixel region in which the pixel value in each block in the first frame does not substantially match is determined in the second frame. Explore. Thereby, the motion vector of a pixel unit can be detected between the first frame and the second frame.

補間フレーム算出部14は、補間フレーム内の各画素を生成するための上記動きベクトルをそれぞれ決定し、その動きベクトルの始点および終点に対応する、第1フレーム内の画素および第2フレーム内の画素の少なくとも一方を参照して、補間フレーム内の各画素を生成する。たとえば、両方の画素を合成して生成してもよいし、いずれか一方の画素を複製して生成してもよい。以下、図3、4を参照しながら両方の画素を合成して補間フレーム内の画素を生成する方法について説明する。   The interpolation frame calculation unit 14 determines the motion vector for generating each pixel in the interpolation frame, and the pixel in the first frame and the pixel in the second frame corresponding to the start point and the end point of the motion vector. Each pixel in the interpolation frame is generated with reference to at least one of the above. For example, both pixels may be combined and generated, or one of the pixels may be copied and generated. In the following, a method for generating a pixel in an interpolation frame by combining both pixels will be described with reference to FIGS.

図3は、補間フレームの生成原理(2倍速変換)を示す図である。2倍速変換では、第1原フレームFo1と第2原フレームFo2との間に、一枚の補間フレームFiを挿入する必要がある。補間フレームFiは、第1原フレームFo1と第2原フレームFo2との時間間隔を二等分した時間位置に挿入される。   FIG. 3 is a diagram showing the principle of interpolation frame generation (double speed conversion). In the double speed conversion, it is necessary to insert one interpolation frame Fi between the first original frame Fo1 and the second original frame Fo2. The interpolation frame Fi is inserted at a time position obtained by dividing the time interval between the first original frame Fo1 and the second original frame Fo2.

補間フレームFiの画素Piは、その画素Piを通過する動きベクトルmvの始点および終点に対応する、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームFiの画素Piの画素値を算出してもよい。   The pixel Pi of the interpolation frame Fi is generated by combining the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2 corresponding to the start point and end point of the motion vector mv passing through the pixel Pi. . For example, the pixel values of both pixels may be averaged to calculate the pixel value of the pixel Pi in the interpolation frame Fi.

ここで、補間フレームFiの画素Piを通過する動きベクトルmvを常に正確に求めることができれば、その動きベクトルmvの始点に対応する第1原フレームFo1の画素Po1を、そのまま補間フレームFiの画素Piに割り当ててもよい。しかしながら、動きベクトルmvが誤検出された場合、片方の画素Po1しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2の両方を参照する。   Here, if the motion vector mv passing through the pixel Pi of the interpolation frame Fi can always be accurately obtained, the pixel Po1 of the first original frame Fo1 corresponding to the start point of the motion vector mv is directly used as the pixel Pi of the interpolation frame Fi. May be assigned. However, when the motion vector mv is erroneously detected, only one pixel Po1 is referred to, so that large noise is likely to occur. Therefore, in the present embodiment, both the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2 are referred to.

なお、補間フレームFiの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームFi内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームFiの対象画素と同じ位置の、第1原フレームFo1の画素および第2原フレームFo2の画素を合成した画素を当該対象画素に割り当てる。   If there is no motion vector that passes through the target pixel of the interpolation frame Fi, for example, the following processing is performed. That is, a pixel spatially interpolated from surrounding pixels in the interpolation frame Fi is assigned to the target pixel, or a pixel of the first original frame Fo1 and a pixel of the second original frame Fo2 at the same position as the target pixel of the interpolation frame Fi Is assigned to the target pixel.

図4は、補間フレームの生成原理(4倍速変換)を示す図である。4倍速変換では、第1原フレームFo1と第2原フレームFo2との間に、三枚の補間フレーム(第1補間フレームFi1、第2補間フレームFi2および第3補間フレームFi3)を挿入する必要がある。第1補間フレームFi1、第2補間フレームFi2および第3補間フレームFi3は、第1原フレームFo1と第2原フレームFo2との時間間隔を四等分した時間位置にそれぞれ挿入される。   FIG. 4 is a diagram showing the principle of interpolation frame generation (quadruple speed conversion). In the quadruple speed conversion, it is necessary to insert three interpolation frames (a first interpolation frame Fi1, a second interpolation frame Fi2, and a third interpolation frame Fi3) between the first original frame Fo1 and the second original frame Fo2. is there. The first interpolation frame Fi1, the second interpolation frame Fi2, and the third interpolation frame Fi3 are respectively inserted at time positions obtained by dividing the time interval between the first original frame Fo1 and the second original frame Fo2.

第1補間フレームFi1の画素Pi1は、その画素Pi1を通過する動きベクトルmvの始点および終点に対応する、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2を合成することにより生成される。たとえば、両者の画素値を加重平均して、第1補間フレームFi1の画素Pi1の画素値を算出してもよい。すなわち、前者の画素値を3/4し、後者の画素値を1/4し、両者を加算する。   The pixel Pi1 of the first interpolation frame Fi1 is generated by combining the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2 corresponding to the start point and end point of the motion vector mv passing through the pixel Pi1. Is done. For example, the pixel value of the pixel Pi1 of the first interpolation frame Fi1 may be calculated by weighted averaging of both pixel values. That is, the former pixel value is 3/4, the latter pixel value is 1/4, and both are added.

第2補間フレームFi2の画素Pi2は、図3に示した補間フレームFiの画素Piと同様に生成することができる。第3補間フレームFi3の画素Pi3も、第1原フレームFo1の画素Po1および第2原フレームFo2の画素Po2を合成することにより生成される。たとえば、両者の画素値を加重平均して、第3補間フレームFi3の画素Pi3の画素値を算出してもよい。すなわち、前者の画素値を1/4し、後者の画素値を3/4し、両者を加算する。   The pixel Pi2 of the second interpolation frame Fi2 can be generated in the same manner as the pixel Pi of the interpolation frame Fi shown in FIG. The pixel Pi3 of the third interpolation frame Fi3 is also generated by combining the pixel Po1 of the first original frame Fo1 and the pixel Po2 of the second original frame Fo2. For example, the pixel value of the pixel Pi3 of the third interpolation frame Fi3 may be calculated by weighted averaging of both pixel values. That is, the former pixel value is ¼, the latter pixel value is ¾, and both are added.

図2に戻り、出力部50は、フレーム記憶部30から、補間フレームを含む動画像を構成するフレームを表示順にしてがって読み出し、外部に出力する。   Returning to FIG. 2, the output unit 50 reads out the frames constituting the moving image including the interpolation frame from the frame storage unit 30 in the display order, and outputs them to the outside.

ワンセグ放送において放送局が黒帯を付加する場合、4画素〜6画素の横幅の黒色の画素列がフレームの左右端にそれぞれ付加されることがある。この余白領域は静止したままであって、色は変化せず、輪郭も明確であるため、補間フレームの余白領域にノイズが発生するとノイズが目立つおそれがある。黒帯は、アスペクト比が異なる映像の互換性をとるために放送局側で付加されることがあり、受信機側では受信した動画像に黒帯が付加されているかどうか不明である。さらに、余白領域の大きさは、放送局によって大きさが異なることがあり、受信機側では余白領域の大きさも不明である。   When a broadcasting station adds a black belt in one-segment broadcasting, a black pixel row having a width of 4 to 6 pixels may be added to the left and right ends of the frame. Since the margin area remains stationary, the color does not change, and the outline is clear, noise may be noticeable if noise occurs in the margin area of the interpolation frame. The black band is sometimes added on the broadcast station side in order to ensure compatibility of videos with different aspect ratios, and it is unclear whether the black band is added to the received moving image on the receiver side. Further, the size of the blank area may vary depending on the broadcasting station, and the size of the blank area is unknown on the receiver side.

動きベクトルによっては補間フレーム内の余白領域内の画素が有効映像領域内の画素を参照して生成され、余白領域に有効映像領域の映像がノイズとして表示されることがある。また逆に、有効映像領域内の画素が余白領域内の画素を参照して生成され、有効映像領域の映像に余白領域内の画素がノイズとして表示されることもある。   Depending on the motion vector, the pixels in the blank area in the interpolation frame are generated with reference to the pixels in the effective video area, and the video in the effective video area may be displayed as noise in the blank area. Conversely, the pixels in the effective video area are generated by referring to the pixels in the blank area, and the pixels in the blank area may be displayed as noise in the video in the effective video area.

そこで、実施形態に係る余白領域検出部20は、第1フレームまたは第2フレームに余白領域が存在するかどうか検出する。そして、補間フレーム算出部14は余白領域が存在することを検出した場合は、動きベクトルをゼロにするなどして補間フレーム内の余白領域を生成し、補間の際に余白領域にノイズが入ることを抑える。この補間方法を具体的に図5を参照して説明する。   Therefore, the blank area detection unit 20 according to the embodiment detects whether a blank area exists in the first frame or the second frame. When the interpolation frame calculation unit 14 detects the presence of a blank area, it generates a blank area in the interpolation frame by setting the motion vector to zero or the like, and noise enters the blank area during interpolation. Suppress. This interpolation method will be specifically described with reference to FIG.

図5は、余白領域を含む画面33を示す。図5に示す画面33は黒帯を含む画面であり、当該画面33には、映像が表示される有効映像領域38、余白領域である左端側の黒帯領域34aおよび右端側の黒帯領域34b(とくに区別しない場合は「黒帯領域34」という)が表示されている。   FIG. 5 shows a screen 33 including a margin area. A screen 33 shown in FIG. 5 is a screen including a black band. The screen 33 includes an effective video area 38 on which an image is displayed, a black band area 34a on the left end side and a black band area 34b on the right end side which are blank areas. (If not particularly distinguished, it is referred to as “black belt region 34”) is displayed.

余白領域検出部20は、第1フレームおよび第2フレームの縁部にある複数の画素の画素値が、予め定められた設定範囲内の画素値である場合に、黒帯領域34が存在することを検出する。これにより第1フレームおよび第2フレームの縁部に黒帯領域34があるかどうか検出することができる。なお、余白領域検出部20が黒帯領域34が存在することを検出しても、実際の黒帯領域34の大きさは不明である場合がある。つまり、余白領域検出部20は、予め想定された範囲に黒帯領域34が存在することを検出する。   The blank area detection unit 20 indicates that the black belt area 34 exists when the pixel values of a plurality of pixels at the edge of the first frame and the second frame are pixel values within a predetermined setting range. Is detected. Thereby, it is possible to detect whether or not the black belt region 34 exists at the edge of the first frame and the second frame. Even if the blank area detection unit 20 detects that the black band area 34 exists, the actual size of the black band area 34 may be unknown. That is, the blank area detection unit 20 detects that the black belt area 34 exists in a range assumed in advance.

ここで放送局で付加された黒帯領域34の画素値は必ずしもRGB(0,0,0)ではないため、放送局で付加された黒帯領域34の画素値が符号化および復号化した後にとりうる範囲が設定範囲として予め定められる。この設定範囲は、誤検出が少なくなるよう実験により定められる。   Here, since the pixel value of the black band area 34 added by the broadcasting station is not necessarily RGB (0, 0, 0), the pixel value of the black band area 34 added by the broadcasting station is encoded and decoded. A possible range is predetermined as a setting range. This setting range is determined by experiments so that erroneous detection is reduced.

フレームの縁部は、たとえば図5に表示する右縁部36bおよび左縁部36aである。右縁部36bは、画面33の右縁から点線37bまでの範囲であって、ワンセグ放送において画面33の右縁から点線37bまでの幅は、3画素程度とすることができる。左縁部36aも同様に、画面33の左縁から点線37aまでの幅は、3画素程度とすることができる。   The edges of the frame are, for example, a right edge 36b and a left edge 36a displayed in FIG. The right edge portion 36b is a range from the right edge of the screen 33 to the dotted line 37b, and the width from the right edge of the screen 33 to the dotted line 37b in one-segment broadcasting can be about 3 pixels. Similarly, the width of the left edge portion 36a from the left edge of the screen 33 to the dotted line 37a can be about 3 pixels.

余白領域検出部20は、第1フレームおよび第2フレームの左右の縁部にある縦方向の画素列35の画素値が、予め定められた範囲内の画素値である場合に、黒帯領域34が存在することを検出する。検出のターゲットとされる画素列35の位置情報はレジスタに保持されており、余白領域検出部20はその位置情報にもとづいて検出のターゲットとなる画素列35の画素値をモニタする。画素列35に含まれる全画素の画素値を用いて黒帯領域34の検出を行うことで、黒帯領域34の誤検出を減らすことができる。また、黒帯領域34の検出において、検出のターゲットとなる画素を左右の一列ずつに限定することで、処理負荷を軽減することができる。   When the pixel values of the vertical pixel columns 35 at the left and right edges of the first frame and the second frame are pixel values within a predetermined range, the blank area detection unit 20 Detect that exists. The position information of the pixel row 35 to be detected is held in the register, and the blank area detection unit 20 monitors the pixel value of the pixel row 35 to be detected based on the position information. By detecting the black band region 34 using the pixel values of all the pixels included in the pixel row 35, the erroneous detection of the black band region 34 can be reduced. Further, in the detection of the black belt region 34, the processing load can be reduced by limiting the detection target pixels to the left and right columns.

なお、黒帯領域34のうち有効映像領域38との境界に位置する画素は、符号化および復号化等の処理によって黒色から変化しているおそれがあり、予め定められた設定範囲内の画素値ではない可能性がある。そこで誤検出の頻度を低減するため、余白領域検出部20は点線37よりも外側に位置する縦方向の画素列を検出のターゲットとすることが好ましく、画面33内の最も外側の右端および左端に位置する縦方向の画素列を検出のターゲットとすることがより好ましい。   Note that a pixel located at the boundary with the effective image area 38 in the black belt area 34 may be changed from black by processing such as encoding and decoding, and a pixel value within a predetermined setting range. It may not be. Therefore, in order to reduce the frequency of erroneous detection, the blank area detection unit 20 preferably uses a vertical pixel row located outside the dotted line 37 as a detection target, and is positioned at the outermost right end and left end in the screen 33. It is more preferable that the vertical pixel row located as a detection target.

図2に戻って、余白領域検出部20は動画像から余白領域が存在することを検出すると、余白領域が存在することを示す情報を補間フレーム算出部14に出力する。そして補間フレーム算出部14は、補間フレーム内の余白領域にある画素を生成するための動きベクトルをゼロにして補間フレーム内の余白領域にある画素を生成する。   Returning to FIG. 2, when the blank area detection unit 20 detects that a blank area exists from the moving image, the blank area detection unit 20 outputs information indicating that the blank area exists to the interpolation frame calculation unit 14. Then, the interpolation frame calculation unit 14 sets the motion vector for generating pixels in the blank area in the interpolation frame to zero, and generates pixels in the blank area in the interpolation frame.

図5において、ケースaは、補間フレーム内の対象画素Piaが右縁部36bに存在し、第1フレームの画素Po1aが右縁部36bの外側に存在し第2フレームの画素Po2aが右縁部36bに存在するケースである。この場合、補間フレーム算出部14は、補間フレーム内の画素Piaを生成するための動きベクトルをゼロにして、第1フレームおよび第2フレームの画素Piaに対応した画素値を用いて補間フレーム内の画素Piaを生成する。なお、画素Piaは第1フレームまたは第2フレームの同じ位置の画素を複製してもよい。   In FIG. 5, the case a is that the target pixel Pia in the interpolation frame is present at the right edge 36b, the pixel Po1a of the first frame is outside the right edge 36b, and the pixel Po2a of the second frame is the right edge. This is the case that exists in 36b. In this case, the interpolation frame calculation unit 14 sets the motion vector for generating the pixel Pia in the interpolation frame to zero, and uses the pixel values corresponding to the pixels Pia in the first frame and the second frame, A pixel Pia is generated. Note that the pixel Pia may duplicate a pixel at the same position in the first frame or the second frame.

補間フレーム算出部14は、余白領域検出部20から余白領域が存在することを示す情報を受け取ると、補間フレームを生成する前に、補間フレーム内の所定の範囲を余白領域として設定する。所定の範囲はレジスタに設定されており、補間フレーム算出部14はレジスタから所定の範囲を読み出して余白領域として設定する。   When the interpolation frame calculation unit 14 receives information indicating that a blank area exists from the blank region detection unit 20, the interpolation frame calculation unit 14 sets a predetermined range in the interpolation frame as a blank region before generating the interpolation frame. The predetermined range is set in the register, and the interpolation frame calculation unit 14 reads the predetermined range from the register and sets it as a blank area.

この所定の範囲は、ワンセグ放送において放送局が4画素〜6画素の横幅の余白領域を付加する場合、予想される余白領域の大きさにもとづいて定められる。なお、余白領域は画像処理回路300のスケーラにより大きさが変化することがあるため、設定される余白領域の所定の範囲もスケーラの調整に応じて変化させてよい。   This predetermined range is determined based on the expected size of the margin area when the broadcasting station adds a margin area having a width of 4 to 6 pixels in one-segment broadcasting. Since the size of the margin area may change depending on the scaler of the image processing circuit 300, the predetermined range of the margin area to be set may be changed according to the adjustment of the scaler.

補間フレーム算出部14は、余白領域の設定後、補間フレーム内の余白領域にある画素を生成するための動きベクトルをゼロにして、補間フレーム内の余白領域にある画素を生成する。たとえば、両方の画素を合成(たとえば、平均)して生成してもよいし、いずれか一方の画素を複製して生成してもよい。   After setting the blank area, the interpolation frame calculation unit 14 sets the motion vector for generating pixels in the blank area in the interpolation frame to zero, and generates pixels in the blank area in the interpolation frame. For example, both pixels may be combined (for example, averaged) or may be generated by duplicating one of the pixels.

補間フレーム算出部14は、余白領域が存在しないと検出した場合には、余白領域を設定せず、第1フレーム内の全ての画素および第2フレーム内の全ての画素を参照して補間フレームを生成する。これにより、動画像が余白領域を含まないフル映像である場合に、第1フレームおよび第2フレームの全体を参照して補間フレームを生成することができ、画質を向上することができる。   When the interpolation frame calculation unit 14 detects that there is no blank area, the interpolation frame calculation unit 14 does not set the blank area and refers to all the pixels in the first frame and all the pixels in the second frame. Generate. Accordingly, when the moving image is a full video image that does not include a blank area, an interpolation frame can be generated with reference to the entire first frame and the second frame, and the image quality can be improved.

以上のように、フレームレート変換回路100は、動画像から余白領域の有無を検出し、補間フレーム内の余白領域を動きベクトルをゼロにして補間して生成することで、補間フレームの余白領域にノイズが入る可能性を低減でき、補間フレームの画質を向上することができる。具体的には、フレームレート変換回路100は、余白領域内の画素が有効映像領域内の画素を参照して生成され、余白領域に有効映像領域の映像がノイズとして表示される可能性を低減できる。   As described above, the frame rate conversion circuit 100 detects the presence or absence of a blank area from a moving image, and generates a blank area in an interpolation frame by interpolating with a motion vector set to zero, thereby generating a blank area in the interpolation frame. The possibility of entering noise can be reduced, and the image quality of the interpolation frame can be improved. Specifically, the frame rate conversion circuit 100 can reduce the possibility that the pixels in the blank area are generated with reference to the pixels in the effective video area, and the video in the effective video area is displayed as noise in the blank area. .

次に、補間フレーム算出部14は、動きベクトルによって有効映像領域内の画素が余白領域内の画素を参照して生成され、有効映像領域の映像に余白領域内の画素がノイズとして表示される可能性を低減するように補間する。この補間方法について具体的に図5を参照して説明する。   Next, the interpolation frame calculation unit 14 may generate the pixels in the effective video area by referring to the pixels in the blank area by the motion vector, and display the pixels in the blank area as noise in the video in the effective video area. Interpolate to reduce performance. This interpolation method will be specifically described with reference to FIG.

図5には、左端側の黒帯領域34aを含む左端側の端部領域40a(左端から2点鎖線42aまでの領域)と、右端側の黒帯領域34bを含む右端側の端部領域40b(右端から2点鎖線42bまでの領域)と、中央縦ライン44とを示す。左端側の端部領域40aおよび右端側の端部領域40bをとくに区別しない場合は「端部領域40」という。   FIG. 5 shows a left end side end region 40a including a left end side black belt region 34a (a region from the left end to the two-dot chain line 42a) and a right end side end region 40b including a right end side black belt region 34b. (A region from the right end to the two-dot chain line 42b) and the central vertical line 44 are shown. When the end region 40a on the left end side and the end region 40b on the right end side are not particularly distinguished, they are referred to as “end regions 40”.

補間フレーム算出部14は、動きベクトルの始点および終点に対応する第1フレーム内の画素および第2フレーム内の画素のいずれか一方が、黒帯領域34を少なくとも含む端部領域40に位置したとき、動きベクトルの始点および終点に対応する第1フレーム内の画素および第2フレーム内の画素のうちフレームの中央縦ライン44に近い画素を複製して、補間フレーム内の画素を生成する。このように補間フレームを生成する際に参照しようとする画素の少なくとも一方が端部領域40内に位置する場合、その画素が黒帯領域34に位置する可能性があるため、フレームのより内側に位置する画素のみを参照して補間フレーム内の画素を生成する。これにより、動きベクトルによって有効映像領域38内の画素が黒帯領域34内の画素を参照して生成され、有効映像領域38の映像に黒帯領域34内の画素がノイズとして表示される可能性を低減でき、画質を向上できる。   When the interpolation frame calculation unit 14 is located in the end region 40 including at least the black belt region 34, one of the pixel in the first frame and the pixel in the second frame corresponding to the start point and end point of the motion vector The pixels in the interpolation frame are generated by duplicating the pixels close to the central vertical line 44 of the frame among the pixels in the first frame and the pixels in the second frame corresponding to the start and end points of the motion vector. Thus, when at least one of the pixels to be referred to when generating the interpolation frame is located in the end region 40, the pixel may be located in the black belt region 34. A pixel in the interpolation frame is generated with reference to only the pixel located. As a result, the pixels in the effective image area 38 are generated by referring to the pixels in the black band area 34 according to the motion vector, and the pixels in the black band area 34 may be displayed as noise in the image of the effective image area 38. Can be reduced and the image quality can be improved.

端部領域40は、黒帯領域34を含み、予想される黒帯領域34の横幅より所定の画素数大きい範囲に設定される。補間フレーム算出部14は、補間フレームを生成する前に、予め定められた範囲を端部領域40として設定する。端部領域40として設定される範囲は、レジスタに予め設定される。端部領域40として設定される範囲は、たとえばワンセグ放送において黒帯領域34が4画素〜6画素の横幅が予想される場合に、フレームの左右端から10画素〜数10画素の横幅に設定される。図5には、この補間方法の2つのケースb,cを示す。   The end region 40 includes a black belt region 34 and is set to a range larger by a predetermined number of pixels than the expected horizontal width of the black belt region 34. The interpolation frame calculation unit 14 sets a predetermined range as the end region 40 before generating the interpolation frame. The range set as the end region 40 is preset in the register. The range set as the end area 40 is set to a horizontal width of 10 pixels to several tens of pixels from the left and right ends of the frame when the horizontal width of the black belt area 34 is expected to be 4 to 6 pixels in one-segment broadcasting, for example. The FIG. 5 shows two cases b and c of this interpolation method.

ケースbは、補間フレーム内の対象画素Pibが端部領域40外に存在し、第1フレーム内の画素Po1bおよび第2フレーム内の画素Po2bの一方が端部領域40内に存在し、他方が端部領域40外に存在するケースである。この場合、補間フレーム算出部14は、補間フレーム内の画素Pibを生成するための動きベクトルの始点および終点に対応する、第1フレーム内の画素Po1bおよび第2フレーム内の画素Po2bの一方が端部領域40内に存在する場合、中央縦ライン44に近い画素を複製して、補間フレーム内の画素Pibを生成する。   In the case b, the target pixel Pib in the interpolation frame exists outside the end region 40, one of the pixel Po1b in the first frame and the pixel Po2b in the second frame exists in the end region 40, and the other This is a case that exists outside the end region 40. In this case, the interpolation frame calculation unit 14 determines whether one of the pixel Po1b in the first frame and the pixel Po2b in the second frame corresponding to the start point and the end point of the motion vector for generating the pixel Pib in the interpolation frame is the end. When it exists in the partial area 40, the pixel near the center vertical line 44 is duplicated to generate the pixel Pib in the interpolation frame.

ケースcは、補間フレーム内の対象画素Pic、第1フレーム内の画素Po1cおよび第2フレーム内の画素Po2cがいずれも端部領域40内であって、右縁部36bの外側に存在するケースである。この場合、補間フレーム算出部14は、補間フレーム内の画素Picを生成するための動きベクトルの始点および終点に対応する、第1フレーム内の画素Po1cおよび第2フレーム内の画素Po2cの一方が端部領域40内に存在する場合、中央縦ライン44に近い画素を複製して、補間フレーム内の画素Picを生成する。   Case c is a case where the target pixel Pic in the interpolation frame, the pixel Po1c in the first frame, and the pixel Po2c in the second frame are all within the end region 40 and outside the right edge portion 36b. is there. In this case, the interpolation frame calculation unit 14 determines whether one of the pixel Po1c in the first frame and the pixel Po2c in the second frame corresponding to the start point and the end point of the motion vector for generating the pixel Pic in the interpolation frame is the end. When it exists in the partial area 40, a pixel near the central vertical line 44 is duplicated to generate a pixel Pic in the interpolation frame.

このように、動きベクトルの始点および終点に対応する画素がいずれも端部領域40に位置する場合であっても、一方の画素を参照して補間フレーム内の画素を生成することができ、両方とも参照する場合と比べて画質が向上する。   In this way, even if the pixels corresponding to the start point and the end point of the motion vector are both located in the end region 40, the pixel in the interpolation frame can be generated with reference to one pixel, The image quality is improved as compared with the case where both are referred to.

なお、補間フレーム算出部14は、余白領域検出部20により余白領域が存在することが検出された場合に図5で説明したケースa〜cの補間方法を実行してよい。これらの3つの補間方法を組み合わせることで、余白領域の画素の一部が有効映像領域に表示される場合に加えて、有効映像領域の画素の一部が余白領域に表示される場合にも有効となり、余白領域にもとづいてノイズが発生する可能性を極めて低くすることができる。   Note that the interpolation frame calculation unit 14 may execute the interpolation methods of cases a to c described with reference to FIG. 5 when the blank region detection unit 20 detects the presence of the blank region. By combining these three interpolation methods, in addition to the case where some of the pixels in the margin area are displayed in the effective image area, this is also effective when some of the pixels in the effective image area are displayed in the margin area. Therefore, the possibility of noise generation based on the blank area can be extremely reduced.

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。   The present invention has been described based on some embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there.

たとえば、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。   For example, in the above embodiment, a method for detecting a pixel-based motion vector by two-stage block matching has been described. However, each block in an interpolation frame is detected using a block-based motion vector obtained by one block matching. A motion vector passing through the pixel may be obtained. Further, instead of block matching, a motion vector for each pixel may be detected using a gradient method.

また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係るフレームレート変換回路100を含むフレームレート変換回路100は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、15Hz未満の動画像のフレームレート変換にも適用可能である。   In the above embodiment, an example in which a one-segment broadcast moving image is converted at double speed has been described. However, the frame rate conversion circuit 100 including the frame rate conversion circuit 100 according to the present invention is not limited to the application. It can be applied to frame rate conversion of various moving images. In particular, it is effective for application to moving images with a low frame rate, such as moving images taken with a low-spec camera. For example, it can also be applied to frame rate conversion of moving images of less than 15 Hz.

5 入力部、 10 補間フレーム生成部、 12 動きベクトル検出部、 14 補間フレーム算出部、 20 余白領域検出部、 30 フレーム記憶部、 33 画面、 34 黒帯領域、38 有効映像領域、40 端部領域、50 出力部、 100 フレームレート変換回路、 200 アンテナ、 300 画像処理回路、 310 受信部、 320 復号部、 330 映像出力部、 400 表示部、 500 表示装置。   5 input section, 10 interpolation frame generation section, 12 motion vector detection section, 14 interpolation frame calculation section, 20 blank area detection section, 30 frame storage section, 33 screen, 34 black belt area, 38 effective video area, 40 edge area 50 output unit, 100 frame rate conversion circuit, 200 antenna, 300 image processing circuit, 310 reception unit, 320 decoding unit, 330 video output unit, 400 display unit, 500 display device.

Claims (6)

入力される動画像に含まれる第1フレームと第2フレームとの間に補間フレームを生成するフレームレート変換回路であって、
前記第1フレームおよび前記第2フレームの少なくとも一方を参照して、それらフレーム間の前記補間フレームを生成する補間フレーム生成部と、
前記第1フレームまたは前記第2フレームの縁部にある複数の画素の画素値が、予め定められた範囲内の画素値である場合に、余白領域が存在することを検出する余白領域検出部と、を備え、
前記補間フレーム生成部は、前記余白領域検出部により前記余白領域が存在することが検出された場合に、前記補間フレーム内の前記余白領域にある画素の位置に対応する、前記第1フレーム内の画素および前記第2フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の前記余白領域にある画素を生成することを特徴とするフレームレート変換回路。
A frame rate conversion circuit for generating an interpolation frame between a first frame and a second frame included in an input moving image,
An interpolation frame generation unit that generates at least one of the first frame and the second frame and generates the interpolation frame between the frames;
A blank area detection unit for detecting the presence of a blank area when pixel values of a plurality of pixels at an edge of the first frame or the second frame are pixel values within a predetermined range; With
The interpolation frame generation unit corresponds to a position of a pixel in the blank area in the interpolation frame when the blank area detection unit detects that the blank area exists. A frame rate conversion circuit, wherein a pixel in the blank area in the interpolation frame is generated with reference to at least one of the pixel and the pixel in the second frame.
前記余白領域検出部は、前記第1フレームまたは前記第2フレームの左右にある縦方向の画素列の画素値が、予め定められた範囲内の画素値である場合に、前記余白領域が存在することを検出することを特徴とする請求項1に記載のフレームレート変換回路。   The blank area detection unit includes the blank area when the pixel values of the vertical pixel columns on the left and right of the first frame or the second frame are pixel values within a predetermined range. The frame rate conversion circuit according to claim 1, wherein the frame rate conversion circuit is detected. 前記補間フレーム生成部は、前記余白領域検出部により前記余白領域が検出された場合に、前記補間フレームの前記余白領域にある画素を生成するための動きベクトルをゼロにして、前記補間フレームを生成することを特徴とする請求項2に記載のフレームレート変換回路。   The interpolation frame generation unit generates the interpolation frame by setting a motion vector for generating pixels in the blank area of the interpolation frame to zero when the blank area is detected by the blank area detection unit. The frame rate conversion circuit according to claim 2, wherein: 前記補間フレーム生成部は、
前記第1フレームと前記第2フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルの始点および終点に対応する、前記第1フレーム内の画素および前記第2フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を備え、
前記補間フレーム算出部は、前記余白領域検出部により前記余白領域が存在することが検出された場合に、前記動きベクトルの始点および終点に対応する前記第1フレーム内の画素および前記第2フレーム内の画素の少なくとも一方が、前記余白領域を少なくとも含む端部領域に位置したとき、前記動きベクトルの始点および終点に対応する前記第1フレーム内の画素および前記第2フレーム内の画素のうちフレームの中央縦ラインに近い一方の画素を用いて、前記補間フレーム内の前記余白領域以外の領域にある画素を生成することを特徴とする請求項1から3のいずれかに記載のフレームレート変換回路。
The interpolation frame generation unit
A motion vector detection unit that detects a motion vector in units of blocks or pixels between the first frame and the second frame;
An interpolation frame calculation unit that generates each pixel in the interpolation frame with reference to at least one of the pixel in the first frame and the pixel in the second frame corresponding to the start point and the end point of the motion vector; With
When the blank area detection unit detects the presence of the blank area, the interpolation frame calculation unit includes the pixels in the first frame and the second frame corresponding to the start and end points of the motion vector. When at least one of the pixels is located in the end region including at least the margin region, the pixel in the first frame and the pixel in the second frame corresponding to the start point and end point of the motion vector 4. The frame rate conversion circuit according to claim 1, wherein a pixel in an area other than the blank area in the interpolation frame is generated using one pixel close to a central vertical line. 5.
入力される動画像に含まれる第1フレームと第2フレームとの間に補間フレームを生成するフレームレート変換回路であって、
前記第1フレームと前記第2フレームとの間で、ブロック単位または画素単位の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルの始点および終点に対応する、前記第1フレーム内の画素および前記第2フレーム内の画素の少なくとも一方を参照して、前記補間フレーム内の各画素を生成する補間フレーム算出部と、を備え、
前記補間フレーム算出部は、前記動きベクトルの始点および終点に対応する前記第1フレーム内の画素および前記第2フレーム内の画素の少なくとも一方が、フレームの縁部に存在する端部領域に位置したとき、前記動きベクトルの始点および終点に対応する前記第1フレーム内の画素および前記第2フレーム内の画素のうちフレームの中央縦ラインに近い一方の画素を用いて、前記補間フレーム内の画素を生成することを特徴とするフレームレート変換回路。
A frame rate conversion circuit for generating an interpolation frame between a first frame and a second frame included in an input moving image,
A motion vector detection unit that detects a motion vector in units of blocks or pixels between the first frame and the second frame;
An interpolation frame calculation unit that generates each pixel in the interpolation frame with reference to at least one of the pixel in the first frame and the pixel in the second frame corresponding to the start point and the end point of the motion vector; With
In the interpolation frame calculation unit, at least one of a pixel in the first frame and a pixel in the second frame corresponding to a start point and an end point of the motion vector is located in an end region existing at an edge of the frame. A pixel in the interpolated frame using one of the pixels in the first frame and the pixel in the second frame corresponding to the start and end points of the motion vector, which is close to the central vertical line of the frame. A frame rate conversion circuit characterized by generating the frame rate.
請求項1から5のいずれかに記載のフレームレート変換回路と、
前記フレームレート変換回路により生成された補間フレームが挿入された画像を表示する表示部と、を備えることを特徴とする表示装置。
A frame rate conversion circuit according to any one of claims 1 to 5;
And a display unit that displays an image into which the interpolation frame generated by the frame rate conversion circuit is inserted.
JP2010077466A 2010-03-30 2010-03-30 Frame rate conversion circuit and display device mounting the same Pending JP2011211499A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010077466A JP2011211499A (en) 2010-03-30 2010-03-30 Frame rate conversion circuit and display device mounting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010077466A JP2011211499A (en) 2010-03-30 2010-03-30 Frame rate conversion circuit and display device mounting the same

Publications (1)

Publication Number Publication Date
JP2011211499A true JP2011211499A (en) 2011-10-20

Family

ID=44942093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010077466A Pending JP2011211499A (en) 2010-03-30 2010-03-30 Frame rate conversion circuit and display device mounting the same

Country Status (1)

Country Link
JP (1) JP2011211499A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017005601A (en) * 2015-06-15 2017-01-05 株式会社Jvcケンウッド Video signal processing apparatus and projection display apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017005601A (en) * 2015-06-15 2017-01-05 株式会社Jvcケンウッド Video signal processing apparatus and projection display apparatus

Similar Documents

Publication Publication Date Title
US8233087B2 (en) Systems and methods for deinterlacing high-definition and standard-definition video
US8144255B2 (en) Still subtitle detection apparatus and image processing method therefor
US9521358B2 (en) Content adaptive telecine and interlace reverser
US8629937B1 (en) Motion adaptive filter and deinterlacer and methods for use therewith
US7961253B2 (en) Method of processing fields of images and related device for data lines similarity detection
KR101145554B1 (en) Frame rate conversion device, and display device incorporating the same
US8615036B2 (en) Generating interpolated frame of video signal with enhancement filter
US8629939B1 (en) Television ticker overlay
US9275468B2 (en) Fallback detection in motion estimation
JP2013030862A (en) Image processing apparatus, image processing method, and image display apparatus
US20060221253A1 (en) Noise reducing apparatus and noise reducing method
KR101180606B1 (en) Frame interpolating apparatus
EP2063636B1 (en) Video processing device and video processing method
US8233085B1 (en) Method and system for interpolating a pixel value of a pixel located at an on-screen display
JP2011211499A (en) Frame rate conversion circuit and display device mounting the same
JP2011205519A (en) Frame rate conversion circuit
JP2011035612A (en) Frame rate converter and display device mounted by the same
US20110285819A1 (en) Video signal processing apparatus and video signal processing method
US20080317130A1 (en) Image converting apparatus
JP5701018B2 (en) Image decoding device
US8284313B2 (en) Apparatus and method for determining noise
JP2011035656A (en) Interpolation frame generator and display device mounted by the same
JP2011035595A (en) Interpolation frame generation device and display device mounted by the same

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130128