JP2006352798A - Video signal processing device - Google Patents
Video signal processing device Download PDFInfo
- Publication number
- JP2006352798A JP2006352798A JP2005179701A JP2005179701A JP2006352798A JP 2006352798 A JP2006352798 A JP 2006352798A JP 2005179701 A JP2005179701 A JP 2005179701A JP 2005179701 A JP2005179701 A JP 2005179701A JP 2006352798 A JP2006352798 A JP 2006352798A
- Authority
- JP
- Japan
- Prior art keywords
- memory
- image data
- block
- pixels
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Television Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【課題】 少ないメモリ容量で高性能な垂直方向の処理を行う。
【解決手段】 映像信号処理装置として、入力された画像データを格納するフレームメモリと、前記フレームメモリに格納された画像データを読み出す第1メモリ制御部と、前記第1メモリ制御部によって前記フレームメモリから読み出された水平N画素、垂直M画素のブロックの画像データを格納する第1ブロックメモリと、前記第1ブロックメモリに格納された画像データに対して、垂直方向に並んだK画素に基づいて画素を求める垂直方向処理を行う垂直処理部と、前記垂直処理部で求められた水平N画素、垂直L画素のブロックの画素データを格納する第2ブロックメモリと、前記第2ブロックメモリに格納された画像データを前記フレームメモリに書き込み、かつ、前記第2ブロックメモリから読み出されて前記フレームメモリに書き込まれた画像データを読み出す第2メモリ制御部とを備える。
【選択図】 図1
PROBLEM TO BE SOLVED: To perform high-performance vertical processing with a small memory capacity.
As a video signal processing device, a frame memory for storing input image data, a first memory control unit for reading image data stored in the frame memory, and the frame memory by the first memory control unit A first block memory for storing image data of a block of horizontal N pixels and vertical M pixels read out from the image data, and K pixels arranged in the vertical direction with respect to the image data stored in the first block memory. A vertical processing unit that performs vertical processing to obtain pixels, a second block memory that stores pixel data of blocks of horizontal N pixels and vertical L pixels obtained by the vertical processing unit, and storage in the second block memory The written image data is written to the frame memory, and read from the second block memory and written to the frame memory. And a second memory control unit that reads the input image data.
[Selection] Figure 1
Description
本発明は、テレビジョン信号のように走査順に入力される画像データに対して処理を行う映像信号処理装置に関する。 The present invention relates to a video signal processing apparatus that processes image data that is input in the scanning order, such as a television signal.
図9は、従来の映像信号処理装置の構成例を示すブロック図である。この映像信号処理装置は、下記特許文献1に開示されているものである。
FIG. 9 is a block diagram illustrating a configuration example of a conventional video signal processing apparatus. This video signal processing apparatus is disclosed in
図9を参照する。同期処理部92は、クロックCKに同期して、クロックCLK1,CLK2,CLK3を生成して出力している。水平フィルタ81には、画像データDIが走査順に入力されている。水平フィルタ81は、クロックCLK1に従って、画像データDIに水平方向のフィルタ処理を順次行い、その結果をラインメモリ82に格納させる。メモリ制御部84は、ラインメモリ82に蓄えられた画像データをクロックCLK2に従って読み出し、フィールドメモリ83に格納させる。
Please refer to FIG. The
メモリ制御部84は、フィールドメモリ83に格納された画像データを読み出して、ラインメモリ85に格納させ、その後、IP変換部86は、格納されたデータに、垂直方向のフィルタ処理、及びライン補間処理を施し、ラインメモリ87に格納させる。走査線変換部88は、ラインメモリ87に蓄えられた画像データに対して垂直方向の走査線数の変換処理を施す。その結果に対して、水平圧縮部89は、水平方向の画素数を変更する縮小処理を施し、ラインメモリ90に格納させる。水平拡大部91は、ラインメモリ90に蓄えられた画像データに、水平方向の画素数を変更する拡大処理を施し、得られた結果を画像データDPとして出力する。
しかしながら、図9のような構成では、IP変換、走査線変換等の垂直方向の処理を施す際に、処理に必要となるライン数分の画像データを格納するためのラインメモリが必要となる。例えば、画像データとしてNTSC方式の標準テレビジョン信号を処理する場合には、1ラインあたり、720×8×2(=11520)ビットのデータを格納するメモリが必要である。 However, in the configuration as shown in FIG. 9, when performing vertical processing such as IP conversion and scanning line conversion, a line memory is required to store image data for the number of lines necessary for the processing. For example, when an NTSC standard television signal is processed as image data, a memory for storing data of 720 × 8 × 2 (= 11520) bits per line is required.
高性能な垂直フィルタ処理を行うシステムでは、垂直方向に多数の画素を使用して演算を行うので、処理に使用するライン数が多い。すなわち、11520ビット×(処理に使用するライン数)の容量を有する大容量のラインメモリが必要であり、高価なシステムになってしまうという問題があった。 In a system that performs high-performance vertical filter processing, computation is performed using a large number of pixels in the vertical direction, and thus the number of lines used for processing is large. That is, a large-capacity line memory having a capacity of 11520 bits × (the number of lines used for processing) is required, resulting in an expensive system.
本発明は、少ないメモリ容量で高性能な垂直方向の処理を行う映像信号処理装置を提供することを目的とする。 It is an object of the present invention to provide a video signal processing apparatus that performs high-performance vertical processing with a small memory capacity.
本発明は、映像信号処理装置として、入力された画像データに対して複数画素を用いた水平方向のフィルタ処理を行う水平フィルタと、前記水平フィルタの処理結果を第1のクロックに従って格納する第1のバッファメモリと、前記画像データを格納するフレームメモリと、前記第1のクロックよりも周波数が高い第2のクロックに従って前記第1のバッファメモリに格納された画像データを前記フレームメモリに格納させ、かつ、前記フレームメモリに格納された画像データを、前記第2のクロックに従って読み出す第1メモリ制御部と、前記第1メモリ制御部によって前記フレームメモリから読み出された水平N画素、垂直M画素(N,Mは2以上の整数)のブロックの画像データを、前記第2のクロックに従って格納する第1ブロックメモリと、前記第1ブロックメモリに格納された画像データに対して、垂直方向に並んだK画素(Kは2以上の整数)に基づいて画素を求める垂直方向処理を行う垂直処理部と、前記垂直処理部で求められた水平N画素、垂直L画素(Lは、M及びKと所定の関係を有する2以上の整数)のブロックの画素データを、前記第2のクロックに従って格納する第2ブロックメモリと、前記第2ブロックメモリに格納された画像データを前記第2のクロックに従って前記フレームメモリに書き込み、かつ、前記第2ブロックメモリから読み出されて前記フレームメモリに書き込まれた画像データを読み出す第2メモリ制御部とを備えるものである。 According to the present invention, as a video signal processing apparatus, a horizontal filter that performs horizontal filter processing using a plurality of pixels on input image data, and a processing result of the horizontal filter are stored according to a first clock. A buffer memory, a frame memory for storing the image data, and image data stored in the first buffer memory in accordance with a second clock having a frequency higher than the first clock. A first memory control unit that reads out image data stored in the frame memory in accordance with the second clock; and horizontal N pixels and vertical M pixels (read from the frame memory by the first memory control unit). A first block for storing image data of N and M in accordance with the second clock. A vertical processing unit that performs vertical processing for obtaining pixels based on K pixels (K is an integer of 2 or more) arranged in the vertical direction with respect to image data stored in the first block memory; A second block for storing pixel data of a block of horizontal N pixels and vertical L pixels (L is an integer of 2 or more having a predetermined relationship with M and K) obtained by the vertical processing unit according to the second clock. Write image data stored in the memory and the second block memory to the frame memory in accordance with the second clock, and read image data read from the second block memory and written to the frame memory And a second memory control unit.
これによると、画像データに対して、ブロック単位で垂直方向の処理を行うので、メモリの容量を抑えることができる。 According to this, since the vertical processing is performed on the image data in units of blocks, the capacity of the memory can be suppressed.
また、前記映像信号処理装置において、前記第2メモリ制御部によって前記フレームメモリから読み出された画像データを、前記第2のクロックに従って格納し、かつ、周波数が前記第1のクロックの半分である第3のクロックに従って出力する第2のバッファメモリを更に備え、前記垂直処理部は、前記垂直方向に並んだK画素のそれぞれに所定の係数を乗じたものの和を求める垂直フィルタ処理を、前記垂直方向処理として行い、かつ、得られた処理結果を、垂直方向に1画素おきに間引いて前記第2ブロックメモリに格納させるものであることが好ましい。 Further, in the video signal processing device, the image data read from the frame memory by the second memory control unit is stored in accordance with the second clock, and the frequency is half of the first clock. A second buffer memory that outputs in accordance with a third clock; and wherein the vertical processing unit performs a vertical filtering process for obtaining a sum of each of the K pixels arranged in the vertical direction multiplied by a predetermined coefficient. It is preferable that the processing is performed as direction processing, and the obtained processing results are thinned out every other pixel in the vertical direction and stored in the second block memory.
これによると、圧縮符号化に用いるメモリと、垂直方向の処理に用いるメモリとを統合化することができるので、メモリを効率的に使用してメモリの容量を抑えることができる。 According to this, since the memory used for compression encoding and the memory used for vertical processing can be integrated, it is possible to efficiently use the memory and suppress the memory capacity.
本発明によると、画像データに対して、少ないメモリ容量で高性能な垂直方向の処理を行うことができる。 According to the present invention, high-performance vertical processing can be performed on image data with a small memory capacity.
以下、本発明の実施の形態について、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1の実施形態)
図1は、本発明の第1の実施形態に係る映像信号処理装置のブロック図である。図1の映像信号処理装置は、水平フィルタ12と、バッファメモリ14と、フレームメモリ16と、第1メモリ制御部18と、第1ブロックメモリ22と、垂直処理部としての垂直フィルタ24と、第2ブロックメモリ26と、第2メモリ制御部28と、バッファメモリ32とを備えている。
(First embodiment)
FIG. 1 is a block diagram of a video signal processing apparatus according to the first embodiment of the present invention. 1 includes a
まず、映像信号の走査順に画像データDIが水平フィルタ12に入力される。水平フィルタ12は、画像データDIのサンプリングクロックであるクロックCLK1に従って、画像データDIに対して複数画素を用いた水平方向のフィルタ処理を施す。ここで行われるフィルタ処理は、例えば、9タップのFIRフィルタ処理である。この処理は周知の技術であるので、その説明は省略する。水平フィルタ12は、クロックCLK1に従って、水平フィルタ処理を施された画像データ(以下では、水平処理画像データと称する)をバッファメモリ14に書き込む。
First, the image data DI is input to the
バッファメモリ14は、デュアルポートメモリであり、水平処理画像データをクロックCLK1に従って格納する。第1メモリ制御部18は、バッファメモリ14に格納された水平処理画像データを、所定の量のデータが書き込まれる毎に、クロックCLK1よりも周波数が高い、高速なクロックCLK2に従って読み出し、フレームメモリ16に間欠的に転送し、格納させる。バッファメモリ14に必要な容量は、クロックCLK1の周波数とクロックCLK2の周波数との間の関係に依存する。ここでは、バッファメモリ14の容量は、例えば、映像信号の1水平走査期間の有効画素数分のデータの容量であるとする。
The
入力画像データDIの1フレーム期間分の水平処理画像データがフレームメモリ16に転送されると、次に、第1メモリ制御部18は、これらの水平処理画像データを、クロックCLK2に従って、水平N画素*垂直M画素(N,Mは2以上の整数)のブロック単位でフレームメモリ16から間欠的に読み出し、第1ブロックメモリ22に格納させる。第1ブロックメモリ22は、フレームメモリ16から読み出された水平N画素*垂直M画素のブロックの画素データを、クロックCLK2に従って格納する。本実施形態では、N=16、M=20であるとする。
When the horizontally processed image data for one frame period of the input image data DI is transferred to the
垂直フィルタ24は、Kタップ(Kは2以上の整数)のFIRフィルタで構成されており、第1ブロックメモリ22に格納された水平処理画像データのうち、垂直方向に並んだK画素分のデータに対して垂直方向のフィルタ処理を垂直方向処理として行って、1画素分の垂直フィルタ処理結果(以下では、垂直処理画像データと称する)を得ることを繰り返す。本実施形態では、K=5であるとする。垂直フィルタ24は、得られた垂直処理画像データを、クロックCLK2に従って第2ブロックメモリ26に格納させる。第2ブロックメモリ26の容量は、例えば、水平16画素*垂直16画素のブロックのデータの容量である。
The
図2は、図1の垂直フィルタ24で行われる処理を模式的に示す説明図である。図2において、第1ブロックメモリ22に格納されている画素のブロック(画素ブロック)FP1は、水平16画素*垂直20画素のブロックである。画素ブロックFP1の1マスは1画素を示している。
FIG. 2 is an explanatory diagram schematically showing processing performed by the
垂直フィルタ24は5タップのFIRフィルタ処理を施すので、例えば、画素ブロックFP2の塗りつぶされた画素についての処理結果を得るためには、画素ブロックFP1において太枠で囲まれた5画素のデータが使用される。画素列FPは、このような5画素を示しており、それぞれをY[0,i](i=−2,−1,0,1,2)で表すこととする。
Since the
図2のように、垂直フィルタ24は、乗算器41,42,43,44,45と、加算器48とを備えている。乗算器41〜45は、Y[0,i]とフィルタ係数h[i](i=−2,−1,0,1,2)との乗算をそれぞれ行い、得られた結果を加算器48に出力する。加算器48は、5つの乗算結果を加算し、得られた結果を第2ブロックメモリ26に出力し、格納させる。第2ブロックメモリ26には、水平N画素*垂直L画素(Lは、M及びKと所定の関係を有する2以上の整数)の画素ブロックFP2が格納されるようになっている。L=M−K+1の関係があるので、ここでは、L=16である。いま得られた垂直処理画像データは、図2の画素ブロックFP2の塗りつぶされた画素に相当する。
As shown in FIG. 2, the
垂直フィルタ24は、このような処理を、順次、画素ブロックFP1において破線で囲まれた水平16画素*垂直16画素のブロックの各画素について行い、その結果を画素ブロックFP2のすべての画素として第2ブロックメモリ26に格納させる。第2メモリ制御部28は、第2ブロックメモリ26に格納された垂直処理画像データを、水平16画素*垂直16画素のブロック毎に、クロックCLK2に従ってフレームメモリ16に間欠的に書き込む。
The
図3は、1フレーム期間分の画素を、図1の第2ブロックメモリ26に格納される画素ブロックFP2を単位として分割して示した説明図である。図3では、1フレーム期間分の画素数が水平720画素*垂直480画素である、NTSC方式の標準テレビジョン信号を例として示している。この場合、水平45ブロック*垂直30ブロックの合計1350ブロックに分割されて、同様の処理が行われ、1フレーム期間分の処理が行われることになる。
FIG. 3 is an explanatory diagram showing pixels for one frame period divided by the pixel block FP2 stored in the
1フレーム期間分の垂直処理画像データがフレームメモリ16に格納されると、第2メモリ制御部28は、垂直処理画像データを、フレームメモリ16から間欠的に、走査順に従って読み出して、バッファメモリ32に書き込む。バッファメモリ32は、デュアルポートメモリであり、クロックCLK2に従って書き込みが行われる。
When the vertically processed image data for one frame period is stored in the
バッファメモリ32に格納された垂直処理画像データは、クロックCLK2よりも低速なクロックCLK1に従って連続的に読み出され、画像データDFFとして出力される。バッファメモリ32に必要な容量は、クロックCLK1の周波数とクロックCLK2の周波数との間の関係に依存する。ここでは、バッファメモリ32の容量は、例えば、映像信号の1水平走査期間の有効画素データの容量であるとする。
The vertically processed image data stored in the
以上のように、本発明の第1の実施形態の映像信号処理装置は、1フレーム期間の画像データを水平16画素*垂直20画素のブロック毎に分割して垂直フィルタ処理を施すように構成されている。このため、例えば5タップの垂直フィルタ処理を実施する場合には、水平16画素*垂直20画素の画素ブロックを格納する第1ブロックメモリ22と、水平16画素*垂直16画素の画素ブロックを格納する第2ブロックメモリ26とを用いて垂直フィルタ処理を実現することができる。1画素当たりのデータ量が2バイトであるとすると、垂直フィルタ処理に必要なメモリ容量は(16*20+16*16)*2=1152バイトとなるので、従来の映像信号処理装置に必要な720*5*2=7200バイトに比べて、メモリ容量を大幅に削減することができる。
As described above, the video signal processing apparatus according to the first embodiment of the present invention is configured to perform vertical filter processing by dividing image data of one frame period into blocks each having 16 horizontal pixels * 20 vertical pixels. ing. Therefore, for example, when 5-tap vertical filter processing is performed, the
本実施形態では、垂直フィルタとして5タップのFIRフィルタを用いる場合を例として説明したが、FIRフィルタのタップ数Kを増やして更に高性能な垂直フィルタ処理を実施するようにしてもよい。この場合には第1ブロックメモリに格納することが必要な画素ブロックの垂直方向の画素数が最大、K画素分増加することになる。第1ブロックメモリに必要な容量の増加分は16*K*2バイトとなり、従来例の場合の増加分である720*K*2バイトに対して少なくて済む。 In the present embodiment, the case where a 5-tap FIR filter is used as the vertical filter has been described as an example. However, the number of taps K of the FIR filter may be increased to perform higher-performance vertical filter processing. In this case, the number of pixels in the vertical direction of the pixel block that needs to be stored in the first block memory is increased by a maximum of K pixels. The increase in capacity required for the first block memory is 16 * K * 2 bytes, which is smaller than the increase of 720 * K * 2 bytes in the conventional example.
また、第2ブロックメモリ26に関して、L=M−K+1の関係があるとして説明したが、L=M−Kであってもよい。
Further, the
(第2の実施形態)
図4は、本発明の第2の実施形態に係る映像信号処理装置のブロック図である。図4の映像信号処理装置は、水平フィルタ212と、バッファメモリ214と、フレームメモリ216と、第1メモリ制御部218と、第1ブロックメモリ222と、垂直処理部としてのIP変換部224と、第2ブロックメモリ226と、第2メモリ制御部228と、バッファメモリ232とを備えている。水平フィルタ212及びバッファメモリ214は、図1の水平フィルタ12及びバッファメモリ14とそれぞれ同様のものであるので、説明を省略する。
(Second Embodiment)
FIG. 4 is a block diagram of a video signal processing apparatus according to the second embodiment of the present invention. 4 includes a
第1メモリ制御部218は、バッファメモリ214に格納された水平処理画像データを、所定の量のデータが書き込まれる毎に、クロックCLK2に従って読み出し、フレームメモリ216に間欠的に転送し、格納させる。
The first
入力画像データDIの1フレーム期間分の水平処理画像データがフレームメモリ216に転送されると、次に、第1メモリ制御部218は、これらの水平処理画像データを、クロックCLK2に従って、水平N画素*垂直M画素のブロック単位でフレームメモリ216から間欠的に読み出し、第1ブロックメモリ222に格納させる。第1ブロックメモリ222は、フレームメモリ216から読み出された水平N画素*垂直M画素のブロックの画素データを、クロックCLK2に従って格納する。本実施形態では、N=16、M=12であるとする。
When the horizontally processed image data for one frame period of the input image data DI is transferred to the
IP変換部224は、画像の垂直方向の画素数を2倍にして、インタレース画像をプログレッシブ画像に変換する、IP変換処理を行う。この際、IP変換部224は、第1ブロックメモリ222に格納された水平処理画像データのうち、垂直方向に並んだK画素(Kは2以上の整数)のデータを用いて、補間画像を1画素生成する。本実施形態では、K=5であるとする。以下では、生成されたIP変換処理後の画像データを垂直処理画像データと称する。
The
IP変換部224は、第1ブロックメモリ222から読み出されたデータと、得られた垂直処理画像データとを、クロックCLK2に従って第2ブロックメモリ226に格納させる。第2ブロックメモリ226の容量は、例えば、水平16画素*垂直16画素のブロックのデータの容量である。
The
図5は、図4のIP変換部224で行われる処理を模式的に示す説明図である。図5において、第1ブロックメモリ222に格納されている画素ブロックCP1は、水平16画素*垂直12画素のブロックである。画素ブロックCP1の1マスは1画素を示している。
FIG. 5 is an explanatory diagram schematically showing processing performed by the
IP変換部224は、処理結果を第2ブロックメモリ226に出力し、格納させる。第2ブロックメモリ226には、水平N画素*垂直L画素(Lは、M及びKと所定の関係を有する2以上の整数)の画素ブロックCP2が格納されるようになっている。L=2*(M−K+1)の関係があるので、ここでは、L=16である。
The
IP変換部224は、画素ブロックCP1において破線で囲まれた水平16画素*垂直8画素のブロックの各行について、その行の画素をそのまま出力すること(画素ブロックCP2の破線内の画素、例えば、画素ブロックCP2の塗りつぶされた画素)と、その行の上下の行を用いて補間処理をした結果を出力すること(画素ブロックCP2の破線内の画素の次行の画素、例えば、画素ブロックCP2のハッチングが施された画素)とを行う。
The
補間処理の際には、IP変換部224は5画素を用いて処理を行うので、例えば、画素ブロックCP2のハッチングが施された画素についての補間処理結果を得るためには、画素ブロックCP1において太枠で囲まれた5画素のデータが使用される。画素列CPは、このような5画素を示しており、それぞれをY[0,i](i=−2,−1,0,1,2)で表すこととする。
In the interpolation process, the
図5のように、IP変換部224は、乗算器241,242,243,244,245と、加算器248とを備えている。乗算器241〜245は、Y[0,i]と補間係数h[i](i=−2,−1,0,1,2)との乗算をそれぞれ行い、得られた結果を加算器248に出力する。加算器248は、5つの乗算結果を加算し、得られた結果を第2ブロックメモリ226に出力し、格納させる。
As shown in FIG. 5, the
IP変換部224は、以上のような処理を、順次、画素ブロックCP1において破線で囲まれた水平16画素*垂直8画素のブロックの各画素について行い、その結果を画素ブロックCP2のすべての画素として第2ブロックメモリ226に格納させる。第2メモリ制御部228は、第2ブロックメモリ226に格納された垂直処理画像データを、水平16画素*垂直16画素のブロック毎に、クロックCLK2に従ってフレームメモリ216に間欠的に書き込む。
The
このように、IP変換部224は、第1ブロックメモリ226に格納されたブロックに関して、そのブロックの1行分の画像データと、垂直方向に並んだK画素に基づいて求められた画素の1行分の画像データとが交互に並べられた画像データを得るIP変換処理を、垂直方向処理として行う。IP変換部224においてIP変換処理を行うと、垂直方向の画素数が2倍になる。
As described above, the
1フレーム期間分の垂直処理画像データがフレームメモリ216に格納されると、第2メモリ制御部228は、垂直処理画像データを、フレームメモリ216から間欠的に、走査順に従って読み出して、バッファメモリ232に書き込む。バッファメモリ232は、デュアルポートメモリであり、クロックCLK2に従って書き込みが行われる。
When the vertically processed image data for one frame period is stored in the
バッファメモリ232に格納された垂直処理画像データは、クロックCLK1の2倍の周波数のクロックCLK3に従って連続的に読み出され、画像データDCCとして出力される。バッファメモリ232に必要な容量は、クロックCLK2の周波数とクロックCLK3の周波数との間の関係に依存する。ここでは、バッファメモリ232の容量は、例えば、映像信号の1水平走査期間の有効画素データの容量の2倍であるとする。
The vertically processed image data stored in the
以上のように、本発明の第2の実施形態の映像信号処理装置は、1フレーム期間の画像データを水平16画素*垂直12画素のブロック毎に分割してIP変換処理を施すように構成されている。このため、例えば5タップのIP変換処理を実施する場合には、水平16画素*垂直12画素の画素ブロックを格納する第1ブロックメモリ222と、水平16画素*垂直16画素の画素ブロックを格納する第2ブロックメモリ226とを用いて処理を実現することができる。1画素当たりのデータ量が2バイトであるとすると、IP変換処理に必要なメモリ容量は(16*12+16*16)*2=896バイトとなるので、従来の映像信号処理装置に必要な720*5*2=7200バイトに比べて、メモリ容量を大幅に削減することができる。
As described above, the video signal processing apparatus according to the second embodiment of the present invention is configured to perform the IP conversion process by dividing the image data of one frame period into blocks of horizontal 16 pixels * vertical 12 pixels. ing. Therefore, for example, when performing a 5-tap IP conversion process, a
本実施形態では、IP変換処理の際に5タップの補間フィルタ処理を行う場合を例として説明したが、補間フィルタのタップ数Kを増やして更に高性能なIP変換処理を実施するようにしてもよい。この場合には第1ブロックメモリに格納することが必要な画素ブロックの垂直方向の画素数が最大、K画素分増加することになる。第1ブロックメモリに必要な容量の増加分は16*K*2バイトとなり、従来例の場合の増加分である720*K*2バイトに対して少なくて済む。 In the present embodiment, the case of performing the 5-tap interpolation filter process during the IP conversion process has been described as an example. However, the number of interpolation filter taps K may be increased to perform higher-performance IP conversion process. Good. In this case, the number of pixels in the vertical direction of the pixel block that needs to be stored in the first block memory is increased by a maximum of K pixels. The increase in capacity required for the first block memory is 16 * K * 2 bytes, which is smaller than the increase of 720 * K * 2 bytes in the conventional example.
また、第2ブロックメモリ226に関して、L=2*(M−K+1)の関係があるとして説明したが、L=2*(M−K)であってもよい。
Further, the
(第3の実施形態)
図6は、本発明の第3の実施形態に係る映像信号処理装置のブロック図である。図6の映像信号処理装置は、図1の映像信号処理装置において、第2メモリ制御部28及びバッファメモリ32に代えて、第2メモリ制御部328及び第3ブロックメモリ332をそれぞれ備え、更に圧縮符号化部334を備えたものである。その他の構成要素は、図1を参照して説明したものと同様であるので、同一の参照番号を付してその説明を省略する。
(Third embodiment)
FIG. 6 is a block diagram of a video signal processing apparatus according to the third embodiment of the present invention. The video signal processing device of FIG. 6 includes a second
第2ブロックメモリ26に、水平16画素*垂直16画素のブロックの全体の垂直処理画像データが格納されると、第2メモリ制御部328は、これらのデータをフレームメモリ16に格納させ、かつ、圧縮符号化部334がこれらのデータを第2メモリ制御部328から受け取る。また、第2メモリ制御部328は、フレームメモリ16に格納されている過去の垂直処理画像データを、圧縮符号化処理の参照画像データとして、第3ブロックメモリ332に間欠的に転送する。
When the entire vertically processed image data of the block of horizontal 16 pixels * vertical 16 pixels is stored in the
圧縮符号化部334は、第3ブロックメモリ332のデータを参照して、第2ブロックメモリ26に格納されたブロックのデータに対して、そのブロックを単位として圧縮符号化処理を行い、得られた圧縮符号化データDFMを出力する。圧縮符号化部334は、圧縮符号化処理として、例えばMPEG−2(moving picture experts group-2)方式による処理を行う。
The
以上のように、本発明の第3の実施形態の映像信号処理装置は、1フレーム期間の画像データを水平16画素、垂直20画素のブロック毎に分割して垂直フィルタ処理を施し、その結果生成された水平16画素、垂直16画素で構成されたブロック単位で圧縮符号化処理を施すように構成されている。垂直フィルタ処理の結果得られる画素ブロックのサイズを、圧縮符号化処理の単位と同じにしているので、もともと圧縮符号化処理のために必要であったブロック単位のメモリを、垂直フィルタ処理のためのメモリとして共有化することができる。すなわち、第2のブロックメモリ26を、垂直フィルタ24と圧縮符号化部334とで共用することができる。
As described above, the video signal processing apparatus according to the third embodiment of the present invention divides the image data of one frame period into blocks each having 16 horizontal pixels and 20 vertical pixels, and performs vertical filter processing to generate a result. The compression encoding process is performed in units of blocks each composed of 16 horizontal pixels and 16 vertical pixels. Since the size of the pixel block obtained as a result of the vertical filter process is the same as the unit of the compression encoding process, the memory of the block unit that was originally required for the compression encoding process is reduced for the vertical filter process. It can be shared as memory. That is, the
なお、垂直フィルタ処理の後、垂直フィルタが、処理後の画素を垂直方向に1画素おきに間引いて第2ブロックメモリ26に格納するようにしてもよい。すると、SIF(source input format)のような垂直方向にダウンサンプリングされた画像データの圧縮符号化を実現することができる。この場合、例えば、水平16画素*垂直36画素のブロックを格納する第1ブロックメモリと、水平16画素*垂直16画素のブロックを格納する第2ブロックメモリとを使用するようにすれば、第2ブロックメモリを垂直フィルタと圧縮符号化部とで共用することができる。
Note that after the vertical filter processing, the vertical filter may thin out the processed pixels every other pixel in the vertical direction and store them in the
(第4の実施形態)
図7は、本発明の第4の実施形態に係る映像信号処理装置のブロック図である。図7の映像信号処理装置は、図4の映像信号処理装置において、第2メモリ制御部228及びバッファメモリ232に代えて、第2メモリ制御部428及び第3ブロックメモリ432をそれぞれ備え、更に圧縮符号化部434を備えたものである。その他の構成要素は、図4を参照して説明したものと同様であるので、同一の参照番号を付してその説明を省略する。
(Fourth embodiment)
FIG. 7 is a block diagram of a video signal processing apparatus according to the fourth embodiment of the present invention. The video signal processing device of FIG. 7 includes a second
第2ブロックメモリ226に、水平16画素*垂直16画素のブロックの全体の垂直処理画像データが格納されると、第2メモリ制御部428は、これらのデータをフレームメモリ216に格納させ、かつ、圧縮符号化部434がこれらのデータを第2メモリ制御部428から受け取る。また、第2メモリ制御部428は、フレームメモリ216に格納されている過去の垂直処理画像データを、圧縮符号化処理の参照画像データとして、第3ブロックメモリ432に間欠的に転送する。
When the entire vertically processed image data of the block of horizontal 16 pixels * vertical 16 pixels is stored in the
圧縮符号化部434は、第3ブロックメモリ432のデータを参照して、第2ブロックメモリ226に格納されたブロックのデータに対して、そのブロックを単位として圧縮符号化処理を行い、得られた圧縮符号化データDCMを出力する。圧縮符号化部434は、圧縮符号化処理として、例えばMPEG−2方式による処理を行う。
The
以上のように、本発明の第4の実施形態の映像信号処理装置は、1フレーム期間の画像データを水平16画素、垂直12画素のブロック毎に分割してIP変換処理を施し、その結果生成された水平16画素、垂直16画素で構成されたブロック単位で圧縮符号化処理を施すように構成されている。IP変換処理の結果得られる画素ブロックのサイズを、圧縮符号化処理の単位と同じにしているので、もともと圧縮符号化処理のために必要であったブロック単位のメモリを、IP変換処理のためのメモリとして共有化することができる。すなわち、第2のブロックメモリ226を、IP変換部224と圧縮符号化部434とで共用することができる。
As described above, the video signal processing apparatus according to the fourth embodiment of the present invention divides the image data of one frame period into blocks each having 16 horizontal pixels and 12 vertical pixels, performs IP conversion processing, and generates the result. The compression encoding process is performed in units of blocks each composed of 16 horizontal pixels and 16 vertical pixels. Since the size of the pixel block obtained as a result of the IP conversion process is the same as the unit of the compression encoding process, the memory of the block unit originally required for the compression encoding process is reduced to the IP conversion process. It can be shared as memory. That is, the
(第5の実施形態)
図8は、本発明の第5の実施形態に係る映像信号処理装置のブロック図である。図8の映像信号処理装置は、図1の映像信号処理装置において、垂直フィルタ24、第2ブロックメモリ26、第2メモリ制御部28及びバッファメモリ32に代えて、垂直フィルタ524、第2ブロックメモリ526、第2メモリ制御部528及び第3ブロックメモリ532をそれぞれ備えたものである。その他の構成要素は、図1を参照して説明したものと同様であるので、同一の参照番号を付してその説明を省略する。
(Fifth embodiment)
FIG. 8 is a block diagram of a video signal processing apparatus according to the fifth embodiment of the present invention. The video signal processing device of FIG. 8 is the same as the video signal processing device of FIG. 1, except that the
第2ブロックメモリ526には、水平N画素*垂直L画素(Lは、M及びKと所定の関係を有する2以上の整数)の画素ブロックが格納されるようになっている。L=(M−K+1)/2の関係があるので、ここでは、L=8である。
The
垂直フィルタ524は、図1の垂直フィルタ24と同様に垂直フィルタ処理を行い、得られた水平16画素*垂直16画素のブロックの垂直フィルタ処理結果を、垂直方向に1画素おきに間引いて第2ブロックメモリ526に格納させる。すなわち、第2ブロックメモリ526には、水平16画素*垂直8画素のブロックが格納される。第2メモリ制御部528は、第2ブロックメモリ526に格納された垂直処理画像データを、水平16画素*垂直8画素のブロック毎に、クロックCLK2に従ってフレームメモリ16に間欠的に書き込む。
The
1フレーム期間分の垂直処理画像データがフレームメモリ16に格納されると、第2メモリ制御部528は、垂直処理画像データを、フレームメモリ16から間欠的に、走査順に従って読み出して、バッファメモリ532に書き込む。バッファメモリ532は、デュアルポートメモリであり、クロックCLK2に従って書き込みが行われる。
When the vertically processed image data for one frame period is stored in the
バッファメモリ532に格納された垂直処理画像データは、クロックCLK1の半分の周波数のクロックCLK3に従って連続的に読み出され、画像データDFSとして出力される。画像データDFSは、入力画像データDIが垂直方向にダウンコンバートされた画像データである。
The vertically processed image data stored in the
以上のように、本発明の第5の実施形態の映像信号処理装置は、1フレーム期間の画像データをブロック毎に分割して垂直フィルタ処理を施し、得られた結果を垂直方向に間引くように構成されている。このため、例えば5タップの垂直フィルタ処理を実施する場合には、水平16画素*垂直20画素の画素ブロックを格納する第1ブロックメモリ22と、水平16画素*垂直8画素の画素ブロックを格納する第2ブロックメモリ526とを用いて垂直フィルタ処理を実現することができる。1画素当たりのデータ量が2バイトであるとすると、垂直フィルタ処理に必要なメモリ容量は(16*20+16*8)*2=896バイトとなるので、従来の映像信号処理装置に必要な720*5*2=7200バイトに比べて、メモリ容量を大幅に削減することができる。
As described above, the video signal processing apparatus according to the fifth embodiment of the present invention divides image data of one frame period into blocks and performs vertical filter processing, and thins out the obtained results in the vertical direction. It is configured. Therefore, for example, when performing a 5-tap vertical filter process, a
なお、第2ブロックメモリ526に関して、L=(M−K+1)/2の関係があるとして説明したが、L=(M−K)/2であってもよい。
The
また、以上の実施形態において、第1及び第2のブロックメモリが格納する画素ブロックの水平方向の画素数は16画素であるとして説明したが、他の画素数であってもよい。水平方向の画素数が少ないほど、ブロックメモリに必要な容量を少なくすることができる。 In the above embodiment, the number of pixels in the horizontal direction of the pixel block stored in the first and second block memories has been described as 16 pixels. However, other numbers of pixels may be used. The smaller the number of pixels in the horizontal direction, the smaller the capacity required for the block memory.
以上説明したように、本発明は、少ないメモリ容量で高性能な垂直方向の処理を行うことができるので、映像信号処理装置等について有用である。 As described above, since the present invention can perform high-performance vertical processing with a small memory capacity, it is useful for video signal processing apparatuses and the like.
12,212 水平フィルタ
14,32,214,232,532 バッファメモリ
16,216 フレームメモリ
18,218 第1メモリ制御部
22,222 第1ブロックメモリ
24,524 垂直フィルタ(垂直処理部)
26,226,526 第2ブロックメモリ
28,228,328,428,528 第2メモリ制御部
224 IP変換部(垂直処理部)
332,432 第3ブロックメモリ
334,434 圧縮符号化部
12, 212
26, 226, 526
332, 432
Claims (13)
前記水平フィルタの処理結果を第1のクロックに従って格納する第1のバッファメモリと、
前記画像データを格納するフレームメモリと、
前記第1のクロックよりも周波数が高い第2のクロックに従って前記第1のバッファメモリに格納された画像データを前記フレームメモリに格納させ、かつ、前記フレームメモリに格納された画像データを、前記第2のクロックに従って読み出す第1メモリ制御部と、
前記第1メモリ制御部によって前記フレームメモリから読み出された水平N画素、垂直M画素(N,Mは2以上の整数)のブロックの画像データを、前記第2のクロックに従って格納する第1ブロックメモリと、
前記第1ブロックメモリに格納された画像データに対して、垂直方向に並んだK画素(Kは2以上の整数)に基づいて画素を求める垂直方向処理を行う垂直処理部と、
前記垂直処理部で求められた水平N画素、垂直L画素(Lは、M及びKと所定の関係を有する2以上の整数)のブロックの画素データを、前記第2のクロックに従って格納する第2ブロックメモリと、
前記第2ブロックメモリに格納された画像データを前記第2のクロックに従って前記フレームメモリに書き込み、かつ、前記第2ブロックメモリから読み出されて前記フレームメモリに書き込まれた画像データを読み出す第2メモリ制御部とを備える
映像信号処理装置。 A horizontal filter that performs horizontal filtering using a plurality of pixels on the input image data;
A first buffer memory for storing the processing result of the horizontal filter according to a first clock;
A frame memory for storing the image data;
The image data stored in the first buffer memory is stored in the frame memory in accordance with a second clock having a frequency higher than that of the first clock, and the image data stored in the frame memory is stored in the first memory. A first memory controller that reads in accordance with two clocks;
A first block that stores image data of blocks of horizontal N pixels and vertical M pixels (N and M are integers of 2 or more) read from the frame memory by the first memory control unit according to the second clock. Memory,
A vertical processing unit that performs vertical processing for obtaining pixels based on K pixels (K is an integer of 2 or more) arranged in the vertical direction with respect to the image data stored in the first block memory;
A second pixel block that stores pixel data of a block of horizontal N pixels and vertical L pixels (L is an integer of 2 or more having a predetermined relationship with M and K) obtained by the vertical processing unit in accordance with the second clock. Block memory,
Second memory for writing image data stored in the second block memory to the frame memory according to the second clock, and reading image data read from the second block memory and written to the frame memory A video signal processing apparatus comprising a control unit.
前記第2メモリ制御部によって前記フレームメモリから読み出された画像データを、前記第2のクロックに従って格納し、かつ、前記第1のクロックに従って走査順に出力する第2のバッファメモリを更に備え、
前記垂直処理部は、
前記垂直方向に並んだK画素のそれぞれに所定の係数を乗じたものの和を求める垂直フィルタ処理を、前記垂直方向処理として行うものである
ことを特徴とする映像信号処理装置。 The video signal processing device according to claim 1,
A second buffer memory that stores the image data read from the frame memory by the second memory control unit according to the second clock and outputs the image data in the scanning order according to the first clock;
The vertical processing unit includes:
A video signal processing apparatus, characterized in that vertical filter processing for obtaining a sum of multiplication of a predetermined coefficient for each of the K pixels arranged in the vertical direction is performed as the vertical processing.
前記第2メモリ制御部によって前記フレームメモリから読み出された水平N画素、垂直L画素のブロックの画像データを、前記第2のクロックに従って格納する第3ブロックメモリと、
前記第2ブロックメモリに格納された画像データと前記第3ブロックメモリに格納された画像データとを用いて、前記第2ブロックメモリに格納された画像データに対して、圧縮符号化処理を行う圧縮符号化手段とを更に備え、
前記垂直処理部は、
前記垂直方向に並んだK画素のそれぞれに所定の係数を乗じたものの和を求める垂直フィルタ処理を、前記垂直方向処理として行うものであり、
前記第2メモリ制御部は、
過去のフレームの画像データを前記フレームメモリから読み出して前記第3ブロックメモリに出力するものである
ことを特徴とする映像信号処理装置。 The video signal processing device according to claim 1,
A third block memory for storing image data of a block of horizontal N pixels and vertical L pixels read from the frame memory by the second memory control unit according to the second clock;
Compression that performs compression coding processing on the image data stored in the second block memory using the image data stored in the second block memory and the image data stored in the third block memory Encoding means,
The vertical processing unit includes:
A vertical filter process for obtaining a sum of the K pixels arranged in the vertical direction multiplied by a predetermined coefficient is performed as the vertical direction process;
The second memory control unit
A video signal processing apparatus, wherein image data of a past frame is read from the frame memory and output to the third block memory.
L=M−K+1である
ことを特徴とする映像信号処理装置。 In the video signal processing device according to claim 2 or 3,
A video signal processing apparatus, wherein L = M−K + 1.
L=M−Kである
ことを特徴とする映像信号処理装置。 In the video signal processing device according to claim 2 or 3,
A video signal processing apparatus characterized by L = M−K.
前記第2メモリ制御部によって前記フレームメモリから読み出された画像データを、前記第2のクロックに従って格納し、かつ、周波数が前記第1のクロックの2倍である第3のクロックに従って走査順に出力する第2のバッファメモリを更に備え、
前記垂直処理部は、
前記第1ブロックメモリに格納されたブロックに関して、そのブロックの1行分の画像データと、前記垂直方向に並んだK画素に基づいて求められた画素の1行分の画像データとが交互に並べられた画像データを得るIP変換処理を、前記垂直方向処理として行うものである
ことを特徴とする映像信号処理装置。 The video signal processing device according to claim 1,
The image data read from the frame memory by the second memory control unit is stored according to the second clock, and is output in the scanning order according to a third clock having a frequency twice that of the first clock. Further comprising a second buffer memory
The vertical processing unit includes:
With respect to the block stored in the first block memory, image data for one row of the block and image data for one row of pixels obtained based on the K pixels arranged in the vertical direction are alternately arranged. A video signal processing apparatus characterized in that an IP conversion process for obtaining received image data is performed as the vertical direction process.
前記第2メモリ制御部によって前記フレームメモリから読み出された水平N画素、垂直L画素のブロックの画像データを、前記第2のクロックに従って格納する第3ブロックメモリと、
前記第2ブロックメモリに格納された画像データと前記第3ブロックメモリに格納された画像データとを用いて、前記第2ブロックメモリに格納された画像データに対して、圧縮符号化処理を行う圧縮符号化手段とを更に備え、
前記垂直処理部は、
前記第1ブロックメモリに格納されたブロックに関して、そのブロックの1行分の画像データと、前記垂直方向に並んだK画素に基づいて求められた画素の1行分の画像データとが交互に並べられた画像データを得るIP変換処理を、前記垂直方向処理として行うものであり、
前記第2メモリ制御部は、
過去のフレームの画像データを前記フレームメモリから読み出して前記第3ブロックメモリに出力するものである
ことを特徴とする映像信号処理装置。 The video signal processing device according to claim 1,
A third block memory for storing image data of a block of horizontal N pixels and vertical L pixels read from the frame memory by the second memory control unit according to the second clock;
Compression that performs compression coding processing on the image data stored in the second block memory using the image data stored in the second block memory and the image data stored in the third block memory Encoding means,
The vertical processing unit includes:
With respect to the block stored in the first block memory, image data for one row of the block and image data for one row of pixels obtained based on the K pixels arranged in the vertical direction are alternately arranged. IP conversion processing for obtaining the obtained image data is performed as the vertical processing,
The second memory control unit
A video signal processing apparatus, wherein image data of a past frame is read from the frame memory and output to the third block memory.
L=2*(M−K+1)である
ことを特徴とする映像信号処理装置。 The video signal processing device according to claim 6 or 7,
A video signal processing apparatus, wherein L = 2 * (M−K + 1).
L=2*(M−K)である
ことを特徴とする映像信号処理装置。 The video signal processing device according to claim 6 or 7,
A video signal processing apparatus characterized by L = 2 * (M−K).
前記第2メモリ制御部によって前記フレームメモリから読み出された画像データを、前記第2のクロックに従って格納し、かつ、周波数が前記第1のクロックの半分である第3のクロックに従って出力する第2のバッファメモリを更に備え、
前記垂直処理部は、
前記垂直方向に並んだK画素のそれぞれに所定の係数を乗じたものの和を求める垂直フィルタ処理を、前記垂直方向処理として行い、かつ、得られた処理結果を、垂直方向に1画素おきに間引いて前記第2ブロックメモリに格納させるものである
ことを特徴とする映像信号処理装置。 The video signal processing device according to claim 1,
Second image data read from the frame memory by the second memory control unit is stored according to the second clock, and is output according to a third clock whose frequency is half of the first clock. A buffer memory,
The vertical processing unit includes:
The vertical filter processing for obtaining the sum of the K pixels arranged in the vertical direction multiplied by a predetermined coefficient is performed as the vertical processing, and the obtained processing result is thinned out every other pixel in the vertical direction. The video signal processing apparatus is stored in the second block memory.
L=(M−K+1)/2である
ことを特徴とする映像信号処理装置。 The video signal processing apparatus according to claim 10, wherein
A video signal processing apparatus, wherein L = (M−K + 1) / 2.
L=(M−K)/2である
ことを特徴とする映像信号処理装置。 The video signal processing apparatus according to claim 10, wherein
A video signal processing apparatus, wherein L = (M−K) / 2.
N=16である
ことを特徴とする映像信号処理装置。 The video signal processing device according to claim 1,
A video signal processing apparatus, wherein N = 16.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005179701A JP2006352798A (en) | 2005-06-20 | 2005-06-20 | Video signal processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005179701A JP2006352798A (en) | 2005-06-20 | 2005-06-20 | Video signal processing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006352798A true JP2006352798A (en) | 2006-12-28 |
Family
ID=37648102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005179701A Withdrawn JP2006352798A (en) | 2005-06-20 | 2005-06-20 | Video signal processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006352798A (en) |
-
2005
- 2005-06-20 JP JP2005179701A patent/JP2006352798A/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8279919B2 (en) | Image processing apparatus | |
| KR20050108365A (en) | Apparatus and method for producing thumbnail images and for improving image quality of re-sized images | |
| US20100277613A1 (en) | Image recording device and image reproduction device | |
| CN101520887A (en) | Image zooming method, device and chip | |
| CN103916612A (en) | Random proportion zoom system and method | |
| KR100793286B1 (en) | Digital image codec with low use of buffer memory and its control method | |
| JP2004304387A (en) | Image processing apparatus | |
| US7929777B2 (en) | Variable length decoding device, variable length decoding method and image capturing system | |
| JP5585885B2 (en) | Image processing apparatus and image processing method | |
| CN100375498C (en) | Signal processing method and signal processing device | |
| US8213731B2 (en) | Information processing device and method | |
| JP2947389B2 (en) | Image processing memory integrated circuit | |
| JP2006352798A (en) | Video signal processing device | |
| JP3912305B2 (en) | Pixel density converter | |
| US20030007565A1 (en) | Pixel calculating device | |
| US6809777B2 (en) | Pixel calculating device | |
| JP5151786B2 (en) | Storage element and storage method | |
| US8031245B2 (en) | Imaging apparatus and methods, and storing medium having computer program to perform the methods | |
| JP4424097B2 (en) | Electronic zoom device | |
| WO2016185831A1 (en) | Image processing device and image processing method | |
| JP4697094B2 (en) | Image signal output apparatus and control method thereof | |
| JP3630587B2 (en) | Video editing method and apparatus | |
| JP4439338B2 (en) | Image converter | |
| JP2005079848A (en) | Sequential scanning line converter and video signal processing system | |
| JP3681940B2 (en) | Image reduction device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080527 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20100107 |