[go: up one dir, main page]

WO2006114951A1 - 画像処理装置及び画像処理プログラム - Google Patents

画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
WO2006114951A1
WO2006114951A1 PCT/JP2006/305277 JP2006305277W WO2006114951A1 WO 2006114951 A1 WO2006114951 A1 WO 2006114951A1 JP 2006305277 W JP2006305277 W JP 2006305277W WO 2006114951 A1 WO2006114951 A1 WO 2006114951A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion information
information
motion
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2006/305277
Other languages
English (en)
French (fr)
Inventor
Tarou Hizume
Manabu Yata
Kazunori Sumiya
Toshiyuki Sano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to EP06729270A priority Critical patent/EP1874039A4/en
Priority to US11/911,430 priority patent/US7961961B2/en
Publication of WO2006114951A1 publication Critical patent/WO2006114951A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones

Definitions

  • the present invention relates to an image processing apparatus and an image processing program that perform image processing using image motion information.
  • motion information information indicating an object that moves and moves among images captured by an imaging device such as a camera
  • motion information information indicating an object that moves and moves among images captured by an imaging device such as a camera
  • One example is cyclic noise reduction processing that reduces image noise.
  • This cyclic noise reduction process is a variable parameter low-pass filter in the time direction of moving images, and can be expressed by the transfer function shown below using one frame of frame memory.
  • zF (— 1) is a unit delay operator of one frame.
  • the moving part is blurred in time.
  • This blur is limited to the range of visual afterimage, and the parameter K is changed in the range of 1> K> 0 in the moving part of the image so as not to disturb the visual.
  • K ⁇ l in the stationary part no blur is generated in principle
  • ⁇ ⁇ ⁇ in the moving part no blur, but the noise reduction effect is low.
  • this motion information is used for various purposes such as “three-dimensional luminance color separation”, “interlace / progressive conversion”, “moving object detection”, and “coding”.
  • FIG. 5 is a block diagram showing a schematic configuration of the luminance color signal separation circuit and the noise reduction circuit disclosed in Patent Document 1.
  • the composite video input signal supplied to the input terminal 1 is supplied to the adders 3 and 4 through the weighting circuit 2 of (1 ⁇ ) times.
  • the signal from the weighting circuit 2 is stored in the memory 6 through the selector 5, and for example, the signal of the previous frame is supplied to the adder 3 through the inversion circuit 7 and is also supplied directly to the adder 4.
  • the signals from these adders 3 and 4 are taken from output terminals 8 and 9, respectively.
  • signals of adders 3 and 4 are added by the adder 12 through the K times weighting circuits 10 and 11, respectively, and stored in the memory 6 through the selector 5, and the selector 5 switching is supplied to the terminal 13. Controlled by a motion detection signal. Then, for example, the signal from the weighting circuit 2 is selected for the pixel whose motion is detected in the composite video input signal.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2002-330447
  • the motion information of the image processing apparatus described in the prior art is in units of pixels, and when trying to recognize a moving object with this motion information after removing noise, another motion detection means is used. Since this is necessary, there is a problem that it is difficult to synchronize and the circuit scale becomes large.
  • the present invention has been made in view of such circumstances, and by using the motion information detected by the image force for different image processing while taking correspondence with the image information, the image and the motion information are obtained. It is an object of the present invention to provide an image processing apparatus and an image processing program that share and use detected motion information capable of facilitating synchronization and reducing the circuit scale in signal processing that requires a plurality of motion information. .
  • An image processing device that performs image processing on an image signal obtained from an image acquisition unit, the motion detection unit that detects image information force motion information of a plurality of frames obtained from the image acquisition unit, Image signal using motion information detected by motion detection means Noise reduction means for reducing noise included in the image, motion object detection means for detecting a moving object from the image signal after the noise reduction processing using the motion information detected by the motion detection means, and the image acquisition means
  • the interlaced progressive conversion unit that converts the image signal into a progressive image format using the motion information detected by the motion detection unit, and the motion detection unit And using the motion information thus obtained, the interlace / progressive conversion means or the moving object detection means, and a sign key means for signing the image information of the power.
  • the detected motion information is shared while being synchronized in each of signal processing that requires a plurality of motion information, that is, noise reduction processing, moving object detection processing, interlaced progressive conversion processing, and code processing. Therefore, the circuit can be shared, and image signal processing using motion information can be performed with a small circuit scale.
  • a surplus bit use motion information conversion unit that puts motion information in a surplus bit of the video signal from the image acquisition unit, and the image information and the video signal
  • Motion information expansion means for matching the phase with the motion information put in the margin bits
  • blanking period use motion information conversion means for putting motion information in the blanking period of the video signal.
  • the memory capacity and the memory data bus can be used efficiently for processing delay compensation, particularly processing delay compensation in units of frames, and the image signal processing position is not limited while the amount of the circuit is increased, and a plurality of detected motion information are Signal processing that requires motion information, that is, noise reduction processing, moving object detection processing, interlaced progressive conversion processing, encoding processing, motion information conversion processing using surplus bits, motion information expansion processing, motion information conversion using horizontal blanking Since each of the conversion processes is shared and used while being synchronized, circuit sharing is possible, and image signal processing using motion information can be performed with a small circuit scale.
  • An image processing program that performs image processing on an image signal obtained from an imaging device, and detects a plurality of frames of image information power and motion information obtained from the imaging device.
  • a motion detection step, a noise reduction step for reducing noise included in the image signal using the detected motion information, and a motion for detecting a moving object from the image signal after the noise reduction processing using the detected motion information An object detection step and an image signal force handled by the imaging device, and an interlace / progressive conversion step for converting the image signal into a progressive image format using the detected motion information in the case of an S interlaced image format, and detected motion
  • a coding step for coding either the image information after the progressive image format conversion or the image information after the moving object detection using the information, and causing the converter to execute each step.
  • the detected motion information is shared and used in synchronization with each of signal processing that requires a plurality of motion information, that is, noise reduction processing, moving object detection processing, interlaced progressive conversion processing, and encoding processing.
  • signal processing that requires a plurality of motion information
  • a margin bit use motion information conversion step of putting motion information in a margin bit of the video signal from the imaging device, and the image information and the video signal A motion information expansion step for matching the phase with the motion information put in the margin bits, and a blanking period use motion information conversion step for putting motion information in the blanking period of the video signal.
  • the memory capacity and the memory data bus can be used efficiently for processing delay compensation, particularly for processing delay in units of frames, and the image signal processing position is not limited while the amount of circuit is increased, and the detected motion information is converted into a plurality of motion Signal processing that requires information, that is, noise reduction processing, moving object detection processing, interlaced progressive conversion processing, encoding processing, extra bit motion information conversion processing, motion information expansion processing, horizontal blanking motion information conversion processing Since each of them is used while being synchronized, the circuit can be shared, and image signal processing using motion information can be performed with a small circuit scale.
  • the image processing apparatus performs signal processing that requires a plurality of pieces of motion information, that is, noise reduction processing, moving object detection processing, and interlaced / progressive conversion processing. Since they are shared and used in synchronization in each of the logic processing and the code processing, the circuit can be shared, and image signal processing using motion information can be performed with a small circuit scale.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram illustrating a schematic configuration of an image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 3 is a diagram showing an overview of motion information conversion and motion information expansion processing using surplus bits in the image processing apparatus of FIG.
  • FIG. 4 is a diagram showing an outline of horizontal blanking motion information conversion processing in the image processing apparatus of FIG.
  • FIG. 5 is a block diagram showing a schematic configuration of a conventional luminance color signal separation and noise reduction circuit.
  • FIG. 1 shows a schematic configuration of an image processing apparatus according to Embodiment 1 of the present invention. It is.
  • an image processing apparatus 100 performs an image acquisition unit 101 that acquires an image signal, a motion detection unit 102 that detects a motion in the image, and a noise reduction process using a frame memory.
  • a noise reduction unit 103, a memory 104, an Mdet (motion detector) unit 105 that detects a moving object in an image, an IP (interlace / progressive) conversion unit 106, and a sign unit 107 are provided.
  • the processes that require motion information are the noise reduction unit 103, the Mdet unit 105, the IP conversion unit 106, and the code key unit 107.
  • the image acquisition unit 101 acquires an image signal.
  • the acquired image signal may be color, black and white, time-division color (complementary color, primary color), sampling degree, quantization level, and the like.
  • the motion detection unit 102 acquires motion information by comparing the image signal acquired by the image acquisition unit 101 with the image signal stored in the memory 104.
  • the image signal stored in the memory 104 is an image having a time difference from the image acquired by the image acquisition unit 101 at the present time. It is also desirable to compare the same spatially pixels.
  • motion information detection method can also be achieved by a simple process of comparing the signal level for each pixel. Further, if there is a margin in processing capability, a motion vector may be detected by block matching processing or the like. In the present embodiment, all of these are referred to below as motion information m.
  • the noise reduction unit 103 performs low-pass filtering in the time direction.
  • the low-pass filter format is less cyclic, so it is preferable because it provides high noise reduction with a frame memory.
  • the filter is represented by the following transfer function as a variable parameter 'low-pass filter'
  • zF (— 1) is a unit delay operator of one frame.
  • the parameter K is changed in the range of 1>K> 0 in the moving part of the image so as not to disturb the visual.
  • the parameter ⁇ is generated as a map of the motion information m detected by the motion detector 102, and K ⁇ l is set for the stationary part and ⁇ ⁇ 0 is set for the moving part. Cyclic noise reduction processing can be performed.
  • the image signal subjected to the noise reduction process is stored in the memory 104 in units of frames, by adjusting the readout order of the pixels from the memory 104, it is possible to invert vertically and horizontally and vertically. Scale conversion (enlargement and reduction), barrel conversion, and thread winding conversion can be performed. In this case, it is necessary to maintain the spatial positional relationship with the pixels by performing upside down, left / right inversion, enlargement / reduction processing, etc. for the motion information. If the above conversion is unnecessary, the noise reduction processing output may be directly input to the Mdet unit 105 in the next stage. In the present embodiment, the above-described conversion is not performed, and the noise reduction processing output image signal is directly input to the Mdet unit 105 at the next stage as a state.
  • the Mdet unit 105 detects an object that is actually moving in the real world from the motion information obtained by the motion detection unit 102.
  • panning and tilting is performed when the image acquisition unit 101 is capable of panning and tilting, such as a camera with a pan / tilt function, when there is a scene change or shake of the camera itself (vibration of the camera installation location or camera shake) Motion is detected on the full screen.
  • the amount of motion is detected as motion information
  • the same amount of motion information will be obtained on the entire screen
  • the motion vector is detected, the orientation of the same vector on the entire screen will be obtained.
  • magnitude motion information is obtained.
  • movement is detected from the entire screen, but it does not mean that the entire screen is occupied by moving objects in the real world! In such a case, an object that moves and moves in the real world as a subject is detected.
  • the motion information m may be compensated by detecting a state in which uniform motion information is obtained on the entire screen. If an angle or angular velocity (not shown) is obtained as pan / tilt information, the motion information m that will appear uniformly on the information power image signal is calculated, and the actually obtained motion information m May be compensated.
  • an angular velocity sensor (not shown) or the like is attached to the image acquisition unit 101 so that vibration or blur information can be obtained, the moving object m can be similarly detected.
  • the image signal can be stored in the memory 104 and converted into a progressive image by the IP conversion unit 106.
  • Interlaced images that is, images obtained by interlaced scanning, are spatially positioned relative to each other.
  • an original image progressive: sequentially scanned image
  • the original image can be obtained by rearranging two images with different spatial phases in the order of the spatial phase.
  • the image acquisition unit 101 itself physically moves (i.e., vibration, blur, pan tilt, etc.). In such a case, if the image is simply rearranged, a comb-shaped image disturbance occurs in the image motion generation part.
  • pixel interpolation is performed in a portion where motion is detected.
  • A-field image and B-field image power When creating a progressive image, the image signal is rearranged alternately in the portion where there is no motion, and the other is detected by interpolating the image signal in one field, for example, in the portion where motion is detected.
  • An image signal having a field space phase is generated.
  • the output of the Mdet unit 105 may be directly input to the encoding unit 107 through the IP conversion unit 106 ( Signal path not shown).
  • the encoding unit 107 encodes the moving image.
  • an inter-frame prediction code that uses a pixel correlation with a previous frame is used for a video code.
  • inter-frame differences are encoded, but motion-compensated inter-frame prediction is used to enhance the prediction effect. Spatial motion between frames is detected for each relatively small area, and the interframe prediction is performed after shifting by that amount. If the motion information m is a motion amount, intra-frame prediction can be performed when the detected motion amount is large, and inter-frame prediction can be performed when the motion information m is small. If it is a motion vector, it can be encoded by motion compensated interframe prediction.
  • the detected motion information is signal processing that requires a plurality of motion information, that is, noise reduction processing, moving object detection processing, and interlace / progressive conversion processing.
  • image signal processing using motion information can be performed with a small circuit scale by the circuit sharing key.
  • the functions of the image processing apparatus 100 according to the first embodiment can be recorded as a program on a recording medium such as a magnetic disk, a magneto-optical disk, or a ROM. Therefore, this recording medium is read by a computer and MPU (Micro
  • the functions of the image processing device can be realized by executing the processing unit (DSP) or DSP (Digital Signal Processor).
  • the program includes the following steps.
  • Image signal power handled by the image acquisition unit 101 In the case of the S interlaced image format, an interlace / progressive conversion step of converting the image signal into a progressive image format using the detected motion information;
  • FIG. 2 is a block diagram showing a schematic configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • the configuration is substantially the same as that of the first embodiment (FIG. 1) described above. The differences from Embodiment 1 will be described below with reference to FIGS. 2, 3, and 4.
  • FIG. 2 is a block diagram showing a schematic configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • the configuration is substantially the same as that of the first embodiment (FIG. 1) described above.
  • the differences from Embodiment 1 will be described below with reference to FIGS. 2, 3, and 4.
  • the image processing apparatus 200 of the second embodiment includes a surplus bit use motion information conversion unit 201, a motion information expansion unit 202, and a horizontal block.
  • a ranking use movement information conversion unit 203 a general image often has a data amount of about 16 bits per pixel as a YUV (YUV) 422 for a general color image and lObit or more for raw data from an image sensor.
  • YU V is a format that expresses a color by three pieces of information: luminance signal (Y), difference between luminance signal and blue component (U), and difference between luminance signal and red component (V).
  • the input to the Mdet unit 105 is the noise reduction unit 103, whereas in the second embodiment, the surplus bit usage motion information is input.
  • a conversion unit 201, a memory 104, and a motion information expansion unit 202 are interposed.
  • the image signal obtained from the image acquisition unit 101 is 10 bits per pixel
  • the image signal output from the Mdet unit 105 is 16 bits per pixel.
  • the data bus width of the memory 104 in this embodiment is 32 bits.
  • the output signal of the noise reduction unit 103 is stored in the memory 104 in units of frames, and the reading order of the pixels of the memory 104 is adjusted, for example, upside down, left / right inversion, vertical It is possible to convert the scale of the direction (enlargement and reduction), barrel conversion and thread winding conversion. In this case, the motion information is also flipped vertically, flipped horizontally, and enlarged / reduced to maintain the spatial positional relationship with the pixels. That is, motion information needs to be stored in the memory 104.
  • the surplus bit use motion information conversion unit 201 forms the same 32 bits as the data bus width by converting the motion information for 3 pixels into 2 bits and inserting it into 30 bits of pixel data for 3 pixels of output from the noise reduction unit 103.
  • Fig. 3 is a diagram showing the outline of motion information conversion and motion information expansion processing using surplus bits. As shown in this figure, the pixel data of lObit per pixel is 30 bits for 3 pixels, and the motion information for 3 pixels is added to it. Convert to 2bit.
  • the image signal and motion information can be efficiently stored in the memory 104.
  • To combine the motion information for 3 pixels into 2 bits select the maximum or minimum value or average value of the 3 motion information and take the upper 2 bits, or select or add average from the 3 motion information It is conceivable to obtain 2 data by using the threshold processing and use it as lbit motion information, and use this for 2 bits. For example, experiments have shown that it is preferable to use the upper 2 bits of the maximum of the three values for IP conversion, which is one of the subsequent processes.
  • the motion information expansion unit 202 inputs the 3 pixels + motion information 32bit into the Mdet unit 105 in the subsequent stage in a state where the spatial phases of the pixels and the motion information are matched.
  • the horizontal blanking motion information conversion unit 203 is configured to form 3 2 bits for 2 pixels. At this point, it is equal to the memory data nose width, so in this case, multiple pieces of motion information are grouped in 32 bits and the horizontal blanking (H Motion information is entered in Figure 4 shows the outline of horizontal blanking motion information conversion process. If the memory data bus has no room, the image signal and motion information can be stored in memory. The motion information stored in H blanking is expanded and used for IP conversion so that the spatial phase of the pixel and motion information matches. As described above, in this embodiment, by storing motion information and image information in units of a single pixel or a plurality of pixels, it is possible to synchronize motion information and image information and to reduce the amount of data to be stored.
  • the memory capacity and the memory data bus can be used efficiently for processing delay, in particular, processing delay compensation for each frame, and the video signal processing position can be increased while increasing the circuit amount.
  • the detected motion information is processed into signal processing that requires multiple motion information, that is, noise reduction processing, moving object detection processing, interlaced progressive conversion processing, encoding processing, motion information conversion processing using surplus bits, motion Since the information expansion process and the horizontal blanking use motion information conversion process are used in common, the circuit can be shared, and image signal processing using motion information can be performed with a small circuit scale. .
  • the functions of the image processing apparatus 200 according to the second embodiment are recorded as programs on a recording medium such as a magnetic disk, a magneto-optical disk, and a ROM, as with the image processing apparatus 100 according to the first embodiment. can do. Therefore, the function of the image processing apparatus can be realized by reading this recording medium with a computer and executing it with an MPU, DSP, or the like.
  • the program has the following steps in addition to the steps shown in the first embodiment.
  • a motion information expansion step that matches the phase of the image information and the motion information in the margin bits of the video signal
  • a blanking period use motion information conversion step for putting motion information in the blanking period of the video signal.
  • the present invention has an effect that it is possible to perform image processing using motion information with a small circuit scale by means of circuit sharing.
  • the present invention is applied to a monitoring device such as a person tracking device that tracks a person. Is possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　本発明の課題は、画像から検出した動き情報を、異なる画像処理に対して、画像情報との対応を取りながら使用することにより、画像と動き情報の同期を容易にし回路規模を小さくすることのできる検出した動き情報を、複数の動き情報が必要な信号処理において共用して使用する画像処理装置及び画像処理プログラムを提供することである。 　画像取得部（１０１）にて入力された画像信号とメモリ（１０４）に蓄積された画像信号から、動き検出部（１０２）で動き情報を検出し、検出した動き情報を用いて、ノイズ低減部（１０３）でノイズを低減し、モーションディテクタ部（１０５）で動き物体を検出し、ＩＰ変換部（１０６）でインターレース・プログレッシブ変換を行い、さらに符号化部（１０７）で画像の符号化を行う。

Description

明 細 書
画像処理装置及び画像処理プログラム
技術分野
[0001] 本発明は、画像の動き情報を用いた画像処理を行う画像処理装置及び画像処理 プログラムに関する。 背景技術
[0002] 従来、カメラ等の撮像装置で撮影された画像の中で動!ヽて!ヽる物体を示す情報（ 以下、動き情報）は様々な画像処理に利用されている。その一例として画像のノイズ を低減する巡回型ノイズ低減処理が挙げられる。この巡回型ノイズ低減処理は動画 の時間方向における可変パラメータ 'ローパスフィルタであり、フレームメモリを 1フレ ーム用いて以下に示す伝達関数で表すことができる。
H (zF (0) ) = (l -K) / (l -KzF (- l) )
但し、 zF (— 1)は 1フレームの単位遅延演算子である。
[0003] この巡回型ノイズ低減処理は、上述の如く時間方向におけるローパスフィルタであ るので、動き部分は時間的にぼけることになる。このぼけを視覚の残像の範囲に抑え 、視覚上妨害にならないように画像の動き部分ではパラメータ Kを 1 >K>0の範囲で 変化させる。この場合、静止部分では K→lとし (ぼけは原理的に発生しない）、動き 部分では κ→οとする（ぼけないが、雑音低減効果は低くなる)。なお、この動き情報 は上記以外にも「3次元輝度色分離」、「インターレース'プログレッシブ変換」、「動き 物体検出」、「符号化」等の様々な用途に使用される。
[0004] 従来の画像処理装置には、輝度色信号分離回路とノイズ低減回路とを一体化して メモリを兼用するようにしたものがある（例えば、特許文献 1参照)。図 5は、特許文献 1 で開示された輝度色信号分離回路及びノイズ低減回路の概略構成を示すブロック 図である。この図において、入力端子 1に供給される複合映像入力信号が（1 Κ)倍 の重み付け回路 2を通じて加算器 3及び 4に供給される。また、重み付け回路 2から の信号がセレクタ 5を通じてメモリ 6に記憶され、例えば 1フレーム前の信号が反転回 路 7を通じて加算器 3に供給されるとともに、直接加算器 4に供給される。そして、これ らの加算器 3及び 4からの信号が夫々出力端子 8及び 9から取り出される。さらに、加 算器 3及び 4力もの信号がそれぞれ K倍の重み付け回路 10及び 11を通じて加算器 12で加算され、セレクタ 5を通じてメモリ 6に記憶されるとともに、セレクタ 5の切り替え が端子 13に供給される動き検出信号により制御される。そして、例えば複合映像入 力信号の動き検出された画素について重み付け回路 2からの信号が選択される。
[0005] 動きの検出されな力つた画素については不規則なノイズ成分が低減されるとともに 、複合映像信号から輝度信号及び色信号を分離する処理が行われる。そして、重み 付け Kの値を大きくすることによってノイズ低減効果を強めることができる。即ち、ノィ ズ成分の低減される画素は動きの検出されな力つた画素に限られているので、 の 値を大きくしてノイズ低減効果を強めることができる。この画像処理装置では、メモリを 兼用するようにしたことでそれに力かるコストが削減された (特許文献 1)。
[0006] 特許文献 1：特開 2002— 330447号公報
発明の開示
発明が解決しょうとする課題
[0007] しかしながら、従来技術で述べた画像処理装置の動き情報は、画素単位のもので あり、この動き情報をノイズ除去後の画像力 動き物体を認識しょうとすると、別の動 き検出手段が必要となるため、同期を取るのが難しく回路規模が大きくなるという課 題があった。
[0008] 本発明は、係る事情に鑑みてなされたものであり、画像力 検出した動き情報を、 異なる画像処理に対して、画像情報との対応を取りながら使用することにより、画像と 動き情報の同期を容易にし回路規模を小さくすることのできる検出した動き情報を、 複数の動き情報が必要な信号処理において共用して使用する画像処理装置及び画 像処理プログラムを提供することを目的とする。
課題を解決するための手段
[0009] 上記目的は下記構成及びプログラムにより達成される。
(1) 画像取得手段より得られる画像信号に対して画像処理を行う画像処理装置で あって、前記画像取得手段より得られる複数フレームの画像情報力 動き情報を検 出する動き検出手段と、前記動き検出手段で検出された動き情報を用いて画像信号 に含まれるノイズを低減するノイズ低減手段と、前記動き検出手段で検出された動き 情報を用いてノイズ低減処理後の画像信号カゝら動き物体を検出する動き物体検出 手段と、前記画像取得手段で扱う画像信号力 Sインターレース画像形式である場合、 前記動き検出手段で検出された動き情報を用いて該画像信号をプログレッシブ画像 形式に変換するインターレース'プログレッシブ変換手段と、前記動き検出手段で検 出された動き情報を用いて、前記インターレース'プログレッシブ変換手段又は前記 動き物体検出手段いずれか一方力ゝらの画像情報を符号ィ匕する符号ィ匕手段と、を備 える。
[0010] この構成により、検出した動き情報を複数の動き情報が必要な信号処理即ちノイズ 低減処理、動き物体検出処理、インターレース'プログレッシブ変換処理及び符号ィ匕 処理の夫々において同期を取りながら共用して使用するようにしたので、回路の共有 化が可能となり、少ない回路規模で動き情報を用いる画像信号処理を行うことができ る。
[0011] (2) 上記（1)に記載の画像処理装置において、前記画像取得手段からの映像信号 の余裕ビットに動き情報を入れる余裕ビット使用動き情報変換手段と、画像情報と映 像信号の余裕ビットに入れられた動き情報との位相を合せる動き情報展開手段と、 前記映像信号のブランキング期間に動き情報を入れるブランキング期間使用動き情 報変換手段とを備える。
[0012] この構成により、処理遅延特にフレーム単位の処理遅延補償にメモリ容量やメモリ データバスを効率よく使用でき、少ない回路量増ながら画像信号処理位置が限定さ れず、検出した動き情報を、複数の動き情報が必要な信号処理即ちノイズ低減処理 、動き物体検出処理、インターレース'プログレッシブ変換処理、符号化処理、余りビ ット使用動き情報変換処理、動き情報展開処理、水平ブランキング使用動き情報変 換処理の夫々において同期を取りながら共用して使用するようにしたので、回路の共 有ィ匕が可能となり、少ない回路規模で動き情報を用いる画像信号処理を行うことがで きる。
[0013] (3) 撮像装置より得られる画像信号に対して画像処理を行う画像処理プログラムで あって、前記撮像装置より得られる複数フレームの画像情報力 動き情報を検出する 動き検出ステップと、検出した動き情報を用いて画像信号に含まれるノイズを低減す るノイズ低減ステップと、前記検出した動き情報を用いてノイズ低減処理後の画像信 号から動き物体を検出する動き物体検出ステップと、前記撮像装置で扱う画像信号 力 Sインターレース画像形式である場合、検出した動き情報を用いて該画像信号をプ ログレツシブ画像形式に変換するインターレース ·プログレッシブ変換ステップと、検 出した動き情報を用いて、プログレッシブ画像形式変換後の画像情報又は動き物体 検出後の画像情報のいずれか一方を符号ィ匕する符号化ステップと、を備え、コンビュ ータに前記各ステップを実行させる。
[0014] これにより、検出した動き情報を複数の動き情報が必要な信号処理即ちノイズ低減 処理、動き物体検出処理、インターレース'プログレッシブ変換処理及び符号化処理 の夫々において同期を取りながら共用して使用するようにしたので、回路の共有ィ匕が 可能となり、少ない回路規模で動き情報を用いる画像信号処理を行うことができる。
[0015] (4) 上記（3)に記載の画像処理プログラムにおいて、前記撮像装置からの映像信 号の余裕ビットに動き情報を入れる余裕ビット使用動き情報変換ステップと、画像情 報と映像信号の余裕ビットに入れた動き情報との位相を合せる動き情報展開ステップ と、映像信号のブランキング期間に動き情報を入れるブランキング期間使用動き情報 変換ステップと、を備える。
[0016] これにより、処理遅延特にフレーム単位の処理遅延補償にメモリ容量やメモリデー タバスを効率よく使用でき、少ない回路量増ながら画像信号処理位置が限定されず 、検出した動き情報を、複数の動き情報が必要な信号処理即ちノイズ低減処理、動 き物体検出処理、インターレース'プログレッシブ変換処理、符号化処理、余りビット 使用動き情報変換処理、動き情報展開処理、水平ブランキング使用動き情報変換処 理の夫々において同期を取りながら共用して使用するようにしたので、回路の共有化 が可能となり、少ない回路規模で動き情報を用いる画像信号処理を行うことができる
発明の効果
[0017] 本発明の画像処理装置は、検出した動き情報を複数の動き情報が必要な信号処 理即ちノイズ低減処理、動き物体検出処理、インターレース'プログレッシブ変換処 理及び符号ィ匕処理の夫々において同期を取りながら共用して使用するようにしたの で、回路の共有ィ匕が可能となり、少ない回路規模で動き情報を用いる画像信号処理 を行うことができる。
図面の簡単な説明
[0018] [図 1]本発明の実施の形態 1に係る画像処理装置の概略構成を示すブロック図 [図 2]本発明の実施の形態 2に係る画像処理装置の概略構成を示すブロック図 [図 3]図 2の画像処理装置における余りビット使用動き情報変換及び動き情報展開処 理概要を示す図
[図 4]図 2の画像処理装置における水平ブランキング使用動き情報変換処理概要を 示す図
[図 5]従来の輝度色信号分離及びノイズ低減回路の概略構成を示すブロック図 符号の説明
100、 200 画像処理装置
101 画像取得部
102 動き検出部
103 ノイズ低減部
104 メモリ
105 モーションディテクタ部
106 インターレース ·プログレッシブ変換部
107 符号化部
201 余りビット使用動き情報変換部
202 動き情報展開部
203 水平ブランキング使用動き情報変換部
発明を実施するための最良の形態
[0020] 以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細 に説明する。
[0021] (実施の形態 1)
図 1は、本発明の実施の形態 1に係る画像処理装置の概略構成を示- である。この図において、本実施の形態の画像処理装置 100は、画像信号を取得す る画像取得部 101と、画像中の動きを検出する動き検出部 102と、フレームメモリを 用いたノイズ低減処理を行うノイズ低減部 103と、メモリ 104と、画像中の動物体を検 出する Mdet (モーションディテクタ）部 105と、 IP (インターレース ·プログレッシブ）変 換部 106と、符号ィ匕部 107とを備えている。
[0022] 上記構成において、動き情報を必要とする処理は、ノイズ低減部 103、 Mdet部 10 5、 IP変換部 106及び符号ィ匕部 107である。画像取得部 101は画像信号を取得する 。この場合、取得する画像信号はカラーや白黒、時分割カラー (補色、原色)、標本 化及び量子化の程度等は問わない。動き検出部 102は、画像取得部 101で取得さ れた画像信号とメモリ 104に格納されている画像信号とを比較することで動き情報を 取得する。この場合、メモリ 104に格納されている画像信号は、現時点で画像取得部 101にて取得された画像とは時間差をもった画像である。また、空間的に同じ画素の 比較を行うことが望ましい。
[0023] ここで、例えば異なるフィールド間で動き情報を得る場合は一方の画像信号につ!ヽ て補間等を行うことによって、もう一方の画像信号との空間的位置を合せて力も比較 して動き情報を得ることが望ましい。動き情報の検出方法については、画素ごとの信 号レベル比較という簡単な処理によっても可能である。また、処理能力に余裕がある のであれば、ブロックマッチング処理などによって動きベクトルを検出しても良い。本 実施の形態では、これら全てを含めて以下では動き情報 mと呼ぶものとする。
[0024] ノイズ低減部 103は時間方向のローパスフィルタリングを行う。ローパスフィルタの 形式は巡回型が少な ヽフレームメモリで高!ゾィズ低減効果が得られるので好ま ヽ 。フィルタを可変パラメータ 'ローパスフィルタとして以下の伝達関数で表されるとする
[0025] H (zF (0) ) = (l -K) / (l -KzF (- l) )
但し、 zF (— 1)は 1フレームの単位遅延演算子である。
[0026] 視覚上妨害にならないように、画像の動き部分ではパラメータ Kを 1 >K>0の範囲 で変化させる。動き検出部 102で検出した動き情報 mの写像としてパラメータ Κを生 成し、静止部分では K→lとし、動き部分では Κ→0とすることによって、ぼけの出難い 巡回型ノイズ低減処理を行うことができる。
[0027] ここで、ノイズ低減処理を行った画像信号をー且メモリ 104にフレーム単位で格納 するならばメモリ 104からの画素の読出し順序を調整することによって、上下反転や 左右反転、垂直方向の縮尺変換 (拡大や縮小)、樽型変換や糸巻き方変換を行うこ とが可能である。この場合、動き情報も上下反転や左右反転、拡大縮小処理等を行 い、画素との空間的位置関係を保つようにする必要がある。上記変換が不要ならばノ ィズ低減処理出力を次段の Mdet部 105に直接入力しても良い。本実施の形態では 、上記変換を実施しな 、状態としてノイズ低減処理出力画像信号を次段の Mdet部 1 05に直接入力する形態をとつて 、る。
[0028] Mdet部 105は、動き検出部 102で得た動き情報から実世界で本当に動いている 物体を検出する。画像取得部 101がパンチルト機能付きカメラといったパンやチルト 可能なものである場合のパンチルト実施時、シーンチェンジやそのものの物理的な振 動ゃブレ (カメラ設置場所の振動やカメラそのもののブレ)発生時には全画面で動き が検出される。このような状況において、動き情報として動き量を検出していれば，画 面全体で略同量の動き情報が得られるだろうし、動きベクトルを検出していれば画面 全体で略同じベクトルの向き及び大きさの動き情報が得られる。つまり、画面全体か ら動きが検出されるが、実世界上で動 、て 、る物体によって全画面が占められて!/ヽ るわけではな 、。このような場合に被写体である実世界上で本当に動 、て 、る物体 を検出する。
[0029] 動物体を検出するには、全画面で一様な動き情報が得られる状態を検出して、動 き情報 mを補償しても良い。また、パンチルト情報として角度や角速度 (図示せず)が 得られるのであれば、その情報力 画像信号上に一様に現れるであろう動き情報 m を算出して、実際に得られた動き情報 mを補償しても良い。画像取得部 101に角速 度センサ（図示せず)などを取り付けて、振動やブレの情報が得られようにする場合も 同様に動き情報 mより動物体を検出することができる。
[0030] 次に、処理対象画像信号がインターレース形式であるならば、画像信号をー且メモ リ 104に格納して、 IP変換部 106にてプログレッシブ画像への変換が可能である。ィ ンターレース画像即ち飛び越し走査によって得られる画像は、互いに空間的位置を 補間し合う複数枚の画像を空間位相の順に並べ替えることによって本来の一枚の画 像 (プログレッシブ:順次走査画像）が得られる。 2 : 1インターレースであれば、互いに 空間位相の異なる 2枚の画像を空間位相の順に並べ替えることによって本来の 1枚 の画像が得られる。但し、インターレース画像は時間差をもって撮像されるので、画 像中に動物体が存在する、照度などの画像取得条件が変化する、画像取得部 101 そのものが物理的に動く（即ち振動、ブレ、パンチルトなど）といった場合には、単純 に並べ替えを行うと画像の動き発生部分に櫛型の画像乱れが発生する。
[0031] したがって、動き検出部 102で検出された動き情報 mを用いて、動きが検出された 部分では画素の補間を行う。 Aフィールド画像と Bフィールド画像力 プログレッシブ 画像を作成する場合、動きがない部分では AB交互に画像信号を並べ替え、動きが 検出された部分では、例えば片方フィールドの画像信号による補間によって、もう片 方フィールド空間位相の画像信号を生成する。
[0032] なお、画像取得部 101で取得される画像信号がプログレッシブ画像である場合、 IP 変換部 106をスルーして、 Mdet部 105の出力を直接符号ィ匕部 107に入力すれば良 い (信号経路は図示せず)。
[0033] 次に、符号化部 107で動画像を符号化する。一般に動画像の符号ィ匕では前のフレ ームとの画素相関を利用するフレーム間予測符号ィ匕が用いられる。この符号化では フレーム間差分が符号化されるが、予測効果を高めるために動き補償フレーム間予 測が用いられる。フレーム間の空間的な動きを比較的小さな領域ごとに検出して、そ の分だけずらした上でフレーム間予測を行う。動き情報 mが動き量であれば、検出さ れた動き量が多い場合はフレーム内予測、少ない場合フレーム間予測を行うことが できる。動きベクトルであれば、動き補償フレーム間予測によって符号ィ匕することがで きる。
[0034] このように本実施の形態の画像処理装置 100によれば、検出した動き情報を複数 の動き情報が必要な信号処理即ちノイズ低減処理、動き物体検出処理、インターレ ース.プログレッシブ変換処理及び符号ィ匕処理の夫々において共用して使用できる ようにしたので、回路の共有ィ匕によって少ない回路規模で動き情報を用いる画像信 号処理を行うことができる。 [0035] なお、上記実施の形態 1の画像処理装置 100の機能は、磁気ディスク、光磁気ディ スク、 ROM等の記録媒体にプログラムとして記録することができる。したがって、この 記録媒体をコンピュータで読み取って、 MPU (Micro
Processing Unit) , DSP (Digital Signal Processor)等で実行することにより画像処理 装置の機能を実現することができる。そのプログラムは、以下のステップを備える。
[0036] 画像取得部 101より得られる複数フレームの画像情報力も動き情報を検出する動き 検出ステップ；
検出した動き情報を用いて画像信号に含まれるノイズを低減するノイズ低減ステツ プ；
前記検出した動き情報を用いてノイズ低減処理後の画像信号力 動き物体を検出 する動き物体検出ステップ；
画像取得部 101で扱う画像信号力 Sインターレース画像形式である場合、検出した 動き情報を用いて該画像信号をプログレッシブ画像形式に変換するインターレース · プログレッシブ変換ステップ；
検出した動き情報を用いて、プログレッシブ画像形式変換後の画像情報又は動き 物体検出後の画像情報のいずれか一方を符号ィ匕する符号化ステップ。
[0037] (実施の形態 2)
図 2は、本発明の実施の形態 2に係る画像処理装置の概略構成を示すブロック図 である。先に述べた実施の形態 1 (図 1)とは構成は略同じである。以下に、実施の形 態 1との相違点について図 2、図 3、図 4を参照して説明する。
[0038] 図 2において、実施の形態 2の画像処理装置 200は、実施の形態 1の画像処理装 置 100に加え、余りビット使用動き情報変換部 201と、動き情報展開部 202と、水平 ブランキング使用動き情報変換部 203とを備える。ここで、一般的な画像では 1画素 あたり、一般的カラー画像であれば YUV (ワイユーブイ) 422として 16bit程度、撮像 素子からの生データであれば、 lObit以上のデータ量を持つことが多い。ここで、 YU Vとは、輝度信号 (Y)と、輝度信号と青色成分の差 (U)と、輝度信号と赤色成分の差 (V)の 3つの情報で色を表す形式である。また実施の形態 1では、 Mdet部 105の入 力がノイズ低減部 103であったのに対し、実施の形態 2では、余りビット使用動き情報 変換部 201、メモリ 104、動き情報展開部 202が間に入っている。
[0039] 本実施の形態では、画像取得部 101から得られる画像信号を 1画素あたり 10bit、 Mdet部 105から出力される画像信号 1画素あたり 16bitとする。さらに本実施の形態 におけるメモリ 104のデータバス幅を 32bitとする。また、本実施の形態ではノイズ低 減部 103の出力信号をー且メモリ 104にフレーム単位で格納し、メモリ 104力 の画 素の読出し順序を調整することによって、例えば上下反転や左右反転、垂直方向の 縮尺変換 (拡大や縮小)、樽型変換や糸巻き方変換を可能な構成としている。この場 合、動き情報も上下反転や左右反転、拡大縮小処理等を行い、画素との空間的位 置関係を保つ。つまり、動き情報もメモリ 104に格納する必要がある。
[0040] ここで、動き検出部 102で検出される動き情報について考える。余りビット使用動き 情報変換部 201は、ノイズ低減部 103の出力 3画素分の画素データ 30bitに、 3画素 分の動き情報を 2bitに変換して挿入することによって、データバス幅と同じ 32bitを 構成する。図 3は余りビット使用動き情報変換及び動き情報展開処理概要を示す図 であり、この図に示すように 1画素あたり lObitの画素データが 3画素分で 30bitとなり 、それに 3画素分の動き情報を 2bitに変換して 、る。
[0041] メモリデータバスに余裕がある場合に、メモリ 104に効率よく画像信号と動き情報を 格納することができる。 3画素分の動き情報を 2bitにまとめるには、 3つの動き情報の 最大値や最小値や平均値を算出して上位 2bitをとる、といった方法や、 3つの動き情 報から、選択もしくは加算平均によって 2データを得て、閾値処理によって lbitの動 き情報とし、これを 2つ分で 2bitに充てる、といった方法が考えられる。例えば、後段 処理の一つである IP変換処理のためには、 3値中の最大値の上位 2bitを充てる方 法が好ましいことが実験で明らかになつている。 3画素 +動き情報 32bitは、メモリ 10 4から読み出された時点で、動き情報展開部 202によって、画素と動き情報の空間的 位相が合せられた状態で後段の Mdet部 105に入力される。
[0042] さらに、 Mdet部 105から出力される画像信号と動き情報について考える。水平ブラ ンキング使用動き情報変換部 203は、画像信号が 1画素 16bitなので、 2画素分で 3 2bitを構成するようにする。この時点でメモリデータノ ス幅と等しいので、この場合に は複数の動き情報を 32bit分でひとまとまりにして、映像の水平ブランキング (Hブラ ンキング）に動き情報を入れる。図 4は水平ブランキング使用動き情報変換処理概要 を示す図である。メモリデータバスに余裕が無い場合には画像信号と動き情報をメモ リに格納することができる。 Hブランキングに格納された動き情報は、画素と動き情報 の空間的位相が合うように展開されて IP変換に使用される。このように本実施の形態 では、動き情報と画像情報を単一あるいは複数の画素単位で保持することにより、動 き情報と画像情報の同期を取り、保持するデータ量も減らすことができる。
[0043] また、本実施の形態の画像処理装置 200によれば、処理遅延特にフレーム単位の 処理遅延補償にメモリ容量やメモリデータバスを効率よく使用でき、少ない回路量増 ながら映像信号処理位置が限定されず、検出した動き情報を、複数の動き情報が必 要な信号処理即ちノイズ低減処理、動き物体検出処理、インターレース'プログレッシ ブ変換処理、符号化処理、余りビット使用動き情報変換処理、動き情報展開処理、 水平ブランキング使用動き情報変換処理の夫々において共用して使用するようにし たので、回路の共有ィ匕が可能となり、少ない回路規模で動き情報を用いる画像信号 処理を行うことができる。
[0044] なお、上記実施の形態 2の画像処理装置 200の機能は、上記実施の形態 1の画像 処理装置 100と同様に、磁気ディスク、光磁気ディスク、 ROM等の記録媒体にプロ グラムとして記録することができる。したがって、この記録媒体をコンピュータで読み取 つて、 MPU、 DSP等で実行することにより画像処理装置の機能を実現することがで きる。そのプログラムは、実施の形態 1で示したステップの他に、以下のステップを備 える。
[0045] 画像取得部 101からの映像信号の余裕ビットに動き情報を入れる余裕ビット使用動 き情報変換ステップ；
画像情報と映像信号の余裕ビットに入れた動き情報との位相を合せる動き情報展 開ステップ；
映像信号のブランキング期間に動き情報を入れるブランキング期間使用動き情報 変換ステップ。
[0046] 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲 を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明ら かである。
[0047] 本出願は、 2005年 4月 19日出願の日本特許出願 (特願 2005— 121218)に基づ くものであり、その内容はここに参照として取り込まれる。
産業上の利用可能性
[0048] 本発明は、回路の共有ィ匕によって少ない回路規模で動き情報を用いる画像処理を 行うことができるといった効果を有し、例えば人物を追尾する人物追尾装置等の監視 装置などへの適用が可能である。

Claims

請求の範囲
[1] 画像取得手段より得られる画像信号に対して画像処理を行う画像処理装置であつ て、
前記画像取得手段より得られる複数フレームの画像情報力 動き情報を検出する 動き検出手段と、
前記動き検出手段で検出された動き情報を用いて画像信号に含まれるノイズを低 減するノイズ低減手段と、
前記動き検出手段で検出された動き情報を用いてノイズ低減処理後の画像信号か ら動き物体を検出する動き物体検出手段と、
前記画像取得手段で扱う画像信号がインターレース画像形式である場合、前記動 き検出手段で検出された動き情報を用いて該画像信号をプログレッシブ画像形式に 変換するインターレース ·プログレッシブ変換手段と、
前記動き検出手段で検出された動き情報を用いて、前記インターレース'プログレ ッシブ変換手段又は前記動き物体検出手段いずれか一方からの画像情報を符号化 する符号化手段と、
を備える画像処理装置。
[2] 前記画像取得手段力もの映像信号の余裕ビットに動き情報を入れる余裕ビット使 用動き情報変換手段と、
画像情報と映像信号の余裕ビットに入れられた動き情報との位相を合せる動き情 報展開手段と、
前記映像信号のブランキング期間に動き情報を入れるブランキング期間使用動き 情報変換手段と、
を備える請求項 1に記載の画像処理装置。
[3] 撮像装置より得られる画像信号に対して画像処理を行う画像処理プログラムであつ て、
前記撮像装置より得られる複数フレームの画像情報力 動き情報を検出する動き 検出ステップと、
検出した動き情報を用いて画像信号に含まれるノイズを低減するノイズ低減ステツ プと、
前記検出した動き情報を用いてノイズ低減処理後の画像信号力 動き物体を検出 する動き物体検出ステップと、
前記撮像装置で扱う画像信号がインターレース画像形式である場合、検出した動 き情報を用いて該画像信号をプログレッシブ画像形式に変換するインターレース ·プ ログレツシブ変換ステップと、
検出した動き情報を用いて、プログレッシブ画像形式変換後の画像情報又は動き 物体検出後の画像情報のいずれか一方を符号ィ匕する符号化ステップと、
を備え、コンピュータに前記各ステップを実行させる画像処理プログラム。
前記撮像装置力もの映像信号の余裕ビットに動き情報を入れる余裕ビット使用動き 情報変換ステップと、
画像情報と映像信号の余裕ビットに入れた動き情報との位相を合せる動き情報展 開ステップと、
映像信号のブランキング期間に動き情報を入れるブランキング期間使用動き情報 変換ステップと、
を備えた、請求項 3に記載の画像処理プログラム。
PCT/JP2006/305277 2005-04-19 2006-03-16 画像処理装置及び画像処理プログラム Ceased WO2006114951A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP06729270A EP1874039A4 (en) 2005-04-19 2006-03-16 IMAGE PROCESSING DEVICE AND PICTURE PROCESSING PROGRAM
US11/911,430 US7961961B2 (en) 2005-04-19 2006-03-16 Image processing apparatus and image processing program using motion information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-121218 2005-04-19
JP2005121218A JP4861636B2 (ja) 2005-04-19 2005-04-19 画像処理装置及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2006114951A1 true WO2006114951A1 (ja) 2006-11-02

Family

ID=37214582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305277 Ceased WO2006114951A1 (ja) 2005-04-19 2006-03-16 画像処理装置及び画像処理プログラム

Country Status (5)

Country Link
US (1) US7961961B2 (ja)
EP (1) EP1874039A4 (ja)
JP (1) JP4861636B2 (ja)
CN (1) CN100583949C (ja)
WO (1) WO2006114951A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1995948A3 (en) * 2007-05-23 2011-01-12 Sony Corporation Image processing
US8447130B2 (en) 2007-12-31 2013-05-21 Intel Corporation History-based spatio-temporal noise reduction

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4861636B2 (ja) * 2005-04-19 2012-01-25 パナソニック株式会社 画像処理装置及び画像処理プログラム
JP2008182476A (ja) * 2007-01-24 2008-08-07 Canon Inc 変化予測値算出装置及びｉｐ変換処理装置
JP4556982B2 (ja) * 2007-10-01 2010-10-06 ソニー株式会社 映像信号処理装置および映像信号処理方法
JP5715436B2 (ja) * 2011-02-21 2015-05-07 キヤノン株式会社 撮像装置、及びその制御方法
KR101331097B1 (ko) * 2012-05-23 2013-11-19 주식회사 코아로직 필름 영상을 티브이 영상으로 변환하기 위한 방법 및 장치
US8948497B2 (en) * 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112871A (ja) * 1997-09-30 1999-04-23 Sony Corp 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体
JP2000032494A (ja) * 1998-07-16 2000-01-28 Matsushita Electric Ind Co Ltd 映像信号処理回路および映像信号処理方法
JP2000115719A (ja) 1998-10-05 2000-04-21 Sony Corp 動き検出装置および動き検出方法、並びにそれを利用した走査線変換装置およびテレビ受信機
JP2002330447A (ja) 2001-04-27 2002-11-15 Sony Corp 輝度色信号分離及びノイズ低減回路
JP2003179886A (ja) * 2001-12-13 2003-06-27 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4665437A (en) * 1985-02-04 1987-05-12 Rca Corporation Adaptive field or frame store processor
US4933765A (en) * 1988-08-30 1990-06-12 General Electric Company Enhanced TV system using transmitted error signals
US5353119A (en) * 1990-11-15 1994-10-04 Sony United Kingdom Limited Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
JP3332093B2 (ja) * 1992-09-04 2002-10-07 株式会社東芝 テレビジョン信号処理装置
US6124900A (en) * 1997-02-14 2000-09-26 Texas Instruments Incorporated Recursive noise reduction for progressive scan displays
US6108041A (en) * 1997-10-10 2000-08-22 Faroudja Laboratories, Inc. High-definition television signal processing for transmitting and receiving a television signal in a manner compatible with the present system
US6014182A (en) * 1997-10-10 2000-01-11 Faroudja Laboratories, Inc. Film source video detection
JP2000270301A (ja) * 1999-03-15 2000-09-29 Toshiba Corp 映像信号処理装置
JP4000844B2 (ja) 2001-12-11 2007-10-31 日本電気株式会社 コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム
US7375760B2 (en) * 2001-12-31 2008-05-20 Texas Instruments Incorporated Content-dependent scan rate converter with adaptive noise reduction
KR100484182B1 (ko) * 2002-12-03 2005-04-20 삼성전자주식회사 디인터레이싱 장치 및 방법
EP1443776B1 (en) * 2003-01-29 2012-08-15 Sony Deutschland GmbH Video signal processing system
JP4261970B2 (ja) * 2003-04-24 2009-05-13 キヤノン株式会社 映像情報処理装置及び映像情報処理方法
JP3915802B2 (ja) * 2004-07-06 2007-05-16 株式会社日立製作所 画像復号化方法および画像復号化装置
JP4861636B2 (ja) * 2005-04-19 2012-01-25 パナソニック株式会社 画像処理装置及び画像処理プログラム
GB2431802A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Interpolating pixels
GB2444529A (en) * 2006-12-06 2008-06-11 Sony Uk Ltd Motion adaptive image processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112871A (ja) * 1997-09-30 1999-04-23 Sony Corp 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体
JP2000032494A (ja) * 1998-07-16 2000-01-28 Matsushita Electric Ind Co Ltd 映像信号処理回路および映像信号処理方法
JP2000115719A (ja) 1998-10-05 2000-04-21 Sony Corp 動き検出装置および動き検出方法、並びにそれを利用した走査線変換装置およびテレビ受信機
JP2002330447A (ja) 2001-04-27 2002-11-15 Sony Corp 輝度色信号分離及びノイズ低減回路
JP2003179886A (ja) * 2001-12-13 2003-06-27 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GERARD DE HAAN, IEEE, vol. 45, no. 3, 1 August 1999 (1999-08-01)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1995948A3 (en) * 2007-05-23 2011-01-12 Sony Corporation Image processing
US8243150B2 (en) 2007-05-23 2012-08-14 Sony Corporation Noise reduction in an image processing method and image processing apparatus
US8447130B2 (en) 2007-12-31 2013-05-21 Intel Corporation History-based spatio-temporal noise reduction

Also Published As

Publication number Publication date
JP4861636B2 (ja) 2012-01-25
EP1874039A4 (en) 2010-09-29
JP2006303797A (ja) 2006-11-02
US20090022408A1 (en) 2009-01-22
CN100583949C (zh) 2010-01-20
US7961961B2 (en) 2011-06-14
CN101164332A (zh) 2008-04-16
EP1874039A1 (en) 2008-01-02

Similar Documents

Publication Publication Date Title
US8102436B2 (en) Image-capturing apparatus and method, recording apparatus and method, and reproducing apparatus and method
EP2161928B1 (en) Image processing device, image processing method, and program
JP5359783B2 (ja) 画像処理装置および方法、並びにプログラム
EP0883298A2 (en) Conversion apparatus for image signals and TV receiver
US10587892B2 (en) Image processing apparatus, image processing method, and program for generating motion compensated image data
WO2006019484A1 (en) Processing of video data to compensate for unintended camera motion between acquired image frames
JP4092778B2 (ja) 画像信号の方式変換装置及びテレビジョン受像機
JP2010021698A (ja) 画像処理装置およびプログラム
JP2009100373A (ja) ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
JP4489033B2 (ja) フレームレート変換装置、パン・チルト判定装置および映像装置
US8923400B1 (en) Method and/or apparatus for multiple pass digital image stabilization
JP3864444B2 (ja) 画像信号処理装置および方法
JP4861636B2 (ja) 画像処理装置及び画像処理プログラム
JP2008252767A (ja) ノイズ低減装置、ノイズ低減方法、及び電子機器
JP3201079B2 (ja) インターレース動画像信号の動き補償予測方法、符号化方法及び装置
WO1992007443A1 (en) Picture movement detector
JP2007122232A (ja) 画像処理装置及びプログラム
JP2004320279A (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
JP2005045700A (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
JPH0779459B2 (ja) 動き補正装置
JP3907623B2 (ja) 映像信号符号化・復号化装置及び符号化・復号化方法
JPH0414980A (ja) テレビジョン信号内挿方式
JPH0715654A (ja) 静止画像合成方法
JP4407475B2 (ja) カメラ画像処理装置
JP2005175571A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680013086.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11911430

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006729270

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006729270

Country of ref document: EP