[go: up one dir, main page]

WO2015186284A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2015186284A1
WO2015186284A1 PCT/JP2015/001856 JP2015001856W WO2015186284A1 WO 2015186284 A1 WO2015186284 A1 WO 2015186284A1 JP 2015001856 W JP2015001856 W JP 2015001856W WO 2015186284 A1 WO2015186284 A1 WO 2015186284A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
processing apparatus
image processing
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/001856
Other languages
English (en)
French (fr)
Inventor
高橋　修一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US15/127,655 priority Critical patent/US20170148177A1/en
Priority to JP2016525671A priority patent/JP6558365B2/ja
Publication of WO2015186284A1 publication Critical patent/WO2015186284A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Definitions

  • the present technology relates to an image processing apparatus, an image processing method, and a program capable of generating an image using motion illusion.
  • Non-Patent Document 1 There is known a technique capable of generating a plurality of still images from which a moving image can be obtained when continuously reproduced from a still image (Non-Patent Document 1). More specifically, a function including a phase parameter is applied to a still image as a spatial filter, and processing is performed by a plurality of spatial filters in which the phase parameter is changed, thereby generating a plurality of still images. It is possible to give an impression that the subject is moving by continuously reproducing the generated still images.
  • Non-Patent Document 1 can only express movements of the same size and orientation in the entire image.
  • an object of the present technology is to provide an image processing apparatus, an image processing method, and a program capable of generating an output image group that makes an appropriate movement feel for each processing unit of an input image. It is in.
  • an image processing apparatus includes a control amount defining unit and a filter generating unit.
  • regulation part prescribes
  • the filter generation unit generates a plurality of spatial filters capable of generating an output image group for perceiving the motion from the input image based on the prescribed control amount for each processing unit.
  • control amount may be an amount that defines at least one of the magnitude and direction of the perceived movement.
  • the image information may include a feature amount extracted from the input image.
  • the perceived movement can be made in accordance with the depth information in the input image, the subject, the composition, and the like, and it is possible to generate an output image that gives a more realistic feeling.
  • the feature amount includes depth information of the input image
  • the control amount defining unit may define the control amount based on the depth information so that a position processing unit with a shallow depth perceives the motion larger than a processing unit with a deep depth.
  • the feature amount includes scene information about a scene estimated from the input image
  • the control amount defining unit may define a control amount for each processing unit based on the scene information.
  • the scene information may include information on the structure of the space in the input image.
  • the scene information may include information on the type of subject of the input image.
  • the feature amount includes information about at least one position of a vanishing point and a vanishing line of the input image
  • the control amount defining unit may define the control amount so as to perceive a movement toward or away from at least one of the vanishing point and the vanishing line.
  • the input image is one of a plurality of images that include the same subject and can be reproduced continuously in time
  • the feature amount includes information about a motion vector in the input image of the subject estimated from the plurality of images
  • the control amount defining unit may define the magnitude and direction of the motion as a control amount based on the motion vector.
  • the feature amount includes information about a gaze area estimated to be gazed in the input image
  • regulation part may prescribe
  • the image processing apparatus includes: An image acquisition unit for acquiring the input image; You may further comprise the image information analysis part which analyzes the said image information from the said input image.
  • each of the plurality of spatial filters may include a function expressed by a trigonometric function having different phase parameter values.
  • Each of the plurality of spatial filters may include a Gabor filter having a different phase parameter value.
  • a storage unit that stores a lookup table including a plurality of array groups that can be applied as the plurality of spatial filters;
  • the filter generation unit may select an array group based on the control amount from the lookup table for each processing unit.
  • the image processing apparatus includes You may further comprise the process execution part which produces
  • An image processing method includes a step of defining a control amount of motion to be perceived for each processing unit based on image information of an input image including a plurality of processing units. For each processing unit, a plurality of spatial filters capable of generating an output image group for perceiving the motion from the input image is generated based on the specified control amount.
  • a program according to an embodiment of the present technology is stored in an information processing device. Defining a control amount of motion perceived for each processing unit based on image information of an input image including a plurality of processing units; Generating a plurality of spatial filters capable of generating an output image group for perceiving the movement from the input image based on the prescribed control amount for each processing unit.
  • an image processing apparatus As described above, according to the present technology, it is possible to provide an image processing apparatus, an image processing method, and a program capable of generating an output image group that makes an appropriate motion feel for each processing unit of an input image.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the image processing apparatus 100 according to the first embodiment of the present technology.
  • the image processing apparatus 100 can be configured as an information processing apparatus in the present embodiment.
  • the image processing apparatus 100 may be an information processing apparatus such as a PC (Personal Computer), a tablet PC, a smartphone, or a tablet terminal.
  • an image processing apparatus 100 includes a controller 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, an input / output interface 15, and a bus 14 that connects these components to each other.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the controller 11 appropriately accesses the RAM 13 or the like as necessary, and comprehensively controls each block of the image processing apparatus 100 while performing various arithmetic processes.
  • the controller 11 may be a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the ROM 12 is a non-volatile memory in which an OS to be executed by the controller 11 and firmware such as programs and various parameters are fixedly stored.
  • the RAM 13 is used as a work area of the controller 11 and temporarily holds the OS, various applications being executed, and various data being processed.
  • the input / output interface 15 is connected to a display 16, an operation receiving unit 17, a storage unit 18, a communication unit 19, and the like.
  • the input / output interface 15 may be configured to be connectable to an external peripheral device via a USB (Universal Serial Bus) terminal, an IEEE terminal, or the like in addition to these elements.
  • the input / output interface 15 may be connected to an imaging unit (not shown).
  • the display 16 is a display device using, for example, an LCD (Liquid Crystal Display), an OLED (Organic Light Emitting Diode), a CRT (Cathode Ray Tube), or the like.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Diode
  • CRT Cathode Ray Tube
  • the operation receiving unit 17 is, for example, a pointing device such as a mouse, a keyboard, a touch panel, and other input devices.
  • the operation reception unit 17 is a touch panel, the touch panel can be integrated with the display 16.
  • the storage unit 18 is, for example, a nonvolatile memory such as an HDD (Hard Disk Drive), a flash memory (SSD; Solid State Drive), or other solid-state memory.
  • the storage unit 18 stores the OS, various applications, and various data.
  • the storage unit 18 is also configured to be able to store an input image, image information, a generated spatial filter, a generated output image group, and the like which will be described later.
  • the communication unit 19 is, for example, a NIC (Network Interface Card) for Ethernet (registered trademark) and performs communication processing via a network.
  • NIC Network Interface Card
  • Ethernet registered trademark
  • the image processing apparatus 100 having the above hardware configuration has the following functional configuration.
  • FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus 100.
  • the image processing apparatus 100 includes an image acquisition unit 101, an image information analysis unit 102, a control amount defining unit 103, a filter generation unit 104, a process execution unit 105, and a display unit 106.
  • the image processing apparatus 100 is capable of giving an impression that a subject in the input image is moving during continuous reproduction based on image information analyzed from one input image.
  • An image group can be generated.
  • the “input image” is typically a still image, but may be one frame of a moving image.
  • the image acquisition unit 101 acquires an input image to be processed.
  • the image acquisition unit 101 is realized by the controller 11, for example.
  • the image acquisition unit 101 acquires an image stored in the storage unit 18 through the input / output interface 15 as an input image.
  • This input image may be, for example, an image captured by an imaging unit (not shown) of the image processing apparatus 100, or an image captured by an external imaging apparatus or the like and input to the image processing apparatus 100.
  • the input image may be an image acquired via a network.
  • the image information analysis unit 102 analyzes image information from the acquired input image.
  • the image information analysis unit 102 is realized by the controller 11, for example.
  • the image information may be, for example, a feature amount extracted from the input image.
  • the feature amount is an element indicating the feature of the input image that can be extracted from the input image.
  • the depth information of the input image described later scene information about the scene estimated from the input image, the vanishing point and disappearance of the input image Information on at least one position of the line, information on a motion vector in the input image of the subject, information on a gaze area estimated to be watched in the input image, and the like may be included.
  • the image information analysis unit 102 can acquire image information for determining a motion to be perceived.
  • the image information analysis unit 102 includes, for example, a depth information analysis unit 102a, a scene information estimation unit 102b, a vanishing point / vanishing line estimation unit 102c, a motion vector estimation unit 102d, and a gaze area estimation unit 102e.
  • the depth information analysis unit 102a analyzes depth information.
  • the depth information refers to information indicating a relative or absolute perspective relationship (depth position) of each subject.
  • the depth position analysis method is not particularly limited. For example, if the input image is a three-dimensional input image, the parallax estimated using the input images for the right eye and the left eye can be used. A method of irradiating a predetermined pattern of laser light and acquiring the pattern distortion of the reflected light may be used. Further, the analyzed depth information may be expressed as, for example, a depth image in which the depth position of the subject is indicated by a shade of a predetermined gradation, or as numerical information for each area of the input image. Also good.
  • the depth information analysis unit 102a can also estimate the depth position of the subject by using information about the positions of vanishing lines and vanishing points described later.
  • the scene information estimation unit 102b estimates scene information about a scene estimated from the input image. More specifically, the scene information includes information about the composition of the input image, information about the type of subject, and the like. That is, the scene information estimation unit 102b includes, for example, a composition estimation unit 102f and a subject estimation unit 102g.
  • the composition estimation unit 102f estimates the structure of the space in the input image as a composition, and classifies, for example, indoors, foregrounds, and distant views.
  • the method for estimating the structure of the space is not particularly limited.
  • the subject estimation unit 102g estimates the type of subject in the input image, and classifies, for example, a person, a natural landscape, a city landscape, and the like.
  • the method for estimating the type of subject is not particularly limited.
  • the vanishing point / vanishing line estimation unit 102c estimates at least one position of the vanishing point and vanishing line of the input image. Specifically, the vanishing point / vanishing line estimation unit 102c estimates the structure of the space in the input image, and estimates the vanishing line such as the horizon and the horizontal line and the position of the vanishing point from the input image. These estimation methods are not particularly limited. Also, the estimated vanishing line / vanishing point position information can be stored in the storage unit 18 in association with the XY coordinates assigned to the input image.
  • the motion vector estimation unit 102d when the input image is one of a plurality of images that include the same subject and can be continuously reproduced in time, the subject estimated from the plurality of images The motion vector in the image is estimated.
  • the motion vector indicates the magnitude and direction of the motion. That is, the motion vector estimation unit 102d estimates the size and direction of the subject's motion based on a plurality of frames of the moving image including the input image.
  • the motion vector estimation method is not particularly limited.
  • the gaze area estimation unit 102e estimates a gaze area estimated to be gazed in the input image.
  • the method for estimating the gaze area is not particularly limited. For example, a characteristic subject is extracted by image recognition technology, and a region occupied by a subject that a person seems to turn his / her line of sight out of a plurality of subjects can be estimated.
  • the control amount defining unit 103 defines a control amount of movement to be perceived for each processing unit based on image information of an input image including a plurality of processing units.
  • the control amount defining unit 103 is realized by the controller 11, for example. “Make the motion perceived” here means that the actual subject position on the image does not change, but the luminance value changes over time, so that it moves with respect to the person who viewed the image. It means to let you perceive.
  • the control amount is, for example, an amount that defines at least one of the magnitude and direction of the movement to be felt, and specifically, a value that defines the magnitude of movement, and a value that defines the direction of movement. May be represented as at least one of the following.
  • the value that defines the direction of movement may be represented by a set of x and y values, for example, or may be represented by a rotation angle value with a certain direction as a reference.
  • the control amount may be represented by a motion vector indicating the magnitude and direction of motion.
  • the processing unit of the input image may include one pixel, a block including a plurality of pixels, or one subject. Further, the processing unit may be defined for all pixels of the input image, or may be defined for only a part. Further, processing units having different numbers of pixels and shapes may be mixed in one input image.
  • information analyzed by the image information analysis unit 102 can be used.
  • a method of making the user feel the real feeling from the input image there is a method of giving a three-dimensional feeling and a feeling of depth.
  • a clue to learn a sense of depth and depth that is, a depth cue, is roughly divided into a monocular depth cue that perceives depth with only one eye (monocular stereo information) and a binocular depth cue that uses both eyes (binocular stereo information). Is done. Examples of the former include shielding (occlusion), movement of objects, and perspective of air, and examples of the latter include binocular parallax.
  • the monocular depth cues it is possible to give a stereoscopic effect and a sense of depth by using the movement of the subject that is perceived as being closer to the faster moving object and being farther to the slower moving object.
  • the filter generation unit 104 generates, for each processing unit, a plurality of spatial filters that can generate an output image group that allows motion to be perceived from an input image based on a prescribed control amount.
  • the filter generation unit 104 is realized by the controller 11, for example.
  • the “output image group that perceives movement” as used herein means that the subject position in the actual image does not change when played back continuously, but the contour of the subject has changed due to a change in luminance value, etc.
  • the filter generation unit 104 can generate one spatial filter for each pixel in one processing unit.
  • Spatial filter generally refers to a filter used for spatial filtering processing and generated by a predetermined function or matrix.
  • the spatial filtering process generally performs a process of weighting the luminance value or the like of one or a plurality of pixels including the pixel to be processed (center pixel) and setting the value obtained by a predetermined calculation as the value of the center pixel.
  • a calculation target pixel group one or a plurality of pixels on which a spatial filter calculation applied to a certain central pixel is performed.
  • Each of the plurality of spatial filters according to the present embodiment may include a function expressed by a trigonometric function, each having a different phase parameter value. More specifically, each of the plurality of spatial filters includes a phase parameter. Gabor filters having different values may be included.
  • the function expressed by the trigonometric function is, for example, a trigonometric function (including a sine function and / or a cosine function with a coefficient added) or a sum of these functions, or a trigonometric function and another function. Examples thereof include a product or a sum thereof, or a function expressed by a trigonometric function and a sum of products of a trigonometric function and another function.
  • the filter generation unit 104 can generate a plurality of spatial filters, for example, by calculating the above function in which the value of each parameter corresponding to the control amount is substituted.
  • the values of these parameters may be stored in the storage unit 18 in association with the control amount, or a function in which the parameter values are substituted may be stored in association with the control amount.
  • the filter generation unit 104 can also define some values of the above function based on not only the control amount but also the image information. This makes it possible to adjust not only the perceived movement but also the edge strength and the like in each processing unit.
  • the creation timing of the spatial filter by the filter generation unit 104 is not particularly limited.
  • a spatial filter is generated for each processing unit, one output image is generated by the processing execution unit 105 described later, and a plurality of spatial filters are generated for each processing unit by repeating these processes. Also good.
  • the filter generation unit 104 may generate a plurality of spatial filters for each processing unit, and the process execution unit 105 may apply the plurality of spatial filters to the input image to generate an output image group.
  • the process execution unit 105 applies the plurality of spatial filters generated by the filter generation unit 104 to each processing unit of the input image, and generates an output image group. That is, the process execution unit 105 generates one output image by applying one spatial filter of the plurality of spatial filters to each processing unit of the input image, and performs this processing on a plurality of processing units in each processing unit. Repeat for the spatial filter to generate multiple output images.
  • the “output image group” is a plurality of images generated from one input image, and a plurality of images that can perceive a predetermined motion when continuously reproduced in a predetermined order. An image.
  • applying a spatial filter to each processing unit specifically means that when the processing unit is one pixel, the luminance value of the pixel or when the processing unit includes a plurality of pixels. Means performing a convolution operation of the generated spatial filter on the luminance value of each of the plurality of pixels.
  • an appropriate luminance component can be selected according to the color space of the input image. For example, when the input image is in the YUV format, it may be the luminance component Y, or may be the brightness component L * of the CIE-L * a * b * space or the V component of the HSV space. .
  • the display unit 106 continuously displays the output image group generated by the processing execution unit 105 in a predetermined order.
  • the display unit 106 is realized by the display 16, for example.
  • a Gabor filter can be used as the spatial filter.
  • the Gabor filter is a two-dimensional filter generated by the function f (x, y, ⁇ , ⁇ , ⁇ , ⁇ ) described by the following Equations 1 to 3, and as shown in Equation 1, by a trigonometric function: It is a represented function.
  • 3A and 3B show examples of specific shapes of Gabor filters.
  • the planes S1 and S2 in the figure each indicate the xy plane, and the normal direction of the xy plane indicates the strength of the filter.
  • the Gabor filter has a so-called Mexican hat shape having an envelope. That is, the Gabor filter of FIG. 3A has a high intensity peak P11 and a low intensity bottom B11, and the Gabor filter of FIG. 3B similarly has a peak P21 and bottoms B21 and B22.
  • FIG. 3B for example, there is a strong peak P21 in the center, and bottoms B21 and B22 exist on both sides thereof.
  • the position of the peak P11 is shifted from the center, and the bottom B11 is also one place.
  • Such a shape is defined by parameters x, y, ⁇ , ⁇ , ⁇ , ⁇ and coefficient A described below.
  • x and y indicate coordinate values on the input image, and more specifically, the position of each pixel of the calculation target pixel group is defined by the value of (x, y).
  • the range of x and y values can be defined as the filter size.
  • the filter size refers to a two-dimensional filter size of x and y, and is a parameter that determines the range of the pixel group to be calculated.
  • the filter size can be, for example, about 1 ⁇ 1 to 9 ⁇ 9.
  • the weight of the pixel in the calculation target pixel group corresponding to coordinates (x, y) such as a peak with high intensity becomes large.
  • the weight of the pixel in the calculation target pixel group corresponding to the coordinates (x, y) such as the bottom having a low intensity becomes small. That is, when a Gabor filter having a different shape is applied to each pixel, the weight distribution of the calculation target pixel group is different, and the luminance value of the pixel is also different.
  • ⁇ in Equation 1 is a parameter that defines the period from the top to the top or the bottom to the bottom of the waveform of the Gabor filter.
  • the value of ⁇ is large, the period is shortened, so that a large number of peaks and bottoms exist, and it behaves as a so-called high-pass filter.
  • ⁇ is reduced, the period becomes longer and the peaks and bottoms are reduced, so that it behaves as a so-called low-pass filter.
  • Equation 1 is a parameter that defines the xy symmetry of the shape of the Gabor filter.
  • ⁇ becomes a value smaller than 1, a distorted motion like an elliptical motion tends to be perceived.
  • ⁇ in Equation 1 is a parameter that defines the slope of the envelope of the Gabor filter.
  • the value of ⁇ is not particularly limited, but blurring tends to increase as the value of ⁇ increases, and edges tend to be emphasized as the value of ⁇ decreases.
  • the value of ⁇ can be a value that is about 1/3 of the filter size (p above).
  • ⁇ in Equations 2 and 3 is a value that indicates the rotation angle of the Gabor filter on the xy plane, and is a parameter that defines the direction of movement to be felt.
  • the filter shown in FIG. 3A and the filter shown in FIG. 3B are filters having different values of ⁇ . As shown in these drawings, the shape shown in FIG. 3B rotates around the normal component of the xy plane as seen from the shape shown in FIG. 3A.
  • a in Equation 1 is a coefficient of the Gabor filter function and can be defined based on image information. For example, the smaller the numerical value of A, the closer the image quality is to that of the input image, and the larger the numerical value of A, the more the filter is emphasized and the blur tends to increase.
  • ⁇ in Equation 1 is a phase parameter of the Gabor filter, and is a parameter that defines the magnitude of movement, the appearance of image changes, and the like. More specifically, ⁇ determines the height (intensity) and position of the peak and bottom of the Mexican hat shape (see FIGS. 3A and 3B). That is, the peak and bottom positions can be changed by changing the value of ⁇ .
  • the filter generation unit 104 can set a value of at least a part of each of the parameters based on the control amount for each processing unit, and generate a Gabor filter function.
  • the magnitude of movement can be defined by the values of ⁇ and filter_size
  • the direction of movement can be defined by the value of ⁇ .
  • Parameters other than ⁇ , filter_size, and ⁇ can be defined based on image information, or may be set in advance. For example, by setting the value of ⁇ based on the scene information, it becomes possible to adjust the edge sharpness according to the type of composition.
  • the filter generation unit 104 can set a plurality of different values of ⁇ . More specifically, when the filter generation unit 104 views the plurality of values of ⁇ as one number sequence arranged in ascending order of values, the filter generation unit 104 increases as the magnitude of the movement defined by the control amount increases. The difference in terms can be set large.
  • the plurality of values of ⁇ may be an arithmetic progression.
  • ⁇ which is a phase parameter of the trigonometric function generally has a periodicity of 2 ⁇
  • the values of the plurality of ⁇ may be set to numerical values of 2 ⁇ or less.
  • a Gabor filter in which the peak and bottom positions are changed at a predetermined interval can be applied to each processing unit.
  • the luminance value of the pixel to which the filter is applied is continuous. It seems to have changed. Therefore, when viewed in the entire image, the subject may feel as if it is moving.
  • the present technology can also apply a spatial filter using a Gaussian function (see Non-Patent Document 1).
  • a spatial filter uses, for example, a function F (x, t) obtained by combining a quadratic differential function G ′′ (x) of a Gaussian function G (x) and an orthogonal function H (x) of G ′′ (x). Is. Specifically, as shown in Equation 4, it is calculated by a weighted average of G ′′ (x) and H (x), and has time t as a phase parameter.
  • FIG. 4A is a graph showing examples of shapes of G (x) (reference G0), G ′ (x) (reference G1), and G ′′ (x) (reference G2), and FIG. 4B shows G ′′ (x ) (Reference symbol G2) and H (x) (reference symbol H), and a graph showing an example of the shape of F (x, t) (reference symbol F) used as a spatial filter.
  • H (x) is derived from the Hilbert transform of G ′′ (x).
  • the Fourier coefficients of the real part and the imaginary part are derived by discrete Fourier transform, and after the coefficients are transformed, Further, inverse Fourier transform is performed, and a phase filter having periodic characteristics with respect to time t can be created by using a trigonometric function as a weighting for G ′′ (x) and H (x) as shown in Equation 4. .
  • FIG. 5 is a graph showing an example of the shape of F (x, t) at different times t.
  • a plurality of output images different depending on the time can be obtained by changing the phase parameter t, and these can be reproduced continuously.
  • the output image group which can give the impression which is moving with can be generated.
  • FIG. 4 and FIGS. 4 and 5 a one-dimensional filter is shown for the sake of explanation. However, a two-dimensional filter that further includes a parameter y is used for an actual input image.
  • a Gabor filter can be used. Accordingly, the calculation cost can be greatly reduced as compared with a spatial filter using a Gaussian function that requires Hilbert transform. Further, according to the Gabor filter, as described above, it is easy to intuitively determine the parameter value to be set from the shape of the filter to be generated, and the spatial filter can be easily generated.
  • FIG. 6 is a flowchart showing the operation of the image processing apparatus 100.
  • the image acquisition unit 101 acquires an input image to be processed via the input / output interface 15 (ST61).
  • the input image to be processed is, for example, one still image captured by an imaging device (not shown) or the like, but may be one frame of a moving image.
  • the image information analysis unit 102 analyzes image information from the acquired input image (ST62).
  • the depth information analysis unit 102a analyzes the depth information.
  • the analyzed depth information is stored in the storage unit 18 as a depth image.
  • the composition estimation unit 102f of the scene information estimation unit 102b estimates the structure of the space captured in the input image, and classifies, for example, indoors, foregrounds, and distant views.
  • the subject estimation unit 102g of the scene information estimation unit 102b estimates the type of subject in the input image, and classifies, for example, a person, a natural landscape, a city landscape, and the like.
  • the vanishing point / vanishing line estimation unit 102c estimates at least one of the vanishing point and vanishing line of the input image, and stores the information of the vanishing point / vanishing line in association with the XY coordinates assigned to the input image.
  • the motion vector estimation unit 102d is estimated from the plurality of images when the input image is one input image among a plurality of images that include the same subject and can be reproduced continuously in time.
  • the motion vector in the input image of the subject is estimated.
  • the gaze area estimation unit 102e estimates a gaze area estimated to be gazed in the input image.
  • the control amount defining unit 103 prescribes a control amount of motion to be perceived for each processing unit based on the image information (ST63). Specifically, the control amount defining unit 103 defines, as the control amount, a depth amount that defines the magnitude of movement and an xy coordinate value that defines the direction of movement for each processing unit.
  • the control amount defining unit 103 defines, as the control amount, a depth amount that defines the magnitude of movement and an xy coordinate value that defines the direction of movement for each processing unit.
  • the control amount defining unit 103 sets the control amount so that a processing unit with a shallow depth perceives a larger motion than a processing unit with a deep depth. Can be prescribed. This makes it possible to feel a sense of depth (three-dimensional effect).
  • the control amount defining unit 103 can define, for example, different directions in which movement is felt between a shallow subject and a deep subject analyzed by the depth information analysis unit 102a.
  • the control amount defining unit 103 can define the control amount for each processing unit based on the scene information.
  • control amount defining unit 103 defines the control amount so as to increase the movement of the subject when, for example, the composition estimation unit 102f classifies the scene of the input image as a room or a foreground. Can do. Thereby, it is possible to give an impression that the subject is closer and to give a natural feeling of reality.
  • the control amount defining unit 103 defines the control amount so as to increase the movement of the subject when, for example, the composition estimation unit 102f classifies the scene of the input image as a room or a foreground. Can do. Thereby, it is possible to give an impression that the subject is closer and to give a natural feeling of reality.
  • the difference in motion between the subject analyzed as being close by the depth information analysis unit 102a and the subject analyzed as being far is calculated. It is also possible to enlarge it. Thereby, a three-dimensional effect can be emphasized more.
  • control amount defining unit 103 can define the control amount so that no movement is given to the subject estimated to be a person by the subject estimating unit 102g. This makes it possible to naturally show a subject that is a person.
  • the control amount defining unit 103 moves toward at least one of the vanishing point and the vanishing line.
  • the control amount can be defined so as to perceive a gentle movement or a moving away.
  • the control amount defining unit 103 can define the control amount so that the movement is felt in a direction around the vanishing point. Thereby, it becomes possible to feel a sense of depth and a stereoscopic effect.
  • the control amount defining unit 103 can define the magnitude and direction of the motion as the control amount based on the motion vector. More specifically, the control amount defining unit 103 can define the control amount so as to make the user feel the movement based on the magnitude and direction of the movement of the subject expressed by the motion vector. Thereby, it can be made to feel as if the subject is moving more naturally.
  • the control amount defining unit 103 can define different control amounts for the gaze region and the region other than the gaze region. More specifically, the control amount defining unit 103 can define the control amount so that the gaze area feels the movement of the subject more greatly than the other areas. Alternatively, the control amount can be defined so that the movement of the subject in the gaze area is slightly changed from the movement of the surrounding area.
  • the filter generation unit 104 generates, for each processing unit, a plurality of spatial filters that can generate an output image group that causes motion to be perceived from the input image based on the specified control amount (ST64).
  • the filter generation unit 104 defines a value of phase ⁇ and filter_size corresponding to the magnitude of motion and a value of ⁇ corresponding to the direction of motion among the control amounts for each processing unit.
  • the filter generation unit 104 calculates a Gabor filter function (see Equation 1) by substituting the values of these parameters for each processing unit.
  • the filter generation unit 104 can set a plurality of values of ⁇ as described above.
  • a plurality of values of ⁇ are arranged in order from a small value to form a numerical sequence, the difference between two adjacent terms is determined. Can be set based on the control amount. Further, the larger the movement, the larger the difference between the values of ⁇ of two adjacent terms can be set, and the range of the values of ⁇ can be set to [0, 2 ⁇ ] in view of the 2 ⁇ periodicity of ⁇ . A range may be set. As a result, a plurality of spatial filters having different values of ⁇ for each processing unit are generated.
  • the process execution unit 105 applies a plurality of spatial filters to each processing unit of the input image to generate an output image group (ST65).
  • the process execution unit 105 first generates one output image by applying one spatial filter of a plurality of spatial filters to each processing unit of the input image, and performs this processing on a plurality of processing units in each processing unit. Repeat for the spatial filter to generate multiple output images.
  • the display unit 106 sequentially displays the generated output image group at a predetermined timing.
  • an output image group that can give a moving impression from one input image, and to define the movement based on image information. Become.
  • an output image group in which a sense of depth, stereoscopic effect, and real feeling can be felt.
  • the Gabor filter is used as the spatial filter, it is possible to relatively reduce the calculation cost. Further, since it is easy to intuitively set the parameter value to be set from the shape of the filter to be generated, it is possible to easily generate the spatial filter.
  • the filter generation unit 104 can calculate a function in which the value of each parameter corresponding to the control amount is substituted, and generate a plurality of spatial filters.
  • the storage unit 18 stores a lookup table including a plurality of array groups that can be applied as a plurality of spatial filters, and the filter generation unit 104 stores the stored lookup for each processing unit.
  • An array group may be selected from the table based on the control amount.
  • one array group is an array group that constitutes a spatial filter that can be applied to one pixel (center pixel). For example, it defines a weight value assigned to each pixel of the pixel group to be calculated. is there.
  • the number of sequences included in one sequence group can be defined by filter_size.
  • one array group includes a plurality of arrays in which values of coordinate parameters (x, y) corresponding to the respective pixels of the calculation target pixel group are substituted. May be included.
  • the filter generation unit 104 includes a plurality of array groups corresponding to a function in which the parameter value is substituted based on the control amount, and the phase parameter value is A plurality of different sequence groups can be selected.
  • the storage unit 18 may store each array group in direct association with the control amount. Thereby, the filter generation unit 104 can smoothly select the array group based on the control amount from the array group in the lookup table, and the processing cost can be further reduced. Alternatively, the storage unit 18 may store each array group in association with a function used for the spatial filter.
  • the image information is not limited to the feature amount.
  • input image metadata can be used as the image information.
  • the metadata include information such as the focal length of the lens and the shooting location.
  • the Gabor filter is used as the spatial filter.
  • the present invention is not limited to this.
  • a spatial filter using a Gaussian function cited as an example of the spatial filter may be used (see Equation 4, FIGS. 4 and 5), or other functions expressed by trigonometric functions may be used.
  • a filter combining a Gabor filter and another function can be used as the spatial filter.
  • the function is not limited to a function expressed by a trigonometric function as long as it is a function that can generate a plurality of spatial filters capable of generating an output image group that perceives motion from an input image.
  • the control amount may be a value that defines the magnitude of movement, an xy coordinate that defines the direction of movement, or a motion vector indicating the magnitude and direction of movement. It is not limited to this.
  • the control amount may be defined as a parameter value of a function used for the spatial filter.
  • the control amount is not limited to an amount that defines at least one of the magnitude and direction of the motion to be felt, and may be an amount that defines the speed or acceleration of the motion. Or when the said motion is a rotational motion, the rotation amount and rotational speed of the said motion may be sufficient.
  • the filter generation unit 104 may set a value other than the parameter corresponding to the control amount based on the image information. For example, when it is estimated from the scene information that the subject is a natural landscape, for example, the value of ⁇ can be set larger. As a result, it is possible to provide an output image group with a more realistic feeling than natural scenery without over-emphasizing the edges of the subject. Further, when it is estimated that the subject is an urban landscape, for example, the value of ⁇ can be set to be small. As a result, the edge of the subject can be emphasized, and the atmosphere of a city with many artifacts can be further produced.
  • values other than the parameter corresponding to the control amount may be configured to be settable by the user.
  • parameter values of several types of patterns may be set in advance, and these patterns may be selected based on user input.
  • the pattern may be determined so as to be selectable according to the user's preference, such as a mode in which edges are emphasized, a mode in which edges are not emphasized, or a mode in which high-quality images appear.
  • the value of ⁇ can be set smaller in the mode that emphasizes edges, and the value of ⁇ can be set larger in the mode that does not emphasize edges.
  • the value of A can be set smaller, or the value of ⁇ can be set larger.
  • the user can control the output image group according to his / her preference, and the user's satisfaction can be further enhanced.
  • FIG. 7 is a block diagram illustrating a hardware configuration of the image processing system 2 according to the second embodiment of the present technology.
  • an image processing system 2 is a cloud system, and includes an image processing device 200 and a display device 260.
  • the image processing apparatus 200 and the display apparatus 260 are connected to each other via a network N.
  • the display device 260 is configured as a user terminal such as a PC, tablet PC, smartphone, or tablet terminal, and the image processing device 200 is configured as a server device (information processing device) on the network N, for example.
  • the image processing system 2 is configured to be capable of the following operations. That is, the image processing apparatus 200 extracts image information from the input image transmitted from the display device 260, generates a spatial filter to generate an output image group, and transmits the output image group to the display device 260. Then, the display device 260 displays the received output image group.
  • the display device 260 includes a controller 261, a ROM 262, a RAM 263, an input / output interface 265, and a bus 264 that connects these components to each other. Further, the input / output interface 265 is connected to a display 266, an operation receiving unit 267, a storage unit 268, a communication unit 269, and the like.
  • the controller 261, ROM 262, RAM 263, bus 264, input / output interface 265, display 266, operation accepting unit 267, storage unit 268, and communication unit 269 are the controller 11, ROM 12, RAM 13, bus 14, input / output interface 15, respectively. Since it is the same structure as the display 16, the operation reception part 17, the memory
  • the image processing apparatus 200 includes a controller 21, a ROM 22, a RAM 23, an input / output interface 25, and a bus 24 that connects these components to each other. Further, an operation receiving unit 27, a storage unit 28, a communication unit 29, and the like are connected to the input / output interface 25.
  • the controller 21, the ROM 22, the RAM 23, the bus 24, the input / output interface 25, the display 26, the operation receiving unit 27, the storage unit 28, and the communication unit 29 are respectively the controller 11, the ROM 12, the RAM 13, the bus 14, the input / output interface 15, Since it is the same structure as the operation reception part 17, the memory
  • FIG. 8 is a block diagram showing a functional configuration of the image processing system 2.
  • the image processing system 2 includes an image acquisition unit 201, an image information analysis unit 202, a control amount defining unit 203, a filter generation unit 204, a processing execution unit 205, and a display unit 206.
  • the image processing apparatus 200 includes an image acquisition unit 201, an image information analysis unit 202, a control amount definition unit 203, a filter generation unit 204, and a processing execution unit 205.
  • the display device 260 includes a display unit 206.
  • Each of the above elements has the same configuration as the image acquisition unit 101, the image information analysis unit 102, the control amount defining unit 103, the filter generation unit 104, the process execution unit 105, and the display unit 106 of the image processing apparatus 100.
  • the image acquisition unit 201 acquires an input image to be processed.
  • the image information analysis unit 202 analyzes image information from the acquired input image, and performs a depth information analysis unit 202a, a scene estimation unit 202b, a vanishing point / vanishing line estimation unit 202c, a motion vector estimation unit 202d, and a gaze. And an area estimation unit 202e.
  • the filter generation unit 204 generates, for each processing unit, a plurality of spatial filters that can generate an output image group that allows motion to be perceived from an input image based on a prescribed control amount.
  • the process execution unit 205 applies a plurality of spatial filters generated by the filter generation unit 204 to each processing unit of the input image, and generates an output image group.
  • the display unit 206 continuously displays the output image group generated by the process execution unit 205 in a predetermined order. Detailed description of each of these elements is omitted.
  • the image acquisition unit 201 may acquire, for example, an image transmitted from the display device 260 via the communication units 269 and 29 and stored in the storage unit 28 as an input image. Or you may acquire the image memorize
  • the output image group generated by the process execution unit 205 is transmitted to the display device 260 via the communication units 29 and 269 and displayed on the display unit 206.
  • the display unit 206 is realized by the display 266 of the display device 260, for example.
  • image processing apparatus 200 configured as described above, it is possible to generate an output image group in which a sense of depth, a three-dimensional feeling, and a real feeling can be felt based on image information, similarly to the image processing apparatus 100. .
  • an output image group capable of perceiving motion using a cloud system. Accordingly, it is possible to display the output image group to the user while reducing the load on the user terminal such as the display device 260 due to image processing.
  • FIG. 9 is a block diagram illustrating a schematic configuration of the image processing system 3 according to the third embodiment of the present technology.
  • an image processing system 3 is a cloud system, and includes an image processing device 300 and a display device 360.
  • the image processing apparatus 300 and the display apparatus 360 are connected to each other via a network N.
  • the display device 360 is configured as a user terminal, and the image processing device 300 is configured as a server device (information processing device) on the network N, for example.
  • the hardware configurations of the image processing device 300 and the display device 360 are the same as the hardware configurations of the image processing device 200 and the display device 260, respectively, and thus description thereof will be omitted.
  • the image processing system 3 is configured to be capable of the following operations. That is, the image processing device 300 extracts image information from the input image transmitted from the display device 360, generates a spatial filter, and transmits this to the display device 360.
  • the display device 360 generates an output image group by applying the spatial filter received from the image processing device 300 to the input image, and displays this.
  • FIG. 10 is a block diagram showing a functional configuration of the image processing system 3.
  • the image processing system 3 includes an image acquisition unit 301, an image information analysis unit 302, a control amount defining unit 303, a filter generation unit 304, a process execution unit 305, and a display unit 306.
  • the image processing apparatus 300 includes an image acquisition unit 301, an image information analysis unit 302, a control amount definition unit 303, and a filter generation unit 304.
  • the display device 360 includes a process execution unit 305 and a display unit 306.
  • Each of the above elements has the same configuration as the image acquisition unit 101, the image information analysis unit 102, the control amount defining unit 103, the filter generation unit 104, the process execution unit 105, and the display unit 106 of the image processing apparatus 100.
  • the image acquisition unit 301 acquires an input image to be processed.
  • the image information analysis unit 302 analyzes image information from the acquired input image, and includes a depth information analysis unit 302a, a scene estimation unit 302b, a vanishing point / vanishing line estimation unit 302c, a motion vector estimation unit 302d, A region estimation unit 302e.
  • the filter generation unit 304 generates, for each processing unit, a plurality of spatial filters that can generate an output image group that allows motion to be perceived from an input image based on a prescribed control amount.
  • the process execution unit 305 applies a plurality of spatial filters generated by the filter generation unit 204 to each processing unit of the input image, and generates an output image group.
  • the display unit 306 continuously displays the output image group generated by the process execution unit 305 in a predetermined order. Detailed description of each of these elements is omitted.
  • the plurality of spatial filters generated by the filter generation unit 304 of the image processing apparatus 300 are transmitted to the display device 360 via a communication unit (not shown).
  • the input image may be transmitted together, or when the input image is stored in the storage unit (not shown) of the display device 360, only the spatial filter may be transmitted.
  • Each spatial filter to be transmitted is associated with information such as the position information of the pixel of the input image to be applied and the reproduction order among the plurality of spatial filters applied to the pixel.
  • the process execution unit 305 is realized by a controller (not shown) of the display device 360, for example.
  • the process execution unit 305 applies the transmitted spatial filter to each processing unit of the input image based on information associated with each spatial filter, and generates an output image group.
  • the display unit 306 is realized by a display (not shown) of the display device 360, for example.
  • the display unit 306 sequentially displays output image groups from the display device 360 at predetermined intervals.
  • the image processing apparatus 300 configured as described above, it is possible to generate an output image group in which a sense of depth, a three-dimensional feeling, and a real feeling can be felt, as with the image processing apparatus 100. Furthermore, according to the present embodiment, as in the second embodiment, it is possible to generate an output image group that can perceive motion using the cloud system.
  • FIG. 11 is a block diagram illustrating a schematic configuration of an image processing system 4 according to the fourth embodiment of the present technology.
  • an image processing system 4 is a cloud system, and includes an image processing device 400 and a display device 460.
  • the image processing apparatus 400 and the display apparatus 460 of the image processing system 4 are connected to each other via a network N.
  • the display device 460 is configured as a user terminal, and the image processing device 400 is configured as a server device (information processing device) on the network N, for example.
  • the hardware configurations of the image processing device 400 and the display device 460 are the same as the hardware configurations of the image processing device 200 and the display device 260, and thus description thereof is omitted.
  • the image processing system 4 is configured to be capable of the following operations. That is, the display device 460 analyzes image information from the input image and transmits the image information to the image processing device 400 together with the input image.
  • the image processing device 400 generates a spatial filter based on the image information, generates an output image group, and transmits the output image group to the display device 460. Furthermore, the display device 460 generates and reproduces an output image group by applying this spatial filter to the input image.
  • FIG. 12 is a block diagram showing a functional configuration of the image processing system 4.
  • the image processing system 4 includes an image acquisition unit 401, an image information analysis unit 402, a control amount definition unit 403, a filter generation unit 404, a process execution unit 405, and a display unit 406.
  • the image processing apparatus 400 includes a control amount defining unit 403, a filter generation unit 404, and a processing execution unit 405.
  • the display device 460 includes an image acquisition unit 401, an image information analysis unit 402, and a display unit 406.
  • the above elements have the same configuration as the image acquisition unit 101, the image information analysis unit 102, the control amount defining unit 103, the filter generation unit 104, and the process execution unit 105 of the image processing apparatus 100. That is, the image acquisition unit 401 acquires an input image to be processed.
  • the image information analysis unit 402 analyzes image information from the acquired input image, and looks at the depth information analysis unit 402a, the scene estimation unit 402b, the vanishing point / vanishing line estimation unit 402c, the motion vector estimation unit 402d, A region estimation unit 402e.
  • the filter generation unit 404 generates, for each processing unit, a plurality of spatial filters that can generate an output image group that allows motion to be perceived from an input image, based on a prescribed control amount.
  • the process execution unit 405 applies a plurality of spatial filters generated by the filter generation unit 204 to each processing unit of the input image, and generates an output image group.
  • the display unit 406 continuously displays the output image group generated by the process execution unit 405 in a predetermined order. Detailed description of each of these elements is omitted.
  • the image acquisition unit 401 and the image information analysis unit 402 are realized by a controller (not shown) of the display device 460, for example.
  • Image information obtained by analyzing the input image by the display device 460 is transmitted to the image processing device 400 via a communication unit (not shown) of each of the display device 460 and the image processing device 400.
  • the input image may be transmitted together with the image information or may not be transmitted.
  • the display unit 406 is realized by a display (not shown) of the display device 460, for example. Similar to the display unit 206, the display unit 406 continuously displays the output image group in a predetermined order based on a user operation or the like. Thereby, the output image group is sequentially displayed from the display device 460.
  • the image processing apparatus 400 having the above-described configuration, it is possible to generate an output image group in which a sense of depth, a three-dimensional feeling, and a real feeling can be felt, as with the image processing apparatus 100. Furthermore, according to the present embodiment, as in the second embodiment, it is possible to generate an output image group that can perceive motion using the cloud system.
  • the image processing apparatus 400 includes the control amount defining unit 403, the filter generation unit 404, and the processing execution unit 405.
  • the present invention is not limited to this.
  • the image processing apparatus 400 may not include the process execution unit 405 and the display apparatus 460 may include the process execution unit 405.
  • a plurality of spatial filters generated by the filter generation unit 404 of the image processing device 400 are transmitted to the display device 460 via a communication unit (not shown), and the display device 460 side In this way, an output image group is generated. Even with such a configuration, it is possible to obtain the same effects as those of the above-described embodiment.
  • the display device 460 includes the image information analysis unit 402.
  • the present invention is not limited to this.
  • the control amount defining unit 403, the filter generating unit 404, and the process executing unit 405 may be provided. That is, the input image acquired by the image acquisition unit 401 of the display device 460 is transmitted to the image processing device 400 via the communication units (not shown) of the display device 460 and the image processing device 400.
  • the image processing apparatus 400 performs processing using the input image, and transmits an output image group to the display apparatus 460 in response to a request from the display apparatus 460 or the like. Even with such a configuration, it is possible to obtain the same effects as those of the above-described embodiment.
  • this technique can also take the following structures. (1) Based on image information of an input image including a plurality of processing units, a control amount defining unit that defines a control amount of movement to be perceived for each processing unit; An image comprising: a filter generation unit that generates a plurality of spatial filters capable of generating an output image group for perceiving the movement from the input image based on the specified control amount for each processing unit. Processing equipment. (2) The image processing apparatus according to (1) above, The image processing apparatus, wherein the control amount is an amount that defines at least one of the magnitude and direction of the perceived movement. (3) The image processing apparatus according to (1) or (2) above, The image processing apparatus, wherein the image information includes a feature amount extracted from the input image.
  • the feature amount includes depth information of the input image,
  • the control amount defining unit defines the control amount based on the depth information so that a position processing unit with a shallow depth perceives the motion larger than a processing unit with a deep depth.
  • the feature amount includes scene information about a scene estimated from the input image,
  • the image processing apparatus, wherein the control amount defining unit defines a control amount for each processing unit based on the scene information.
  • the image processing apparatus according to (5) above, The image processing apparatus, wherein the scene information includes information about a structure of a space in the input image.
  • the image processing apparatus according to (5) or (6) above, The image processing apparatus, wherein the scene information includes information about a subject type of the input image.
  • the image processing apparatus according to any one of (3) to (7),
  • the feature amount includes information about at least one position of a vanishing point and a vanishing line of the input image,
  • the control amount defining unit defines the control amount so as to perceive a movement toward or away from at least one of a vanishing point and a vanishing line.
  • the image processing apparatus according to any one of (3) to (8),
  • the input image is one of a plurality of images that include the same subject and can be reproduced continuously in time
  • the feature amount includes information about a motion vector in the input image of the subject estimated from the plurality of images,
  • the image processing apparatus, wherein the control amount defining unit defines the magnitude and direction of the motion as a control amount based on the motion vector.
  • the image processing apparatus includes information about a gaze area estimated to be gazed in the input image, The image processing apparatus, wherein the control amount defining unit defines the control amount different between the gaze region and a region other than the gaze region.
  • Each of the plurality of spatial filters includes a function expressed by a trigonometric function having different phase parameter values.
  • Each of the plurality of spatial filters includes an image processing device including a Gabor filter having a different phase parameter value.
  • the image processing apparatus according to any one of (1) to (13), A storage unit for storing a lookup table including a plurality of array groups that can be applied as the plurality of spatial filters; The filter generation unit selects an array group from the lookup table based on the control amount for each processing unit.
  • An image processing apparatus further comprising: a processing execution unit that applies the plurality of spatial filters to each processing unit of the input image to generate an output image group.
  • a control amount of motion perceived for each processing unit is defined, An image processing method for generating a plurality of spatial filters capable of generating an output image group for perceiving the motion from the input image based on the prescribed control amount for each processing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　入力画像の処理単位毎に適切な動きを感じさせる出力画像群を生成することが可能な画像処理装置、画像処理方法及びプログラムを提供する。　本技術の一形態に係る画像処理装置は、制御量規定部と、フィルタ生成部とを具備する　上記制御量規定部は、複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する。　上記フィルタ生成部は、上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。

Description

画像処理装置、画像処理方法及びプログラム
　本技術は、動きの錯視を利用した画像を生成することが可能な画像処理装置、画像処理方法及びプログラムに関する。
　静止画像から、連続再生した際に動いているような印象が得られる複数の静止画像を生成することが可能な技術が知られている（非特許文献１）。より具体的には、静止画像に対し、位相パラメータを含む関数を空間フィルタとして適用し、この位相パラメータを変化させた複数の空間フィルタにより処理を実行することで、複数の静止画像を生成する。生成された静止画像を連続的に再生することで、被写体が動いているような印象を与えることが可能となる。
W.T. Freeman et.al, ''Motion Without Movement,'' Computers & Graphics, Elsevier, Vol. 25(4), pp.27-30, 1991
　しかしながら、非特許文献１に記載の技術は、画像全体で同一の大きさ及び向きの動きしか表現できなかった。
　以上のような事情に鑑み、本技術の目的は、入力画像の処理単位毎に適切な動きを感じさせる出力画像群を生成することが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る画像処理装置は、制御量規定部と、フィルタ生成部とを具備する。
　上記制御量規定部は、複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する。
　上記フィルタ生成部は、上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。
　上記構成によれば、画像情報に基づいて処理単位毎に知覚させる動きを決定し、その動きを実現させることが可能な空間フィルタを生成することが可能となる。これにより、処理単位毎に適切な動きを感じさせる出力画像群を生成することが可能となる。
　また、上記制御量は、上記知覚させる動きの大きさ及び向きの少なくとも一方を規定する量であってもよい。
　これにより、知覚させる動きを的確に規定することが可能となる。
　上記画像情報は、上記入力画像から抽出された特徴量を含んでもよい。
　これにより、知覚される動きを、入力画像中の奥行き情報や被写体や構図等に即したものとすることができ、より実物感の感じられる出力画像を生成することが可能となる。
　また、上記特徴量は、上記入力画像の奥行き情報を含み、
　上記制御量規定部は、上記奥行き情報に基づいて、奥行きが浅い位置処理単位の方が、奥行きが深い処理単位よりも上記動きを大きく知覚させるように上記制御量を規定してもよい。
　これにより、より奥行き感の感じられる出力画像群を生成することが可能となる。
　上記特徴量は、上記入力画像から推定されるシーンについてのシーン情報を含み、
　上記制御量規定部は、上記シーン情報に基づいて処理単位毎の制御量を規定してもよい。
　これにより、入力画像のシーンに応じてより自然に感じられる出力画像群を生成することが可能となる。
　例えば、上記シーン情報は、上記入力画像中の空間の構造についての情報を含んでもよい。
　あるいは、上記シーン情報は、上記入力画像の被写体の種類についての情報を含んでもよい。
　また、上記特徴量は、上記入力画像の消失点及び消失線の少なくとも一方の位置についての情報を含み、
　上記制御量規定部は、消失点及び消失線の少なくとも一方に向かっていくような動き、又は離れていくような動きを知覚させるように制御量を規定してもよい。
　これにより、より奥行き感、立体感を感じさせる出力画像を生成することが可能となる。
　また、上記入力画像は、同一の被写体をそれぞれ含み時間的に連続して再生され得る複数の画像のうちの一つの画像であり、
　上記特徴量は、上記複数の画像から推定される、上記被写体の上記入力画像における動きベクトルについての情報を含み、
　上記制御量規定部は、上記動きベクトルに基づいて、上記動きの大きさ及び向きを制御量として規定してもよい。
　これにより、実際の被写体の動きと同様の動きを知覚させる出力画像を生成することができ、より実物感を感じさせることが可能となる。
　また、上記特徴量は、上記入力画像のうち注視されると推定される注視領域についての情報を含み、
　上記制御量規定部は、上記注視領域と上記注視領域以外の領域とで異なる上記制御量を規定してもよい。
　これにより、注視領域をより自然に表現し得る出力画像群を生成することが可能となる。
　さらに、上記画像処理装置は、
　上記入力画像を取得する画像取得部と、
　上記入力画像から上記画像情報を解析する画像情報解析部とをさらに具備してもよい。
　これにより、画像処理装置において画像情報を解析することが可能となる。
　また、上記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なり三角関数により表現された関数を含んでもよい。
　これにより、位相パラメータの値を調整し、知覚させる動きを調整することが可能となる。
　上記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なるガボールフィルタをそれぞれ含んでもよい。
　これにより、比較的少ない演算量となる空間フィルタを生成することができ、処理コストを低減することが可能となる。また、ガボールフィルタの各パラメータは、フィルタの形状から直感的に理解しやすいものが多いため、各パラメータの値の設定が容易になる。
　また、上記複数の空間フィルタとして適用されることが可能な複数の配列群を含むルックアップテーブルを記憶する記憶部を具備し、
　上記フィルタ生成部は、上記処理単位毎に、上記ルックアップテーブルから上記制御量に基づいて配列群を選択してもよい。
　これにより、処理のたびに複数の空間フィルタを生成する手間を省き、より処理コストを低減することができる。
　また、上記画像処理装置は、
　上記入力画像の各処理単位に対して上記複数の空間フィルタを適用して出力画像群を生成する処理実行部をさらに具備してもよい。
　本技術の一形態に係る画像処理方法は、複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定するステップを含む。
　上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタが生成される。
　また、本技術の一形態に係るプログラムは、情報処理装置に、
　複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定するステップと、
　上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成するステップと
　を実行させる。
　以上のように、本技術によれば、入力画像の処理単位毎に適切な動きを感じさせる出力画像群を生成することが可能な画像処理装置、画像処理方法及びプログラムを提供することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 上記画像処理装置の機能的構成を示すブロック図である。 ガボールフィルタの具体的な形状の例を示す図である。 空間フィルタに用いられる、ガウス関数を用いた関数を説明する図である。 異なる時刻ｔにおける上記関数の形状例を示すグラフである。 上記画像処理装置の動作を示すフローチャートである。 本技術の第２の実施形態に係る画像処理システムのハードウェア構成を示すブロック図である。 上記画像処理システムの機能的構成を示すブロック図である。 本技術の第３の実施形態に係る画像処理システムの概略構成を示すブロック図である。 上記画像処理システムの機能的構成を示すブロック図である。 本技術の第４の実施形態に係る画像処理システムの概略構成を示すブロック図である。 上記画像処理システムの機能的構成を示すブロック図である。 上記画像処理システムの変形例の機能的構成を示すブロック図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
　［画像処理装置のハードウェア構成］
　図１は、本技術の第１の実施形態に係る画像処理装置１００のハードウェア構成を示すブロック図である。画像処理装置１００は、本実施形態において、情報処理装置として構成され得る。画像処理装置１００は、具体的には、ＰＣ（Personal Computer）、タブレットＰＣ、スマートフォン、タブレット端末等の情報処理装置であってもよい。
　同図において、画像処理装置１００は、コントローラ１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。
　コントローラ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら画像処理装置１００の各ブロック全体を統括的に制御する。コントローラ１１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等であってもよい。ＲＯＭ１２は、コントローラ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、コントローラ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
　入出力インタフェース１５には、ディスプレイ１６、操作受付部１７、記憶部１８、通信部１９等が接続される。なお、入出力インタフェース１５は、これらの各要素の他、ＵＳＢ(Universal Serial Bas)端子やＩＥＥＥ端子等を介して外部周辺機器と接続可能に構成されてもよい。また、入出力インタフェース１５には、これら各要素の他、図示しない撮像部等が接続されていてもよい。
　ディスプレイ１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
　操作受付部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部１７がタッチパネルである場合、そのタッチパネルはディスプレイ１６と一体となり得る。
　記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。記憶部１８は、また、後述する入力画像や、画像情報、生成した空間フィルタ、生成した出力画像群等を記憶することが可能に構成される。
　通信部１９は、例えばEthernet（登録商標）用のＮＩＣ（Network Interface Card）であり、ネットワークを介した通信処理を担う。
　以上のようなハードウェア構成の画像処理装置１００は、以下のような機能的構成を有する。
　［画像処理装置の機能的構成］
　図２は、画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、画像処理装置１００は、画像取得部１０１と、画像情報解析部１０２と、制御量規定部１０３と、フィルタ生成部１０４と、処理実行部１０５と、表示部１０６とを備える。画像処理装置１００は、以下に説明するように、１つの入力画像から解析された画像情報に基づいて、連続再生時に当該入力画像中の被写体が動いているような印象を与えることが可能な出力画像群を生成することが可能となる。なお、本実施形態において「入力画像」とは、典型的には静止画像であるが、動画の１フレームであってもよい。
　画像取得部１０１は、処理対象の入力画像を取得する。画像取得部１０１は、例えば、コントローラ１１によって実現される。画像取得部１０１は、例えば、入出力インタフェース１５を介して記憶部１８に記憶された画像を入力画像として取得する。この入力画像は、例えば、画像処理装置１００の図示しない撮像部によって撮像された画像であってもよく、外部の撮像装置等により撮像され画像処理装置１００に入力された画像であってもよい。あるいは、入力画像は、ネットワークを介して取得された画像であってもよい。
　画像情報解析部１０２は、取得された入力画像から画像情報を解析する。画像情報解析部１０２は、例えば、コントローラ１１によって実現される。画像情報は、例えば、入力画像から抽出された特徴量であってもよい。特徴量は、入力画像から抽出され得る入力画像の特徴を示す要素であり、例えば、後述する入力画像の奥行き情報や、入力画像から推定されるシーンについてのシーン情報、入力画像の消失点及び消失線の少なくとも一方の位置についての情報、被写体の上記入力画像における動きベクトルについての情報、及び入力画像のうち注視されると推定される注視領域の情報等を含んでもよい。画像情報解析部１０２により、知覚させる動きを決定するための画像情報を取得することが可能となる。
　画像情報解析部１０２は、例えば、奥行き情報解析部１０２ａと、シーン情報推定部１０２ｂと、消失点・消失線推定部１０２ｃと、動きベクトル推定部１０２ｄと、注視領域推定部１０２ｅとを有する。
　奥行き情報解析部１０２ａは、奥行き情報を解析する。奥行き情報とは、各被写体の相対的又は絶対的な遠近関係(奥行き位置)を示す情報をいうものとする。奥行き位置の解析方法は特に限定されず、例えば、入力画像が３次元入力画像であれば、右眼用・左眼用入力画像を用いて推定した視差を用いることも可能であるし、被写体に所定パターンのレーザ光を照射し、反射光のパターンの歪みを取得する方法でもよい。また、解析された奥行き情報は、例えば被写体の奥行き位置を所定の階調の濃淡で示したデプス（depth）画像として表現されてもよいし、入力画像の領域毎の数値情報として表現されていてもよい。
　なお、奥行き情報解析部１０２ａは、後述する消失線・消失点の位置についての情報を用いることで、被写体の奥行き位置を推定することも可能である。
　シーン情報推定部１０２ｂは、入力画像から推定されるシーンについてのシーン情報を推定する。シーン情報は、より具体的には、入力画像の構図についての情報や、被写体の種類についての情報等を含む。すなわち、シーン情報推定部１０２ｂは、例えば構図推定部１０２ｆと、被写体推定部１０２ｇとを有する。
　構図推定部１０２ｆは、入力画像中の空間の構造を構図として推定し、例えば、室内、近景、遠景等の分類を行う。空間の構造の推定方法は特に限定されない。
　被写体推定部１０２ｇは、入力画像の被写体の種類を推定し、例えば、人物、自然風景、都市風景等の分類を行う。被写体の種類の推定方法は特に限定されない。
　消失点・消失線推定部１０２ｃは、入力画像の消失点及び消失線の少なくとも一方の位置について推定する。消失点・消失線推定部１０２ｃは、具体的には、入力画像における空間の構造を推定し、地平線や水平線等の消失線や、消失点の位置を入力画像から推定する。これらの推定方法は特に限定されない。また、推定された消失線・消失点の位置情報は、入力画像に割り当てられたＸＹ座標と対応付けて記憶部１８に記憶され得る。
　動きベクトル推定部１０２ｄは、入力画像が、同一の被写体をそれぞれ含み時間的に連続して再生され得る複数の画像のうちの一つの画像である場合に、これら複数の画像から推定される、被写体の当該画像における動きベクトルを推定する。動きベクトルは、動きの大きさと向きを示すものとする。すなわち、動きベクトル推定部１０２ｄは、当該入力画像を含む動画の複数フレームに基づいて、被写体の動きの大きさと向きを推定する。動きベクトルの推定方法は、特に限定されない。
　注視領域推定部１０２ｅは、入力画像のうち注視されると推定される注視領域を推定する。注視領域の推定方法は特に限定されず、例えば、画像認識技術により特徴的な被写体を抽出し、複数の被写体のうち、人が視線を向けると思われる被写体が占める領域を推定することができる。
　制御量規定部１０３は、複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する。制御量規定部１０３は、例えばコントローラ１１によって実現される。ここでいう「動きを知覚させる」とは、画像上における実際の被写体の位置は変化していないものの、輝度値が経時的に変化することにより、画像を見た人に対して動いているように知覚させることをいう。
　制御量は、例えば、感じさせようとする動きの大きさ及び向きの少なくとも一方を規定する量であり、具体的には、動きの大きさを規定する値と、動きの向きを規定する値との少なくとも一方として表されてもよい。動きの向きを規定する値は、例えば、ｘ、ｙの値の組で表されてもよいし、ある方向を基準とした回転角の値で表現されてもよい。あるいは、制御量は、動きの大きさ及び向きを示す動きベクトルで表されてもよい。
　なお、入力画像の処理単位としては、一画素、複数の画素を含むブロック、又は一つの被写体等を挙げることができる。また、処理単位は、入力画像の全画素について規定されていてもよいし、一部のみに規定されていてもよい。また、一つの入力画像に異なる画素数や形状の処理単位が混在していてもよい。画像情報は、画像情報解析部１０２により解析された情報を用いることができる。
　ここで、入力画像から実物感を感じさせる一つの方法として、立体感、奥行き感を与える方法が挙げられる。立体感や奥行き感を覚える手掛かり、すなわち奥行き手掛かりは、片眼だけでも奥行きを知覚する単眼奥行き手掛かり（単眼立体情報）と、両眼を用いる両眼奥行き手掛かり（両眼立体情報）とに大別される。前者の例として、遮蔽（オクルージョン）、物の動き、空気遠近が挙げられ、後者の例としては、両眼視差が挙げられる。本技術では、単眼奥行き手掛かりのうち、速く動くものほど近くに、遅く動くものほど遠くにあるように知覚されるという被写体の動きを用いて、立体感、奥行き感を与えることができる。
　フィルタ生成部１０４は、処理単位毎に、規定された制御量に基づいて、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。フィルタ生成部１０４は、例えばコントローラ１１によって実現される。ここでいう「動きを知覚させる出力画像群」とは、連続して再生した際に、実際の画像中における被写体の位置は変化しないが、輝度値の変化等によって被写体の輪郭が変化したように感じられ、動いている印象を与えることができる複数の画像を含む画像群をいう。本実施形態によれば、この輝度値の変化を、各処理単位毎に適用される空間フィルタによって実現することが可能となる。なお、処理単位が複数の画素を含む場合、フィルタ生成部１０４は、一つの処理単位内の各画素に対して一つの空間フィルタを生成することができる。
　空間フィルタとは、一般に、空間フィルタリング処理に用い、所定の関数や行列により生成されるフィルタをいう。また、空間フィルタリング処理は、一般に、処理対象の画素（中心画素）を含む１又は複数の画素の輝度値等に重み付けを行い、所定の演算によって求めた値をその中心画素の値とする処理をいう。以下、ある中心画素に対して適用される空間フィルタの演算がなされる１又は複数の画素を、演算対象画素群とも称することとする。
　本実施形態に係る複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なり三角関数により表現された関数をそれぞれ含んでいてもよく、より具体的には、複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なるガボール（Ｇａｂｏｒ）フィルタをそれぞれ含んでもよい。ここで、三角関数により表現された関数は、例えば、三角関数（ｓｉｎ関数及び／又はｃｏｓ関数であって、係数が付加されたものを含む）若しくはこれらの和や、三角関数と他の関数の積若しくはこれらの和、又は三角関数及び三角関数と他の関数の積の和等で表現された関数等が挙げられる。位相パラメータの値が異なるこのような空間フィルタを入力画像に適用することで、位相パラメータの値に応じて各処理単位の輝度値を周期的に変化させることができ、出力画像群として再生した際に被写体が動いている印象を与えることが可能となる。
　フィルタ生成部１０４は、例えば、制御量に対応する各パラメータの値を代入した上記関数を算出することで、複数の空間フィルタを生成することができる。これらのパラメータの値は、制御量に対応付けられて記憶部１８に記憶されていてもよいし、パラメータの値を代入した関数が、制御量に対応付けて記憶されていてもよい。さらに、本実施形態において、フィルタ生成部１０４は、制御量のみならず、画像情報に基づいて、上記関数の一部の値を規定することも可能である。これにより、知覚させる動きだけでなく、各処理単位におけるエッジの強さ等を調整することも可能となる。
　フィルタ生成部１０４による空間フィルタの作成タイミングについては、特に限定されない。例えば、各処理単位に対して空間フィルタをそれぞれ生成し、後述する処理実行部１０５で１つの出力画像を生成し、さらにこれらの処理を繰り返すことで処理単位毎に複数の空間フィルタを生成してもよい。あるいは、フィルタ生成部１０４が、処理単位毎に複数の空間フィルタを生成し、処理実行部１０５が、入力画像に当該複数の空間フィルタを適用し、出力画像群を生成してもよい。
　処理実行部１０５は、入力画像の各処理単位に対してフィルタ生成部１０４により生成された複数の空間フィルタを適用し、出力画像群を生成する。すなわち、処理実行部１０５は、入力画像の各処理単位に対して複数の空間フィルタのうちの一つの空間フィルタをそれぞれ適用して一つの出力画像を生成し、この処理を各処理単位における複数の空間フィルタについて繰り返し行い、複数の出力画像を生成する。ここで、「出力画像群」とは、１つの入力画像から生成される複数の画像であって、所定の順序で連続的に再生された際に、所定の動きを知覚させることができる複数の画像をいう。
　また、「各処理単位に対して空間フィルタを適用する」とは、具体的には、処理単位が一画素の場合は当該画素の輝度値に対し、あるいは処理単位に複数の画素が含まれる場合は当該複数の画素各々の輝度値に対し、生成された空間フィルタの畳み込み演算を実行することをいう。輝度値は、入力画像の色空間に応じて適切な輝度成分を選択することができる。例えば、入力画像がＹＵＶ形式の場合には、その輝度成分Ｙであってもよく、その他、ＣＩＥ－Ｌ＊ａ＊ｂ＊空間の明度成分Ｌ＊や、ＨＳＶ空間のＶ成分であってもよい。
　表示部１０６は、処理実行部１０５によって生成された出力画像群を、所定の順序で連続的に表示する。表示部１０６は、例えば、ディスプレイ１６によって実現される。
　［空間フィルタ］
　本実施形態においては、空間フィルタとして、ガボールフィルタを用いることができる。ガボールフィルタは、以下の数１から数３で記述される関数ｆ（ｘ，ｙ，λ，ψ，γ，σ）で生成される２次元フィルタであり、数１に示すように、三角関数により表現された関数である。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002

Figure JPOXMLDOC01-appb-M000003
　図３Ａ，Ｂは、ガボールフィルタの具体的な形状の例を示す。同図中の平面Ｓ１，Ｓ２は、それぞれ、ｘｙ平面を示し、ｘｙ平面の法線方向はフィルタの強度を示す。ガボールフィルタの形状は、これらの図に示すように、包絡線を有する、いわゆるメキシカンハット形状を示す。すなわち、図３Ａのガボールフィルタは、強度の高いピークＰ１１と強度の低いボトムＢ１１とを有し，図３Ｂのガボールフィルタは、同様に、ピークＰ２１と、ボトムＢ２１，Ｂ２２を有する。
　図３Ｂは、例えば、中央部に強いピークＰ２１があり、その両脇にボトムＢ２１，Ｂ２２が存在する。一方、図３Ａは、ピークＰ１１の位置が中央からずれており、ボトムＢ１１も一箇所である。このような形状は、以下に説明するパラメータｘ，ｙ，λ，ψ，γ，σ及び係数Ａによって規定される。
　数１において、ｘ、ｙは、入力画像上の座標値を示し、より詳しくは、演算対象画素群の各画素の位置が（ｘ、ｙ）の値によって規定される。また、ｘ，ｙの値の範囲は、フィルタサイズとして規定され得る。フィルタサイズは、ここではｘ、ｙの２次元のフィルタサイズをいい、演算対象画素群の範囲を定めるパラメータである。パラメータとしてのフィルタサイズ(filter_size)は、例えば、中心画素を含むｐ×ｐ画素に適用可能なサイズの場合、ｐ＝２×（filter_size）＋１　を満たす値としてもよい。フィルタサイズは、例えば、１×１～９×９程度とすることができる。
　図３Ａ，Ｂのようなガボールフィルタをある画素（中心画素）に対して適用した場合、強度が高いピーク等の座標（ｘ、ｙ）に対応する演算対象画素群中の画素の重みは大きくなり、強度が低いボトム等の座標（ｘ、ｙ）に対応する演算対象画素群中の画素の重みは小さくなる。すなわち、形状が異なるガボールフィルタをある画素にそれぞれ適用すると、演算対象画素群の重み付けの分布が異なり、当該画素の輝度値も異なることとなる。
　数１におけるλは、ガボールフィルタの波形のトップからトップ、又はボトムからボトムまでの周期を既定するパラメータである。λの値が大きいと、周期が短くなるため、ピークとボトムが多数存在するようになり、いわゆる高域フィルタとして振る舞うことなる。一方、λを小さくすると、周期が長くなってピークとボトムが少なくなるため、いわゆる低域フィルタとして振る舞うこととなる。
　数１におけるγは、ガボールフィルタの形状のｘｙ対称性を規定するパラメータであり、γが１より小さい値になると、楕円運動のように歪んだ動きが知覚される傾向となる。
　数１におけるσは、ガボールフィルタの包絡線（envelope）の勾配を規定するパラメータである。σの値は特に限定されないが、σの値が大きくなるとボケが大きくなる傾向となり、σの値が小さくなるとエッジが強調される傾向となり得る。σの値は、本実施形態において、フィルタサイズ（上記のｐ）の１／３程度の値とすることができる。
　数２，３におけるθは、ｘｙ平面上におけるガボールフィルタの回転角を示す値であり、感じさせようとする動きの向きを規定するパラメータである。図３Ａに示すフィルタと図３Ｂに示すフィルタとは、それぞれ異なる値のθを有するフィルタである。これらの図に示すように、図３Ｂに示す形状は、図３Ａに示す形状から見て、ｘｙ平面の法線成分を中心に回転している。
　数１におけるＡは、ガボールフィルタ関数の係数であって、画像情報に基づいて規定され得る。例えば、Ａの数値が小さいほど入力画像の画質に近い印象となり、Ａの数値が大きいとフィルタが強調され、ボケが大きくなる傾向となり得る。
　数１におけるψは、ガボールフィルタの位相パラメータであり、動きの大きさや画像の変化の見え方等を規定するパラメータである。より具体的には、ψは、メキシカンハット形状のピークとボトムの高さ（強度）と位置を決定する（図３Ａ，Ｂ参照）。すなわち、ψの値を変化させることで、ピークとボトムの位置を変化させることができる。
　本実施形態において、フィルタ生成部１０４は、処理単位毎に、上記各パラメータのうちの少なくとも一部の値を制御量に基づいて設定し、ガボールフィルタの関数を生成することができる。具体的には、例えば、動きの大きさをψ及びfilter_sizeの値、動きの向きをθの値により規定することができる。また、ψ、filter_size、θ以外のパラメータについては、画像情報に基づいて規定することも可能であるし、予め設定されていてもよい。例えば、シーン情報に基づいてσの値を設定することで、構図の種類に応じてエッジの鋭敏さを調整することが可能となる。
　また、フィルタ生成部１０４は、相互に異なる複数のψの値を設定することができる。より具体的には、フィルタ生成部１０４は、これら複数のψの値を値が小さい順に並べた一つの数列と見た場合、制御量により規定された動きの大きさが大きいほど、隣り合う２項の値の差を大きく設定することができる。例えば、複数のψの値は、等差数列となっていてもよい。また、三角関数の位相パラメータであるψは、一般に、２πの周期性を持つため、上記複数のψの値は、２π以下の数値で設定されていてもよい。これにより、各処理単位に対し、ピークとボトムの位置を所定の間隔で変化させたガボールフィルタを適用することができ、出力画像群を再生すると、当該フィルタを適用した画素の輝度値が連続的に変化したように感じられる。したがって、画像全体で見ると、被写体が動いているように感じられることとなり得る。
　一方、本技術は、ガボールフィルタの他にも、ガウス関数を用いた空間フィルタを適用することもできる（非特許文献１参照）。このような空間フィルタは、例えば、ガウス関数Ｇ（ｘ）の２次微分関数Ｇ"（ｘ）とＧ"（ｘ）の直交関数Ｈ（ｘ）を組み合わせた関数Ｆ（ｘ，ｔ）を用いるものである。具体的には、数４に示すように、Ｇ"（ｘ）とＨ（ｘ）の加重平均により算出され、位相パラメータとして、時刻ｔを有する。
Figure JPOXMLDOC01-appb-M000004
　図４Ａは、Ｇ（ｘ）（符号Ｇ０）と、Ｇ'（ｘ）（符号Ｇ１）、Ｇ"（ｘ）（符号Ｇ２）の形状例を示すグラフであり、図４Ｂは、Ｇ"（ｘ）（符号Ｇ２）とＨ（ｘ）（符号Ｈ）、空間フィルタとして用いるＦ（ｘ，ｔ）（符号Ｆ）の形状例を示すグラフである。ここでＨ（ｘ）は、Ｇ"（ｘ）のヒルベルト（Hilbert）変換から導かれる。ヒルベルト変換では、離散フーリエ変換で実数部と虚数部のフーリエ係数を導出し、その係数を変換した後に、フーリエ逆変換を行う。さらに、数４に示すように、Ｇ"（ｘ）とＨ（ｘ）に重み付けとして三角関数を用いることで、時刻ｔに対し周期的な特性を持つ位相フィルタが作成できる。
　図５は、異なる時刻ｔにおけるＦ（ｘ，ｔ）の形状例を示すグラフである。このように、数４に示す関数を用いた空間フィルタを適用した場合も、位相パラメータであるｔを変化させることにより、時刻によって異なる複数の出力画像が得られ、これらを連続的に再生することで動いている印象を与えることができる出力画像群が生成できる。
　なお、数４及び図４，５では、説明のため１次元フィルタを示しているが、実際の入力画像には、さらにパラメータｙを含む２次元フィルタを用いることとなる。
　本実施形態においては、ガボールフィルタを用いることができる。これにより、ヒルベルト変換を必要とするガウス関数を用いた空間フィルタよりも演算コストを大きく低減することができる。また、ガボールフィルタによれば、上述のように、生成したいフィルタの形状から設定すべきパラメータの値を直感的に決定しやすく、空間フィルタの生成も容易になる。
　[画像処理装置の動作例]
　図６は、画像処理装置１００の動作を示すフローチャートである。
　まず、画像取得部１０１が、入出力インタフェース１５を介して処理対象の入力画像を取得する（ＳＴ６１）。処理対象の入力画像は、例えば、図示しない撮像装置等により撮像された１枚の静止画像とするが、動画の１フレームとしてもよい。
　続いて、画像情報解析部１０２が、取得された入力画像から画像情報を解析する（ＳＴ６２）。
　具体的には、例えば、奥行き情報解析部１０２ａが、奥行き情報を解析する。ここでは、解析された奥行き情報を、デプス画像として記憶部１８が記憶するものとする。
　また、シーン情報推定部１０２ｂの構図推定部１０２ｆが、入力画像に写された空間の構造を推定し、例えば、室内、近景、遠景等の分類を行う。同じくシーン情報推定部１０２ｂの被写体推定部１０２ｇが、入力画像の被写体の種類を推定し、例えば、人物、自然風景、都市風景等の分類を行う。
　また、消失点・消失線推定部１０２ｃが、入力画像の消失点及び消失線の少なくとも一方について推定し、入力画像に割り当てられたＸＹ座標と対応付けて消失点・消失線の情報を記憶させる。
　また、動きベクトル推定部１０２ｄは、入力画像が同一の被写体をそれぞれ含み時間的に連続して再生され得る複数の画像のうちの一つの入力画像である場合に、これら複数の画像から推定される、被写体の当該入力画像における動きベクトルを推定する。
　さらに、注視領域推定部１０２ｅが、入力画像のうち注視されると推定される注視領域を推定する。
　続いて、制御量規定部１０３が、これらの画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する（ＳＴ６３）。制御量規定部１０３は、具体的には、処理単位毎に、制御量として、動きの大きさを規定する奥行き量と、動きの向きを規定するｘｙ座標値とを規定する。以下、画像情報に基づく制御量の規定例について説明する。
　制御量規定部１０３は、例えば、奥行き情報解析部１０２ａにより解析された奥行き情報に基づいて、奥行きが浅い処理単位の方が、奥行きが深い処理単位よりも動きを大きく知覚させるように制御量を規定することができる。これにより、奥行き感（立体感）を感じさせることが可能となる。あるいは、制御量規定部１０３は、例えば、奥行き情報解析部１０２ａにより解析された奥行きが浅い被写体と深い被写体とで動きを感じさせる方向を異なる方向に規定することもできる。
　制御量規定部１０３は、例えば、シーン情報推定部１０２ｂによりシーン情報が推定された場合、当該シーン情報に基づいて処理単位毎の制御量を規定することができる。
　より具体的に、制御量規定部１０３は、例えば、構図推定部１０２ｆにより、入力画像のシーンが室内や近景であると分類された場合、被写体の動きを大きくするように制御量を規定することができる。これにより、より被写体が近い印象を与え、自然な実物感を与えることができる。あるいは、入力画像のシーンが室内や近景であると分類された場合、奥行き情報解析部１０２ａにより近くにあると解析された被写体と遠くにあると解析された被写体とで動きの大きさの差を大きくすることも可能である。これにより、より立体感を強調することができる。
　また、制御量規定部１０３は、例えば、被写体推定部１０２ｇにより人物であると推定された被写体に対しては、動きを与えないように制御量を規定することができる。これにより、人物である被写体を自然に見せることが可能となる。
　制御量規定部１０３は、例えば、消失点・消失線推定部１０２ｃにより、消失点及び消失線の少なくとも一方の位置が推定された場合には、消失点及び消失線の少なくとも一方に向かっていくような動き、又は離れていくような動きを知覚させるように制御量を規定することができる。例えば、制御量規定部１０３は、消失点の位置が推定された場合には、消失点を中心とする方向に動きを感じさせるように制御量を規定することができる。これにより、より奥行き感、立体感を感じさせることが可能となる。
　制御量規定部１０３は、例えば、動きベクトル推定部１０２ｄにより動きベクトルが推定された場合、当該動きベクトルに基づいて、動きの大きさ及び向きを制御量として規定することができる。より具体的には、制御量規定部１０３は、当該動きベクトルにより表現される被写体の動きの大きさや向きに基づいて動きを感じさせるように、制御量を規定することができる。これにより、被写体がより自然に動いているように感じさせることができる。
　制御量規定部１０３は、例えば、注視領域推定部１０２ｅにより注視領域が推定された場合、注視領域と注視領域以外の領域とで異なる制御量を規定することができる。より具体的には、制御量規定部１０３は、注視領域を他の領域よりも被写体の動きをより大きく感じさせるように制御量を規定することができる。あるいは、注視領域の被写体の動きを、周辺の領域の動きとわずかに変化させるように制御量を規定することもできる。
　続いて、フィルタ生成部１０４が、処理単位毎に、規定された制御量に基づいて、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する（ＳＴ６４）。フィルタ生成部１０４は、例えば、処理単位毎の制御量のうち、動きの大きさに対応する位相ψ及びfilter_sizeの値と、動きの向きに対応するθの値とを規定する。フィルタ生成部１０４は、各処理単位にこれらのパラメータの値を代入したガボールフィルタの関数（数１参照）をそれぞれ算出する。
　この場合、フィルタ生成部１０４は、上述のように複数のψの値を設定することができ、これら複数のψの値を小さい値から順に並べて数列を構成した場合、隣り合う２つの項の差を制御量に基づいて設定することができる。また、動きが大きいほど、隣り合う２つの項のψの値の差を大きく設定することができるし、上記複数のψの値の範囲を、ψの２π周期性に鑑み［０，２π］の範囲で設定してもよい。これにより、処理単位毎にψの値が異なる複数の空間フィルタが生成される。
　続いて、処理実行部１０５が、入力画像の各処理単位に対して複数の空間フィルタを適用し、出力画像群を生成する（ＳＴ６５）。処理実行部１０５は、まず、入力画像の各処理単位に対して複数の空間フィルタのうちの一つの空間フィルタをそれぞれ適用して一つの出力画像を生成し、この処理を各処理単位における複数の空間フィルタについて繰り返し行い、複数の出力画像を生成する。
　最後に、表示部１０６は、生成された出力画像群を、所定のタイミングで順次表示する。
　以上のように、本実施形態によれば、１つの入力画像から動いている印象を与えることができる出力画像群を生成することができ、当該動きを画像情報に基づいて規定することが可能となる。これにより、より奥行き感、立体感及び実物感が感じられる出力画像群を生成することが可能となる。
　さらに、本実施形態によれば、空間フィルタとしてガボールフィルタを用いるため、比較的演算コストを低減することができる。また、生成したいフィルタの形状から設定すべきパラメータの値を直感的に設定しやすいため、空間フィルタの生成を容易に行うことができる。
　［変形例１－１］
　上述の実施形態においては、フィルタ生成部１０４が制御量に対応する各パラメータの値を代入した関数を算出し、複数の空間フィルタを生成することができると説明したが、これに限定されない。例えば、記憶部１８が、複数の空間フィルタとして適用されることが可能な複数の配列群を含むルックアップテーブルを記憶しており、フィルタ生成部１０４は、処理単位毎に、記憶されたルックアップテーブルから制御量に基づいて配列群を選択してもよい。ここでいう一つの配列群は、一つの画素（中心画素）に適用し得る空間フィルタを構成する配列群であり、例えば、演算対象画素群の各画素に割り当てられる重み付けの値を規定するものである。一つの配列群に含まれる配列数は、filter_sizeによって規定され得る。
　フィルタ生成部１０４が関数を用いた空間フィルタを適用する場合、一つの配列群は、演算対象画素群の各画素に対応する座標パラメータ（ｘ、ｙ）の値がそれぞれ代入された複数の配列を含んでもよい。また、処理単位毎に配列群を選択する場合には、フィルタ生成部１０４は、制御量に基づいてパラメータの値が代入された関数に対応する複数の配列群であって、位相パラメータの値が異なる複数の配列群を選択することができる。
　これにより、空間フィルタを処理毎に生成する上記実施形態と同様の作用効果が得られるとともに、空間フィルタを繰り返し生成する手間を省き、処理コストを大幅に低減することが可能となる。
　なお、記憶部１８は、制御量に直接対応付けて各配列群を記憶していてもよい。これにより、フィルタ生成部１０４が、ルックアップテーブル中の配列群から制御量に基づいて円滑に配列群を選択することが可能となり、より処理コストを低減することができる。あるいは、記憶部１８は、空間フィルタに用いる関数に対応付けて各配列群を記憶していてもよい。
　［変形例１－２］
　上述の実施形態においては、特徴量として、奥行き情報、シーン情報、消失点・消失線の情報、動きベクトルの情報、及び注視領域についての情報の全てを用いると説明したが、これらのうちの少なくとも一つを用いてもよい。
　あるいは、特徴量として、上記以外の要素を用いることもできる。
　さらに、画像情報は、特徴量に限定されない。例えば、画像情報として、入力画像のメタデータを用いることが可能である。当該メタデータとしては、例えば、レンズの焦点距離や、撮影場所等の情報を挙げることができる。
　［変形例１－３］
　上述の実施形態においては、空間フィルタとして、ガボールフィルタを用いると説明したが、これに限定されない。例えば、空間フィルタの一例として挙げたガウス関数を用いた空間フィルタでもよいし（数４、図４，５参照）、三角関数により表現されたその他の関数を用いてもよい。また例えば、空間フィルタとして、ガボールフィルタと他の関数とを組み合わせたフィルタを用いることもできる。また、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成可能な関数であれば、三角関数により表現された関数にも限定されない。
　［変形例１－４］
　上述の実施形態においては、制御量は、動きの大きさを規定する値及び動きの向きを規定するｘｙ座標や、動きの大きさ及び向きを示す動きベクトルであってもよいと説明したが、これに限定されない。例えば、制御量は、空間フィルタに用いられる関数のパラメータの値として規定されてもよい。また、制御量は、感じさせようとする動きの大きさ及び向きの少なくとも一方を規定する量に限定されず、当該動きの速さや加速度を規定する量等であってもよい。あるいは、当該動きが回転運動である場合は、当該動きの回転量や回転速度であってもよい。
　［変形例１－５］
　以上の実施形態では、空間フィルタについて、制御量に対応するパラメータ以外のパラメータの値は予め設定されていてもよいと説明したが、これに限定されない。例えば、フィルタ生成部１０４が画像情報に基づいて制御量に対応するパラメータ以外の値を設定してもよい。例えば、シーン情報から被写体が自然風景であると推定された場合、例えばσの値を大きめに設定することができる。これにより、被写体のエッジを強調しすぎることなく、自然風景らしいより実物感のある出力画像群を提供することが可能となる。また、被写体が都市風景であると推定された場合は、例えば、σの値を小さめに設定することができる。これにより、被写体のエッジを強調し、人工物の多い都市の雰囲気をより演出することができる。
　したがって、本変形例により、画像情報を有効活用して、より実物感のある出力画像を提供することが可能となる。
　［変形例１－６］
　あるいは、制御量に対応するパラメータ以外の値は、ユーザが設定可能に構成されてもよい。この場合は、例えば、予め数種類のパターンのパラメータの値を設定しておき、ユーザの入力に基づいて、これらのパターンが選択されることが可能に構成されてもよい。上記パターンは、例えば、エッジを強調するモードやエッジを強調しないモード、高画質に見えるモードなど、ユーザの好みに応じて選択可能に決定されてもよい。ガボールフィルタを適用する場合、例えば、エッジを強調するモードでは、σの値を小さめに設定することができ、エッジを強調しないモードでは、σの値を大きめに設定することができる。また、高画質に見えるモードでは、Ａの値を小さめに設定したり、γの値を大きめに設定することができる。
　これにより、ユーザが自分の好みに応じて出力画像群を制御することができ、よりユーザの満足度を高めることができる。
＜第２の実施形態＞
　［画像処理システムのハードウェア構成］
　図７は、本技術の第２の実施形態に係る画像処理システム２のハードウェア構成を示すブロック図である。同図において、画像処理システム２は、クラウドシステムであり、画像処理装置２００と、表示装置２６０とを備える。画像処理装置２００及び表示装置２６０は、ネットワークＮを介して相互に接続されている。表示装置２６０は、例えばＰＣ、タブレットＰＣ、スマートフォン、タブレット端末等のユーザ端末として構成され、画像処理装置２００は、例えばネットワークＮ上のサーバ装置（情報処理装置）として構成される。
　画像処理システム２は、以下のような動作が可能に構成される。すなわち、表示装置２６０から送信された入力画像に対し、画像処理装置２００が画像情報を抽出し、空間フィルタを生成して出力画像群を生成し、当該出力画像群を表示装置２６０へ送信する。そして、表示装置２６０が、受信した出力画像群を表示する。
　表示装置２６０は、コントローラ２６１、ＲＯＭ２６２、ＲＡＭ２６３、入出力インタフェース２６５、及び、これらを互いに接続するバス２６４を備える。さらに、入出力インタフェース２６５には、ディスプレイ２６６、操作受付部２６７、記憶部２６８、通信部２６９等が接続される。コントローラ２６１、ＲＯＭ２６２、ＲＡＭ２６３、バス２６４、入出力インタフェース２６５、ディスプレイ２６６、操作受付部２６７、記憶部２６８、及び通信部２６９は、それぞれ、コントローラ１１、ＲＯＭ１２、ＲＡＭ１３、バス１４、入出力インタフェース１５、ディスプレイ１６、操作受付部１７、記憶部１８、及び通信部１９と同様の構成であるため、その説明を省略する。なお、表示装置２６０の入出力インタフェース２６５には、図示しない撮像部等が接続されていてもよい。
　画像処理装置２００は、コントローラ２１、ＲＯＭ２２、ＲＡＭ２３、入出力インタフェース２５、及び、これらを互いに接続するバス２４を備える。さらに、入出力インタフェース２５には、操作受付部２７、記憶部２８、通信部２９等が接続される。コントローラ２１、ＲＯＭ２２、ＲＡＭ２３、バス２４、入出力インタフェース２５、ディスプレイ２６、操作受付部２７、記憶部２８、及び通信部２９は、それぞれ、コントローラ１１、ＲＯＭ１２、ＲＡＭ１３、バス１４、入出力インタフェース１５、操作受付部１７、記憶部１８、及び通信部１９と同様の構成であるため、その説明を省略する。
　［画像処理システムの機能的構成］
　図８は、画像処理システム２の機能的構成を示すブロック図である。同図に示すように、画像処理システム２は、画像取得部２０１と、画像情報解析部２０２と、制御量規定部２０３と、フィルタ生成部２０４と、処理実行部２０５と、表示部２０６とを備える。このうち画像処理装置２００は、画像取得部２０１と、画像情報解析部２０２と、制御量規定部２０３と、フィルタ生成部２０４と、処理実行部２０５とを備える。表示装置２６０は、表示部２０６を備える。
　上記各要素は、画像処理装置１００の画像取得部１０１と、画像情報解析部１０２と、制御量規定部１０３と、フィルタ生成部１０４と、処理実行部１０５と、表示部１０６と同様の構成を有する。すなわち、画像取得部２０１は、処理対象の入力画像を取得する。画像情報解析部２０２は、取得された入力画像から画像情報を解析し、奥行き情報解析部２０２ａと、シーン推定部２０２ｂと、消失点・消失線推定部２０２ｃと、動きベクトル推定部２０２ｄと、注視領域推定部２０２ｅとを有する。フィルタ生成部２０４は、処理単位毎に、規定された制御量に基づいて、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。処理実行部２０５は、入力画像の各処理単位に対してフィルタ生成部２０４により生成された複数の空間フィルタを適用し、出力画像群を生成する。表示部２０６は、処理実行部２０５により生成された出力画像群を所定の順序で連続的に表示する。これら各要素の詳細な説明は省略する。
　なお、画像取得部２０１は、例えば、表示装置２６０から通信部２６９，２９を介して送信され、記憶部２８に記憶された画像を入力画像として取得してもよい。あるいは、ユーザによる表示装置２６０の操作に基づき、ネットワーク上のデータベース等に記憶された画像を入力画像として取得してもよい。
　処理実行部２０５によって生成された出力画像群は、通信部２９，２６９を介して表示装置２６０へ送信され、表示部２０６により表示される。表示部２０６は、例えば、表示装置２６０のディスプレイ２６６によって実現される。
　以上のような構成の画像処理装置２００であっても、画像処理装置１００と同様に、画像情報に基づいて奥行き感、立体感及び実物感が感じられる出力画像群を生成することが可能となる。
　さらに本実施形態によれば、クラウドシステムを利用して、動きを知覚できる出力画像群を生成することが可能となる。これにより、画像処理による表示装置２６０等のユーザ端末の負荷を軽減しつつ、ユーザに対し出力画像群を表示させることが可能となる。
＜第３の実施形態＞
　［画像処理システムの概略構成］
　図９は、本技術の第３の実施形態に係る画像処理システム３の概略構成を示すブロック図である。同図において、画像処理システム３は、クラウドシステムであり、画像処理装置３００と、表示装置３６０とを備える。画像処理装置３００及び表示装置３６０は、ネットワークＮを介して相互に接続されている。表示装置３６０は、ユーザ端末として構成され、画像処理装置３００は、例えばネットワークＮ上のサーバ装置（情報処理装置）として構成される。なお、画像処理装置３００及び表示装置３６０のハードウェア構成は、それぞれ画像処理装置２００及び表示装置２６０のハードウェア構成と同様であるため、説明を省略する。
　画像処理システム３は、以下のような動作が可能に構成される。すなわち、表示装置３６０から送信された入力画像に対し、画像処理装置３００が画像情報を抽出し、空間フィルタを生成してこれを表示装置３６０に送信する。表示装置３６０は、画像処理装置３００から受信した空間フィルタを入力画像に適用することで出力画像群を生成し、これを表示する。
　［画像処理システムの機能的構成］
　図１０は、画像処理システム３の機能的構成を示すブロック図である。同図に示すように、画像処理システム３は、画像取得部３０１と、画像情報解析部３０２と、制御量規定部３０３と、フィルタ生成部３０４と、処理実行部３０５と、表示部３０６とを備える。このうち画像処理装置３００は、画像取得部３０１と、画像情報解析部３０２と、制御量規定部３０３と、フィルタ生成部３０４とを備える。表示装置３６０は、処理実行部３０５と、表示部３０６とを備える。
　上記各要素は、画像処理装置１００の画像取得部１０１と、画像情報解析部１０２と、制御量規定部１０３と、フィルタ生成部１０４と、処理実行部１０５と、表示部１０６と同様の構成を有する。すなわち、画像取得部３０１は、処理対象の入力画像を取得する。画像情報解析部３０２は、取得された入力画像から画像情報を解析し、奥行き情報解析部３０２ａと、シーン推定部３０２ｂと、消失点・消失線推定部３０２ｃと、動きベクトル推定部３０２ｄと、注視領域推定部３０２ｅとを有する。フィルタ生成部３０４は、処理単位毎に、規定された制御量に基づいて、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。処理実行部３０５は、入力画像の各処理単位に対してフィルタ生成部２０４により生成された複数の空間フィルタを適用し、出力画像群を生成する。表示部３０６は、処理実行部３０５によって生成された出力画像群を、所定の順序で連続的に表示する。これら各要素の詳細な説明は省略する。
　画像処理装置３００のフィルタ生成部３０４により生成された複数の空間フィルタは、通信部（図示せず）を介して表示装置３６０に送信される。この際、入力画像もともに送信されてもよいし、表示装置３６０の記憶部（図示せず）に入力画像が記憶されている場合は、空間フィルタのみ送信されてもよい。送信される各空間フィルタには、それぞれ、適用される入力画像の画素の位置情報や、当該画素に適用される複数の空間フィルタの中での再生順序等の情報が対応付けられている。
　処理実行部３０５は、例えば、表示装置３６０のコントローラ（図示せず）により実現される。処理実行部３０５は、各空間フィルタに対応付けられた情報に基づいて、入力画像の各処理単位に対し、送信された空間フィルタを適用し、出力画像群を生成する。
　表示部３０６は、例えば、表示装置３６０のディスプレイ（図示せず）により実現される。表示部３０６により、表示装置３６０から出力画像群が所定の間隔で順次表示される。
　以上のような構成の画像処理装置３００であっても、画像処理装置１００と同様に、奥行き感、立体感及び実物感が感じられる出力画像群を生成することが可能となる。さらに本実施形態によれば、第２の実施形態と同様に、クラウドシステムを利用して、動きを知覚できる出力画像群を生成することが可能となる。
＜第４の実施形態＞
　［画像処理システムの概略構成］
　図１１は、本技術の第４の実施形態に係る画像処理システム４の概略構成を示すブロック図である。同図において、画像処理システム４は、クラウドシステムであり、画像処理装置４００と、表示装置４６０とを備える。画像処理システム４の画像処理装置４００と表示装置４６０とは、ネットワークＮを介して相互に接続されている。表示装置４６０は、ユーザ端末として構成され、画像処理装置４００は、例えばネットワークＮ上のサーバ装置（情報処理装置）として構成される。なお、画像処理装置４００及び表示装置４６０のハードウェア構成は、画像処理装置２００及び表示装置２６０のハードウェア構成と同様であるため、説明を省略する。
　画像処理システム４は、以下のような動作が可能に構成される。すなわち、表示装置４６０が、入力画像から画像情報を解析し、入力画像とともに画像処理装置４００に送信する。画像処理装置４００は、画像情報に基づいて空間フィルタを生成して出力画像群を生成し、表示装置４６０に送信する。さらに表示装置４６０は、この空間フィルタを入力画像に適用することで、出力画像群を生成し、再生する。
　［画像処理システムの機能的構成］
　図１２は、画像処理システム４の機能的構成を示すブロック図である。同図に示すように、画像処理システム４は、画像取得部４０１と、画像情報解析部４０２と、制御量規定部４０３と、フィルタ生成部４０４と、処理実行部４０５と、表示部４０６とを備える。このうち画像処理装置４００は、制御量規定部４０３と、フィルタ生成部４０４と、処理実行部４０５とを備える。表示装置４６０は、画像取得部４０１と、画像情報解析部４０２と、表示部４０６とを備える。
　上記各要素は、画像処理装置１００の画像取得部１０１と、画像情報解析部１０２と、制御量規定部１０３と、フィルタ生成部１０４と、処理実行部１０５と同様の構成を有する。すなわち、画像取得部４０１は、処理対象の入力画像を取得する。画像情報解析部４０２は、取得された入力画像から画像情報を解析し、奥行き情報解析部４０２ａと、シーン推定部４０２ｂと、消失点・消失線推定部４０２ｃと、動きベクトル推定部４０２ｄと、注視領域推定部４０２ｅとを有する。フィルタ生成部４０４は、処理単位毎に、規定された制御量に基づいて、入力画像から動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する。処理実行部４０５は、入力画像の各処理単位に対してフィルタ生成部２０４により生成された複数の空間フィルタを適用し、出力画像群を生成する。表示部４０６は、処理実行部４０５によって生成された出力画像群を、所定の順序で連続的に表示する。これら各要素の詳細な説明は省略する。
　画像取得部４０１と、画像情報解析部４０２とは、例えば表示装置４６０のコントローラ（図示せず）により実現される。入力画像を表示装置４６０により解析された画像情報は、表示装置４６０及び画像処理装置４００各々の通信部（図示せず）を介して画像処理装置４００に送信される。なお、この際、入力画像は、画像情報とともに送信されてもよいし、送信されなくてもよい。
　表示部４０６は、例えば、表示装置４６０のディスプレイ（図示せず）により実現される。表示部４０６は、表示部２０６と同様に、ユーザの操作等に基づいて、出力画像群を所定の順序で連続的に表示する。これにより、表示装置４６０から出力画像群が順次表示される。
　以上のような構成の画像処理装置４００であっても、画像処理装置１００と同様に、奥行き感、立体感及び実物感が感じられる出力画像群を生成することが可能となる。さらに本実施形態によれば、第２の実施形態と同様に、クラウドシステムを利用して、動きを知覚できる出力画像群を生成することが可能となる。
　［変形例４－１］
　上述の第４の実施形態では、画像処理装置４００が、制御量規定部４０３と、フィルタ生成部４０４と、処理実行部４０５とを備えると説明したが、これに限定されない。例えば、画像処理装置４００が処理実行部４０５を備えず、表示装置４６０が処理実行部４０５を備える構成としてもよい。この場合は、第３の実施形態と同様に、画像処理装置４００のフィルタ生成部４０４により生成された複数の空間フィルタが、図示しない通信部を介して表示装置４６０に送信され、表示装置４６０側で出力画像群が生成される。このような構成によっても、上述の実施形態と同様の作用効果を得ることができる。
　［変形例４－２］
　上述の第４の実施形態では、表示装置４６０が画像情報解析部４０２を備えると説明したが、これに限定されず、例えば図１３に示すように、画像処理装置４００が画像情報解析部４０２と、制御量規定部４０３と、フィルタ生成部４０４と、処理実行部４０５とを備えていてもよい。すなわち、表示装置４６０の画像取得部４０１により取得された入力画像が、表示装置４６０及び画像処理装置４００各々の通信部（図示せず）を介して画像処理装置４００に送信される。画像処理装置４００は、当該入力画像を用いて処理を行い、表示装置４６０からの要求等に応じて表示装置４６０へ出力画像群を送信する。このような構成によっても、上述の実施形態と同様の作用効果を得ることができる。
　さらに、本発明は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。また、上述の第１～第４の各実施形態及び各実施例は、矛盾が生じない限り如何様にも組み合わされて実行され得る。
　なお、本技術は以下のような構成もとることができる。
（１）複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する制御量規定部と、
　上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成するフィルタ生成部と
　を具備する画像処理装置。
（２）上記（１）に記載の画像処理装置であって、
　上記制御量は、上記知覚させる動きの大きさ及び向きの少なくとも一方を規定する量である
　画像処理装置。
（３）上記（１）又は（２）に記載の画像処理装置であって、
　上記画像情報は、上記入力画像から抽出された特徴量を含む
　画像処理装置。
（４）上記（３）に記載の画像処理装置であって、
　上記特徴量は、上記入力画像の奥行き情報を含み、
　上記制御量規定部は、上記奥行き情報に基づいて、奥行きが浅い位置処理単位の方が、奥行きが深い処理単位よりも上記動きを大きく知覚させるように上記制御量を規定する
　画像処理装置。
（５）上記（３）又は（４）に記載の画像処理装置であって、
　上記特徴量は、上記入力画像から推定されるシーンについてのシーン情報を含み、
　上記制御量規定部は、上記シーン情報に基づいて処理単位毎の制御量を規定する
　画像処理装置。
（６）上記（５）に記載の画像処理装置であって、
　上記シーン情報は、上記入力画像中の空間の構造についての情報を含む
　画像処理装置。
（７）上記（５）又は（６）に記載の画像処理装置であって、
　上記シーン情報は、上記入力画像の被写体の種類についての情報を含む
　画像処理装置。
（８）上記（３）から（７）のいずれか１つに記載の画像処理装置であって、
　上記特徴量は、上記入力画像の消失点及び消失線の少なくとも一方の位置についての情報を含み、
　上記制御量規定部は、消失点及び消失線の少なくとも一方に向かっていくような動き、又は離れていくような動きを知覚させるように制御量を規定する
　画像処理装置。
（９）上記（３）から（８）のいずれか１つに記載の画像処理装置であって、
　上記入力画像は、同一の被写体をそれぞれ含み時間的に連続して再生され得る複数の画像のうちの一つの画像であり、
　上記特徴量は、上記複数の画像から推定される、上記被写体の上記入力画像における動きベクトルについての情報を含み、
　上記制御量規定部は、上記動きベクトルに基づいて、上記動きの大きさ及び向きを制御量として規定する
　画像処理装置。
（１０）上記（３）から（９）のいずれか１つに記載の画像処理装置であって、
　上記特徴量は、上記入力画像のうち注視されると推定される注視領域についての情報を含み、
　上記制御量規定部は、上記注視領域と上記注視領域以外の領域とで異なる上記制御量を規定する
　画像処理装置。
（１１）上記（１）から（１０）のいずれか１つに記載の画像処理装置であって、
　上記入力画像を取得する画像取得部と、
　上記入力画像から上記画像情報を解析する画像情報解析部とをさらに具備する
　画像処理装置。
（１２）上記（１）から（１１）のいずれか１つに記載の画像処理装置であって、
　上記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なり三角関数により表現された関数を含む
　画像処理装置。
（１３）上記（１２）に記載の画像処理装置であって、
　上記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なるガボールフィルタをそれぞれ含む
　画像処理装置。
（１４）上記（１）から（１３）のいずれか１つに記載の画像処理装置であって、
　上記複数の空間フィルタとして適用されることが可能な複数の配列群を含むルックアップテーブルを記憶する記憶部を具備し、
　上記フィルタ生成部は、上記処理単位毎に、上記ルックアップテーブルから上記制御量に基づいて配列群を選択する
　画像処理装置。
（１５）上記（１）から（１４）のいずれか１つに記載の画像処理装置であって、
　上記入力画像の各処理単位に対して上記複数の空間フィルタを適用して出力画像群を生成する処理実行部をさらに具備する
　画像処理装置。
（１６）複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定し、
　上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する
　画像処理方法。
（１７）情報処理装置に、
　複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定するステップと、
　上記処理単位毎に、上記規定された制御量に基づいて、上記入力画像から上記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成するステップと
　を実行させるプログラム。
　１０１，２０１，３０１，４０１…画像取得部
　１０２，２０２，３０２，４０２…画像情報解析部
　１０３，２０３，３０３，４０３…制御量規定部
　１０４，２０４，３０４，４０４…フィルタ生成部
　１０５，２０５，３０５，４０５…処理実行部
　１００，２００，３００，４００…画像処理装置

Claims (17)

  1. 　複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定する制御量規定部と、
    　前記処理単位毎に、前記規定された制御量に基づいて、前記入力画像から前記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成するフィルタ生成部と
    　を具備する画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記制御量は、前記知覚させる動きの大きさ及び向きの少なくとも一方を規定する量である
    　画像処理装置。
  3. 　請求項１に記載の画像処理装置であって、
    　前記画像情報は、前記入力画像から抽出された特徴量を含む
    　画像処理装置。
  4. 　請求項３に記載の画像処理装置であって、
    　前記特徴量は、前記入力画像の奥行き情報を含み、
    　前記制御量規定部は、前記奥行き情報に基づいて、奥行きが浅い位置処理単位の方が、奥行きが深い処理単位よりも前記動きを大きく知覚させるように前記制御量を規定する
    　画像処理装置。
  5. 　請求項３に記載の画像処理装置であって、
    　前記特徴量は、前記入力画像から推定されるシーンについてのシーン情報を含み、
    　前記制御量規定部は、前記シーン情報に基づいて処理単位毎の制御量を規定する
    　画像処理装置。
  6. 　請求項５に記載の画像処理装置であって、
    　前記シーン情報は、前記入力画像中の空間の構造についての情報を含む
    　画像処理装置。
  7. 　請求項５に記載の画像処理装置であって、
    　前記シーン情報は、前記入力画像の被写体の種類についての情報を含む
    　画像処理装置。
  8. 　請求項３に記載の画像処理装置であって、
    　前記特徴量は、前記入力画像の消失点及び消失線の少なくとも一方の位置についての情報を含み、
    　前記制御量規定部は、消失点及び消失線の少なくとも一方に向かっていくような動き、又は離れていくような動きを知覚させるように制御量を規定する
    　画像処理装置。
  9. 　請求項３に記載の画像処理装置であって、
    　前記入力画像は、同一の被写体をそれぞれ含み時間的に連続して再生され得る複数の画像のうちの一つの画像であり、
    　前記特徴量は、前記複数の画像から推定される、前記被写体の前記入力画像における動きベクトルについての情報を含み、
    　前記制御量規定部は、前記動きベクトルに基づいて、前記動きの大きさ及び向きを制御量として規定する
    　画像処理装置。
  10. 　請求項３に記載の画像処理装置であって、
    　前記特徴量は、前記入力画像のうち注視されると推定される注視領域についての情報を含み、
    　前記制御量規定部は、前記注視領域と前記注視領域以外の領域とで異なる前記制御量を規定する
    　画像処理装置。
  11. 　請求項１に記載の画像処理装置であって、
    　前記入力画像を取得する画像取得部と、
    　前記入力画像から前記画像情報を解析する画像情報解析部とをさらに具備する
    　画像処理装置。
  12. 　請求項１に記載の画像処理装置であって、
    　前記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なり三角関数により表現された関数を含む
    　画像処理装置。
  13. 　請求項１２に記載の画像処理装置であって、
    　前記複数の空間フィルタ各々は、位相パラメータの値がそれぞれ異なるガボールフィルタをそれぞれ含む
    　画像処理装置。
  14. 　請求項１に記載の画像処理装置であって、
    　前記複数の空間フィルタとして適用されることが可能な複数の配列群を含むルックアップテーブルを記憶する記憶部を具備し、
    　前記フィルタ生成部は、前記処理単位毎に、前記ルックアップテーブルから前記制御量に基づいて配列群を選択する
    　画像処理装置。
  15. 　請求項１に記載の画像処理装置であって、
    　前記入力画像の各処理単位に対して前記複数の空間フィルタを適用して出力画像群を生成する処理実行部をさらに具備する
    　画像処理装置。
  16. 　複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定し、
    　前記処理単位毎に、前記規定された制御量に基づいて、前記入力画像から前記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成する
    　画像処理方法。
  17. 　情報処理装置に、
    　複数の処理単位を含む入力画像の画像情報に基づいて、処理単位毎に知覚させる動きの制御量を規定するステップと、
    　前記処理単位毎に、前記規定された制御量に基づいて、前記入力画像から前記動きを知覚させる出力画像群を生成することが可能な複数の空間フィルタを生成するステップと
    　を実行させるプログラム。
PCT/JP2015/001856 2014-06-03 2015-03-31 画像処理装置、画像処理方法及びプログラム Ceased WO2015186284A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/127,655 US20170148177A1 (en) 2014-06-03 2015-03-31 Image processing apparatus, image processing method, and program
JP2016525671A JP6558365B2 (ja) 2014-06-03 2015-03-31 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-114545 2014-06-03
JP2014114545 2014-06-03

Publications (1)

Publication Number Publication Date
WO2015186284A1 true WO2015186284A1 (ja) 2015-12-10

Family

ID=54766371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001856 Ceased WO2015186284A1 (ja) 2014-06-03 2015-03-31 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20170148177A1 (ja)
JP (1) JP6558365B2 (ja)
WO (1) WO2015186284A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087229A (ja) * 2017-11-02 2019-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
WO2020235363A1 (ja) * 2019-05-22 2020-11-26 ソニーセミコンダクタソリューションズ株式会社 受光デバイス、固体撮像装置、電子機器及び情報処理システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102423175B1 (ko) * 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
KR102423295B1 (ko) * 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012067254A1 (ja) * 2010-11-15 2012-05-24 独立行政法人科学技術振興機構 錯視画像生成装置、媒体、画像データ、錯視画像生成方法、印刷媒体製造方法、および、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011060579A1 (en) * 2009-11-18 2011-05-26 Industrial Technology Research Institute Method for generating depth maps from monocular images and systems using the same
US8406510B2 (en) * 2010-03-10 2013-03-26 Industrial Technology Research Institute Methods for evaluating distances in a scene and apparatus and machine readable medium using the same
JP6214183B2 (ja) * 2012-05-11 2017-10-18 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム
KR20140033858A (ko) * 2012-09-11 2014-03-19 삼성전자주식회사 사용자 단말의 상태 변화에 기초한 측위 서비스 제공 방법 및 그 사용자 단말

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012067254A1 (ja) * 2010-11-15 2012-05-24 独立行政法人科学技術振興機構 錯視画像生成装置、媒体、画像データ、錯視画像生成方法、印刷媒体製造方法、および、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WILLIAM T. FREEMAN ET AL.: "Motion Without Movement", PROCEEDINGS OF THE 18TH ANNUAL CONFERENCE ON COMPUTER GRAPHICS AND INTERACTIVE TECHNIQUES SIGGRAPH '91, vol. 25, no. 4, pages 27 - 30, XP055240059 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087229A (ja) * 2017-11-02 2019-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP7190842B2 (ja) 2017-11-02 2022-12-16 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
WO2020235363A1 (ja) * 2019-05-22 2020-11-26 ソニーセミコンダクタソリューションズ株式会社 受光デバイス、固体撮像装置、電子機器及び情報処理システム
US11928848B2 (en) 2019-05-22 2024-03-12 Sony Semiconductor Solutions Corporation Light receiving device, solid-state imaging apparatus, electronic equipment, and information processing system

Also Published As

Publication number Publication date
US20170148177A1 (en) 2017-05-25
JPWO2015186284A1 (ja) 2017-04-20
JP6558365B2 (ja) 2019-08-14

Similar Documents

Publication Publication Date Title
CN109660783B (zh) 虚拟现实视差校正
JP4966431B2 (ja) 画像処理装置
US8094148B2 (en) Texture processing apparatus, method and program
JP2019079552A (ja) イメージ形成における及びイメージ形成に関する改良
JP5673032B2 (ja) 画像処理装置、表示装置、画像処理方法及びプログラム
CN104010180B (zh) 三维视频滤波方法和装置
US10957063B2 (en) Dynamically modifying virtual and augmented reality content to reduce depth conflict between user interface elements and video content
BR112019027867A2 (pt) aparelho e método para gerar uma imagem e produto de programa de computador
US10885651B2 (en) Information processing method, wearable electronic device, and processing apparatus and system
WO2019198570A1 (ja) 映像生成装置、映像生成方法、プログラム、およびデータ構造
TW201921318A (zh) 用於產生場景之舖磚式三維影像表示之設備及方法
US11543655B1 (en) Rendering for multi-focus display systems
JP6558365B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN107146197A (zh) 一种缩略图生成方法及装置
US12254131B1 (en) Gaze-adaptive image reprojection
WO2024249201A1 (en) Tone mapping via dynamic histogram matching
EP3236306A1 (en) A method for rendering a 3d virtual reality and a virtual reality equipment for implementing the method
US9858654B2 (en) Image manipulation
JP6615818B2 (ja) 映像生成装置、映像生成方法、およびプログラム
CN111028357B (zh) 增强现实设备的软阴影处理方法和装置
US12056856B2 (en) Extended depth-of-field correction using reconstructed image
JP6544719B2 (ja) 動画像生成システム、動画像生成装置、動画像生成方法、及びコンピュータプログラム
WO2019208143A1 (ja) 映像生成装置、映像生成方法、およびプログラム
CN119071460A (zh) 用于细化深度图的方法和设备
CN115619916A (zh) 一种渲染方法、装置和设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15803874

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016525671

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15127655

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15803874

Country of ref document: EP

Kind code of ref document: A1