[go: up one dir, main page]

WO2018161817A1 - 一种存储介质、在虚拟现实场景中模拟摄影的方法及系统 - Google Patents

一种存储介质、在虚拟现实场景中模拟摄影的方法及系统 Download PDF

Info

Publication number
WO2018161817A1
WO2018161817A1 PCT/CN2018/077331 CN2018077331W WO2018161817A1 WO 2018161817 A1 WO2018161817 A1 WO 2018161817A1 CN 2018077331 W CN2018077331 W CN 2018077331W WO 2018161817 A1 WO2018161817 A1 WO 2018161817A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual reality
parameter
image data
simulating
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/077331
Other languages
English (en)
French (fr)
Inventor
汪向飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JRD Communication Shenzhen Ltd
Original Assignee
JRD Communication Shenzhen Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JRD Communication Shenzhen Ltd filed Critical JRD Communication Shenzhen Ltd
Priority to US16/492,120 priority Critical patent/US11094125B2/en
Publication of WO2018161817A1 publication Critical patent/WO2018161817A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G06T11/10—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures

Definitions

  • the present invention relates to the field of analog photography, and more particularly to a method and system for simulating photography in a virtual reality scene.
  • the 360-degree panoramic camera with virtual reality device can provide users with an immersive, immersive feeling, so it is highly praised.
  • the virtual reality device usually displays the left eye and the eye image on the mobile phone, and forms a three-dimensional feeling through the cooperation of the left and right eyes.
  • the content captured by the 360-degree panoramic camera is usually a spherical angle, that is, 360 panoramic shot, which can be viewed from various angles, but there is no better method for obtaining an image or video of a certain angle and corresponding content. If the image is intercepted from the user's perspective, although it is relatively simple, the image quality is not easy to control, and the formed photo is different from the camera photographing image; and the user cannot use the same angle when acquiring a certain angle and corresponding content.
  • the composition design of the SLR camera is not able to perform professional parameter adjustment like a SLR camera, and it is impossible to output a satisfactory target picture from a 360-degree panorama.
  • an object of the present invention is to provide a method and system for simulating photography in a virtual reality scene, aiming at solving a situation in which a user cannot perform composition design on an existing 360-degree panoramic photo, and cannot perform professional parameters. Adjustment, and thus unable to output a satisfactory target image problem.
  • a storage medium wherein the storage medium stores program data, and the program data can be executed to: receive a user instruction, adjust a composition parameter of a current viewport, and acquire initial image data; Adjusting the camera parameters of the image data to obtain the modified image data; performing inverse distortion processing on the modified image data to output a target image; wherein the adjusting the composition parameters of the current viewport includes: tracking the user's The head deflection direction determines the angle and corresponding content viewed by the user by adjusting the head tracking parameters.
  • the adjusting the composition parameter of the current viewport further includes: the virtual reality device receiving the user instruction, and determining a difference in depth of field by adjusting a focus parameter.
  • composition parameters include: rendering parameters.
  • composition parameters include: distortion parameters.
  • the current viewport is an image seen in the left eye or a side image in the image in the right eye.
  • the camera parameters are one or more of exposure, saturation, size, and filter effects.
  • Performing anti-distortion processing on the modified image data to output a target image comprising: the virtual reality device reading the modified image data, and performing anti-distortion processing; intercepting a frame buffer object of the current viewport And re-rendering in the display synthesis system to obtain the rendered picture; performing screenshot processing on the rendered picture in the display synthesis system, and outputting the target picture.
  • the virtual reality device is a virtual reality helmet.
  • a method of simulating photography in a virtual reality scene comprising the steps of:
  • composition parameter in the step A includes one or more of a rendering parameter, a distortion parameter, a head tracking parameter, and a focal length parameter.
  • the adjusting the composition parameter of the current viewport includes: tracking a head deflection direction of the user, and determining an angle and corresponding content viewed by the user by adjusting the head tracking parameter.
  • the adjusting the composition parameter of the current viewport includes: the virtual reality device receiving the user instruction, and determining a difference in depth of field by adjusting the focus parameter.
  • the method for simulating photography in a virtual reality scene wherein the current viewport is an image seen in the left eye or a side image in the image in the right eye.
  • the method for simulating photography in a virtual reality scene wherein the camera parameters are one or more of exposure, saturation, size, and filter effects.
  • step C specifically includes the following steps:
  • the virtual reality device reads the modified image data and performs anti-distortion processing
  • C3. Perform screenshot processing on the rendered picture in a display synthesis system, and output a target picture.
  • a system for simulating photography in a virtual reality scenario comprising: a memory and a processor, the memory and the processor being coupled to each other:
  • the memory is configured to store an operation instruction executed by the processor, an operating system
  • the processor is configured to perform the following actions according to the operation instruction:
  • composition parameters include one or more of a rendering parameter, a distortion parameter, a head tracking parameter, and a focal length parameter.
  • the system for simulating photography in a virtual reality scene wherein the current viewport is an image seen in the left eye or a side image in the image in the right eye.
  • the system for simulating photography in a virtual reality scene wherein the camera parameters are one or more of exposure, saturation, size, and filter effects.
  • the system for simulating a photograph in a virtual reality scene wherein the processor is further configured to perform an action according to the operation instruction: reading the modified image data, and performing an anti-distortion process;
  • the rendered picture is subjected to screenshot processing in the display synthesis system to output a target picture.
  • the present invention provides a method and system for simulating photography in a virtual reality scene.
  • software can simulate a camera photography process in a virtual reality viewport, and image composition parameters and camera parameters of the image are performed. Adjust and capture the photos in the viewport, and finally output the target image that the user is satisfied with.
  • the method is simple in operation and realizes simulated photography in virtual reality, which satisfies the requirement for the user to personalize the 360-degree panoramic photo and output a satisfactory target image.
  • FIG. 1 is a flow chart of a preferred embodiment of a method for simulating photography in a virtual reality scene.
  • FIG. 2 is a specific flowchart of step S3 in the method of FIG. 1.
  • FIG. 3 is a structural block diagram of a preferred embodiment of a system for simulating photography in a virtual reality scene.
  • FIG. 4 is a block diagram showing a specific structure of the anti-distortion output module 300 in the system of FIG.
  • the present invention provides a method and system for simulating photography in a virtual reality scene. To further clarify and clarify the objects, technical solutions, and effects of the present invention, the present invention will be further described in detail below. It is understood that the specific embodiments described herein are merely illustrative of the invention and are not intended to limit the invention.
  • FIG. 1 is a flowchart of a preferred embodiment of a method for simulating photography in a virtual reality scene. As can be seen from FIG. 1, the method includes the following steps:
  • the method for simulating photography in a virtual reality scene can facilitate a user to perform a composition design and parameter adjustment like a SLR camera on a 360-degree panoramic photo through a virtual reality device, and output a target image that is satisfactory to the user, which is not only simple to operate, but also simple. And it is conducive to the further promotion and application of virtual reality technology.
  • step S1 after the user wears the virtual reality device, a 360-degree panoramic photo is opened on the smart terminal, and when viewing the 360-degree panoramic photo through the virtual reality device, the virtual reality device receives the user instruction, and adjusts the user through the current view.
  • the composition parameter of the image seen in real time the composition parameter being one or more of a rendering parameter, a distortion parameter, a head tracking parameter, and a focal length parameter.
  • the virtual reality device tracks the direction of the user's head deflection, determines the angle of the user's viewing and the corresponding content by adjusting the head tracking parameter; the virtual reality device receives the user instruction, and determines the difference in depth of field by adjusting the focal length parameter.
  • the user obtains a satisfactory composition effect by adjusting the composition parameters, and the virtual reality device stores the adjusted composition parameters to obtain initial image data.
  • the current viewport is an image seen in the left eye or a side image in the image in the right eye.
  • the viewport may be a default viewport of the virtual reality device, or may be selected by the user according to his own viewing habits.
  • the user can switch the viewport at any time during the process of viewing the image to obtain the best effect.
  • the virtual reality device may be a different kind of virtual reality device, such as a virtual reality helmet;
  • the 360-degree panoramic photo may be a 360-degree panoramic photo downloaded from the Internet, or a 360-degree panoramic photo taken by the user himself.
  • the working principle of the virtual reality device and the manner in which the 360-degree panoramic photo is formed are prior art, and thus are not described herein again.
  • the camera parameters can be adjusted after adjusting the composition parameters.
  • the virtual reality device adjusts the camera parameters of the initial image data to make the acquired image more beautiful.
  • the camera parameters include one or more of exposure, saturation, size, and filter effects. That is to say, the user can modify the image in the viewport by means of retouching, enhance the artistic effect of the photo, and make the image more in line with their own aesthetic requirements; at the same time, the virtual reality device stores the adjusted camera parameters and obtains the modified image. Image data.
  • the photograph taken by the 360-degree panoramic camera is taken by the fisheye lens, and the image itself is distorted, and it is necessary to undergo image processing to display an angle of the 360 panoramic photo and an image of the corresponding content as a target image. Therefore, in step S3, the modified image data needs to be inversely distorted to output the target picture.
  • FIG. 2 is a specific flowchart of step S3 in the method of FIG. 1. As can be seen from FIG. 2, step S3 specifically includes:
  • the virtual reality device reads the modified image data, and performs an anti-distortion process.
  • step S31 the virtual reality device reads the modified image data and performs an anti-distortion process. Since the image acquired by the 360 panoramic camera is distorted, the image is subjected to anti-distortion processing before being selected and formed according to the corresponding angle, thereby restoring the deformed image to form a planar photograph.
  • This anti-distortion processing is related to the shooting algorithm of the 360 panoramic camera, and is an existing image processing technology.
  • step S32 the frame buffer object of the current viewport is intercepted, and re-rendered in the display composition system to obtain the rendered picture; in step S33, the rendered picture is processed in the display synthesis system. , output the target picture.
  • the conventional photograph is a plane photograph taken by a smart terminal or the like, such as a JPEG format photograph.
  • the formed pictures can be continuously played, and a video can be formed, especially a partial short film, which can be realized by processing each frame of photos.
  • the present invention also discloses a system for simulating photography in a virtual reality scene.
  • the system includes a memory and a processor, wherein the memory is configured to store an operation instruction executed by the processor and an operating system; and the processor is configured to execute the method of simulating photography in the virtual reality scene provided by the above embodiment according to the operation instruction stored in the memory.
  • the actions performed by the processor in the method of simulating photography in a virtual reality scene provided by the present invention correspond to the functions of implementing the various modules and/or units shown in FIG.
  • the (or mobile terminal) program may be completed by a computer (or mobile terminal) program, and the computer (or mobile terminal) program may be stored in a computer.
  • the (or mobile terminal) can be read into the storage medium, and the program, when executed, can include the flow of an embodiment of each of the above methods.
  • the storage medium may be a magnetic disk, an optical disk, a read only memory (ROM) or a random access memory (RAM).
  • FIG. 3 is a structural block diagram of a preferred embodiment of a system for simulating photography in a virtual reality scenario. As can be seen from FIG. 3, the system includes:
  • the viewport adjustment module 100 is configured to adjust a composition parameter of the current viewport to obtain initial image data in the virtual reality scene;
  • the image adjustment module 200 is configured to adjust camera parameters of the initial image data to obtain modified image data
  • the anti-distortion output module 300 is configured to perform inverse distortion processing on the modified image data to output a target image.
  • composition parameters in the viewport adjustment module include one or more of a rendering parameter, a distortion parameter, a head tracking parameter, and a focal length parameter.
  • the current viewport is an image seen in the left eye or a side image in the image in the right eye.
  • the camera parameter is one or more of exposure, saturation, size, and filter effect.
  • the anti-distortion output module 300 specifically includes:
  • the anti-distortion unit 310 is configured to read, by the virtual reality device, the modified image data, and perform an anti-distortion process;
  • the intercepting unit 320 is configured to intercept a frame buffer object of the current viewport, and perform re-rendering in the display synthesizing system to obtain a rendered image;
  • the output unit 330 is configured to perform screenshot processing on the rendered picture in the display synthesis system, and output a target picture.
  • the present invention discloses a method and system for simulating photography in a virtual reality scene.
  • the camera photography process can be simulated in the virtual reality viewport, and the image is performed.
  • the target image needs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

一种存储介质、在虚拟现实场景中模拟摄影的方法及系统，其中，方法包括：首先，在虚拟现实场景中，调节当前视口的构图参数，获取初始图像数据；之后，对所述初始图像数据的相机参数进行调节，得到修改后的图像数据；最后，对所述修改后的图像数据进行反畸变处理，输出目标图片。满足了用户对360度全景照片进行个性化处理，并输出满意的目标图片的需求，不仅操作简单，而且有利于虚拟现实技术的进一步推广应用。

Description

一种存储介质、在虚拟现实场景中模拟摄影的方法及系统
【技术领域】
本发明涉及模拟摄影领域，尤其涉及一种在虚拟现实场景中模拟摄影的方法及系统。
【背景技术】
自2016年起，各种虚拟现实设备层出不穷，受到广泛关注。360度全景相机配合虚拟现实设备，可以提供给用户一种沉浸式、身临其境的感觉，因此备受好评。虚拟现实设备通常是在手机上分区显示左眼和有眼的图像，通过左右眼的配合形成立体感。
360度全景相机拍摄的内容通常是球面角度即360全景拍摄的，可以从各个角度观看，但对获取某一角度和对应的内容的图像或视频来说，尚无较优的方法。如果从使用者的视角角度进行图像的截取，虽然相对简单，但图像质量不容易控制，且形成的照片与相机拍照形成图像不同；而用户在获取某一角度和对应的内容时，无法如同使用单反相机那样进行构图设计，也不能进行如同单反相机般进行专业参数调节，进而无法从360度全景中输出满意的目标图片。
因此，现有技术还有待于改进和发展。
【发明内容】
鉴于上述现有技术的不足，本发明的目的在于提供一种在虚拟现实场景中模拟摄影的方法及系统，旨在解决用户无法对现有的360度全景照片进行构图设计，也不能进行专业参数调节，进而无法输出满意的目标图片问题。
本发明的技术方案如下：
一种存储介质，其中，所述存储介质中存储有程序数据，所述程序数据能够被执行以实现如下操作：接收用户指令，调节当前视口的构图参数，获取初始图像数据；对所述初始图像数据的相机参数进行调节，得到修改后的图像数据；对所述修改后的图像数据进行反畸变处理，输出目标图片；其中，所述调节当前视口的构图参数包括：跟踪所述用户的头部偏转方向，通过调节头部跟踪参数确定所述用户观看的角度和对应的内容。
所述调节当前视口的构图参数还包括：所述虚拟现实设备接收所述用户指令，通过调节焦距参数确定景深的不同。
所述构图参数包括：渲染参数。
所述构图参数包括：畸变参数。
所述当前视口为左眼中看到的图像或右眼中的图像中的一侧图像。
所述相机参数为曝光度、饱和度、尺寸和滤镜效果中的一种或多种。
所述对所述修改后的图像数据进行反畸变处理，输出目标图片，包括：所述虚拟现实设备读取所述修改后的图像数据，并进行反畸变处理；拦截当前视口的帧缓存对象，并在显示合成系统中进行重新渲染，得到渲染后的图片；在显示合成系统中对所述渲染后的图片进行截图处理，输出目标图片。
所述虚拟现实设备为虚拟现实头盔。
一种在虚拟现实场景中模拟摄影的方法，其中，包括步骤：
A、在虚拟现实场景中，调节当前视口的构图参数，获取初始图像数据；
B、对所述初始图像数据的相机参数进行调节，得到修改后的图像数据；
C、对所述修改后的图像数据进行反畸变处理，输出目标图片。
所述的在虚拟现实场景中模拟摄影的方法，其中，所述步骤A中的构图参数包括：渲染参数、畸变参数、头部跟踪参数和焦距参数中的一种或多种。
所述调节当前视口的构图参数包括：跟踪所述用户的头部偏转方向，通过调节所述头部跟踪参数确定所述用户观看的角度和对应的内容。
所述调节当前视口的构图参数包括：所述虚拟现实设备接收所述用户指令，通过调节所述焦距参数确定景深的不同。
所述的在虚拟现实场景中模拟摄影的方法，其中，所述当前视口为左眼中看到的图像或右眼中的图像中的一侧图像。
所述的在虚拟现实场景中模拟摄影的方法，其中，所述相机参数为曝光度、饱和度、尺寸和滤镜效果中的一种或多种。
所述的在虚拟现实场景中模拟摄影的方法，其中，所述步骤C具体包括步骤：
C1、虚拟现实设备读取所述修改后的图像数据，并进行反畸变处理；
C2、拦截当前视口的帧缓存对象，并在显示合成系统中进行重新渲染，得到渲染后的图片；
C3、在显示合成系统中对所述渲染后的图片进行截图处理，输出目标图片。
一种在虚拟现实场景中模拟摄影的系统，其中，包括：存储器和处理器，所述存储器和所述处理器相互耦接：
所述存储器用于存储所述处理器执行的操作指令，操作系统；
所述处理器用于根据所述操作指令执行如下动作：
在虚拟现实场景中，调节当前视口的构图参数，获取初始图像数据；
对所述初始图像数据的相机参数进行调节，得到修改后的图像数据；
对所述修改后的图像数据进行反畸变处理，输出目标图片。
所述的在虚拟现实场景中模拟摄影的系统，其中，所述构图参数包括：渲染参数、畸变参数、头部跟踪参数和焦距参数中的一种或多种。
所述的在虚拟现实场景中模拟摄影的系统，其中，所述当前视口为左眼中看到的图像或右眼中的图像中的一侧图像。
所述的在虚拟现实场景中模拟摄影的系统，其中，所述相机参数为曝光度、饱和度、尺寸和滤镜效果中的一种或多种。
所述的在虚拟现实场景中模拟摄影的系统，其中，所述处理器还用于根据所述操作指令执行如下动作：读取所述修改后的图像数据，并进行反畸变处理；
拦截当前视口的帧缓存对象，并在显示合成系统中进行重新渲染，得到渲染后的图片；
在显示合成系统中对所述渲染后的图片进行截图处理，输出目标图片。
有益效果：本发明提供了一种在虚拟现实场景中模拟摄影的方法及系统，在虚拟现实场景中，利用软件能够在虚拟现实视口中模拟相机的摄影过程，对图像进行构图参数和相机参数的调节并对视口内的照片进行截取，最终输出用户满意的目标图片。该方法操作简单，实现了在虚拟现实中进行模拟摄影，满足了用户对360度全景照片进行个性化处理，并输出满意的目标图片的需求。
【附图说明】
图1为本发明一种在虚拟现实场景中模拟摄影的方法较佳实施例的流程图。
图2为图1所述方法中，步骤S3的具体流程图。
图3为本发明一种在虚拟现实场景中模拟摄影的系统较佳实施例的结构框图。
图4为图3所述系统中，反畸变输出模块300的具体结构框图。
【具体实施方式】
本发明提供一种在虚拟现实场景中模拟摄影的方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参考图1，图1为本发明一种在虚拟现实场景中模拟摄影的方法较佳实施例的流程图，从图1中可以看出，所述方法包括步骤：
S1、在虚拟现实场景中，调节当前视口的构图参数，获取初始图像数据；
S2、对所述初始图像数据的相机参数进行调节，得到修改后的图像数据；
S3、对所述修改后的图像数据进行反畸变处理，输出目标图片。
本发明提供的在虚拟现实场景中模拟摄影的方法能够方便用户通过虚拟现实设备对360度全景照片进行如同操作单反相机般的构图设计和参数调节，并输出用户满意的目标图片，不仅操作简单，且有利于虚拟现实技术的进一步推广应用。
在步骤S1中，用户佩戴虚拟现实设备后，在智能终端上打开一张360度全景照片，在通过所述虚拟现实设备观看360度全景照片时，虚拟现实设备接收用户指令，调节用户通过当前视口实时看到的图像的构图参数，所述构图参数为渲染参数、畸变参数、头部跟踪参数和焦距参数中的一种或多种。例如，虚拟现实设备对用户头部偏转方向进行跟踪，通过调节头部跟踪参数确定用户观看的角度和对应的内容；虚拟现实设备接收用户指令，通过调节焦距参数确定景深的不同。总之，用户通过构图参数的调节，获得满意的构图效果，而虚拟现实设备将调整后的构图参数进行存储，得到初始图像数据。
进一步的，所述当前视口为左眼中看到的图像或右眼中的图像中的一侧图像。所述视口可以为虚拟现实设备默认的视口，也可以是用户根据自身的观看习惯，自行选择的。较佳的，用户在观看图像的过程中，可以随时对视口进行切换，获得最佳效果。
更进一步的，所述虚拟现实设备可以为不同种类的虚拟现实设备，如虚拟现实头盔；所述360度全景照片可以为网上下载的360度全景照片，也可以是用户自己拍摄的360度全景照片。所述虚拟现实设备的工作原理及360度全景照片的形成方式为现有技术，故此处不再赘述。
为达到全面模拟单反相机摄影的效果，对构图参数进行调节之后，还可以对相机参数进行调节。在步骤S2中，虚拟现实设备对所述初始图像数据的相机参数进行调节，使获取的图像更加美观。所述相机参数包括曝光度、饱和度、尺寸和滤镜效果中的一种或多种。也就是说，用户可以采用修图的方式对视口中的图像进行修饰，增强照片的艺术效果，使得图片更加符合自己审美要求的；同时虚拟现实设备将调整后的相机参数进行存储，得到修改后的图像数据。
360度全景相机拍摄的照片是通过鱼眼镜头拍摄的，其图像本身存在畸变，需要经过图像处理后才能将所述360全景照片的某一角度和对应内容的图像显示成目标图片。因此，在步骤S3中，需要对所述修改后的图像数据进行反畸变处理，才能输出目标图片。
具体的，请参考图2，图2为图1所述方法中，步骤S3的具体流程图，从图2中可以看出，步骤S3具体包括：
S31、虚拟现实设备读取所述修改后的图像数据，并进行反畸变处理；
S32、拦截当前视口的帧缓存对象，并在显示合成系统中进行重新渲染，得到渲染后的图片；
S33、在显示合成系统中对所述渲染后的图片进行截图处理，输出目标图片。
在步骤S31中，虚拟现实设备读取所述修改后的图像数据，并进行反畸变处理。由于360全景相机获取的图像存在畸变，图像在依照相应角度选择并形成前，还要进行反畸变处理，从而将变形的图像进行复原，形成平面照片。这种反畸变的处理与360全景相机的拍摄算法有关，为现有的图像处理技术。
在步骤S32中，拦截当前视口的帧缓存对象，并在显示合成系统中进行重新渲染，得到渲染后的图片；在步骤S33中，在显示合成系统中对所述渲染后的图片进行截图处理，输出目标图片。所述常规照片即为采用智能终端等拍摄的平面照片，如JPEG格式照片。
在本发明上述方法的基础上，可以将形成的图片进行连续播放，就可以形成录像，尤其是局部的短片，完全可以通过每帧照片的处理后实现。
进一步，基于上述实施例提供的在虚拟现实场景中模拟摄影的方法，本发明还公开了一种在虚拟现实场景中模拟摄影的系统。该系统包括存储器和处理器，其中，存储器用于存储处理器执行的操作指令以及操作系统；处理器用于根据存储器中存储的操作指令执行上述实施例提供的在虚拟现实场景中模拟摄影的方法。进一步，本发明提供的在虚拟现实场景中模拟摄影的方法系统中的处理器执行的动作与实现图3所示的各个模块和/或单元的功能对应。
本领域普通技术人员可以理解上述实施例方法中的全部或部分流程，是可以通过计算机（或移动终端）程序来指令相关的硬件完成，所述的计算机（或移动终端）程序可存储于一计算机（或移动终端）可读取存储介质中，程序在执行时，可包括上述各方法的实施例的流程。其中的存储介质可以为磁碟、光盘、只读存储记忆体（ROM）或随机存储记忆体（RAM）等。
图3为本发明一种在虚拟现实场景中模拟摄影的系统较佳实施例的结构框图，从图3可以看出，所述系统包括：
视口调节模块100，用于在虚拟现实场景中，调节当前视口的构图参数，获取初始图像数据；
图像调节模块200，用于对所述初始图像数据的相机参数进行调节，得到修改后的图像数据；
反畸变输出模块300，用于对所述修改后的图像数据进行反畸变处理，输出目标图片。
进一步的，所述视口调节模块中的构图参数包括：渲染参数、畸变参数、头部跟踪参数和焦距参数中的一种或多种。
进一步的，所述当前视口为左眼中看到的图像或右眼中的图像中的一侧图像。
进一步的，所述相机参数为曝光度、饱和度、尺寸和滤镜效果中的一种或多种。
更进一步的，所述反畸变输出模块300具体包括：
反畸变单元310，用于虚拟现实设备读取所述修改后的图像数据，并进行反畸变处理；
拦截单元320，用于拦截当前视口的帧缓存对象，并在显示合成系统中进行重新渲染，得到渲染后的图片；
输出单元330，用于在显示合成系统中对所述渲染后的图片进行截图处理，输出目标图片。
综上所述，本发明公开了一种在虚拟现实场景中模拟摄影的方法及系统，通过在虚拟现实场景系统中的软件进行处理，能够在虚拟现实视口中模拟相机的摄影过程，对图像进行构图参数和相机参数的调节并对视口内的照片进行截取，最终输出用户满意的目标图片，实现了在虚拟现实中进行模拟摄影，满足了用户对360度全景照片进行个性化处理，并输出满意的目标图片的需求。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (20)

  1. 一种存储介质，其中，所述存储介质中存储有程序数据，所述程序数据能够被执行以实现如下操作：
    接收用户指令，调节当前视口的构图参数，获取初始图像数据；
    对所述初始图像数据的相机参数进行调节，得到修改后的图像数据；
    对所述修改后的图像数据进行反畸变处理，输出目标图片；
    其中，所述调节当前视口的构图参数包括：跟踪所述用户的头部偏转方向，通过调节头部跟踪参数确定所述用户观看的角度和对应的内容。
  2. 根据权利要求1所述的存储介质，其中，所述调节当前视口的构图参数还包括：
    所述虚拟现实设备接收所述用户指令，通过调节焦距参数确定景深的不同。
  3. 根据权利要求1所述的存储介质，其中，所述构图参数包括：渲染参数。
  4. 根据权利要求1所述的存储介质，其中，所述构图参数包括：畸变参数。
  5. 根据权利要求1所述的存储介质，其中，所述当前视口为左眼中看到的图像或右眼中的图像中的一侧图像。
  6. 根据权利要求1所述的存储介质，其中，所述相机参数为曝光度、饱和度、尺寸和滤镜效果中的一种或多种。
  7. 根据权利要求1所述的存储介质，其中，所述对所述修改后的图像数据进行反畸变处理，输出目标图片，包括：
    所述虚拟现实设备读取所述修改后的图像数据，并进行反畸变处理；
    拦截当前视口的帧缓存对象，并在显示合成系统中进行重新渲染，得到渲染后的图片；
    在显示合成系统中对所述渲染后的图片进行截图处理，输出目标图片。
  8. 根据权利要求1所述的存储介质，其中，所述虚拟现实设备为虚拟现实头盔。
  9. 一种在虚拟现实场景中模拟摄影的方法，其中，包括步骤：
    A、在虚拟现实场景中，调节当前视口的构图参数，获取初始图像数据；
    B、对所述初始图像数据的相机参数进行调节，得到修改后的图像数据；
    C、对所述修改后的图像数据进行反畸变处理，输出目标图片。
  10. 根据权利要求9所述的在虚拟现实场景中模拟摄影的方法，其中，所述步骤A中的构图参数包括：渲染参数、畸变参数、头部跟踪参数和焦距参数中的一种或多种。
  11. 根据权利要求10所述的在虚拟现实场景中模拟摄影的方法，其中，所述调节当前视口的构图参数包括：跟踪所述用户的头部偏转方向，通过调节所述头部跟踪参数确定所述用户观看的角度和对应的内容。
  12. 根据权利要求10所述的在虚拟现实场景中模拟摄影的方法，其中，所述调节当前视口的构图参数包括：所述虚拟现实设备接收所述用户指令，通过调节所述焦距参数确定景深的不同。
  13. 根据权利要求9所述的在虚拟现实场景中模拟摄影的方法，其中，所述当前视口为左眼中看到的图像或右眼中的图像中的一侧图像。
  14. 根据权利要求9所述的在虚拟现实场景中模拟摄影的方法，其中，所述相机参数为曝光度、饱和度、尺寸和滤镜效果中的一种或多种。
  15. 根据权利要求9所述的在虚拟现实场景中模拟摄影的方法，其中，所述步骤C具体包括步骤：
    C1、虚拟现实设备读取所述修改后的图像数据，并进行反畸变处理；
    C2、拦截当前视口的帧缓存对象，并在显示合成系统中进行重新渲染，得到渲染后的图片；
    C3、在显示合成系统中对所述渲染后的图片进行截图处理，输出目标图片。
  16. 一种在虚拟现实场景中模拟摄影的系统，其中，包括：存储器和处理器，所述存储器和所述处理器相互耦接：
    所述存储器用于存储所述处理器执行的操作指令，操作系统；
    所述处理器用于根据所述操作指令执行如下动作：
    在虚拟现实场景中，调节当前视口的构图参数，获取初始图像数据；
    对所述初始图像数据的相机参数进行调节，得到修改后的图像数据；
    对所述修改后的图像数据进行反畸变处理，输出目标图片。
  17. 根据权利要求16所述的在虚拟现实场景中模拟摄影的系统，其中，所述构图参数包括：渲染参数、畸变参数、头部跟踪参数和焦距参数中的一种或多种。
  18. 根据权利要求16所述的在虚拟现实场景中模拟摄影的系统，其中，所述当前视口为左眼中看到的图像或右眼中的图像中的一侧图像。
  19. 根据权利要求16所述的在虚拟现实场景中模拟摄影的系统，其中，所述相机参数为曝光度、饱和度、尺寸和滤镜效果中的一种或多种。
  20. 根据权利要求16所述的在虚拟现实场景中模拟摄影的系统，其中，所述处理器还用于根据所述操作指令执行如下动作：
    读取所述修改后的图像数据，并进行反畸变处理；
    拦截当前视口的帧缓存对象，并在显示合成系统中进行重新渲染，得到渲染后的图片；
    在显示合成系统中对所述渲染后的图片进行截图处理，输出目标图片。
PCT/CN2018/077331 2017-03-08 2018-02-27 一种存储介质、在虚拟现实场景中模拟摄影的方法及系统 Ceased WO2018161817A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/492,120 US11094125B2 (en) 2017-03-08 2018-02-27 Storage medium, and method and system for simulating photography in virtual reality scene

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710133757.1A CN107016728A (zh) 2017-03-08 2017-03-08 一种在虚拟现实场景中模拟摄影的方法及系统
CN201710133757.1 2017-03-08

Publications (1)

Publication Number Publication Date
WO2018161817A1 true WO2018161817A1 (zh) 2018-09-13

Family

ID=59440212

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/077331 Ceased WO2018161817A1 (zh) 2017-03-08 2018-02-27 一种存储介质、在虚拟现实场景中模拟摄影的方法及系统

Country Status (3)

Country Link
US (1) US11094125B2 (zh)
CN (1) CN107016728A (zh)
WO (1) WO2018161817A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016728A (zh) 2017-03-08 2017-08-04 惠州Tcl移动通信有限公司 一种在虚拟现实场景中模拟摄影的方法及系统
CN112286353A (zh) * 2020-10-28 2021-01-29 上海盈赞通信科技有限公司 一种vr眼镜的通用型图像处理方法及装置
CN112765715A (zh) * 2021-01-21 2021-05-07 广联达科技股份有限公司 建筑架体的参数调节方法、装置、电子设备及存储介质
CN114371806B (zh) * 2022-03-22 2022-08-26 广州三七极创网络科技有限公司 虚拟相机镜头参数处理、更新方法、装置、设备及介质
CN117082225B (zh) * 2023-10-12 2024-02-09 山东海量信息技术研究院 一种虚拟延时视频的生成方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120176473A1 (en) * 2011-01-07 2012-07-12 Sony Computer Entertainment America Llc Dynamic adjustment of predetermined three-dimensional video settings based on scene content
CN104125407A (zh) * 2014-08-13 2014-10-29 深圳市中兴移动通信有限公司 物体运动轨迹的拍摄方法和移动终端
CN105072314A (zh) * 2015-08-13 2015-11-18 黄喜荣 一种可自动跟踪目标的虚拟演播室实现方法
CN106454098A (zh) * 2016-10-31 2017-02-22 深圳晨芯时代科技有限公司 一种虚拟现实拍摄及显示的方法、系统
CN106453913A (zh) * 2016-10-31 2017-02-22 北京疯景科技有限公司 预览全景内容的方法及装置
CN107016728A (zh) * 2017-03-08 2017-08-04 惠州Tcl移动通信有限公司 一种在虚拟现实场景中模拟摄影的方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015196038A1 (en) * 2014-06-20 2015-12-23 Google Inc. Image editing using selective editing tools
US10111620B2 (en) * 2015-02-27 2018-10-30 Microsoft Technology Licensing, Llc Enhanced motion tracking using transportable inertial sensors to determine that a frame of reference is established
CN105847672A (zh) * 2016-03-07 2016-08-10 乐视致新电子科技（天津）有限公司 虚拟现实头盔抓拍方法及系统
CN105869110B (zh) * 2016-03-28 2018-09-28 腾讯科技（深圳）有限公司 图像显示方法和装置、异形曲面幕布的定制方法和装置
CN106020482A (zh) * 2016-05-30 2016-10-12 努比亚技术有限公司 一种控制方法、虚拟现实设备和移动终端
CN105915766B (zh) * 2016-06-07 2018-11-09 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
CN105959666A (zh) * 2016-06-30 2016-09-21 乐视控股（北京）有限公司 一种虚拟现实系统中分享3d影像的方法和装置
CN106231292B (zh) * 2016-09-07 2017-08-25 深圳超多维科技有限公司 一种立体虚拟现实直播方法、装置及设备
CN106341603A (zh) * 2016-09-29 2017-01-18 网易（杭州）网络有限公司 用于虚拟现实环境的取景方法、装置以及虚拟现实设备
KR102633595B1 (ko) * 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120176473A1 (en) * 2011-01-07 2012-07-12 Sony Computer Entertainment America Llc Dynamic adjustment of predetermined three-dimensional video settings based on scene content
CN104125407A (zh) * 2014-08-13 2014-10-29 深圳市中兴移动通信有限公司 物体运动轨迹的拍摄方法和移动终端
CN105072314A (zh) * 2015-08-13 2015-11-18 黄喜荣 一种可自动跟踪目标的虚拟演播室实现方法
CN106454098A (zh) * 2016-10-31 2017-02-22 深圳晨芯时代科技有限公司 一种虚拟现实拍摄及显示的方法、系统
CN106453913A (zh) * 2016-10-31 2017-02-22 北京疯景科技有限公司 预览全景内容的方法及装置
CN107016728A (zh) * 2017-03-08 2017-08-04 惠州Tcl移动通信有限公司 一种在虚拟现实场景中模拟摄影的方法及系统

Also Published As

Publication number Publication date
CN107016728A (zh) 2017-08-04
US11094125B2 (en) 2021-08-17
US20210134060A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
JP7408678B2 (ja) 画像処理方法およびヘッドマウントディスプレイデバイス
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
WO2018161817A1 (zh) 一种存储介质、在虚拟现实场景中模拟摄影的方法及系统
WO2016000309A1 (zh) 基于穿戴设备的增强现实方法及系统
CN205430338U (zh) 带vr内容采集组件的智能手机或便携式电子通讯装置
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
CN110198417A (zh) 图像处理方法、装置、存储介质及电子设备
WO2019033970A1 (zh) 一种图像虚化的方法、移动设备以及存储装置
CN109309796A (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
JP2017505004A (ja) 画像生成方法及びデュアルレンズ装置
WO2018053909A1 (zh) 拍摄方法、拍摄装置和终端
CN106210547A (zh) 一种全景拍摄的方法、装置及系统
WO2021096339A1 (ko) 이미지 변형 방법
CN105072350A (zh) 一种拍照方法及装置
CN107623804A (zh) 一种终端设备及拍摄全景图像的方法
CN105282455B (zh) 一种拍照方法、装置及移动终端
CN107734244A (zh) 全景影片播放方法及播放装置
TW201701051A (zh) 全景立體圖像的合成方法、裝置及其移動終端
CN105847659A (zh) 一种生成水印图像的方法、装置及智能终端
CN108632538B (zh) 一种cg动画和相机阵列相结合的子弹时间拍摄系统及方法
WO2017161850A1 (zh) 全景图像拍摄的光学镜头配件
WO2018018357A1 (zh) Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统
CN115514921B (zh) 一种多机位led显示拍摄方法、系统、装置及存储介质
CN104488024A (zh) 影像产生方法
CN105282428B (zh) 一种移动终端拍摄的方法及移动终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18763404

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18763404

Country of ref document: EP

Kind code of ref document: A1