[go: up one dir, main page]

WO2014054325A1 - 符号化制御装置および符号化制御方法 - Google Patents

符号化制御装置および符号化制御方法 Download PDF

Info

Publication number
WO2014054325A1
WO2014054325A1 PCT/JP2013/068769 JP2013068769W WO2014054325A1 WO 2014054325 A1 WO2014054325 A1 WO 2014054325A1 JP 2013068769 W JP2013068769 W JP 2013068769W WO 2014054325 A1 WO2014054325 A1 WO 2014054325A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene change
frame image
encoder
encoding
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/068769
Other languages
English (en)
French (fr)
Inventor
前川　博俊
和人 池本
松元　秀樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP13843430.3A priority Critical patent/EP2905963A4/en
Priority to US14/419,065 priority patent/US9584809B2/en
Priority to CN201380050814.XA priority patent/CN104685873B/zh
Priority to JP2014539629A priority patent/JPWO2014054325A1/ja
Publication of WO2014054325A1 publication Critical patent/WO2014054325A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Definitions

  • the present disclosure relates to an encoding control device and an encoding control method.
  • inter-frame prediction In video encoding, it is common to obtain high compression efficiency by inter-frame prediction.
  • an intra frame and an inter frame are set.
  • a frame image In an intra frame, a frame image is independently encoded without referring to other frame images.
  • an inter frame a frame image is encoded with reference to one or more other frame images located before or after in time.
  • very high compression efficiency can be obtained.
  • Patent Document 1 a technique for improving the image quality within a limited amount of data by changing the encoding process according to the content of the video has been proposed.
  • Patent Document 1 a complicated picture portion in a frame image is detected in advance, and an excessive data generation is prevented by increasing a quantization step width in the portion at the time of encoding.
  • a technique for maintaining the above is described. In such a technique, first, the contents of the frame image are analyzed, and then the two-pass encoding process is executed using the result.
  • the present disclosure proposes a new and improved encoding control device and encoding control method capable of executing an appropriate encoding process at the time of a scene change for a frame image generated in real time.
  • a scene change detection unit that detects the occurrence of a scene change in a frame image generated by the renderer in real time, and the first method or other frame image that does not refer to another frame image for each of the frame images.
  • An encoder control unit that controls an encoder that encodes by any one of the second methods that refer to the above, and that encodes a frame image after the scene change using the first method when the occurrence of the scene change is detected.
  • each of the frame images is referred to as a first method or another frame image that does not refer to another frame image.
  • a code including controlling an encoder that encodes by any one of the second methods to be referenced, and encoding the frame image after the scene change by the first method when the occurrence of the scene change is detected A control method is provided.
  • FIG. 1 is a diagram schematically illustrating an overall configuration of a streaming system according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of information flow in a streaming system according to an embodiment of the present disclosure.
  • FIG. FIG. 3 is a diagram schematically illustrating a functional configuration of a client and a server in a streaming system according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram schematically illustrating a functional configuration of a streaming processing unit according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for describing a first embodiment of the present disclosure.
  • 3 is a flowchart illustrating an example of processing according to the first embodiment of the present disclosure. It is a figure for demonstrating the modification of 1st Embodiment of this indication. It is a figure for demonstrating 2nd Embodiment of this indication. It is a figure for demonstrating the modification of 2nd Embodiment of this indication. It is a block diagram for demonstrating the hardware constitutions of information processing
  • FIG. 1 is a diagram schematically illustrating an overall configuration of a streaming system according to an embodiment of the present disclosure.
  • the streaming system 10 includes a client 100 and servers (servicer 210, node 220, and edge 230) for delivering streaming content to the client 100.
  • the client 100 and each server are connected to each other by various wired or wireless networks.
  • the servicer 210 holds the original content 211.
  • the node 220 is a node constituting a CDN (Contents Delivery Network), and holds a content 221 that is a copy of the original held by the servicer 210.
  • the edge 230 directly communicates with the client 100, processes the content appropriately according to the request, and provides the content to the client 100. At this time, the edge 230 acquires the content held by the node 220 as the cache 231 and provides it in response to a request from the client 100.
  • FIG. 2 is a diagram illustrating an example of information flow in the streaming system according to the embodiment of the present disclosure.
  • the client 100 accesses the user authentication module 213 of the servicer 210 and logs in to the service.
  • the client 100 that has successfully logged in accesses the session controller 233 of the edge 230 and requests to start a process for the client 100.
  • the session controller 233 launches the process 235.
  • a process 235 is started for each client 100, and executes processing for content distribution in response to a request from each client 100. Accordingly, when the edge 230 provides services to a plurality of clients 100, a plurality of processes 235 can be started at the edge 230. Each process 235 is scheduled by the scheduler 237. The scheduler 237 is controlled by the session controller 233.
  • the original content 211 held by the servicer 210 is copied in advance to the node 220 and held as the content 221.
  • the process 235 activated at the edge 230 acquires the content 221 held in the node 220 as a cache, processes it appropriately, and provides it to the client 100.
  • the process 235 may record a log indicating how the content is provided in response to what request from the client 100. This log and other information may be provided to node 220 by process 235 and held as information 223.
  • Information 223 such as a log can be used by the additional function 215 of the servicer 210, for example.
  • FIG. 3 is a diagram schematically illustrating a functional configuration of the client and the server of the streaming system according to the embodiment of the present disclosure.
  • the server 300 is a server that functions as the edge 230 in the streaming system described with reference to FIGS.
  • the flow of streaming content distributed to the client 100 is indicated by a solid line, and the flow of control information relating to reproduction of the streaming content is indicated by a broken line.
  • the client 100 is a device that provides streaming content to the user, and may be, for example, various personal computers, tablet terminals, mobile phones (including smartphones), media players, game machines, and the like.
  • the server 300 is a collection of functions realized by the cooperation of a single server device or a plurality of server devices connected to each other by various wired or wireless networks.
  • Each of the server devices constituting the client 100 and the server 300 can be realized by using, for example, a hardware configuration of an information processing device described later.
  • each part excluding the input device, the output device, and the data (stored in the storage device) can be realized in software by a processor such as a CPU (Central Processing Unit).
  • a processor such as a CPU (Central Processing Unit).
  • the input device 110 acquires a user operation input.
  • the input device 110 performs operation input outside the content such as login to the service or content selection, and operation input within the content such as still image / video switching, image enlargement / reduction, and sound quality switching. get.
  • the operation input outside the content is processed by the session controller 120.
  • the session controller 120 transmits input information related to login to the servicer 210, or transmits a process start request to the server 300 after login.
  • the operation input in the content is transmitted from the input transmission unit 130 to the server 300.
  • the session controller 233 activates the process 235 in response to a process start request from the client 100.
  • the process 235 acquires the content 221 specified by the content selection operation acquired by the input device 110 in the client 100 and stores it as the content cache 231.
  • the content cache 231 is encoded data, and the decoder 310 decodes the encoded data in the server 300.
  • the decoded content data is processed by the stream processing unit / transmission unit 320.
  • the operation input in the content acquired by the input device 110 by the client 100 is received by the input receiving unit 330 and provided to the player controller 340.
  • the player controller 340 controls the decoder 310 and the stream processing unit / transmission unit 320 according to the operation input.
  • the stream processing unit / transmission unit 320 generates video and audio from the content data.
  • the stream processing unit / transmission unit 320 encodes the generated video and audio and transmits them to the client 100.
  • the content includes video and audio, but in other examples, the content may include only video or only audio.
  • the encoded data transmitted to the client 100 is decoded by the stream receiver / processor 140, rendered as video and audio, and output from the output device 150 to the user.
  • the stream processing unit / transmission unit 320 on the server side and the stream reception unit / processing unit 140 on the client side are managed by a manager 350 and a manager 160, respectively.
  • the server-side manager 350 and the client-side manager 160 cooperate by exchanging information as necessary.
  • FIG. 4 is a diagram schematically illustrating a functional configuration of the streaming processing unit according to the embodiment of the present disclosure.
  • functional configurations of the stream receiving unit / processing unit 140 of the client 100 and the stream processing unit / transmitting unit 320 of the server 300 are shown.
  • the stream receiver / processor 140 includes a stream receiver 141, a decoder 143, a frame buffer 145, and a renderer 147.
  • the stream reception unit 141 receives data from the server-side stream transmission unit 327 according to a predetermined protocol. In the illustrated example, RTP (Real-Time Transport Protocol) is used. In this case, the stream receiving unit 141 provides the received data to the decoder 143, detects a communication state such as a data delay, and reports it to the stream transmitting unit 327 using RTCP (RTP Control Protocol).
  • RTCP Real-Time Transport Protocol
  • the decoder 143 decodes the data provided from the stream receiving unit 141 to obtain video data and audio data.
  • the decoder 143 includes a video decoder 143a that decodes video data and an audio decoder 143b that decodes audio data.
  • a plurality of types of video decoders 143a and audio decoders 143b may be prepared and selectively used according to the format of the data to be processed. In the following description, either or both of the decoder 143a and the decoder 143b may be simply referred to as a decoder 143 (when one of them is indicated, it is clearly indicated whether it is audio or video. )
  • the frame buffer 145 temporarily stores the video data and audio data obtained by the decoder 143 in units of frames.
  • the frame buffer 145 includes a frame buffer 145a that stores video data and a frame buffer 145b that stores audio data.
  • the frame buffer 145 provides video data and audio data of each frame to the renderer 147 at a predetermined timing under the control of the manager 160.
  • either or both of the frame buffer 145a and the frame buffer 145b may be simply referred to as a frame buffer 145 (in the case of indicating either one, audio or video is handled. Is specified).
  • the renderer 147 includes a video renderer 147a that renders video data and provides it to an output device such as a display, and an audio renderer 147b that renders audio data and provides it to an output device such as a speaker.
  • the video renderer 147a and the audio renderer 147b synchronize output video and audio frames.
  • the renderer 147 reports the output frame ID, the time when the output is executed, and the like to the manager 160.
  • either or both of the renderer 147a and the renderer 147b may be simply referred to as a renderer 147 (in the case of pointing to either one, it is clearly indicated whether it is audio or video. )
  • the stream processing unit / transmission unit 320 includes a renderer 321, a frame buffer 323, an encoder 325, and a stream transmission unit 327.
  • the renderer 321 uses the content data decoded by the decoder 310 as a material, and generates video data and audio data according to control based on a user operation input by the player controller 340.
  • a frame is defined for video data and audio data, and the video data is generated as a continuous frame image.
  • the frame buffer 323 temporarily stores the video data and audio data generated by the renderer 321 in units of frames.
  • the frame buffer 323 includes a frame buffer 323a that stores video data and a frame buffer 323b that stores audio data. Video data and audio data stored in the frame buffer 323 are sequentially encoded by the encoder 325.
  • either or both of the frame buffer 323a and the frame buffer 323b may be simply referred to as a frame buffer 323 (in the case of indicating either one, audio or video is handled. Is specified).
  • the encoder 325 includes a video encoder 325a that encodes video data and an audio encoder 325b that encodes audio data.
  • a plurality of types of video encoders 325a and audio encoders 325b are prepared, and can be selectively selected according to the types of video decoders 143a and audio decoders 143b that can be used by the client 100 or the characteristics of video data and audio data to be processed. May be used.
  • the encoded video data and audio data are transmitted from the stream transmission unit 327 to the client 100.
  • both or one of the encoder 325a and the encoder 325b may be simply referred to as an encoder 325 (when one of them is indicated, it is clearly indicated whether it is audio or video. ).
  • the server functioning as an edge, it is possible to generate video and audio in real time according to user operation input and distribute them to the client.
  • various applications such as an application for freely enlarging / reducing or moving an image described in Japanese Patent Application Laid-Open No. 2010-117828, browsing a large image or video, an online game, a simulation viewer, etc.
  • it can be provided by streaming while ensuring responsiveness to user operation input.
  • FIG. 5 is a diagram for describing the first embodiment of the present disclosure.
  • the renderer 321 detects the occurrence of a scene change in the frame image and provides the scene change information to the manager 350.
  • the manager 350 is based on the scene change information.
  • the encoder 325 controls the encoding of the frame image.
  • the renderer 321 generates a series of frame images constituting the video data in real time in accordance with a user operation input acquired in the client 100.
  • a scene change may occur in the frame image.
  • a scene change is easy to understand if it is assumed in a movie, for example, but is a state where most of the images are switched between consecutive frame images.
  • not all of the images are necessarily replaced.
  • an image includes an operation UI (User Interface), information display, and the like, such display does not change even if a scene change occurs.
  • UI User Interface
  • the renderer 321 detects a scene change that has occurred in the frame image to be generated, and provides the manager 350 with the scene change information. For example, in the case of an application for browsing images and videos, a scene change occurs when the browsed images and videos are switched. Also, for example, in the case of an online game, a scene change occurs when the character instantaneously moves in the field due to warping or the like. Since the renderer 321 is a main body that generates a frame image using content data as a material, the occurrence of such a scene change can be detected relatively easily.
  • the encoder 325 encodes the frame image generated by the renderer 321 and accumulated in the frame buffer 323.
  • the encoder 325 sets each frame to either an intra frame or an inter frame for encoding.
  • a frame image is independently encoded without referring to other frame images.
  • an inter frame a frame image is encoded with reference to another frame image. Since inter-frame encoding has higher compression efficiency and shorter processing time, most frames are set to inter-frames. Therefore, most frame images are encoded with reference to other frame images that are located in time earlier.
  • the inter-frame encoding process refers to the frame image before the scene change when encoding the frame image after the scene change. Therefore, the frame image is not clearly displayed especially immediately after the scene change, and the display gradually becomes clear as the frame image encoded with reference to the frame image after the scene change continues in the subsequent frame.
  • a scene change is detected in advance, and a frame after the scene change is set as an intra frame.
  • the manager 350 functioning as an encoder control unit acquires scene change information indicating the occurrence of a scene change from the renderer 321 functioning as a scene change detection unit
  • the frame 350 after the scene change is interleaved.
  • the encoder 325 is controlled to set the frame. Under the control, the encoder 325 sets the frame after the scene change as an intra frame, and encodes the frame image without referring to other frame images. As a result, the frame image is clearly displayed from the frame immediately after the scene change.
  • the encoder 325 outputs the encoded data of the frame image before the scene change to the stream transmission unit 327 instead until the encoding of the frame image after the scene change is completed.
  • the period during which the encoded data of the frame image before the scene change is output may be dynamically set according to the progress of the encoding process of the frame image after the actual scene change, or the intra frame encoding, for example. It may be set in advance based on the standard processing time of processing. In the latter case, the encoder 325 outputs the encoded data of the frame image before the scene change to the stream transmission unit 327 for a predetermined number of frames corresponding to the intra frame encoding processing time.
  • the encoder 325 may hold a copy of the encoded data output last time and continue to output it.
  • the renderer 321 may output the frame image before the scene change to the encoder 325 under the control of the manager 350, and the encoder 325 may re-encode the frame image as an inter-frame image and output it to the stream transmission unit 327.
  • FIG. 6 is a flowchart illustrating an example of processing according to the first embodiment of the present disclosure.
  • the renderer 321 detects the occurrence of a scene change in the frame image to be generated, and provides the scene change information to the manager 350 when it is detected.
  • the manager 350 determines whether or not a scene change has occurred based on the scene change information (step S101), and controls the encoder 325 according to the result.
  • step S101 If it is determined in step S101 that a scene change has occurred (YES), the manager 350 controls the encoder 325 and encodes the frame after the scene change as an intra frame (step S103). On the other hand, if it is not determined that a scene change has occurred (NO), the encoder 325 encodes the frame as an inter frame (step S105).
  • the manager 350 determines whether or not the encoding is completed at the output timing of the frame (step S107). If it is determined that the encoding is not completed (NO), the manager 350 controls the encoder 325 to output the encoded data of the frame image before the scene change to the stream transmission unit 327 (step S109).
  • step S107 may be omitted.
  • the encoder 325 automatically outputs the encoded data of the frame image before the scene change to the stream transmission unit 327 for a predetermined number of frames corresponding to the standard processing time of the intra-frame encoding process, for example.
  • step S107 If it is determined in step S107 that the encoding has been completed (YES), the encoder 325 outputs the encoded data of the frame image after the scene change to the stream transmission unit 327 (step S111). Even when encoding as an inter frame (step S105) is completed, encoded data is similarly output to the stream transmission unit 327.
  • the frame image after the scene change is encoded as an intra-frame image by the processing as described above, so that a clean frame image can be displayed immediately after the scene change.
  • the display of the frame image after the scene change is slightly delayed (for example, about 3 frames, 90 msec to 100 msec), During that time, the frame image before the scene change is displayed as an alternative. Even if the display of the image is somewhat delayed, it is possible to reduce the sense of discomfort felt by the user by displaying a clean frame image immediately after the scene change.
  • FIG. 7 is a diagram for describing a modification example of the first embodiment of the present disclosure.
  • the renderer 321 or the encoder 325 itself functions as an encoder control unit.
  • the renderer 321 provides scene change information to the encoder 325 when the occurrence of a scene change in the generated frame image is detected.
  • the encoder 325 acquires the scene change information and controls itself so as to encode the frame after the scene change as an intra frame.
  • the renderer 321 may control the encoder 325 to encode the frame after the scene change as an intra frame.
  • FIG. 8 is a diagram for describing the second embodiment of the present disclosure.
  • the scene change detection unit 329 detects the occurrence of a scene change in the frame image and provides the scene change information to the manager 350. Based on the above, the encoding of the frame image in the encoder 325 is controlled.
  • the renderer 321 when the renderer 321 detects the occurrence of a scene change in the generated frame image, the renderer 321 may be before or after the scene change (either before or after as long as it corresponds to the setting of a scene change detection unit described later). Additional information indicating the occurrence of a scene change is added to the frame image data. Any format may be used for the additional information.
  • the scene change detection unit 329 searches the frame image data temporarily stored in the frame buffer 323 for data having the additional information. When data having additional information is found, the scene change detection unit 329 provides the scene change information to the manager 350.
  • the scene change detection unit 329 or the manager 350 can share the information.
  • the manager 350 controls the encoding of the frame image by the encoder 325 based on the scene change information acquired from the scene change detection unit 329, as in the first embodiment.
  • the encoder 325 encodes the frame after the scene change as an intra frame.
  • the encoder 325 may instead output the encoded data of the frame image before the scene change during the encoding process of the frame image after the scene change.
  • FIG. 9 is a diagram for describing a modification example of the second embodiment of the present disclosure.
  • the scene change detection unit 329 or the encoder 325 itself functions as an encoder control unit.
  • the scene change detection unit 329 when data having additional information added by the renderer 321 is found in the frame image data temporarily stored in the frame buffer 323, the encoder 325 Provides scene change information.
  • the encoder 325 acquires the scene change information and controls itself so as to encode the frame after the scene change as an intra frame.
  • the scene change detection unit 329 controls the encoder 325 when the data having the additional information added by the renderer 321 is found in the frame image data temporarily stored in the frame buffer 323,
  • the frame after the change may be encoded as an intra frame.
  • FIG. 10 is a block diagram for explaining a hardware configuration of the information processing apparatus.
  • the illustrated information processing apparatus 900 can realize, for example, the client 100 and the server 300 in the above-described embodiment.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, an audio output device such as a speaker and headphones, and a printer device.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or an image, or outputs it as audio such as voice or sound.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a wired or wireless network, such as the Internet, a home LAN, infrared communication, radio wave communication, or satellite communication.
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • Embodiments of the present disclosure include, for example, an encoding control device (for example, included in a server), a system, an encoding control device or a method executed by the system, and an encoding control device as described above.
  • the program and a recording medium on which the program is recorded can be included.
  • a scene change detection unit for detecting occurrence of a scene change in a frame image generated by the renderer in real time;
  • An encoder that encodes each of the frame images by either the first method that does not refer to another frame image or the second method that refers to another frame image is controlled, and the occurrence of the scene change is detected.
  • an encoding control device comprising: an encoder control unit that encodes the frame image after the scene change by the first method.
  • the encoder control unit outputs, instead, the data obtained by encoding the frame image before the scene change. ).
  • the encoder control unit according to (2) wherein when the occurrence of the scene change is detected, the encoder control unit outputs data obtained by encoding the frame image before the scene change for a predetermined number of frames. Encoding control device.
  • the encoder control unit further controls the renderer, and when the occurrence of the scene change is detected, causes the framer before the scene change to be output from the renderer to the encoder, and before the scene change.
  • the encoding control device according to any one of (1) to (4), wherein the scene change detection unit detects the occurrence of the scene change based on information given by the renderer. (7) The scene change detection unit detects the occurrence of the scene change by referring to additional information added to frame image data before or after the scene change by the renderer. The encoding control device described. (8) The encoding control device according to (7), wherein the scene change detection unit searches for data having the additional information from data of the frame image accumulated in a frame buffer. (9) The encoding control device according to any one of (1) to (8), further including a transmission unit that transmits data output from the encoder to a client device via a network.
  • the apparatus further includes a receiving unit that receives the operation input acquired by the client device via the network.
  • the encoding control device according to (9), wherein the renderer generates the frame image in real time according to the operation input.
  • (11) detecting the occurrence of a scene change in a frame image generated by the renderer in real time;
  • An encoder that encodes each of the frame images by either the first method that does not refer to another frame image or the second method that refers to another frame image is controlled, and the occurrence of the scene change is detected.
  • a coding control method comprising: encoding the frame image after the scene change by the first method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】リアルタイム生成されるフレーム画像に対して、シーンチェンジ時に適切なエンコード処理を実行する。 【解決手段】レンダラがリアルタイム生成するフレーム画像におけるシーンチェンジの発生を検出するシーンチェンジ検出部と、上記フレーム画像のそれぞれを、他のフレーム画像を参照しない第１の方式または他のフレーム画像を参照する第２の方式のいずれかでエンコードするエンコーダを制御し、上記シーンチェンジの発生が検出された場合には該シーンチェンジ後のフレーム画像を上記第１の方式でエンコードさせるエンコーダ制御部とを含む符号化制御装置が提供される。

Description

符号化制御装置および符号化制御方法
　本開示は、符号化制御装置および符号化制御方法に関する。
　映像のエンコードでは、フレーム間予測によって高い圧縮効率を得ることが一般的である。フレーム間予測を用いたエンコードでは、イントラフレームとインターフレームとが設定される。イントラフレームでは、フレーム画像が他のフレーム画像を参照せずに、独立してエンコードされる。一方、インターフレームでは、フレーム画像が、時間的に前または後に位置する１または複数の他のフレーム画像を参照してエンコードされる。インターフレームでは、他のフレーム画像との差分を定義することによってフレーム画像をエンコードできるため、非常に高い圧縮効率が得られる。
　一方、映像の内容に応じてエンコードの処理を変更し、限られたデータ量の中で画質を向上させる技術が提案されている。例えば、特許文献１では、フレーム画像中の複雑な絵柄の部分を予め検出し、エンコード時にその部分での量子化ステップ幅を大きくすることによって過大なデータの発生を防ぎ、フレーム画像全体としての画質を維持する技術が記載されている。かかる技術では、まずフレーム画像の内容を解析してから、その結果を利用してエンコードを実行するという、２パスのエンコード処理が実行される。
　ところが、このような技術は、例えばリアルタイムで生成されるフレーム画像を順次エンコードして送信するストリーミングには向かない。フレーム画像の生成および送信にリアルタイム性が求められる場合、処理時間が限られるために、エンコード処理は原則として１パスで実行される。それゆえ、上記のような２パスのエンコード処理を採用することは困難である。そこで、特許文献２では、映像の種類（例えば“映画”など）ごとに予めエンコード難易度を規定し、これに基づいてエンコードの際のビットレートを決定することで、１パスのエンコード処理においてエンコード処理の最適化を代替的に実現する技術が提案されている。
特開平４－２５７１８５号公報 特開平９－２３４２３号公報
　しかしながら、例えば特許文献２に記載の技術を利用しても、ストリーミングにおけるエンコード処理の最適化は十分ではなかった。例えば、連続するフレーム画像の間で画像の大部分が入れ替わるシーンチェンジが発生した場合に、シーンチェンジ後のフレーム画像がインターフレームの画像としてエンコードされると、参照されるシーンチェンジ前のフレーム画像との間で画像の大部分が差分になるために、圧縮効率が下がったり、シーンチェンジ後の画像がきれいに表示されなかったりといった好ましくない状態が生じうる。
　そこで、本開示では、リアルタイム生成されるフレーム画像について、シーンチェンジ時に適切なエンコード処理を実行することが可能な、新規かつ改良された符号化制御装置および符号化制御方法を提案する。
　本開示によれば、レンダラがリアルタイム生成するフレーム画像におけるシーンチェンジの発生を検出するシーンチェンジ検出部と、上記フレーム画像のそれぞれを、他のフレーム画像を参照しない第１の方式または他のフレーム画像を参照する第２の方式のいずれかでエンコードするエンコーダを制御し、上記シーンチェンジの発生が検出された場合には該シーンチェンジ後のフレーム画像を上記第１の方式でエンコードさせるエンコーダ制御部とを含む符号化制御装置が提供される。
　また、本開示によれば、レンダラがリアルタイム生成するフレーム画像におけるシーンチェンジの発生を検出することと、上記フレーム画像のそれぞれを、他のフレーム画像を参照しない第１の方式または他のフレーム画像を参照する第２の方式のいずれかでエンコードするエンコーダを制御し、上記シーンチェンジの発生が検出された場合には該シーンチェンジ後のフレーム画像を上記第１の方式でエンコードさせることとを含む符号化制御方法が提供される。
　このような構成によって、リアルタイム生成されるフレーム画像においても、シーンチェンジの発生を検出し、エンコード処理にシーンチェンジの有無を反映させる方が、フレーム画像を観察するユーザの違和感を低減することができる。
　以上説明したように本開示によれば、リアルタイム生成されるフレーム画像について、シーンチェンジ時に適切なエンコード処理を実行することができる。
本開示の実施形態に係るストリーミングシステムの全体構成を概略的に示す図である。 本開示の実施形態に係るストリーミングシステムにおける情報の流れの例を示す図である。 本開示の実施形態に係るストリーミングシステムのクライアントおよびサーバの機能構成を概略的に示す図である。 本開示の実施形態におけるストリーミング処理部の機能構成を概略的に示す図である。 本開示の第１の実施形態について説明するための図である。 本開示の第１の実施形態における処理の例を示すフローチャートである。 本開示の第１の実施形態の変形例について説明するための図である。 本開示の第２の実施形態について説明するための図である。 本開示の第２の実施形態の変形例について説明するための図である。 情報処理装置のハードウェア構成を説明するためのブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．ストリーミングシステムの構成
　　１－１．全体構成
　　１－２．クライアントおよびサーバの構成
　　１－３．ストリーミング処理部の構成
　２．エンコード制御に関する構成
　　２－１．第１の実施形態
　　２－２．第２の実施形態
　３．ハードウェア構成
　４．補足
　（１．ストリーミングシステムの構成）
　まず、図１～図４を参照して、本開示の実施形態が適用されるストリーミングシステムの構成について説明する。
　（１－１．全体構成）
　図１は、本開示の実施形態に係るストリーミングシステムの全体構成を概略的に示す図である。図１を参照すると、ストリーミングシステム１０は、クライアント１００と、クライアント１００にストリーミングコンテンツを配信するためのサーバ（サービサー２１０、ノード２２０、およびエッジ２３０）とを含む。クライアント１００および各サーバは、有線または無線の各種ネットワークによって互いに接続される。
　サービサー２１０は、オリジナルのコンテンツ２１１を保持している。ノード２２０は、ＣＤＮ（Contents　Delivery　Network）を構成するノードであり、サービサー２１０が保持するオリジナルをコピーしたコンテンツ２２１を保持している。エッジ２３０は、クライアント１００と直接的にやりとりし、要求に応じてコンテンツを適宜加工してクライアント１００に提供する。このとき、エッジ２３０は、ノード２２０が保持しているコンテンツをキャッシュ２３１として取得し、これをクライアント１００からの要求に応じて提供する。
　図２は、本開示の実施形態に係るストリーミングシステムにおける情報の流れの例を示す図である。コンテンツの配信に先立って、クライアント１００は、サービサー２１０のユーザ認証モジュール２１３にアクセスし、サービスにログインする。ログインに成功したクライアント１００は、エッジ２３０のセッションコントローラ２３３にアクセスし、クライアント１００のためのプロセスの開始を要求する。これに応じて、セッションコントローラ２３３はプロセス２３５を立ち上げる。
　エッジ２３０では、プロセス２３５がクライアント１００ごとに立ち上げられ、各クライアント１００からの要求に応じてコンテンツ配信のための処理を実行する。従って、エッジ２３０が複数のクライアント１００にサービスを提供する場合、エッジ２３０では複数のプロセス２３５が立ち上げられうる。各プロセス２３５は、スケジューラ２３７によってスケジューリングされる。スケジューラ２３７は、セッションコントローラ２３３によって制御される。
　一方、サービサー２１０が保持しているオリジナルのコンテンツ２１１は、ノード２２０に予めコピーされ、コンテンツ２２１として保持されている。エッジ２３０で起動されたプロセス２３５は、クライアント１００からの要求に応じて、ノード２２０で保持されているコンテンツ２２１をキャッシュとして取得し、これを適宜加工してクライアント１００に提供する。このとき、プロセス２３５は、クライアント１００からのどのような要求に応じてどのようにコンテンツを提供したかというログを記録してもよい。このログ、およびその他の情報は、プロセス２３５によってノード２２０に提供され、情報２２３として保持されてもよい。ログなどの情報２２３は、例えばサービサー２１０の付加機能２１５によって利用されうる。
　（１－２．クライアントおよびサーバの構成）
　図３は、本開示の実施形態に係るストリーミングシステムのクライアントおよびサーバの機能構成を概略的に示す図である。なお、サーバ３００は、図１，２を参照して説明したストリーミングシステムにおいてエッジ２３０として機能するサーバである。図では、クライアント１００に配信されるストリーミングコンテンツの流れを実線で示し、ストリーミングコンテンツの再生に関する制御情報の流れを破線で示している。
　クライアント１００は、ユーザにストリーミングコンテンツを提供する装置であり、例えば各種のパーソナルコンピュータ、タブレット端末、携帯電話（スマートフォンを含む）、メディアプレーヤ、ゲーム機などでありうる。一方、サーバ３００は、単一のサーバ装置、または有線もしくは無線の各種ネットワークによって互いに接続される複数のサーバ装置の協働によって実現される機能の集合体である。クライアント１００、およびサーバ３００を構成する各サーバ装置は、いずれも、例えば後述する情報処理装置のハードウェア構成を用いて実現されうる。図示された構成要素のうち、入力装置および出力装置、およびデータ（記憶装置に記憶される）を除く各部分は、例えばＣＰＵ（Central　Processing　Unit）などのプロセッサによってソフトウェア的に実現されうる。
　クライアント１００では、入力装置１１０がユーザの操作入力を取得する。入力装置１１０は、例えばサービスへのログインやコンテンツの選択などのコンテンツ外の操作入力と、例えば静止画／動画の切替えや画像の拡大／縮小、音声の音質切替えなどのコンテンツ内の操作入力とを取得する。コンテンツ外の操作入力は、セッションコントローラ１２０によって処理される。セッションコントローラ１２０は、例えばログインに関する入力情報をサービサー２１０に送信したり、ログイン後にプロセス開始の要求をサーバ３００に送信したりする。一方、コンテンツ内の操作入力は、入力送信部１３０からサーバ３００に送信される。
　サーバ３００では、セッションコントローラ２３３が、クライアント１００からのプロセス開始の要求に応じてプロセス２３５を立ち上げる。プロセス２３５は、クライアント１００で入力装置１１０が取得したコンテンツの選択操作によって指定されたコンテンツ２２１を取得し、コンテンツキャッシュ２３１として保持する。コンテンツキャッシュ２３１はエンコードデータであり、サーバ３００ではデコーダ３１０がこれをデコードする。デコードされたコンテンツのデータは、ストリーム処理部／送信部３２０で処理される。
　一方、クライアント１００で入力装置１１０が取得したコンテンツ内の操作入力は、入力受信部３３０によって受信され、プレーヤコントローラ３４０に提供される。プレーヤコントローラ３４０は、操作入力に従ってデコーダ３１０やストリーム処理部／送信部３２０を制御する。ストリーム処理部／送信部３２０は、この制御に従って、コンテンツのデータから映像や音声を生成する。さらに、ストリーム処理部／送信部３２０は、生成した映像や音声をエンコードしてクライアント１００に送信する。なお、図示された例では、コンテンツは映像および音声を含むが、他の例ではコンテンツが映像だけを含んでもよく、また音声だけを含んでもよい。
　クライアント１００に送信されたエンコードデータは、ストリーム受信部／処理部１４０でデコードされ、映像や音声としてレンダリングされて、出力装置１５０からユーザに向けて出力される。ここで、サーバ側のストリーム処理部／送信部３２０と、クライアント側のストリーム受信部／処理部１４０とは、それぞれマネージャ３５０およびマネージャ１６０によって管理される。サーバ側のマネージャ３５０と、クライアント側のマネージャ１６０とは、必要に応じて情報を交換して協働する。
　（１－３．ストリーミング処理部の構成）
　図４は、本開示の実施形態におけるストリーミング処理部の機能構成を概略的に示す図である。図では、クライアント１００のストリーム受信部／処理部１４０、およびサーバ３００のストリーム処理部／送信部３２０の機能構成がそれぞれ示されている。
　　（クライアント側）
　ストリーム受信部／処理部１４０は、ストリーム受信部１４１、デコーダ１４３、フレームバッファ１４５、およびレンダラ１４７を含む。ストリーム受信部１４１は、サーバ側のストリーム送信部３２７から所定のプロトコルに従ってデータを受信する。図示された例ではＲＴＰ（Real-Time　Transport　Protocol）が用いられる。この場合、ストリーム受信部１４１は、受信したデータをデコーダ１４３に提供するとともに、データの遅延などの通信状態を検出し、ＲＴＣＰ（RTP　Control　Protocol）を用いてストリーム送信部３２７に報告する。
　デコーダ１４３は、ストリーム受信部１４１から提供されたデータをデコードして、映像データおよび音声データを得る。デコーダ１４３は、映像データをデコードする映像デコーダ１４３ａと、音声データをデコードする音声デコーダ１４３ｂとを含む。映像デコーダ１４３ａおよび音声デコーダ１４３ｂは、それぞれ複数の種類が用意されて、処理対象のデータのフォーマットに応じて選択的に使用されてもよい。なお、以下の説明では、デコーダ１４３ａおよびデコーダ１４３ｂの両方、またはいずれか一方を、単にデコーダ１４３と称する場合がある（いずれか一方を指す場合、扱うのが音声であるか映像であるかが明示される）。
　フレームバッファ１４５は、デコーダ１４３で得られた映像データおよび音声データをフレーム単位で一時的に蓄積する。フレームバッファ１４５は、映像データを蓄積するフレームバッファ１４５ａと、音声データを蓄積するフレームバッファ１４５ｂとを含む。フレームバッファ１４５は、マネージャ１６０の制御に従って、所定のタイミングで各フレームの映像データおよび音声データをレンダラ１４７に提供する。なお、以下の説明では、フレームバッファ１４５ａおよびフレームバッファ１４５ｂの両方、またはいずれか一方を、単にフレームバッファ１４５と称する場合がある（いずれか一方を指す場合、扱うのが音声であるか映像であるかが明示される）。
　レンダラ１４７は、映像データをレンダリングしてディスプレイなどの出力装置に提供する映像レンダラ１４７ａと、音声データをレンダリングしてスピーカなどの出力装置に提供する音声レンダラ１４７ｂとを含む。映像レンダラ１４７ａと音声レンダラ１４７ｂとは、出力される映像と音声とのフレームを同期させる。また、レンダラ１４７は、出力したフレームのＩＤや、出力が実行された時刻などをマネージャ１６０に報告する。なお、以下の説明では、レンダラ１４７ａおよびレンダラ１４７ｂの両方、またはいずれか一方を、単にレンダラ１４７と称する場合がある（いずれか一方を指す場合、扱うのが音声であるか映像であるかが明示される）。
　　（サーバ側）
　ストリーム処理部／送信部３２０は、レンダラ３２１、フレームバッファ３２３、エンコーダ３２５、およびストリーム送信部３２７を含む。レンダラ３２１は、デコーダ３１０によってデコードされたコンテンツのデータを素材として用いて、またプレーヤコントローラ３４０によるユーザの操作入力に基づく制御に従って、映像データおよび音声データを生成する。ここで、映像データおよび音声データについてフレームが定義され、映像データは連続するフレーム画像として生成される。
　フレームバッファ３２３は、レンダラ３２１で生成された映像データおよび音声データをフレーム単位で一時的に蓄積する。フレームバッファ３２３は、映像データを蓄積するフレームバッファ３２３ａと、音声データを蓄積するフレームバッファ３２３ｂとを含む。フレームバッファ３２３に蓄積された映像データおよび音声データは、順次エンコーダ３２５によってエンコードされる。なお、以下の説明では、フレームバッファ３２３ａおよびフレームバッファ３２３ｂの両方、またはいずれか一方を、単にフレームバッファ３２３と称する場合がある（いずれか一方を指す場合、扱うのが音声であるか映像であるかが明示される）。
　エンコーダ３２５は、映像データをエンコードする映像エンコーダ３２５ａと、音声データをエンコードする音声エンコーダ３２５ｂとを含む。映像エンコーダ３２５ａおよび音声エンコーダ３２５ｂは、それぞれ複数の種類が用意されて、クライアント１００で使用可能な映像デコーダ１４３ａおよび音声デコーダ１４３ｂの種類、または処理対象の映像データや音声データの特性に応じて選択的に使用されてもよい。エンコードされた映像データおよび音声データは、ストリーム送信部３２７からクライアント１００に送信される。なお、以下の説明では、エンコーダ３２５ａおよびエンコーダ３２５ｂの両方、または一方を、単にエンコーダ３２５と称する場合がある（いずれか一方を指す場合、扱うのが音声であるか映像であるかが明示される）。
　以上で説明したような本実施形態に係るストリーミングシステムの構成によれば、エッジとして機能するサーバにおいて、ユーザの操作入力に応じて映像や音声をリアルタイム生成してクライアントに配信することが可能である。従って、例えば特開２０１０－１１７８２８号公報に記載された画像を自由に拡大／縮小したり移動したりするアプリケーションや、サイズの大きな画像や映像の閲覧、オンラインゲーム、シミュレーションビューアなどのさまざまなアプリケーションを、ユーザの操作入力に対する応答性を確保しつつストリーミングによって提供することができる。
　（２．エンコード制御に関する構成）
　次に、図５～図９を参照して、本開示の実施形態におけるエンコード制御に関する構成について説明する。エンコード制御に関する構成は、第１および第２の実施形態として説明される。
　（２－１．第１の実施形態）
　図５は、本開示の第１の実施形態について説明するための図である。本実施形態では、サーバ３００のストリーム処理部／送信部３２０において、レンダラ３２１がフレーム画像におけるシーンチェンジの発生を検出してシーンチェンジ情報をマネージャ３５０に提供し、マネージャ３５０がシーンチェンジ情報に基づいてエンコーダ３２５におけるフレーム画像のエンコードを制御する。
　レンダラ３２１は、上述のように、クライアント１００において取得されたユーザの操作入力に従って、映像データを構成する一連のフレーム画像をリアルタイム生成する。ここで、フレーム画像では、シーンチェンジが発生する場合がある。シーンチェンジは、例えば映画におけるものを想定するとわかりやすいが、連続するフレーム画像の間で、画像の大部分が入れ替わる状態である。ここで、必ずしも画像のすべてが入れ替わるとは限らない。例えば、ストリーミングシステムによって提供されるアプリケーションにおいて、画像が操作用のＵＩ（User　Interface）や情報表示などを含む場合、そうした表示はシーンチェンジが発生しても入れ替わらない。
　本実施形態において、レンダラ３２１は、生成するフレーム画像において発生したシーンチェンジを検出し、マネージャ３５０にシーンチェンジ情報を提供する。例えば、画像や映像を閲覧するアプリケーションであれば、閲覧する画像や映像が切り替えられた場合などにシーンチェンジが発生する。また、例えば、オンラインゲームであれば、キャラクターがワープするなどしてフィールドを瞬間的に移動した場合などにシーンチェンジが発生する。レンダラ３２１は、コンテンツのデータを素材として用いてフレーム画像を生成する主体であるため、このようなシーンチェンジの発生を比較的容易に検出することができる。
　一方、エンコーダ３２５は、レンダラ３２１によって生成され、フレームバッファ３２３に蓄積されたフレーム画像をエンコードする。エンコーダ３２５は、エンコードにあたり、各フレームをイントラフレームまたはインターフレームのいずれかに設定する。イントラフレームでは、フレーム画像が他のフレーム画像を参照せずに独立してエンコードされる。一方、インターフレームでは、フレーム画像が他のフレーム画像を参照してエンコードされる。インターフレームのエンコード処理の方が圧縮効率が高く処理時間も短いため、大部分のフレームはインターフレームに設定される。それゆえ、大部分のフレーム画像は、時間的に前に位置する他のフレーム画像を参照してエンコードされる。
　ところが、フレーム画像においてシーンチェンジが発生した場合、インターフレームのエンコード処理では、シーンチェンジ後のフレーム画像のエンコード時にシーンチェンジ前のフレーム画像を参照してしまう。それゆえ、特にシーンチェンジの直後にはフレーム画像がきれいに表示されず、その後のフレームでシーンチェンジ後のフレーム画像を参照してエンコードされたフレーム画像が続くにつれて徐々に表示がきれいになる。このような状態を回避するためには、予めシーンチェンジを検出してシーンチェンジ後のフレームをイントラフレームに設定すればよい。
　そこで、本実施形態では、エンコーダ制御部として機能するマネージャ３５０が、シーンチェンジ検出部として機能するレンダラ３２１からシーンチェンジの発生を示すシーンチェンジ情報が取得された場合、当該シーンチェンジ後のフレームをインターフレームに設定するようにエンコーダ３２５を制御する。この制御を受けたエンコーダ３２５は、シーンチェンジ後のフレームをイントラフレームに設定して、フレーム画像を他のフレーム画像を参照せずにエンコードする。これによって、フレーム画像は、シーンチェンジ直後のフレームからきれいに表示される。
　しかし、イントラフレームのエンコード処理時間がインターフレームのエンコード処理時間よりも長いため、シーンチェンジ後のフレーム画像のエンコードデータをストリーム送信部３２７に出力するタイミングになってもエンコード処理が完了していない場合がありうる。その場合、エンコーダ３２５は、シーンチェンジ後のフレーム画像のエンコードが完了するまでの間、シーンチェンジ前のフレーム画像のエンコードデータを代わりにストリーム送信部３２７に出力する。
　なお、シーンチェンジ前のフレーム画像のエンコードデータが出力される期間は、例えば実際のシーンチェンジ後のフレーム画像のエンコード処理の進行状態に応じて動的に設定されてもよいし、イントラフレームのエンコード処理の標準的な処理時間に基づいて予め設定されていてもよい。後者の場合、エンコーダ３２５は、イントラフレームのエンコード処理時間に対応する所定のフレーム数の間、シーンチェンジ前のフレーム画像のエンコードデータをストリーム送信部３２７に出力する。
　また、シーンチェンジ前のフレーム画像のエンコードデータを出力するにあたり、エンコーダ３２５は、前回に出力したエンコードデータのコピーを保持していて、それを引き続き出力してもよい。あるいは、マネージャ３５０の制御によって、レンダラ３２１がシーンチェンジ前のフレーム画像をエンコーダ３２５に出力し、エンコーダ３２５はこれをインターフレームの画像として再度エンコードしてストリーム送信部３２７に出力してもよい。
　図６は、本開示の第１の実施形態における処理の例を示すフローチャートである。本実施形態では、レンダラ３２１が、生成するフレーム画像におけるシーンチェンジの発生を検出し、検出された場合にはシーンチェンジ情報をマネージャ３５０に提供する。マネージャ３５０は、このシーンチェンジ情報に基づいてシーンチェンジが発生したか否かを判定し（ステップＳ１０１）、その結果に応じてエンコーダ３２５を制御する。
　ステップＳ１０１でシーンチェンジが発生したと判定された場合（ＹＥＳ）、マネージャ３５０はエンコーダ３２５を制御し、シーンチェンジ後のフレームをイントラフレームとしてエンコードする（ステップＳ１０３）。一方、シーンチェンジが発生したと判定されなかった場合（ＮＯ）、エンコーダ３２５はフレームをインターフレームとしてエンコードする（ステップＳ１０５）。
　ステップＳ１０３でシーンチェンジ後のフレームをイントラフレームとしてエンコードする場合、マネージャ３５０は、当該フレームの出力タイミングでエンコードが完了しているか否かを判定する（ステップＳ１０７）。ここで、エンコードが完了していないと判定された場合（ＮＯ）、マネージャ３５０はエンコーダ３２５を制御し、シーンチェンジ前のフレーム画像のエンコードデータをストリーム送信部３２７に出力させる（ステップＳ１０９）。
　なお、上記のステップＳ１０７の判定は、省略されてもよい。この場合、エンコーダ３２５は、例えばイントラフレームのエンコード処理の標準的な処理時間に対応する所定のフレーム数の間、自動的にシーンチェンジ前のフレーム画像のエンコードデータをストリーム送信部３２７に出力する。
　ステップＳ１０７で、エンコードが完了したと判定された場合（ＹＥＳ）、エンコーダ３２５は、シーンチェンジ後のフレーム画像のエンコードデータをストリーム送信部３２７に出力する（ステップＳ１１１）。インターフレームとしてのエンコード（ステップＳ１０５）が完了した場合も、同様にエンコードデータがストリーム送信部３２７に出力される。
　本開示の第１の実施形態では、以上のような処理によって、シーンチェンジ後のフレーム画像がイントラフレームの画像としてエンコードされるため、シーンチェンジの直後からきれいなフレーム画像を表示することができる。ここで、イントラフレームでのエンコード処理時間のためにシーンチェンジ後のフレーム画像の表示が元のタイミングよりもわずかに（一例としては３フレーム分、９０ｍｓｅｃ～１００ｍｓｅｃ程度）遅延する可能性があるが、その間はシーンチェンジ前のフレーム画像を代替として表示する。画像の表示が多少遅延しても、シーンチェンジの直後からきれいなフレーム画像を表示する方が、ユーザが感じる違和感をより小さくすることができる。
　（変形例）
　図７は、本開示の第１の実施形態の変形例について説明するための図である。本変形例では、レンダラ３２１、またはエンコーダ３２５自体が、エンコーダ制御部として機能する。
　より具体的には、レンダラ３２１は、生成されるフレーム画像におけるシーンチェンジの発生を検出した場合、エンコーダ３２５にシーンチェンジ情報を提供する。エンコーダ３２５は、このシーンチェンジ情報を取得し、シーンチェンジ後のフレームをイントラフレームとしてエンコードするように自らを制御する。
　あるいは、レンダラ３２１は、生成されるフレーム画像におけるシーンチェンジの発生を検出した場合、エンコーダ３２５を制御し、シーンチェンジ後のフレームをイントラフレームとしてエンコードさせてもよい。
　（２－２．第２の実施形態）
　図８は、本開示の第２の実施形態について説明するための図である。本実施形態では、サーバ３００のストリーム処理部／送信部３２０において、シーンチェンジ検出部３２９がフレーム画像におけるシーンチェンジの発生を検出してシーンチェンジ情報をマネージャ３５０に提供し、マネージャ３５０がシーンチェンジ情報に基づいてエンコーダ３２５におけるフレーム画像のエンコードを制御する。
　本実施形態において、レンダラ３２１は、生成するフレーム画像においてシーンチェンジの発生を検出した場合、シーンチェンジの前または後（後述するシーンチェンジ検出部の設定に対応していれば前後どちらでもよい）のフレーム画像のデータに、シーンチェンジの発生を示す付加情報を付加する。付加情報の形式はどのようなものでもよい。
　シーンチェンジ検出部３２９は、フレームバッファ３２３に一時的に蓄積されたフレーム画像のデータから、上記の付加情報を有するデータを検索する。付加情報を有するデータが見つかった場合、シーンチェンジ検出部３２９は、マネージャ３５０にシーンチェンジ情報を提供する。ここで、どのフレーム画像の間でシーンチェンジが発生したかは、例えば、レンダラ３２１における付加情報の付加に関する設定情報（シーンチェンジの前後どちらのフレーム画像のデータに付加情報を付加するか）を、シーンチェンジ検出部３２９またはマネージャ３５０が共有することで特定可能である。
　マネージャ３５０は、シーンチェンジ検出部３２９から取得したシーンチェンジ情報に基づいて、上記の第１の実施形態と同様にエンコーダ３２５によるフレーム画像のエンコードを制御する。これによって、例えば、エンコーダ３２５は、シーンチェンジ後のフレームをイントラフレームとしてエンコードする。また、エンコーダ３２５は、シーンチェンジ後のフレーム画像のエンコード処理の間、シーンチェンジ前のフレーム画像のエンコードデータを代わりに出力してもよい。
　（変形例）
　図９は、本開示の第２の実施形態の変形例について説明するための図である。本変形例では、シーンチェンジ検出部３２９、またはエンコーダ３２５自体が、エンコーダ制御部として機能する。
　より具体的には、シーンチェンジ検出部３２９は、フレームバッファ３２３に一時的に蓄積されたフレーム画像のデータの中で、レンダラ３２１によって付加された付加情報を有するデータが見つかった場合、エンコーダ３２５にシーンチェンジ情報を提供する。エンコーダ３２５は、このシーンチェンジ情報を取得し、シーンチェンジ後のフレームをイントラフレームとしてエンコードするように自らを制御する。
　あるいは、シーンチェンジ検出部３２９は、フレームバッファ３２３に一時的に蓄積されたフレーム画像のデータの中で、レンダラ３２１によって付加された付加情報を有するデータが見つかった場合、エンコーダ３２５を制御し、シーンチェンジ後のフレームをイントラフレームとしてエンコードさせてもよい。
　（３．ハードウェア構成）
　次に、図１０を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１０は、情報処理装置のハードウェア構成を説明するためのブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるクライアント１００およびサーバ３００を実現しうる。
　情報処理装置９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）、ＰＤＰ（Plasma　Display　Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　（４．補足）
　本開示の実施形態は、例えば、上記で説明したような符号化制御装置（例えばサーバに含まれる）、システム、符号化制御装置またはシステムで実行される方法、符号化制御装置を機能させるためのプログラム、およびプログラムが記録された記録媒体を含みうる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）レンダラがリアルタイム生成するフレーム画像におけるシーンチェンジの発生を検出するシーンチェンジ検出部と、
　前記フレーム画像のそれぞれを、他のフレーム画像を参照しない第１の方式または他のフレーム画像を参照する第２の方式のいずれかでエンコードするエンコーダを制御し、前記シーンチェンジの発生が検出された場合には該シーンチェンジ後のフレーム画像を前記第１の方式でエンコードさせるエンコーダ制御部と
　を備える符号化制御装置。
（２）前記エンコーダ制御部は、前記エンコーダが前記シーンチェンジ後のフレーム画像を前記第１の方式でエンコードする間、前記シーンチェンジ前のフレーム画像をエンコードしたデータを代わりに出力させる、前記（１）に記載の符号化制御装置。
（３）前記エンコーダ制御部は、前記シーンチェンジの発生が検出された場合に、所定のフレーム数の間、前記シーンチェンジ前のフレーム画像をエンコードしたデータを出力させる、前記（２）に記載の符号化制御装置。
（４）前記エンコーダ制御部は、さらに前記レンダラを制御し、前記シーンチェンジの発生が検出された場合に、前記シーンチェンジ前のフレーム画像を前記レンダラから前記エンコーダに出力させ、前記シーンチェンジ前のフレーム画像を前記第２の方式でエンコードしたデータを出力させる、前記（２）または（３）に記載の符号化制御装置。
（５）前記シーンチェンジ検出部は、前記レンダラに含まれる、前記（１）～（４）のいずれか１項に記載の符号化制御装置。
（６）前記シーンチェンジ検出部は、前記レンダラによって与えられる情報に基づいて前記シーンチェンジの発生を検出する、前記（１）～（４）のいずれか１項に記載の符号化制御装置。
（７）前記シーンチェンジ検出部は、前記レンダラによって前記シーンチェンジの前または後のフレーム画像のデータに付加された付加情報を参照することによって前記シーンチェンジの発生を検出する、前記（６）に記載の符号化制御装置。
（８）前記シーンチェンジ検出部は、フレームバッファに蓄積された前記フレーム画像のデータの中から前記付加情報を有するデータを検索する、前記（７）に記載の符号化制御装置。
（９）前記エンコーダから出力されるデータを、ネットワークを介してクライアント装置に送信する送信部をさらに備える、前記（１）～（８）のいずれか１項に記載の符号化制御装置。
（１０）前記クライアント装置で取得された操作入力を、前記ネットワークを介して受信する受信部をさらに備え、
　前記レンダラは、前記操作入力に従って前記フレーム画像をリアルタイム生成する、前記（９）に記載の符号化制御装置。
（１１）レンダラがリアルタイム生成するフレーム画像におけるシーンチェンジの発生を検出することと、
　前記フレーム画像のそれぞれを、他のフレーム画像を参照しない第１の方式または他のフレーム画像を参照する第２の方式のいずれかでエンコードするエンコーダを制御し、前記シーンチェンジの発生が検出された場合には該シーンチェンジ後のフレーム画像を前記第１の方式でエンコードさせることと
　を含む符号化制御方法。
　１０　　　ストリーミングシステム
　１００　　クライアント
　１４０　　ストリーム受信部／処理部
　１４１　　ストリーム受信部
　１４３　　デコーダ
　１４５　　フレームバッファ
　１４７　　レンダラ
　１６０　　マネージャ
　２１０　　サービサー
　２２０　　ノード
　２３０　　エッジ
　３００　　サーバ
　３２０　　ストリーム処理部／送信部
　３２１　　レンダラ
　３２３　　フレームバッファ
　３２５　　エンコーダ
　３２７　　ストリーム送信部
　３２９　　シーンチェンジ検出部

Claims (11)

  1. 　レンダラがリアルタイム生成するフレーム画像におけるシーンチェンジの発生を検出するシーンチェンジ検出部と、
    　前記フレーム画像のそれぞれを、他のフレーム画像を参照しない第１の方式または他のフレーム画像を参照する第２の方式のいずれかでエンコードするエンコーダを制御し、前記シーンチェンジの発生が検出された場合には該シーンチェンジ後のフレーム画像を前記第１の方式でエンコードさせるエンコーダ制御部と
    　を備える符号化制御装置。
  2. 　前記エンコーダ制御部は、前記エンコーダが前記シーンチェンジ後のフレーム画像を前記第１の方式でエンコードする間、前記シーンチェンジ前のフレーム画像をエンコードしたデータを代わりに出力させる、請求項１に記載の符号化制御装置。
  3. 　前記エンコーダ制御部は、前記シーンチェンジの発生が検出された場合に、所定のフレーム数の間、前記シーンチェンジ前のフレーム画像をエンコードしたデータを出力させる、請求項２に記載の符号化制御装置。
  4. 　前記エンコーダ制御部は、さらに前記レンダラを制御し、前記シーンチェンジの発生が検出された場合に、前記シーンチェンジ前のフレーム画像を前記レンダラから前記エンコーダに出力させ、前記シーンチェンジ前のフレーム画像を前記第２の方式でエンコードしたデータを出力させる、請求項２に記載の符号化制御装置。
  5. 　前記シーンチェンジ検出部は、前記レンダラに含まれる、請求項１に記載の符号化制御装置。
  6. 　前記シーンチェンジ検出部は、前記レンダラによって与えられる情報に基づいて前記シーンチェンジの発生を検出する、請求項１に記載の符号化制御装置。
  7. 　前記シーンチェンジ検出部は、前記レンダラによって前記シーンチェンジの前または後のフレーム画像のデータに付加された付加情報を参照することによって前記シーンチェンジの発生を検出する、請求項６に記載の符号化制御装置。
  8. 　前記シーンチェンジ検出部は、フレームバッファに蓄積された前記フレーム画像のデータの中から前記付加情報を有するデータを検索する、請求項７に記載の符号化制御装置。
  9. 　前記エンコーダから出力されるデータを、ネットワークを介してクライアント装置に送信する送信部をさらに備える、請求項１に記載の符号化制御装置。
  10. 　前記クライアント装置で取得された操作入力を、前記ネットワークを介して受信する受信部をさらに備え、
    　前記レンダラは、前記操作入力に従って前記フレーム画像をリアルタイム生成する、請求項９に記載の符号化制御装置。
  11. 　レンダラがリアルタイム生成するフレーム画像におけるシーンチェンジの発生を検出することと、
    　前記フレーム画像のそれぞれを、他のフレーム画像を参照しない第１の方式または他のフレーム画像を参照する第２の方式のいずれかでエンコードするエンコーダを制御し、前記シーンチェンジの発生が検出された場合には該シーンチェンジ後のフレーム画像を前記第１の方式でエンコードさせることと
    　を含む符号化制御方法。
PCT/JP2013/068769 2012-10-05 2013-07-09 符号化制御装置および符号化制御方法 Ceased WO2014054325A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13843430.3A EP2905963A4 (en) 2012-10-05 2013-07-09 CODING CONTROL DEVICE AND CODING CONTROL METHOD
US14/419,065 US9584809B2 (en) 2012-10-05 2013-07-09 Encoding control apparatus and encoding control method
CN201380050814.XA CN104685873B (zh) 2012-10-05 2013-07-09 编码控制设备以及编码控制方法
JP2014539629A JPWO2014054325A1 (ja) 2012-10-05 2013-07-09 符号化制御装置および符号化制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-223045 2012-10-05
JP2012223045 2012-10-05

Publications (1)

Publication Number Publication Date
WO2014054325A1 true WO2014054325A1 (ja) 2014-04-10

Family

ID=50434661

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/068769 Ceased WO2014054325A1 (ja) 2012-10-05 2013-07-09 符号化制御装置および符号化制御方法

Country Status (5)

Country Link
US (1) US9584809B2 (ja)
EP (1) EP2905963A4 (ja)
JP (1) JPWO2014054325A1 (ja)
CN (1) CN104685873B (ja)
WO (1) WO2014054325A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022550442A (ja) * 2019-10-01 2022-12-01 株式会社ソニー・インタラクティブエンタテインメント クラウドゲーミングサーバで符号化するためのシーン変化のヒントを提供するゲームアプリケーション

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160360206A1 (en) * 2015-06-04 2016-12-08 Microsoft Technology Licensing, Llc Rate controller for real-time encoding and transmission
GB2583826B (en) 2017-04-21 2021-05-19 Zenimax Media Inc Systems and methods for rendering & pre-encoded load estimation based encoder hinting
US11420118B2 (en) 2019-10-01 2022-08-23 Sony Interactive Entertainment Inc. Overlapping encode and transmit at the server
US11235235B2 (en) 2019-10-01 2022-02-01 Sony Interactive Entertainment Inc. Synchronization and offset of VSYNC between gaming devices
US11524230B2 (en) 2019-10-01 2022-12-13 Sony Interactive Entertainment Inc. Encoder tuning to improve tradeoffs between latency and video quality in cloud gaming applications
US11395963B2 (en) 2019-10-01 2022-07-26 Sony Interactive Entertainment Inc. High speed scan-out of server display buffer for cloud gaming applications
CN111083481A (zh) * 2019-11-15 2020-04-28 西安万像电子科技有限公司 图像编码方法及装置
CN112306212B (zh) * 2020-10-29 2024-02-23 西安万像电子科技有限公司 终端控制方法及装置
CN117014622A (zh) * 2022-04-29 2023-11-07 华为技术有限公司 一种视频帧处理方法、设备、视频系统、介质及芯片

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04257185A (ja) 1991-02-08 1992-09-11 Sony Corp 高能率符号化方法
JPH0923423A (ja) 1995-05-02 1997-01-21 Sony Corp 信号符号化方法、信号符号化装置及び信号記録媒体
JP2010117828A (ja) 2008-11-12 2010-05-27 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
WO2011028666A1 (en) * 2009-09-02 2011-03-10 Sony Computer Entertainment Inc. Scene change detection
JP2011097401A (ja) * 2009-10-30 2011-05-12 Sony Computer Entertainment Inc 情報処理装置、チューナーおよび情報処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04318785A (ja) * 1991-04-18 1992-11-10 Matsushita Electric Ind Co Ltd 映像信号の圧縮符号化処理方法及びその装置
JP3513160B2 (ja) * 1991-12-06 2004-03-31 キヤノン株式会社 動画像信号符号化装置及びその方法
JP3711571B2 (ja) * 1994-09-29 2005-11-02 ソニー株式会社 画像符号化装置及び画像符号化方法
US6057893A (en) * 1995-12-28 2000-05-02 Sony Corporation Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium
US6100940A (en) * 1998-01-21 2000-08-08 Sarnoff Corporation Apparatus and method for using side information to improve a coding system
US6351493B1 (en) * 1998-06-30 2002-02-26 Compaq Computer Corporation Coding an intra-frame upon detecting a scene change in a video sequence
BR9914117A (pt) * 1998-09-29 2001-10-16 Gen Instrument Corp Processo e aparelho para detectar mudanças de cena e ajustar o tipo de codificação de imagem em um codificador de televisão de alta definição
US6731684B1 (en) * 1998-09-29 2004-05-04 General Instrument Corporation Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US7515634B2 (en) * 2002-06-28 2009-04-07 Qualcomm Incorporated Computationally constrained video encoding
EP1558033A1 (en) * 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for controlling the insertion of additional fields or frames into a picture sequence to change its format
JP4655191B2 (ja) * 2004-09-02 2011-03-23 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
CN100452878C (zh) * 2005-03-28 2009-01-14 腾讯科技（深圳）有限公司 一种视频编码中的运动图像处理方法
US20090097546A1 (en) * 2007-10-10 2009-04-16 Chang-Hyun Lee System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate
CN101316360B (zh) * 2008-07-17 2011-04-13 杭州华三通信技术有限公司 一种转换视频流帧率的方法和装置
EP2224745B1 (en) * 2009-02-27 2019-11-06 STMicroelectronics Srl Temporal scalability in case of scene changes
US20110051010A1 (en) * 2009-08-27 2011-03-03 Rami Jiossy Encoding Video Using Scene Change Detection
CN101720044B (zh) * 2009-12-10 2011-09-28 四川长虹电器股份有限公司 一种基于自适应帧结构的avs编码方法
CN102546917B (zh) * 2010-12-31 2014-10-22 联想移动通信科技有限公司 带摄像头的移动终端及其视频处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04257185A (ja) 1991-02-08 1992-09-11 Sony Corp 高能率符号化方法
JPH0923423A (ja) 1995-05-02 1997-01-21 Sony Corp 信号符号化方法、信号符号化装置及び信号記録媒体
JP2010117828A (ja) 2008-11-12 2010-05-27 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
WO2011028666A1 (en) * 2009-09-02 2011-03-10 Sony Computer Entertainment Inc. Scene change detection
JP2011097401A (ja) * 2009-10-30 2011-05-12 Sony Computer Entertainment Inc 情報処理装置、チューナーおよび情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2905963A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022550442A (ja) * 2019-10-01 2022-12-01 株式会社ソニー・インタラクティブエンタテインメント クラウドゲーミングサーバで符号化するためのシーン変化のヒントを提供するゲームアプリケーション
JP7583035B2 (ja) 2019-10-01 2024-11-13 株式会社ソニー・インタラクティブエンタテインメント クラウドゲーミングサーバで符号化するためのシーン変化のヒントを提供するゲームアプリケーション

Also Published As

Publication number Publication date
US20150195531A1 (en) 2015-07-09
EP2905963A4 (en) 2016-08-03
US9584809B2 (en) 2017-02-28
CN104685873B (zh) 2017-12-15
EP2905963A1 (en) 2015-08-12
JPWO2014054325A1 (ja) 2016-08-25
CN104685873A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
WO2014054325A1 (ja) 符号化制御装置および符号化制御方法
US11012338B2 (en) Network adaptive latency reduction through frame rate control
CN111221491A (zh) 交互控制方法及装置、电子设备、存储介质
JP6511038B2 (ja) クラウドストリーミングサービス提供方法及びそのための装置
CN107370714A (zh) 面向云渲染的高效通讯方法
CN106817354A (zh) 一种视频流传输方法、设备和系统
CN103716596B (zh) 图像处理装置和图像处理方法
CN105282624A (zh) 桌面云视频的播放处理方法及装置
WO2012151957A1 (zh) 服务器、客户端及利用其远程播放视频文件的方法和系统
CN112055227B (zh) 云游戏交互方法、系统、装置、存储介质与电子设备
CN102439935A (zh) 媒体适配的方法和装置
JP2014075737A (ja) 画像処理装置、画像処理方法及び画像処理システム
WO2024114146A1 (zh) 媒体流处理方法、装置、计算机设备和存储介质
WO2021057697A1 (zh) 视频编解码方法和装置、存储介质及电子装置
US9560105B2 (en) Server device and information processing method
JP2011192229A (ja) サーバ装置および情報処理方法
TWI730837B (zh) 用於遊戲串流的方法及裝置
CN116781977A (zh) 基于网页的视频播放方法、装置、设备、存储介质及产品
CN116962613A (zh) 数据传输方法及装置、计算机设备、存储介质
CN116132721B (zh) 一种基于p2p的弱网环境下车载投屏方法及系统
KR101553929B1 (ko) 미디어 리디렉션을 지원하는 가상 데스크톱 인프라 시스템 및 이를 이용한 미디어 송수신 방법
HK40093135A (zh) 图像处理方法、装置及设备
CN121441912A (zh) 参数调整方法、装置、设备及介质
CN116962764A (zh) 流媒体传输方法、装置、设备和存储介质
TWI488490B (zh) 自動調整無線顯示品質方法及其顯示裝置與通信裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13843430

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013843430

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14419065

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014539629

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE