WO2010092848A1 - 映像品質推定装置および映像品質推定方法 - Google Patents
映像品質推定装置および映像品質推定方法 Download PDFInfo
- Publication number
- WO2010092848A1 WO2010092848A1 PCT/JP2010/050309 JP2010050309W WO2010092848A1 WO 2010092848 A1 WO2010092848 A1 WO 2010092848A1 JP 2010050309 W JP2010050309 W JP 2010050309W WO 2010092848 A1 WO2010092848 A1 WO 2010092848A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video
- packet
- data
- fec
- continuity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0045—Arrangements at the receiver end
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/20—Arrangements for detecting or preventing errors in the information received using signal quality detector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
Definitions
- the present invention relates to a video quality estimation apparatus, a video quality estimation method, and a program for monitoring the quality of video data, and in particular, a video quality estimation apparatus for monitoring the quality of video data distributed in an IPTV service, and The present invention relates to a video quality estimation method.
- Terrestrial analog broadcasting is supposed to stop in 2011 in Japan. For this reason, there is a demand for smooth transition from analog terrestrial broadcasting to digital terrestrial broadcasting by 2011, and to make the coverage of digital terrestrial broadcasting 100% for the terrestrial analog broadcast viewable area.
- IPTV Internet Protocol Television
- NGN Next Generation Network
- the IPTV service is a service form for distributing digital television broadcasting via an IP network.
- the broadcast viewable area is calculated based on the strength of radio waves transmitted from the transmitting station, buildings, topography, and the like. Furthermore, video quality tests were performed at several observation points in the viewable area, and the video quality was monitored by comparing the test results with the theoretical video quality calculation results.
- IPTV service a plurality of providers intervene from when the content is transmitted until it is received by the TV receiver at each home. For this reason, it is necessary to monitor the video quality between the providers.
- FIG. 1 is an explanatory diagram showing monitoring points in the ITU-T recommendation.
- FIG. 1 shows monitoring points PT1 to PT5.
- a communication system for providing an IPTV service includes a content provider 101, a service provider (central headend) 102, and a local content supplement stage (Local content acquisition). ) 103, a service provider (regional headend) 104, a network provider 105, and an end user 106.
- the video data is distributed to the end user 106 through a path consisting of the content provider 101, the service provider 102 and the network provider 105, or a path consisting of the local content supplement stage 103, the service provider 104 and the network provider 105.
- the monitoring point PT1 is provided between the content provider 101 and the service provider 102, or between the local content supplementing stage 103 and the service provider 104.
- the monitoring point PT2 is provided between the service provider 102 and the IP core network 105a in the network provider 105, or between the service provider 104 and the IP core network 105a.
- the monitoring point PT3 is provided between the IP core network 105a and the IP access network 105b in the network provider 105.
- the monitoring point PT4 is provided between the VOD (Video on Demand) server (Edge VOD Server / multicast replication point) 105c on the IP access network 105b and the gateway (Home Gateway) 106a of the end user 106.
- the monitoring point PT5 is provided between the STB (Set-top box) 106b of the end user 106 and the TV 106c of the end user 106.
- FIG. 2 is a block diagram showing the configuration of a video quality monitoring apparatus for realizing this monitoring method.
- the IP packet header analysis unit 11 extracts a packet for monitoring video quality from an IP packet T1 that is transmitted through a network (not shown), and outputs the extracted packet as an IP packet T2. For example, when the IP packet T1 is data that is converted into an IP multicast packet, the IP packet header analysis unit 11 extracts the IP packet T1 having a predetermined multicast address.
- the UDP / RTP packet header analysis unit 12 separates the IP packet T2 into a TS packet T3 and an FEC (Forward Error Correction) packet T4 based on the destination port number of the UDP packet header in the IP packet T2.
- the TS packet T3 is data obtained by converting a plurality of TS packets that are video data into RTP
- the FEC packet T4 is data obtained by converting FEC data for error correction of the video data into RTP packets.
- the FEC packet analysis unit 13 analyzes a TS packet header (TS packet header) that can be error-corrected by the FEC packet T4 among the plurality of TS packets in the TS packet T3, and determines the TS packet header and the FEC packet T4. Output as FEC data T6.
- TS packet header TS packet header
- the FEC buffer 14 rearranges the TS packets in the TS packet T3 in the correct order based on the time information in the RTP packet header of the TS packet T3.
- the FEC buffer 14 delays the TS packet T3 in which the TS packets are rearranged until the timing at which error correction is possible with the FEC data T6, and outputs the delayed TS packet T3 as the TS packet T5.
- the error correction unit 15 performs error correction of the TS packet T5 based on the FEC data T6, and outputs the TS packet T5 subjected to the error correction as a TS packet T7.
- the TS header analysis unit 16 extracts a video packet T8 in which video data is packetized from the TS packet T7.
- the video quality estimation unit 17 estimates the video quality of the video data using the video packet header and the video encoding parameter of the video packet T8, and outputs video quality estimation information T9 indicating the video quality.
- Patent Document 1 As a technique for realizing such a monitoring method, there is a video quality estimation apparatus described in Patent Document 1.
- the above-described monitoring method has a problem that a large-capacity memory is required to delay TS packets.
- An object of the present invention is to provide a video quality estimation apparatus, a video quality estimation method, and a program that solve the above-described problem that a large-capacity memory is required.
- the video quality estimation apparatus includes: an input unit that receives a video packet in which video data is packetized; and a correction packet in which correction data for correcting an error in the video data is packetized; First confirmation means for confirming continuity of video packets received by the input means; second confirmation means for confirming continuity of correction packets accepted by the input means; the first confirmation means and the second confirmation Based on each continuity confirmed by the means, the video data that is included in the missing video packet and cannot be corrected with the correction data is estimated as uncorrectable data, and based on the estimated uncorrectable data Estimating means for estimating the video quality of the video data.
- a video quality estimation method is a video quality estimation method performed by a video quality estimation apparatus, wherein video packets in which video data is packetized and correction data for correcting errors in the video data are packetized.
- the recording medium includes a procedure for receiving, in a computer, a video packet in which video data is packetized and a correction packet in which correction data for correcting an error in the video data is packetized; A procedure for confirming the continuity of the accepted video packet; a procedure for confirming the continuity of the accepted correction packet; and the missing video packet based on each confirmed continuity, A recording medium on which a program for executing a procedure for estimating video data whose error cannot be corrected with correction data as uncorrectable data and estimating the video quality of the video data based on the estimated uncorrectable data.
- FIG. 3 is a block diagram showing the configuration of the video quality estimation apparatus according to the embodiment of the present invention.
- the video quality estimation apparatus estimates the video quality of video data distributed by an IPTV broadcast service using IP multicast.
- video data is compressed and packetized
- IP multicast is a technique for transmitting compression-coded video data in real time using an IP network.
- the video quality estimation device downloads not only the video quality of the video data distributed by the IPTV broadcast service, but also the real-time VoD (Video on Demand) service using IP data cast and the TV service data. It can also be applied to estimation of video quality of video data distributed by download service.
- the real-time VoD Video on Demand
- the video quality estimation apparatus includes an input unit including an IP packet header analysis unit 1 and a UDP / RTP packet header analysis unit 2, an FEC packet analysis unit 3, an error information table generation unit 4, and a TS header analysis.
- An estimation unit including a unit 5, a video information table generation unit 6, and a video quality estimation unit 7.
- the IP packet header analysis unit 1 of the input unit accepts packet data S1 transmitted on a network (not shown) by IP multicast.
- the packet data S1 includes a video packet in which video data is converted into an IP packet and an FEC packet in which FEC data is converted into an RTP packet.
- the FEC data is correction data for correcting an error in the video data.
- the FEC packet is an example of a correction packet. Further, FEC packets are periodically inserted between video packets.
- the video data is compressed and encoded in the MPEG2-TS format.
- the video data includes a video stream indicating an image and information other than the video stream such as an audio stream indicating sound.
- Video data is packetized into PES (Packetized Elementary Stream) packets for each picture (frame).
- PES Packetized Elementary Stream
- Each PES packet is divided into a plurality of TS packets.
- One or a plurality of TS packets are stored in one RTP packet (UDP / RTP packet). Further, the RTP packet is converted into an IP packet to form a video packet.
- FIG. 4 is an explanatory diagram showing a configuration example of a video packet.
- each TS packet included in the video packet includes a TS header and a data area (date_byte) having a payload.
- the TS header includes a synchronization byte (sync_byte), a transport error flag (transport_error_indicator), a PES packet head flag (payload_unit_start_indicator), a priority flag (transport_priority), a PID (rita Identifier), a scramble flag (transport_scrambling_control), , An adaptation field control flag (adaptation_field_control) and a continuity counter value (continuity_counter).
- sync_byte synchronization byte
- transport error flag transport_error_indicator
- PES packet head flag payload_unit_start_indicator
- priority flag transport_priority
- PID occidental Identifier
- scramble flag transport_scrambling_control
- continuity counter value continuity_counter
- the synchronization byte indicates the beginning of the TS packet.
- the transport error flag indicates whether there is an error in the TS packet.
- the PES packet head flag indicates whether or not the payload included in the data area starts from the head of the PES packet. More specifically, when the PES packet head flag is “1”, it indicates that the payload starts from the head of the PES packet, and when it is “0”, the payload does not start from the head of the PES packet. It shows that.
- the priority flag indicates whether the TS packet is important. More specifically, when the priority flag is “1”, it indicates that the TS packet is important. When the priority flag is “0”, it indicates that the TS packet is not important.
- the scramble flag indicates whether the TS packet is scrambled (encrypted).
- the adaptation field control flag indicates whether or not a variable length adaptation field exists in the TS packet. More specifically, when the adaptation field control flag is “1”, it indicates that the adaptation field exists, and when it is “0”, it indicates that the adaptation field does not exist.
- the adaptation field includes an elementary stream priority flag indicating whether or not an elementary stream that is an encoded image or sound is important.
- the elementary stream priority flag is “1”, it indicates that the elementary stream is important.
- the elementary stream priority flag is “0”, it indicates that the elementary stream is not important.
- the continuity counter value indicates the order of TS packets.
- time stamp information may be added to the TS packet.
- TTS Timestamped TS time stamp information
- the RTP packet includes a UDP header, an RTP header, and a plurality of TS packets.
- the video packet is an IP packet and includes an IP header and an RTP packet.
- the FEC packet includes an RTP header, an FEC header, and an FEC payload.
- the FEC payload includes FEC data.
- the FEC header includes the RTP sequence number (SN base) at the beginning of the RTP packet that is subject to error correction by the FEC packet having the FEC header, and the length of the RTP packet that is subject to error correction by the FEC packet. A certain length (length recovery) is included.
- this leading RTP sequence number is referred to as a leading RTP sequence number.
- the IP packet header analysis unit 1 extracts, as packet data S2, a packet for estimating video quality and an FEC packet for correcting an error in the packet from the packet data S1.
- the UDP / RTP packet header analysis unit 2 separates the packet data S2 extracted by the IP packet header analysis unit 1 into video packets and FEC packets.
- the UDP / RTP packet header analysis unit 2 generates an RTP packet in the video packet as an RTP packet S3, and generates an FEC packet as an FEC packet S4.
- the FEC packet analysis unit 3 is an example of a first confirmation unit.
- the FEC packet analysis unit 3 confirms the continuity of the FEC packet S4 generated by the UDP / RTP packet header analysis unit 2, and generates FEC continuity information indicating the continuity.
- FEC continuity information FEC presence / absence information indicating whether or not an FEC packet exists is associated with an RTP sequence number. Note that the FEC presence / absence information indicates that there is an FEC packet when it is “present”, and indicates that there is no FEC packet when it is “not present”.
- the FEC packet analysis unit 3 generates FEC packet information S5 having FEC continuity information. At this time, when the FEC presence / absence information is “present”, there is an FEC packet S4 having an RTP sequence number corresponding to the FEC presence / absence information, so the FEC packet analysis unit 3 uses the FEC header of the FEC packet S4 as the FEC packet information. Add to S5.
- the error information table generation unit 4 is an example of a second confirmation unit.
- the error information table generation unit 4 confirms the continuity of the RTP packet S3 and generates an error information table S6 indicating the continuity.
- RTP presence / absence information indicating whether or not the RTP packet S3 exists is stored for each RTP sequence number.
- the RTP presence / absence information indicates that there is an RTP packet when “present”, and indicates that there is no RTP packet when “not present”.
- FIG. 6 is an explanatory diagram showing an example of the error information table.
- the information length D is 5 and the code length L is 20.
- the RTP sequence number in the error information table may be 200 or more.
- the error information table 20 includes an RTP sequence number 21 and presence / absence 22 of an RTP packet.
- the presence / absence 22 of the RTP packet is RTP presence / absence information, and indicates whether or not there is an RTP packet having the RTP sequence number 21.
- the estimation unit including the TS header analysis unit 5, the video information table generation unit 6, and the video quality estimation unit 7 includes the FEC packet information S5 generated by the FEC packet analysis unit 3 and the error information generated by the error information table generation unit 4. Based on the table S6, uncorrectable data included in a video packet that is lost due to packet loss or the like is estimated.
- the estimation unit estimates the video quality of the video data based on the uncorrectable data.
- the uncorrectable data is video data whose error cannot be corrected with the FEC data.
- the TS header analysis unit 5, the video information table generation unit 6, and the video quality estimation unit 7 perform the following processing.
- the TS header analysis unit 5 analyzes the TS header of the RTP packet S3 generated by the UDP / RTP packet header analysis unit 2, detects each picture code amount and importance included in the RTP packet S3, and displays the detection result. It is generated as TS header information S7.
- the video information table generation unit 6 estimates an uncorrectable packet in which an error cannot be corrected by the FEC packet among the missing video packets.
- the video information table generating unit 6 estimates the code amount and the picture type of each picture included in the video packet not missing based on the TS header information S7.
- the video information table generation unit 6 estimates the picture type and number of uncorrectable data included in the uncorrectable packet based on the estimated code amount and picture type of the picture, and generates the estimation result as the video information table S8. To do.
- the video quality estimation unit 7 estimates the video quality of the video data based on the video information table S8 generated by the video information table generation unit 6, and outputs the estimation result as the video quality S9.
- FIG. 7 is a flowchart for explaining the operation of the video quality estimation apparatus.
- the IP packet header analysis unit 1 executes step S101.
- step S101 the IP packet header analysis unit 1 extracts, as packet data S2, data for estimating video quality from the packet data S1 based on at least one of the IP header and the UDP header of the packet data S1.
- the IP packet header analysis unit 1 holds a multicast address of IPTV service data for estimating video quality, and if the held multicast address is the same as the multicast address in the IP header, the IPTV service data Data is extracted as packet data S2.
- the IP packet header analysis unit 1 inputs the packet data S2 to the UDP / RTP packet header analysis unit 2.
- the UDP / RTP packet header analysis unit 2 separates the packet data S2 into video packets and FEC packets.
- the UDP / RTP packet header analysis unit 2 first checks the port numbers (source port number and destination port number) included in the UDP header. Then, if the confirmed port number is a value for transmitting video data, the UDP / RTP packet header analysis unit 2 sets the packet data S2 as a video packet, and the confirmed port number is a value for transmitting FEC data.
- the packet data S2 is an FEC packet.
- the UDP / RTP packet header analysis unit 2 inputs the RTP packet in the video packet to the error information table generation unit 4 and the TS header analysis unit 5 as the RTP packet S3. Further, the UDP / RTP packet header analysis unit 2 inputs the FEC packet to the FEC packet analysis unit 3 as the FEC packet S4.
- the FEC packet analysis unit 3 executes step S102A.
- the error information table generation unit 4 executes Step S102B.
- the TS header analysis unit 5 executes Step S105.
- step S102A the FEC packet analysis unit 3 confirms the continuity of the FEC packet S4, and generates FEC continuity information indicating the continuity.
- the RTP sequence number is an unsigned 16-bit integer, and is data that is incremented by 1 each time a packet in the same service is transmitted. Therefore, if the RTP sequence number is continuous, the FEC packet S4 is continuous. If the RTP sequence number is discontinuous, the FEC packet S4 is discontinuous. Therefore, the FEC packet analysis unit 3 can confirm the continuity of the RTP sequence number as the continuity of the FEC packet S4.
- the FEC packet analysis unit 3 and the current RTP sequence number in the FEC packet S4 and the previous RTP sequence in the previous FEC packet S4 are input. Calculate the difference from the number.
- the FEC packet analysis unit 3 determines that the FEC packet S4 is continuous, and associates the FEC presence / absence information indicating “present” with the current RTP sequence number, and the FEC continuity information. Is generated.
- the FEC packet analysis unit 3 determines that the FEC packet S4 is not continuous, and determines the number of missing FEC packets S4 according to the difference.
- the difference is “n”
- the number of missing FEC packets S4 is “n ⁇ 1”.
- the FEC packet analysis unit 3 obtains a missing RTP sequence number in the missing FEC packet S4 based on the number of missing FEC packets S4 and the previous RTP sequence number.
- the FEC packet analysis unit 3 associates the obtained missing RTP sequence number with the FEC presence / absence information indicating “none”, and generates the FEC continuity information of the number of the missing FEC packets S4. Further, FEC continuity information is generated by associating the FEC presence / absence information indicating “present” with the current RTP sequence number.
- the FEC packet analysis unit 3 may determine the number of missing FEC packets based on the time stamp information.
- the FEC packet analysis unit 3 and the time indicated by the time stamp information in the FEC packet S4 and the previous FEC packet S4 in the FEC packet S4 are input.
- a difference value ⁇ from the time indicated by the time stamp information is obtained.
- the FEC packet analysis unit 3 calculates a cumulative average ⁇ M of the difference values. Then, the FEC packet analysis unit 3 determines whether or not the difference value ⁇ is equal to or greater than a predetermined number times the cumulative average ⁇ M.
- the FEC packet analysis unit 3 determines that no burst error has occurred, and confirms continuity using the RTP sequence number.
- the FEC packet analysis unit 3 determines that a burst error has occurred and determines the number of missing FEC packets S4 according to the difference value ⁇ . .
- the predetermined number is, for example, 65536 that the RTP sequence number makes a round.
- the predetermined number is not limited to this value, and may be a value (for example, 8000) that can be determined that a packet loss has occurred.
- the FEC packet analysis unit 3 When generating the FEC continuity information, the FEC packet analysis unit 3 generates FEC packet information S5 having the FEC continuity information. The FEC packet analysis unit 3 inputs the FEC packet information S5 to the video information table generation unit 6. When the FEC packet information S5 is input, the video information table generation unit 6 executes Step S103.
- step S103 when the FEC header is included in the FEC packet information S5, the video information table generation unit 6 extracts the head RTP sequence number from the FEC header. Thereafter, the video information table generating unit 6 executes Step S109.
- step S102B the error information table generation unit 4 confirms the continuity of the RTP packet S3.
- the method for confirming the continuity of the RTP packet S3 is the same as the method in which the FEC packet analysis unit 3 confirms the continuity of the FEC packet S4, and thus detailed description thereof is omitted.
- the error information table generating unit 4 executes Step S104.
- step S104 the error information table generation unit 4 generates an error information table S6 indicating the continuity, and inputs the generated error information table S6 to the video information table generation unit 6. Thereafter, the video information table generating unit 6 executes Step S109.
- step S105 the TS header analysis unit 5 confirms the continuity of the TTS timestamp information included in the RTP packet S3.
- TTS time stamp information is 4-byte time information using a video reference clock (90 kHz).
- TS packets are transmitted at a constant rate. Therefore, if there is no packet loss in a TS packet, the TTS time stamp information in one TS packet and the TTS time in the next TS packet are transmitted.
- the difference time ⁇ TTS which is the difference from the stamp information, is constant.
- the TS header analysis unit 5 obtains a difference value between the TTS time stamp information in the TS packet and the TTS time stamp information in the previous TS packet, and the difference value is a constant value. It is determined whether or not it is deviated from.
- the TS header analysis unit 5 determines that the TS packet is discontinuous when the difference value is deviated from the constant value, and determines that the TS packet is continuous when the difference value is not deviated from the constant value. To do. Also, the TS header analysis unit 5 estimates the number of missing TS packets from the difference between the difference value and the constant value.
- Step S106 When the TS header analysis unit 5 confirms the continuity of the TTS time stamp information, the TS header analysis unit 5 executes Step S106.
- step S106 the TS header analysis unit 5 checks whether or not a video packet that is a TS packet including a video stream exists in the RTP packet S3.
- the TS header analysis unit 5 extracts the video packet from the RTP packet S3. If there are a plurality of TS packets in the RTP packet S3, the TS header analysis unit 5 separates the video packets into TS packets.
- the TS header analysis unit 5 executes Step S107 after completing Step S106.
- step S107 the TS header analysis unit 5 confirms the continuity of the video packets.
- the method for confirming the continuity of the video packet is the same as the method for confirming the continuity of the FEC packet S4 by the FEC packet analysis unit 3, and therefore detailed description thereof is omitted.
- the continuity of the continuity counter value included in the TS header in the video packet is confirmed as the continuity of the video packet instead of the RTP sequence number.
- the number of missing video packets is obtained using the continuity of TTS time stamp information.
- Step S108 When the TS header analyzing unit 5 confirms the continuity of the video packets, the TS header analyzing unit 5 executes Step S108.
- step S108 the TS header analysis unit 5 identifies a video packet having the picture for each picture.
- the TS header analysis unit 5 checks the PES packet head flag included in the TS header in each video packet, and from the video packet having the PES packet head flag “1”, the next PES packet head flag is The video packet preceding the video packet “1” is identified as a video packet having the same picture.
- the TS header analysis unit 5 When the TS header analysis unit 5 identifies a video packet having a picture, the TS header analysis unit 5 obtains the importance of the picture.
- the TS header analysis unit 5 extracts a priority flag and an adaptation field control flag from each TS header of a video packet having the picture.
- the TS header analysis unit 5 extracts a PCR (program clock reference) and an elementary stream priority flag from the adaptation field included in the data area in the video packet. Note that the clock information of the video data is inserted into the PCR, but since it is not directly related to the present invention, it will be omitted in the following description.
- the TS header analysis unit 5 determines that the picture is important. On the other hand, if there is no flag indicating “1” among the extracted priority flag and elementary stream priority flag, the TS header analysis unit 5 determines that the picture is not important.
- the TS header analysis unit 5 obtains the code amount of the video packet having the picture as the code amount of the picture.
- the TS header analysis unit 5 associates the code amount and importance of a picture, and video continuity information indicating whether or not the video packet having the picture is continuous with the video frame number in the video packet having the picture.
- the attached picture information is generated for each picture.
- the video frame number indicates the display order of pictures.
- the TS header analysis unit 5 generates TS header information S7 by associating the picture information with the RTP sequence number included in the RTP packet S3.
- the TS header analysis unit 5 inputs TS header information to the video information table generation unit 6.
- the video information table generating unit 6 executes Step S109.
- step S109 the video information table generating unit 6 corrects the error information table based on the top sequence number extracted in step S103 and the TS header information S7.
- the video information table generation unit 6 associates FEC presence / absence information indicating “present” with the same RTP sequence number as the head RTP sequence number in the error information table S6, and the head RTP sequence number.
- the FTP presence / absence information indicating “None” is associated with the RTP sequence number different from the above.
- the video information table generation unit 6 adds, to each RTP sequence number in the error information table S6, picture presence / absence information and video included in the picture information associated with the RTP sequence number in the TS header information S7. Give continuity information and picture importance.
- FIG. 8 is an explanatory diagram showing an example of the corrected error information table S6.
- the error information table 20 includes an RTP sequence number 21, an RTP packet presence / absence 22, an FEC packet presence / absence 23, a video packet presence / absence 24, a video packet continuity 25, and the importance of the video packet. 26.
- the presence / absence 23 of the FEC packet is FEC packet information, and indicates whether or not there is an FEC packet having the RTP sequence number 21 as the head RTP sequence number.
- the presence / absence 24 of the video packet is video presence / absence information, and indicates whether or not a video packet exists in the RTP packet having the RTP sequence number 21.
- the video packet continuity 25 is video continuity information and indicates whether or not the video packet in the RTP packet having the RTP sequence number 21 is continuous. When the video packet continuity 25 is “present”, the video packet is continuous. When the video packet continuity 25 is “not present”, the video packet is not continuous.
- the importance 26 of the video packet indicates whether or not the video packet in the RTP packet having the RTP sequence number 21 is important.
- the importance 26 of the video packet indicates that the video packet is important if it is “present”, and indicates that the video packet is not important if it is “none”.
- the video information table generation unit 6 Based on the error information table S6 in which the FEC presence / absence information is associated and the FEC packet information S5, the video information table generation unit 6 converts the RTP packet of the RTP sequence number into FEC data for each RTP sequence number. It is determined whether it is a correctable packet that can be error-corrected or an uncorrectable packet that cannot be corrected by FEC data.
- the video information table generation unit 6 has the RTP sequence number associated with the FEC presence / absence information indicating “present” in the error information table S6 and the RTP sequence number as the first RTP sequence number. Based on the effective length in the FEC header included in the FEC packet information S5, for each FEC packet, the RTP sequence number of the RTP packet to be subjected to error correction by the FEC packet is specified.
- the video information table generation unit 6 determines, for each FEC packet, whether or not FEC presence / absence information indicating “present” is associated with any of the specified RTP sequence numbers.
- the video information table generation unit 6 When the FEC presence / absence information indicating “present” is associated, the video information table generation unit 6 includes the RTP presence / absence information indicating “none” in the RTP presence / absence information associated with the identified RTP sequence number. If there are two or more, the RTP packet of that RTP sequence number is determined as an uncorrectable packet. On the other hand, if the RTP presence / absence information indicating “none” is 1 or less in the RTP presence / absence information, the video information table generation unit 6 determines that the RTP packet of the RTP sequence number is a correctable packet.
- the video information table generation unit 6 includes the RTP indicating “none” in the RTP presence / absence information associated with the identified RTP sequence number. If the presence / absence information is 1 or more, the RTP packet of the RTP sequence number is determined as an uncorrectable packet. On the other hand, if the RTP presence / absence information indicating “none” is 0 in the RTP presence / absence information, the video information table generation unit 6 determines that the RTP packet of the RTP sequence number is a correctable packet.
- the video information table generating unit 6 determines whether the RTP packet is a correctable packet or an uncorrectable packet, the video information table generating unit 6 associates the determination result with the RTP sequence number of the RTP packet in the error information table S6.
- the video information table generating unit 6 executes Step 110 after completing Step S109.
- step S110 the video information table generation unit 6 generates a video information table S8 based on the error information table S6 and the TS header information S7.
- the video information table S8 for each video frame number specifying a picture, packet loss presence / absence information indicating whether or not a video packet having the picture is missing, and whether or not the video packet can be error-corrected are indicated.
- the recovery information is associated with the picture type of the picture, the code amount of the picture, and the average code amount that is an average value of the code amount.
- the video information table generating unit 6 confirms the RTP sequence number associated with the RTP presence / absence information indicating “present” in the error information table S6.
- the video information table generation unit 6 acquires the picture information corresponding to the confirmed RTP sequence number from the TS header information S7.
- the video information table generation unit 6 uses the video presence / absence information associated with the video frame number as packet loss presence / absence information corresponding to the video frame number. Generate.
- the video information table generation unit 6 calculates, for each video frame number, an average value of code amounts corresponding to a plurality of video frame numbers (30 or more video frame numbers) before the video frame number. Is generated as an average code amount corresponding to.
- the video information table generation unit 6 confirms the importance of the picture associated with the video frame number, and indicates that the importance is important.
- the corresponding picture type is determined as an I picture.
- the video information table generation unit 6 subtracts the code amount corresponding to the video frame number from the average code amount corresponding to the video frame number to obtain the code amount transition.
- the video information table generating unit 6 performs pattern matching between the obtained code amount transition and the code amount transition corresponding to the picture type stored in advance, thereby supporting the video frame number other than the I picture. Estimate the picture type. Note that a method for estimating the picture type from the transition of the code amount is known, and is described, for example, in Non-Patent Document 1 (Science Technical Report CQ2007-74).
- the video information table generation unit 6 uses the determination result of whether the RTP packet is a correctable packet or an uncorrectable packet corresponding to the confirmed RTP sequence number as recovery information corresponding to each of the acquired video frame numbers. Generate.
- the video information table S8 related to the RTP packet that is not lost is generated.
- the video information table S8 related to the missing RTP packet is generated from the video information table S8 related to the RTP packet not missing.
- the video information table generating unit 6 confirms the RTP sequence number associated with the RTP presence / absence information indicating “none” in the error information table S6.
- the video information table generation unit 6 obtains the number of RTP sequence numbers as the number of missing RTP packets. In addition, the video information table generation unit 6 determines the number of missing RTP packets and the transition of the code amount corresponding to the RTP sequence number before the RTP sequence number associated with the RTP presence / absence information indicating “none”. To estimate the number of missing pictures.
- the video information table generation unit 6 is missing based on the code amount transition and the picture type transition corresponding to the RTP sequence number preceding the RTP sequence number associated with the RTP presence / absence information indicating “none”. Estimate the picture type of the picture.
- the video information table generating unit 6 determines that “no” is based on the code amount transition and the picture type corresponding to the RTP sequence number preceding the RTP sequence number associated with the RTP presence / absence information indicating “none”. Recovery information corresponding to each of the video frame numbers corresponding to the RTP sequence numbers associated with the RTP presence / absence information indicating the
- FIG. 9 is an explanatory diagram showing an example of the video information table S8.
- the video information table 30 includes a video frame number 31, a video packet loss presence 32, a FEC packet recovery presence 33, a picture type 34, a video data code amount 35, and a video data average code amount 36. Including.
- Video packet loss presence / absence 32 is packet loss presence / absence information, and indicates whether or not a video packet having a picture of video frame number 31 is missing.
- the presence / absence 33 of FEC packet recovery is recovery information and indicates whether or not the video packet having the picture of the video frame number 31 can be error-corrected.
- the picture type 34 is the picture type of the picture with the video frame number 31, and indicates any of an I picture, a B picture, and a P picture.
- the video data code amount 35 is the code amount of the picture of the video frame number 31, and the video data average code amount 36 is the average value of the video data code amount 35.
- the video information table generation unit 6 inputs the generated video information table S8 to the video quality estimation unit 7.
- the video quality estimation unit 7 executes step S111.
- step S111 the video quality estimation unit 7 identifies a video frame number in the video information table S8 where the RTP presence / absence information indicates “none” and the FEC presence / absence information indicates “none”.
- the picture corresponding to the specified video frame number becomes an uncorrectable picture that cannot be corrected with FEC data and is included in the missing RTP packet.
- the video quality estimation unit 7 obtains the number of the specified video frames as the number of uncorrectable pictures, and obtains the picture type corresponding to each identified video frame as the picture type of the uncorrectable pictures.
- the uncorrectable picture is an I picture
- the video stream cannot be restored to normal data until the next I picture appears, and this greatly affects the degradation of video quality.
- the uncorrectable picture is a B picture or a P picture
- the video stream is a quality deterioration in the frame and does not significantly affect the deterioration of the video quality.
- the video quality estimation unit 7 sets the video quality S9 to the lowest level when the error-uncorrectable picture is an I picture, and sets the video quality S9 to a medium level better than the lowest level when the error-correctable picture is a P picture. If the error uncorrectable picture is a B picture, the video quality S9 is set to a high level better than the medium level, and if there is no error correctable picture, the video quality S9 is set to the highest level better than the high level.
- the video quality estimation unit 7 weights the video quality according to the picture type of each error-correctable picture, and the sum of the weighted video quality is set as the video quality S9. It may be generated.
- the video quality estimation method by the video quality estimation unit 7 may be the method used in Patent Document 1 or Non-Patent Document 1, for example.
- the FEC packet analysis unit 3 confirms the continuity of the FEC packet.
- the error information table generation unit 4 confirms the continuity of video packets.
- the estimation unit is included in the missing video packet based on their continuity. Video data whose error cannot be corrected with FEC data is estimated as uncorrectable data. The estimation unit estimates the video quality of the video data based on the uncorrectable data.
- uncorrectable data is estimated based on the continuity of the FEC packet and the continuity of the video packet. Further, the video quality of the video data is estimated based on the uncorrectable data.
- the estimation unit analyzes the TS header of the video packet, estimates the picture type of the uncorrectable data, and estimates the video quality based on the estimated picture type.
- the time until error correction becomes possible differs depending on the picture type of the picture, so that the video quality changes depending on the picture type that cannot be error corrected. Therefore, in this embodiment, since the video quality is estimated based on the picture type, it is possible to accurately estimate the video quality.
- the estimation unit analyzes the TS header of the video packet to obtain the code amount of the video data included in the video packet, and estimates the picture type of the uncorrectable picture based on the code amount. .
- the picture type can be estimated according to the code amount of the picture. For this reason, it is possible to accurately estimate the picture type.
- the function of the video quality estimation apparatus described above is executed by recording a program for realizing the function on a computer-readable recording medium and causing the computer to read the program recorded on the recording medium. May be realized.
- a computer-readable recording medium that records a program for realizing the function of the video quality estimation apparatus is also an embodiment of the present invention.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
大容量のメモリが必要となるという問題を解決する映像品質推定装置を提供する。 FECパケット解析部3は、FECパケットの連続性を確認する。エラー情報テーブル生成部4は、映像パケットの連続性を確認する。推定部は、それらの連続性に基づいて、欠落した映像パケットに含まれる。FECデータでエラーが訂正できない映像データを訂正不可データとして推定する。推定部は、その訂正不可データに基づいて、映像データの映像品質を推定する。
Description
本発明は、映像データの品質を監視するための映像品質推定装置、映像品質推定方法およびプログラムに関し、特には、IPTVサービスにて配信される映像データの品質を監視するための映像品質推定装置および映像品質推定方法に関する。
地上アナログ放送は、日本では2011年に停波することになっている。このため、2011年までに、地上アナログ放送を円滑に地上デジタル放送に移行させるとともに、地上アナログ放送の視聴可能エリアに対する地上デジタル放送のカバー率を100%にすることが要望されている。このような要望を満たす手段として、IP網としてNGN(Next Generation Network)網を利用したIPTV(Internet Protocol Television)サービス(地デジIP再送信サービス)が提案されている。なお、IPTVサービスは、IP網を介してデジタルテレビ放送を配信するサービス形態である。
一般的なネットワークは、QoS(Quality of Service:サービス品質)が保証されないベストエフォート型であるため、映像配信サービスにおいて、映像視聴者に配信される映像データの品質を保証できるとは限らなかった。NGN網が利用されると、QoSが保証されるので、電波を利用した放送TVサービスと同等の映像品質を保証することが可能となる。
また、電波を利用した放送TVサービスでは、送信所から送出される電波の強度、建物および地形などに基づいて、放送の視聴可能エリアが計算される。さらに、その視聴可能エリア内の幾つかの観測地点で映像品質の試験が行われ、その試験結果と理論上の映像品質の計算結果とが比較されることによって、映像品質が監視されていた。
一方、IPTVサービスでは、コンテンツが送信されてから各家庭のTV受像機に受信されるまでに複数のプロバイダが介在する。このため、それぞれのプロバイダ間で映像品質を監視する必要がある。
例えば、ITU-T勧告では、映像品質を監視する監視ポイントを5箇所に設けることが定められている。図1は、ITU-T勧告における監視ポイントを示した説明図である。図1には、監視ポイントPT1~PT5が示されている。
図1で示されたように、IPTVサービスを提供するための通信システムは、コンテンツプロバイダ(Content Provider)101と、サービスプロバイダ(Service Provider(central headend))102と、ローカルコンテンツ補足段階(Local content acquisition)103と、サービスプロバイダ(Service Provider(regional headend))104と、ネットワークプロバイダ(Network Provider)105と、エンドユーザ(End User)106と、を有する。
映像データは、コンテンツプロバイダ101、サービスプロバイダ102およびネットワークプロバイダ105からなる経路、または、ローカルコンテンツ補足段階103、サービスプロバイダ104およびネットワークプロバイダ105からなる経路を通過してエンドユーザ106まで配信される。
監視ポイントPT1は、コンテンツプロバイダ101とサービスプロバイダ102との間、または、ローカルコンテンツ補足段階103とサービスプロバイダ104との間に設けられる。監視ポイントPT2は、サービスプロバイダ102とネットワークプロバイダ105内のIPコアネットワーク(IP Core Network)105aとの間、または、サービスプロバイダ104とIPコアネットワーク105aとの間に設けられる。
監視ポイントPT3は、IPコアネットワーク105aとネットワークプロバイダ105内のIPアクセスネットワーク(IP Access Network)105bとの間に設けられる。監視ポイントPT4は、IPアクセスネットワーク105b上のVOD(Video on Demand)サーバ(Edge VOD Server/multicast replication point)105cと、エンドユーザ(End User)106のゲートウェイ(Home Gateway)106aとの間に設けられる。監視ポイントPT5は、エンドユーザ106のSTB(Set-top box:セットトップボックス)106bとエンドユーザ106のTV106cと間に設けられる。
以下、監視ポイントPT3およびPT4で行われる映像品質の監視方法について説明する。図2は、この監視方法を実現するための映像品質監視装置の構成を示したブロック図である。
IPパケットヘッダ解析部11は、ネットワーク(不図示)を伝送しているIPパケットT1から、映像品質を監視するパケットを抽出し、その抽出したパケットをIPパケットT2として出力する。例えば、IPパケットT1が、IPマルチキャストパケット化されたデータの場合、IPパケットヘッダ解析部11は、所定のマルチキャストアドレスを有するIPパケットT1を抽出する。
UDP/RTPパケットヘッダ解析部12は、IPパケットT2内のUDPパケットヘッダの宛先ポート番号に基づいて、IPパケットT2をTSパケットT3とFEC(Forward Error Correction)パケットT4とに分離する。TSパケットT3は、映像データである複数のTSパケットがRTP化されたデータであり、FECパケットT4は、その映像データのエラー訂正を行うためのFECデータがRTPパケット化されたデータである。
FECパケット解析部13は、TSパケットT3内の複数のTSパケットのうち、FECパケットT4でエラー訂正が可能なTSパケットのヘッダ(TSパケットヘッダ)を解析し、そのTSパケットヘッダおよびFECパケットT4をFECデータT6として出力する。
FECバッファ14は、TSパケットT3内の各TSパケットを、TSパケットT3のRTPパケットヘッダ内の時間情報に基づいて正しい順序に並び替える。FECバッファ14は、そのTSパケットを並び替えたTSパケットT3を、FECデータT6でエラー訂正が可能になるタイミングまで遅延させ、その遅延させたTSパケットT3をTSパケットT5として出力する。
エラー訂正部15は、FECデータT6に基づいて、TSパケットT5のエラー訂正を行い、そのエラー訂正を行ったTSパケットT5をTSパケットT7として出力する。
TSヘッダ解析部16は、TSパケットT7から、映像データがパケット化されている映像パケットT8を抽出する。
映像品質推定部17は、映像パケットT8の映像パケットヘッダおよび映像符号化パラメータを利用して、映像データの映像品質を推定し、その映像品質を示す映像品質推定情報T9を出力する。
このような監視方法を実現するため技術には、特許文献1に記載の映像品質推定装置がある。
上述の監視方法では、映像データのエラー訂正を行うため、TSパケットを、FECデータでエラー訂正が可能になるタイミングまで遅延させる必要があった。また、TSパケットは映像データを有するため、データ量が大きい。
したがって、上述の監視方法では、TSパケットを遅延させるために、大容量のメモリが必要になるという問題があった。
本発明の目的は、上記の課題である、大容量のメモリが必要となるという問題を解決する映像品質推定装置、映像品質推定方法およびプログラムを提供することである。
本発明による映像品質推定装置は、映像データがパケット化された映像パケットと、前記映像データのエラーを訂正するための訂正用データがパケット化された訂正用パケットと、を受け付ける入力手段と、前記入力手段が受け付けた映像パケットの連続性を確認する第一確認手段と、前記入力手段が受け付けた訂正用パケットの連続性を確認する第二確認手段と、前記第一確認手段および前記第二確認手段にて確認された各連続性に基づいて、欠落した映像パケットに含まれる、前記訂正用データでエラーが訂正できない映像データを、訂正不可データとして推定し、該推定した訂正不可データに基づいて前記映像データの映像品質を推定する推定手段と、を含む。
本発明による映像品質推定方法は、映像品質推定装置による映像品質推定方法であって、映像データがパケット化された映像パケットと、前記映像データのエラーを訂正するための訂正用データがパケット化された訂正用パケットと、を受け付ける入力ステップと、前記受け付けられた映像パケットの連続性を確認する第一確認ステップと、前記受け付けられた訂正用パケットの連続性を確認する第二確認ステップと、前記確認された各連続性に基づいて、欠落した映像パケットに含まれる、前記訂正用データでエラーが訂正できない映像データを、訂正不可データとして推定し、該推定した訂正不可データに基づいて前記映像データの映像品質を推定する推定ステップと、を含む。
本発明による記録媒体は、コンピュータに、映像データがパケット化された映像パケットと、前記映像データのエラーを訂正するための訂正用データがパケット化された訂正用パケットと、を受け付ける手順と、前記受け付けられた映像パケットの連続性を確認する手順と、前記受け付けられた訂正用パケットの連続性を確認する手順と、前記確認された各連続性に基づいて、欠落した映像パケットに含まれる、前記訂正用データでエラーが訂正できない映像データを、訂正不可データとして推定し、該推定した訂正不可データに基づいて前記映像データの映像品質を推定する手順と、を実行させるプログラムを記録した記録媒体。
本発明によれば、大容量のメモリを用いなくてもよくなる。
以下、本発明の実施形態について図面を参照して説明する。
図3は、本発明の実施形態の映像品質推定装置の構成を示したブロック図である。
なお、映像品質推定装置は、IPマルチキャストを利用するIPTV放送サービスにて配信される映像データの映像品質を推定するものとする。ここで、映像データは、圧縮符号化およびパケット化されており、IPマルチキャストは、IPネットワークを用いて、圧縮符号化された映像データをリアルタイムで伝送させる技術である。
また、映像品質推定装置は、IPTV放送サービスにて配信される映像データの映像品質だけでなく、IPデータキャストを利用するリアルタイムVoD(Video on Demand)サービスや、TVサービスデータをダウンロードさせてから視聴させるダウンロードサービスにて配信される映像データの映像品質の推定などにも適用できる。
図3において、映像品質推定装置は、IPパケットヘッダ解析部1とUDP/RTPパケットヘッダ解析部2とを含む入力部と、FECパケット解析部3と、エラー情報テーブル生成部4と、TSヘッダ解析部5と映像情報テーブル生成部6と映像品質推定部7とを含む推定部と、を有する。
入力部のIPパケットヘッダ解析部1は、ネットワーク(図示せず)上をIPマルチキャストで伝送されているパケットデータS1を受け付ける。
パケットデータS1には、映像データがIPパケット化された映像パケットと、FECデータがRTPパケット化されたFECパケットと、がある。なお、FECデータは、映像データのエラーを訂正するための訂正用データである。また、FECパケットは、訂正用パケットの一例である。さらに、FECパケットは、周期的に映像パケット間に挿入される。
本実施形態では、映像データは、MPEG2-TS形式に圧縮符号化されているものとする。この場合、映像データは、画像を示すビデオストリームと、音声を示すオーディオストリームなどのビデオストリーム以外の情報とを有する。
映像データは、ピクチャ(フレーム)ごとに、PES(Packetized Elementary Stream)パケットにパケット化される。各PESパケットは、複数のTSパケットに分割される。また、一つまたは複数のTSパケットが一つのRTPパケット(UDP/RTPパケット)に格納される。さらに、そのRTPパケットがIPパケット化されて、映像パケットが構成される。
図4は、映像パケットの構成例を示した説明図である。
図4で示されたように、映像パケットに含まれる各TSパケットは、TSヘッダと、ペイロードを有するデータ領域(date_byte)を含む。
TSヘッダは、同期バイト(sync_byte)と、トランスポートエラーフラグ(transport_error_indicator)と、PESパケット先頭フラグ(payload_unit_start_indicator)と、優先度フラグ(transport_priority)と、PID(Paket Identifier)と、スクランブルフラグ(transport_scrambling_control)と、アダプテーションフィールドコントロールフラグ(adaptation_field_control)と、連続性カウンタ値(continuity_counter)とを含む。
同期バイトは、TSパケットの先頭を示す。トランスポートエラーフラグは、TSパケットにエラーがあるか否かを示す。
PESパケット先頭フラグは、データ領域に含まれるペイロードが、PESパケットの先頭から開始されているか否かを示す。より具体的には、PESパケット先頭フラグは、「1」の場合、ペイロードがPESパケットの先頭から開始されていることを示し、「0」の場合、ペイロードがPESパケットの先頭から開始されていないことを示す。
優先度フラグは、TSパケットが重要か否かを示す。より具体的には、優先度フラグは、「1」の場合、TSパケットが重要であることを示し、「0」の場合、TSパケットが重要でないことを示す。
PIDは、TSパケットの種別を示す。スクランブルフラグは、TSパケットがスクランブル(暗号化)されているか否かを示す。
アダプテーションフィールドコントロールフラグは、TSパケットに可変長のアダプテーションフィールドが存在するか否かを示す。より具体的には、アダプテーションフィールドコントロールフラグは、「1」の場合、アダプテーションフィールドが存在することを示し、「0」の場合、アダプテーションフィールドが存在しないことを示す。
また、アダプテーションフィールドには、符号化された画像または音声であるエレメンタリストリームが重要か否かを示すエレメンタリストリームプライオリティフラグが含まれている。エレメンタリストリームプライオリティフラグは、「1」の場合、エレメンタリストリームが重要であることを示し、「0」の場合、エレメンタリストリームが重要でないことを示す。
連続性カウンタ値は、TSパケットの順番を示す。
なお、TSパケットには、タイムスタンプ情報(TTS(Timestamped TS)タイムスタンプ情報)が付加されてもよい。以下では、TSパケットは、このTTSタイムスタンプ情報が付加されたTTSパケットであるとする。
また、RTPパケットは、UDPヘッダ、RTPヘッダおよび複数のTSパケットを含む。映像パケットは、IPパケットであり、IPヘッダとRTPパケットを含む。
図3の説明に戻る。FECパケットは、図5で示したように、RTPヘッダと、FECヘッダと、FECペイロードとを含む。
FECペイロードは、FECデータを含む。また、FECヘッダには、そのFECヘッダを有するFECパケットによるエラー訂正の対象となるRTPパケットの先頭のRTPシーケンス番号(SN base)と、FECパケットによるエラー訂正の対象となるRTPパケットの長さである有効長(length recovery)とが含まれている。以下、この先頭のRTPシーケンス番号を先頭RTPシーケンス番号と称する。
図3の説明に戻る。IPパケットヘッダ解析部1は、パケットデータS1から、映像品質を推定するパケットと、そのパケットのエラーを訂正するためのFECパケットとをパケットデータS2として抽出する。
UDP/RTPパケットヘッダ解析部2は、IPパケットヘッダ解析部1にて抽出されたパケットデータS2を、映像パケットとFECパケットとに分離する。UDP/RTPパケットヘッダ解析部2は、映像パケット内のRTPパケットをRTPパケットS3として生成し、FECパケットをFECパケットS4として生成する。
FECパケット解析部3は、第一確認手段の一例である。FECパケット解析部3は、UDP/RTPパケットヘッダ解析部2が生成したFECパケットS4の連続性を確認し、その連続性を示すFEC連続性情報を生成する。FEC連続性情報では、FECパケットが存在するか否かを示すFEC有無情報とRTPシーケンス番号とが対応付けられている。なお、FEC有無情報は、「有」の場合、FECパケットが存在することを示し、「無」の場合、FECパケットが存在しないことを示す。
FECパケット解析部3は、FEC連続性情報を有するFECパケット情報S5を生成する。このとき、FEC有無情報が「有」の場合、そのFEC有無情報に対応するRTPシーケンス番号を有するFECパケットS4があるので、FECパケット解析部3は、そのFECパケットS4のFECヘッダをFECパケット情報S5に追加する。
エラー情報テーブル生成部4は、第二確認手段の一例である。エラー情報テーブル生成部4は、RTPパケットS3の連続性を確認し、その連続正を示すエラー情報テーブルS6を生成する。エラー情報テーブルS6では、RTPパケットS3が存在するか否かを示すRTP有無情報がRTPシーケンス番号ごとに格納されている。
なお、RTP有無情報は、「有」の場合、RTPパケットが存在することを示し、「無」の場合、RTPパケットが存在しないことを示す。
図6は、エラー情報テーブルの一例を示した説明図である。なお、FECデータによるエラー訂正において、情報長Dを5とし、符号長Lを20としている。この場合、エラー情報テーブル内のRTPシーケンス番号は、200以上であればよい。
エラー情報テーブル20は、RTPシーケンス番号21と、RTPパケットの有無22とを含む。RTPパケットの有無22は、RTP有無情報であり、RTPシーケンス番号21を有するRTPパケットが存在するか否かを示す。
図3の説明に戻る。TSヘッダ解析部5と映像情報テーブル生成部6と映像品質推定部7とを含む推定部は、FECパケット解析部3が生成したFECパケット情報S5と、エラー情報テーブル生成部4が生成したエラー情報テーブルS6とに基づいて、パケットロスなどが発生して欠落した映像パケットに含まれる訂正不可データを推定する。推定部は、その訂正不可データに基づいて、映像データの映像品質を推定する。なお、訂正不可データは、前記FECデータでエラーが訂正できない映像データである。
より具体的には、TSヘッダ解析部5、映像情報テーブル生成部6および映像品質推定部7が以下の処理を行う。
TSヘッダ解析部5は、UDP/RTPパケットヘッダ解析部2が生成したRTPパケットS3のTSヘッダを解析して、RTPパケットS3に含まれる各ピクチャ符号量および重要度を検出し、その検出結果をTSヘッダ情報S7として生成する。
映像情報テーブル生成部6は、FECパケット情報S5およびエラー情報テーブルS6に基づいて、欠落した映像パケットのうち、前記FECパケットでエラーが訂正できない訂正不可パケットを推定する。
映像情報テーブル生成部6は、TSヘッダ情報S7に基づいて、欠落していない映像パケットに含まれる各ピクチャの符号量およびピクチャタイプを推定する。映像情報テーブル生成部6は、その推定したピクチャの符号量およびピクチャタイプに基づいて、訂正不可パケットに含まれる訂正不可データのピクチャタイプおよび数を推定し、その推定結果を映像情報テーブルS8として生成する。
映像品質推定部7は、映像情報テーブル生成部6が生成した映像情報テーブルS8に基づいて、映像データの映像品質を推定し、その推定結果を映像品質S9として出力する。
次に動作を説明する。
図7は、映像品質推定装置の動作を説明するためのフローチャートである。
IPパケットヘッダ解析部1は、パケットデータS1を受け付けると、ステップS101を実行する。
ステップS101では、IPパケットヘッダ解析部1は、パケットデータS1のIPヘッダおよびUDPヘッダの少なくとも一方に基づいて、パケットデータS1から、映像品質を推定するデータをパケットデータS2として抽出する。
例えば、IPパケットヘッダ解析部1は、映像品質を推定するIPTVサービスデータのマルチキャストアドレスを保持し、その保持しているマルチキャストアドレスと、IPヘッダ内のマルチキャストアドレスとが同一であると、そのIPTVサービスデータをパケットデータS2として抽出する。
IPパケットヘッダ解析部1は、パケットデータS2をUDP/RTPパケットヘッダ解析部2に入力する。
UDP/RTPパケットヘッダ解析部2は、パケットデータS2を、映像パケットと、FECパケットとに分離する。
例えば、UDP/RTPパケットヘッダ解析部2は、先ず、UDPヘッダに含まれるポート番号(送信元ポート番号および送信先ポート番号)を確認する。そして、UDP/RTPパケットヘッダ解析部2は、その確認したポート番号が映像データを伝送する値であれば、パケットデータS2を映像パケットとし、その確認したポート番号がFECデータを伝送する値であれば、そのパケットデータS2をFECパケットとする。
UDP/RTPパケットヘッダ解析部2は、映像パケット内のRTPパケットを、RTPパケットS3としてエラー情報テーブル生成部4およびTSヘッダ解析部5に入力する。また、UDP/RTPパケットヘッダ解析部2は、FECパケットを、FECパケットS4としてFECパケット解析部3に入力する。
FECパケット解析部3は、FECパケットS4が入力されると、ステップS102Aを実行する。また、エラー情報テーブル生成部4は、RTPパケットS3が入力されると、ステップS102Bを実行する。さらに、TSヘッダ解析部5は、RTPパケットS3が入力されると、ステップS105を実行する。
ステップS102Aでは、FECパケット解析部3は、FECパケットS4の連続性を確認し、その連続性を示すFEC連続性情報を生成する。
RTPシーケンス番号は、符号無しの16ビット整数であり、同一サービスにおけるパケットが送信されるたびに1ずつ加算されるデータである。このため、そのRTPシーケンス番号が連続であれば、FECパケットS4が連続であり、そのRTPシーケンス番号が不連続であれば、FECパケットS4が不連続である。よって、FECパケット解析部3は、そのRTPシーケンス番号の連続性を、FECパケットS4の連続性として確認することができる。
より具体的には、FECパケット解析部3は、FECパケットS4が入力されるたびに、そのFECパケットS4内の現RTPシーケンス番号と、一つ前に入力されたFECパケットS4内の前RTPシーケンス番号との差を計算する。
その差が「1」の場合、FECパケット解析部3は、FECパケットS4が連続であると判断して、「有」を示すFEC有無情報と現RTPシーケンス番号とを対応付けてFEC連続性情報を生成する。
一方、その差が「1」でない場合、FECパケット解析部3は、FECパケットS4が連続でないと判断して、その差に応じて欠落したFECパケットS4の数を求める。なお、その差が「n」の場合、欠落したFECパケットS4の数は、「n-1」である。
FECパケット解析部3は、その欠落したFECパケットS4の数と、前RTPシーケンス番号とに基づいて、欠落したFECパケットS4内の欠落RTPシーケンス番号を求める。FECパケット解析部3は、その求めた欠落RTPシーケンス番号のそれぞれに、「無」を示すFEC有無情報を対応付けて、その欠落したFECパケットS4の数のFEC連続性情報を生成する。さらに、「有」を示すFEC有無情報と現RTPシーケンス番号とを対応付けてFEC連続性情報を生成する。
しかしながら、バーストエラーが発生して、RTPシーケンス番号が16ビット以上連続して欠落した場合、RTPシーケンス番号だけでは、その欠落したFECパケットS4の数を特定できない。このため、FECパケット解析部3は、タイムスタンプ情報に基づいて、欠落したFECパケットの数を判断してもよい。
具体的には、先ず、FECパケット解析部3は、FECパケットS4が入力されるたびに、そのFECパケットS4内のタイムスタンプ情報が示す時刻と、一つ前に入力されたFECパケットS4内のタイムスタンプ情報が示す時刻との差分値Δを求める。また、FECパケット解析部3は、その差分値の累積平均ΔMを算出する。そして、FECパケット解析部3は、その差分値Δが累積平均ΔMの所定数倍以上か否かを判断する。
その差分値Δが累積平均ΔMの所定数倍未満の場合、FECパケット解析部3は、バーストエラーが発生していないと判断して、RTPシーケンス番号を用いた連続性の確認を行う。
一方、その差分値Δが累積平均ΔMの所定数倍以上の場合、FECパケット解析部3は、バーストエラーが発生したと判断し、その差分値Δに応じて欠落したFECパケットS4の数を求める。
ここで、所定数は、例えば、RTPシーケンス番号が一巡する65536であることが望ましい。また、所定数は、この値に限らず、パケットロスが発生したと判断できる値(例えば、8000)であればよい。
FECパケット解析部3は、FEC連続性情報を生成すると、そのFEC連続性情報を有するFECパケット情報S5を生成する。FECパケット解析部3は、そのFECパケット情報S5を映像情報テーブル生成部6に入力する。映像情報テーブル生成部6は、FECパケット情報S5が入力されると、ステップS103を実行する。
ステップS103では、映像情報テーブル生成部6は、FECパケット情報S5にFECヘッダが含まれると、そのFECヘッダから先頭RTPシーケンス番号を抽出する。その後、映像情報テーブル生成部6は、ステップS109を実行する。
また、ステップS102Bでは、エラー情報テーブル生成部4は、RTPパケットS3の連続性を確認する。なお、RTPパケットS3の連続性を確認する方法は、FECパケット解析部3がFECパケットS4の連続性を確認する方法と同様であるので、詳細な説明は省略する。エラー情報テーブル生成部4は、連続性を確認すると、ステップS104を実行する。
ステップS104では、エラー情報テーブル生成部4は、その連続性を示すエラー情報テーブルS6を生成し、その生成したエラー情報テーブルS6を映像情報テーブル生成部6に入力する。その後、映像情報テーブル生成部6は、ステップS109を実行する。
また、ステップS105では、TSヘッダ解析部5は、RTPパケットS3に含まれるTTSタイムスタンプ情報の連続性を確認する。
TTSタイムスタンプ情報は、ビデオ基準クロック(90kHz)を利用した4バイトの時間情報である。また、MPEG2-TS形式では、TSパケットは定レートで伝送されるため、このため、TSパケットにパケットロスがなければ、あるTSパケット内のTTSタイムスタンプ情報と、次のTSパケット内のTTSタイムスタンプ情報との差分である差分時間ΔTTSは一定となる。
そこで、TSヘッダ解析部5は、TSパケットごとに、そのTSパケット内のTTSタイムスタンプ情報と、一つ前のTSパケット内のTTSタイムスタンプ情報との差分値を求め、その差分値が一定値からずれているか否かを判断する。
TSヘッダ解析部5は、その差分値が一定値からずれていると、TSパケットが不連続であると判断し、その差分値が一定値からずれていないと、TSパケットが連続であると判断する。また、TSヘッダ解析部5は、差分値と一定値とのずれ幅から、欠落したTSパケットの数を推定する。
TSヘッダ解析部5は、TTSタイムスタンプ情報の連続性を確認すると、ステップS106を実行する。
ステップS106では、TSヘッダ解析部5は、RTPパケットS3内に、ビデオストリームを含むTSパケットであるビデオパケットが存在するか否かを確認する。
RTPパケットS3内にビデオパケットがある場合、TSヘッダ解析部5は、RTPパケットS3からそのビデオパケットを抽出する。なお、RTPパケットS3内に複数のTSパケットがある場合、TSヘッダ解析部5は、ビデオパケットを、TSパケット単位に分離する。
TSヘッダ解析部5は、ステップS106を終了すると、ステップS107を実行する。
ステップS107では、TSヘッダ解析部5は、ビデオパケットの連続性を確認する。ビデオパケットの連続性を確認する方法は、FECパケット解析部3がFECパケットS4の連続性を確認する方法と同様であるので、詳細な説明は省略する。なお、ビデオパケットの連続性を確認する方法では、RTPシーケンス番号の代わりに、ビデオパケット内のTSヘッダに含まれる連続性カウンタ値の連続性を、ビデオパケットの連続性として確認する。また、バーストエラーが発生した場合には、TTSタイムスタンプ情報の連続性を用いて欠落したビデオパケットの数を求める。
TSヘッダ解析部5は、ビデオパケットの連続性を確認すると、ステップS108を実行する。
ステップS108では、TSヘッダ解析部5は、ピクチャごとに、そのピクチャを有するビデオパケットを特定する。
具体的には、TSヘッダ解析部5は、各ビデオパケット内のTSヘッダに含まれるPESパケット先頭フラグを確認し、PESパケット先頭フラグが「1」のビデオパケットから、次のPESパケット先頭フラグが「1」のビデオパケットの一つ前のビデオパケットまでを、同一のピクチャを有するビデオパケットとして特定していく。
TSヘッダ解析部5は、ピクチャを有するビデオパケットを特定すると、そのピクチャの重要度を求める。
具体的には、先ず、TSヘッダ解析部5は、そのピクチャを有するビデオパケットのそれぞれのTSヘッダから、優先度フラグおよびアダプテーションフィールドコントロールフラグを抽出する。
続いて、アダプテーションフィールドコントロールフラグが「1」の場合、TSヘッダ解析部5は、ビデオパケット内のデータ領域に含まれるアダプテーションフィールドから、PCR(program clock reference)およびエレメンタリストリームプライオリティフラグを抽出する。なお、PCRには、映像データのクロック情報が挿入されているが、本発明と直接関係しないので、以下の説明では省略する。
そして、その抽出した優先度フラグおよびエレメンタリストリームプライオリティフラグのうち「1」を示すフラグがある場合、TSヘッダ解析部5は、そのピクチャを重要と判断する。一方、その抽出した優先度フラグおよびエレメンタリストリームプライオリティフラグのうち「1」を示すフラグがない場合、TSヘッダ解析部5は、そのピクチャを重要でないと判断する。
TSヘッダ解析部5は、ピクチャの重要度を求めると、そのピクチャを有するビデオパケットの符号量を、ピクチャの符号量として求める。
TSヘッダ解析部5は、ピクチャの符号量および重要度と、そのピクチャを有するビデオパケットが連続しているか否かを示すビデオ連続性情報とを、ピクチャを有するビデオパケット内のビデオフレーム番号と対応付けたピクチャ情報を、ピクチャごとに生成する。ビデオフレーム番号は、ピクチャの表示順序を示す。
TSヘッダ解析部5は、そのピクチャ情報をRTPパケットS3に含まれるRTPシーケンス番号と対応付けてTSヘッダ情報S7を生成する。TSヘッダ解析部5は、TSヘッダ情報を映像情報テーブル生成部6に入力する。映像情報テーブル生成部6は、TSヘッダ情報が入力されると、ステップS109を実行する。
ステップS109では、映像情報テーブル生成部6は、ステップS103で抽出した先頭シーケンス番号と、TSヘッダ情報S7とに基づいて、エラー情報テーブル修正する。
具体的には、先ず、映像情報テーブル生成部6は、エラー情報テーブルS6内の、先頭RTPシーケンス番号と同じRTPシーケンス番号に、「有」を示すFEC有無情報を対応付け、その先頭RTPシーケンス番号と異なるRTPシーケンス番号に、「無」を示すFEC有無情報を対応付ける。
続いて、映像情報テーブル生成部6は、エラー情報テーブルS6内のRTPシーケンス番号のそれぞれに、TSヘッダ情報S7内の、そのRTPシーケンス番号に対応付けられたピクチャ情報に含まれるピクチャ有無情報、ビデオ連続性情報およびピクチャの重要度を付ける。
図8は、修正後のエラー情報テーブルS6の一例を示した説明図である。なお、図8において、図6と同じ情報には同じ符号が付してある。また、図8では、図6と同様に、情報長Dを5とし、符号長Lを20としている。
図8において、エラー情報テーブル20は、RTPシーケンス番号21と、RTPパケットの有無22と、FECパケットの有無23と、ビデオパケットの有無24と、ビデオパケットの連続性25と、ビデオパケットの重要度26とを含む。
FECパケットの有無23は、FECパケット情報であり、RTPシーケンス番号21を先頭RTPシーケンス番号として有するFECパケットが存在するか否かを示す。ビデオパケットの有無24は、ビデオ有無情報であり、RTPシーケンス番号21を有するRTPパケットにビデオパケットが存在するか否かを示す。
ビデオパケットの連続性25は、ビデオ連続性情報であり、RTPシーケンス番号21を有するRTPパケット内のビデオパケットが連続か否かを示す。なお、ビデオパケットの連続性25は、「有」であると、ビデオパケットが連続であることを示し、「無」であると、ビデオパケットが連続でないことを示す。
ビデオパケットの重要度26は、RTPシーケンス番号21を有するRTPパケット内のビデオパケットが重要か否かを示す。なお、ビデオパケットの重要度26は、「有」であると、ビデオパケットが重要であることを示し、「無」であると、ビデオパケットが重要でないことを示す。
図7に戻る。映像情報テーブル生成部6は、そのFEC有無情報を対応付けたエラー情報テーブルS6と、FECパケット情報S5とに基づいて、RTPシーケンス番号ごとに、そのRTPシーケンス番号のRTPパケットが、FECデータにてエラー訂正が可能な訂正可能パケットか、FECデータにてエラー訂正が可能でない訂正不可パケットかを判断する。
具体的には、先ず、映像情報テーブル生成部6は、エラー情報テーブルS6内の「有」を示すFEC有無情報に対応付けられたRTPシーケンス番号と、そのRTPシーケンス番号を先頭RTPシーケンス番号として有するFECパケット情報S5に含まれるFECヘッダ内の有効長とに基づいて、FECパケットごとに、そのFECパケットによるエラー訂正の対象となるRTPパケットのRTPシーケンス番号を特定する。
続いて、映像情報テーブル生成部6は、FECパケットごとに、その特定したRTPシーケンス番号のいずれかに、「有」を示すFEC有無情報が対応付けられているか否かを判断する。
「有」を示すFEC有無情報が対応付けられている場合、映像情報テーブル生成部6は、その特定したRTPシーケンス番号に対応付けられたRTP有無情報の中に、「無」を示すRTP有無情報が2以上あると、そのRTPシーケンス番号のRTPパケットを訂正不可パケットと判断する。一方、映像情報テーブル生成部6は、そのRTP有無情報の中に「無」を示すRTP有無情報が1以下であると、そのRTPシーケンス番号のRTPパケットを訂正可能パケットと判断する。
一方、「有」を示すFEC有無情報が対応付けられていない場合、映像情報テーブル生成部6は、その特定したRTPシーケンス番号に対応付けられたRTP有無情報の中に、「無」を示すRTP有無情報が1以上あると、そのRTPシーケンス番号のRTPパケットを訂正不可パケットと判断する。一方、映像情報テーブル生成部6は、そのRTP有無情報の中に「無」を示すRTP有無情報が0であると、そのRTPシーケンス番号のRTPパケットを訂正可能パケットと判断する。
映像情報テーブル生成部6は、RTPパケットが訂正可能パケットか訂正不可パケットかを判断すると、その判断結果を、エラー情報テーブルS6内のそのRTPパケットのRTPシーケンス番号に対応付ける。映像情報テーブル生成部6は、ステップS109を終了すると、ステップ110を実行する。
ステップS110では、映像情報テーブル生成部6は、そのエラー情報テーブルS6と、TSヘッダ情報S7とに基づいて映像情報テーブルS8を生成する。
映像情報テーブルS8では、ピクチャを特定するビデオフレーム番号ごとに、そのピクチャを有するビデオパケットに欠落が存在するか否かを示すパケットロス有無情報と、そのビデオパケットがエラー訂正可能か否かを示すリカバリ情報と、そのピクチャのピクチャタイプ、そのピクチャの符号量、その符号量の平均値である平均符号量とが対応付けられている。
具体的には、先ず、映像情報テーブル生成部6は、エラー情報テーブルS6において、「有」を示すRTP有無情報に対応付けられたRTPシーケンス番号を確認する。映像情報テーブル生成部6は、その確認したRTPシーケンス番号に対応するピクチャ情報をTSヘッダ情報S7から取得する。
続いて、映像情報テーブル生成部6は、その取得したピクチャ情報内のビデオフレーム番号ごとに、そのビデオフレーム番号と対応付けられたビデオ有無情報を、そのビデオフレーム番号に対応するパケットロス有無情報として生成する。
また、映像情報テーブル生成部6は、そのビデオフレーム番号ごとに、そのビデオフレーム番号より前の複数のビデオフレーム番号(30以上のビデオフレーム番号)に対応する符号量の平均値をそのビデオフレーム番号に対応する平均符号量として生成する。
さらに、映像情報テーブル生成部6は、そのビデオフレーム番号ごとに、ビデオフレーム番号と対応付けられたピクチャの重要度を確認し、その重要度が重要であることを示すと、そのビデオフレーム番号に対応するピクチャタイプをIピクチャと判断する。また、映像情報テーブル生成部6は、ビデオフレーム番号ごとに、そのビデオフレーム番号に対応する符号量を、そのビデオフレーム番号に対応する平均符号量から減算して符号量の推移を求める。映像情報テーブル生成部6は、その求めた符号量の推移と、予め保持しているピクチャタイプに応じた符号量の推移とのパタンマッチングを行うことで、Iピクチャ以外の、ビデオフレーム番号に対応するピクチャタイプを推定する。なお、符号量の推移からピクチャタイプを推定する方法は、公知であり、例えば、非特許文献1(信学技報CQ2007-74)に記載されている。
そして、映像情報テーブル生成部6は、その確認したRTPシーケンス番号と対応する、RTPパケットが訂正可能パケットか訂正不可パケットかの判断結果を、その取得したビデオフレーム番号のそれぞれに対応するリカバリ情報として生成する。
以上により、欠落していないRTPパケットに関する映像情報テーブルS8が生成される。欠落したRTPパケットに関する映像情報テーブルS8は、欠落していないRTPパケットに関する映像情報テーブルS8から生成される。
具体的には、先ず、映像情報テーブル生成部6は、エラー情報テーブルS6において、「無」を示すRTP有無情報に対応付けられたRTPシーケンス番号を確認する。
続いて、映像情報テーブル生成部6は、そのRTPシーケンス番号の数を、欠落したRTPパケットの数として求める。また、その映像情報テーブル生成部6は、その欠落したRTPパケットの数と、「無」を示すRTP有無情報に対応付けられたRTPシーケンス番号の前のRTPシーケンス番号に対応する符号量の推移とに基づいて、欠落したピクチャの数を推定する。
さらに、映像情報テーブル生成部6は、「無」を示すRTP有無情報に対応付けられたRTPシーケンス番号の前のRTPシーケンス番号に対応する符号量の推移およびピクチャタイプの推移に基づいて、欠落したピクチャのピクチャタイプを推定する。
そして、映像情報テーブル生成部6は、「無」を示すRTP有無情報に対応付けられたRTPシーケンス番号の前のRTPシーケンス番号に対応する符号量の推移とピクチャタイプとに基づいて、「無」を示すRTP有無情報に対応付けられたRTPシーケンス番号に対応するビデオフレーム番号のそれぞれに対応するリカバリ情報を生成する。
これにより、欠落したRTPパケットに関する映像情報テーブルS8が生成される。
図9は、映像情報テーブルS8の一例を示した説明図である。図9において、映像情報テーブル30は、ビデオフレーム番号31と、ビデオパケットロスの有無32と、FECパケットリカバリの有無33と、ピクチャタイプ34と、ビデオデータ符号量35と、ビデオデータ平均符号量36とを含む。
ビデオパケットロスの有無32は、パケットロス有無情報であり、ビデオフレーム番号31のピクチャを有するビデオパケットに欠落が存在するか否かを示す。FECパケットリカバリの有無33は、リカバリ情報であり、ビデオフレーム番号31のピクチャを有するビデオパケットがエラー訂正可能か否かを示す。ピクチャタイプ34は、ビデオフレーム番号31のピクチャのピクチャタイプであり、Iピクチャ、BピクチャおよびPピクチャのいずれかを示す。ビデオデータ符号量35は、ビデオフレーム番号31のピクチャの符号量であり、ビデオデータ平均符号量36は、ビデオデータ符号量35の平均値である。
図7に戻る。映像情報テーブル生成部6は、その生成した映像情報テーブルS8を映像品質推定部7に入力する。映像品質推定部7は、映像情報テーブルS8が入力されると、ステップS111を実行する。
ステップS111では、映像品質推定部7は、映像情報テーブルS8内の、RTP有無情報が「無」を示し、FEC有無情報が「無」を示すビデオフレーム番号を特定する。この特定されたビデオフレーム番号に対応するピクチャが、欠落したRTPパケットに含まれる、FECデータでエラーが訂正できない訂正不可ピクチャとなる。
映像品質推定部7は、その特定したビデオフレームの数を、訂正不可ピクチャの数として求め、その特定した各ビデオフレームに対応するピクチャタイプを、訂正不可ピクチャのピクチャタイプとして求める。
その訂正不可ピクチャがIピクチャの場合、ビデオストリームは、次のIピクチャが出現するまでは正常なデータに復帰できないため、映像品質の低下を多大な影響を与える。一方、その訂正不可ピクチャがBピクチャやPピクチャの場合、ビデオストリームは、そのフレーム内の品質劣化であり、映像品質の低下にはあまり影響を与えない。
このため、映像品質推定部7は、エラー訂正不可ピクチャがIピクチャの場合、映像品質S9を最低レベルにし、エラー訂正不可ピクチャがPピクチャの場合、映像品質S9を最低レベルより良い中レベルにし、エラー訂正不可ピクチャがBピクチャ場合、映像品質S9を中レベルより良い高レベルにし、エラー訂正不可ピクチャがない場合、映像品質S9を高レベルより良い最高レベルにする。
また、映像品質推定部7は、エラー訂正不可ピクチャが複数ある場合、各エラー訂正不可ピクチャのピクチャタイプに応じて映像品質に重み付けを行い、その重み付けを行った映像品質の和を映像品質S9として生成してもよい。
なお、映像品質推定部7による映像品質の推定方法は、例えば、特許文献1や非特許文献1で用いた方法でもよい。
次に効果を説明する。
FECパケット解析部3は、FECパケットの連続性を確認する。エラー情報テーブル生成部4は、映像パケットの連続性を確認する。推定部は、それらの連続性に基づいて、欠落した映像パケットに含まれる。FECデータでエラーが訂正できない映像データを訂正不可データとして推定する。推定部は、その訂正不可データに基づいて、映像データの映像品質を推定する。
この場合、FECパケットの連続性と映像パケットの連続性とに基づいて訂正不可データが推定される。また、訂正不可データに基づいて映像データの映像品質が推定される。
したがって、映像品質を推定するために、エラー訂正を行う必要がなくなるので、TSパケットを遅延させなくてもよくなり、大容量のメモリが必要なくなる。
また、本実施形態では、推定部は、映像パケットのTSヘッダを解析して、訂正不可データのピクチャタイプを推定し、その推定したピクチャタイプに基づいて映像品質を推定する。
ピクチャのエラー訂正ができない場合、そのピクチャのピクチャタイプに応じてエラー訂正が可能になるまでの時間が異なるので、エラー訂正ができないピクチャタイプに応じて映像品質が変化する。したがって、本実施形態では、映像品質がピクチャタイプに基づいて推定されるので、映像品質を的確に推定することが可能になる。
また、本実施形態では、推定部は、映像パケットのTSヘッダを解析して、映像パケットに含まれる映像データの符号量を求め、その符号量に基づいて、訂正不可ピクチャのピクチャタイプを推定する。
通常、ピクチャの符号量は、通常ピクチャタイプごとに異なるので、ピクチャの符号量に応じてピクチャタイプが推定できる。このため、ピクチャタイプを的確に推定することが可能になる。
なお、以上説明した映像品質推定装置の機能は、その機能を実現するためのプログラムを、コンピュータにて読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行させることで実現されてもよい。
また、その映像品質推定装置の機能を実現するためのプログラムを記録する、コンピュータにて読み取り可能な記録媒体も本発明の一実施形態である。
以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されたものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更を行うことができる。
この出願は、2009年2月10日に出願された日本出願特願2009-28599号公報を基礎とする優先権を主張し、その開示の全てをここに取り込む。
Claims (7)
- 映像データがパケット化された映像パケットと、前記映像データのエラーを訂正するための訂正用データがパケット化された訂正用パケットと、を受け付ける入力手段と、
前記入力手段が受け付けた映像パケットの連続性を確認する第一確認手段と、
前記入力手段が受け付けた訂正用パケットの連続性を確認する第二確認手段と、
前記第一確認手段および前記第二確認手段にて確認された各連続性に基づいて、欠落した映像パケットに含まれる、前記訂正用データでエラーが訂正できない映像データを、訂正不可データとして推定し、該推定した訂正不可データに基づいて前記映像データの映像品質を推定する推定手段と、を含む映像品質推定装置。 - 請求項1に記載の映像品質推定装置において、
前記推定手段は、前記入力手段が受け付けた映像パケットのヘッダ情報を解析して、前記訂正不可データのピクチャタイプを推定し、該ピクチャタイプに基づいて、前記映像品質を推定する、映像品質推定装置。 - 請求項2に記載の映像品質推定装置において、
前記推定手段は、前記ヘッダ情報を解析して、前記入力手段が受け付けた映像パケットに含まれる映像データの符号量を求め、該符号量に基づいて、前記訂正不可データのピクチャタイプを推定する、映像品質推定装置。 - 映像品質推定装置による映像品質推定方法であって、
映像データがパケット化された映像パケットと、前記映像データのエラーを訂正するための訂正用データがパケット化された訂正用パケットと、を受け付ける入力ステップと、
前記受け付けられた映像パケットの連続性を確認する第一確認ステップと、
前記受け付けられた訂正用パケットの連続性を確認する第二確認ステップと、
前記確認された各連続性に基づいて、欠落した映像パケットに含まれる、前記訂正用データでエラーが訂正できない映像データを、訂正不可データとして推定し、該推定した訂正不可データに基づいて前記映像データの映像品質を推定する推定ステップと、を含む映像品質推定方法。 - 請求項4に記載の映像品質推定方法において、
前記推定ステップでは、前記受け付けられた映像パケットのヘッダ情報を解析して、前記訂正不可データのピクチャタイプを推定し、該ピクチャタイプに基づいて、前記映像品質を推定する、映像品質推定方法。 - 請求項5に記載の映像品質推定方法において、
前記推定ステップでは、前記ヘッダ情報を解析して、前記受け付けられた映像パケットに含まれる映像データの符号量を求め、該符号量に基づいて、前記訂正不可データのピクチャタイプを推定する、映像品質推定方法。 - コンピュータに、
映像データがパケット化された映像パケットと、前記映像データのエラーを訂正するための訂正用データがパケット化された訂正用パケットと、を受け付ける手順と、
前記受け付けられた映像パケットの連続性を確認する手順と、
前記受け付けられた訂正用パケットの連続性を確認する手順と、
前記確認された各連続性に基づいて、欠落した映像パケットに含まれる、前記訂正用データでエラーが訂正できない映像データを、訂正不可データとして推定し、該推定した訂正不可データに基づいて前記映像データの映像品質を推定する手順と、を実行させるプログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/003,844 US8254464B2 (en) | 2009-02-10 | 2010-01-14 | Image quality estimation apparatus and image quality estimation method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009028599A JP4544435B2 (ja) | 2009-02-10 | 2009-02-10 | 映像品質推定装置、映像品質推定方法およびプログラム |
| JP2009-028599 | 2009-02-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2010092848A1 true WO2010092848A1 (ja) | 2010-08-19 |
Family
ID=42561695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2010/050309 Ceased WO2010092848A1 (ja) | 2009-02-10 | 2010-01-14 | 映像品質推定装置および映像品質推定方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8254464B2 (ja) |
| JP (1) | JP4544435B2 (ja) |
| WO (1) | WO2010092848A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2525586A1 (en) * | 2011-05-18 | 2012-11-21 | Telefonaktiebolaget L M Ericsson (publ) | Method and arrangement for supporting quality estimation of streamed video |
| CN103155515A (zh) * | 2010-09-29 | 2013-06-12 | 瑞典爱立信有限公司 | 确定ip分组的丢失 |
| JP2015050627A (ja) * | 2013-09-02 | 2015-03-16 | 西日本電信電話株式会社 | 映像信号評価装置及び障害切り分けシステム |
| CN110099250A (zh) * | 2019-04-18 | 2019-08-06 | 浙江工业大学 | 一种监控视频质量判断方法及播放控制装置 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100023842A1 (en) * | 2008-07-25 | 2010-01-28 | Nortel Networks Limited | Multisegment loss protection |
| JP5119284B2 (ja) | 2010-03-05 | 2013-01-16 | 日立コンシューマエレクトロニクス株式会社 | 記録媒体、再生及び記録方法、再生及び記録装置 |
| JP5895238B2 (ja) | 2011-12-01 | 2016-03-30 | パナソニックIpマネジメント株式会社 | 通信装置、通信方法、及び通信プログラム |
| US20130298175A1 (en) * | 2012-05-02 | 2013-11-07 | International Business Machines Corporation | Constructing a customized message in a video-on-demand service |
| KR102093408B1 (ko) * | 2012-07-19 | 2020-04-14 | 한국전자통신연구원 | 동일 포트에 멀티플렉싱 된 다중 패킷 스트림의 패킷오류 구분을 선택적으로 수행하는 방법 및 그 장치 |
| FI3972135T3 (fi) * | 2013-07-18 | 2024-03-20 | Samsung Electronics Co Ltd | Laite ja menetelmä paketin lähettämiseksi/vastaanottamiseksi multimediaviestintäjärjestelmässä |
| JP6595218B2 (ja) * | 2015-06-04 | 2019-10-23 | 日本放送協会 | 連接符号を用いた受信装置及びチップ |
| CN108809893B (zh) * | 2017-04-27 | 2020-03-27 | 华为技术有限公司 | 一种视频质量评估方法和设备 |
| CN111385523B (zh) * | 2018-12-27 | 2022-10-28 | 北京图森智途科技有限公司 | 一种数据接收方法、图像处理设备和汽车 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008005108A (ja) * | 2006-06-21 | 2008-01-10 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム |
| JP2008527896A (ja) * | 2005-01-18 | 2008-07-24 | エヌエックスピー ビー ヴィ | 改良型ipデータグラムの逆カプセル化 |
| JP2008211579A (ja) * | 2007-02-27 | 2008-09-11 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定方法および映像通信システム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5457701A (en) * | 1994-01-06 | 1995-10-10 | Scientific-Atlanta, Inc. | Method for indicating packet errors in a packet-based multi-hop communications system |
| JP2002209234A (ja) * | 2001-01-11 | 2002-07-26 | Fujitsu Ltd | 通信システム |
| JP2004343238A (ja) * | 2003-05-13 | 2004-12-02 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ配信方法及びコンテンツ配信システム |
| JP2006157223A (ja) * | 2004-11-26 | 2006-06-15 | Nippon Telegr & Teleph Corp <Ntt> | ユーザ体感品質推定システムおよび方法、ユーザ体感品質推定装置、受信状況情報送信装置、送信端末、受信端末 |
| CA2539367A1 (en) * | 2005-03-30 | 2006-09-30 | At&T Corp. | Loss tolerant transmission control protocol |
| JP4377357B2 (ja) * | 2005-07-07 | 2009-12-02 | 日本電信電話株式会社 | 映像品質推定装置および映像品質推定方法 |
| US7617434B1 (en) * | 2005-12-13 | 2009-11-10 | Sprint Communications Company L.P. | Adaptive error correction |
| JP4451857B2 (ja) | 2006-05-09 | 2010-04-14 | 日本電信電話株式会社 | 映像品質パラメータ推定装置、方法、およびプログラム |
| JP4313391B2 (ja) * | 2006-12-13 | 2009-08-12 | 株式会社日立コミュニケーションテクノロジー | 光集線装置および光加入者装置 |
| JP4940998B2 (ja) | 2007-02-27 | 2012-05-30 | Kddi株式会社 | Ip/rf変換装置 |
-
2009
- 2009-02-10 JP JP2009028599A patent/JP4544435B2/ja active Active
-
2010
- 2010-01-14 WO PCT/JP2010/050309 patent/WO2010092848A1/ja not_active Ceased
- 2010-01-14 US US13/003,844 patent/US8254464B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008527896A (ja) * | 2005-01-18 | 2008-07-24 | エヌエックスピー ビー ヴィ | 改良型ipデータグラムの逆カプセル化 |
| JP2008005108A (ja) * | 2006-06-21 | 2008-01-10 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム |
| JP2008211579A (ja) * | 2007-02-27 | 2008-09-11 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定方法および映像通信システム |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103155515A (zh) * | 2010-09-29 | 2013-06-12 | 瑞典爱立信有限公司 | 确定ip分组的丢失 |
| EP2622819A4 (en) * | 2010-09-29 | 2014-05-07 | Ericsson Telefon Ab L M | DETERMINING THE LOSS OF IP PACKAGES |
| US9363684B2 (en) | 2010-09-29 | 2016-06-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Determining loss of IP packets |
| CN103155515B (zh) * | 2010-09-29 | 2016-06-29 | 瑞典爱立信有限公司 | 确定ip分组的丢失 |
| EP2525586A1 (en) * | 2011-05-18 | 2012-11-21 | Telefonaktiebolaget L M Ericsson (publ) | Method and arrangement for supporting quality estimation of streamed video |
| JP2015050627A (ja) * | 2013-09-02 | 2015-03-16 | 西日本電信電話株式会社 | 映像信号評価装置及び障害切り分けシステム |
| CN110099250A (zh) * | 2019-04-18 | 2019-08-06 | 浙江工业大学 | 一种监控视频质量判断方法及播放控制装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010187097A (ja) | 2010-08-26 |
| US20110289540A1 (en) | 2011-11-24 |
| JP4544435B2 (ja) | 2010-09-15 |
| US8254464B2 (en) | 2012-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4544435B2 (ja) | 映像品質推定装置、映像品質推定方法およびプログラム | |
| US8819714B2 (en) | Ratings and quality measurements for digital broadcast viewers | |
| JP7279767B2 (ja) | 送信方法および送信装置 | |
| US8301982B2 (en) | RTP-based loss recovery and quality monitoring for non-IP and raw-IP MPEG transport flows | |
| US7796598B2 (en) | Synchronizing redundant video streams encapsulated in IP/UDP packets | |
| JP5168283B2 (ja) | 映像品質監視方法及び配信サーバ及びクライアント | |
| JP6617809B2 (ja) | 復号装置、復号方法、および復号用プログラム | |
| JP2011521576A (ja) | インターラクティブマークをストリーミング・コンテンツに同期させるためのデバイス、及び方法 | |
| US20120257492A1 (en) | Digital receiver and corresponding digital transmission system server | |
| JP6593423B2 (ja) | 受信機器、および復号・提示方法 | |
| US9647951B2 (en) | Media stream rate reconstruction system and method | |
| JP7255301B2 (ja) | 切り替え方法、ip再送信システム、ip再送信装置および制御装置 | |
| WO2011155099A1 (ja) | 映像表示装置 | |
| JP2019087958A (ja) | 放送再送信装置、放送再送信方法およびモニタ方法 | |
| JPWO2010087129A1 (ja) | ピクチャタイプ推定装置、方法、及びプログラム | |
| JP2014003429A (ja) | 伝送パケットの配信方法 | |
| JP2006014153A (ja) | パケットエラー監視型mpegデコーダ、mpeg映像伝送システム及びmpeg映像伝送方法 | |
| JP6763440B2 (ja) | 受信装置、および通信システム | |
| Joskowicz et al. | Measuring the incidence of packet loss on video quality in digital television | |
| Joskowicz et al. | Considerations on packet loss incidence on the perceived video quality in digital television | |
| JPWO2009040955A1 (ja) | エラー判定装置およびエラー判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10741128 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 13003844 Country of ref document: US |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 10741128 Country of ref document: EP Kind code of ref document: A1 |