[go: up one dir, main page]

CN106358039A - 音画同步测试方法及装置 - Google Patents

音画同步测试方法及装置 Download PDF

Info

Publication number
CN106358039A
CN106358039A CN201610808577.4A CN201610808577A CN106358039A CN 106358039 A CN106358039 A CN 106358039A CN 201610808577 A CN201610808577 A CN 201610808577A CN 106358039 A CN106358039 A CN 106358039A
Authority
CN
China
Prior art keywords
video
frame number
frame
checkpoint
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610808577.4A
Other languages
English (en)
Other versions
CN106358039B (zh
Inventor
刘桂芳
平安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN201610808577.4A priority Critical patent/CN106358039B/zh
Priority to PCT/CN2016/112984 priority patent/WO2018045682A1/zh
Publication of CN106358039A publication Critical patent/CN106358039A/zh
Application granted granted Critical
Publication of CN106358039B publication Critical patent/CN106358039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开一种音画同步测试方法,包括:在视频的每一帧中依序添加帧编号;通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步;其中,N的取值依次为1、2、3…。本发明还公开一种音画同步测试装置。本发明实现了对用户实际观看的视频进行客观、准确、简捷的音画同步测试。

Description

音画同步测试方法及装置
技术领域
本发明涉及音视频测试技术领域,尤其涉及一种音画同步测试方法及装置。
背景技术
由于电视机等多媒体设备处理视频信号所花费的时间多于处理音频信号的时间,特别是在视频画面需要进行画质运动补偿时,所要花费的时间会更多。在研发过程中,需要测试视频的音画是否同步,也即,将音频信号存入缓存,测试计量出音画在播放上的差异。
目前常见的测试音画同步的方式,是由测试人员观看电视,并对比视频画面中人物的唇动和听到的声音是否同步。由于测试人员的个体差异,会有200ms左右的误差,而很多发烧友却不能忍受这200ms的误差而引发投诉,因而,需要对视频的音画是否同步进行客观的测试。
然而,已有的对音画进行客观同步测试的方式,只能是黑白场的标准测试信号,而不能对用户实际观看的视频进行测试,且对标准测试信号的测试不能准确地代表用户实际观看的视频的音画是否同步,其检测流程也不够简捷。
发明内容
本发明提供一种音画同步测试方法及装置,旨在解决现有音画同步测试方式不够客观、准确、简捷的技术问题。
为实现上述目的,本发明提供一种音画同步测试方法,所述音画同步测试方法包括:
在视频的每一帧中依序添加帧编号;
通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步;其中,N的取值依次为1、2、3…。
优选地,所述根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步的步骤包括:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
优选地,所述通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号的步骤包括:
通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
优选地,所述音画同步测试方法还包括:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
优选地,所述在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号的步骤包括:
在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
为实现上述目的,本发明还提供一种音画同步测试装置,所述音画同步测试装置包括:
视频处理模块,用于在视频的每一帧中依序添加帧编号;
检查点确定模块,用于通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
同步测试模块,用于在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步;其中,N的取值依次为1、2、3…。
优选地,所述同步测试模块包括判断单元,所述判断单元用于:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
优选地,所述检查点确定模块包括:
侦测单元,用于通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
确定单元,用于当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
获取单元,用于从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
优选地,所述视频处理模块具体用于:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
优选地,所述同步测试模块包括检测单元,所述检测单元包括:
侦测子单元,用于在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
捕获子单元,用于当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
获取子单元,用于对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
本发明提出的音画同步测试方法及装置,在视频的每一帧中依序添加帧编号,然后通过音频解码器读取视频的音频数据,以确定出音频信号从无到有时的检查点,并从添加帧编码后的视频中获取各个检查点各自对应的第一帧编号;在终端上播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步。测试时所用的视频可以是用户实际观看的任意视频,且在同一声音停顿处重新有声音时,通过比较此时本该播放的帧编号与当前实际播放的帧编号的差异,从而实现对用户实际观看的视频进行客观、准确、简捷的音画同步测试。
附图说明
图1为本发明音画同步测试方法第一实施例的流程示意图;
图2为图1中步骤S20的细化流程示意图;
图3为本发明音画同步测试方法第三实施例中获取当前视频画面对应的第二帧编号的细化流程示意图;
图4为本发明音画同步测试装置第一实施例的功能模块示意图;
图5为图4中检查点确定模块的细化功能模块示意图;
图6为本发明音画同步测试装置第三实施例中同步测试模块的细化功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种音画同步测试方法,如图1所示,示出了本发明音画同步测试方法第一实施例的流程示意图,所述音画同步测试方法包括:
S10、在视频的每一帧中依序添加帧编号;
在进行视频的音画同步测试时,首先需要选取一段视频,该段视频是用户实际观看的任意视频,可以是一个完整的长视频,也可以是从一个完整的长视频中截取的一小段视频。采用现有的视频处理技术,可在选取的视频的每一帧中依序添加帧编号。例如,假设待测试的是一个10分钟的视频,其帧率为50fps,则该视频的总帧数为50×10×60=30000,在添加帧编号时,可将编号1-30000根据视频帧的先后顺序依次添加到该视频的每一帧中,即该视频的第一帧的编号为1,第二帧的编号为2,第800帧的编号为800,以此类推。添加的帧编号可存储在每一帧对应的视频帧数据中。
S20、通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
进一步地,参照图2,上述步骤S20包括:
S21、通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
S22、当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
S23、从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
所述视频包括图像数据(即视频帧数据)和音频数据,这些数据存储在同一个数据包里,当需要读取图像时,解析该数据包中的图像数据即可,当需要读取音频数据时,解析该数据包中的音频数据即可。通过音频解码器读取该段视频(也可指添加帧编号后的视频)的音频数据时,可获取到该音频数据的每一播放时刻(与该段视频的播放时刻一致)对应的音频信号。实时侦测该读取过程中音频信号的强度,并在检测到音频信号从无到有,即音频信号的强度从零变为到一个较高的值,且该值大于预设的第二阈值时,将此时音频信号对应的播放时刻确定为检查点,并从添加帧编号后的视频中解析当前检查点对应的视频帧,以获取该视频帧中的帧编号,获得的帧编号即为当前检查点(即当前播放时刻)对应的第一帧编号。
其中,第一帧编号为各个检查点在视频中对应的视频帧的帧编号;所述第二阈值是预先设置的一个音频信号强度值,用于表示强度值超过第二阈值的音频信号属于有声音的音频信号。
S30、在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步。
所述终端可以为电视机,也可以为手机等能够播放视频且需要对视频的图像显示和音频播放进行处理的硬件设备。所述第二帧编号是用来区分于第一帧编号的一类帧编号,表示在通过终端播放视频时获取到的帧编号。N的取值依次为1、2、3…。
以电视机为例,则测试时的视频为电视机实际接收的直播数字信号经处理后得到的TS(Transport Stream,传输流或节目流)视频文件。在进行音画同步测试时,可通过串口线与电视机连接以获取所需数据,并在电视机上播放添加帧编号后的视频。在播放过程中,可获取到实时的音频信号和视频帧数据,当检测到音频信号从无到有,即音频信号的强度从零变为超过预设的第三阈值时,一方面获取当前视频画面所属视频帧的第二帧编号,另一方面根据该次检测到音频信号从无到有的次序,即第N次,获取之前确定出的检查点中、播放时刻按升序排列的第N个检查点(即音画同步播放中第N次声音停顿处重新有声音的播放时刻)对应的第一帧编号,然后根据当前获取到的第一帧编号、第二帧编号、预设的第一阈值,判断当前的音画是否同步。其中,所述第三阈值也是预先设置的一个音频信号强度值,其取值可以与所述第二阈值相同,也可以不同。
例如,假设当前获取到的第一帧编号为950、第二帧编号为986,预设的第一阈值为时间差值且取值为500ms,则第一帧编号与第二帧编号的绝对差值为|950-986|=36,计算得到当前视频画面在当前播放场景下与在音画同步播放场景下相差的时间差值为(36/50)×1000=720ms,由于计算得到的时间差值大于第一阈值500ms,则可判断出当前的音画不同步。进一步地,还可根据计算得到的时间差值对播放的视频进行音画同步校正。
本发明提出的音画同步测试方法,在视频的每一帧中依序添加帧编号,然后通过音频解码器读取视频的音频数据,以确定出音频信号从无到有时的检查点,并从添加帧编码后的视频中获取各个检查点各自对应的第一帧编号;在终端上播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步。测试时所用的视频可以是用户实际观看的任意视频,且在同一声音停顿处重新有声音时,通过比较此时本该播放的帧编号与当前实际播放的帧编号的差异,从而实现对用户实际观看的视频进行客观、准确、简捷的音画同步测试。
进一步地,基于上述音画同步测试方法第一实施例提出本发明音画同步测试方法第二实施例,在本实施例中,所述根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步的步骤包括:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
本实施例中,所述第一阈值是为帧编号的绝对差值设置的一个阈值。假设当前获取到的第一帧编号为950、第二帧编号为986,第一阈值为30,则帧编号的绝对差值为|950-986|=36,大于预设的第一阈值30,因而可确定当前的音画不同步。进一步地,还可根据帧编号的绝对差值对播放的视频进行音画同步校正。
本发明提出的音画同步测试方法,通过计算第一帧编号与第二帧编号的绝对差值,并比较计算得到的绝对差值与预设的第一阈值的大小关系,从而判断当前的音画是否同步,判断过程简单、快速,且判断结果准确。
进一步地,基于上述音画同步测试方法第二实施例提出本发明音画同步测试方法第三实施例,在本实施例中,所述音画同步测试方法还包括:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
例如,在终端上播放该视频时,在该视频的第一帧对应的视频画面的指定位置(如右下角)处能够显示帧编号1,在该视频的第二帧对应的视频画面的相同位置处能够显示帧编号2,以此类推。
进一步地,参照图3,所述在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号的步骤包括:
S31、在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
可通过与终端进行串口连接,从而从终端的音频处理装置(如扬声器)获取到视频播放时实时的音频信号的强度,也可通过麦克风等装置捕获视频播放时的声音,从而获取到实时的音频信号的强度。
S32、当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
在终端上播放添加帧编号后的视频时,使用预置的摄像头对准该视频的视频画面,且当侦测到音频信号从无到有,即音频信号的强度从零变为超过预设的第三阈值时,控制摄像头捕获当前的视频画面。
S33、对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
通过摄像头得到当前的视频画面后,利用图像处理技术提取出该视频画面上的帧编号,提取出的帧编号即为当前视频画面对应的第二帧编号。
本发明提出的音画同步测试方法,控制帧编号在终端播放视频时显示在相应视频画面的指定位置,使得测试者能够直观查看到各个测试点(即音频信号从无到有时)对应视频画面的帧编号,且能够通过预置的摄像头捕获得到该帧编号,从而获得测试需要的第二帧编号。
本发明还提供一种音画同步测试装置,如图4所示,示出了本发明音画同步测试装置第一实施例的功能模块示意图,所述音画同步测试装置包括:
视频处理模块100,用于在视频的每一帧中依序添加帧编号;
在进行视频的音画同步测试时,首先需要选取一段视频,该段视频是用户实际观看的任意视频,可以是一个完整的长视频,也可以是从一个完整的长视频中截取的一小段视频。采用现有的视频处理技术,可在选取的视频的每一帧中依序添加帧编号。例如,假设待测试的是一个10分钟的视频,其帧率为50fps,则该视频的总帧数为50×10×60=30000,在添加帧编号时,视频处理模块100可将编号1-30000根据视频帧的先后顺序依次添加到该视频的每一帧中,即该视频的第一帧的编号为1,第二帧的编号为2,第800帧的编号为800,以此类推。添加的帧编号可存储在每一帧对应的视频帧数据中。
检查点确定模块200,用于通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
进一步地,参照图5,所述检查点确定模块200包括:
侦测单元201,用于通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
确定单元202,用于当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
获取单元203,用于从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
所述视频包括图像数据(即视频帧数据)和音频数据,这些数据存储在同一个数据包里,当需要读取图像时,解析该数据包中的图像数据即可,当需要读取音频数据时,解析该数据包中的音频数据即可。通过音频解码器读取该段视频(也可指添加帧编号后的视频)的音频数据时,可获取到该音频数据的每一播放时刻(与该段视频的播放时刻一致)对应的音频信号。侦测单元201实时侦测该读取过程中音频信号的强度,确定单元202在检测到音频信号从无到有,即音频信号的强度从零变为到一个较高的值,且该值大于预设的第二阈值时,将此时音频信号对应的播放时刻确定为检查点,且获取单元203从添加帧编号后的视频中解析当前检查点对应的视频帧,以获取该视频帧中的帧编号,获得的帧编号即为当前检查点(即当前播放时刻),对应的第一帧编号。
其中,第一帧编号为各个检查点在视频中对应的视频帧的帧编号;所述第二阈值是预先设置的一个音频信号强度值,用于表示强度值超过第二阈值的音频信号属于有声音的音频信号。
同步测试模块300,用于在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步。
所述终端可以为电视机,也可以为手机等能够播放视频且需要对视频的图像显示和音频播放进行处理的硬件设备。所述第二帧编号是用来区分于第一帧编号的一类帧编号,表示在通过终端播放视频时获取到的帧编号。N的取值依次为1、2、3…。
以电视机为例,则测试时的视频为电视机实际接收的直播数字信号经处理后得到的TS视频文件。在进行音画同步测试时,在电视机上播放添加帧编号后的视频,同时,同步测试模块300可通过串口线与电视机连接以获取所需数据。在播放过程中,同步测试模块300可获取到实时的音频信号和视频帧数据,当检测到音频信号从无到有,即音频信号的强度从零变为超过预设的第三阈值时,一方面获取当前视频画面所属视频帧的第二帧编号,另一方面根据该次检测到音频信号从无到有的次序,即第N次,获取之前确定出的检查点中、播放时刻按升序排列的第N个检查点(即音画同步播放中第N次声音停顿处重新有声音的播放时刻)对应的第一帧编号,然后根据当前获取到的第一帧编号、第二帧编号、预设的第一阈值,判断当前的音画是否同步。其中,所述第三阈值也是预先设置的一个音频信号强度值,其取值可以与所述第二阈值相同,也可以不同。
例如,假设当前获取到的第一帧编号为950、第二帧编号为986,预设的第一阈值为时间差值且取值为500ms,则第一帧编号与第二帧编号的绝对差值为|950-986|=36,计算得到当前视频画面在当前播放场景下与在音画同步播放场景下相差的时间差值为(36/50)×1000=720ms,由于计算得到的时间差值大于第一阈值500ms,则同步测试模块300可判断出当前的音画不同步。进一步地,还可根据计算得到的时间差值对播放的视频进行音画同步校正。
本发明提出的音画同步测试装置,在视频的每一帧中依序添加帧编号,然后通过音频解码器读取视频的音频数据,以确定出音频信号从无到有时的检查点,并从添加帧编码后的视频中获取各个检查点各自对应的第一帧编号;在终端上播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步。测试时所用的视频可以是用户实际观看的任意视频,且在同一声音停顿处重新有声音时,通过比较此时本该播放的帧编号与当前实际播放的帧编号的差异,从而实现对用户实际观看的视频进行客观、准确、简捷的音画同步测试。
进一步地,基于上述音画同步测试装置第一实施例提出本发明音画同步测试装置第二实施例,在本实施例中,所述同步测试模块300包括判断单元301,所述判断单元301用于:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
本实施例中,所述第一阈值是为帧编号的绝对差值设置的一个阈值。假设当前获取到的第一帧编号为950、第二帧编号为986,第一阈值为30,则帧编号的绝对差值为|950-986|=36,大于预设的第一阈值30,因而判断单元301可判断出当前的音画不同步。进一步地,还可根据帧编号的绝对差值对播放的视频进行音画同步校正。
本发明提出的音画同步测试装置,通过计算第一帧编号与第二帧编号的绝对差值,并比较计算得到的绝对差值与预设的第一阈值的大小关系,从而判断当前的音画是否同步,判断过程简单、快速,且判断结果准确。
进一步地,基于上述音画同步测试装置第二实施例提出本发明音画同步测试装置第三实施例,在本实施例中,所述视频处理模块100具体用于:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
例如,在终端上播放该视频时,在该视频的第一帧对应的视频画面的指定位置(如右下角)处能够显示帧编号1,在该视频的第二帧对应的视频画面的相同位置处能够显示帧编号2,以此类推。
进一步地,参照图6,所述同步测试模块300还包括检测单元302,所述检测单元302包括:
侦测子单元,用于在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
可通过与终端进行串口连接,从而从终端的音频处理装置(如扬声器)获取到视频播放时实时的音频信号的强度,也可通过麦克风等装置捕获视频播放时的声音,从而使侦测子单元获取到实时的音频信号的强度。
捕获子单元,用于当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
在终端上播放添加帧编号后的视频时,使用预置的摄像头对准该视频的视频画面,且当侦测到音频信号从无到有,即音频信号的强度从零变为超过预设的第三阈值时,捕获子单元控制摄像头捕获当前的视频画面。
获取子单元,用于对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
通过摄像头得到当前的视频画面后,获取子单元利用图像处理技术提取出该视频画面上的帧编号,提取出的帧编号即为当前视频画面对应的第二帧编号。
本发明提出的音画同步测试装置,控制帧编号在终端播放视频时显示在相应视频画面的指定位置,使得测试者能够直观查看到各个测试点(即音频信号从无到有时)对应视频画面的帧编号,且能够通过预置的摄像头捕获得到该帧编号,从而获得测试需要的第二帧编号。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种音画同步测试方法,其特征在于,所述音画同步测试方法包括:
在视频的每一帧中依序添加帧编号;
通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步;其中,N的取值依次为1、2、3…。
2.如权利要求1所述的音画同步测试方法,其特征在于,所述根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步的步骤包括:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
3.如权利要求1或2所述的音画同步测试方法,其特征在于,所述通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号的步骤包括:
通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
4.如权利要求3所述的音画同步测试方法,其特征在于,所述音画同步测试方法还包括:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
5.如权利要求4所述的音画同步测试方法,其特征在于,所述在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号的步骤包括:
在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
6.一种音画同步测试装置,其特征在于,所述音画同步测试装置包括:
视频处理模块,用于在视频的每一帧中依序添加帧编号;
检查点确定模块,用于通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
同步测试模块,用于在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步;其中,N的取值依次为1、2、3…。
7.如权利要求6所述的音画同步测试装置,其特征在于,所述同步测试模块包括判断单元,所述判断单元用于:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
8.如权利要求6或7所述的音画同步测试装置,其特征在于,所述检查点确定模块包括:
侦测单元,用于通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
确定单元,用于当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
获取单元,用于从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
9.如权利要求8所述的音画同步测试装置,其特征在于,所述视频处理模块具体用于:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
10.如权利要求9所述的音画同步测试装置,其特征在于,所述同步测试模块包括检测单元,所述检测单元包括:
侦测子单元,用于在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
捕获子单元,用于当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
获取子单元,用于对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
CN201610808577.4A 2016-09-07 2016-09-07 音画同步测试方法及装置 Active CN106358039B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610808577.4A CN106358039B (zh) 2016-09-07 2016-09-07 音画同步测试方法及装置
PCT/CN2016/112984 WO2018045682A1 (zh) 2016-09-07 2016-12-29 音画同步测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610808577.4A CN106358039B (zh) 2016-09-07 2016-09-07 音画同步测试方法及装置

Publications (2)

Publication Number Publication Date
CN106358039A true CN106358039A (zh) 2017-01-25
CN106358039B CN106358039B (zh) 2019-02-01

Family

ID=57859367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610808577.4A Active CN106358039B (zh) 2016-09-07 2016-09-07 音画同步测试方法及装置

Country Status (2)

Country Link
CN (1) CN106358039B (zh)
WO (1) WO2018045682A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613357A (zh) * 2017-09-13 2018-01-19 广州酷狗计算机科技有限公司 声画同步优化方法、装置及可读存储介质
WO2018040669A1 (zh) * 2016-08-30 2018-03-08 京东方科技集团股份有限公司 对音频和视频信号进行同步的方法和装置
CN110446103A (zh) * 2018-05-04 2019-11-12 腾讯科技(深圳)有限公司 一种音像测试方法、装置及存储介质
CN112929654A (zh) * 2021-03-16 2021-06-08 腾讯音乐娱乐科技(深圳)有限公司 检测音画同步的方法、装置、设备及存储介质
CN113207009A (zh) * 2021-05-11 2021-08-03 中国工商银行股份有限公司 音视频交互系统音画失步的测试方法、装置及系统
CN114666636A (zh) * 2022-03-01 2022-06-24 阿里巴巴(中国)有限公司 音画同步检测方法及计算机可读存储介质
CN116128453A (zh) * 2023-02-18 2023-05-16 广州市点易资讯科技有限公司 一种线上课程巡检方法、系统、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114007064B (zh) * 2021-11-01 2023-03-21 腾讯科技(深圳)有限公司 特效同步评估方法、装置、设备及存储介质
CN114095637B (zh) * 2021-11-24 2024-11-26 努比亚技术有限公司 一种音视频分离拍摄方法、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645944A (zh) * 2004-12-13 2005-07-27 武汉大学 一种测试音视频编解码系统音视频失步的方法
CN1836443A (zh) * 2003-07-01 2006-09-20 Lg电子株式会社 用于测试数字电视接收机的声像吻合的装置和方法
JP2007312192A (ja) * 2006-05-19 2007-11-29 Oki Electric Ind Co Ltd リップシンク評価装置、及びリップシンク調整装置
CN103051921A (zh) * 2013-01-05 2013-04-17 北京中科大洋科技发展股份有限公司 一种精确检测视音频处理系统视频、音频同步误差的方法
CN105898505A (zh) * 2016-04-27 2016-08-24 北京小米移动软件有限公司 视频即时通讯中测试音视频同步的方法、装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2437123B (en) * 2006-04-10 2011-01-26 Vqual Ltd Method and apparatus for measuring audio/video sync delay
CN101150729A (zh) * 2006-09-22 2008-03-26 康佳集团股份有限公司 音视频同步播放方法
CN101742357B (zh) * 2009-12-29 2012-10-24 北京牡丹电子集团有限责任公司 数字电视设备音视频同步误差的测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1836443A (zh) * 2003-07-01 2006-09-20 Lg电子株式会社 用于测试数字电视接收机的声像吻合的装置和方法
CN1645944A (zh) * 2004-12-13 2005-07-27 武汉大学 一种测试音视频编解码系统音视频失步的方法
JP2007312192A (ja) * 2006-05-19 2007-11-29 Oki Electric Ind Co Ltd リップシンク評価装置、及びリップシンク調整装置
CN103051921A (zh) * 2013-01-05 2013-04-17 北京中科大洋科技发展股份有限公司 一种精确检测视音频处理系统视频、音频同步误差的方法
CN105898505A (zh) * 2016-04-27 2016-08-24 北京小米移动软件有限公司 视频即时通讯中测试音视频同步的方法、装置及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040669A1 (zh) * 2016-08-30 2018-03-08 京东方科技集团股份有限公司 对音频和视频信号进行同步的方法和装置
CN107613357A (zh) * 2017-09-13 2018-01-19 广州酷狗计算机科技有限公司 声画同步优化方法、装置及可读存储介质
CN110446103A (zh) * 2018-05-04 2019-11-12 腾讯科技(深圳)有限公司 一种音像测试方法、装置及存储介质
CN112929654A (zh) * 2021-03-16 2021-06-08 腾讯音乐娱乐科技(深圳)有限公司 检测音画同步的方法、装置、设备及存储介质
CN112929654B (zh) * 2021-03-16 2022-03-29 腾讯音乐娱乐科技(深圳)有限公司 检测音画同步的方法、装置、设备及存储介质
CN113207009A (zh) * 2021-05-11 2021-08-03 中国工商银行股份有限公司 音视频交互系统音画失步的测试方法、装置及系统
CN113207009B (zh) * 2021-05-11 2022-11-29 中国工商银行股份有限公司 音视频交互系统音画失步的测试方法、装置及系统
CN114666636A (zh) * 2022-03-01 2022-06-24 阿里巴巴(中国)有限公司 音画同步检测方法及计算机可读存储介质
CN116128453A (zh) * 2023-02-18 2023-05-16 广州市点易资讯科技有限公司 一种线上课程巡检方法、系统、设备及介质
CN116128453B (zh) * 2023-02-18 2024-05-03 广州市点易资讯科技有限公司 一种线上课程巡检方法、系统、设备及介质

Also Published As

Publication number Publication date
CN106358039B (zh) 2019-02-01
WO2018045682A1 (zh) 2018-03-15

Similar Documents

Publication Publication Date Title
CN106358039B (zh) 音画同步测试方法及装置
CN109089064B (zh) 一种用于处理媒体信号的装置和方法
CN100456818C (zh) 用于测试数字电视接收机的声像吻合的装置和方法
CN106961568B (zh) 一种画面切换方法、装置和系统
CN104661021B (zh) 一种视频流的质量评估方法
US20230217084A1 (en) Image capture apparatus, control method therefor, image processing apparatus, and image processing system
CN110335590B (zh) 语音识别测试方法、装置及系统
CN104202614B (zh) 一种基于网络环境调整视频画质的方法及装置
CN210518643U (zh) 一种精确测试视频监视时延的系统
EP2175622B1 (en) Information processing device, information processing method and storage medium storing computer program
CN105898505B (zh) 视频即时通讯中测试音视频同步的方法、装置及系统
CN103219029A (zh) 自动调节音视频同步的方法和系统
CN105100794A (zh) 音视频同步测试方法及装置
CN1997161A (zh) 一种视频终端以及一种音频码流处理方法
CN108668167B (zh) 一种视频还原的方法及装置
CN105208379A (zh) 一种检测视频端口的方法及设备
US11094084B2 (en) Image processing method
CN107172419A (zh) 音视频同步测试方法及系统
US20140009588A1 (en) Video display apparatus and video display method
CN107968942B (zh) 一种直播平台音视频时间差测量方法与系统
CN116939119A (zh) 影音信号同步方法与影音同步处理系统
US11956417B2 (en) Method of measuring video latency
CN105228026A (zh) 电视图文多设备显示方法、装置及系统
EP2865186A1 (en) Synchronized movie summary
CN118869981A (zh) 视频通话延时检测方法、装置、设备、存储介质及产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant