CN120956970A - 一种音频处理方法、音箱设备及显示设备 - Google Patents
一种音频处理方法、音箱设备及显示设备Info
- Publication number
- CN120956970A CN120956970A CN202511071814.9A CN202511071814A CN120956970A CN 120956970 A CN120956970 A CN 120956970A CN 202511071814 A CN202511071814 A CN 202511071814A CN 120956970 A CN120956970 A CN 120956970A
- Authority
- CN
- China
- Prior art keywords
- code modulation
- data
- pulse code
- modulation data
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8193—Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施例提供一种音频处理方法、音箱设备及显示设备,方法包括:响应于接收到显示设备的通路切换触发提示,接收显示设备发送的原始音频数据;对音频数据执行解码与渲染得到第一脉冲编码调制数据;播放第一脉冲编码调制数据;从第一脉冲编码调制数据中截取第二脉冲编码调制数据;将第二脉冲编码调制数据传输至显示设备,以在音箱设备播放第一脉冲编码调制数据时通过显示设备内置喇叭同步播放第二脉冲编码调制数据。该方法可以通过音箱设备替代电视端执行解码与渲染,从响度上弥补电视端响度上的不足。音箱设备通过数据线硬件传输给电视端内置喇叭,传输时间可忽略不计,声音传输上基本同步,解决音频数据播放时声音不同步及响度不匹配的问题。
Description
技术领域
本申请涉及显示设备技术领域,尤其涉及一种音频处理方法、音箱设备及显示设备。
背景技术
为了给用户提供较好的视听效果,在家庭或其他使用场景中,可以采用组合发声方案。在一些实施例中,通过整合电视内置扬声器与外部音频设备(如条形音箱SoundBar、低音炮等),实现多声道环绕声场的构建,以获得更宽广的声场与更具沉浸感的音效体验。以SoundBar为例,在上述应用场景中,电视端负责播放本地或网络流媒体视频信号,外置SoundBar则可以通过音频回传通道、光纤或无线方式等与电视连接,二者协同工作以实现视频画面与多声道音频的同步输出。
在现有组合发声方案中,通常以电视SoC为核心,所有音频数据须先经电视内部的解码器完成格式解析(如Dolby Digital、DTS-X等),再经电视内置的渲染器完成虚拟环绕、响度均衡等处理后,最终输出脉冲编码调制数据(Pulse-Code Modulation Data,PCMData)即输出PCM流驱动电视扬声器;与此同时,电视将音频数据传输至SoundBar,由SoundBar进行解码渲染并驱动自身扬声器进行播放。在该链路中,解码、渲染、重采样、增益控制等关键处理环节全部集中在电视端。
然而,由于电视作为综合性显示终端,其重心主要倾斜于图像处理与显示模组,导致音频链路往往仅配置基础解码器与简化版渲染算法,难以支持如DTS-X、DolbyAtmos等高级音效。同时,电视端有限的DSP算力会引入额外延迟,而SoundBar直接回放未经同步校正的音频信号,会进一步造成电视扬声器与SoundBar之间的声音不同步。此外,电视与SoundBar在最大响度、动态范围及增益策略上缺乏统一校准,使得同一音轨在两套扬声器上的响度感知不一致。因此,目前组合发声方案中,音频数据播放时存在声音不同步以及响度不匹配的问题。
发明内容
本申请提供一种音频处理方法、音箱设备及显示设备,以解决目前组合发声方案中,音频数据播放时存在声音不同步以及响度不匹配的问题。
第一方面,本申请一些实施例提供一种音频处理方法,应用于音箱设备,包括。
响应于接收到显示设备的通路切换触发提示,接收显示设备发送的原始音频数据,所述原始音频数据为未经所述显示设备执行解码与渲染的音频数据;
对所述音频数据执行解码与渲染,得到第一脉冲编码调制数据;
播放所述第一脉冲编码调制数据;
从所述第一脉冲编码调制数据中截取第二脉冲编码调制数据;
将所述第二脉冲编码调制数据通过数据线传输至所述显示设备,以在所述音箱设备播放所述第一脉冲编码调制数据时,通过所述显示设备的内置喇叭同步播放所述第二脉冲编码调制数据。
上述技术方案具有如下优点或有益效果:所述方法可以通过音箱设备替代电视端执行解码与渲染,减少处理链路,从响度上弥补电视端响度上的不足,达到响度上的一致。同时,音箱设备通过数据线硬件传输给电视端内置喇叭,传输时间可以忽略不计,所以二者声音传输上基本是同步的,进而解决目前组合发声方案中,音频数据播放时存在声音不同步以及响度不匹配的问题。
在一些实施例中,将所述第二脉冲编码调制数据通过数据线传输至所述显示设备,以在所述音箱设备播放所述第一脉冲编码调制数据时,通过所述显示设备的内置喇叭同步播放所述第二脉冲编码调制数据,包括:
将所述第二脉冲编码调制数据通过所述数据线传输至所述显示设备中的数模转换模块,以使所述数模转换模块在接收到所述第二脉冲编码调制数据后,将所述第二脉冲编码调制数据的格式转换为所述内置喇叭相匹配的格式,并将转换格式后的所述第二脉冲编码调制数据传送至所述内置喇叭,以在所述音箱设备播放所述第一脉冲编码调制数据时,通过所述内置喇叭同步播放所述第二脉冲编码调制数据。
上述技术方案具有如下优点或有益效果:通过SoundBar统一控制响度参数(如音量增益、动态范围压缩等),并同步作用于内置喇叭,确保两者输出的音频在响度上保持一致,避免因设备差异导致的音量不平衡问题,提升多声道组合发声时的声场均匀性。同时,内置喇叭接收的数据直接来自SoundBar的转换模块,而非经过电视端的解码和渲染流程,电视端仅作为数据透传通道,不参与音频信号处理,从而消除了电视端处理带来的额外时延。音频数据从SoundBar到内置喇叭的传输路径更短,处理步骤更少,显著减少了信号传递的时延,提升了音频与视频的同步性。
在一些实施例中,将所述第二脉冲编码调制数据通过所述数据线传输至所述显示设备中的数模转换模块,包括:
将所述第二脉冲编码调制数据按照所述音箱设备中的集成电路内置音频总线的协议格式封装为传输帧;
将所述传输帧通过与所述端子连接的数据线传输至所述显示设备的数模转换模块,以使所述数模转换模块对所述脉冲编码调制数据执行格式转换后发送至内置喇叭,以通过所述内置喇叭播放所述第一脉冲编码调制数据。
上述技术方案具有如下优点或有益效果:通过将PCM数据封装为符合集成电路内置音频总线协议格式的传输帧,可以确保数据在传输过程中的稳定性和完整性,并提升设备之间传输音频数据的兼容性。
在一些实施例中,在将所述传输帧通过与所述端子连接的数据线传输至所述显示设备的数模转换模块之后,还包括:
检测所述数模转换模块的性能参数;所述性能参数包括对所述脉冲编码调制数据的采样率支持范围、量化精度参数及时钟抖动特性;
根据所述性能参数调整与所述数模转换模块传输所述脉冲编码调制数据的传输速率。
上述技术方案具有如下优点或有益效果:音箱设备根据检测到的这些性能参数,可以动态调整向数模转换模块传输PCM数据的速率,确保数据传输与数模转换模块的处理能力匹配。
在一些实施例中,对所述音频数据执行解码与渲染,得到第一脉冲编码调制数据,包括:
获取所述音频数据的编码格式;
调取与所述编码格式对应的解码算法对所述音频数据执行解码,得到多声道音频流;
对所述多声道音频流执行混音处理,生成渲染后音频流;
将渲染后的所述音频流编码为所述脉冲编码调制数据。
上述技术方案具有如下优点或有益效果:音箱设备能够获取并识别不同来源音频数据的编码格式,并调取相应的解码算法进行解码,使其兼容多种音频编码格式,提升设备通用性。通过对多声道音频流进行混音处理,音箱设备可以根据自身的硬件特性和用户的个性化设置,对音频信号进行精细调整。例如,通过音量平衡处理,确保各个声道的声音比例协调,避免某个声道声音过大或过小而影响整体听觉效果,进而优化音频效果,提升用户听觉体验。
在一些实施例中,在播放所述第一脉冲编码调制数据之前,还包括:
对所述第一脉冲编码调制数据进行增益调整,以使所述第一脉冲编码调制数据的幅值与所述显示设备的内置喇叭的额定功率相匹配;
和/或,对所述第一脉冲编码调制数据执行时延补偿,以消除所述音箱设备与所述显示设备之间的音频输出时差。
上述技术方案具有如下优点或有益效果:通过匹配显示设备喇叭的额定功率,可以避免因信号幅值不匹配导致的喇叭损坏(如过载烧毁)或声音失真(如削波),同时确保不同功率喇叭均能输出清晰、无畸变的音频,提升组合发声系统的可靠性。同时,消除了音箱设备与显示设备之间的音频输出时差,确保多声道音频(如左右声道、中置声道)的声像定位准确,避免因时延不一致导致的声场混乱或声音滞后画面的问题。
在一些实施例中,从所述第一脉冲编码调制数据中截取第二脉冲编码调制数据,包括:
基于预设比例,从所述第一脉冲编码调制数据中截取所述显示设备的内置喇叭中各声道对应的第二脉冲编码调制数据;所述预设比例为所述内置喇叭中各声道对应的所述第二脉冲编码调制数据在所述第一脉冲编码调制数据中的比例。
上述技术方案具有如下优点或有益效果:通过预设比例截取数据,可以确保传输给显示设备内置喇叭的音频数据在响度上与音箱设备播放的音频相匹配,避免因设备间响度不一致导致的听觉体验下降。同时,由于音频数据是从同一组第一脉冲编码调制数据中截取的,并且通过硬件数据线(几乎无延迟)传输给显示设备,因此可以确保音箱设备和显示设备内置喇叭在播放音频时的同步性。
在一些实施例中,截取预设比例的所述脉冲编码调制数据,包括:
通过所述端子向显示设备发送配置查询请求;
接收所述显示设备根据所述配置查询请求返回的配置响应包;
解析所述配置响应包,得到所述显示设备的声道配置参数;所述声道配置参数包括内置喇叭支持的声道数量、各声道频率响应范围、内置喇叭坐标信息和接口协议类型;
根据所述声道配置参数确定预设比例;
按照所述预设比例从所述第一脉冲编码调制数据中截取预设比例的所述第二脉冲编码调制数据。
上述技术方案具有如下优点或有益效果:通过获取显示设备200的声道配置参数,音箱设备可以检测电视端的声道支持能力,灵活调整数据分配策略,确保截取的PCM数据与硬件能理完全匹配、保证组合发声效果与电视端硬件匹配,如避免向无中置喇叭的显示设备传输中置声道数据,防止声音缺失或噪声干扰。同时,电视端无需参与复杂解码,仅需接收适配自身特性的声道数据,可以降低处理负载并减少时延。
第二方面,本申请一些实施例提供一种音箱设备,包括:
响应于接收到显示设备的通路切换触发提示,接收显示设备发送的原始音频数据,所述原始音频数据为未经所述显示设备执行解码与渲染的音频数据;
对所述音频数据执行解码与渲染,得到第一脉冲编码调制数据;
播放所述第一脉冲编码调制数据;
从所述第一脉冲编码调制数据中截取第二脉冲编码调制数据;
将所述第二脉冲编码调制数据通过数据线传输至所述显示设备,以在所述音箱设备播放所述第一脉冲编码调制数据时,通过所述显示设备的内置喇叭同步播放所述第二脉冲编码调制数据。
上述技术方案具有如下优点或有益效果:所述音箱设备可以通过音箱设备替代电视端执行解码与渲染,减少处理链路,从响度上弥补电视端响度上的不足,达到响度上的一致。同时,音箱设备通过数据线硬件传输给电视端内置喇叭,传输时间可以忽略不计,所以二者声音传输上基本是同步的,进而解决目前组合发声方案中,音频数据播放时存在声音不同步以及响度不匹配的问题。
第三方面,本申请一些实施例提供一种显示设备,包括:
显示器,被配置为显示用户界面;
控制器,被配置为:
监控输入输出引脚的电平位,以判断音箱设备与显示设备中端子的插入状态;
在所述电平位发生变化的情况下,确定所述音箱设备已插入所述端子,并生成通路切换触发提示;
响应于所述通路切换触发提示,断开主芯片与集成电路内置音频总线的数据通路;
接通数模转换模块与所述集成电路内置音频总线的数据通路;
将音频数据发送至所述音箱设备。
上述技术方案具有如下优点或有益效果:显示设备通过通路切换、数据透传和状态反馈,与音箱设备协同实现音频处理任务的转移。在解决响度匹配问题时,显示设备提供声道配置信息并作为透传通道,确保音箱设备统一控制响度;在解决同步问题时,显示设备绕过自身处理环节,缩短传输路径,并配合时钟同步机制,实现声音与画面的高度同步,有效克服传统组合发声方案中的响度不一致和声音不同步缺陷。
由以上技术方案可知,本申请一些实施例提供一种音频处理方法、音箱设备及显示设备,方法包括:响应于接收到显示设备的通路切换触发提示,接收显示设备发送的原始音频数据,所述原始音频数据为未经所述显示设备执行解码与渲染的音频数据;对音频数据执行解码与渲染,得到第一脉冲编码调制数据;播放第一脉冲编码调制数据;从第一脉冲编码调制数据中截取第二脉冲编码调制数据;将截取后的脉冲编码调制数据通过与显示设备的端子连接的数据线传输至显示设备,以在音箱设备播放第一脉冲编码调制数据时,通过显示设备的内置喇叭同步播放第二脉冲编码调制数据,实现内置喇叭与音箱设备组合发声。所述方法可以通过音箱设备替代电视端执行解码与渲染,减少处理链路,从响度上弥补电视端响度上的不足,达到响度上的一致。同时,音箱设备通过数据线硬件传输给电视端内置喇叭,传输时间可以忽略不计,所以二者声音传输上基本是同步的,进而解决目前组合发声方案中,音频数据播放时存在声音不同步以及响度不匹配的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一些实施例提供的显示设备与控制设备之间操作场景的示意图;
图2为本申请一些实施例提供的显示设备的硬件配置示意图;
图3为本申请一些实施例提供的显示设备的软件配置示意图;
图4为本申请一些实施例示出的现有组合发声方案的场景示意图;
图5为本申请一些实施例提供的音箱执行音频处理方法的流程示意图;
图6为本申请一些实施例提供的显示设备端执行通路切换的时序示意图;
图7为本申请一些实施例提供的音箱设备执行音频处理方法的时序示意图;
图8为本申请一些实施例提供的组合发声方案的架构场景示意图;
图9为本申请一些实施例提供的音箱设备对音频数据执行解码与渲染的流程示意图;
图10为本申请一些实施例提供的音箱设备从第一脉冲编码调制数据中截取第二脉冲编码调制数据的流程示意图。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请实施例中,所述显示设备200泛指具有画面显示和数据处理能力的设备。例如,显示设备200包括但不限于智能电视、移动终端、计算机、监视器、广告屏、可穿戴设备、虚拟现实设备、增强现实设备等。
图1为本申请一些实施例提供的显示设备与控制设备之间操作场景的示意图。如图1中示出,用户可通过触控操作、移动终端300和控制设备100操作显示设备200。其中,控制设备100用于接收用户输入的操作指令,并将操作指令转换为显示设备200可识别和响应的控制指令。例如,控制设备100可以为遥控器、触控笔、手柄等。
移动终端300可以作为一种控制设备,用于执行用户与显示设备200之间的人机交互。移动终端300还可以作为一种通信设备,用于与显示设备200建立通信连接,进行数据交互。在一些实施例中,移动终端300可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作和数据通信的目的。也可以将移动终端300上显示音视频内容传输到显示设备200上,实现同步显示功能。
在一些实施例中,移动终端300或其他电子设备,也可以通过运行控制显示设备200的应用程序,模拟控制设备100的功能。
如图1中还示出,显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。
显示设备200可以提供广播接收电视功能,还可以附加提供计算机支持功能的智能网络电视功能,包括但不限于,网络电视、智能电视、互联网协议电视(IPTV)等。
图2为本申请一些实施例提供的图1中显示设备200的硬件配置框图。
在一些实施例中,显示设备200可以包括调谐解调器210、通信装置220、检测器230、装置接口240、控制器250、显示器260、音频输出装置270、存储器、供电电源、用户输入接口中的至少一种。
在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
在一些实施例中,显示器260包括用于呈现画面的显示功能组件,以及驱动图像显示的驱动组件。显示器260用于接收源自控制器250输出的图像信号进行显示。例如,显示器260可以用于显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中,通信装置220是用于根据各种通信协议类型与外部设备或服务器400进行通信的组件。显示设备200可以根据支持的通信方式的不同,设置有多个通信装置220。例如,显示设备200支持无线网络通信时,显示设备200可以设有包含WiFi功能的通信装置220。显示设备200支持蓝牙连接通信时,显示设备200需要设有包含蓝牙功能的通信装置220。
通信装置220可以通过无线或有线连接的方式使显示设备200与外部设备或服务器400进行通信连接。其中,有线连接可以通过数据线、接口等组件将显示设备200与外部设备连接。无线连接则可以通过无线信号或无线网络将显示设备200与外部设备连接。显示设备200可以直接与外部设备建立连接关系,也可以通过网关、路由、连接设备等间接建立连接关系。
在一些实施例中,控制器250可以包括中央处理器、视频处理器、音频处理器、图形处理器、电源处理器中的至少一个,用于输入/输出的第一接口至第n接口,控制器250通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
在一些实施例中,用户可在显示器260上显示的图形用户界面(Graphical UserInterface,GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。
在一些实施例中,音频输出装置270可以为显示设备200的本机扬声器,也可以为显示设备200外接的音频输出设备。其中,对于显示设备200外接的音频输出设备,显示设备200还可以设置有外接音频输出端子,音频输出设备可以通过外接音频输出端子接入显示设备200,以输出显示设备200的声音。
在一些实施例中,用户输入接口280,可用于接收来自用户输入的指令。
为了执行用户交互,在一些实施例中,显示设备200可以运行有操作系统。所述操作系统是用于管理和控制显示设备200中硬件资源和软件资源的计算机程序。操作系统可以控制显示设备提供用户界面,例如,操作系统可以直接控制显示设备提供用户界面,也可以通过运行应用程序提供用户界面。操作系统还允许用户与显示设备200进行交互。
需要说明的是,所述操作系统可以是基于特定操作平台的原生操作系统,也可以是基于特定操作平台深度定制的第三方操作系统,还可以是针对显示设备专门开发的独立操作系统。
操作系统可以根据所实现的功能划分为不同的模块或层级,例如,如图3所示,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称“应用层”),中间件层以及硬件层。
在一些实施例中,应用程序层用于为应用程序提供服务和接口,以便于显示设备200能够运行应用程序,并基于应用程序与用户交互。应用程序层中可以运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限于以上举例。
框架层为应用程序提供应用编程接口(Application Programming Interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务。
如图3所示,图3为本申请一些实施例提供的图1中显示设备中软件配置示意图,在一些实施例中,可以将显示设备200的系统分为三层,从上至下分别为应用层、中间件层和硬件层。
应用层主要包含电视上的常用应用,以及应用框架(Application Framework),其中,常用应用主要是基于浏览器Browser开发的应用,例如:HTML5 APPs;以及原生应用(Native APPs);
应用框架(Application Framework)是一个完整的程序模型,具备标准应用软件所需的一切基本功能,例如:文件存取、资料交换等,以及这些功能的使用接口(工具栏、状态列、菜单、对话框)。
原生应用(NativeAPPs)可以支持在线或离线,消息推送或本地资源访问。
中间件层包括各种电视协议、多媒体协议以及系统组件等中间件。中间件可以使用系统软件所提供的基础服务(功能),衔接网络上应用系统的各个部分或不同的应用,能够达到资源共享、功能共享的目的。
硬件层主要包括硬件抽象层(Hardware Abstraction Layer,HAL)接口、硬件以及驱动,其中,HAL接口为所有电视芯片对接的统一接口,具体逻辑由各个芯片来实现。驱动主要包含:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
需要说明的是,上述示例仅仅是对操作系统功能的简单划分,并不对本申请实施例中显示设备200的具体操作系统形式构成限定,根据显示设备的功能、操作系统的类型等因素,操作系统所包含的层级数量和具体层级类型可以表现为其他形式。
显示设备200是能够呈现用户界面,并支持用户交互的智能设备。以智能电视为例,智能电视是基于Internet应用技术,具备开放式操作系统与芯片,拥有开放式应用平台,可实现双向人机交互功能,集影音、娱乐、数据等多种功能于一体的电视产品,用于满足用户多样化和个性化需求。显示设备可以呈现不同的媒资推荐界面,媒资推荐界面可以包括多个媒资选项,以供用户进行选择和播放。
为了给用户提供较好的视听效果,在家庭或其他使用场景中,可以采用组合发声方案。在一些实施例中,通过整合电视内置扬声器与外部音频设备(如条形音箱SoundBar、低音炮等),实现多声道环绕声场的构建,以获得更宽广的声场与更具沉浸感的音效体验。以SoundBar为例,在上述应用场景中,电视端负责播放本地或网络流媒体视频信号,外置SoundBar则可以通过音频回传通道、光纤或无线方式等与电视连接,二者协同工作以实现视频画面与多声道音频的同步输出。
图4为本申请一些实施例示出的现有组合发声方案的场景示意图,如图4所示,在一些实施例中,外部音源(如HDMI、数字广播等)以音频数据Audio Data形式输入电视的解码器Decoder中,系统级主芯片SoC包括解码器Decoder、渲染器Render和输出模块,音频数据可以直接输出到解码器中,解码器Decoder将压缩的Audio Data解压缩为无损的脉冲编码调制数据PCM Data,即原始数字音频流,之后,渲染器Render对PCM Data数据进行后期处理(如采样率转换、声道混音、音量均衡等),生成最终可播放的PCM信号。之后,可以将处理完的音频数据通过电视端内置的扬声器输出。同时,电视端可以通过输出模块将未处理的音频数据传输至SoundBar,由SoundBar进行解码渲染并驱动自身扬声器进行播放。实现多设备同步播放。
也就是说,在现有组合发声方案中,通常以电视SoC为核心,所有音频数据须先经电视内部的解码器完成格式解析(如Dolby Digital、DTS-X等),再经电视内置的渲染器完成虚拟环绕、响度均衡等处理后,最终输出PCM流驱动电视扬声器;与此同时,电视将音频数据传输至SoundBar,由SoundBar进行解码渲染并驱动自身扬声器进行播放。在该链路中,解码、渲染、重采样、增益控制等关键处理环节全部集中在电视端。
然而,由于电视作为综合性显示终端,其重心主要倾斜于图像处理与显示模组,导致音频链路往往仅配置基础解码器与简化版渲染算法,难以支持如DTS-X、DolbyAtmos等高级音效。同时,电视端有限的DSP算力会引入额外延迟,而SoundBar直接回放未经同步校正的音频信号,进一步造成电视扬声器与SoundBar之间的声音不同步。此外,电视与SoundBar在最大响度、动态范围及增益策略上缺乏统一校准,使得同一音轨在两套扬声器上的响度感知不一致。因此,目前组合发声方案中,音频数据播放时存在声音不同步以及响度不匹配的问题。
基于上述场景,本申请部分实施例提供一种音频处理方法,将TV处理音频数据的模式改为SoundBar处理音频数据的模式,SoundBar具有强大的解码和渲染能力,进入以SoundBar作为主体发声的模式后,将SoC与Speaker中间的数据通路断掉,即图4中Render之后输出PCM Data到扬声器这个通路断掉(断掉的方式是连接电视端与外部设备的物理接口即端子插入时会拉动一些硬件,插上端子之后就会有一些联动的动作,进而实现断掉操作,后续会详细介绍),数据通路断掉后,Speaker不再接收电视端主芯片传递来的音频数据,而是由SoundBar直接接收Audio Data,这个过程无需电视端参与解码和渲染动作。SoundBar解码和渲染后,将部分声道数据直接通过SoundBar进行播放。同时,在组合发声方案中,SoundBar需将解码后的声道数据传递给电视端的Speaker播放。由于SoundBar输出的数据为数字信号,而Speaker硬件可能仅支持模拟信号输入,直接传输会导致数据不兼容。因此,需根据Speaker的硬件特性(如支持的信号类型、接口协议等),在数据通路中添加数模转换模块(如在电视端增加数模转换模块),将SoundBar输出的数字信号转换为Speaker可识别的模拟信号。SoundBar通过截取部分声道数据通过数据线传递给TV,进而从响度上弥补TV本身响度上的不足。此外,由于音频数据不再走之前TV处理链路,而是通过SoundBar处理,SoundBar通过数据线硬件传输给Speaker,传输时间可以忽略不计,所以二者声音传输上基本是同步的。通过使用SoundBar对音频数据进行解码和渲染,不再依赖于电视端,实现SoundBar和TV的扬声器的组合发声,以解决目前组合发声方案中,音频数据播放时存在声音不同步以及响度不匹配的问题。
为了便于对本申请一些实施例中技术方案的理解,下面结合一些具体实施例和附图对各个步骤进行详细说明。图5为本申请一些实施例提供的音箱执行音频处理方法的流程示意图,如图5所示,在一些实施例中,音频处理方法可以包括如下步骤:
步骤S1:响应于接收到显示设备的通路切换触发提示,接收显示设备发送的原始音频数据,所述原始音频数据为未经所述显示设备执行解码与渲染的音频数据。
在现有的组合发声方式中,是由电视端执行解码与渲染,为图4所示的音频数据处理通路。而在本申请实施例中,是以音箱设备如SoundBar执行解码与渲染。当响应于接收到显示设备的通路切换触发提示,音箱设备可以接收显示设备200发送的未经电视端执行解码与渲染的音频数据。需要说明的是,此处的通路切换触发提示,即为由原来电视端处理音频数据的处理通路改为由音箱设备处理音频数据的处理通路。下面结合附图和实际操作流程对上述过程进行详细说明。
在一些实施例中,显示设备200可以监控输入输出引脚的电平位,以判断音箱设备与显示设备200中端子的插入状态;在电平位发生变化的情况下,确定音箱设备已插入端子,并生成通路切换触发提示;响应于通路切换触发提示,电视端断开主芯片与集成电路内置音频总线的数据通路;接通数模转换模块与集成电路内置音频总线的数据通路;将音频数据发送至音箱设备。
示例性的,图6为本申请一些实施例提供的显示设备端执行通路切换的时序示意图,如图6所示,在一些实施例中,显示设备200中可以有TV端子、检测输入输出引脚DetectGPIO、集成电路内置音频总线IIS GPIO、主芯片SoC和数模转换模块如可以为模数转换器(Analog-to-Digital Converter,ADC),或可以为数模转换器(Digital-to-AnalogConverter,DAC),即数模转换模块可以为ADC/DAC,以下将数模转换模块简称为ADC/DAC。其中,TV端子是指连接SoundBar与电视的物理接口,可以为HDMI(ARC/EARC)或光纤(SPDIF)接口,用于传输音频数据。输入输出引脚(General-Purpose Input/Output,GPIO)是系统主芯片上的通用引脚,Detect GPIO用于通过电平高低变化检测TV端子的插入状态。IIS GPIO可以用于控制处理通路的切换。
例如,系统级芯片SoC可以通过软件层实时监控Detect GPIO(通用输入输出引脚)的电平状态(高/低),以此判断TV端子是否插入。电视端的内置喇叭Speaker的数字音频接口时钟直接同步主芯片的时钟源,以确保数据传输的时序稳定性。这样,通过电平变化可以判断出音箱设备是否插入端子中,同时,统一时钟源可消除多设备间的时钟偏差,防止因时钟不同步引发的数据错位或丢帧。当TV通过音频回传通道(Audio Return Channel,ARC)或增强型音频回传通道(EnhancedAudio Return Channel,EARC)或光纤线(Sony/PhilipsDigital Interface Format,SPDIF)接口插入时,硬件电路可以自动将Detect GPIO的电平从低拉至高如从0V拉高至3.3V。SoC软件检测到GPIO电平升高后,立即控制IIS GPIO引脚输出高电平。IIS GPIO作为控制信号,指示硬件执行数据通路切换操作。IIS GPIO拉高,会断开SoC与IIS通路,并拉通ADC/DAC与IIS通路。此时,将音频数据源从TV端(SoC解码)切换至SoundBar端(直接解码),避免TV解码能力不足导致的时延和响度问题。当TV端子拔出时,Detect GPIO被硬件拉低,即当TV端子断开连接时,硬件电路自动将Detect GPIO的电平从高拉至低,为下一次插入检测提供初始低电平状态,确保逻辑闭环。检测到Detect GPIO变低,电视端拉低IIS GPIO,如SoC软件检测到GPIO电平降低后,控制IIS GPIO引脚输出低电平,以反向切换触发,指示硬件恢复SoC与IIS接口的连接,断开ADC/DAC通路,回退至电视端的处理通路模式。以上即为数据通路切换的控制逻辑,以上是以电平拉高为插入端子的情况进行举例说明,实际使用场景中,也可能为电平拉低的状态,本申请对此不作具体限定。
图7为本申请一些实施例提供的音箱设备执行音频处理方法的时序示意图,图8为本申请一些实施例提供的组合发声方案的架构场景示意图,结合图7与图8,在本申请实施例中,组合发声方式通过如下两个路径播放,一条播放路径为,音频数据直接通过输出模块将未处理的音频数据发送至音箱设备如SoundBar中,由音箱设备执行解码与渲染。解码与渲染完成后,由SoundBar直接播放解码与渲染完成的音频数据。另一条播放路径为,SoundBar经解码与渲染生成形成脉冲编码调制数据PCM Data后,SoundBar可以截取部分数据通过数据线传输到数模转换模块如ADC/DAC中,PCM Data经ADC/DAC转换后传输至电视自带的Speaker。通过以上两条路径,形成本申请的组合发声方式。
需要说明的是,在图8中,电视端的Speaker接收到的数据是由SoundBar输出、经由数模转换模块处理后得到的,而不是接收SoC中解码器和渲染器处理后传输的音频数据,因此,Speaker输出的音频数据未经电视端执行解码与渲染流程,不会出现现有方式中的声音不同步的问题。
继续结合图7,在一些实施例中,电视端可以通过ARC或EARC或SPDIF与SoundBar连接,为TV与SoundBar之间的音频数据传输提供物理通道。SoundBar可以通过数据线(如IIS接口线)连接电视端的数模转换模块,这样,SoundBar与电视端的音频硬件直接交互,绕过电视端的SoC解码环节。电视端可以将未解码的原始音频数据直接传输至SoundBar,跳过电视自身解码与渲染步骤。音频数据可以为ByPass格式或其他格式,以ByPass格式为例,电视端仅作为数据中转站,不修改音频内容,以确保信号无损传递。将解码任务交由SoundBar完成,利用其专用音频处理芯片提升效果。SoundBar对接收的音频数据进行解码和音效渲染,随后通过内置扬声器播放多声道音频。还可以截取部分音频数据传输给数模转换模块,例如,SoundBar提取音频中的中置声道center channel数据,通过数据线(如IIS)回传至电视端的ADC/DAC模块。之后,电视端的ADC/DAC模块将SoundBar回传的数字center channel信号转换为模拟信号,适配电视端内置扬声器的输入要求。若电视端Speaker需特定格式(如调整采样率或位深),数模转换模块可进一步处理信号。这样,通过SoundBar专业解码替代电视端解码,支持高级音频格式(如DolbyAtmos)。电视端跳过解码环节,直接传输原始数据,减少处理链路。SoundBar可以从响度上弥补TV本身响度上的不足,SoundBar通过数据线硬件传输给Speaker,传输时间可以忽略不计,所以二者声音传输上基本是同步的,进而解决目前组合发声方案中,音频数据播放时存在声音不同步以及响度不匹配的问题。步骤S1执行完成后,可以执行如下步骤S2。
步骤S2:音箱设备对音频数据执行解码与渲染,得到第一脉冲编码调制数据。
图9为本申请一些实施例提供的音箱设备对音频数据执行解码与渲染的流程示意图,如图9所示,在一些实施例中,音箱设备可以通过如下方式对音频数据执行解码与渲染,得到第一脉冲编码调制数据。首先,音箱设备可以获取音频数据的编码格式,之后调取与编码格式对应的解码算法对音频数据执行解码,得到多声道音频流,再对多声道音频流执行渲染处理,生成渲染后音频流,最后将渲染后的音频流编码为脉冲编码调制数据。
示例性的,音箱设备可以解析音频数据的头部信息或其他相关元数据,以提取出音频数据所采用的编码格式,如MP3、AAC、WAV、FLAC等格式。音箱设备内部可以存储包含多种解码算法的算法库,在获取到音频数据的编码格式后,音箱设备的控制系统可以根据编码格式从算法库中调取与之匹配的解码算法。例如,如果音频数据采用MP3编码,就调取MP3解码算法;若是Dolby Digital编码,则调取相应的Dolby Digital解码算法。运用调取的解码算法对压缩的音频数据进行反向处理,将其还原为原始的、未压缩的多声道音频流。多声道音频流通常包含了多个独立的声音通道信息,如常见的5.1声道(左前、右前、中置、左后、右后和低音炮)或7.1声道等,能够营造出更加立体、逼真的音频环境。得到多声道音频流后,对多声道音频流执行混音处理,生成渲染后音频流。混音处理是将多个声道的声音信号按照一定的规则和参数进行混合和调整的过程。音箱设备可以根据自身的音频特性(如扬声器的布局、频率响应范围等)以及用户预设的音频效果参数(如均衡器设置、音效模式选择等),对多声道音频流中的各个声道信号进行音量平衡、频率调整、空间定位等操作。例如,适当增强中置声道的人声部分,使对话更加清晰;调整环绕声道的音量和延迟,营造出更广阔的声场效果。通过这些处理,生成符合音箱设备输出要求和用户期望的渲染后音频流。最后,将渲染后的音频流编码为脉冲编码调制数据。脉冲编码调制是一种将模拟音频信号转换为数字音频信号的编码方式,通过对模拟信号进行采样、量化和编码,将连续的模拟音频波形离散化为一系列数字脉冲序列。音箱设备将渲染后的音频流(此时仍为数字信号,但可能经过了混音等处理后的特定格式)按照PCM的编码规则进行转换,得到PCM数据。PCM数据具有标准化的格式,易于被音箱设备的数字模拟转换器(DAC)进一步处理,最终转换为模拟音频信号驱动扬声器发声。这样,音箱设备能够获取并识别不同来源音频数据的编码格式,并调取相应的解码算法进行解码,使其兼容多种音频编码格式,提升设备通用性。通过对多声道音频流进行混音处理,音箱设备可以根据自身的硬件特性和用户的个性化设置,对音频信号进行精细调整。例如,通过音量平衡处理,确保各个声道的声音比例协调,避免某个声道声音过大或过小而影响整体听觉效果,进而优化音频效果,提升用户听觉体验。步骤S2执行完成后,可以执行如下步骤S3。
步骤S3:音箱设备播放第一脉冲编码调制数据。
在一些实施例中,得到脉冲编码调制数据后、在播放第一脉冲编码调制数据之前,音箱设备可以对第一脉冲编码调制数据进行增益调整,以使第一脉冲编码调制数据的幅值与显示设备的内置喇叭的额定功率匹配,和/或,对第一脉冲编码调制数据执行时延补偿,以消除音箱设备与显示设备之间的音频输出时差。
示例性的,根据显示设备内置喇叭的额定功率(如喇叭的最大声压级或功率容量),音箱设备可以通过数字音量控制算法(如动态范围压缩或音量增益调整)修改PCM数据的幅值(即信号强度)。例如,若显示设备200喇叭的额定功率较低,音箱设备可以降低PCM数据的幅值,避免因信号过强导致喇叭过载或失真;反之,若喇叭功率较高,则适当提升幅值以充分利用其性能。通过实时监测音箱设备自身扬声器与显示设备喇叭的音频输出时差(可能由数据传输路径差异、处理延迟或硬件性能不同导致),音箱设备在PCM数据中可以插入精确的延迟样本(如通过缓冲器调整数据输出时间),使两者的音频信号同步到达用户耳部。例如,若音箱设备的音频处理路径比显示设备长5ms,则电视端的喇叭会延迟自身输出5ms,或提前显示设备的输出时间,以消除时差。这样,通过匹配显示设备喇叭的额定功率,可以避免因信号幅值不匹配导致的喇叭损坏(如过载烧毁)或声音失真(如削波),同时确保不同功率喇叭均能输出清晰、无畸变的音频,提升组合发声系统的可靠性。同时,消除了音箱设备与显示设备之间的音频输出时差,确保多声道音频(如左右声道、中置声道)的声像定位准确,避免因时延不一致导致的声场混乱或声音滞后画面的问题。
对脉冲编码调制数据进行增益调整与时延补偿后,音箱设备可以播放调整后的第一脉冲编码调制数据,这样,不仅保护了显示设备喇叭、提升了音质,还实现了多设备间的无缝协同,进而提升组合发声的可靠性。步骤S3执行完成后,可以执行如下步骤S4。
步骤S4:音箱设备从第一脉冲编码调制数据中截取第二脉冲编码调制数据。
在一些实施例中,音箱设备从第一脉冲编码调制数据中截取第二脉冲编码调制数据时,可以按照如下方式实现。基于预设比例,从第一脉冲编码调制数据中截取显示设备的内置喇叭中各声道对应的第二脉冲编码调制数据,其中,预设比例为内置喇叭中各声道对应的第二脉冲编码调制数据在第一脉冲编码调制数据中的比例。
示例性的,预设比例可以根据电视端内置喇叭的声道配置和能力来设定,该比例可以考虑内置喇叭支持的声道数量、各声道的频率响应范围等因素。这样,通过预设比例截取数据,可以确保传输给显示设备内置喇叭的音频数据在响度上与音箱设备播放的音频相匹配,避免因设备间响度不一致导致的听觉体验下降。同时,由于音频数据是从同一组第一脉冲编码调制数据中截取的,并且通过硬件数据线(几乎无延迟)传输给显示设备,因此可以确保音箱设备和显示设备内置喇叭在播放音频时的同步性。
图10为本申请一些实施例提供的音箱设备从第一脉冲编码调制数据中截取第二脉冲编码调制数据的流程示意图,如图10所示,在一些实施例中,音箱设备可以通过如下方式从第一脉冲编码调制数据中截取第二脉冲编码调制数据。首先,音箱设备通过端子向显示设备发送配置查询请求,并接收显示设备根据配置查询请求返回的配置响应包;之后音箱设备解析配置响应包,得到显示设备的声道配置参数;声道配置参数包括内置喇叭支持的声道数量、各声道频率响应范围、内置喇叭坐标信息和接口协议类型,再根据声道配置参数确定预设比例,最后按照预设比例从第一脉冲编码调制数据中截取预设比例的第二脉冲编码调制数据。
示例性的,音箱设备可以通过与电视端连接的数据线向电视发送配置查询请求,该指令可以携带设备标识符(如音箱的型号编码),用于触发显示设备返回其音频相关配置信息。显示设备200接收到指令后,可以根据内置的音频硬件参数(如喇叭驱动芯片型号)和软件设置(如音效模式),生成包含声道配置参数的响应包,并通过同一端子返回至音箱设备。响应包可以采用结构化格式(如JSON或二进制字段),可以包含以下关键信息,如声道数量,即显示设备内置喇叭支持的物理声道数(如2.0立体声、5.1环绕声或7.1全景声);频率响应范围,即各声道的频响特性(如低音喇叭20Hz-200Hz、中音喇叭200Hz-5kHz、高音喇叭5kHz-20kHz),用于判断喇叭能否还原特定频段信号;喇叭坐标信息,即基于显示设备屏幕的物理坐标系(如以屏幕中心为原点),标注各喇叭的空间位置(如左前喇叭坐标为(-0.5,0.3,0.2),单位为米),用于声场定位计算;接口协议类型,即显示设备200支持的音频传输协议(如HDMI EARC、Dolby Digital Plus或LPCM),确保数据截取后能被正确传输。音箱设备根据解析出的声道配置参数,通过预设算法动态计算需截取的PCM数据比例。例如,若显示设备为2.0声道且具备中置喇叭(通过坐标信息判断喇叭位于屏幕正下方),音箱设备可以截取中置声道(Center Channel)的PCM数据(占比约25%),同时保留左右声道数据由自身播放;若显示设备为5.1声道但仅连接了前置左右喇叭(通过接口协议类型判断未启用环绕声道),音箱设备仅截取前置左右声道的PCM数据(占比50%),避免传输无效数据占用带宽。截取比例的计算还可以考虑频率响应范围,若显示设备200的喇叭无法还原高频信号(如高音喇叭频响上限为15kHz),音箱设备可以降低高频声道(如右环绕声道)的截取比例,防止信号失真。
也就是说,组合发声方案中,SoundBar解码并渲染音频数据后,并非将所有声道的音频数据直接播放,而是根据电视端的硬件特性(如内置喇叭数量、支持的声道配置、接口协议等),动态截取部分声道数据(例如Center Channel)通过数据线传递给电视端的Speaker播放。例如,若电视端仅支持2.0声道但具备中置喇叭,则SoundBar会单独提取中置声道数据转交电视端处理,其余声道由SoundBar自身播放。这样,通过获取显示设备200的声道配置参数,音箱设备可以检测电视端的声道支持能力,灵活调整数据分配策略,确保截取的PCM数据与硬件能理完全匹配、保证组合发声效果与电视端硬件匹配,如避免向无中置喇叭的显示设备传输中置声道数据,防止声音缺失或噪声干扰。同时,电视端无需参与复杂解码,仅需接收适配自身特性的声道数据,可以降低处理负载并减少时延。步骤S4执行完成后,可以执行如下步骤S5。
步骤S5:音箱设备将第二脉冲编码调制数据通过数据线传输至显示设备,以在音箱设备播放第一脉冲编码调制数据时,通过显示设备的内置喇叭同步播放第二脉冲编码调制数据。
在一些实施例中,音箱设备通过数据线将截取的PCM数据传输至显示设备200的对应输入端口。显示设备200接收数据后,直接通过内置数模转换模块转换为模拟信号,驱动其喇叭发声。此时,音箱设备的响度控制参数(如音量增益)会同步作用于显示设备200的喇叭输出,确保两者音量平衡。同时,由于显示设备200仅作为数据透传通道,不参与解码或渲染,避免了额外时延和响度偏差。这样,通过同步响度控制参数,音箱设备与显示设备200的输出音量能够保持一致,实现响度上的匹配。同时,音频数据处理通路绕过显示设备200的解码和渲染环节,音频数据从音箱设备到显示设备200的喇叭的传输路径更短,处理步骤更少,时延可忽略不计,确保声音的同步性,进而解决目前组合发声方案中,音频数据播放时存在声音不同步以及响度不匹配的问题。
在一些实施例中,音箱设备播放第一脉冲编码调制数据时,通过显示设备的内置喇叭同步播放第二脉冲编码调制数据,可以通过如下方式实现。将第二脉冲编码调制数据通过数据线传输至显示设备中的数模转换模块,以使数模转换模块在接收到第二脉冲编码调制数据后,将第二脉冲编码调制数据的格式转换为内置喇叭相匹配的格式,并将转换格式后的第二脉冲编码调制数据传送至内置喇叭,以在音箱设备播放第一脉冲编码调制数据时,通过内置喇叭同步播放第二脉冲编码调制数据。
示例性的,在本申请的组合发声方式中,音箱设备如SoundBar对PCM数据进行截取后,截取后的数据可以通过与端子连接的数据线传输至电视端的数模转换模块(如ADC/DAC)。数模转换模块在接收到PCM数据后,会将其格式转换为与内置喇叭相匹配的格式。转换格式后的PCM数据会被传送至内置喇叭,最终由内置喇叭输出这些数据,形成声音播放。这样,通过SoundBar统一控制响度参数(如音量增益、动态范围压缩等),并同步作用于内置喇叭,确保两者输出的音频在响度上保持一致,避免因设备差异导致的音量不平衡问题,提升多声道组合发声时的声场均匀性。同时,内置喇叭接收的数据直接来自SoundBar的转换模块,而非经过电视端的解码和渲染流程,电视端仅作为数据透传通道,不参与音频信号处理,从而消除了电视端处理带来的额外时延。音频数据从SoundBar到内置喇叭的传输路径更短,处理步骤更少,显著减少了信号传递的时延,提升了音频与视频的同步性。
在一些实施例中,音箱设备将截取后的脉冲编码调制数据通过与端子连接的数据线传输至显示设备中的数模转换模块时,首先可以将第二脉冲编码调制数据按照音箱设备中的集成电路内置音频总线的协议格式封装为传输帧,之后将传输帧通过与端子连接的数据线传输至显示设备的数模转换模块,以使数模转换模块对脉冲编码调制数据执行格式转换后发送至内置喇叭,以通过内置喇叭播放第一脉冲编码调制数据。
示例性的,截取后的PCM数据可以按照集成电路内置音频总线的协议格式封装为传输帧,确保音频数据能够在特定的总线协议下稳定、高效地传输。之后,封装好的传输帧通过与端子连接的数据线传输至电视端的数模转换模块(如ADC/DAC)。数模转换模块接收到传输帧后,会对其中的PCM数据进行格式转换,使其与内置喇叭(Speaker)相匹配。最后,转换格式后的PCM数据被传送至内置喇叭,由内置喇叭输出声音。这样,通过将PCM数据封装为符合集成电路内置音频总线协议格式的传输帧,可以确保数据在传输过程中的稳定性和完整性,并提升设备之间传输音频数据的兼容性。
在一些实施例中,在将传输帧通过与端子连接的数据线传输至显示设备的数模转换模块之后,音箱设备还可以检测数模转换模块的性能参数。其中,性能参数包括对脉冲编码调制数据的采样率支持范围、量化精度参数及时钟抖动特性,并根据性能参数调整与数模转换模块传输脉冲编码调制数据的传输速率。
示例性的,音箱设备能够检测数模转换模块对PCM数据的性能参数。例如,可以包括如下几项关键性能参数,如采样率支持范围,数模转换模块可处理的PCM数据采样频率范围如44.1kHz、48kHz等;量化精度参数,数模转换模块对PCM数据的量化位数如16位、24位,该参数直接影响音频动态范围和信噪比;时钟抖动特性,为数模转换模块内部时钟的稳定性,抖动过大会导致音频失真。音箱设备根据检测到的这些性能参数,可以动态调整向数模转换模块传输PCM数据的速率,确保数据传输与数模转换模块的处理能力匹配。
在一些实施例中,除了通过数模转换模块对PCM数据执行格式转换以外,还可以通过SoundBar执行格式转换,或者,SoundBar和数模转换模块不执行格式转换,直接通过电视端的喇叭功能直接进行过滤处理,本申请对此不作具体限定。
由以上技术方案可知,上述实施例提供一种音频处理方法,方法包括:响应于接收到显示设备的通路切换触发提示,接收显示设备发送的原始音频数据,所述原始音频数据为未经所述显示设备执行解码与渲染的音频数据;对音频数据执行解码与渲染,得到第一脉冲编码调制数据;播放第一脉冲编码调制数据;从第一脉冲编码调制数据中截取第二脉冲编码调制数据;将截取后的脉冲编码调制数据通过与显示设备的端子连接的数据线传输至显示设备,以在音箱设备播放第一脉冲编码调制数据时,通过显示设备的内置喇叭同步播放第二脉冲编码调制数据,实现内置喇叭与音箱设备组合发声。所述方法可以通过音箱设备替代电视端执行解码与渲染,减少处理链路,从响度上弥补电视端响度上的不足,达到响度上的一致。同时,音箱设备通过数据线硬件传输给电视端内置喇叭,传输时间可以忽略不计,所以二者声音传输上基本是同步的,进而解决目前组合发声方案中,音频数据播放时存在声音不同步以及响度不匹配的问题。
基于上述音频处理方法,本申请部分实施例还提供一种音箱设备,:
响应于接收到显示设备的通路切换触发提示,接收显示设备发送的原始音频数据,所述原始音频数据为未经所述显示设备执行解码与渲染的音频数据;
对音频数据执行解码与渲染,得到第一脉冲编码调制数据;
播放第一脉冲编码调制数据;
从第一脉冲编码调制数据中截取第二脉冲编码调制数据;
将截取后的脉冲编码调制数据通过与显示设备的端子连接的数据线传输至显示设备,以在音箱设备播放第一脉冲编码调制数据时,通过显示设备的内置喇叭同步播放第二脉冲编码调制数据,实现内置喇叭与音箱设备组合发声。
所述音箱设备可以替代电视端对音频数据进行解码与渲染,减少处理链路,从响度上弥补电视端响度上的不足,达到响度上的一致。同时,音箱设备通过数据线硬件传输给电视端内置喇叭,传输时间可以忽略不计,所以二者声音传输上基本是同步的,进而解决目前组合发声方案中,音频数据播放时存在声音不同步以及响度不匹配的问题。
本申请部分实施例还提供一种显示设备,所述显示设备200包括显示器260和与控制器250。其中,显示器260被配置为显示用户界面,控制器250通过运行特定计算机执行指令,使显示设备200执行音频处理方法。
显示器,被配置为显示用户界面;
控制器,被配置为:
监控输入输出引脚的电平位,以判断音箱设备与显示设备中端子的插入状态;
在电平位发生变化的情况下,确定音箱设备已插入端子,并生成通路切换触发提示;
响应于通路切换触发提示,断开主芯片与集成电路内置音频总线的数据通路;
接通数模转换模块与集成电路内置音频总线的数据通路;
将音频数据发送至音箱设备。
结合前述实施例,所述显示设备通过监控输入输出引脚的电平位变化,判断音箱设备是否插入端子。当检测到插入事件或用户主动选择音箱设备输出音频时,显示设备生成通路切换触发提示,响应通路切换触发提示,显示设备断开主芯片与集成电路内置音频总线(IIS)的数据通路,同时接通数模转换模块与IIS的数据通路,该操作将音频数据流从电视端处理转向音箱设备处理。显示设备通过音频回传通道(如HDMI ARC/EARC)或数字音频接口(如光纤)将原始音频数据直接传输至音箱设备,绕过电视端的解码和渲染环节,显示设备仅作为音频数据的透传通道,不参与解码和渲染,避免了电视端处理带来的响度偏差。显示设备与音箱设备通过统一时钟源(如主芯片时钟)消除时钟偏差,防止因时钟不同步引发的数据错位或丢帧,进一步提升同步性。这样,显示设备通过通路切换、数据透传和状态反馈,与音箱设备协同实现音频处理任务的转移。在解决响度匹配问题时,显示设备提供声道配置信息并作为透传通道,确保音箱设备统一控制响度;在解决同步问题时,显示设备绕过自身处理环节,缩短传输路径,并配合时钟同步机制,实现声音与画面的高度同步,有效克服传统组合发声方案中的响度不一致和声音不同步缺陷。
本说明书中各个实施例之间相同相似的部分互相参照即可,在此不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
Claims (10)
1.一种音频处理方法,应用于音箱设备,其特征在于,包括:
响应于接收到显示设备的通路切换触发提示,接收显示设备发送的原始音频数据,所述原始音频数据为未经所述显示设备执行解码与渲染的音频数据;
对所述音频数据执行解码与渲染,得到第一脉冲编码调制数据;
播放所述第一脉冲编码调制数据;
从所述第一脉冲编码调制数据中截取第二脉冲编码调制数据;
将所述第二脉冲编码调制数据通过数据线传输至所述显示设备,以在所述音箱设备播放所述第一脉冲编码调制数据时,通过所述显示设备的内置喇叭同步播放所述第二脉冲编码调制数据。
2.根据权利要求1所述的音频处理方法,其特征在于,将所述第二脉冲编码调制数据通过数据线传输至所述显示设备,以在所述音箱设备播放所述第一脉冲编码调制数据时,通过所述显示设备的内置喇叭同步播放所述第二脉冲编码调制数据,包括:
将所述第二脉冲编码调制数据通过所述数据线传输至所述显示设备中的数模转换模块,以使所述数模转换模块在接收到所述第二脉冲编码调制数据后,将所述第二脉冲编码调制数据的格式转换为所述内置喇叭相匹配的格式,并将转换格式后的所述第二脉冲编码调制数据传送至所述内置喇叭,以在所述音箱设备播放所述第一脉冲编码调制数据时,通过所述内置喇叭同步播放所述第二脉冲编码调制数据。
3.根据权利要求2所述的音频处理方法,其特征在于,将所述第二脉冲编码调制数据通过所述数据线传输至所述显示设备中的数模转换模块,包括:
将所述第二脉冲编码调制数据按照所述音箱设备中的集成电路内置音频总线的协议格式封装为传输帧;
将所述传输帧通过与所述显示设备的端子连接的数据线传输至所述显示设备的数模转换模块。
4.根据权利要求3所述的音频处理方法,其特征在于,在将所述传输帧通过与所述显示设备的端子连接的数据线传输至所述显示设备的数模转换模块之后,还包括:
向所述显示设备请求所述数模转换模块的性能参数;所述性能参数包括对所述脉冲编码调制数据的采样率支持范围、量化精度参数及时钟抖动特性;
接收所述显示设备反馈的所述性能参数;
根据所述性能参数调整与所述数模转换模块传输所述脉冲编码调制数据的传输速率。
5.根据权利要求1所述的音频处理方法,其特征在于,对所述音频数据执行解码与渲染,得到第一脉冲编码调制数据,包括:
获取所述音频数据的编码格式;
调取与所述编码格式对应的解码算法对所述音频数据执行解码,得到多声道音频流;
对所述多声道音频流执行渲染处理,得到渲染后的音频流;
将所述渲染后的音频流编码为所述脉冲编码调制数据。
6.根据权利要求1所述的音频处理方法,其特征在于,在播放所述第一脉冲编码调制数据之前,还包括:
对所述第一脉冲编码调制数据进行增益调整,以使所述第一脉冲编码调制数据的幅值与所述显示设备的内置喇叭的额定功率相匹配;
和/或,对所述第一脉冲编码调制数据执行时延补偿,以消除所述音箱设备与所述显示设备之间的音频输出时差。
7.根据权利要求3所述的音频处理方法,其特征在于,从所述第一脉冲编码调制数据中截取第二脉冲编码调制数据,包括:
基于预设比例,从所述第一脉冲编码调制数据中截取所述显示设备的内置喇叭中各声道对应的第二脉冲编码调制数据;所述预设比例为所述内置喇叭中各声道对应的所述第二脉冲编码调制数据在所述第一脉冲编码调制数据中的比例。
8.根据权利要求7所述的音频处理方法,其特征在于,从所述第一脉冲编码调制数据中截取预设比例的第二脉冲编码调制数据,包括:
通过所述端子向显示设备发送配置查询请求;
接收所述显示设备根据所述配置查询请求返回的配置响应包;
解析所述配置响应包,得到所述显示设备的声道配置参数;所述声道配置参数包括内置喇叭支持的声道数量、各声道频率响应范围、内置喇叭坐标信息和接口协议类型;
根据所述声道配置参数确定预设比例;
按照所述预设比例从所述第一脉冲编码调制数据中截取预设比例的所述第二脉冲编码调制数据。
9.一种音箱设备,其特征在于,包括:
响应于接收到显示设备的通路切换触发提示,接收所述显示设备发送的未经所述显示设备执行解码与渲染的音频数据;
对所述音频数据执行解码与渲染,得到第一脉冲编码调制数据;
播放所述第一脉冲编码调制数据;
从所述第一脉冲编码调制数据中截取第二脉冲编码调制数据;
将所述第二脉冲编码调制数据通过数据线传输至所述显示设备,以在所述音箱设备播放所述第一脉冲编码调制数据时,通过所述显示设备的内置喇叭同步播放所述第二脉冲编码调制数据。
10.一种显示设备,其特征在于,包括:
显示器,被配置为显示用户界面;
控制器,被配置为:
监控输入输出引脚的电平位,以判断音箱设备与显示设备中端子的插入状态;
在所述电平位发生变化的情况下,确定所述音箱设备已插入所述端子,并生成通路切换触发提示;
响应于所述通路切换触发提示,断开主芯片与集成电路内置音频总线的数据通路;
接通数模转换模块与所述集成电路内置音频总线的数据通路;
将音频数据发送至所述音箱设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202511071814.9A CN120956970A (zh) | 2025-07-31 | 2025-07-31 | 一种音频处理方法、音箱设备及显示设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202511071814.9A CN120956970A (zh) | 2025-07-31 | 2025-07-31 | 一种音频处理方法、音箱设备及显示设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN120956970A true CN120956970A (zh) | 2025-11-14 |
Family
ID=97621384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202511071814.9A Pending CN120956970A (zh) | 2025-07-31 | 2025-07-31 | 一种音频处理方法、音箱设备及显示设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN120956970A (zh) |
-
2025
- 2025-07-31 CN CN202511071814.9A patent/CN120956970A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9832524B2 (en) | Configuring television speakers | |
| CN102568513B (zh) | 一种音频数据处理方法和交互方法 | |
| EP3345406B1 (en) | Audio stick for controlling wireless speakers | |
| CN115550705A (zh) | 一种音频播放方法及装置 | |
| US20190289395A1 (en) | Audio stick for controlling wireless speakers | |
| CN113050916A (zh) | 音频播放方法、装置及存储介质 | |
| CN115802087B (zh) | 音画同步处理方法及其相关设备 | |
| CN102984575B (zh) | 一种数字电视音响一体机及其控制实现方法 | |
| CN113687811A (zh) | 一种音频信号输出控制方法及显示设备 | |
| US12088872B2 (en) | Integrated circuitry of speaker | |
| US11924622B2 (en) | Centralized processing of an incoming audio stream | |
| CN103327364B (zh) | 一种用于音视频播放的无线传输方法及装置 | |
| CN120956970A (zh) | 一种音频处理方法、音箱设备及显示设备 | |
| WO2023079682A1 (ja) | 表示装置、表示装置連携システム、及び音声再生方法 | |
| WO2022088899A1 (zh) | 显示设备、显示设备与外接音响的通信方法及外接音响音频输出方法 | |
| CN111405356A (zh) | 音频控制装置、音频播放系统及方法 | |
| CN115361629A (zh) | 一种音频配置的方法及装置 | |
| JP2008301149A (ja) | 音場制御方法、音場制御プログラム、音声再生装置 | |
| CN114840282B (zh) | 智能交互平板的录屏方法及录屏装置 | |
| CN114630065B (zh) | 多媒体中继装置音讯转换装置及音讯处理方法 | |
| CN105491302A (zh) | 音频信号输出方法、装置、终端及系统 | |
| WO2023160100A1 (zh) | 显示设备、外接设备、音频播放及音效处理方法 | |
| CN120416574A (zh) | 一种显示设备及显示设备与音响设备的通信方法 | |
| CN113301410A (zh) | 音频画面同步方法、装置和系统以及发送控制器 | |
| CN114793308B (zh) | 一种音箱组件、无线音频播放系统以及通信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |