CN116456247A - 立体声重放方法、装置、话筒设备、音箱设备和介质 - Google Patents
立体声重放方法、装置、话筒设备、音箱设备和介质 Download PDFInfo
- Publication number
- CN116456247A CN116456247A CN202310200988.5A CN202310200988A CN116456247A CN 116456247 A CN116456247 A CN 116456247A CN 202310200988 A CN202310200988 A CN 202310200988A CN 116456247 A CN116456247 A CN 116456247A
- Authority
- CN
- China
- Prior art keywords
- channel
- target
- user
- transfer function
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012546 transfer Methods 0.000 claims abstract description 139
- 230000005236 sound signal Effects 0.000 claims abstract description 113
- 230000005540 biological transmission Effects 0.000 claims abstract description 51
- 230000006870 function Effects 0.000 claims description 148
- 230000003993 interaction Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 25
- 210000000613 ear canal Anatomy 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
- H04N5/642—Disposition of sound reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
- H04R2205/026—Single (sub)woofer with two or more satellite loudspeakers for mid- and high-frequency band reproduction driven via the (sub)woofer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Stereophonic System (AREA)
Abstract
本公开的实施例公开了立体声重放方法、装置、话筒设备、音箱设备和介质。该方法的一具体实施方式包括:获取对应目标设备的各个声道的主音频信号组;确定目标传递函数组,其中,目标传递函数组中的每个目标传递函数对应有目标传声路径信息,目标传声路径信息表征声道与收听位置之间的传声路径;根据主音频信号组和目标传递函数组,确定对应各个声道的副音频信号组;驱动各个声道重放对应主音频信号组与副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小。该实施方式可以提高对于用户耳道开放的声学场景,处于同一空间、不同位置处的收听对象听到的立体声效之间的区分度。
Description
技术领域
本公开的实施例涉及音频技术领域,具体涉及立体声重放方法、装置、话筒设备、音箱设备和介质。
背景技术
立体声是具有方位层次等空间分布特性的声音。目前,在实现立体声重放时,通常采用的方式为:通过大量的扬声器在具备相当容积的三维空间内进行分布式布局,或通过对原始音频流的双耳差异化渲染,并经蓝牙耳机、虚拟现实头戴式显示设备等可穿戴设备对用户左、右耳进行重放,形成立体声效。
然而,发明人发现,当采用上述方式重放立体声时,经常会存在如下技术问题:首先,采用通过对原始音频流的双耳差异化渲染的方式,实现不同位置的收听对象(例如,左耳、右耳)听觉独立的立体声效,需要用户的耳道被可穿戴设备封闭,一旦耳道与可穿戴设备之间为开放状态,这种立体声效将严重弱化,用户左耳、右耳收听到的音频成分将趋于一致;其次,采用通过大量的扬声器在具备相当容积的三维空间内进行分布式布局的方式,面向例如影院等大型场景时,每个用户的耳道都是开放的,不同位置的收听对象(例如,各个用户)所接收到的音频成分相同,从而导致上述各种立体声重放方式对于用户耳道开放的声学场景,处于同一空间、不同位置处的收听对象听到的立体声效区分度较差。
该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了立体声重放方法、装置、话筒设备、音箱设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种立体声重放方法,该方法包括:获取对应目标设备的各个声道的主音频信号组;确定目标传递函数组,其中,上述目标传递函数组中的每个目标传递函数对应有目标传声路径信息,上述目标传声路径信息表征声道与收听位置之间的传声路径;根据上述主音频信号组和上述目标传递函数组,确定对应上述各个声道的副音频信号组;驱动上述各个声道重放对应上述主音频信号组与上述副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小,其中,上述目标能量为对应收听位置的目标声道以外的声道的主音频信号的能量。
可选地,在上述获取对应目标设备的各个声道的主音频信号组之前,上述方法还包括:获取对应各个用户的声道选择信息集,其中,上述声道选择信息集中的声道选择信息包括声道标识,上述声道选择信息集包括的各个声道标识对应各个声道。
可选地,上述目标声道对应与目标用户对应的声道选择信息;以及上述确定目标传递函数组,包括:获取对应上述各个用户的用户交互语音信息集;根据上述用户交互语音信息集,生成用户收听位置信息集;根据上述声道选择信息集和上述用户收听位置信息集,确定目标传递函数组。
可选地,上述各个声道包括左声道和右声道,上述目标声道为声道对应的方向与收听位置的方向相同的声道;以及上述确定目标传递函数组,包括:获取上述目标设备的设备位姿信息和用户语音信息;根据上述用户语音信息,生成用户嘴部位置信息;根据上述设备位姿信息和上述用户嘴部位置信息,确定目标传递函数组。
可选地,上述根据上述设备位姿信息和上述用户嘴部位置信息,确定目标传递函数组,包括:根据上述设备位姿信息,生成对应上述各个声道的声道位姿信息组;根据上述用户嘴部位置信息,生成用户双耳位置信息;根据上述声道位姿信息组和上述用户双耳位置信息,确定目标传递函数组。
可选地,上述根据上述声道位姿信息组和上述用户双耳位置信息,确定目标传递函数组,包括:根据上述声道位姿信息组和上述用户双耳位置信息,从预设传递函数组集合中选择满足预设位置条件的预设传递函数组作为目标传递函数组。
第二方面,本公开的一些实施例提供了一种立体声重放装置,装置包括:获取单元,被配置成获取对应目标设备的各个声道的主音频信号组;第一确定单元,被配置成确定目标传递函数组,其中,上述目标传递函数组中的每个目标传递函数对应有目标传声路径信息,上述目标传声路径信息表征声道与收听位置之间的传声路径;第二确定单元,被配置成根据上述主音频信号组和上述目标传递函数组,确定对应上述各个声道的副音频信号组;重放单元,被配置成驱动上述各个声道重放对应上述主音频信号组与上述副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小,其中,上述目标能量为对应收听位置的目标声道以外的声道的主音频信号的能量。
可选地,立体声重放装置还可以包括:声道选择信息获取单元。其中,上述声道选择信息获取单元可以被配置成获取对应各个用户的声道选择信息集,其中,上述声道选择信息集中的声道选择信息包括声道标识,上述声道选择信息集包括的各个声道标识对应各个声道。
可选地,上述目标声道对应与目标用户对应的声道选择信息。第一确定单元还可以进一步被配置成获取对应上述各个用户的用户交互语音信息集;根据上述用户交互语音信息集,生成用户收听位置信息集;根据上述声道选择信息集和上述用户收听位置信息集,确定目标传递函数组。
可选地,上述各个声道包括左声道和右声道。上述目标声道为声道对应的方向与收听位置的方向相同的声道。第一确定单元还可以进一步被配置成获取上述目标设备的设备位姿信息和用户语音信息;根据上述用户语音信息,生成用户嘴部位置信息;根据上述设备位姿信息和上述用户嘴部位置信息,确定目标传递函数组。
可选地,第一确定单元还可以进一步被配置成根据上述设备位姿信息,生成对应上述各个声道的声道位姿信息组;根据上述用户嘴部位置信息,生成用户双耳位置信息;根据上述声道位姿信息组和上述用户双耳位置信息,确定目标传递函数组。
可选地,第一确定单元还可以进一步被配置成根据上述声道位姿信息组和上述用户双耳位置信息,从预设传递函数组集合中选择满足预设位置条件的预设传递函数组作为目标传递函数组。
第三方面,本公开的一些实施例提供了一种话筒设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,话筒主体,用于用户持握;至少两个扬声器,设置于上述话筒主体内,对应上述话筒设备的至少两个声道;麦克风组件,设置于上述话筒主体上端,包括麦克风阵列和外壳,用于采集用户的声音;音源端口,用于向上述至少两个扬声器传输对应上述至少两个声道的主音频信号组;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第四方面,本公开的一些实施例提供了一种音箱设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,箱体;至少两个扬声器,对应上述音箱设备的至少两个声道,设置于上述箱体内;音源端口,用于向上述至少两个扬声器传输对应上述至少两个声道的主音频信号组;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第五方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的立体声重放方法,提高了对于用户耳道开放的声学场景,处于同一空间、不同位置处的收听对象听到的立体声效之间的区分度。对于用户耳道开放的声学场景,在处于同一空间、不同位置处的收听对象之间存在的传声介质(例如,空气)是整个空间内的连通性介质,未经物理隔断,因此各个收听对象听到的立体声效区分度较差,难以实现显著的听觉独立性。具体来说:首先,采用通过对原始音频流的双耳差异化渲染的方式,实现不同位置的收听对象(例如,左耳、右耳)听觉独立的立体声效,需要用户的耳道被可穿戴设备封闭,一旦耳道与可穿戴设备之间为开放状态,这种立体声效将严重弱化,用户左耳、右耳收听到的音频成分将趋于一致;其次,采用通过大量的扬声器在具备相当容积的三维空间内进行分布式布局的方式,面向例如影院等大型场景时,此时每个用户的耳道都是开放的,不同位置的收听对象(例如,各个用户)所接收到的音频成分相同,从而导致上述各种立体声重放方式对于用户耳道开放的声学场景,处于同一空间、不同位置处的收听对象听到的立体声效区分度较差。基于此,本公开的一些实施例的立体声重放方法,首先,获取对应目标设备的各个声道的主音频信号组。由此,可以得到各个收听对象需要听到的所有音频信号,从而可以用于生成副音频信号组。其次,确定目标传递函数组。其中,上述目标传递函数组中的每个目标传递函数对应有目标传声路径信息。上述目标传声路径信息表征声道与收听位置之间的传声路径。由此,可以得到各个声道对应各个收听位置的各个传递函数,从而可以用于确定每个收听位置所收听到的所有声道的音频信号。然后,根据上述主音频信号组和上述目标传递函数组,确定对应上述各个声道的副音频信号组。最后,驱动上述各个声道重放对应上述主音频信号组与上述副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小。其中,上述目标能量为对应收听位置的目标声道以外的声道的主音频信号的能量。由此,可以使各个收听位置中的每个收听位置接收的音频能量中,与该收听位置对应的目标声道的主音频成分占比最大,而非目标声道的主音频成分占比最小,从而可以提高对于用户耳道开放的声学场景,处于同一空间、不同位置处的收听对象听到的立体声效之间的区分度。无论是在面向例如可穿戴设备等微型场景中,对于不同位置的收听对象(例如,用户的左耳、右耳),还是在面向例如影院等大型场景中,对于不同位置的收听对象(例如,各个用户),其开放的耳道所接收到的音频成分彼此均不相同,在连通性传声介质中实现了显著的个体听觉独立。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的一些实施例的立体声重放方法的一个应用场景的示意图;
图2是根据本公开的立体声重放方法的一些实施例的流程图;
图3是根据本公开的立体声重放方法的另一些实施例的流程图;
图4是根据本公开的立体声重放方法的又一些实施例的流程图;
图5是根据本公开的立体声重放装置的一些实施例的结构示意图;
图6是适于用来实现本公开的一些实施例的话筒设备的结构示意图;
图7是适于用来实现本公开的一些实施例的音箱设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是根据本公开一些实施例的立体声重放方法的一个应用场景的示意图。
在图1的应用场景中,首先,计算设备101可以获取对应目标设备的各个声道的主音频信号组102。其次,计算设备101可以确定目标传递函数组103。其中,上述目标传递函数组103中的每个目标传递函数对应有目标传声路径信息。上述目标传声路径信息表征声道与收听位置之间的传声路径。然后,计算设备101可以根据上述主音频信号组102和上述目标传递函数组103,确定对应上述各个声道的副音频信号组104。最后,计算设备101可以驱动上述各个声道重放对应上述主音频信号组102与上述副音频信号组104的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小。其中,上述目标能量为对应收听位置的目标声道以外的声道的主音频信号的能量。
需要说明的是,上述计算设备101可以是硬件,也可以是软件。当计算设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的计算设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的计算设备。
继续参考图2,示出了根据本公开的立体声重放方法的一些实施例的流程200。该立体声重放方法,包括以下步骤:
步骤201,获取对应目标设备的各个声道的主音频信号组。
在一些实施例中,立体声重放方法的执行主体(例如图1所示的计算设备)可以通过有线连接方式或者无线连接方式从终端获取对应目标设备的各个声道的主音频信号组。其中,上述终端可以为手机,也可以为电脑。上述目标设备可以为音箱设备,也可以为话筒设备。上述各个声道可以包括至少两个声道。上述主音频信号组包括的每个主音频信号可以对应有一个声道。上述各个声道包括的每个声道对应有一个收听对象。上述收听对象可以为收听目标设备重放的音频信号的对象。上述收听对象可以为用户的任一侧耳朵,也可以为声音收集设备,还可以为用户。上述收听对象可以对应一个收听位置。上述主音频信号组包括的主音频信号对应的声道可以与上述收听对象(收听位置)存在映射关系或者被上述收听对象选中,作为对应上述收听位置的目标声道。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤202,确定目标传递函数组。
在一些实施例中,上述执行主体可以确定目标传递函数组。其中,上述目标传递函数组中的每个目标传递函数可以对应有目标传声路径信息。上述目标传递函数组中的目标传递函数可以为以音频信号为输入,以声音信号为输出的传递函数。上述目标传声路径信息可以表征声道与收听位置之间的传声路径。上述收听位置可以包括收听对象的位置坐标。上述位置坐标可以是以上述目标设备为原点建立的空间坐标系下的坐标。上述传声路径可以为在空气中传播声音的路径。上述传声路径可以通过坐标序列表示。上述目标传声路径信息可以包括但不限于声道标识、收听对象标识、收听位置。上述声道标识可以对声道唯一标识。例如,上述声道标识可以为第一声道、第二声道,也可以为左声道、右声道。上述收听对象标识可以对收听对象唯一标识。例如,上述收听对象标识可以为左耳、右耳,也可以为第一声音收集设备、第二声音收集设备,还可以为用户标识。上述用户标识可以对用户唯一标识。例如,上述用户标识可以为用户所在的座位号。实践中,上述执行主体可以将预设传递函数组确定为目标传递函数组。其中,上述预设传递函数组中的预设传递函数可以为预先设定的对应目标传声路径信息的传递函数。
步骤203,根据主音频信号组和目标传递函数组,确定对应各个声道的副音频信号组。
在一些实施例中,上述执行主体可以根据上述主音频信号组和上述目标传递函数组,确定对应上述各个声道的副音频信号组。其中,上述副音频信号组包括的副音频信号可以为与对应声道以外的至少一个其他声道的主音频信号线性相关的音频信号。实践中,首先,上述执行主体可以对于对应上述各个声道的各个收听对象包括的每个收听对象执行以下步骤:
第一步,将与上述收听对象(收听位置)存在预设映射关系的声道或者被上述收听对象实时选中的声道确定为目标声道。
第二步,将对应上述收听对象的收听位置确定为目标收听位置。
第三步,从上述目标传递函数组中选择满足预设函数条件的至少一个目标传递函数作为信号传递函数。其中,上述预设函数条件可以为对应目标传递函数的目标传声路径信息包括的收听位置标识与上述目标收听位置对应。
第四步,根据上述主音频信号组和所选择的各个信号传递函数,生成信号目标函数。其中,上述信号目标函数可以通过下式表示:
Xi=xi+Δxi
其中,Δx可以表示副音频信号。k可以表示上述目标收听位置。Δxk可以表示目标收听位置对应的目标声道的副音频信号。m可以表示目标声道。Hmk可以表示对应第一传声路径信息的信号传递函数。上述第一传声路径信息可以为表征目标声道与目标收听位置之间的传声路径的目标传声路径信息。i可以表示除目标声道以外的第i个声道。Xi可以表示对应第i个声道的叠加信号。Xi可以表示上述信号组包括的第i个声道的主音频信号。Δxi可以表示上述信号组包括的第i个声道的副音频信号。Hik可以表示对应第二传声路径信息的信号传递函数。上述第二传声路径信息可以为表征第i个声道与目标收听位置之间的传声路径的目标传声路径信息。
然后,遍历k值,对所生成的各个信号目标函数进行求解,得到对应上述声道的副音频信号。实践中,上述执行主体可以通过无约束优化算法对所生成的各个信号目标函数进行求解,得到对应各个声道的副音频信号组。其中,上述无约束优化算法可以为但不限于以下中的一项:梯度下降法,最小二乘法。
步骤204,驱动各个声道重放对应主音频信号组与副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小。
在一些实施例中,上述执行主体可以驱动上述各个声道重放对应上述主音频信号组与上述副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小。其中,上述目标能量为对应收听位置的目标声道以外的声道的主音频信号的能量。上述目标能量可以通过上述信号目标函数的值进行表示。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的立体声重放方法,提高了对于用户耳道开放的声学场景,处于同一空间、不同位置处的收听对象听到的立体声效之间的区分度。对于用户耳道开放的声学场景,在处于同一空间、不同位置处的收听对象之间存在的传声介质(例如,空气)是整个空间内的连通性介质,未经物理隔断,因此各个收听对象听到的立体声效区分度较差,难以实现显著的听觉独立性。具体来说:首先,采用通过对原始音频流的双耳差异化渲染的方式,实现不同位置的收听对象(例如,左耳、右耳)听觉独立的立体声效,需要用户的耳道被可穿戴设备封闭,一旦耳道与可穿戴设备之间为开放状态,这种立体声效将严重弱化,用户左耳、右耳收听到的音频成分将趋于一致;其次,采用通过大量的扬声器在具备相当容积的三维空间内进行分布式布局的方式,面向例如影院等大型场景时,此时每个用户的耳道都是开放的,不同位置的收听对象(例如,各个用户)所接收到的音频成分相同,从而导致上述各种立体声重放方式对于用户耳道开放的声学场景,处于同一空间、不同位置处的收听对象听到的立体声效区分度较差。基于此,本公开的一些实施例的立体声重放方法,首先,获取对应目标设备的各个声道的主音频信号组。由此,可以得到各个收听对象需要听到的所有音频信号,从而可以用于生成副音频信号组。其次,确定目标传递函数组。其中,上述目标传递函数组中的每个目标传递函数对应有目标传声路径信息。上述目标传声路径信息表征声道与收听位置之间的传声路径。由此,可以得到各个声道对应各个收听位置的各个传递函数,从而可以用于确定每个收听位置所收听到的所有声道的音频信号。然后,根据上述主音频信号组和上述目标传递函数组,确定对应上述各个声道的副音频信号组。最后,驱动上述各个声道重放对应上述主音频信号组与上述副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小。其中,上述目标能量为对应收听位置的目标声道以外的声道的主音频信号的能量。由此,可以使各个收听位置中的每个收听位置接收的音频能量中,与该收听位置对应的目标声道的主音频成分占比最大,而非目标声道的主音频成分占比最小,从而可以提高对于用户耳道开放的声学场景,处于同一空间、不同位置处的收听对象听到的立体声效之间的区分度。无论是在面向例如可穿戴设备等微型场景中,对于不同位置的收听对象(例如,用户的左耳、右耳),还是在面向例如影院等大型场景中,不同位置的收听对象(例如,各个用户),其开放的耳道所接收到的音频成分彼此均不相同,在连通性传声介质中实现了显著的个体听觉独立。
进一步参考图3,其示出了立体声重放方法的另一些实施例的流程300。该立体声重放方法的流程300,包括以下步骤:
步骤301,获取对应各个用户的声道选择信息集。
在一些实施例中,上述执行主体(例如图1所示的计算设备)可以获取对应各个用户的声道选择信息集。其中,上述声道选择信息集中的声道选择信息可以为用户选择的声道的信息。上述声道选择信息集中的声道选择信息可以包括但不限于:声道标识,声道位置坐标。上述声道位置坐标可以是以上述目标设备的中心为原点建立的坐标系下的坐标。上述各个用户中的用户与上述声道选择信息集中的声道选择信息可以一一对应。上述声道选择信息集包括的各个声道标识对应各个声道。上述各个声道标识中的声道标识与上述各个声道中的声道可以一一对应。实践中,上述执行主体可以通过有线连接或者无线连接的方式从各个收听位置处的终端获取对应各个用户的声道选择信息集。
步骤302,获取对应目标设备的各个声道的主音频信号组。
在一些实施例中,步骤302的具体实现及所带来的技术效果可以参考图2对应的那些实施例中的步骤201,在此不再赘述。
步骤303,获取对应各个用户的用户交互语音信息集。
在一些实施例中,上述执行主体可以获取对应上述各个用户的用户交互语音信息集。其中,上述各个用户包括的用户与上述用户交互语音信息集包括的用户交互语音信息的对应关系可以为一一对应。上述用户交互语音信息集包括的用户交互语音信息可以为用户向目标设备发出的声音。实践中,上述执行主体可以通过有线连接或者无线连接的方式从目标设备获取对应上述各个用户的用户交互语音信息集。上述目标设备可以对其收集到的声信号进行回波消除,滤除其中来自目标设备的音频信号,以得到上述用户交互语音信息集。
步骤304,根据用户交互语音信息集,生成用户收听位置信息集。
在一些实施例中,上述执行主体可以根据上述用户交互语音信息集,生成用户收听位置信息集。其中,上述用户收听位置信息集中的用户收听位置信息可以表征用户的收听位置。上述用户收听位置信息可以包括但不限于用户收听位置坐标。上述用户收听位置坐标可以是以上述目标设备为原点建立的坐标系下的坐标。实践中,上述执行主体对于上述用户交互语音信息集包括的每个用户交互语音信息,可以根据声源定位算法,生成用户收听位置信息。其中,上述声源定位算法可以包括但不限于:MVDR(Minimum VarianceDistortionless Response,最小均方无畸变响应)波束成形算法、TDOA(Time DifferenceOf Arrival,到达时间差)算法。
步骤305,根据声道选择信息集和用户收听位置信息集,确定目标传递函数组。
在一些实施例中,上述执行主体可以根据上述声道选择信息集和上述用户收听位置信息集,确定目标传递函数组。实践中,对于上述各个用户中的每个用户,上述执行主体可以执行以下步骤:
第一步,将上述声道选择信息集中对应上述用户的声道选择信息确定为目标声道选择信息。
第二步,将上述用户收听位置信息集中对应上述用户的用户收听位置信息确定为目标用户收听位置信息。
第三步,根据上述目标声道选择信息和上述目标用户收听位置信息,从预设传递函数集合中选择满足预设匹配条件的预设传递函数组作为目标传递函数。上述预设匹配条件可以为目标声道选择信息包括的声道标识对应的声道与预设传递函数对应目标传声路径信息表征的声道相同,且目标用户收听位置信息表征的用户收听位置与预设传递函数对应目标传声路径信息表征的收听位置之间的距离在预设距离范围内。上述预设距离范围可以为预先设定的距离范围。
步骤306,根据主音频信号组和目标传递函数组,确定对应各个声道的副音频信号组。
步骤307,驱动各个声道重放对应主音频信号组与副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小。
在一些实施例中,步骤306-307的具体实现及所带来的技术效果可以参考图2对应的那些实施例中的步骤203-204,在此不再赘述。
可选地,上述目标声道对应与目标用户对应的声道选择信息。上述目标声道对应的声道标识与目标用户对应的声道选择信息包括的声道标识相同。上述目标用户对应上述目标设备可以为上述目标用户收听上述目标设备的各个声道重放的叠加信号组。
从图3中可以看出,与图2对应的一些实施例的描述相比,图3对应的一些实施例中的立体声重放方法的流程300体现了对确定目标传递函数组进行扩展的步骤。由此,这些实施例描述的方案可以通过对三维空间中的多个连通的局部空间分别进行声场主动控制,实现在多个用户处于大型三维声场环境(例如,电影院)中时,使处于不同位置的各个用户听到的立体声成分互不相同,具有显著的个体听觉独立性,从而提高了用户体验感。
进一步参考图4,其示出了立体声重放方法的又一些实施例的流程400。该立体声重放方法的流程400,包括以下步骤:
步骤401,获取对应目标设备的各个声道的主音频信号组。
在一些实施例中,步骤401的具体实现及所带来的技术效果可以参考图2对应的那些实施例中的步骤201,在此不再赘述。
可选地,上述各个声道可以包括左声道和右声道。
步骤402,获取目标设备的设备位姿信息和用户语音信息。
在一些实施例中,上述执行主体(例如图1所示的计算设备)可以获取上述目标设备的设备位姿信息和用户语音信息。其中,上述设备位姿信息可以为位姿传感器输出的目标设备中麦克风阵列的位姿数据。上述用户语音信息可以为麦克风阵列收集的声信号经回波消除后得到的用户的语音。
步骤403,根据用户语音信息,生成用户嘴部位置信息。
在一些实施例中,上述执行主体可以根据上述用户语音信息,生成用户嘴部位置信息。其中,上述用户嘴部位置信息可以表征用户的嘴部的位置。上述用户嘴部位置信息可以为用户的嘴部在目标三维坐标系下的坐标。上述目标三维坐标系可以为以麦克风阵列的等效中心点为原点,以与用户脸部平行的平面为x-y平面,以水平面为x-z平面的三维坐标系。实践中,上述执行主体可以根据上述声源定位算法和上述用户语音信息,生成用户嘴部位置信息。
步骤404,根据设备位姿信息和用户嘴部位置信息,确定目标传递函数组。
在一些实施例中,上述执行主体可以根据上述设备位姿信息和上述用户嘴部位置信息,确定目标传递函数组。实践中,首先,上述执行主体可以根据上述设备位姿信息、上述用户嘴部位置信息以及欧氏距离算法,生成第一距离值。作为示例,上述执行主体可以将上述设备位姿信息与上述用户嘴部位置信息的欧氏距离确定为第一距离值。
然后,从预设第一传递函数组集合中选择满足预设距离条件的第一预设传递函数组作为目标传递函数组。其中,上述第一预设传递函数组集合包括的第一预设传递函数组对应有预设距离值。上述预设距离值可以为预先设定的麦克风阵列与用户嘴部的距离值。上述第一预设传递函数组可以为预先设定的传递函数组。上述预设距离条件可以为上述第一距离值与对应第一预设传递函数组的预设距离值的差值小于预设距离阈值。上述预设距离阈值可以为预先设定的阈值。
在一些实施例的一些可选的实现方式中,上述执行主体还可以通过以下步骤根据上述设备位姿信息和上述用户嘴部位置信息,确定目标传递函数组:
第一步,根据上述设备位姿信息,生成对应上述各个声道的声道位姿信息组。其中,上述各个声道包括的声道与上述声道位姿信息组包括的声道位姿信息的对应关系可以为一一对应。上述声道位姿信息组中的声道位姿信息可以表征声道的在上述目标三维坐标下的位置。上述声道位姿信息组中的声道位姿信息可以包括声道坐标。实践中,上述执行主体可以将上述设备位姿信息输入预设设备结构模型,得到对应各个声道的声道位姿信息组。其中,上述预设设备结构模型可以为预先设定的以设备位姿信息为输入,以对应各个声道的声道位姿信息组为输出的函数。例如,上述函数可以为线性函数,也可以为非线性函数。上述预设设备结构模型可以为根据大量目标设备中的各个声道与麦克风阵列的相对位置关系拟合得到的。
第二步,根据上述用户嘴部位置信息,生成用户双耳位置信息。其中,上述用户双耳位置信息可以表征用户双耳的位置。上述用户双耳位置信息可以包括左耳位置坐标和右耳位置坐标。上述左耳位置坐标可以为用户左耳在上述目标三维坐标系中的坐标。上述右耳位置坐标可以为用户右耳在上述目标三维坐标系中的坐标。实践中,上述执行主体可以将上述用户嘴部位置信息输入预设耳部位置信息模型,得到用户双耳位置信息。其中,上述预设耳部位置信息模型可以为预先设定的以用户嘴部位置信息为输入,以用户双耳位置信息为输出的函数。上述预设耳部位置信息模型可以是基于大量的人脸样本拟合得到的。
第三步,根据上述声道位姿信息组和上述用户双耳位置信息,确定目标传递函数组。实践中,上述执行主体可以将上述声道位姿信息组和上述用户双耳位置信息输入预先训练完成的传递函数组生成模型,得到传递函数组作为目标传递函数组。其中,上述传递函数组生成模型可以为以声道位姿信息组和用户双耳位置信息为输入,以传递函数组为输出的神经网络。上述神经网络可以为卷积神经网络,也可以为循环神经网络。
在一些实施例的一些可选的实现方式中,上述执行主体可以根据上述声道位姿信息组和上述用户双耳位置信息,从预设传递函数组集合中选择满足预设位置条件的预设传递函数组作为目标传递函数组。其中,上述预设传递函数组集合包括的预设传递函数组可以为预先设定的传递函数组。上述预设传递函数组集合包括的每个预设传递函数组对应有预设距离平均值和预设角度平均值。上述预设距离平均值可以为预先设定的距离平均值。上述预设角度平均值可以为预先设定的角度平均值。上述预设位置条件可以为第一目标差值小于等于第一预设阈值且第二目标差值小于等于第二预设阈值。上述第一目标差值可以为预设传递函数组对应的预设距离平均值与距离平均值的差值。上述距离平均值可以为各个声道与用户双耳对应的各个距离值的平均值。上述第二目标差值可以为预设传递函数组对应的预设角度平均值与角度平均值的差值。上述角度平均值可以为各个声道与用户双耳对应的各个方位角的平均值。上述预设角度平均值可以为预先设定的角度平均值。上述第一预设阈值和第二预设阈值均可以为预先设定的阈值。实践中,首先,上述执行主体可以对于声道位姿信息组中的每个声道位姿信息执行以下步骤:
第一步,根据欧氏度量法,以及上述声道位姿信息包括的声道坐标和上述用户双耳位置信息包括的左耳位置坐标,生成左耳位置距离值和左耳位置方位角。作为示例,上述执行主体可以将上述声道位姿信息包括的声道坐标和上述用户双耳位置信息包括的左耳位置坐标输入欧式度量公式,得到的欧氏距离作为左耳位置距离值,得到的空间夹角作为左耳位置方位角。
第二步,根据欧氏度量法,以及上述声道位姿信息包括的声道坐标和上述用户双耳位置信息包括的右耳位置坐标,生成右耳位置距离值和右耳位置方位角。作为示例,上述执行主体可以将上述声道位姿信息包括的声道坐标和上述用户双耳位置信息包括的右耳位置坐标输入欧式度量公式,得到的欧氏距离作为右耳位置距离值,得到的空间夹角作为右耳位置方位角。
其次,将所生成的各个左耳位置距离值和所生成的各个右耳位置距离值的和确定为总距离值,将所生成的各个左耳位置方位角和所生成的各个右耳位置方位角的和确定为总角度值。然后,将上述声道位姿信息组包括的声道位姿信息的数量乘以二,得到目标数量值。之后,将上述总距离值与上述目标数量值的比值确定为距离平均值,将上述总角度值与上述目标数量值的比值确定为角度平均值。最后,从预设传递函数组集合中选择满足预设位置条件的预设传递函数组作为目标传递函数组。
由此,可以根据用户与目标设备之间的实时距离和实时方位确定目标传递函数,从而可以得到与实际场景更加匹配的传递函数,进而可以减少所重放的叠加信号在传播给用户的过程中的失真。
步骤405,根据主音频信号组和目标传递函数组,确定对应各个声道的副音频信号组。
步骤406,驱动各个声道重放对应主音频信号组与副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小。
在一些实施例中,步骤405-406的具体实现及所带来的技术效果可以参考图2对应的那些实施例中的步骤203-204,在此不再赘述。
可选地,上述目标声道为声道对应的方向与收听位置的方向相同的声道。
作为示例,声道对应的方向为左声道,收听位置的方向为人脸左侧,则上述目标声道为左声道。声道对应的方向为右声道,收听位置的方向为人脸右侧,则上述目标声道为右声道。
从图4中可以看出,与图2对应的一些实施例的描述相比,图4对应的一些实施例中的立体声重放方法的流程400体现了对确定目标传递函数组进行扩展的步骤。由此,这些实施例描述的方案可以通过对人脸两侧的开放空间进行非对称的声场主动控制,使用户的左右耳听到不同的音频成分,使用户双耳听觉具有显著的独立性,从而基于双耳效应使用户产生声源空间感,可以提高用户听到的立体声效果和用户体验感。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种立体声重放装置的一些实施例,这些装置实施例与图2所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,一些实施例的立体声重放装置500包括:获取单元501、第一确定单元502、第二确定单元503和重放单元504。其中,获取单元501被配置成获取对应目标设备的各个声道的主音频信号组;第一确定单元502被配置成确定目标传递函数组,其中,上述目标传递函数组中的每个目标传递函数对应有目标传声路径信息,上述目标传声路径信息表征声道与收听位置之间的传声路径;第二确定单元503被配置成根据上述主音频信号组和上述目标传递函数组,确定对应上述各个声道的副音频信号组;重放单元504被配置成驱动上述各个声道重放对应上述主音频信号组与上述副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小,其中,上述目标能量为对应收听位置的目标声道以外的声道的主音频信号的能量。
可选地,立体声重放装置500还可以包括:声道选择信息获取单元(图中未示出)。其中,上述声道选择信息获取单元可以被配置成获取对应各个用户的声道选择信息集,其中,上述声道选择信息集中的声道选择信息包括声道标识,上述声道选择信息集包括的各个声道标识对应各个声道。
可选地,上述目标声道对应与目标用户对应的声道选择信息。第一确定单元502还可以进一步被配置成获取对应上述各个用户的用户交互语音信息集;根据上述用户交互语音信息集,生成用户收听位置信息集;根据上述声道选择信息集和上述用户收听位置信息集,确定目标传递函数组。
可选地,上述各个声道包括左声道和右声道。上述目标声道为声道对应的方向与收听位置的方向相同的声道。第一确定单元502还可以进一步被配置成获取上述目标设备的设备位姿信息和用户语音信息;根据上述用户语音信息,生成用户嘴部位置信息;根据上述设备位姿信息和上述用户嘴部位置信息,确定目标传递函数组。
可选地,第一确定单元502还可以进一步被配置成根据上述设备位姿信息,生成对应上述各个声道的声道位姿信息组;根据上述用户嘴部位置信息,生成用户双耳位置信息;根据上述声道位姿信息组和上述用户双耳位置信息,确定目标传递函数组。
可选地,第一确定单元502还可以进一步被配置成根据上述声道位姿信息组和上述用户双耳位置信息,从预设传递函数组集合中选择满足预设位置条件的预设传递函数组作为目标传递函数组。
可以理解的是,立体声重放装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元,在此不再赘述。
下面参考图6,其示出了适于用来实现本公开的一些实施例的话筒设备600的结构示意图。本公开的一些实施例中的话筒设备可以包括但不限于唱歌话筒。图6示出的话筒设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示,话筒设备600可以包括话筒主体(图中未示出)、处理装置601(例如中央处理器、图形处理器等)、存储器602、输入单元603、输出单元604。其中,上述话筒主体可以用于用户持握。处理装置601、存储器602、输入单元603和输出单元604通过总线605彼此相连。在此,根据本公开的实施例的方法可以被实现为计算机程序,并且存储在存储器602中。话筒设备中的处理装置601通过调用存储器602中存储的上述计算机程序,来具体实现本公开的立体声重放方法。在一些实现方式中,输入单元603可以包括麦克风组件和音源端口。其中,上述麦克风组件可以设置于上述话筒主体上端。上述音源端口可以为音源接口,可以用于向上述至少两个扬声器传输对应上述至少两个声道的主音频信号组。上述麦克风组件可以包括麦克风阵列和外壳,用于采集用户的声音。可选地,输入单元603还可以包括位姿传感器。其中,上述位姿传感器可以设置于麦克风组件包括的外壳的内部,以用于检测麦克风组件的位姿。输出单元604可以包括至少两个扬声器。其中,上述至少两个扬声器可以设置于上述话筒主体内,对应上述话筒设备的至少两个声道。
下面参考图7,其示出了适于用来实现本公开的一些实施例的音箱设备700的结构示意图。本公开的一些实施例中的话筒设备可以包括但不限于便携式音箱、车载音箱。图7示出的音箱设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图7所示,音箱设备700可以包括箱体(图中未示出)、处理装置701(例如中央处理器、图形处理器等)、存储器702、输入单元703、输出单元704。处理装置701、存储器702、输入单元703和输出单元704通过总线705彼此相连。在此,根据本公开的实施例的方法可以被实现为计算机程序,并且存储在存储器702中。音箱设备中的处理装置701通过调用存储器702中存储的上述计算机程序,来具体实现本公开的立体声重放方法。在一些实现方式中,输入单元703可以包括音源端口。上述音源端口可以为音源接口,可以用于向上述至少两个扬声器传输对应上述至少两个声道的主音频信号组。可选地,输入单元703还可以包括麦克风组件。其中,上述麦克风组件可以包括麦克风阵列和外壳,用于采集用户的声音。输出单元704可以包括至少两个扬声器。其中,上述至少两个扬声器可以设置于上述箱体内,对应上述音箱设备的至少两个声道。
需要说明的是,本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(Hyper Text TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述话筒设备和音箱设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取对应目标设备的各个声道的主音频信号组;确定目标传递函数组,其中,上述目标传递函数组中的每个目标传递函数对应有目标传声路径信息,上述目标传声路径信息表征声道与收听位置之间的传声路径;根据上述主音频信号组和上述目标传递函数组,确定对应上述各个声道的副音频信号组;驱动上述各个声道重放对应上述主音频信号组与上述副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小,其中,上述目标能量为对应收听位置的目标声道以外的声道的主音频信号的能量。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、第一确定单元、第二确定单元和重放单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取对应目标设备的各个声道的主音频信号组的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种立体声重放方法,包括:
获取对应目标设备的各个声道的主音频信号组;
确定目标传递函数组,其中,所述目标传递函数组中的每个目标传递函数对应有目标传声路径信息,所述目标传声路径信息表征声道与收听位置之间的传声路径;
根据所述主音频信号组和所述目标传递函数组,确定对应所述各个声道的副音频信号组;
驱动所述各个声道重放对应所述主音频信号组与所述副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小,其中,所述目标能量为对应收听位置的目标声道以外的声道的主音频信号的能量。
2.根据权利要求1所述的方法,其中,在所述获取对应目标设备的各个声道的主音频信号组之前,所述方法还包括:
获取对应各个用户的声道选择信息集,其中,所述声道选择信息集中的声道选择信息包括声道标识,所述声道选择信息集包括的各个声道标识对应各个声道。
3.根据权利要求2所述的方法,其中,所述目标声道对应与目标用户对应的声道选择信息;以及
所述确定目标传递函数组,包括:
获取对应所述各个用户的用户交互语音信息集;
根据所述用户交互语音信息集,生成用户收听位置信息集;
根据所述声道选择信息集和所述用户收听位置信息集,确定目标传递函数组。
4.根据权利要求1所述的方法,其中,所述各个声道包括左声道和右声道,所述目标声道为声道对应的方向与收听位置的方向相同的声道;以及
所述确定目标传递函数组,包括:
获取所述目标设备的设备位姿信息和用户语音信息;
根据所述用户语音信息,生成用户嘴部位置信息;
根据所述设备位姿信息和所述用户嘴部位置信息,确定目标传递函数组。
5.根据权利要求4所述的方法,其中,所述根据所述设备位姿信息和所述用户嘴部位置信息,确定目标传递函数组,包括:
根据所述设备位姿信息,生成对应所述各个声道的声道位姿信息组;
根据所述用户嘴部位置信息,生成用户双耳位置信息;
根据所述声道位姿信息组和所述用户双耳位置信息,确定目标传递函数组。
6.根据权利要求5所述的方法,其中,所述根据所述声道位姿信息组和所述用户双耳位置信息,确定目标传递函数组,包括:
根据所述声道位姿信息组和所述用户双耳位置信息,从预设传递函数组集合中选择满足预设位置条件的预设传递函数组作为目标传递函数组。
7.一种立体声重放装置,包括:
获取单元,被配置成获取对应目标设备的各个声道的主音频信号组;
第一确定单元,被配置成确定目标传递函数组,其中,所述目标传递函数组中的每个目标传递函数对应有目标传声路径信息,所述目标传声路径信息表征声道与收听位置之间的传声路径;
第二确定单元,被配置成根据所述主音频信号组和所述目标传递函数组,确定对应所述各个声道的副音频信号组;
重放单元,被配置成驱动所述各个声道重放对应所述主音频信号组与所述副音频信号组的叠加信号组,以使各个收听位置中的每个收听位置接收的目标能量最小,其中,所述目标能量为对应收听位置的目标声道以外的声道的主音频信号的能量。
8.一种话筒设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
话筒主体,用于用户持握;
至少两个扬声器,设置于所述话筒主体内,对应所述话筒设备的至少两个声道;
麦克风组件,设置于所述话筒主体上端,包括麦克风阵列和外壳,用于采集用户的声音;
音源端口,用于向所述至少两个扬声器传输对应所述至少两个声道的主音频信号组;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种音箱设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
箱体;
至少两个扬声器,对应所述音箱设备的至少两个声道,设置于所述箱体内;
音源端口,用于向所述至少两个扬声器传输对应所述至少两个声道的主音频信号组;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310200988.5A CN116456247A (zh) | 2023-03-03 | 2023-03-03 | 立体声重放方法、装置、话筒设备、音箱设备和介质 |
| CN202311616257.5A CN117835121A (zh) | 2023-03-03 | 2023-11-28 | 立体声重放方法、电脑、话筒设备、音箱设备和电视 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310200988.5A CN116456247A (zh) | 2023-03-03 | 2023-03-03 | 立体声重放方法、装置、话筒设备、音箱设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116456247A true CN116456247A (zh) | 2023-07-18 |
Family
ID=87129158
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310200988.5A Pending CN116456247A (zh) | 2023-03-03 | 2023-03-03 | 立体声重放方法、装置、话筒设备、音箱设备和介质 |
| CN202311616257.5A Pending CN117835121A (zh) | 2023-03-03 | 2023-11-28 | 立体声重放方法、电脑、话筒设备、音箱设备和电视 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311616257.5A Pending CN117835121A (zh) | 2023-03-03 | 2023-11-28 | 立体声重放方法、电脑、话筒设备、音箱设备和电视 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN116456247A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117193702A (zh) * | 2023-08-10 | 2023-12-08 | 深圳市昂晖电子科技有限公司 | 基于嵌入式播放器的播放控制方法及相关装置 |
| CN118748774A (zh) * | 2024-08-16 | 2024-10-08 | 比亚迪股份有限公司 | 车辆声效控制方法、装置、设备、存储介质及车辆 |
-
2023
- 2023-03-03 CN CN202310200988.5A patent/CN116456247A/zh active Pending
- 2023-11-28 CN CN202311616257.5A patent/CN117835121A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117193702A (zh) * | 2023-08-10 | 2023-12-08 | 深圳市昂晖电子科技有限公司 | 基于嵌入式播放器的播放控制方法及相关装置 |
| CN117193702B (zh) * | 2023-08-10 | 2024-06-11 | 深圳市昂晖电子科技有限公司 | 基于嵌入式播放器的播放控制方法及相关装置 |
| CN118748774A (zh) * | 2024-08-16 | 2024-10-08 | 比亚迪股份有限公司 | 车辆声效控制方法、装置、设备、存储介质及车辆 |
| CN118748774B (zh) * | 2024-08-16 | 2025-08-05 | 比亚迪股份有限公司 | 车辆声效控制方法、装置、设备、存储介质及车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117835121A8 (zh) | 2024-05-10 |
| CN117835121A (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8073125B2 (en) | Spatial audio conferencing | |
| US11037544B2 (en) | Sound output device, sound output method, and sound output system | |
| CN106134223B (zh) | 重现双耳信号的音频信号处理设备和方法 | |
| CN105792090B (zh) | 一种增加混响的方法与装置 | |
| EP2863654B1 (en) | A method for reproducing an acoustical sound field | |
| Härmä et al. | Augmented reality audio for mobile and wearable appliances | |
| KR101486448B1 (ko) | 음향 변환기 | |
| JP6726169B2 (ja) | 頭部オーディオ伝達関数を生成するためのシステム及び装置 | |
| US20080118078A1 (en) | Acoustic system, acoustic apparatus, and optimum sound field generation method | |
| US20150189455A1 (en) | Transformation of multiple sound fields to generate a transformed reproduced sound field including modified reproductions of the multiple sound fields | |
| CN102187690A (zh) | 在助听器系统中转换双耳立体声的方法以及助听器系统 | |
| CN111696513A (zh) | 音频信号处理方法及装置、电子设备、存储介质 | |
| JP2002209300A (ja) | 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム | |
| CN117835121A (zh) | 立体声重放方法、电脑、话筒设备、音箱设备和电视 | |
| US20220141588A1 (en) | Method and apparatus for time-domain crosstalk cancellation in spatial audio | |
| CN115777203A (zh) | 信息处理装置、输出控制方法和程序 | |
| WO2022059362A1 (ja) | 情報処理装置、情報処理方法および情報処理システム | |
| CN112770227A (zh) | 音频处理方法、装置、耳机和存储介质 | |
| JP2020088516A (ja) | テレビ会議システム | |
| CN114339582B (zh) | 双通道音频处理、方向感滤波器生成方法、装置以及介质 | |
| WO2023061130A1 (zh) | 耳机、用户设备及处理信号的方法 | |
| CN113038322B (zh) | 一种以听觉增强环境感知的方法与装置 | |
| US10440495B2 (en) | Virtual localization of sound | |
| CN114586378B (zh) | 用于入耳式麦克风阵列的部分hrtf补偿或预测 | |
| JP2020526962A (ja) | 多チャネルバイノーラル録音および動的再生 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |