CN121218086A - 音效处理装置、音效处理方法和扩展现实设备 - Google Patents

Abstract

本公开涉及一种音效处理装置，包括：颈挂式主体；图像采集结构，置于颈挂式主体的两端的第一图像采集结构和第二图像采集结构，第一图像采集结构和第二图像采集结构分别被配置为采集对应的人耳图像；光源，包括第一光源和第二光源，第一处理模块，用于根据采集的图像获取使用者的人体参数，以确定对应使用者的音频输入信号；第二处理模块，用于根据音频输入信号控制扬声器输出对应的音效。本公开还涉及一种音效处理方法和扩展现实设备。

Description

音效处理装置、音效处理方法和扩展现实设备

技术领域

本公开涉及空间音频技术领域，尤其涉及一种音效处理装置、音效处理方法和扩展现实设备。

背景技术

空间音频基于HRTF实现，头相关传输函数(Head—Related Transfer Function，HRTF，也有文献称为双耳传输函数)描述了声波从声源到双耳的传输过程。它是人的生理结构(如头、耳廓以及躯干等)对声波进行综合滤波的结果。每个人的头、耳廓、躯干尺寸和形状都不同，要实现个性化HRTF，需要每个人相关参数进行测量。

发明内容

为了解决上述技术问题，本公开提供一种音效处理装置、音效处理方法和扩展现实设备。

为了达到上述目的，本公开实施例采用的技术方案是：一种音效处理装置，包括：

颈挂式主体；

图像采集结构，包括设置于所述颈挂式主体的两端的第一图像采集结构和第二图像采集结构，所述第一图像采集结构和所述第二图像采集结构分别被配置为采集对应的人耳图像；

光源，包括环绕设置于所述第一图像采集结构的四周的第一光源和环绕设置于所述第二图像采集结构的四周的第二光源，控制所述第一光源点亮以使所述第一图像采集结构获取左耳图像，控制所述第二光源点亮以使所述第二图像采集结构获取右耳图像；

第一处理模块，用于根据所述图像采集结构采集的图像获取使用者的人体参数，以确定对应使用者的音频输入信号，所述参数包括头宽和人耳三维模型；

第二处理模块，用于根据所述音频输入信号控制扬声器输出对应的音效。

可选的，所述第一光源包括多个能够独立发光的第一子光源，多个所述第一子光源被配置为分时点亮，以使得所述第一图像采集结构获得左耳的图像信息；所述第二光源包括多个能够独立发光的第二子光源，多个所述第二子光源被配置为分时点亮，以使得所述第二图像采集结构获得右耳的图像信息。

可选的，所述第一图像采集结构和所述第二图像采集结构的结构相同，所述第一图像采集结构包括单目相机或者双目相机。

可选的，所述第一光源和所述第二光源的结构相同，所述第一光源为环形结构，多个所述第一子光源为所述环形结构等分形成。

可选的，建立坐标系，并设定所述第一图像采集结构所在位置为A点，所述第二图像采集结构所在位置为B点，使用者左右摆头的转轴所在的位置为O点，A点、B点和O点合围形成等腰三角形，∠OAB和∠OBA相同，∠OAB的值设定为θ；

设定使用者左耳所在位置为C点，使用者右耳位置为D点，O点到使用者左耳的距离OC和O到右耳的距离OD相同，OC长度设定为r；

所述第一图像采集结构包括单目相机，所述第一处理模块包括第一头宽测量单元，所述第一头宽测量单元用于利用三角形几何定理获取∠COD的值，并根据∠COD的值和所述r的值获取使用者的头宽信息，其中头宽信息包括使用者左耳所在位置C点和使用者右耳所在位置D点之间的距离。

可选的，所述第一头宽测量单元包括：

第一子处理单元，所述第一处理部用于根据以下公式获取r值和θ值：

其中，∠CAO的值为θ1，∠DBO的值为θ2，所述第一图像采集结构和使用者左耳之间的距离p1与所述第二图像采集结构与使用者右耳之间的距离p2的比值n1；∠CAO的值为θ3，∠DBO的值为θ4，所述第二图像采集结构和使用者左耳之间的距离p3与所述第二图像采集结构与使用者右耳之间的距离p4的比值n2；

第二子处理单元，用于根据由所述第一处理部获取的r值和θ值获取∠COD的值。

可选的，所述第一处理模块包括人耳模型重建单元，所述人耳模型重建单元包括结构相同的左耳模型重建单元和右耳模型重建单元，所述左耳模型重建单元包括：

第一处理部，被配置为对所述第一图像采集结构采集的图像进行处理，以获得左耳的法向量信息；

第二处理部，被配置为以所述第一头宽测量单元获取的p1值作为起点，结合所述法向量信息对左耳模型进行积分，以对左耳进行三维模型重建。

可选的，所述第一图像采集结构为双目相机，所述处理模块包括人耳模型重建单元，所述人耳模型重建单元包括结构相同的左耳模型重建单元和右耳模型重建单元，所述左耳模型重建单元包括：

第三处理部，被配置为对所述第一图像采集结构采集的图像进行处理，并对左耳进行三维重建。

可选的，所述左耳模型重建单元还包括第四处理部，所述第四处理部，被配置为对所述第三处理部获取的左耳三维重建的深度图，进行积分处理，以补充遮挡和无纹理区域的深度信息。

可选的，所述处理模块还包括第二头宽测量单元，所述第二头宽测量单元包括：

第五处理部，被配置为基于所述第三处理部获取的左耳三维重建的深度图，将左耳的深度信息转换为点云数据；

第六处理部，被配置为根据所述点云数据获取使用者的头宽信息。

本公开实施例还提供一种音效处理方法，应用于上述的音效处理装置，包括以下步骤：

采集使用者左耳和右耳的在多角度光源下的多视角图像的图像信息；

根据所述图像信息获取使用者的人体参数，以确定对应使用者的音频输入信号，所述参数包括头宽和人耳三维模型；

根据所述音频输入信号控制扬声器输出对应的音效。

可选的，所述第一图像采集结构和所述第二图像采集结构的结构相同，所述第一图像采集结构包括单目相机；

设定所述第一图像采集结构所在位置为A点，所述第二图像采集结构所在位置为B点，使用者左右摆头的转轴所在位置为O点，A点、B点和O点合围形成等腰三角形，∠OAB和∠OBA相同，∠OAB的值设定为θ；

设定使用者左耳所在位置为C点，使用者右耳位置为D点，O点到使用者左耳的距离OC和O到右耳的距离OD相同，OC长度设定为r；

根据所述图像信息获取使用者的人体参数，所述参数包括头宽和人耳三维模型，具体包括：

利用三角形几何定理获取∠COD的值，并根据∠COD的值和所述r的值获取使用者的头宽信息，其中头宽信息包括使用者左耳所在位置C点和使用者右耳所在位置D点之间的距离。

可选的，所述利用三角形几何定理获取∠COD的值，并根据∠COD的值和所述r的值获取使用者的头宽信息，具体包括：

根据以下公式获取r值和θ值：

其中，∠CAO的值为θ1，∠DBO的值为θ2，所述第一图像采集结构和使用者左耳之间的距离p1与所述第二图像采集结构与使用者右耳之间的距离p2的比值n1；∠CAO的值为θ3，∠DBO的值为θ4，所述第二图像采集结构和使用者左耳之间的距离p3与所述第二图像采集结构与使用者右耳之间的距离p4的比值n2；

根据由所述第一处理部获取的r值和θ值获取∠COD的值。

可选的，根据所述图像信息获取使用者的人体参数，所述参数包括头宽和人耳三维模型，具体包括：

对人耳的图像进行处理，并获得左耳和右耳的法向量信息；

以获取的p1值作为起点，结合对应的所述法向量信息分别对左耳和右耳模型进行积分，以对左耳和右耳进行三维模型重建。

可选的，根据所述图像信息获取使用者的人体参数，所述参数包括头宽和人耳三维模型，具体包括：

对人耳的图像进行处理，并分别对左耳和右耳进行三维重建。

可选的，还包括：分别对左耳和右耳的三维重建的深度图，进行积分处理，以补充遮挡和无纹理区域的深度信息。

可选的，还包括：

基于所述左耳和右耳的三维重建的深度图，将左耳和右耳的深度信息分别转换为点云数据；

根据所述点云数据获取使用者的头宽信息。

本公开实施例还提供一种扩展现实设备，包括上述的音效处理装置。

本公开实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述音效处理方法的步骤。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的音效处理方法的步骤。

本公开的有益效果是：头宽和人耳三维模型对于个性化HRTF的计算起到很重要的作用。本公开实施例提供了一种音效处理装置和音效处理方法，实现了个性化HRTF所需的信息的采集，结构简单，并提高了HRTF测量的精度，并根据获取的个性化的HTTF函数控制扬声器输出对应的音效，提升音效效果。

附图说明

图1表示本公开实施例中音效处理装置使用状态示意图；

图2表示本公开实施例中音效处理装置使用状态示意图；

图3表示本公开实施例中人头右转的姿态下头宽测量示意图；

图4表示本公开实施例中人头左转的姿态下头宽测量示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

头宽和人耳三维模型对于个性化HRTF的计算起到很重要的作用。获取对应使用者的头宽、人耳三维模型等参数获取和使用者对应的HRTF函数，进而根据该HRTF函数控制扬声器输出对应的音效，提升个人音效体验。参考图1和图2，本实施例提供一种音效处理装置，包括：

颈挂式主体10；

图像采集结构，包括设置于所述颈挂式主体10的两端的第一图像采集结构3和第二图像采集结构4，所述第一图像采集结构3和所述第二图像采集结构4分别被配置为采集对应的人耳图像；

光源，包括环绕设置于所述第一图像采集结构3的四周的第一光源5和环绕设置于所述第二图像采集结构4的四周的第二光源6，控制所述第一光源5点亮以使所述第一图像采集结构3获取左耳图像，控制所述第二光源6点亮以使所述第二图像采集结构4获取右耳图像；

第一处理模块，用于根据所述图像采集结构采集的图像获取使用者的人体参数，以确定对应使用者的音频输入信号，所述参数包括头宽和人耳三维模型；

第二处理模块，用于根据所述音频输入信号控制扬声器输出对应的音效。

采用颈挂式主体10，可以使得音效处理装置放在脖子上，所述图像采集结构和所述光源等设置在所述颈挂式主体10上，结构简单，测量便捷。在所述颈挂式主体10的两端分别设置第一图像采集结构3和第二图像采集结构4，以便于分别采集使用者左耳1的图像和右耳2的图像。

本实施例中，所述第一光源5包括多个能够独立发光的第一子光源，多个所述第一子光源被配置为分时点亮，以使得所述第一图像采集结构3获得左耳的图像信息；所述第二光源6包括多个能够独立发光的第二子光源，多个所述第二子光源被配置为分时点亮，以使得所述第二图像采集结构4获得右耳的图像信息。

本实施例中，所述第一图像采集结构3四周环绕设置有所述第一光源5，所述第二图像采集结构4的四周环绕设置有所述第二光源6，所述第一光源5朝向所述第一图像采集结构3的方向倾斜发光，所述第二光源6朝向所述第二图像采集结构4的方向倾斜发光，所述第一光源5和所述第二光源6均包括多个独立发光的子光源，所述第一光源5的多个第一子光源分时点亮提供多角度光源，可以使得所述第一图像采集结构3获得左耳1的多视角图像，所述第二光源6的多个第二子光源分时点亮提供多角度光源，可以使得所述第二图像采集结构4获得左耳1的多视角图像，进而获得细腻的人耳梯度图，以便于人耳三维模型的重建。

所述第一处理模块根据所述图像采集结构获得的图像进行处理，可以获得头宽信息和人耳模型重建，实现个性化HRTF所需的信息的采集。所述第二处理模块根据个性化的HRTF函数控制扬声器输出对应的音效，可以提升个人音效体验。

需要说明的是，所述音频输入信号包括HRTF函数。

需要说明的是，本实施例中，对应所述第一图像采集结构3设置的所述第一光源5，包括多个第一子光源，多个第一子光源分时点亮，即按照预设条件先后控制不同的第一子光源进行点亮，从而可以获得不同角度光源下的不同视角的左耳图像。同样的，对应所述第二图像采集结构4设置的所述第二光源6，包括多个第二子光源，多个第二子光源分时点亮，即按照预设条件先后控制不同的第二子光源进行点亮，从而可以获得不同角度光源下的不同视角的右耳图像。

所述第一处理模块在对所述图像采集结构进行图像处理时采用光度立体算法，在光度立体算法中，首先需要对多个光源下捕获的图像进行预处理，包括对图像进行校准、对齐和去噪等操作。然后，通过比较不同光源下的图像亮度和颜色信息，可以推断出场景中不同物体的深度信息，提供比传统立体视觉算法更准确的深度估计。

示例性的实施方式中，所述第一图像采集结构3和所述第二图像采集结构4的结构相同，所述第一图像采集结构3包括单目相机或者双目相机。

单目相机与周围的多个子光源组成光度立体视觉系统，通过分时点亮并驱动相机采像，可以得到细腻的人耳梯度图。单侧的两个双目相机与多个光源组成时空立体匹配系统，双目相机之间做同步，每次光源点亮后，对应的相机进行采像。则一帧双目图像由相机多次与光源同步的曝光得到，多帧图像组成的描述子立体匹配鲁棒性更强，细节更好。

示例性的实施方式中，所述第一光源5和所述第二光源6的结构相同，所述第一光源5为环形结构，多个所述第一子光源为所述环形结构等分形成。

以下介绍通过本实施例的音效处理装置，利用人头100的两个姿态实现头宽测量的方法。

图1为使用者向右摆头的姿态下的头宽测量示意图，图2为使用者向左摆头的姿态下的头宽测量的示意图。

示例性的实施方式中，建立坐标系，设定所述第一图像采集结构3所在位置为A点，所述第二图像采集结构4所在位置为B点，使用者左右摆头的转轴所在的位置为O点(需要说明的是，图1和图2均是正面视图，此时左右摆头的转轴由于视图关系表示为一个点)，A点、B点和O点合围形成等腰三角形，O1为第一图像采集结构3和第二图像采集结构4光心连线的中点，AOB三角形在人头100转动时并不会发生改变。∠OAB和∠OBA相同，∠OAB的值设定为θ；

设定使用者左耳1所在位置为C点，使用者右耳2位置为D点，左右摆头时，转轴到左耳1、右耳2的距离是固定的，不管人头100怎么摆动，左耳1、右耳2都是在以转轴为中心、半径为r上的圆上转动。即O点到使用者左耳1的距离OC和O到右耳2的距离OD相同，OC长度设定为r；

所述第一图像采集结构3包括单目相机，所述第一处理模块包括第一头宽测量单元，所述第一头宽测量单元

用于利用三角形几何定理获取∠COD的值，并根据∠COD的值和所述r的值获取使用者的头宽信息，其中头宽信息包括使用者左耳所在位置C点和使用者右耳所在位置D点之间的距离。

所述第一头宽测量单元包括：

第一子处理单元，所述第一处理部用于根据以下公式获取r值和θ值：

其中，∠CAO的值为θ1，∠DBO的值为θ2，所述第一图像采集结构和使用者左耳之间的距离p1与所述第二图像采集结构与使用者右耳之间的距离p2的比值n1；∠CAO的值为θ3，∠DBO的值为θ4，所述第二图像采集结构和使用者左耳之间的距离p3与所述第二图像采集结构与使用者右耳之间的距离p4的比值n2；

第二子处理单元，用于根据由所述第一处理部获取的r值和θ值获取∠COD的值。

进一步具体的，所述第一头宽测量单元包括：

第一子处理部，被配置为获取向右转头时的第一姿态的第一子参数，所述第一子参数包括r值，∠CAO的值θ1，∠DBO的值θ2以及所述第一图像采集结构3和使用者左耳1之间的距离p1与所述第二图像采集结构4与使用者右耳2之间的距离p2的比值n1(参考图1)；

第二子处理部，被配置为获取向左转头时的第二姿态的第二子参数，所述第二子参数包括∠CAO的值θ3，∠DBO的值θ4以及所述第二图像采集结构4和使用者左耳1之间的距离p3与所述第二图像采集结构4与使用者右耳2之间的距离p4的比值n2(参考图2)；

第三子处理部，被配置为根据以下公式获取r值和θ值：

第四子处理部，被配置为根据所述第三处理部获得的r值和θ值获取所述第一图像采集结构3和使用者左耳1之间的距离p1与所述第二图像采集结构4与使用者右耳2之间的距离p2；

第五子处理部，被配置为根据所述第三处理部获得的r值和θ值，以及所述第四处理部获取的p1和p2，获取∠COD的值；

第六子处理部，被配置为根据∠COD的值和r值获取使用者的头宽信息，其中头宽信息包括使用者左耳1所在位置C点和使用者右耳2所在位置D点之间的距离。

参照图1，根据几何的余弦定理，可以获得上述公式(1)和(2)，上述公式(1)和(2)化简可得r＝f(θ₁,θ₂,θ,n₁,t)(5)。

参照图2，根据几何的余弦定理，可以获得上述公式(3)和(4)，上述公式(3)和(4)化简可得r＝f(θ₃,θ₄,θ,n₂,t)(6)

其中θ1、θ2、θ3、θ4、n1、n2都为已知量，；联立上式(5)和(6)，可求得r、θ。

获得r、θ后，可以计算得到所述第一图像采集结构3和使用者左耳1之间的距离p1与所述第二图像采集结构4与使用者右耳2之间的距离p2，进一步的根据几何公式可计算得到∠AOC、∠DOB、∠AOB的值，进而得到∠COD的值，根据余弦定理即可求得头宽CD。

需要说明的是，采用上述方案测量头宽时，用人头100的两个姿态就可以实现，也可以用多个姿态建立多组方程，采用最小二乘法实现头宽计算。

示例性的实施方式中，所述处理模块包括人耳模型重建单元，所述人耳模型重建单元包括结构相同的左耳1模型重建部和右耳2模型重建部，所述左耳1模型重建部包括：

第一处理部，被配置为对所述第一图像采集结构3在多角度光源照射下采集的不同视角的图像进行处理，并根据光度立体算法获得左耳1的法向量信息；

第二处理部，被配置为以所述头宽测量结构获取的p1值作为起点，结合所述法向量信息对左耳模型进行积分，以对左耳1进行三维模型重建。

所述左耳模型重建部和所述右耳模型重建部的结构相同，对于左耳三维模型重建的方法和对于右耳三维模型重建的方法也是相同的，以下以左耳1为例对人耳三维模型重建进行描述。

本实施例中，相机与周围的多个子光源组成光度立体视觉系统，光度立体视觉的原理是利用多个光源在不同角度和时间点照射目标物体，通过分析不同光照条件下目标物体的亮度变化来获取深度和表面法向量等信息。通过驱动相机采集这些光照条件下的图像，可以获得丰富的梯度信息，有助于更准确地表征人耳表面的细节。

基于对所述光度立体视觉系统获得的图像进行分析获得的头宽准确度提高，以获取的p1值作为起点，结合对应的所述法向量信息对人耳模型积分重建的方法来生成人耳的三维模型，精度更高。积分重建是一种常用的三维重建技术，它利用深度和法向量信息来积分重建物体的表面。

需要说明的是，在获得初步的三维模型后，可以进行优化和细化。这包括去除噪声、填补缺失的部分、平滑表面等操作，以获得更准确和真实的人耳三维模型。

示例性的实施方式中，所述第一图像采集结构3为双目相机，所述第一处理模块包括人耳模型重建单元，所述人耳模型重建单元包括结构相同的左耳模型重建部和右耳模型重建部，所述左耳模型重建部包括：

第三处理部，被配置为对所述第一图像采集结构3采集的图像进行处理，并通过立体匹配算法对左耳1进行三维重建。

利用立体匹配算法对双目相机采集的图像进行匹配，找到对应的像素点，并计算它们之间的视差(disparity)。常见的立体匹配算法包括基于区域的方法、基于特征的方法、以及深度学习方法等。

根据计算得到的视差信息，可以推导出人耳表面的深度图。深度图反映了不同位置处的像素点到相机的距离，可以用来表示人耳的三维形状。

基于深度图，可以进行三维重建操作，将人耳的形状从二维图像空间映射到三维空间。这通常涉及到点云重建、曲面重建等技术，最终生成人耳的三维模型。

本实施例中，结合了单侧的两个双目相机和多个光源，通过同步操作来实现更强的立体匹配效果。这种系统利用双目相机之间的同步和多个光源的协同作用，由于每帧图像都包含了不同光照条件下的信息，可以获得更丰富的图像信息，因此可以提高匹配的鲁棒性，特别是在处理复杂场景或纹理细节丰富的物体时，可以获得更好的匹配结果。

每次对应的子光源点亮后，对应的双目相机进行采像，从而获得一帧双目图像。通过多次子光源与相机的同步曝光，可以获得多帧图像，这些图像具有不同光照条件下的信息，有助于提高立体匹配的质量和准确性。

示例性的实施方式中，所述左耳1模型重建部还包括第四处理部，所述第四处理部，被配置为对所述第三处理部获取的左耳1三维重建的深度图，进行积分处理，以补充遮挡和无纹理区域的深度信息。

多角度光源提供了不同光照条件下的信息，相机捕获了这些信息，通过光度立体技术可以获得细腻的梯度图。通过对深度图进行积分处理，可以有效地补充遮挡和无纹理区域的深度信息，提高整体的三维重建质量。

示例性的实施方式中，所述第一处理模块还包括第二头宽测量单元，所述第二头宽测量单元包括：

第五处理部，被配置为基于所述第三处理部获取的左耳1三维重建的深度图，将左耳1的深度信息转换为点云数据；

第六处理部，被配置为根据所述点云数据获取使用者的头宽信息。

本公开实施例还提供一种音效处理方法，应用于上述的音效处理装置，包括以下步骤：

采集使用者左耳1和右耳2的多角度光源照射下的多视角图像的图像信息；

根据所述图像信息获取使用者的人体参数，以确定对应使用者的音频输入信号，所述参数包括头宽和人耳三维模型；

根据所述音频输入信号控制扬声器输出对应的音效。示例性的，所述音频输入信号包括HRTF函数。

示例性的实施方式中，所述第一图像采集结构3和所述第二图像采集结构4的结构相同，所述第一图像采集结构3包括单目相机；

建立坐标系，并设定所述第一图像采集结构3所在位置为A点，所述第二图像采集结构4所在位置为B点，使用者左右摆头的转轴所在位置为O点，A点、B点和O点合围形成等腰三角形，∠OAB和∠OBA相同，∠OAB的值设定为θ；

设定使用者左耳1所在位置为C点，使用者右耳2位置为D点，O点到使用者左耳1的距离OC和O到右耳2的距离OD相同，OC长度设定为r；

根据所述图像信息获取使用者的人体参数，所述参数包括头宽和人耳三维模型，具体包括：

获取向右摆头时的第一姿态的第一子参数，所述第一子参数包括r值，∠CAO的值θ1，∠DBO的值θ2以及所述第一图像采集结构3和使用者左耳1之间的距离p1与所述第二图像采集结构4与使用者右耳2之间的距离p2的比值n1；

获取向左摆头时的第二姿态的第二子参数，所述第二子参数包括∠CAO的值θ3，∠DBO的值θ4以及所述第二图像采集结构4和使用者左耳1之间的距离p3与所述第二图像采集结构4与使用者右耳2之间的距离p4的比值n2；

根据以下公式获取r值和θ值：

根据所述第三处理部获得的r值和θ值获取所述第一图像采集结构3和使用者左耳1之间的距离p1与所述第二图像采集结构4与使用者右耳2之间的距离p2；

根据所述第三处理部获得的r值和θ值，以及所述第四处理部获取的p1和p2，获取∠COD的值；

根据∠COD的值和r值获取使用者的头宽信息，其中头宽信息包括使用者左耳1所在位置C点和使用者右耳2所在位置D点之间的距离。

示例性的实施方式中，根据所述图像信息获取使用者的人体参数，所述参数包括头宽和人耳三维模型，具体包括：

对人耳的图像进行处理，并根据光度立体算法分别获得左耳1和右耳2的法向量信息；

以所述第一头宽测量单元获取的p1值作为起点，结合对应的所述法向量信息分别对左耳1和右耳2模型进行积分，以对左耳1和右耳2进行三维模型重建。

示例性的实施方式中，根据所述图像信息获取使用者的人体参数，所述参数包括头宽和人耳三维模型，具体包括：

对人耳的图像进行处理，并通过立体匹配算法分别对左耳1和右耳2进行三维重建。

示例性的实施方式中，音效处理方法还包括：分别对左耳1和右耳2的三维重建的深度图，进行积分处理，以补充遮挡和无纹理区域的深度信息。

需要说明的是，在立体匹配算法中，左右一致性检验是一种常用的技术，用于验证通过匹配算法得到的视差图的准确性。在立体视觉中，左右一致性是指同一物体在左右两幅图像中应该具有相同的视差值，因为它们在真实世界中是同一个物体。左右一致性检验的基本思想是，对于每个像素点，通过在左图中找到其对应的匹配点，然后再在右图中找到该匹配点的反向匹配点。如果这两个反向匹配点之间的视差值与初始匹配点的视差值接近，那么就认为这个匹配是可靠的。如果左右两侧的匹配不一致，可能是由于误匹配或者其他错误导致的，需要进行进一步的处理或者筛选。通过左右一致性检验，可以帮助提高立体匹配算法的准确性，减少误匹配的情况，从而得到更可靠的视差图。左右一致性检验通常是立体匹配算法中的一个重要步骤，有助于提高立体视觉系统的性能和稳定性。

本实施例中的深度度是基于光度立体视觉系统获得的，即所述第一图像采集结构和所述第二图像采集结构都是采用的双目相机，对应于所述第一图像采集结构的第一光源包括环绕所述第一图像采集结构设置的多个第一子光源，对应于所述第二图像采集结构的第二光源包括环绕所述第二图像采集结构设置的多个第二子光源，所述第一图像采集结构和所述第二图像采集结构所获取的视差图像，是在对应的多个子光源下获取的，多个第一子光源的出光角度是不同的，多个第二子光源的出光角度也是不同的。这样在进行左右一致性检验的步骤中，降低误匹配，提高匹配精度，由此获得的深度图的精度也更高。在此基础上，通过积分来补充深度图中遮挡或无纹理区域的深度缺失，从而获得更完整的深度图。

示例性的实施方式中，音效处理方法还包括：

基于所述左耳1和右耳2的三维重建的深度图，将左耳1和右耳2的深度信息分别转换为点云数据；

根据所述点云数据获取使用者的头宽信息。

本公开实施例还提供一种扩展现实设备，包括上述的音效处理装置。

本公开实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述音效处理方法的步骤。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的音效处理方法的步骤。

其中，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括I(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器至少用于存储以下计算机程序，其中，该计算机程序被处理器加载并执行之后，所述计算机程序被处理器执行时实现如上任一项所述的一种便携式音效处理方法的步骤。另外，存储器所存储的资源还可以包括操作系统和数据等，存储方式可以是短暂存储或者永久存储。其中，操作系统可以包括Windows、Unix、Linux等。数据可以包括但不限于测试结果对应的数据等。

有以下几点需要说明：

(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。

(2)为了清晰起见，在用于描述本公开的实施例的附图中，层或区域的厚度被放大或缩小，即这些附图并非按照实际的比例绘制。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”或者可以存在中间元件。

(3)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。

可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (20)

1.一种音效处理装置，其特征在于，包括：

颈挂式主体；

图像采集结构，包括设置于所述颈挂式主体的两端的第一图像采集结构和第二图像采集结构，所述第一图像采集结构和所述第二图像采集结构分别被配置为采集对应的人耳图像；

光源，包括环绕设置于所述第一图像采集结构的四周的第一光源和环绕设置于所述第二图像采集结构的四周的第二光源；

控制所述第一光源点亮以使所述第一图像采集结构获取左耳图像，控制所述第二光源点亮以使所述第二图像采集结构获取右耳图像；

第一处理模块，用于根据所述图像采集结构采集的图像获取使用者的人体参数，以确定使用者的音频输入信号，所述参数包括头宽和人耳三维模型；

第二处理模块，用于根据所述音频输入信号控制扬声器输出对应的音效。

2.根据权利要求1所述的音效处理装置，其特征在于，所述第一光源包括多个能够独立发光的第一子光源，多个所述第一子光源被配置为分时点亮，以使得所述第一图像采集结构获得左耳的图像信息；所述第二光源包括多个能够独立发光的第二子光源，多个所述第二子光源被配置为分时点亮，以使得所述第二图像采集结构获得右耳的图像信息。

3.根据权利要求1所述的音效处理装置，其特征在于，所述第一图像采集结构和所述第二图像采集结构的结构相同，所述第一图像采集结构包括单目相机或者双目相机。

4.根据权利要求1所述的音效处理装置，其特征在于，所述第一光源和所述第二光源的结构相同，所述第一光源为环形结构，多个所述第一子光源为所述环形结构等分形成。

5.根据权利要求1所述的音效处理装置，其特征在于，建立坐标系，并设定所述第一图像采集结构所在位置为A点，所述第二图像采集结构所在位置为B点，使用者左右摆头的转轴所在的位置为O点，A点、B点和O点合围形成等腰三角形，∠OAB和∠OBA相同，∠OAB的值设定为θ；

设定使用者左耳所在位置为C点，使用者右耳位置为D点，O点到使用者左耳的距离OC和O到右耳的距离OD相同，OC长度设定为r；

所述第一图像采集结构包括单目相机，所述第一处理模块包括第一头宽测量单元，所述第一头宽测量单元用于利用三角形几何定理获取∠COD的值，并根据∠COD的值和所述r的值获取使用者的头宽信息，其中头宽信息包括使用者左耳所在位置C点和使用者右耳所在位置D点之间的距离。

6.根据权利要求5所述的音效处理装置，其特征在于，所述第一头宽测量单元包括：

第一子处理单元，所述第一处理部用于根据以下公式获取r值和θ值：

其中，∠CAO的值为θ1，∠DBO的值为θ2，所述第一图像采集结构和使用者左耳之间的距离p1与所述第二图像采集结构与使用者右耳之间的距离p2的比值n1；∠CAO的值为θ3，∠DBO的值为θ4，所述第二图像采集结构和使用者左耳之间的距离p3与所述第二图像采集结构与使用者右耳之间的距离p4的比值n2；

第二子处理单元，用于根据由所述第一子处理单元获取的r值和θ值获取∠COD的值。

7.根据权利要求6所述的音效处理装置，其特征在于，所述第一处理模块包括人耳模型重建单元，所述人耳模型重建单元包括结构相同的左耳模型重建单元和右耳模型重建单元，所述左耳模型重建单元包括：

第一处理部，被配置为对所述第一图像采集结构采集的多视角图像进行处理，以获得左耳的法向量信息；

第二处理部，被配置为以所述第一头宽测量单元获取的p1值作为起点，结合所述法向量信息对左耳模型进行积分，以对左耳进行三维模型重建。

8.根据权利要求1所述的音效处理装置，其特征在于，所述第一图像采集结构为双目相机，所述处理模块包括人耳模型重建单元，所述人耳模型重建单元包括结构相同的左耳模型重建单元和右耳模型重建单元，所述左耳模型重建单元包括：

第三处理部，被配置为对所述第一图像采集结构采集的图像进行处理，并对左耳进行三维重建。

9.根据权利要求8所述的音效处理装置，其特征在于，所述左耳模型重建单元还包括第四处理部，所述第四处理部，被配置为对所述第三处理部获取的左耳三维重建的深度图，进行积分处理，以补充遮挡和无纹理区域的深度信息。

10.根据权利要求8所述的音效处理装置，其特征在于，所述处理模块还包括第二头宽测量单元，所述第二头宽测量单元包括：

第五处理部，被配置为基于所述第三处理部获取的左耳三维重建的深度图，将左耳的深度信息转换为点云数据；

第六处理部，被配置为根据所述点云数据获取使用者的头宽信息。

11.一种音效处理方法，应用于权利1-10任一项所述的音效处理装置，其特征在于，包括以下步骤：

采集使用者左耳和右耳的在多角度光源下的多视角图像的图像信息；

根据所述图像信息获取使用者的人体参数，以确定对应使用者的音频输入信号，所述参数包括头宽和人耳三维模型；

根据所述音频输入信号控制扬声器输出对应的音效。

12.根据权利要求11所述的音效处理方法，其特征在于，所述第一图像采集结构和所述第二图像采集结构的结构相同，所述第一图像采集结构包括单目相机；

设定所述第一图像采集结构所在位置为A点，所述第二图像采集结构所在位置为B点，使用者左右摆头的转轴所在位置为O点，A点、B点和O点合围形成等腰三角形，∠OAB和∠OBA相同，∠OAB的值设定为θ；

设定使用者左耳所在位置为C点，使用者右耳位置为D点，O点到使用者左耳的距离OC和O到右耳的距离OD相同，OC长度设定为r；

根据所述图像信息获取使用者的人体参数，所述参数包括头宽和人耳三维模型，具体包括：

利用三角形几何定理获取∠COD的值，并根据∠COD的值和所述r的值获取使用者的头宽信息，其中头宽信息包括使用者左耳所在位置C点和使用者右耳所在位置D点之间的距离。

13.根据权利要求12所述的音效处理方法，其特征在于，所述利用三角形几何定理获取∠COD的值，并根据∠COD的值和所述r的值获取使用者的头宽信息，具体包括：

根据以下公式获取r值和θ值：

其中，∠CAO的值为θ1，∠DBO的值为θ2，所述第一图像采集结构和使用者左耳之间的距离p1与所述第二图像采集结构与使用者右耳之间的距离p2的比值n1；∠CAO的值为θ3，∠DBO的值为θ4，所述第二图像采集结构和使用者左耳之间的距离p3与所述第二图像采集结构与使用者右耳之间的距离p4的比值n2；

根据获取的r值和θ值获取∠COD的值。

14.根据权利要求12所述的音效处理方法，其特征在于，根据所述图像信息获取使用者的人体参数，所述参数包括头宽和人耳三维模型，具体包括：

对人耳的图像进行处理，并获得左耳和右耳的法向量信息；

以获取的p1值作为起点，结合对应的所述法向量信息分别对左耳和右耳模型进行积分，以对左耳和右耳进行三维模型重建。

15.根据权利要求11所述的音效处理方法，其特征在于，根据所述图像信息获取使用者的人体参数，所述参数包括头宽和人耳三维模型，具体包括：

对人耳的图像进行处理，并分别对左耳和右耳进行三维重建。

16.根据权利要求15所述的音效处理方法，其特征在于，还包括：分别对左耳和右耳的三维重建的深度图，进行积分处理，以补充遮挡和无纹理区域的深度信息。

17.根据权利要求15所述的音效处理方法，其特征在于，还包括：

基于所述左耳和右耳的三维重建的深度图，将左耳和右耳的深度信息分别转换为点云数据；

根据所述点云数据获取使用者的头宽信息。

18.一种扩展现实设备，其特征在于，包括权利要求1-10任一项所述的音效处理装置。

19.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求11至17中任一项所述音效处理方法的步骤。

20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求11至17中任一项所述的音效处理方法的步骤。