[go: up one dir, main page]

CN115407908A - 音效展示方法、设备及计算机可读存储介质 - Google Patents

音效展示方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115407908A
CN115407908A CN202211056779.XA CN202211056779A CN115407908A CN 115407908 A CN115407908 A CN 115407908A CN 202211056779 A CN202211056779 A CN 202211056779A CN 115407908 A CN115407908 A CN 115407908A
Authority
CN
China
Prior art keywords
sound effect
adjustment
icon
display
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211056779.XA
Other languages
English (en)
Inventor
包晓
孙亚利
李建
童紫薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202211056779.XA priority Critical patent/CN115407908A/zh
Publication of CN115407908A publication Critical patent/CN115407908A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种音效展示方法、设备及计算机可读存储介质,应用于增强现实技术领域,所述音效展示方法应用于AR设备,该方法包括:通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标;接收用户针对所述音频调节图标的调节操作,其中所述调节操作至少包括手势交互操作、触控交互操作、语音交互操作、眼动交互操作中的一种;响应于所述调节操作,展示所述调节操作对应的第一音效效果图像。本申请解决了现有技术中AR设备的音效效果较抽象导致音效效果调整过程可感知性较差的技术问题。

Description

音效展示方法、设备及计算机可读存储介质
技术领域
本申请涉及增强现实技术领域,尤其涉及一种音效展示方法、设备及计算机可读存储介质。
背景技术
AR(Augmented Reality,增强现实)技术是将虚拟三维模型动画、视频、文字、图片等数字信息实时叠加显示到真实场景中,并与现实物体或者使用者实现自然互动的人机交互技术。伴随着AR技术的发展,音频技术在AR设备中也起到不可忽视的作用,但是现有技术中AR设备通常是采用设置在AR设备上的按键来直接对音频的音效进行调节,但是这种方式下AR设备的音效效果较抽象,用户难以直观地感知到到不同的音效效果的变化过程,音效效果的调整过程可感知性较差。
发明内容
本申请的主要目的在于提供一种音效展示方法、电子设备及计算机可读存储介质,旨在解决现有技术中AR设备的音效效果较抽象导致音效效果调整过程可感知性较差的技术问题。
为实现上述目的,本申请提供一种音效展示方法,应用于AR设备,音效展示方法包括:
通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标;
接收用户针对所述音频调节图标的调节操作,其中所述调节操作至少包括手势交互操作、触控交互操作、语音交互操作、眼动交互操作中的一种;
响应于所述调节操作,展示所述调节操作对应的第一音效效果图像。
可选地,所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤之前,包括:
获取所述AR设备的当前音频信号;
根据所述当前音频信号,生成并显示所述当前音频信号对应的第二音效效果图像。
可选地,所述音频调节图标包括音量调节图标,所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤,还包括:
响应于所述用户针对所述音量调节图标的调节操作,确定所述调节操作对应的音量调节量;
根据所述音量调节量对所述第二音效效果图像中的音量展示标识进行调整,并将调整后的第二音效效果作为所述调节操作对应的第一音效效果图像进行展示。
可选地,所述音频调节图标包括音效模式图标,所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤,还包括:
响应于所述用户针对所述音效模式图标的调节操作,确定所述调节操作对应的目标音效模式;
根据所述目标音效模式的音效参数,对所述第二音效效果图像中的音效展示标识进行调整,并将调整后的第二音效效果图像作为所述调节操作对应的第一音效效果图像进行展示。
可选地,在所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤之后,所述音效展示方法还包括:
获取用户的交互操作信息,并根据所述交互操作信息,确定所述音频调节图标的空闲时长;
当所述空闲时长达到与预设时长阈值时,则取消所述虚拟音频设备和所述音频调节图标的展示。
可选地,所述AR设备包括显示镜片,所述通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标的步骤,包括:
获取现实场景中的目标展示区域,其中,所述目标展示区域用于展示所述虚拟音频设备和所述音频调节图标;
控制所述AR设备在显示镜片上所述目标展示区域对应的显示区域上展示所述虚拟音频设备和所述音频调节图标。
可选地,所述控制所述AR设备在显示镜片上所述目标展示区域对应的显示区域上展示所述虚拟音频设备和所述音频调节图标的步骤,还包括:
根据所述AR设备的实时位姿信息,确定所述目标展示区域在所述显示镜片上新的显示区域;
将所述虚拟音频设备移动至新的所述显示区域,以使所述虚拟音频设备始终显示在所述目标展示区域对应的显示区域内。
可选地,在所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤之后,所述音效展示方法还包括:
通过对用户进行眼球追踪,检测所述用户的实时注视方向;
根据所述实时注视方向,确定所述实时注视方向对应的实时注视区域;
判断所述虚拟音频设备的显示区域是否处于所述实时注视区域内;
若所述显示区域不处于所述实时注视区域内,则取消所述虚拟音频设备和所述音频调节图标的展示。
此外,为实现上述目的,本申请还提供一种音效展示装置,所述音效展示装置应用于AR设备,所述音效展示装置包括:
第一展示模块,用于通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标;
接收模块,用于接收用户针对所述音频调节图标的调节操作,其中所述调节操作至少包括手势交互操作、触控交互操作、语音交互操作、眼动交互操作中的一种;
第二展示模块,用于响应于所述调节操作,展示所述调节操作对应的第一音效效果图像。
本申请还提供一种电子设备,电子设备包括:存储器、处理器以及存储在存储器上并可在处理器上运行的音效展示方法的程序,音效展示方法的程序被处理器执行时可实现如上述的音效展示方法的步骤。
本申请还提供一种计算机可读存储介质,计算机可读存储介质上存储有实现音效展示方法的程序,音效展示方法的程序被处理器执行时实现如上述的音效展示方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如上述的音效展示方法的步骤。
本申请提供了一种音效展示方法、设备及计算机可读存储介质,相比于现有技术中用户通过AR设备上的按键进行音效调节,然后用户单纯通过听觉感知调节后的音效的方式,本申请首先通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标;接收用户针对所述音频调节图标的调节操作,其中所述调节操作至少包括手势交互操作、触控交互操作、语音交互操作、眼动交互操作中的一种;响应于所述调节操作,展示所述调节操作对应的第一音效效果图像。也即通过AR设备在现实场景内展示虚拟音频设备和所述虚拟音频设备的音频调节图标,使得用户可以像是控制真实扬声设备一样控制AR设备的音效,有效提升了AR设备调节音效时的便捷性。然后再响应于用户的调节操作,展示所述调节操作对应的第一音效效果图像。由此使得用户可以在调节AR设备的音效时,可以通过第一音效效果图像辅助用户感知调节过程中音效效果的变化,从而本申请将较抽象的音效效果进行具象化展示,更有利于用户感知,提高了音效效果调整过程的可感知性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请音效展示方法第一实施例的流程示意图;
图2为本申请音效展示方法中虚拟音频设备和音频调节图标的一示例图;
图3为本申请音效展示方法第二实施例的流程示意图;
图4为本申请音效展示方法第三实施例的流程示意图;
图5为本申请音效展示方法中展示虚拟音频设备的另一场景示例图;
图6为本申请实施例中音效展示方法涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,均属于本申请保护的范围。
实施例一
本申请实施例提供一种音效展示方法,应用于AR(Augmented Reality,增强现实)设备(如AR眼镜),在本申请音效展示方法的第一实施例中,参照图1,音效展示方法包括:
步骤S10,通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标;
步骤S20,接收用户针对所述音频调节图标的调节操作,其中所述调节操作至少包括手势交互操作、触控交互操作、语音交互操作、眼动交互操作中的一种;
步骤S30,响应于所述调节操作,展示所述调节操作对应的第一音效效果图像。
在本实施例中,需要说明的是,所述AR设备还包括显示镜片,所述显示镜片可以用于显示虚拟对象,而且用户通过所述显示镜片可以观察到真实的显示场景,此外所述AR设备包括扬声器,所述扬声器用于输出音频信息。
另外,需要说明的是,所述虚拟音频设备可以是音箱、留声机、八音盒等虚拟形象,所述虚拟音频设备的具体形象可以根据需求进行设置,本实施例对此不作限制。所述虚拟音频设备的音频调节图标可以是三维图标,当然也可以是二维图标。
其中,所述调节操作至少包括手势交互操作、触控交互操作、语音交互操作、眼动交互操作中的一种。示例性地,参见图2,图2为本申请音效展示方法中虚拟音频设备和音频调节图标的一示例图,在AR设备的视野中,包括虚拟音频设备10,所述音频调节图标包括音量增大图标11和音量减小图标12,用户可以通过手势交互操作点击音量增大图标11来增大所述AR设备的输出音量,点击音量减小图标12来减小所述AR设备的输出音量。
作为另一种示例,步骤S10至步骤S40包括:通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标,然后用户可以通过调节操作对所述虚拟音频设备和所述音频调节图标进行交互。当AR设备接收到用户针对所述音频调节图标的调节操作,则可以响应于所述调节操作,展示所述调节操作对应的第一音效效果图像。
作为另一种示例,在所述通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标的步骤,包括:
当接收到用户的触发交互操作时,在所述AR设备的显示镜片上预设显示位置展示虚拟音频设备和所述虚拟音频设备的音频调节图标。
其中,所述预设显示位置可以是AR设备显示镜片上的视野中心位置、右下角位置、左下角位置等位置,所述预设显示位置可以根据具体需求进行设置。所述触发交互操作可以是手势交互操作、触控交互操作、语音交互操作、眼动交互操作等。用户可以通过手势、触控、语音、眼动等方式触发AR设备展示所述虚拟音频设备和音频调节图标。示例性地,还可以当检测到用户佩戴所述AR设备时,判定接收到用户的触发交互操作。
作为另一种示例,所述音频调节图标为音量调节图标,所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤包括:
响应于所述用户针对所述音量调节图标的调节操作,显示AR设备的音量展示标识,并根据调节操作对所述音量展示标识进行调整,并将调整后的音量展示标识作为所述调节操作对应的第一音效效果图像进行展示。
其中,所述音量调节图标可以是旋钮图标,用户的调节操作为左旋时减小音量,用户的调节操作为右旋时增大音量。所述音量调节图标也可以包括音量增大图标和音量减小图标,用户的调节操作为点击音量减小图标时减小音量,用户的调节操作为点击音量增大图标时增大音量。示例性地,所述音量展示标识可以是音量进度条,则用户的调节操作为点击音量增大图标时所述音量进度条伸长,用户的调节操作为点击音量减小图标时所述音量进度条缩短。
作为另一种示例,所述音频调节图标为音效模式图标时,所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤包括:
响应于所述用户针对所述音效模式图标的调节操作,确定目标音效模式;
将所述目标音效模式对应的音效展示标识作为所述调节操作对应的第一音效效果图像进行展示。
可以理解的是,不同的音效模式(如通透模式、降噪模式、电音模式、现场模式等)下为用户带来的听觉感受并不相同,因此,可以通过不同音效模式的音效特征(即不同音效模式下音频的振幅、频率、音调、音色等特征),生成对应的音效展示标识,用以表征不同音效模式的音效特征。示例性的,通透模式可以采用浅蓝或浅绿色的微微波动的光影,电音模式则可以采用红黑配色或金属配色的无序线条等。从而用户通过在所述AR设备中显示的音效特征图像可以从视觉上理解所述调节操作选择的目标音效模式的音效特征。
其中,在步骤S30响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤之后,所述音效展示方法还包括:
步骤A10,获取用户的交互操作信息,并根据所述交互操作信息,确定所述音频调节图标的空闲时长;
步骤A20,当所述空闲时长达到与预设时长阈值时,则取消所述虚拟音频设备和所述音频调节图标的展示。
作为一种示例,步骤A10至步骤A20包括:通过获取用户的交互操作信息,并根据所述交互操作信息进行分析,确定所述音频调节图标未与用户进行交互的空闲时长。然后判断所述空闲时长是否达到预设时长阈值(如2秒、3秒、5秒等)。当所述空闲时长达到与预设时长阈值时,说明用户已完成了音频调节操作,则取消所述虚拟音频设备和所述音频调节图标的展示,以免长时间遮挡用户视野,干扰用户对于AR设备的正常使用。
本申请第一实施例提供了一种音效展示方法,相比于现有技术中用户通过AR设备上的按键进行音效调节,然后用户单纯通过听觉感知调节后的音效的方式,本申请首先通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标;接收用户针对所述音频调节图标的调节操作,其中所述调节操作至少包括手势交互操作、触控交互操作、语音交互操作、眼动交互操作中的一种;响应于所述调节操作,展示所述调节操作对应的第一音效效果图像。也即通过AR设备在现实场景内展示虚拟音频设备和所述虚拟音频设备的音频调节图标,使得用户可以像是控制真实扬声设备一样控制AR设备的音效,有效提升了AR设备调节音效时的便捷性。然后再响应于用户的调节操作,展示所述调节操作对应的第一音效效果图像。由此使得用户可以在调节AR设备的音效时,可以通过第一音效效果图像辅助用户感知调节过程中音效效果的变化,从而本申请将较抽象的音效效果进行具象化展示,更有利于用户感知,提高了音效效果调整过程的可感知性。
实施例二
进一步地,参照图3,基于本申请第一实施例,在本申请另一实施例中,与上述实施例一相同或相似的内容,可以参考上文介绍,后续不再赘述。在步骤S30响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤之前,包括:
步骤B10,获取所述AR设备的当前音频信号;
步骤B20,根据所述当前音频信号,生成并显示所述当前音频信号对应的第二音效效果图像。
在本实施例中,可以理解的是,所述音效效果图像为表征所述当前音频信号的音频特征的效果图像,其中,音频特征可以为幅度、频率、音调、音色中的至少一种。示例性地,所述第二音效效果图像可以包括所述当前音频信号的音频特征对应的声波波形,所述声波波形可以以曲线图、柱状图等形式进行表现。可以理解的是,所述当前音频信号的音频特征中的音色和音调还可以通过声波波形的颜色以及颜色的饱和度用于表现。此外,所述第二音效效果图像可以是二维图像,也可以是三维图像。
作为一种示例,步骤B10至步骤B20包括:通过获取所述AR设备的当前音频信号;然后根据所述当前音频信号,生成并显示所述当前音频信号对应的第二音效效果图像。
其中,所述音频调节图标包括音量调节图标,步骤S30响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤,还包括:
步骤C10,响应于所述用户针对所述音量调节图标的调节操作,确定所述调节操作对应的音量调节量;
步骤C20,根据所述音量调节量对所述第二音效效果图像中的音量展示标识进行调整,并将调整后的第二音效效果作为所述调节操作对应的第一音效效果图像进行展示。
可以理解的是,在用户通过调节操作进行交互的音频调节图标为音量调节图标时,说明用户期望调节的音效为当前音频信号的音量。所述第二音效效果图像中的音量展示标识可以是所述第二音效效果图中声波波形的振幅。
作为一种示例,步骤C10至步骤C20包括:响应于所述用户针对所述音量调节图标的调节操作,确定所述调节操作对应的音量调节量,其中所述音量调节量可以包括音量增加量和音量减少量。然后根据所述音量调节量对所述第二音效效果图像中音量展示标识(即声波波形的振幅)进行调整,并将调整后的第二音效效果图像作为所述调节操作对应的第一音效效果图像进行展示。由此,用户通过所述第一音效效果图可以在视觉上直观地感知所述音效效果的调整变化过程。
其中,所述音频调节图标包括音效模式图标,步骤S10响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤,还包括:
步骤D10,响应于所述用户针对所述音效模式图标的调节操作,确定所述调节操作对应的目标音效模式;
步骤D20,根据所述目标音效模式的音效参数,对所述第二音效效果图像中的音效展示标识进行调整,并将调整后的第二音效效果图像作为所述调节操作对应的第一音效效果图像进行展示。
可以理解的是,在用户通过调节操作进行交互的音频调节图标为音效模式图标时,说明用户期望调节的音效为当前音频信号的音效模式。所述音效展示标识可以是所述第二音效效果图中声波波形的振幅和频率。
作为一种示例,步骤D10至步骤D20包括:响应于所述用户针对所述音效模式图标的调节操作,确定所述调节操作对应的目标音效模式。由于不同音效模式下,对于声波振幅和声波频率均会发生变化。因此,根据所述目标音效模式的音效参数,对所述第二音效效果图像中的音效展示标识(声波波形的振幅和频率)进行调整,并将调整后的第二音效效果图像作为所述调节操作对应的第一音效效果图像进行展示。由此,用户通过所述第一音效效果图可以在视觉上直观地感知所述音效效果的调整变化过程。
在本申请的第二实施例中,通过获取所述AR设备的当前音频信号;根据所述当前音频信号,生成并显示所述当前音频信号对应的第二音效效果图像。响应于所述用户针对所述音量调节图标的调节操作,确定所述调节操作对应的音量调节量;根据所述音量调节量对所述第二音效效果图像中的音量展示标识进行调整,并将调整后的第二音效效果作为所述调节操作对应的第一音效效果图像进行展示。响应于所述用户针对所述音效模式图标的调节操作,确定所述调节操作对应的目标音效模式;根据所述目标音效模式的音效参数,对所述第二音效效果图像中的音效展示标识进行调整,并将调整后的第二音效效果图像作为所述调节操作对应的第一音效效果图像进行展示。从而本实施例中,用户在对音频调节图标进行调节操作后,可以通过展示的第一音效效果图像直观地感知到音效效果的调整变化情况,相对于简单固定的图像,本实施例中的第一音效效果图像更贴近于实际音效变化情况,更加有利于用户感知到音效调整过程中音效效果的变化。
实施例三
进一步地,参照图4,在本申请另一实施例中,与上述实施例相同或相似的内容,可以参考上文介绍,后续不再赘述。在此基础上,步骤S10通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标的步骤,包括:
步骤S11,获取现实场景中的目标展示区域,其中,所述目标展示区域用于展示所述虚拟音频设备和所述音频调节图标;
步骤S12,控制所述AR设备在显示镜片上所述目标展示区域对应的显示区域上展示所述虚拟音频设备和所述音频调节图标。
作为一种示例,步骤S11至步骤S13包括:获取现实场景中的目标展示区域,其中,所述目标展示区域用于展示所述虚拟音频设备和所述音频调节图标,其中所述目标展示区域用于展示所述虚拟音频设备和所述音频调节图标,例如空闲的书桌、书架、床等。通过采集所述现实场景的实时图像进行分析,确定现实场景中可以放置所述预设音频设备模型的目标展示区域,当然也可以是用户通过交互操作,指定所述现实场景中的某一区域作为目标展示区域。然后根据所述目标展示区域与所述AR设备的相对位置信息,确定所述目标展示区域在AR设备中显示镜片上对应的显示区域。然后控制所述AR设备在显示镜片上所述目标展示区域对应的显示区域上展示所述虚拟音频设备和所述音频调节图标。其中,所述音频调节图标用于表征所述AR设备的可调节音效信息(即所述AR设备可设置的音效模式)。可以参照图5,图5为本申请音效展示方法中展示虚拟音频设备的另一场景示例图,图中在AR设备中显示镜片上的显示区域渲染出虚拟音频设备10,用户通过AR设备可以观察到显示在现实场景中书桌20的目标展示区域上的虚拟音频设备10。
进一步地,步骤S10根据所述目标展示区域和预设音频设备模型,在AR设备中渲染出虚拟音频设备的步骤,还包括:
步骤E10,根据所述AR设备的实时位姿信息,确定所述目标展示区域在所述显示镜片上新的显示区域;
步骤E20,将所述虚拟音频设备移动至新的所述显示区域,以使所述虚拟音频设备始终显示在所述目标展示区域对应的显示区域内。
作为一种示例,步骤E10至步骤E20包括:获取所述AR设备的实时位姿信息,其中所述实时位姿信息包括所述AR设备的实时位置和实时姿态,根据所述AR设备的实时位姿信息,可以确定所述AR设备与所述目标展示区域的位姿变化,确定所述目标展示区域在所述显示镜片上新的显示区域,进而将所述虚拟音频设备移动至新的所述显示区域,以使所述虚拟音频设备始终显示在所述目标展示区域对应的显示区域内。本实施例,通过根据所述AR设备的实时位姿信息,对所述虚拟音频设备在所述AR设备中的显示区域进行实时更新,从而使得所述虚拟音频设备更接近于放置在所述目标展示区域上的真实设备,从而避免了所述虚拟音频设备始终浮现在AR设备的视野内固定位置,对用户造成干扰,也提高了用户通过调节操作对于虚拟音频设备进行交互的真实性。
进一步地,在步骤S30响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤之后,所述音效展示方法还包括:
步骤F10,通过对用户进行眼球追踪,检测所述用户的实时注视方向;
步骤F20,根据所述实时注视方向,确定所述实时注视方向对应的实时注视区域;
步骤F30,判断所述虚拟音频设备的显示区域是否处于所述实时注视区域内;
步骤F40,若所述显示区域不处于所述实时注视区域内,则取消所述虚拟音频设备和所述音频调节图标的展示。
作为一种示例,步骤F10至步骤F40包括:通过对用户进行眼球追踪,检测所述用户的实时注视方向,从而可以根据所述实时注视方向,确定所述实时注视方向在AR设备中显示镜片上对应的实时注视区域。由于所述虚拟音频设备在所述AR设备中的显示区域是根据所述AR设备的实时位姿信息进行移动的。因此,可以判断所述虚拟音频设备的显示区域是否处于所述实时注视区域内,确定用户是否依旧关注所述虚拟音频设备。若所述显示区域不处于所述实时注视区域内,说明用户不再关注所述虚拟音频设备,则取消所述虚拟音频设备和所述音频调节图标的展示。若所述显示区域处于所述实时注视区域内,说明用户依旧在关注所述虚拟音频设备,则保持所述虚拟音频设备和所述音频调节图标的展示。本实施例中,通过判断所述虚拟音频设备的显示区域是否处于所述实时注视区域内,确定用户是否依旧关注所述虚拟音频设备,从而确定是否继续保持所述虚拟音频设备和所述音频调节图标的展示。在避免了用户受到所述虚拟音频设备和所述音频调节图标干扰的前提下,也保证了在用户不再关注所述虚拟音频设备和所述音频调节图标时,取消展示,避免占据所述AR设备的运算资源。
实施例四
本申请实施例还提供一种音效展示装置,音效展示装置应用于音效展示设备,所述音效展示装置包括:
第一展示模块,用于通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标;
接收模块,用于接收用户针对所述音频调节图标的调节操作,其中所述调节操作至少包括手势交互操作、触控交互操作、语音交互操作、眼动交互操作中的一种;
第二展示模块,用于响应于所述调节操作,展示所述调节操作对应的第一音效效果图像。
可选地,第二展示模块,还用于:
获取所述AR设备的当前音频信号;
根据所述当前音频信号,生成并显示所述当前音频信号对应的第二音效效果图像。
可选地,所述音频调节图标包括音量调节图标,第二展示模块,还用于:
响应于所述用户针对所述音量调节图标的调节操作,确定所述调节操作对应的音量调节量;
根据所述音量调节量对所述第二音效效果图像中的音量展示标识进行调整,并将调整后的第二音效效果作为所述调节操作对应的第一音效效果图像进行展示。
可选地,所述音频调节图标包括音效模式图标,第二展示模块,还用于:
响应于所述用户针对所述音效模式图标的调节操作,确定所述调节操作对应的目标音效模式;
根据所述目标音效模式的音效参数,对所述第二音效效果图像中的音效展示标识进行调整,并将调整后的第二音效效果图像作为所述调节操作对应的第一音效效果图像进行展示。
可选地,所述音效展示装置还包括取消展示模块,用于:
获取用户的交互操作信息,并根据所述交互操作信息,确定所述音频调节图标的空闲时长;
当所述空闲时长达到与预设时长阈值时,则取消所述虚拟音频设备和所述音频调节图标的展示。
可选地,第一展示模块,还用于:
获取现实场景中的目标展示区域,其中,所述目标展示区域用于展示所述虚拟音频设备和所述音频调节图标;
控制所述AR设备在显示镜片上所述目标展示区域对应的显示区域上展示所述虚拟音频设备和所述音频调节图标。
可选地,第一展示模块,还用于:
根据所述AR设备的实时位姿信息,确定所述目标展示区域在所述显示镜片上新的显示区域;
将所述虚拟音频设备移动至新的所述显示区域,以使所述虚拟音频设备始终显示在所述目标展示区域对应的显示区域内。
进一步地,取消展示模块,还用于:
通过对用户进行眼球追踪,检测所述用户的实时注视方向;
根据所述实时注视方向,确定所述实时注视方向对应的实时注视区域;
判断所述虚拟音频设备的显示区域是否处于所述实时注视区域内;
若所述显示区域不处于所述实时注视区域内,则取消所述虚拟音频设备和所述音频调节图标的展示。
本申请提供的音效展示装置,采用上述实施例一或实施例二中的音效展示方法,解决了现有技术中AR设备的音效效果较抽象导致音效效果调整过程可感知性较差的技术问题。与现有技术相比,本申请实施例提供的音效展示装置的有益效果与上述实施例提供的音效展示方法的有益效果相同,且该音效展示装置中的其他技术特征与上述实施例方法公开的特征相同,在此不做赘述。
实施例五
本申请实施例提供一种电子设备,电子设备包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施例一中的音效展示方法。
下面参考图6,其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备可以包括处理装置(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中,还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
通常,以下系统可以连接至I/O接口:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置;包括例如磁带、硬盘等的存储装置;以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备,但是应理解的是,并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置从网络上被下载和安装,或者从存储装置被安装,或者从ROM被安装。在该计算机程序被处理装置执行时,执行本公开实施例的方法中限定的上述功能。
本申请提供的电子设备,采用上述实施例一或实施例二中的音效展示方法,解决了现有技术中AR设备的音效效果较抽象导致音效效果调整过程可感知性较差的技术问题。与现有技术相比,本申请实施例提供的电子设备的有益效果与上述实施例一提供的音效展示方法的有益效果相同,且该电子设备中的其他技术特征与上述实施例方法公开的特征相同,在此不做赘述。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
实施例六
本实施例提供一种计算机可读存储介质,具有存储在其上的计算机可读程序指令,计算机可读程序指令用于执行上述实施例一中的音频调节的方法。
本申请实施例提供的计算机可读存储介质例如可以是U盘,但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读存储介质可以是电子设备中所包含的;也可以是单独存在,而未装配入电子设备中。
上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被电子设备执行时,使得电子设备:通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标;接收用户针对所述音频调节图标的调节操作,其中所述调节操作至少包括手势交互操作、触控交互操作、语音交互操作、眼动交互操作中的一种;响应于所述调节操作,展示所述调节操作对应的第一音效效果图像。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该单元本身的限定。
本申请提供的计算机可读存储介质,存储有用于执行上述音效展示方法的计算机可读程序指令,解决了现有技术中AR设备的音效效果较抽象导致音效效果调整过程可感知性较差的技术问题。与现有技术相比,本申请实施例提供的计算机可读存储介质的有益效果与上述实施例一或实施例二提供的音效展示方法的有益效果相同,在此不做赘述。
实施例七
本申请还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如上述的音效展示方法的步骤。
本申请提供的计算机程序产品解决了现有技术中AR设备的音效效果较抽象导致音效效果调整过程可感知性较差的技术问题。与现有技术相比,本申请实施例提供的计算机程序产品的有益效果与上述实施例一或实施例二提供的音效展示方法的有益效果相同,在此不做赘述。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种音效展示方法,其特征在于,应用于AR设备,所述音效展示方法包括:
通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标;
接收用户针对所述音频调节图标的调节操作,其中所述调节操作至少包括手势交互操作、触控交互操作、语音交互操作、眼动交互操作中的一种;
响应于所述调节操作,展示所述调节操作对应的第一音效效果图像。
2.如权利要求1所述音效展示方法,其特征在于,所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤之前,包括:
获取所述AR设备的当前音频信号;
根据所述当前音频信号,生成并显示所述当前音频信号对应的第二音效效果图像。
3.如权利要求2所述音效展示方法,其特征在于,所述音频调节图标包括音量调节图标,所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤,还包括:
响应于所述用户针对所述音量调节图标的调节操作,确定所述调节操作对应的音量调节量;
根据所述音量调节量对所述第二音效效果图像中的音量展示标识进行调整,并将调整后的第二音效效果作为所述调节操作对应的第一音效效果图像进行展示。
4.如权利要求2所述音效展示方法,其特征在于,所述音频调节图标包括音效模式图标,所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤,还包括:
响应于所述用户针对所述音效模式图标的调节操作,确定所述调节操作对应的目标音效模式;
根据所述目标音效模式的音效参数,对所述第二音效效果图像中的音效展示标识进行调整,并将调整后的第二音效效果图像作为所述调节操作对应的第一音效效果图像进行展示。
5.如权利要求1所述音效展示方法,其特征在于,在所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤之后,所述音效展示方法还包括:
获取用户的交互操作信息,并根据所述交互操作信息,确定所述音频调节图标的空闲时长;
当所述空闲时长达到与预设时长阈值时,则取消所述虚拟音频设备和所述音频调节图标的展示。
6.如权利要求1所述音效展示方法,其特征在于,所述AR设备包括显示镜片,所述通过AR设备展示虚拟音频设备和所述虚拟音频设备的音频调节图标的步骤,包括:
获取现实场景中的目标展示区域,其中,所述目标展示区域用于展示所述虚拟音频设备和所述音频调节图标;
控制所述AR设备在显示镜片上所述目标展示区域对应的显示区域上展示所述虚拟音频设备和所述音频调节图标。
7.如权利要求6中所述音效展示方法,其特征在于,所述控制所述AR设备在显示镜片上所述目标展示区域对应的显示区域上展示所述虚拟音频设备和所述音频调节图标的步骤,还包括:
根据所述AR设备的实时位姿信息,确定所述目标展示区域在所述显示镜片上新的显示区域;
将所述虚拟音频设备移动至新的所述显示区域,以使所述虚拟音频设备始终显示在所述目标展示区域对应的显示区域内。
8.如权利要求6中所述音效展示方法,其特征在于,在所述响应于所述调节操作,展示所述调节操作对应的第一音效效果图像的步骤之后,所述音效展示方法还包括:
通过对用户进行眼球追踪,检测所述用户的实时注视方向;
根据所述实时注视方向,确定所述实时注视方向对应的实时注视区域;
判断所述虚拟音频设备的显示区域是否处于所述实时注视区域内;
若所述显示区域不处于所述实时注视区域内,则取消所述虚拟音频设备和所述音频调节图标的展示。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至8中任一项所述的音效展示方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有实现音效展示方法的程序,所述实现音效展示方法的程序被处理器执行以实现如权利要求1至8中任一项所述的音效展示方法的步骤。
CN202211056779.XA 2022-08-31 2022-08-31 音效展示方法、设备及计算机可读存储介质 Pending CN115407908A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211056779.XA CN115407908A (zh) 2022-08-31 2022-08-31 音效展示方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211056779.XA CN115407908A (zh) 2022-08-31 2022-08-31 音效展示方法、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115407908A true CN115407908A (zh) 2022-11-29

Family

ID=84164013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211056779.XA Pending CN115407908A (zh) 2022-08-31 2022-08-31 音效展示方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115407908A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105031919A (zh) * 2010-03-30 2015-11-11 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
CN107402634A (zh) * 2017-07-28 2017-11-28 歌尔科技有限公司 虚拟现实设备的参数调节方法及装置
US20210081163A1 (en) * 2019-09-13 2021-03-18 Bose Corporation Spatialized augmented reality (ar) audio menu
CN113885828A (zh) * 2021-10-25 2022-01-04 北京字跳网络技术有限公司 一种音效展示方法及终端设备
CN114638946A (zh) * 2020-11-30 2022-06-17 北京市商汤科技开发有限公司 特效展示方法、装置、电子设备以及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105031919A (zh) * 2010-03-30 2015-11-11 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
CN107402634A (zh) * 2017-07-28 2017-11-28 歌尔科技有限公司 虚拟现实设备的参数调节方法及装置
US20210081163A1 (en) * 2019-09-13 2021-03-18 Bose Corporation Spatialized augmented reality (ar) audio menu
CN114638946A (zh) * 2020-11-30 2022-06-17 北京市商汤科技开发有限公司 特效展示方法、装置、电子设备以及计算机可读存储介质
CN113885828A (zh) * 2021-10-25 2022-01-04 北京字跳网络技术有限公司 一种音效展示方法及终端设备

Similar Documents

Publication Publication Date Title
JP7224554B1 (ja) インタラクション方法、装置、電子機器及びコンピュータ可読記録媒体
CN111198610B (zh) 一种全景视频的视场控制方法、装置、设备及存储介质
WO2022007565A1 (zh) 增强现实的图像处理方法、装置、电子设备及存储介质
CN106873886B (zh) 一种立体显示的控制方法、装置和电子设备
CN103778549A (zh) 移动应用推广系统及方法
US20140229823A1 (en) Display apparatus and control method thereof
US12022162B2 (en) Voice processing method and apparatus, electronic device, and computer readable storage medium
US20250095249A1 (en) Method, apparatus, device and medium for subtitle displaying
CN115022611B (zh) Vr画面显示方法、电子设备及可读存储介质
US11076253B2 (en) Apparatus and associated methods for presentation of a bird's eye view
WO2020233143A1 (zh) 播放进度显示方法、装置、电子设备和存储介质
CN114677738A (zh) Mv录制方法、装置、电子设备及计算机可读存储介质
WO2023075677A1 (zh) 视频处理方法、装置、设备及存储介质
US20230267664A1 (en) Animation processing method and apparatus, electronic device and storage medium
CN115407908A (zh) 音效展示方法、设备及计算机可读存储介质
CN115494953A (zh) 音频调节方法、装置、设备及计算机可读存储介质
WO2021073204A1 (zh) 对象的显示方法、装置、电子设备及计算机可读存储介质
CN113778575A (zh) 图像处理方法、装置及电子设备
CN114724528B (zh) 显示设备的显示控制方法、装置、电子设备及存储介质
CN117651199A (zh) 视频处理方法、装置、设备、计算机可读存储介质及产品
CN118521692A (zh) 场景渲染控制方法、装置、设备及存储介质
CN112912822A (zh) 在混合现实环境中控制支持音频的连接设备的系统
CN114788306B (zh) 在内容内放置声音
CN117376591A (zh) 基于虚拟现实的场景切换处理方法、装置、设备及介质
CN111277886B (zh) 全景视频的视场控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination