[go: up one dir, main page]

CN102473031A - 用于基于第一模态控制第二模态的方法 - Google Patents

用于基于第一模态控制第二模态的方法 Download PDF

Info

Publication number
CN102473031A
CN102473031A CN2010800315872A CN201080031587A CN102473031A CN 102473031 A CN102473031 A CN 102473031A CN 2010800315872 A CN2010800315872 A CN 2010800315872A CN 201080031587 A CN201080031587 A CN 201080031587A CN 102473031 A CN102473031 A CN 102473031A
Authority
CN
China
Prior art keywords
mode
modality
performance
change
smoothness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800315872A
Other languages
English (en)
Inventor
D.V.阿利亚克塞尤
T.特索内瓦
J.斯科夫罗内克
P.方塞卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102473031A publication Critical patent/CN102473031A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electric Clocks (AREA)
  • Feedback Control In General (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

提供了一种用于基于第一模态控制第二模态的方法。该方法包括步骤:提供包含依赖于时间的特征的第一模态以及能够随时间改变其表现的第二模态;基于第一模态的依赖于时间的特征来自动地确定第二模态的表现中的改变;借助用户输入设备来调整平滑度;基于平滑度和第一模态的依赖于时间的特征中呈现的边界来适配第二模态的表现中所确定的改变,以得出第二模态的表现中的最终改变。

Description

用于基于第一模态控制第二模态的方法
技术领域
本发明涉及基于第一模态(modality)控制第二模态。
背景技术
在本申请的上下文中,术语模态被用来描述包括依赖于时间的特征(time-dependent characteristic)的信息,也就是能够随时间改变其表现(appearance),并且能够由人类使用他们的感官而察觉到。具体而言,模态可由包括依赖于时间的特征的可视、可听、可视听或可触知信息而形成。例如,一种模态可由诸如音乐之类的随时间改变的声音信号而形成,由诸如不同颜色的光或其他光效果之类的随时间变化的视频信号或光信号而形成。模态的其他例子可以例如是微风(或风)效果和振动或噪声(rumble)效果,或其他可触知信息以及用于这些效果的各自的控制信号。术语表现被用来描述如何将模态呈现给感知那些信息的人类。例如,就声音而言,表现可以是特定音量、特定频率、音调或曲调,或频率或音调的组合等等。例如,就光而言,表现可以是特定光信号,例如具体颜色或颜色组合的光,或具体光效果或光效果的组合,或房间的具体光照,例如具体颜色或颜色组合,或使用不同光源等等。例如,就可触知信息而言,表现可以是微风或风效果的特定强度,振动或噪声效果的强度等等。表现中的改变意味着从一个明确定义的表现到另一个可辨别的明确定义的表现的改变,例如照明颜色的改变或音调的改变,强度的改变等等。
颜色-音乐感知研究已得出结论:彩色光能显著地丰富听音乐的体验。因而,将音乐与照明效果组合的技术手段可以丰富听音乐的体验。然而,关于该技术的一个重要方面在于:其期望音乐和照明效果的自动组合与用户干涉和/或用户控制的可能性之间的平衡。进行颜色-音乐感知研究的用户曾指出:在一方面,他们希望对系统进行控制,另一方面,他们不希望必须总是使用控制设备。
因而,存在对提供不需要用户干涉的自动模式并且额外地提供用户干涉的可能性的方案的需求。关于音乐和光的组合,一种可能的自动模式可分配彩色光给音乐,例如通过估计音乐所传达的情绪,并且选择人将其关联于该情绪的颜色。从而在音乐回放期间相应地显示这样确定颜色的光。
根据这种方案而分配颜色给音乐的一种可能性例如在可从http://ismir2005.ismir.net/proceedings/1023.pdf获得的2005年由Gavin Wood和Simon O’Keefe在“关于用于基于内容的可视注释以帮助轨迹内音乐导航的技术”(“On Techniques for Content-Based Visual Annotation to Aid Intra-Track Music Navigation”)中公开了。尽管该公开涉及轨迹内音乐导航,但是根据所描述的方案而分配给音乐轨迹的颜色也可被用作在音乐回放期间所显示的照明颜色。此外,该公开说明了在所谓的“情绪吧(mood bar)”中显示随时间(也就是作为音乐轨迹中的位置中的函数)发生的颜色。
然而,如上已提及的,关于分配照明给音乐,用户更倾向于对结果具有一些控制。此外,用户一般希望具有无需具体编程活动就可进行控制的可能性。具体而言,用户不希望必须编辑关于已准备好的每个新的音乐播放列表而改变的各个颜色(例如在计算机中)。因而,用户可用来影响与音乐组合发生的照明效果的控制设备应当简洁和容易处理,并且应当不需要复杂的学习处理以使得用户熟悉该控制设备。此外,用户还期望音乐和光的组合是可预知的。
关于基于第一模态控制第二模态的其他方法和系统也出现了类似的问题,例如诸如通过增加光效果给电影,或通过增加声音效果给光氛围或其他可视效果等通过增加另一个模态从而在不同动态光效果之间改变以丰富一种模态的体验。
发明内容
本发明的一个目的在于提供一种用于基于第一模态来控制第二模态的方法和设备,以使得早一定程度上以自动方式确定(预确定)第二模态的表现中的改变,同时用户能够通过可控制和可预知的方式来控制第二模态的表现中的改变,该可控制和可预知的方式基于第一模态而方便地维持对第二模态的一定的控制度。
可通过根据权利要求1的用于基于第一模态控制第二模态的方法来解决该目的。该方法包括步骤:提供包括依赖于时间的特征的第一模态以及能够随时间改变其表现的第二模态;基于第一模态的依赖于时间的特征来自动地确定第二模态的表现中的改变;借助用户输入设备来调整平滑度;基于平滑度和第一模态的依赖于时间的特征中呈现的边界来适配(adapt)第二模态的表现中所确定的改变,以达到第二模态的表现中的最终改变。因此,根据本发明,借助用户输入设备来调整平滑度。例如可将该平滑度设为数值范围内的特定值,例如在0和1之间的值,或另一个范围内的值。可通过使得能够输入这样的值的任意合适的输入设备来形成该输入设备。例如,该输入设备优选地可通过仅可调整一个值的单个输入设备来(为了用户方便的原因)形成,例如调整旋钮或调整滑块。例如,可以借助物理对象以硬件方式实现这种输入设备,或者以软件方式将其实现为虚拟对象,例如实现为调整旋钮或调整滑块或滚动条的可视表示。基于平滑度,还基于第一模态的依赖于时间的特征中呈现的边界来适配已被确定的第二模态的表现中的改变。因此,第二模态的表现中的改变的适配考虑了用户输入和第一模态的边界这两者。这样,允许用户影响第二模态的表现中的最终改变(例如,在一定程度上可以个性化、轻微调整或否决自动确定)。在另一方面,因为使用(exploit)了第一模态中的边界,第二模态的表现中的最终改变不会丢失与第一模态的依赖于时间的特征的一定程度的一致。在音乐是第一模态这种情况下,可由例如音量的改变、节奏幅度的改变、波长的不同波段之间的幅度的改变等等来形成被使用的第一模态中的边界。例如,可以使用用于第二模态的表现中的改变的自动确定的相同边界。例如,相应于初始自动确定的第二模态的表现中的改变的边界可被分配有一个重要的值,其用于确定以哪个平滑度分别删除或恢复第二模态的表现中的相应的改变。例如,关于光信号作为第一模态的情况,颜色、亮度、光谱内容等等中的改变可形成将要使用的边界。类似地,关于视频信号作为第一模态的情况,帧之间的主要变化等等可形成边界。
优选地,第一模态是声音信号、视频信号和光信号中的任意一种。优选地,第二模态是光信号、声音信号和视频信号中的任意一种。特别地,诸如音乐之类的声音信号与视频或光信号的组合,视频信号与光信号或声音信号的组合,以及光信号与视频信号或声音信号的组合都是内容丰富所感兴趣的特别相关的领域。声音信号可以是例如声音本身,或者更优选地是其表示,例如其模拟或数字表示(例如MP3文件等)。类似地,视频信可以是例如可视信号或其模拟或数字表示。类似地,光信号可以例如是可视光信号或其模拟或数字表示,例如用于光的控制信号等。可以通过例如单个光源(也许能够发射不同颜色的光)或者通过光源的组合来实现光信号。光信号可被实现为例如房间或其他位置的照明。
根据优选的实现方式,第一模态是声音信号,并且第二模态是光信号,具体而言是可变颜色的光信号。声音信号可以是例如代表音乐的信号,并且光信号是房间或其他位置的照明。具体而言,已证实通过作为第二模态的可变颜色的光对作为第一模态的音乐应用的内容丰富可丰富听音乐的体验。优选地,第二模态由照明效果形成。这些照明效果可以由例如具体照明场景、不同类型的光源、不同颜色的光等来形成。用不同颜色对房间或其他位置进行照明尤其相关。
优选地,该方法进一步包括步骤:提供第二模态的表现中的最终改变的可视预览表示。在这种情况下,向用户提供关于第二模态的表现中的改变的适配的可视反馈。因此,用户可容易地调整平滑因子以获得期望的结果。可以以例如将第二模态的表现中的改变表示为时间函数的情绪吧的形式提供最终改变的可视预览表示。对于第一模态为音乐而第二模态为彩色照明的情况,可以以例如以上所提及的参考文献中的Gavin Wood和Simon O’Keefe所公开的情绪吧的形式提供可视预览表示。然而,应当注意的是其他可视表示也是可能的。可在例如屏幕上或其他合适的显示器上提供可视预览表示。
优选地,根据平滑度删除或恢复第二模态的表现中的离散的改变。在这种情况下,用户可通过简单地调整平滑度而容易地降低或增加第二模态的表现中的改变的数量。可以使用适于仅改变一个值的单个用户输入设备来非常方便的实现该方案。优选地,通过增加平滑度降低第二模态的表现中的最终改变的数量。例如,平滑度可被解释为在预定时间周期内所允许的改变的固定数量。
根据一个方面,通过增加平滑度,在第二模态的表现中所确定的改变的更短时间块由第二模态的表现中所确定的改变中所呈现的表现的相邻块逐渐增加地替代。在这种情况下,提供了一种降低第二模态的表现中的改变的便利方式,其维持第一模态的依赖于时间的特征与第二模态的表现中的改变之间的相关性。这种情况例如可通过如下方式实现:通过合并或分离各个块而根据平滑度删除或恢复第二模态的表现中的改变的块。在该上下文中,合并意味着合并到另一个块的块具有与其他块相同的表现,而分离意味着块具有原始表现。
根据一个方面,通过增加平滑度,根据第一模态的依赖于时间的特征中呈现的改变的量而逐渐增加地删除相应于第一模态的依赖于时间的特征中的改变的第二模态的表现中所确定的改变。例如,第二模态的表现中所确定的改变可具有指示在哪个平滑度将删除各个改变的“重要性值”。关于第一模态是音乐这种情况,当音乐改变很多时,可通过例如将较大的重要性值分配给相应于音乐中的改变的第二模态的表现中的改变(例如照明中的颜色改变)来实现该方案;当音乐以较低程度改变时,可通过将较小的重要性值分配给第二模态的表现中的改变来实现该方案。
优选地,第二模态的表现中所自动确定的改变被分配反映分别在哪个平滑度将删除和恢复改变的值。在这种情况下,自动确定的改变已提供有导致该情况的“重要性值”,当通过用户输入调整平滑度时,第二模态的表现中的改变与第一模态的依赖于时间的特征仍然紧密相关。可基于例如第二模态的表现中随后所确定的改变之间的持续时间,或基于第一模态的依赖于时间的特征中的改变的量来定义这样的重要性值。
根据一个方面,通过增加平滑度,可延长第二模态的表现中的最终改变中的随后改变之间的最小时间间隔。通过这种方式,用户可通过将平滑度调整到更高值而抑制第二模态的表现中的快速改变。因此,增加平滑度可以以用户可预知并可充分理解的方式而方便地导致第二模态的行为的平滑。同时,可以维持第二模态的行为到第一模态的依赖于时间的特征的映射。
还可通过根据权利要求13的用于基于第一模态控制第二模态的设备来解决该目的。该设备包括:输出用于基于包含依赖于时间的特征的第一模态控制第二模态的表现的控制信号的输出端,第二模态能够随时间改变其表现;用户输入设备适于通过单个调节器来输入平滑度。该设备适于:基于第一模态的依赖于时间的特征来自动地确定第二模态的表现中的改变,基于平滑度和第一模态的依赖于时间的特征中呈现的边界来适配第二模态的表现中所自动确定的改变,从而输出相应于第二模态的表现中的最终改变的信号。该设备达到如以上所述的方法一样的优点。因为用户输入设备适于通过单个调节器输入平滑度,使得能够通过用户友好的及便利的方式来实现平滑度的用户控制。可由例如调整旋钮、调整滑块、滚动条等来形成单个调节器。可通过例如硬件来实现调节器,或可以将其实现为软件形式的虚拟调节器。
优选地,该设备包括可视用户界面,并且其适于在可视用户界面上提供第二模态的表现中的最终改变的可视预览表示。在这种情况下,向用户提供关于第二模态的表现中的改变的适配的可视反馈。因此,用户可容易地调整平滑因子以获得期望的结果。可以以例如将第二模态的表现中的改变表示为时间函数的情绪吧的形式提供最终改变的可视预览表示。对于第一模态为音乐而第二模态为彩色照明的情况,可以以例如以上所述的方式中的情绪吧的形式提供可视预览表示。然而,应当注意的是其他可视表示也是可能的。可在例如屏幕上或其他合适的显示器上提供可视预览表示作为可视用户界面。
还可通过根据权利要求15的计算机程序产品来解决该目的。该计算机程序产品适于:当在计算机上执行计算机程序产品的指令时,执行以下步骤:分析相应于包含依赖于时间的特征的第一模态的数据,输出相应于用于能够随时间改变其表现的第二模态的控制信号的数据;基于第一模态的依赖于时间的特征自动地确定第二模态的表现中的改变;基于通过单个调节器的用户输入来调整平滑度;基于平滑度和第一模态的依赖于时间的特征中呈现的边界来适配第二模态的表现中所确定的改变,以获得第二模态的表现中的最终改变。计算机程序产品达到以上所述的关于用于基于第一模态控制第二模态的设备的优点。可在计算机的存储器中提供计算机程序产品,可在诸如CD、DVD、USB棒等任何合适的载体上提供计算机程序产品,或者该计算机程序产品可被提供成能够通过例如因特网的网络从服务器下载。此外,本领域已知的发布计算机程序产品的其他方式也是可能的。
附图说明
可从以下参考附图对实施例的详细描述中获得本发明的其他特征和优点。
图1是用于解释一个实施例的示意图表示;
图2是示意性示出用于基于第一模态控制第二模态的方法的步骤的方框图;
图3示意性地示出了第二模态的表现中的最终改变的可视预览表示的例子。
具体实施方式
现在将参考附图来描述本发明的实施例。在以下将描述的实施例中,第一模态由音乐形成,更具体地由表示音乐的数据信号而形成。例如可在诸如CD或DVD等之类硬件载体上提供音乐,或以本领域公知的模拟或数字数据信号的形式提供音乐。优选地,以例如MP3文件等等之类的数字数据信号的形式提供音乐。在图1所示的例子中,在用于基于第一模态控制第二模态的设备10中提供第一模态3。这样的设备可以由例如计算机、PDA(个人数字助理)、移动电话、移动音乐播放器(例如MP3播放器)等形成。可替换地,可从外部通过输入将第一模态3提供给设备10。在该实施例中,第二模态由用于照明位置1的彩色光形成,位置1在图1中被示意性地示出为房间。由能够发射不同颜色的光的合适的光源2发射(由彩色光形成的)第二模态。尽管在图1中示出的是,光源2与设备10分离地提供,并通过合适的连接线11将其连接到设备10,光源2还可无线地连接到该设备,或者将其与设备10一起集成到集成单元。设备10被提供有用户输入设备4,在图1中其被示意性地示出为可旋转调整旋钮。应当注意的是,尽管硬件形式的可旋转调整旋钮被显示为用户输入设备,许多其他的用于利用一个用于调整一个值的单个调节器实现用户输入的方案也是可能的。例如,用户输入设备还可被实现为软件,并且在例如滚动条、(虚拟)滑动调节器、(虚拟)可旋转旋钮等情形下图像表示在屏幕上。因此用户输入设备可被实现为使得通过移动(硬件)调节器或通过使用例如鼠标、键盘、触摸板、触摸屏等调整虚拟调节器而实现用户输入。在任何情况下,用户输入设备4具有简单的结构,以使得可以通过单个调节器方便地输入以下被称为平滑度的值。
根据该实施例,设备10进一步被提供有可视用户界面5,其例如是适于向用户显示信息的显示器。例如,可视用户界面5可以由例如在已知的移动电话、PDA、便携或固定计算机等上提供的彩色屏幕而形成。尽管图1中,可视用户界面5是分离地提供的,但是无线地或通过电缆连接到设备10,可视用户界面5还可以被与设备10集成到单个单元的形式提供。在用户输入设备4是由软件实现的虚拟调节器而形成的情况下,可在例如可视用户界面5上提供用户输入设备4的图形表示。
以下将参考图2和3来描述用于基于第一模态控制第二模态的设备的操作。
在第一步骤S1,提供包括依赖于时间的特征的第一模态。在该例子中,通过提供音乐数据给设备10来完成该步骤。
在步骤S2中,基于第一模态的依赖于时间的特征(例如,该例子中作为时间函数的音乐中的改变),设备10基于第一模态的依赖于时间的特征自动地确定第二模态的表现中的改变。在详细描述的例子中,第二模态由光源2生成的彩色照明效果所形成。因此,在该例子中,基于音乐的依赖于时间的特征而自动地确定发射的光的颜色中的改变。例如,能够按照2005年由Gavin Wood和Simon O’Keefe在可从http://ismir2005.ismir.net/proceedings/1023.pdf获得的“关于用于基于内容的可视注释帮助轨迹内音乐导航的技术”(“On Techniques for Content-Based Visual Annotation to Aid Intra-Track Music Navigation”)中公开的用于生成“情绪吧”的方式那样来实现该方案。根据该实施例,将该确定的结果显示在可视用户界面5上。图3a示出了它的一种可能的表示。在图3a给出的例子中,用户输入设备4被实现为也显示在可视用户界面5上的滚动条。如图3a所示,第二模态的表现中的改变20(在该例子中,是光的颜色的改变)被显示为在颜色条形式的二维图形表示中的时间t的函数。应当注意的是,这是优选的并且特别便利的表示。然而,其他合适的图形表示也是可能的。
在步骤S3,借助用户输入设备4调整平滑度。在图3a的表示中,平滑度被设为相应于“无平滑”的值。在所示的例子中,通过改变图3a-3c中左侧的滚动条的位置来调整平滑度。可以通过本领域已知的任何便利方式来完成该方案。在用户输入设备由另一个单个调节器形成的情况下,通过适当地移动用于改变相应于平滑度的值的(物理或虚拟)调节器来调整平滑度。在任何情况下,用户输入设备适于使单个用户控制元件将用户输入映射到应当获得的平滑程度(平滑度)。
已在步骤S3中设置的平滑度在步骤S4中被用于基于平滑度和第一模态的依赖于时间的特征中呈现的边界适配第二模态的表现中的确定的改变,以获得第二模态的表现中的最终改变。这意味着,并非通过覆盖改变的具体频率等来简单地适配确定的改变,而是还考虑在第一模态的依赖于时间的特征中呈现的边界。以下将更详细地描述如何根据该实施例实现该方案。
此外,在显示器5上提供第二模态的表现中的最终改变的更新后的可视预览表示。在图3b的右侧,示出了相应于中间平滑度(相应于图3b中左侧的滚动条的位置)的更新后的可视预览表示,其中由20’标记第二模态的表现中的最终改变。图3c示出了相应于最大平滑度的更新后的可视预览表示,在最大平滑度抑制第二模态的表现中的所有改变(也就是说,在所示的实施例中没有颜色改变发生)。当然,可借助用户输入设备4来调整许多不同的中间平滑度。因为向用户提供可视预览表示,可向用户便利地提供关于将发生的第二模态的表现中的改变的结构的信息。因而,对于被提供即时反馈的用户来说,改变变得可预知。因此,用户可与最终可视预览表示一致地方便地调整期望的平滑(抑制第二模态的表现中的改变)。作为步骤S4的结果,提供第二模态的表现中的最终改变。
在进一步的步骤S5中,输出相应于第二模态的表现中的最终改变的控制信号以用于基于第一模态控制第二模态的表现。在第一模态为音乐第二模态为彩色光的例子中,这意味着在音乐回放期间,通过控制信号控制彩色光的颜色改变。
现在,将描述如何基于平滑度和第一模态的依赖于时间的特征中呈现的边界来确定第二模态的表现中的最终改变。如以上所解释的那样,根据调整后的平滑度,删除或恢复第二模态的表现中的改变。根据平滑度来删除或恢复第二模态的表现中的改变意味着还将被称为恒定表现的块(在优选的实施例中是恒定颜色的块)的恒定表现的相邻时间周期被分别合并或分离。在该上下文中,合并意味着一个块取得与相邻块相同的表现,而分离意味着块退回初始确定的表现(例如在优选实施例中的光的颜色)。
可以通过不同方式来执行平滑度到第二模态的表现中的相应的最终改变的映射。例如,平滑度可被映射到随后模态改变之间的(最小)持续时间。在这种情况下,可相应于调整后的平滑度删除或恢复第二模态的表现中所确定的改变(在步骤S2中确定的),以使得其中第二模态的表现没有改变的最终(最小)时间周期接近该调整后的间隔。
根据另一个例子,平滑度可被解释为第二模态的表现中所允许的改变的固定数(具有特定时间间隔,或在第一模态的特定段之内,例如在歌曲之内)。在这种情况下,基于平滑度执行第二模态的表现中的改变的删除或恢复,使得达到改变的这个固定数,而与其中没有改变的最终时间周期的长度无关。
根据该实施例,第二模态的表现中的每个(初始地)确定的改变(在步骤S2中确定的)被提供反映在哪个平滑度将删除或恢复改变的值(以下将被称为重要性值)。通过这样的方式来估计这些重要性值,即用户会同意删除或恢复模态中的改变,以下将对其进行解释。
根据第一个例子,基于在步骤S2中确定的第二模态的表现中所确定的改变的随后改变之间的时间块的长度来确定重要性值。在这种情况下,时间上短的恒定表现的块被提供低重要性值。这意味着在相对低的平滑度将恒定表现的该块合并到恒定表现的相邻块。换而言之,在块的开始和块的结束处的第二模态的表现中的两个改变被提供低重要性值。相反的,如果块很长,接着仅当在调整高平滑度时,才将该块合并到恒定表现的相邻块。这意味着,在该块的开始和结束处的改变被提供更高的重要性值。
根据另一个例子,基于第一模态的相应的依赖于时间的特征中的改变量将重要性值分配到第二模态的表现中所确定的改变。对于第一模态是音乐的优选实施例,这意味着将高重要性值提供给相应于音乐中的大改变的第二模态的表现中的改变。因此,仅对于高平滑度才将删除这些改变。在另一方面,相应于第一模态(也就是在优选实施例中的音乐)中的小改变的第二模态的表现中所确定的改变被提供低重要性值。因此,在较低的平滑度处已删除了第二模态的表现中的这些改变。
在步骤S4中基于平滑度和重要性值来执行第二模态的表现中的改变的删除和恢复。为此,分析重要性值。执行改变的删除或恢复直到获得期望的平滑度。
因此,根据一个实施例,提供一种控制由第一模态触发的第二模态(例如彩色光)的改变的设备。基于用户能够使用简单的用户输入设备指定的平滑的程度来自动地删除或恢复所有时间的第二模态的表现中的改变。该平滑度相应于将出现在第二模态的表现内的多少离散的改变,其中第二模态的表现中的改变的初始量由第一模态自动定义。由于提供了可视预览表示,可以很容易地控制和预知最终改变。优选地,可通过执行已描述的步骤的算法来执行调整后的平滑度到第二模态的表现中的最终改变的映射。
尽管以上已经描述了方法是由硬件实现的,但是该方法还可由计算机程序产品来实现,当计算机程序产品被加载到例如计算机的适合的设备中时,其可执行以上所描述的步骤。
此外,尽管在已详细描述的优选实施例中,第一模态由音乐形成,第二模态由不同颜色的彩色光形成,但是本发明并不限于此。另一个合适的例子是:作为第二模态的不同动态光效果之间的改变丰富了第一模态的体验。此外,例如电影可形成第一模态,并且光信号可形成第二模态,或者光氛围可形成第一模态,并且声音信号可形成第二模态。许多其他组合也是可能的。
尽管通篇说明书中仅描述了第一模态和第二模态的组合,但是本发明并不限于此,并且还可以提供一个或多个其他模态。可以通过例如与第二模态相类似的方式来控制这些其他模态的表现。

Claims (15)

1.一种用于基于第一模态控制第二模态的方法,所述方法包括步骤:
提供包含依赖于时间的特征的第一模态和能够随时间改变其表现的第二模态;
基于所述第一模态的所述依赖于时间的特征来自动地确定所述第二模态的表现中的改变;
借助于用户输入设备来调整平滑度;以及
基于所述平滑度和所述第一模态的所述依赖于时间的特征所呈现的边界来适配所述第二模态的表现中所确定的改变,以获得所述第二模态的所述表现中的最终改变。
2.根据权利要求1所述的方法,其中所述第一模态是声音信号、视频信号和光信号中的任意一种。
3.根据权利要求1或2所述的方法,其中所述第二模态是光信号、声音信号和视频信号中的任意一种。
4.根据权利要求1-3任一所述的方法,其中所述第一模态是声音信号且第二模态是光信号,特别是可变颜色的光信号。
5.根据权利要求1-4任一所述的方法,其中所述第二模态由照明效果形成。
6.根据权利要求1-5任一所述的方法,其中所述方法进一步包括步骤:
提供所述第二模态的表现中的所述最终改变的可视预览表示。
7.根据权利要求1-6任一所述的方法,其中根据所述平滑度来删除或恢复所述第二模态的所述表现中的离散的改变。
8.根据权利要求1-7任一所述的方法,其中通过增加所述平滑度,所述第二模态的表现中的最终改变的数量得到降低。
9.根据权利要求1-8任一所述的方法,其中,通过增加所述平滑度,通过所述第二模态的表现中所确定的改变所呈现的表现的相邻块来逐渐增加地替代所述第二模态的表现中所确定的改变中时间上更短的块。
10.根据权利要求1-9任一所述的方法,其中,通过增加所述平滑度,根据所述第一模态的相应的依赖于时间的特征中呈现的改变量来逐渐增加地删除所述第二模态的表现中所确定的改变。
11.根据权利要求1-10任一所述的方法,其中所述第二模态的表现中所自动确定的改变被分配反映在哪个平滑度将分别删除和恢复所述改变的值。
12.根据权利要求1-11任一所述的方法,其中通过增加所述平滑度,延长所述第二模态的表现中的最终改变的随后改变之间的最小时间间隔。
13.一种用于基于第一模态控制第二模态的设备,所述设备包括:
输出端(11),用于输出用于基于包含依赖于时间的特征的第一模态控制第二模态的表现的控制信号,所述第二模态能够随时间改变其表现;
用户输入设备(4),其适于通过单个调节器输入平滑度;
其中所述设备被适配为使得:
基于所述第一模态的所述依赖于时间的特征来自动地确定所述第二模态的表现中的改变,和
基于所述平滑度和所述第一模态的所述依赖于时间的特征所呈现的边界来适配所述第二模态的表现中所自动确定的改变,以输出相应于所述第二模态的表现中的最终改变的信号。
14.根据权利要求13的设备,包括可视用户界面(5),该设备被适配为使得在所述可视用户界面上提供所述第二模态的表现中的最终改变的可视预览表示。
15.一种计算机程序产品,其被适配为使得,当在计算机上执行所述计算机程序产片的指令时,以下步骤被执行:
分析相应于包含依赖于时间的特征的第一模态的数据,
输出相应于用于能够随时间改变其表现的第二模态的控制信号的数据;
基于所述第一模态的所述依赖于时间的特征自动地确定所述第二模态的表现中的改变;
基于通过单个调节器的用户输入来调整平滑度;和
基于所述平滑度和所述第一模态的所述依赖于时间的特征所呈现的边界来适配所述第二模态的表现中所确定的改变,以获得所述第二模态的所述表现中的最终改变。
CN2010800315872A 2009-07-15 2010-07-06 用于基于第一模态控制第二模态的方法 Pending CN102473031A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09165492.1 2009-07-15
EP09165492 2009-07-15
PCT/IB2010/053095 WO2011007293A2 (en) 2009-07-15 2010-07-06 Method for controlling a second modality based on a first modality

Publications (1)

Publication Number Publication Date
CN102473031A true CN102473031A (zh) 2012-05-23

Family

ID=43365863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800315872A Pending CN102473031A (zh) 2009-07-15 2010-07-06 用于基于第一模态控制第二模态的方法

Country Status (4)

Country Link
US (1) US20120117373A1 (zh)
EP (1) EP2454644A2 (zh)
CN (1) CN102473031A (zh)
WO (1) WO2011007293A2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210104220A1 (en) * 2019-10-08 2021-04-08 Sarah MENNICKEN Voice assistant with contextually-adjusted audio output
CN112034984B (zh) * 2020-08-31 2024-05-28 北京字节跳动网络技术有限公司 一种虚拟模型处理方法、装置、电子设备和存储介质
DE102022001896B8 (de) 2022-05-31 2023-11-30 Michael Bauer Optisches Musikinstrument, Verfahren zur Bestimmung einer Lichttonleiter und Lichtklängen und optische Musikinstallation und optische Weitergabe akustischer Informationen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058996A1 (en) * 2005-11-15 2007-05-24 Creative Kingdoms, Llc Multi-layered interactive play experience
US20080190267A1 (en) * 2007-02-08 2008-08-14 Paul Rechsteiner Sound sequences with transitions and playlists
WO2009015082A1 (en) * 2007-07-25 2009-01-29 Oneworld Global Manufacturing Solutions Ltd. Digital photo frame with weather forecasting ability
CN101416498A (zh) * 2006-03-31 2009-04-22 皇家飞利浦电子股份有限公司 用可转换幕布产生环境照明的显示器件

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3473428A (en) * 1966-05-31 1969-10-21 Edward H Phillips Entertainment device
US3767901A (en) * 1971-01-11 1973-10-23 Walt Disney Prod Digital animation apparatus and methods
US4056805A (en) * 1976-12-17 1977-11-01 Brady William M Programmable electronic visual display systems
DE2843180C3 (de) * 1978-10-04 1981-11-05 Robert Bosch Gmbh, 7000 Stuttgart Verfahren und Vorrichtung zur akustisch-optischen Umwandlung von Signalen
US4753148A (en) * 1986-12-01 1988-06-28 Johnson Tom A Sound emphasizer
US5005459A (en) * 1987-08-14 1991-04-09 Yamaha Corporation Musical tone visualizing apparatus which displays an image of an animated object in accordance with a musical performance
US5557424A (en) * 1988-08-26 1996-09-17 Panizza; Janis M. Process for producing works of art on videocassette by computerized system of audiovisual correlation
US5453568A (en) * 1991-09-17 1995-09-26 Casio Computer Co., Ltd. Automatic playing apparatus which displays images in association with contents of a musical piece
US5812688A (en) * 1992-04-27 1998-09-22 Gibson; David A. Method and apparatus for using visual images to mix sound
US6490359B1 (en) * 1992-04-27 2002-12-03 David A. Gibson Method and apparatus for using visual images to mix sound
AU5334494A (en) * 1992-10-16 1994-05-09 Gerold Tebbe Recording medium and appliance for generating sounds and/or images
US6329964B1 (en) * 1995-12-04 2001-12-11 Sharp Kabushiki Kaisha Image display device
US7242152B2 (en) * 1997-08-26 2007-07-10 Color Kinetics Incorporated Systems and methods of controlling light systems
US7231060B2 (en) * 1997-08-26 2007-06-12 Color Kinetics Incorporated Systems and methods of generating control signals
US6417439B2 (en) * 2000-01-12 2002-07-09 Yamaha Corporation Electronic synchronizer for musical instrument and other kind of instrument and method for synchronizing auxiliary equipment with musical instrument
US6249091B1 (en) * 2000-05-08 2001-06-19 Richard S. Belliveau Selectable audio controlled parameters for multiparameter lights
US20050275626A1 (en) 2000-06-21 2005-12-15 Color Kinetics Incorporated Entertainment lighting system
ES2443571T3 (es) * 2000-06-21 2014-02-19 Philips Solid-State Lighting Solutions, Inc. Método y aparato para controlar un sistema de iluminación en respuesta a una entrada de audio
US6364509B1 (en) * 2000-06-30 2002-04-02 J & J Creative Ideas Sound responsive illumination device
US6395969B1 (en) * 2000-07-28 2002-05-28 Mxworks, Inc. System and method for artistically integrating music and visual effects
JP2002159066A (ja) * 2000-11-21 2002-05-31 Nec Corp 携帯電話端末
US6639649B2 (en) * 2001-08-06 2003-10-28 Eastman Kodak Company Synchronization of music and images in a camera with audio capabilities
US20050190199A1 (en) * 2001-12-21 2005-09-01 Hartwell Brown Apparatus and method for identifying and simultaneously displaying images of musical notes in music and producing the music
US7897865B2 (en) * 2002-01-15 2011-03-01 Yamaha Corporation Multimedia platform for recording and/or reproducing music synchronously with visual images
AU2003266002A1 (en) * 2002-05-06 2003-11-17 Benjamin M. Goldberg Localized audio networks and associated digital accessories
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
WO2005017606A2 (en) * 2003-08-18 2005-02-24 Siir Kilkis A universal method and apparatus for mutual sound and light correlation
JP4001091B2 (ja) * 2003-09-11 2007-10-31 ヤマハ株式会社 演奏システム及び楽音映像再生装置
US7288712B2 (en) * 2004-01-09 2007-10-30 Yamaha Corporation Music station for producing visual images synchronously with music data codes
CN100350792C (zh) * 2004-04-14 2007-11-21 奥林巴斯株式会社 摄像装置
US7601904B2 (en) * 2005-08-03 2009-10-13 Richard Dreyfuss Interactive tool and appertaining method for creating a graphical music display
US20070137462A1 (en) * 2005-12-16 2007-06-21 Motorola, Inc. Wireless communications device with audio-visual effect generator
MX2008012427A (es) * 2006-03-31 2008-10-09 Koninkl Philips Electronics Nv Aparato de pantalla con generacion de luz ambiental usando cubiertas conmutables.
US20090122161A1 (en) * 2007-11-08 2009-05-14 Technical Vision Inc. Image to sound conversion device
US8136041B2 (en) * 2007-12-22 2012-03-13 Bernard Minarik Systems and methods for playing a musical composition in an audible and visual manner
JP5253835B2 (ja) * 2008-02-19 2013-07-31 株式会社キーエンス 画像生成装置、画像生成方法及びコンピュータプログラム
EP2441052B1 (en) * 2009-06-10 2013-01-23 Koninklijke Philips Electronics N.V. Visualization apparatus for visualizing an image data set
CA136187S (en) * 2010-01-06 2011-03-07 Optelec Dev B V Apparatus for converting images into sound
US8697977B1 (en) * 2010-10-12 2014-04-15 Travis Lysaght Dynamic lighting for musical instrument
JP5655498B2 (ja) * 2010-10-22 2015-01-21 ヤマハ株式会社 音場可視化システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058996A1 (en) * 2005-11-15 2007-05-24 Creative Kingdoms, Llc Multi-layered interactive play experience
CN101416498A (zh) * 2006-03-31 2009-04-22 皇家飞利浦电子股份有限公司 用可转换幕布产生环境照明的显示器件
US20080190267A1 (en) * 2007-02-08 2008-08-14 Paul Rechsteiner Sound sequences with transitions and playlists
WO2009015082A1 (en) * 2007-07-25 2009-01-29 Oneworld Global Manufacturing Solutions Ltd. Digital photo frame with weather forecasting ability

Also Published As

Publication number Publication date
EP2454644A2 (en) 2012-05-23
WO2011007293A2 (en) 2011-01-20
WO2011007293A3 (en) 2011-04-28
US20120117373A1 (en) 2012-05-10

Similar Documents

Publication Publication Date Title
JP7575502B2 (ja) 音楽生成器
US11558692B2 (en) Systems and methods for automatic mixing of media
JP6504165B2 (ja) 情報処理装置及び情報処理方法並びにプログラム
JP6665446B2 (ja) 情報処理装置、プログラム及び音声合成方法
US12046246B2 (en) Systems and methods for an immersive audio experience
CN102473415A (zh) 声音控制装置、声音控制程序及声音控制方法
CN102473031A (zh) 用于基于第一模态控制第二模态的方法
WO2023276279A1 (ja) 画像処理装置、画像処理方法、プログラム
US20240213943A1 (en) Dynamic audio playback equalization using semantic features
JP7187472B2 (ja) データフォーマット
EP4205513A1 (en) Determining an order for reproducing songs based on differences between light scripts
CN106448710A (zh) 一种音乐播放参数的校准方法及音乐播放设备
KR102132905B1 (ko) 단말 장치 및 그의 제어 방법
US20170330544A1 (en) Method and system for creating an audio composition
TW201110012A (en) Method for generating a playlist
WO2023062865A1 (ja) 情報処理装置および方法、並びにプログラム
CN120279867A (zh) 音频处理方法
HK40107916A (zh) 用於沉浸式音频体验的系统和方法
JP2008077547A (ja) マルチメディア情報作成装置、マルチメディア情報作成方法及びマルチメディア情報作成プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120523