JP2019165386A - Signal analysis method and signal analysis device - Google Patents
Signal analysis method and signal analysis device Download PDFInfo
- Publication number
- JP2019165386A JP2019165386A JP2018052815A JP2018052815A JP2019165386A JP 2019165386 A JP2019165386 A JP 2019165386A JP 2018052815 A JP2018052815 A JP 2018052815A JP 2018052815 A JP2018052815 A JP 2018052815A JP 2019165386 A JP2019165386 A JP 2019165386A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- acoustic signal
- content
- acoustic
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 38
- 230000002123 temporal effect Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 25
- 230000010365 information processing Effects 0.000 description 22
- 230000005236 sound signal Effects 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 239000000203 mixture Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Stereophonic System (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
Description
本発明は、複数の信号の相互間における時間的な対応を解析するための技術に関する。 The present invention relates to a technique for analyzing temporal correspondence between a plurality of signals.
複数の信号間における時間的な対応を解析するための技術が従来から提案されている。例えば特許文献1には、複数の音声符号化情報の間で信号値のパターンを比較することで、両者間の時間差を解析する技術が開示されている。複数の音声符号化情報は、信号値が所定の範囲の外側にある成分が抽出されたうえで相互に比較される。 Techniques for analyzing temporal correspondence between a plurality of signals have been conventionally proposed. For example, Patent Document 1 discloses a technique for analyzing a time difference between a plurality of pieces of speech encoded information by comparing signal value patterns. The plurality of pieces of speech encoded information are compared with each other after components whose signal values are outside a predetermined range are extracted.
特許文献1の技術では、各音声符号化情報のうち振幅が大きい成分同士が比較される。しかし、信号間の時間的な対応を解析するうえで重要な成分の振幅が、相対的に小さい場合がある。したがって、特許文献1の技術のように振幅が大きい成分同士を比較する構成では、信号間の時間的な対応を高精度に特定できないという問題がある。以上の事情を考慮して、本発明は、信号間の時間的な対応を高精度に特定することを目的とする。 In the technique of Patent Document 1, components having large amplitudes are compared among the pieces of speech encoded information. However, the amplitude of components that are important in analyzing temporal correspondence between signals may be relatively small. Therefore, in the configuration in which components having large amplitudes are compared as in the technique of Patent Document 1, there is a problem that the temporal correspondence between signals cannot be specified with high accuracy. In view of the above circumstances, an object of the present invention is to specify the temporal correspondence between signals with high accuracy.
以上の課題を解決するために、本発明の好適な態様に係る情報処理方法は、信号値の差異を減縮する信号処理を第1信号に対して実行し、前記信号処理の実行後の第1信号と、第2信号とを対比することで、前記第1信号と前記第2信号との時間的な対応を特定する。 In order to solve the above problems, an information processing method according to a preferred aspect of the present invention performs signal processing for reducing a difference in signal values on a first signal, and performs first processing after the signal processing is performed. The temporal correspondence between the first signal and the second signal is specified by comparing the signal with the second signal.
本発明の好適な態様に係る情報処理装置は、信号値の差異を減縮する信号処理を第1信号に対して実行する信号処理部と、前記信号処理の実行後の第1信号と、第2信号とを対比することで、前記第1信号と前記第2信号との時間的な対応を特定する解析処理部とを具備する。 An information processing apparatus according to a preferred aspect of the present invention includes: a signal processing unit that performs signal processing for reducing a difference in signal values for a first signal; a first signal after execution of the signal processing; An analysis processing unit that identifies a temporal correspondence between the first signal and the second signal by comparing the signal is provided.
図1は、本発明の好適な態様に係る情報処理装置100の構成を例示するブロック図である。情報処理装置100(信号解析装置の例示)は、映像と音響とを含む各種のコンテンツを再生するコンピュータシステムである。図1に例示される通り、情報処理装置100は、制御装置11と記憶装置12と再生装置13とを具備する。例えば携帯電話機、スマートフォン,タブレット端末またはパーソナルコンピュータ等の各種の情報端末が、情報処理装置100として好適に利用される。
FIG. 1 is a block diagram illustrating the configuration of an
制御装置11は、例えばCPU(Central Processing Unit)等の処理回路であり、情報処理装置100の各要素を統括的に制御する。制御装置11は、1個以上の処理回路を含んで構成される。記憶装置12は、制御装置11が実行するプログラムと制御装置11が使用する各種のデータとを記憶するメモリである。例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置12として好適である。なお、情報処理装置100とは別体の記憶装置12(例えばクラウドストレージ)を用意し、制御装置11が通信網を介して記憶装置12に対する書込および読出を実行してもよい。すなわち、記憶装置12を情報処理装置100から省略してもよい。
The
記憶装置12は、コンテンツX1およびコンテンツX2を記憶する。コンテンツX1およびコンテンツX2は、例えば音響空間内の相異なる位置および画角で共通の被写体を収録した映像作品である。例えば通信網を介して他装置から受信したコンテンツX1およびコンテンツX2が記憶装置12に格納される。なお、撮像装置および収音装置を含む収録装置が収録したコンテンツX1およびコンテンツX2を情報処理装置100が受信してもよい。
The
コンテンツX1は映像信号V1と音響信号A1とで表現され、コンテンツX2は映像信号V2と音響信号A2とで表現される。各映像信号Vn(n=1,2)は、撮像装置により撮像された動画像を表す信号であり、各音響信号Anは、収音装置により収音された音響の波形を表す信号である。具体的には、音響信号Anは、音圧レベル(強度)を表す信号値の時系列で表現される。なお、映像信号Vnおよび音響信号Anの形式は任意である。収録が実施された期間はコンテンツX1とコンテンツX2とで重複する。したがって、図2に例示される通り、音響信号A1と音響信号A2とは共通の音響成分を含む。ただし、収録開始の時刻はコンテンツX1とコンテンツX2との間で相違するから、音響信号A1と音響信号A2との間で位相は相違する。 The content X1 is expressed by the video signal V1 and the audio signal A1, and the content X2 is expressed by the video signal V2 and the audio signal A2. Each video signal Vn (n = 1, 2) is a signal representing a moving image captured by the imaging device, and each acoustic signal An is a signal representing an acoustic waveform collected by the sound collection device. Specifically, the acoustic signal An is represented by a time series of signal values representing the sound pressure level (intensity). The format of the video signal Vn and the audio signal An is arbitrary. The period in which the recording is performed overlaps between the content X1 and the content X2. Therefore, as illustrated in FIG. 2, the acoustic signal A1 and the acoustic signal A2 include a common acoustic component. However, since the recording start time differs between the content X1 and the content X2, the phase differs between the acoustic signal A1 and the acoustic signal A2.
制御装置11は、図1に例示される通り、コンテンツX1とコンテンツX2とを合成することでコンテンツYを生成する。コンテンツYは、映像信号Vyと音響信号Ayとで表現される。映像信号Vyは、図3に例示される通り、コンテンツX1の映像信号V1が表す画像とコンテンツX2の映像信号V2が表す画像とが並置された画像である。音響信号Ayは、音響信号A1と音響信号A2とを混合することで生成される。なお、音響信号A1および音響信号A2の一方を音響信号Ayとして利用してもよい。
As illustrated in FIG. 1, the
再生装置13は、制御装置11が生成したコンテンツYを再生する。具体的には、再生装置13は、表示装置131と放音装置132とを具備する。表示装置131は、例えば液晶表示パネルで構成され、コンテンツYの映像信号Vyが表す画像を表示する。放音装置132は、例えばスピーカまたはヘッドホンであり、コンテンツYの音響信号Ayが表す音響を放音する。
The
図4は、情報処理装置100の機能的な構成を例示するブロック図である。図4に例示される通り、制御装置11は、記憶装置12に記憶されたプログラムを実行することで、コンテンツX1とコンテンツX2とからコンテンツYを生成するための複数の機能(信号解析部20、合成処理部30および再生制御部40)を実現する。なお、相互に別体で構成された複数の装置の集合(すなわちシステム)で制御装置11の機能を実現してもよいし、制御装置11の機能の一部または全部を専用の電子回路で実現してもよい。
FIG. 4 is a block diagram illustrating a functional configuration of the
信号解析部20は、音響信号A1(第1信号の例示)と音響信号A2(第2信号の例示)との時間的な対応を解析する。具体的には、音響信号A1と音響信号A2との時間差Tを特定する。時間差Tは、図2に例示される通り、時間軸上で始点が共通するように音響信号A1と音響信号A2とを配置した場合に、音響信号A1のうち特定の音響が発音される時点と音響信号A2のうち当該音響が発音される時点との時間差(すなわち位相差)である。音響信号A1の収録の開始時刻と音響信号A2の収録の開始時刻と差異を時間差Tと表現してもよい。
The
図4の合成処理部30は、コンテンツX1とコンテンツX2とを相互に同期させた状態で合成する。合成処理部30によるコンテンツX1とコンテンツX2との合成によりコンテンツYが生成される。コンテンツX1とコンテンツX2との同期とは、特定の音響または画像が再生される時点がコンテンツX1とコンテンツX2とについて時間軸上で共通する状態を意味する。合成処理部30は、信号解析部20が解析した時間差TだけコンテンツX1およびコンテンツX2の一方を他方に対して時間軸上で移動させることでコンテンツX1とコンテンツX2とを同期させる。具体的には、合成処理部30は、映像信号V1と映像信号V2とを相互に同期させた状態で合成することでコンテンツYの映像信号Vyを生成する。また、合成処理部30は、音響信号A1と音響信号A2とを相互に同期させた状態で合成することでコンテンツYの音響信号Ayを生成する。図3に例示した通り、共通の被写体を相異なる位置および画角で収録した映像作品(すなわちマルチアングル動画)がコンテンツYとして生成される。なお、音響信号A1および音響信号A2の一方を音響信号Ayとして選択する前述の構成では、信号解析部20による解析の結果に応じて相互に同期された音響信号A1および音響信号A2の一方が音響信号Ayとして選択される。
The
図4の再生制御部40は、合成処理部30が生成したコンテンツYを再生装置13に再生させる。すなわち、再生制御部40は、映像信号Vyを表示装置131に供給することでコンテンツYの画像を表示装置131に表示させ、音響信号Ayを放音装置132に供給することでコンテンツYの音響を放音装置132に放音させる。
The
図4に例示される通り、信号解析部20は、信号処理部21と解析処理部22とを具備する。信号処理部21は、音響信号A1に対する信号処理で音響信号B1を生成し、音響信号A2に対する同様の信号処理で音響信号B2を生成する。信号処理部21が実行する信号処理は、音響信号Anにおける信号値の差異を減縮する処理である。本実施形態の信号処理は、音響信号Anの信号値の範囲を制限する制限処理である。
As illustrated in FIG. 4, the
図5は、制限処理の説明図である。図5に例示される通り、制限処理は、音響信号Anの信号値の値域を範囲Rに制限する処理(すなわちリミッタ)である。すなわち、音響信号Anの振幅が制限処理により範囲Rに減縮される。範囲Rの上限値rHは、音響信号Anの信号値がとり得る最大値を下回り、範囲Rの下限値rLは、音響信号Anの信号値がとり得る最小値を上回る。信号処理部21は、音響信号Anにおいて上限値rHを上回る信号値を上限値rHに変更し(すなわちクリップ)、下限値rLを下回る信号値を下限値rLに変更する。すなわち、音響信号Anのうち範囲Rの外側の部分が削除される。他方、音響信号Anにおいて範囲R内の信号値は変更されない。したがって、制限処理の結果、音響信号Anのうち振幅が大きい区間は振幅が制限され、振幅が小さい区間は維持される。すなわち、信号処理部21は、信号値に応じて相違する度合で音響信号Anを強調する。
FIG. 5 is an explanatory diagram of the restriction process. As illustrated in FIG. 5, the limiting process is a process (that is, a limiter) that limits the range of the signal value of the acoustic signal An to the range R. That is, the amplitude of the acoustic signal An is reduced to the range R by the limiting process. The upper limit value rH of the range R is lower than the maximum value that the signal value of the acoustic signal An can take, and the lower limit value rL of the range R is higher than the minimum value that the signal value of the acoustic signal An can take. The
以上の説明から理解される通り、信号処理部21による信号処理は、音響信号Anのうち振幅が小さい成分を、振幅が大きい成分に対して相対的に強調する処理である。すなわち、信号処理部21は、音響信号A1のうち振幅が小さい成分を強調することで音響信号B1を生成し、音響信号A2のうち振幅が小さい成分を強調することで音響信号B2を生成する。
As understood from the above description, the signal processing by the
本実施形態における範囲Rは、図5から理解される通り、正負対称の範囲である。すなわち、範囲Rの上限値rHと下限値rLとの中点が信号値のゼロに相当する。上限値rHと下限値rLとの間で絶対値が一致すると表現してもよい。ただし、範囲Rを正負非対称の範囲としてもよい。 The range R in this embodiment is a positive / negative symmetrical range as understood from FIG. That is, the midpoint between the upper limit value rH and the lower limit value rL of the range R corresponds to zero of the signal value. It may be expressed that the absolute value matches between the upper limit value rH and the lower limit value rL. However, the range R may be a positive / negative asymmetric range.
図4の解析処理部22は、以上に説明した信号処理の実行後の音響信号B1と、当該信号処理の実行後の音響信号B2とを対比することで、音響信号B1と音響信号B2との時間的な対応(すなわち時間差T)を特定する。具体的には、解析処理部22は、音響信号B1と音響信号B2との波形の類似性を評価することで時間差Tを算定する。音響信号B1と音響信号B2との間における波形の類似性の指標としては相互相関が好適である。すなわち、解析処理部22は、音響信号B1と音響信号B2との時間差τを変化させながら相互相関を順次に算定し、相互相関が最大値となるとき(すなわち波形の類似性が最大であるとき)の音響信号B1と音響信号B2との時間差τを時間差Tとして特定する。
The
図6は、制御装置11がコンテンツYを生成する処理の具体的な手順を例示するフローチャートである。例えば利用者からの指示を契機として図6の処理が開始される。図6の処理を開始すると、信号処理部21は、音響信号A1に対する信号処理で音響信号B1を生成し、音響信号A2に対する信号処理で音響信号B2を生成する(S1)。前述の通り、信号処理は、各音響信号Anの振幅を範囲Rに減縮する制限処理を含む。解析処理部22は、信号処理後の音響信号B1と音響信号B2とを対比することで、両者間の時間差Tを解析する(S2)。合成処理部30は、解析処理部22が解析した時間差TだけコンテンツX1およびコンテンツX2の一方を他方に対して時間軸上で移動させることにより両者を同期させる(S3)。合成処理部30は、相互に同期した状態のコンテンツX1とコンテンツX2とを合成することでコンテンツYを生成する(S4)。再生制御部40は、合成処理部30が合成したコンテンツYを再生装置13に再生させる(S5)。
FIG. 6 is a flowchart illustrating a specific procedure of a process in which the
以上に説明した通り、本実施形態では、信号値の差異を減縮する信号処理が各音響信号Anに対して実行される。以上の構成によれば、信号処理を実行しない構成(以下「対比例」という)と比較して、各音響信号Anにおいて信号値が相対的に小さい部分が両者間の対比に反映される。したがって、以下の例示の通り、音響信号A1と音響信号A2との間の時間的な対応を高精度に特定することが可能である。 As described above, in the present embodiment, signal processing for reducing the difference in signal value is performed on each acoustic signal An. According to the above configuration, compared to a configuration in which signal processing is not executed (hereinafter referred to as “comparative”), a portion having a relatively small signal value in each acoustic signal An is reflected in the comparison between the two. Therefore, as illustrated below, it is possible to specify the temporal correspondence between the acoustic signal A1 and the acoustic signal A2 with high accuracy.
対比例は、音響信号A1と音響信号A2との間で相互相関を算定する構成である。対比例では、各音響信号Anのうち振幅が大きい部分が相互相関に対して支配的に寄与し、音響信号Anのうち振幅が小さい部分の寄与は充分に小さい。しかし、音響信号A1と音響信号A2とを同期させるうえで、各音響信号Anのうち振幅が小さい部分が重要となる場合がある。例えば、大音量の効果音が周期的に発生する環境のもとで小音量の会話音が継続的に発音される場面を想定する。対比例では、大音量の効果音が相互相関に対して支配的に寄与するから、効果音の発生周期の整数倍に相当する誤差が時間差Tに発生し得る。対比例とは対照的に、実施形態では、相互相関に対して会話音が寄与する度合が相対的に増大するから、小音量の会話音も加味して高精度に時間差Tを特定することが可能である。 The proportionality is a configuration for calculating a cross-correlation between the acoustic signal A1 and the acoustic signal A2. In contrast, the portion of each acoustic signal An having a large amplitude contributes predominantly to the cross-correlation, and the portion of the acoustic signal An having a small amplitude contributes sufficiently. However, in order to synchronize the acoustic signal A1 and the acoustic signal A2, a portion having a small amplitude in each acoustic signal An may be important. For example, assume a scene in which a low volume conversation sound is continuously generated in an environment in which a high volume sound effect is generated periodically. In contrast, an effect sound having a large volume contributes predominantly to the cross-correlation, so that an error corresponding to an integral multiple of the sound effect generation period may occur in the time difference T. In contrast to the proportionality, in the embodiment, the degree to which the conversational sound contributes to the cross-correlation relatively increases. Therefore, it is possible to specify the time difference T with high accuracy in consideration of the conversational sound with a small volume. Is possible.
本実施形態では、信号値の値域を制限する簡便な制限処理により、音響信号A1と音響信号A2との間の時間的な対応を高精度に特定できるという利点もある。なお、各音響信号Anの信号値を正負非対称の範囲Rに制限する構成では、信号処理の前後で音響信号Anの位相が変化する可能性がある。本実施形態では、信号値が正負対称の範囲Rに制限されるから、信号処理に起因した各音響信号Anの位相の変化が抑制される。したがって、音響信号A1と音響信号A2との時間的な対応を高精度に特定できるという前述の効果は格別に顕著である。 In the present embodiment, there is also an advantage that the temporal correspondence between the acoustic signal A1 and the acoustic signal A2 can be specified with high accuracy by a simple restriction process for restricting the range of the signal value. In the configuration in which the signal value of each acoustic signal An is limited to a positive / negative asymmetric range R, the phase of the acoustic signal An may change before and after the signal processing. In the present embodiment, since the signal value is limited to a range R in which the signal value is symmetrical, the change in the phase of each acoustic signal An caused by the signal processing is suppressed. Therefore, the above-described effect that the temporal correspondence between the acoustic signal A1 and the acoustic signal A2 can be specified with high accuracy is particularly remarkable.
<変形例>
以上に例示した態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
<Modification>
Examples of specific modifications added to the above-exemplified aspects are illustrated below. Two or more aspects arbitrarily selected from the following examples may be appropriately combined as long as they do not contradict each other.
(1)音響信号Anの信号値の差異を減縮する信号処理の具体的な内容は、前述の形態で例示した制限処理に限定されない。例えば、各音響信号Anにクリップが発生する程度に当該音響信号Anを増幅する信号処理を、信号処理部21が実行してもよい。また、例えば、音響信号Anの信号値を表すビット列の一部を削除すること(すなわち低ビット化)で、音響信号Anの振幅を範囲R内に制限してもよい。
(1) The specific content of the signal processing for reducing the difference in signal value of the acoustic signal An is not limited to the limiting processing exemplified in the above-described embodiment. For example, the
音響信号Anを時間軸上で平滑化することで、当該音響信号Anの信号値の差異を減縮することも可能である。音響信号Anの平滑化には、例えば信号値の時系列の移動平均または自乗平均平方根(RMS:Root Mean Square)を算定する処理が好適である。また、所定の閾値を上回る信号値を当該信号値に応じた圧縮率で低減する圧縮処理(コンプレッサ)を音響信号Anに対する信号処理として採用してもよい。音響の立上りの時間(アタックタイム)を長くする信号処理により信号値の差異を減縮してもよい。 By smoothing the acoustic signal An on the time axis, the difference in the signal value of the acoustic signal An can be reduced. For the smoothing of the acoustic signal An, for example, a process of calculating a time-series moving average or root mean square (RMS) of signal values is suitable. Moreover, you may employ | adopt as a signal process with respect to the acoustic signal An the compression process (compressor) which reduces the signal value exceeding a predetermined threshold value with the compression rate according to the said signal value. Differences in signal values may be reduced by signal processing that increases the sound rise time (attack time).
音響信号Anを構成する複数の信号値のうち所定の範囲R内の信号値の時系列を抽出する信号処理を信号処理部21が実行してもよい。すなわち、範囲Rの外側の信号値は無視される。以上の例示のように範囲R内の信号値を抽出する信号処理も、範囲R内に信号値を制限する前述の形態の信号処理と同様に、制限処理の概念に含まれる。
The
相異なる複数(K個)の範囲R1〜RKの各々について、当該範囲Rk(k=1〜K)を適用した制限処理を実行してもよい。すなわち、相異なる範囲Rkに対応するK系統の音響信号Bn_1〜Bn_Kが、音響信号A1および音響信号A2の各々から生成される。K個の範囲R1〜RKの各々は、例えば正負対称の範囲であり、数値幅は範囲Rk毎に相違する。解析処理部22は、音響信号A1から生成された音響信号B1_kと音響信号A2から生成された音響信号B2_kとを対比することで相互相関を算定する。すなわち、相異なる範囲Rkに対応したK個の相互相関が算定される。解析処理部22は、例えば、K個の相互相関の各々から特定される時間差Tの代表値(例えば平均値または中央値)を、音響信号A1と音響信号A2との時間的な対応の解析結果として確定する。
For each of a plurality of different (K) ranges R1 to RK, a restriction process using the range Rk (k = 1 to K) may be executed. That is, K-system acoustic signals Bn_1 to Bn_K corresponding to different ranges Rk are generated from each of the acoustic signal A1 and the acoustic signal A2. Each of the K ranges R1 to RK is, for example, a positive / negative symmetrical range, and the numerical value width is different for each range Rk. The
以上の例示から理解される通り、信号処理部21が実行する信号処理は、音響信号Anの信号値の差異を減縮する処理として包括的に表現され、具体的には、音響信号Anのうち振幅が小さい成分を振幅が大きい成分に対して相対的に強調する処理である。
As understood from the above examples, the signal processing executed by the
(2)前述の形態では、音響の波形(すなわち音圧レベルの時間変化)を表す音響信号Anに対して信号処理を実行したが、信号処理の対象となる信号(第1信号または第2信号)は、以上の例示に限定されない。例えば、コンテンツXnの音響から抽出された特徴量の時系列を表す信号に対して、信号値の差異を減縮するための信号処理を実行してもよい。音響の特徴量としては、例えば音高(基本周波数)またはMFCC(Mel-Frequency Cepstrum Coefficients)が例示される。また、音響信号Anから抽出された特定の周波数帯域の成分について信号処理を実行してもよい。 (2) In the above-described embodiment, the signal processing is performed on the acoustic signal An that represents the acoustic waveform (that is, the temporal change in the sound pressure level), but the signal (first signal or second signal) that is the target of signal processing. ) Is not limited to the above examples. For example, signal processing for reducing a difference in signal values may be executed on a signal representing a time series of feature values extracted from the sound of the content Xn. Examples of acoustic feature values include pitch (fundamental frequency) or MFCC (Mel-Frequency Cepstrum Coefficients). In addition, signal processing may be executed for components in a specific frequency band extracted from the acoustic signal An.
また、信号処理の対象となる信号は、各コンテンツXnの音響に関する信号に限定されない。例えば、画像の明度の時系列を表す明度信号に対して信号処理を実行することで、2系統の明度信号の相互間における時間的な対応を特定してもよい。また、例えば無線通信における電波の受信強度の時系列を表す強度信号に対して信号処理を実行することで、2系統の強度信号の相互間における時間的な対応を特定してもよい。以上の例示から理解される通り、信号値の時系列で表現される任意の信号の処理に本発明は適用され、信号値の具体的な意味は不問である。 Further, a signal to be subjected to signal processing is not limited to a signal related to the sound of each content Xn. For example, the temporal correspondence between the two lightness signals may be specified by performing signal processing on the lightness signal representing the time series of the lightness of the image. Further, for example, by performing signal processing on an intensity signal that represents a time series of radio wave reception intensity in wireless communication, the temporal correspondence between the two systems of intensity signals may be specified. As understood from the above examples, the present invention is applied to processing of an arbitrary signal expressed by a time series of signal values, and the specific meaning of the signal values is not questioned.
(3)前述の形態では、音響信号A1および音響信号A2の双方について信号処理を実行したが、音響信号A1および音響信号A2の一方のみについて信号処理を実行してもよい。ただし、音響信号A1および音響信号A2の双方について信号処理を実行する構成によれば、音響信号A1において信号値が相対的に小さい部分だけでなく、音響信号A2において信号値が相対的に小さい部分についても、解析処理部22による対比に反映させることが可能である。したがって、音響信号A1と音響信号A2との間の時間的な対応を高精度に特定できるという効果は格別に顕著である。
(3) In the above-described embodiment, the signal processing is performed for both the acoustic signal A1 and the acoustic signal A2, but the signal processing may be performed for only one of the acoustic signal A1 and the acoustic signal A2. However, according to the configuration in which the signal processing is executed for both the acoustic signal A1 and the acoustic signal A2, not only the portion where the signal value is relatively small in the acoustic signal A1, but also the portion where the signal value is relatively small in the acoustic signal A2. Can also be reflected in the comparison by the
(4)以上の形態では、音響信号A1および音響信号A2の2系統の間で時間的な対応を特定したが、3系統以上の信号の相互間で時間的な対応を特定してもよい。例えば、3系統以上の信号から2系統の信号を選択する各組合せについて、前述の形態と同様の方法で時間的な対応を解析することが可能である。 (4) In the above embodiment, the temporal correspondence is specified between the two systems of the acoustic signal A1 and the acoustic signal A2, but the temporal correspondence may be specified between the three or more systems. For example, it is possible to analyze temporal correspondence for each combination of selecting two systems of signals from three or more systems by using the same method as that described above.
(5)前述の形態では、コンテンツX1とコンテンツX2とで被写体が共通する場合を便宜的に例示したが、コンテンツX1とコンテンツX2との間で被写体が相違してもよい。ただし、音響信号A1と音響信号A2との対比によりコンテンツX1とコンテンツX2との時間的な対応を特定するためには、音響信号A1と音響信号A2との双方に、相互に類似または共通する音響成分が含まれる必要がある。例えば、特定の楽曲が再生される環境で被写体1がダンスする様子を収録したコンテンツX1と、当該楽曲が再生される環境で被写体2がダンスする様子を収録したコンテンツX2とについては、音響信号A1と音響信号A2とが共通の音響成分を含む。したがって、コンテンツX1とコンテンツX2との時間的な対応を特定することが可能である。 (5) In the above-described embodiment, the case where the subject is common between the content X1 and the content X2 is illustrated for convenience, but the subject may be different between the content X1 and the content X2. However, in order to specify the temporal correspondence between the content X1 and the content X2 by comparing the acoustic signal A1 and the acoustic signal A2, the acoustic signal A1 and the acoustic signal A2 are both similar or common to each other. Ingredients need to be included. For example, for the content X1 that records a situation in which the subject 1 dances in an environment where a specific music is played back and a content X2 that records a scene in which the subject 2 dances in an environment where the music is played back, the acoustic signal A1 And the acoustic signal A2 contain a common acoustic component. Therefore, it is possible to specify the temporal correspondence between the content X1 and the content X2.
(6)前述の形態では、映像信号Vnおよび音響信号Anで各コンテンツXnが表現される場合を例示したが、コンテンツX1およびコンテンツX2の一方または双方は、音響信号Anのみで構成されてもよい。例えば、信号解析部20は、音響信号A1と音響信号A2との時間的な対応を解析し、合成処理部30は、音響信号A1と音響信号A2とを相互に同期させた状態で合成することによりコンテンツY(音響信号Ay)を生成する。また、各コンテンツXnの映像信号Vnを他の信号に置換してもよい。
(6) Although the case where each content Xn is expressed by the video signal Vn and the audio signal An is illustrated in the above-described form, one or both of the content X1 and the content X2 may be configured only by the audio signal An. . For example, the
(7)携帯電話機またはスマートフォン等の端末装置との間で通信するサーバ装置により情報処理装置100の機能を実現してもよい。例えば、情報処理装置100は、端末装置から受信した音響信号A1および音響信号A2から両者間の時間的な対応(具体的には時間差T)を特定し、特定結果を端末装置に送信する。すなわち、情報処理装置100は信号解析部20を具備し、合成処理部30および再生制御部40は端末装置に搭載される。なお、信号解析部20および合成処理部30を情報処理装置100に搭載し、合成処理部30が生成したコンテンツYを端末装置に送信してもよい。以上に例示した通り、合成処理部30および再生制御部40を情報処理装置100から省略してもよい。
(7) The function of the
(8)前述の形態に係る情報処理装置100の機能は、コンピュータ(例えば制御装置11)とプログラムとの協働により実現される。前述の形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号(transitory, propagating signal)を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
(8) The function of the
<付記>
以上に例示した形態から、例えば以下の構成が把握される。
<Appendix>
For example, the following configuration is grasped from the above-exemplified form.
本発明の好適な態様(第1態様)に係る信号解析方法は、信号値の差異を減縮する信号処理を第1信号に対して実行し、前記信号処理の実行後の第1信号と、第2信号とを対比することで、前記第1信号と前記第2信号との時間的な対応を特定する。以上の態様では、第2信号と対比される第1信号について、信号値の差異を減縮する信号処理が実行されるから、第1信号の信号値の差異が減縮されない構成と比較して、第1信号のうち信号値が相対的に小さい部分が第2信号との対比に反映される。したがって、第1信号と第2信号との間の時間的な対応を高精度に特定することが可能である。 In a signal analysis method according to a preferred aspect (first aspect) of the present invention, signal processing for reducing a difference in signal values is performed on the first signal, the first signal after the execution of the signal processing, By comparing two signals, the temporal correspondence between the first signal and the second signal is specified. In the above aspect, since the signal processing for reducing the difference in the signal value is executed for the first signal compared with the second signal, the first signal is compared with the configuration in which the difference in the signal value of the first signal is not reduced. A portion having a relatively small signal value in one signal is reflected in the comparison with the second signal. Therefore, it is possible to specify the temporal correspondence between the first signal and the second signal with high accuracy.
第1態様の好適例(第2態様)において、前記第2信号について前記信号処理を実行し、前記信号処理の実行後の第1信号と、前記信号処理の実行後の第2信号とを対比する。以上の態様では、第1信号および第2信号の双方について、信号値の差異を減縮する信号処理が実行される。したがって、第1信号において信号値が相対的に小さい部分だけでなく、第2信号において信号値が相対的に小さい部分についても、第1信号と第2信号との対比に反映させることが可能である。 In a preferred example (second aspect) of the first aspect, the signal processing is performed on the second signal, and the first signal after execution of the signal processing is compared with the second signal after execution of the signal processing. To do. In the above aspect, the signal processing for reducing the difference in signal value is executed for both the first signal and the second signal. Therefore, not only a portion having a relatively small signal value in the first signal but also a portion having a relatively small signal value in the second signal can be reflected in the comparison between the first signal and the second signal. is there.
第1態様または第2態様の好適例(第3態様)において、前記信号処理は、前記信号値の範囲を制限する制限処理を含む。以上の態様によれば、信号値の範囲を制限する簡便な処理により信号値の差異を減縮することが可能である。 In a preferred example (third aspect) of the first aspect or the second aspect, the signal processing includes a restriction process for restricting a range of the signal value. According to the above aspect, it is possible to reduce the difference in signal values by a simple process that limits the range of signal values.
第3態様の好適例(第4態様)において、前記制限処理は、前記信号値を正負対称の範囲に制限する処理である。以上の態様では、信号値が正負対称の範囲に制限されるから、信号処理に起因した位相の変化を抑制できる。したがって、第1信号と第2信号との時間的な対応を高精度に特定できるという利点がある。 In a preferred example of the third aspect (fourth aspect), the limiting process is a process of limiting the signal value to a range of positive and negative symmetry. In the above aspect, since the signal value is limited to a positive / negative symmetric range, a change in phase caused by signal processing can be suppressed. Therefore, there is an advantage that the temporal correspondence between the first signal and the second signal can be specified with high accuracy.
以上に例示した各態様の情報処理方法を実行する情報処理装置、または、以上に例示した各態様の情報処理方法をコンピュータに実行させるプログラムとしても、本発明の好適な態様は実現される。 A preferable aspect of the present invention is realized also as an information processing apparatus that executes the information processing method of each aspect exemplified above or a program that causes a computer to execute the information processing method of each aspect exemplified above.
100…情報処理装置、11…制御装置、12…記憶装置、13…再生装置、131…表示装置、132…放音装置、20…信号解析部、21…信号処理部、22…解析処理部、30…合成処理部、40…再生制御部、X1,X2,Y…コンテンツ、V1,V2…映像信号、A1,A2,B1,B2…音響信号。
DESCRIPTION OF
Claims (8)
前記信号処理の実行後の第1信号と、第2信号とを対比することで、前記第1信号と前記第2信号との時間的な対応を特定する
コンピュータにより実現される信号解析方法。 Performing signal processing on the first signal to reduce the difference in signal values;
A signal analysis method realized by a computer that identifies a temporal correspondence between the first signal and the second signal by comparing the first signal after execution of the signal processing and the second signal.
前記信号処理の実行後の第1信号と、前記信号処理の実行後の第2信号とを対比する
請求項1の信号解析方法。 Performing the signal processing on the second signal;
The signal analysis method according to claim 1, wherein the first signal after execution of the signal processing is compared with the second signal after execution of the signal processing.
請求項1または請求項2の信号解析方法。 The signal analysis method according to claim 1, wherein the signal processing includes a restriction process that restricts a range of the signal value.
請求項3の信号解析方法。 The signal analysis method according to claim 3, wherein the limiting process is a process of limiting the signal value to a range of positive and negative symmetry.
前記信号処理の実行後の第1信号と、第2信号とを対比することで、前記第1信号と前記第2信号との時間的な対応を特定する解析処理部と
を具備する信号解析装置。 A signal processing unit that performs signal processing on the first signal to reduce a difference in signal values;
A signal analysis apparatus comprising: an analysis processing unit that identifies a temporal correspondence between the first signal and the second signal by comparing the first signal after the execution of the signal processing and the second signal .
前記解析処理部は、前記信号処理の実行後の第1信号と、前記信号処理の実行後の第2信号とを対比する
請求項5の信号解析装置。 The signal processing unit performs the signal processing on the first signal and the second signal,
The signal analysis device according to claim 5, wherein the analysis processing unit compares the first signal after execution of the signal processing with the second signal after execution of the signal processing.
請求項5または請求項6の信号解析装置。 The signal analysis apparatus according to claim 5, wherein the signal processing includes a restriction process for restricting a range of the signal value.
請求項7の信号解析装置。
The signal analysis apparatus according to claim 7, wherein the restriction process is a process of restricting the signal value to a positive / negative symmetrical range.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018052815A JP2019165386A (en) | 2018-03-20 | 2018-03-20 | Signal analysis method and signal analysis device |
PCT/JP2019/011932 WO2019182074A1 (en) | 2018-03-20 | 2019-03-20 | Signal processing method and signal processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018052815A JP2019165386A (en) | 2018-03-20 | 2018-03-20 | Signal analysis method and signal analysis device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019165386A true JP2019165386A (en) | 2019-09-26 |
Family
ID=67986295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018052815A Pending JP2019165386A (en) | 2018-03-20 | 2018-03-20 | Signal analysis method and signal analysis device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2019165386A (en) |
WO (1) | WO2019182074A1 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1092112A (en) * | 1996-09-13 | 1998-04-10 | Nippon Columbia Co Ltd | Digital data series synchronous reproduction and synchronous reproducing apparatus |
WO2004075565A1 (en) * | 2003-02-14 | 2004-09-02 | Thomson Licensing S.A. | Automatic synchronization of audio and video based media services of media content |
JP4780375B2 (en) * | 2005-05-19 | 2011-09-28 | 大日本印刷株式会社 | Device for embedding control code in acoustic signal, and control system for time-series driving device using acoustic signal |
JP5231139B2 (en) * | 2008-08-27 | 2013-07-10 | 株式会社日立製作所 | Sound source extraction device |
JP4725918B2 (en) * | 2009-08-06 | 2011-07-13 | 有限会社Bond | Program image distribution system, program image distribution method, and program |
US9111579B2 (en) * | 2011-11-14 | 2015-08-18 | Apple Inc. | Media editing with multi-camera media clips |
-
2018
- 2018-03-20 JP JP2018052815A patent/JP2019165386A/en active Pending
-
2019
- 2019-03-20 WO PCT/JP2019/011932 patent/WO2019182074A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2019182074A1 (en) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11609737B2 (en) | Hybrid audio signal synchronization based on cross-correlation and attack analysis | |
US10394518B2 (en) | Audio synchronization method and associated electronic device | |
US11997459B2 (en) | Crowd-sourced device latency estimation for synchronization of recordings in vocal capture applications | |
JP2010154092A (en) | Noise detection apparatus and ethod | |
JP2013148576A (en) | Portable device performing position specification using modulated background sound, computer program, and method | |
CN113170260B (en) | Audio processing method, device, storage medium and electronic device | |
US10284985B1 (en) | Crowd-sourced device latency estimation for synchronization of recordings in vocal capture applications | |
WO2019002179A1 (en) | Hybrid audio signal synchronization based on cross-correlation and attack analysis | |
WO2013008869A1 (en) | Electronic device and data generation method | |
CN114678038B (en) | Audio noise detection method, computer device and computer program product | |
JPWO2018155480A1 (en) | Information processing method and information processing apparatus | |
JP2010097084A (en) | Mobile terminal, beat position estimation method, and beat position estimation program | |
WO2019182074A1 (en) | Signal processing method and signal processing device | |
US11763828B2 (en) | Frequency band expansion device, frequency band expansion method, and storage medium storing frequency band expansion program | |
CN112687247B (en) | Audio alignment method and device, electronic equipment and storage medium | |
CN116233411A (en) | Method, device, equipment and computer storage medium for synchronous testing of audio and video | |
Liu et al. | Visual-based spatial audio generation system for multi-speaker environments | |
CN105741830B (en) | Audio synthesis method and device | |
US10629240B2 (en) | Recorded data processing method and recorded data processing device | |
WO2014142201A1 (en) | Device and program for processing separating data | |
WO2020087788A1 (en) | Audio processing method and device | |
CN111145769A (en) | Audio processing method and device | |
CN111145792B (en) | Audio processing method and device | |
JP2011211547A (en) | Sound pickup apparatus and sound pickup system | |
CN112309419B (en) | Noise reduction and output method and system for multipath audio |