TWI695620B

TWI695620B - 資訊處理設備、方法以及程式

Info

Publication number: TWI695620B
Application number: TW107136795A
Authority: TW
Inventors: 井上晃; 高橋秀介; 西口正之
Original assignee: 日商新力股份有限公司
Priority date: 2013-10-21
Filing date: 2014-10-13
Publication date: 2020-06-01
Also published as: CN110751963A; JP6349977B2; WO2015059891A1; US20200053402A1; US20160269762A1; JP2015149705A; TW201532429A; KR102325743B1; KR102212926B1; EP3061094A1; US20210377582A1; CN105684085B; TW201907733A; RU2016114565A; KR20160074475A; US10484728B2; US11115694B2; TWI646830B; RU2016114565A3; CN105684085A

Abstract

一種資訊處理設備，用於藉由不同於資訊處理設備的一第二資訊處理設備來與第一內容之再現同步地再現第二內容，第一內容包含音頻內容。資訊處理設備包含電路，配置以：從音頻內容提取一第一特徵；獲得音頻內容的一第二特徵，第二特徵係與第二內容一起；比較第一特徵與第二特徵；及基於比較之結果來產生用於與第一內容同步地再現第二內容的同步資訊。

Description

資訊處理設備、方法以及程式

[交叉參考相關應用]

本申請書主張申請於2013/10/21的日本優先權專利申請書第JP 2013-218267號、申請於2013/12/12的日本優先權專利申請書第JP 2013-257508號、申請於2014/1/7的日本優先權專利申請書第JP 2014-000831號、及申請於2014/6/4的日本優先權專利申請書第JP 2014-115406號的利益，本文藉由參考來合併每件的整個內容。

本技術關於一種資訊處理設備、方法以及程式，尤其是關於一種能夠同步透過不同途徑所取得之複數件內容的資訊處理設備、方法以及程式。

在最近幾年，已增加了能在如多功能行動電話和平板終端裝置之網路連線的假設上再現各種媒體內容的裝置。再者，基於使用網路功能的複數個裝置之組合的利用(其包括已存在於習知技術中的電視接收器或之類)變得必要。

作為複數個裝置之組合，能假設用於透過廣播、網際網路或之類藉由複數個裝置來接收如下所示之(A1)至(A4)的複數件媒體內容(其具有時間同步關係)且以同步方式來再現這幾件內容的應用程式。

(A1)外語聲音內容、解說聲音內容、封閉式標題、及用於主視頻和聲音內容的字元資訊

(A2)藉由透過每個樂器演奏音樂作品且擷取演奏每個樂器之場景的影像所取得的複數件視頻和聲音內容

(A3)藉由以複數個角度成像一個場景所獲得的視頻和聲音內容

(A4)主視頻和聲音內容及其視頻和聲音內容的高解析度版本

有必要在再現期間保持同步的狀態下再現上述複數件內容。例如，已揭露藉由透過不同成像設備從同時成像的各別件內容提取特徵量且計算特徵量之相似性來同步複數件內容的技術作為同步複數件內容的技術(例如，參見PTL 1)。

[引用列表] [專利文獻]

[PTL 1]

日本未審查專利申請書公開號2013-174765

順帶一提，當試圖經由各別不同的路徑藉由複數個裝置來如上所述地接收媒體內容時，由於傳輸延遲、傳輸和接收處理的延遲、接收裝置之操作時脈的差值或之類，實際上難以在保持同步時再現內容。根據PTL 1所揭露之技術，在將被同步和再現的這些件內容不具有任何類似特徵的情況下難以同步這些件內容。

期望能同步透過不同途徑所取得的複數件內容。

根據本技術之第一實施例，有提出一種資訊處理設備，包括：一特徵量計算單元，其從第一內容的一聲音信號提取一特徵量；及一同步計算單元，其藉由比較與第一內容具有一時間同步關係之第二內容同步地取得的特徵量與特徵量計算單元所提取的特徵量來產生用於與第一內容同步地再現第二內容之基於聲音特徵量的同步校正資訊。

特徵量計算單元可能從藉由在被再現之第一內容中收集聲音所獲得的聲音信號提取特徵量。

資訊處理設備可能更包括：一第一輸入單元，其與第二內容同步地取得第二內容和關聯於第二內容的特徵量。

第二內容和特徵量可能在考慮在從第一內容之到達時間的差值所決定的時序來傳送至資訊處理設備。

第一輸入單元可能請求第二內容和特徵量之傳輸且接收回應於請求而被傳送的第二內容和特徵量。

資訊處理設備可能更包括：一第二輸入單元，其請求第一內容之傳輸且接收依照請求而被傳送的第一內容。

特徵量計算單元可能從聲音信號提取被再現之一件第一內容的特徵量，且同步計算單元可能指定藉由比較關聯於第二內容之複數件第一內容的各別特徵量與特徵量計算單元所提取之特徵量所再現的第一內容，且基於聲音特徵量來產生同步校正資訊用於彼此同步地再現指定之第一內容和第二內容。

資訊處理設備可能更包括：一再現處理單元，其控制第二內容之再現。

再現處理單元可能依據基於聲音特徵量的同步校正資訊來校正在第二內容中的再現位置。

資訊處理設備可能更包括：一取得單元，其取得第一內容的呈現時間資訊；及一比較單元，其比較第一內容的呈現時間資訊與第二內容的呈現時間資訊，並產生基於呈現時間資訊的同步校正資訊，且同步計算單元可能藉由比較從一串取得之特徵量中之基於呈現時間資訊的同步校正資訊所指示之範圍內的特徵量與特徵量計算單元所提取的特徵量來產生基於聲音特徵量的同步校正資訊。

同步計算單元可能比較在對至少一取得之特徵量進行訊框速率轉換之後的特徵量和特徵量計算單元所提取之特徵量，使得取得之特徵量的訊框速率符合特徵量計算單元所提取之特徵量的訊框速率。

根據本技術之第一實施例，有提出一種資訊處理方法以及程式，包括：從第一內容的一聲音信號提取一特徵量；及藉由比較與第一內容具有一時間同步關係之第二內容同步地取得的特徵量與在提取中所提取的特徵量來產生用於與第一內容同步地再現第二內容之基於聲音特徵量的同步校正資訊。

根據本技術之第一實施例，從第一內容的聲音信號提取特徵量，且藉由比較與第一內容具有時間同步關係之第二內容同步地取得的特徵量與在提取中所提取的特徵量來產生用於與第一內容同步地再現第二內容之基於聲音特徵量的同步校正資訊。

根據本技術之第二實施例，有提出一種資訊處理設備，包括：一特徵量計算單元，其從第一內容的一聲音信號提取一特徵量；及一第一輸出單元，其輸出與第一內容具有一時間同步關係的第二內容及與第二內容同步之關聯於第二內容的特徵量。

資訊處理設備可能更包括：一第二輸出單元，其輸出第一內容。

第一輸出單元可能在考慮在從第一內容之到達時間的差值所決定的時序輸出第二內容和特徵量。

當請求第二內容和特徵量之傳輸時，第一輸出單元可能回應於請求而輸出第二內容和特徵量。

當請求第一內容之傳輸時，第二輸出單元可能回應於請求而輸出第一內容。

特徵量計算單元可能從聲音信號提取複數件第一內容的特徵量，且第一輸出單元可能關聯和輸出複數件第一內容的特徵量與第二內容。

特徵量計算單元可能降取樣特徵量，且第一輸出單元可能輸出第二內容及降取樣之特徵量。

根據本技術之第二實施例，有提出一種資訊處理方法以及程式，包括：從第一內容的一聲音信號提取一特徵量；及輸出與第一內容具有一時間同步關係的第二內容及與第二內容同步之關聯於第二內容的特徵量。

在本技術之第二實施例中，從第一內容的聲音信號提取特徵量，及輸出與第一內容具有時間同步關係的第二內容及與第二內容同步之關聯於第二內容的特徵量。

根據本技術之第一和第二實施例，有可能同步透過不同途徑所取得的複數件內容。

另外，本技術並不一定限於上述效果，且可能實現在本技術中所述之任何效果。

11‧‧‧提供設備

22‧‧‧輸出單元

23‧‧‧聲音同步特徵量計算單元

24‧‧‧多工處理單元

25‧‧‧輸出單元

81‧‧‧主接收裝置

85‧‧‧子接收裝置

111‧‧‧輸入單元

112‧‧‧再現處理單元

121‧‧‧聲音同步特徵量計算單元

123‧‧‧輸入單元

126‧‧‧同步計算單元

127‧‧‧再現處理單元

311‧‧‧參考時間信號產生單元

352‧‧‧呈現單元

361‧‧‧取得單元

362‧‧‧呈現時間資訊比較單元

21‧‧‧轉換單元

51‧‧‧頻帶分割單元

52-1~52-4‧‧‧週期性偵測單元

53-1~53-4‧‧‧週期性強度偵測單元

54‧‧‧週期性資訊合併單元

55‧‧‧峰值偵測單元

56‧‧‧降取樣單元

82‧‧‧顯示單元

83‧‧‧揚聲器

84‧‧‧麥克風

86‧‧‧顯示單元

87‧‧‧揚聲器

122‧‧‧緩衝器

124‧‧‧分離處理單元

125‧‧‧緩衝器

151‧‧‧頻帶分割單元

152-1~152-4‧‧‧週期性偵測單元

153-1~153-4‧‧‧週期性強度偵測單元

154‧‧‧週期性資訊合併單元

155‧‧‧峰值偵測單元

181‧‧‧訊框速率轉換單元

182‧‧‧訊框速率轉換單元

183‧‧‧區塊合併單元

184‧‧‧區塊合併單元

185‧‧‧相似性計算單元

186‧‧‧最佳路徑搜尋單元

Q11-Q14‧‧‧箭頭

Q21-Q23‧‧‧箭頭

Q31-Q34‧‧‧箭頭

S11-S15‧‧‧步驟

T11‧‧‧區段

T12‧‧‧區段

S41-S47‧‧‧步驟

S71-S72‧‧‧步驟

S101-S106‧‧‧步驟

S131-S136‧‧‧步驟

S161-S164‧‧‧步驟

211‧‧‧提供設備

212‧‧‧主接收裝置

213‧‧‧揚聲器

214‧‧‧通訊網路

215‧‧‧子接收裝置

241‧‧‧伺服器

271‧‧‧伺服器

272‧‧‧通訊網路

301‧‧‧提供設備

312‧‧‧多工處理單元

341‧‧‧主接收裝置

351‧‧‧分離處理單元

342‧‧‧子接收裝置

S191-S196‧‧‧步驟

S221-S224‧‧‧步驟

S251-S258‧‧‧步驟

S281-S284‧‧‧步驟

A11‧‧‧箭頭

A12‧‧‧箭頭

501‧‧‧中央處理單元

502‧‧‧唯讀記憶體

503‧‧‧隨機存取記憶體

504‧‧‧匯流排

505‧‧‧輸入和輸出介面

506‧‧‧輸入單元

507‧‧‧輸出單元

508‧‧‧記錄單元

509‧‧‧通訊單元

510‧‧‧驅動器

511‧‧‧可移除媒體

[第1圖]

第1圖係顯示提供設備之配置實例的圖。

[第2圖]

第2圖係顯示聲音同步特徵量計算單元之配置實例的圖。

[第3圖]

第3圖係繪示聲音同步特徵量之降取樣的圖。

[第4圖]

第4圖係顯示內容再現系統之配置實例的圖。

[第5圖]

第5圖係顯示聲音同步特徵量計算單元之配置實例的圖。

[第6圖]

第6圖係顯示同步計算單元之配置實例的圖。

[第7圖]

第7圖係繪示聲音同步特徵量之同步計算的圖。

[第8圖]

第8圖係繪示聲音同步特徵量之同步計算的圖。

[第9圖]

第9圖係繪示聲音同步特徵量之同步計算的圖。

[第10圖]

第10圖係繪示作為相似性計算的目標之區塊的圖。

[第11圖]

第11圖係繪示相似性計算的圖。

[第12圖]

第12圖係繪示傳輸處理的流程圖。

[第13圖]

第13圖係繪示子通道信號和聲音同步特徵量之多工的圖。

[第14圖]

第14圖係繪示聲音同步特徵量計算處理的流程圖。

[第15圖]

第15圖係繪示主內容再現處理的流程圖。

[第16圖]

第16圖係繪示子內容再現處理的流程圖。

[第17圖]

第17圖係繪示聲音同步特徵量計算處理的流程圖。

[第18圖]

第18圖係繪示同步校正資訊產生處理的流程圖。

[第19圖]

第19圖係顯示本技術之應用實例的圖。

[第20圖]

第20圖係顯示本技術之應用實例的圖。

[第21圖]

第21圖係顯示本技術之應用實例的圖。

[第22圖]

第22圖係顯示提供設備之配置實例的圖。

[第23圖]

第23圖係顯示內容再現系統之配置實例的圖。

[第24圖]

第24圖係繪示傳輸處理的流程圖。

[第25圖]

第25圖係繪示主內容再現處理的流程圖。

[第26圖]

第26圖係繪示子內容再現處理的流程圖。

[第27圖]

第27圖係繪示同步校正資訊產生處理的流程圖。

[第28圖]

第28圖係繪示作為相似性計算的目標之區塊的圖。

[第29圖]

第29圖係顯示電腦之配置實例的圖。

以下，將參考圖來提出應用本技術之實施例的說明。

[第一實施例] <本技術之特徵>

首先，將提出本技術之特徵的說明。

尤其是，本技術包括下面的特徵B1至B6。

[特徵B1]

根據本技術，有可能實作一種方法和設備，具有下面的配置，用於當包含不同內容之複數件媒體內容經由不同傳輸路徑來傳送且由複數個不同裝置接收時，藉由使用聲音來進行自動同步。

(1)媒體內容係藉由多工視頻、聲音、影像、字元資訊等所取得的資料流。

(2)作為傳輸目標之複數件媒體內容具有如在上述實例(A1)至(A4)中的時間同步關係。

(3)作為傳輸目標之複數件媒體內容之至少一者被判定為主通道信號，從聲音信號計算聲音同步特徵量，且從為系統所定義之傳輸格式的主通道信號產生主傳輸信號。

為了滿足在每件剩餘的媒體內容(子通道信號)與主通道信號之間的時間同步關係，以系統所定義之傳輸格式來進行主通道信號和子通道信號之聲音同步特徵量的多工處理，且產生子傳輸信號。

(5)接收主傳輸信號的主接收裝置透過揚聲器或之類來輸出主通道信號的聲音信號以再現主通道信號。

(6)接收包括主通道信號的聲音同步特徵量之子傳輸信號的子接收裝置收集主通道信號的聲音(其係透過揚聲器、透過麥克風或之類藉由主接收裝置來輸出)，計算聲音同步特徵量，進行與接收之主通道信號之聲音同步特徵量的自動同步計算，及基於聲音特徵量來計算同步校正資訊(時差資訊)。

(7)子接收裝置在接收之子通道信號上進行與主通道信號的同步校正處理，且進行關於基於聲音特徵量的同步校正資訊之再現。

另外，假設在如廣播或網際網路之網路中的媒體內容之傳輸作為上述(1)之資料流的傳輸，且多工資料流所佔據的邏輯傳輸路徑將被稱為傳輸路徑。

另外，例如，上述「聲音同步特徵量之計算」和「自動同步計算」係藉由在日本未審查專利申請書公開號2013-174765中揭露的技術來實作。也可能在傳輸之前降取樣聲音同步特徵量或在利用聲音同步特徵量的自動同步計算期間，必要時進行聲音同步特徵量的訊框速率轉換。

藉由使用上述技術，當子接收裝置收集主通道信號的聲音時，即使是在具有雜訊或躁聲的不利環境中仍有可能以穩健方式來進行自動同步計算。此外，沒有必要使用技術。

在這種情況下，有必要在主傳輸信號的傳輸之前傳送子傳輸信號。

[特徵B2]

在上述[特徵B1]中，在傳輸側上的系統以單向方式來分別將主傳輸信號和子傳輸信號傳送至主接收裝置和子接收裝置。

在這種情況下，有必要在主傳輸信號之前傳送子傳輸信號。

[特徵B3]

在上述[特徵B1]中，在傳輸側上的系統以單向方式來將主傳輸信號傳送至主接收裝置，且子接收裝置在子接收裝置本身的時序經由網路來取得子傳輸信號，進行自動同步計算，且進行子通道信號的同步再現。

這種配置的一項優點為考慮透過網路或之類的傳輸延遲，子接收裝置能依據子接收裝置本身的方便來控制子傳輸信號之取得。

[特徵B4]

在上述[特徵B1]中，主接收裝置在主接收裝置本身的時序經由網路來取得主傳輸信號並再現主通道信號，且子接收裝置也在子接收裝置本身的時序經由網路來取得子傳輸信號，進行自動同步計算，並進行子通道信號之同步再現。

這種配置的一項優點為考慮透過網路或之類的傳輸延遲，子接收裝置能依據子傳輸信號本身的方便來控制子傳輸信號之取得。

[特徵B5]

在上述[特徵B1]中，存在主通道信號之複數串聲音信號。

例如，複數串的主通道信號對應於用於雙語廣播的主聲和附聲。聲音同步特徵量被計算用於所有的聲音信號串，且與子通道信號一起被多工和傳送。子接收裝置決定主通道信號的哪個聲音會當在收集的聲音與所有接收的聲音同步特徵量之間進行同步計算時被再現。在同步計算中也偵測到主接收裝置所輸出的聲音信號之切換。

[特徵B6]

在上述[特徵B1]中，藉由子接收裝置來在自動同步計算中偵測到「同步偏差」，且在子接收裝置的這側上進行即時校正處理。

由於主接收裝置和子接收裝置獨立地操作，因此音頻時脈不同，且同步偏差發生。於是，有可能藉由偵測和校正同步偏差來在保持同步時再現複數件內容。

<提供設備的配置實例>

接下來，將提出應用本技術之具體實施例的說明。

首先，將提出提供設備之配置實例的說明，提供設備提供具有如在(A1)至(A4)所示之上述實例中之時間同步關係的內容。

第1圖係顯示提供設備之配置實例的圖。對提供設備11，供應為用於再現主要內容(以下稱為主內容)之信號的主通道信號和為用於在主內容(以下稱為子內容)中再現具有相關內容的內容之信號的子通道信號。

在此，主內容和子內容係由視頻和聲音之至少任一者所配置且彼此具有時間同步關係。亦即，期望於再現期間在同步狀態下再現主內容和子內容。

另外，將在主內容和子內容分別係由用於再現視頻的影像信號和伴隨影像信號的聲音信號所配置之假設上繼續下面的說明。因此，在本實例中，主通道信號和子通道信號分別係由影像信號和聲音信號所配置。

提供設備11包括轉換單元21、輸出單元22、聲音同步特徵量計算單元23、多工處理單元24、及輸出單元25。

轉換單元21將供應的主通道信號轉換成為預定廣播規則或之類所定義之格式的信號，且將被取得作為結果的主傳輸信號供應給輸出單元22。輸出單元22經由廣播波來廣播或經由如網際網路的通訊網路來傳送從轉換單元21供應的主傳輸信號。

聲音同步特徵量計算單元23從配置供應之主通道信號的聲音信號提取聲音同步特徵量，且對多工處理單元24供應聲音同步特徵量。在此，聲音同步特徵量係將用於當再現主內容和子內容時同步和再現子內容與主內容的特徵量。

多工處理單元24藉由使用供應的主通道信號來調整在來自聲音同步特徵量計算單元23的聲音同步特徵量與供應的子通道信號之間的時間同步關係。亦即，由於主通道信號和子通道信號事先在提供設備11中係處於同步狀態，因此多工處理單元24藉由使用主通道信號，在聲音同步特徵量和子通道信號在時間同步關係中被同步化的狀態下關聯聲音同步特徵量與子通道信號。在MPEG-4系統中，例如，音頻信號、視頻信號等之各者被處理為單一媒體物件(基本流(ES))且被多工。由於以藉由分割ES所取得之稱為存取單元(AU)的最小單元來定義時間屬性，因此有可能藉由將聲音同步特徵量處理為包括時間屬性資訊的一個媒體物件來容易地多工聲音同步特徵量與媒體物件作為子通道信號。

另外，多工處理單元24在時間上同步狀態下多工聲音同步特徵量和子通道信號，接著必要時進行格式轉換，且對輸出單元25供應被取得作為結果的子傳輸信號。

例如，輸出單元25透過廣播波或或透過包括網際網路的通訊網路來傳送從多工處理單元24供應的子傳輸信號。在此，主傳輸信號和子傳輸信號係經由相互不同的傳輸路徑來傳送至在內容再現側上的系統。

雖然在第1圖所示之實例中的提供設備11係由單一設備所配置，但提供設備11可能由複數個設備所配置，或各別處理可能藉由雲端計算來執行。

<聲音同步特徵量計算單元的配置實例>

更具體來說，例如，如第2圖所示地配置第1圖所示之聲音同步特徵量計算單元23。

聲音同步特徵量計算單元23包括頻帶分割單元51、週期性偵測單元52-1至52-4、週期性強度偵測單元53-1至53-4、週期性資訊合併單元54、峰值偵測單元55、及降取樣單元56。

頻帶分割單元51藉由使用視窗函數來將配置供應之主通道信號的聲音信號分成從約數十毫秒至約100毫秒的時間區段。

在此，對一個時間區段進行從頻帶分割單元51至峰值偵測單元55進行的處理。有可能藉由移位時間位置來取得在時間方向上繼續的複數個時間區段(時間訊框)，對其應用視窗函數，被移位以致延遲了約數毫秒至約100毫秒。對照之下，降取樣單元56將複數個連續時間區段合併成一個時間區段，且在合併之後計算新時間區段的特徵量。

頻帶分割單元51藉由使用複數個帶通濾波器來將用於每個時間區段的聲音信號分成四個頻帶，且對週期性偵測單元52-1至52-4供應在各別頻帶中的聲音信號。

作為帶通濾波器，有效地使用隨著頻率變高而進一步擴展通過頻率之頻寬的濾波器，如倍頻程帶濾波器。

週期性偵測單元52-1至52-4藉由在從頻帶分割單元51供應的預定頻帶中計算在每個時間區段中之聲音信號的自相關函數來提取指示在每個時間區段中之週期性的週期性資訊。

雖然具有在索引b所指示之頻帶中的索引tau所指示之時間延遲之聲音信號的自相關函數x(b,tau)本身在本文中係作為週期性資訊，但也有可能使用藉由將自相關函數x(b,tau)除以x(b,0)所取得的值。另外，有可能使用利用藉由在預定頻帶中的聲音信號上進行離散傅立葉轉換所取得的頻譜之峰值的方法作為計算自相關函數x(b,tau)的方法。

週期性偵測單元52-1至52-4對週期性強度偵測單元53-1至53-4和週期性資訊合併單元54供應用於每個時間區段的提取之週期性資訊。以下，當沒有特別地必要區別週期性偵測單元52-1至52-4時，週期性偵測單元52-1至52-4將被簡稱為週期性偵測單元52。

週期性強度偵測單元53-1至53-4基於從週期性偵測單元52-1至52-4供應之用於每個時間區段的週期性資訊來計算在每個時間區段中之週期性的強度。具體來說，作為用於除了在tau=0附近之那些以外之tau的頻率資訊之自相關函數x(b,tau)的最大值被計算為週期性的強度。隨著週期性的強度而增加，作為處理目標的聲音信號的週期性增加。隨著週期性的強度而降低，作為處理目標的聲音信號的週期性變得更可能是雜訊的週期性。

週期性強度偵測單元53-1至53-4依據是否超過臨界值來二值化在每個時間區段中之週期性的強度作為用於每個時間區段的週期性強度資訊。亦即，當在每個時間區段中之週期性的強度超過預定臨界值時，週期性強度資訊被設成1。當週期性的強度等於或小於預定臨界值時，週期性強度資訊被設成0。週期性強度偵測單元53-1至53-4對週期性資訊合併單元54供應用於每個時間區段的週期性強度資訊。

以下，當沒有特別地必要區別週期性強度偵測單元53-1至53-4時，週期性強度偵測單元53-1至53-4將被簡稱為週期性強度偵測單元53。

週期性資訊合併單元54基於從週期性偵測單元52供應之用於每個時間區段的週期性資訊、和被供應至週期性強度偵測單元53之用於每個時間區段的週期性強度資訊來進行合併用於每個時間區段之週期性資訊的週期性合併處理。具體來說，週期性資訊合併單元54藉由使用下面的等式(1)來取得自相關函數x(b,tau)的總和作為用於時間區段的頻率資訊。

在等式(1)中，N_b表示頻帶的總數，且p(b)表示週期性強度資訊。此外，N_p表示其中p(b)是1的頻帶數。

週期性資訊合併單元54對峰值偵測單元55供應被取得作為週期性合併處理的結果之用於每個時間區段的週期性資訊之總和S(tau)。

峰值偵測單元55在用於每個時間區段之從週期性資訊合併單元54供應之週期性資訊的總和S(tau)上進行峰值偵測，並產生峰值資訊P(tau)，其中在峰值位置tau_p的值是1且在除了峰值位置tau_p以外之位置的值是0。作為峰值偵測方法，例如，有一種藉由假設索引tau當週期性資訊之總和S(tau)的微分值從正值移位至負值時係在峰值位置tau_p來偵測峰值的方法。

另外，當在峰值位置tau_p之週期性資訊的總和S(tau_p)小於預定臨界值時，峰值偵測單元55可能將在峰值位置tau_p之峰值資訊P(tau_p)視為0。藉由上述配置，有可能減少在峰值資訊P(tau_p)中的雜訊。此外，峰值資訊可能是週期性資訊的總和S(tau_p)本身。

峰值偵測單元55對降取樣單元56供應用於每個時間區段的峰值資訊P(tau)作為聲音同步特徵量的時間串資料。

降取樣單元56合併在複數個時間區段中的聲音同步特徵量(其從峰值偵測單元55供應)，即作為用於新時間區段的資訊之在複數個時間區段中的峰值資訊P(tau)，且產生峰值資訊P’_i(tau)作為最終聲音同步特徵量。換言之，降取樣單元56藉由降取樣峰值資訊P(tau)來產生峰值資訊P’_i(tau)。

在P’_i(tau)中，tau是指示時間延遲的索引，且i是指示時間區段的索引。降取樣單元56對多工處理單元24供應在由此獲得之時間區段中的峰值資訊P’_i(tau)作為在每個時間區段中之聲音同步特徵量的時間串資料。

在此，將參考第3圖來提出峰值資訊P’_i(tau)之產生的說明。在第3圖中，垂直軸表示指示時間延遲的索引tau，且水平軸表示指示時間(即時間區段)的索引i。

在本實例中，在圖的上側上顯示一串峰值資訊P(tau)，且在圖的下側上顯示一串峰值資訊P’_i(tau)。尤其是，時間延遲係以tau來表示，且在索引i所指定之時間區段中的峰值資訊P(tau)係以第3圖中的P_i(tau)來表示。此外，每個正方形表示在時間區段中的峰值資訊。尤其是，白色正方形表示正方形所表示的峰值資訊是0，且黑色正方形表示正方形所表示的峰值資訊是1。

在圖中，顯示於上側上的用於峰值資訊P_i(tau)之時間區段的長度是8毫秒。亦即，在8微秒的時間間隔計算峰值資訊P_i(tau)。另外，在時間方向(時間區段方向)上相鄰之具有相同時間延遲tau的四個峰值資訊項P_i(tau)被合併成一個，且獲得峰值資訊項P’_i(tau)。藉此，用於每個峰值資訊項P’_i(tau)的時間區段是32毫秒。

例如，降取樣單元56藉由計算下面的等式(2)來合併(降取樣)峰值資訊P_i(tau)且取得峰值資訊P’_i(tau)。

[數學2]P_i’(τ)=P_4i(τ)∪ P_4i+1(τ)∪ P_4i+2(τ)∪ P_4i+3(τ)．．．(2)

在等式(2)的計算中，若從將被合併之四個連續峰值資訊項P_i(tau)中的峰值資訊項P_i(tau)之一或更多者具有值「1」，則在合併之後所獲得之峰值資訊P’_i(tau)的值被視為「1」。對照之下，若將被合併之四個連續峰值資訊項P_i(tau)的所有值都是「0」，則在合併之後所獲得之峰值資訊P’_i(tau)的值被視為「0」。

藉由獲得在時間區段方向上連續之峰值資訊項P_i(tau)的邏輯總和且如上所述地降取樣邏輯總和，有可能消除由於降取樣而移除有關峰值位置之資訊(其係包括在於時間方向上排列的這串峰值資訊項中)的情況。藉由上述配置，即使在降取樣之後仍有可能保持有關峰值位置的位置如何在時間延遲方向上移位。

例如，當從在複數個時間區段中的峰值資訊項P_i(tau)中之一個峰值資訊項P_i(tau)的值在用於降取樣峰值資訊P_i(tau)的降取樣之後被簡單地當作峰值資訊P’_i(tau)的值時，資訊量是不夠的，且同步計算的準確度降低。亦即，效能降低。

具體來說，若當峰值位置在四個時間區段上方移位時，峰值資訊P_i(tau)被簡單地細化為峰值資訊P’_i(tau)，例如，只有在移位過程中之時間區段中的峰值資訊P_i(tau)係當作最終特徵量，且失去峰值位置已移位的資訊。

對照之下，根據基於在用於降取樣之複數個時間區段中的峰值資訊P_i(tau)來輸出適當值作為峰值資訊P’_i(tau)的上述方法，有可能在降取樣之後將在時間區段中已發生移位的資訊保持在時間區段內。於是，即使進行降取樣處理，仍有可能保持偵測效能。

再者，有可能藉由進行上述降取樣處理來減少聲音同步特徵量的傳輸量。另外，有可能減少用於將計算之聲音同步特徵量保持在記憶體或儲存裝置中的容量。

又，有可能減少用於在兩個聲音同步特徵量之間進行同步處理的計算量。由於在同步處理中的計算量隨著輸入特徵量的長度增加n倍而增加n²倍，因此降取樣處理的效果是很重要的。對照之下，由於若簡單地進行細化處理而同步偵測效能降低，則有必要當保持必要資訊時進行降取樣的處理，如在藉由降取樣單元56的降取樣方法中。

雖然第3圖中描述作為聲音同步特徵量的峰值資訊被降取樣成1/4的實例，但也有可能以任何其他速率(如1/2或1/8)來進行轉換(降取樣)。

此外，除了等式(2)之上述計算方法以外的方法能用於降取樣峰值資訊。

例如，當在從四個時間區段中的兩個或更多時間區段中之峰值資訊P_i(tau)的值是「1」時，在降取樣之後之峰值資訊P’_i(tau)的值可能被視為「1」。另外，當在三個或更多時間區段中之峰值資訊P_i(tau)的值是「1」時或當在所有四個區段中之峰值資訊P_i(tau)的值是「1」時，在降取樣之後之峰值資訊P’_i(tau)的值可能被視為「1」。

再者，當在從四個時間區段中的兩個或更多連續時間區段中之連續峰值資訊P_i(tau)的值在降取樣之前是「1」時，在降取樣之後之峰值資訊P’_i(tau)的值可能被視為「1」，或當在三個或更多連續時間區段中之峰值資訊P_i(tau)的值是「1」時，在降取樣之後之峰值資訊P’_i(tau)的值可能被視為「1」。

雖然上述說明已提出在時間軸方向(時間區段方向)上降取樣峰值資訊P_i(tau)的方法，但可能在時間延遲tau方向上降取樣峰值資訊P_i(tau)。

在上述情況下，降取樣單元56藉由計算下面的等式(3)來降取樣峰值資訊P_i(tau)且獲得峰值資訊P’_i(tau)。

[數學3]P_i’(τ)=P_i(4 τ)∪ P_i(4 τ+1)∪ P_i(4 τ+2)∪ P_i(4 τ+3)．．．(3)

在等式(3)的計算中，合併在時間延遲tau方向上連續地排列之相同時間區段中的四個峰值資訊項P_i(tau)，且獲得一個峰值資訊項P’_i(tau)。

此時，當從將被合併的四個連續峰值資訊項P_i(tau)中之峰值資訊P_i(tau)的一或更多值是「1」時，藉由合併所獲得之峰值資訊P’_i(tau)的值被視為「1」。對照之下，當將被合併之四個連續峰值資訊項P_i(tau)的所有值是「0」時，藉由合併所獲得之峰值資訊P’_i(tau)的值被視為「0」。

再者，可能在時間區段i方向和時間延遲tau方向上降取樣峰值資訊P_i(tau)。

在上述情況下，降取樣單元56藉由計算下面的等式(4)來降取樣峰值資訊P_i(tau)且獲得峰值資訊P’_i(tau)。

[數學4]P_i’(τ)=P_2i(2 τ)∪ P_2i+1(2 τ)∪ P_2i(2 τ+1)∪ P_2i+1(2 τ+1)．．．(4)

在等式(4)的計算中，合併在時間區段i方向上連續地排列之包括具有相同時差tau之兩個峰值資訊項P_i(tau)的全部四個峰值資訊項P_i(tau)、以及被排列以相鄰於在時間延遲tau方向上之上述兩個峰值資訊項P_i(tau)的兩個峰值資訊項P_i(tau)，且獲得一個峰值資訊項P’_i(tau)。

此時，當從將被合併的四個峰值資訊項P_i(tau)中之峰值資訊P_i(tau)的一或更多值是「1」時，藉由合併所獲得之峰值資訊P’_i(tau)的值被視為「1」。對照之下，當將被合併之四個峰值資訊項P_i(tau)的所有值是「0」時，藉由合併所獲得之峰值資訊P’_i(tau)的值被視為「0」。

降取樣單元56藉由降取樣峰值資訊P(tau)來獲得峰值資訊P’_i(tau)且對多工處理單元24供應用於每個新獲得之時間區段的峰值資訊P’_i(tau)作為用於每個時間區段之聲音同步特徵量的時間串資料。

<內容再現系統的配置實例>

接下來，將提出內容再現系統之配置的說明，內容再現系統分別接收從提供設備11傳送的主傳輸信號和子傳輸信號作為主接收信號和子接收信號，且再現主內容和子內容。例如，如第4圖所示地配置這類內容再現系統。

第4圖所示之內容再現系統包括主接收裝置81、顯示單元82、揚聲器83、麥克風84、子接收裝置85、顯示單元86、及揚聲器87。雖然在此顯示內容再現系統係由複數個設備所配置的例子，但內容再現系統可能由單一設備所配置。

主接收裝置81接收從提供設備11傳送的主接收信號且控制從主接收信號獲得的主內容之再現。

主接收裝置81包括輸入單元111和再現處理單元112。

輸入單元111接收從提供設備11傳送的主傳輸信號作為主接收信號且對再現處理單元112供應主接收信號。再現處理單元112提取包括在從輸入單元111供應的主接收信號中之主內容的影像信號和聲音信號，對顯示單元82供應影像信號，使顯示單元82再現影像信號，對揚聲器83供應聲音信號，及使揚聲器83再現聲音信號。亦即，再現處理單元112控制主內容之再現。

例如，顯示單元82係由液晶顯示裝置所配置，且基於從再現處理單元112供應的影像信號來顯示主內容的影像(視頻)。揚聲器83係聲音再現設備且基於從再現處理單元112供應的聲音信號來輸出主內容的聲音。

麥克風84收集從揚聲器83輸出之主內容的聲音且對子接收裝置85供應被取得作為結果的聲音信號。

子接收裝置85接收從提供設備11傳送的子傳輸信號作為子接收信號且控制從子接收信號獲得的子內容之再現。

子接收裝置85包括聲音同步特徵量計算單元121、緩衝器122、輸入單元123、分離處理單元124、緩衝器125、同步計算單元126、及再現處理單元127。

聲音同步特徵量計算單元121計算來自從麥克風84供應之聲音信號的聲音同步特徵量且對緩衝器 122供應聲音同步特徵量。緩衝器122暫時地記錄從聲音同步特徵量計算單元121供應的聲音同步特徵量。

輸入單元123接收從提供設備11傳送的子接收信號且對分離處理單元124供應子接收信號。分離處理單元124將從輸入單元123供應的子接收信號分成聲音同步特徵量和子通道信號且對緩衝器125供應聲音同步特徵量和子通道信號。緩衝器125暫時地記錄從分離處理單元124供應的聲音同步特徵量和子通道信號。

同步計算單元126依據用於基於記錄在緩衝器122中的聲音同步特徵量和記錄在緩衝器125中的聲音同步特徵量來同步主內容和子內容的聲音特徵量來產生同步校正資訊，且對再現處理單元127供應同步校正資訊。亦即，同步計算單元126藉由匹配在從藉由聲音收集所獲得之聲音信號提取的聲音同步特徵量與包括在子接收信號中的聲音同步特徵量之間的處理來偵測在主內容與子內容之間的再現時間偏差，且基於指示偏差的聲音特徵量來產生同步校正資訊。

再現處理單元127基於從同步計算單元126供應的同步校正資訊來校正記錄在緩衝器125中之子通道信號的再現時序(時間)，且分別對顯示單元86和揚聲器87供應影像信號和聲音信號作為子通道信號。亦即，再現處理單元127控制子內容之再現。例如，當聲音同步特徵量被處理為媒體物件且藉由使用MPEG-4系統與子通道信號的媒體物件一起被同步和多工時，對每個存取單元 (AU)定義時間屬性作為每個媒體物件的最小單元，且因此，有可能從上述同步校正資訊計算子通道信號之媒體物件的適當再現時序(時間)。

例如，顯示單元86係由液晶顯示裝置所配置，且基於從再現處理單元127供應的影像信號來顯示子內容的影像(視頻)。揚聲器87係聲音再現設備且基於從再現處理單元127供應的聲音信號來輸出子內容的聲音。

<聲音同步特徵量計算單元的配置實例>

更具體來說，例如，如第5圖所示地配置第4圖所示之計算單元121。

聲音同步特徵量計算單元121包括頻帶分割單元151、週期性偵測單元152-1至152-4、週期性強度偵測單元153-1至153-4、週期性資訊合併單元154、及峰值偵測單元155。

另外，由於頻帶分割單元151至峰值偵測單元155係與第2圖所示之頻帶分割單元51至峰值偵測單元55相同，因此將省略其說明。然而，也有可能對頻帶分割單元151和頻帶分割單元51將視窗函數的偏移時間設成不同值。例如，當子接收裝置85具有足夠的計算資源時，有可能藉由頻帶分割單元151使用較短的偏移時間來在更精細粒度下提取聲音同步特徵量。

以下，當沒有特別地必要區別週期性偵測單元152-1至152-4時，週期性偵測單元152-1至152-4將被簡稱為週期性偵測單元152，且當沒有特別地必要區別週期性強度偵測單元153-1至153-4時，週期性強度偵測單元153-1至153-4將被簡稱為週期性強度偵測單元153。

[同步計算單元的配置實例]

更具體來說，例如，如第6圖所示地配置第4圖所示之同步計算單元126。

第6圖所示之同步計算單元126包括訊框速率轉換單元181、訊框速率轉換單元182、區塊合併單元183、區塊合併單元184、相似性計算單元185、及最佳路徑搜尋單元186。

訊框速率轉換單元181從緩衝器122讀取用於主內容的每個時間區段之聲音同步特徵量的時間串資料，轉換聲音同步特徵量的訊框速率，且以經轉換訊框速率來對區塊合併單元183供應聲音同步特徵量。本文所述之訊框速率表示在聲音同步特徵量的時間序列資料中之每單位時間的時間區段數，即時間區段的長度。

訊框速率轉換單元182從緩衝器125讀取用於主內容的每個時間區段之聲音同步特徵量的時間串資料，轉換聲音同步特徵量的訊框速率，且以經轉換訊框速率來對區塊合併單元184供應聲音同步特徵量。

在某些情況下，保持在緩衝器122和緩衝器125中的聲音同步特徵量分別具有不同的訊框速率(即時間區段的不同長度)。

例如，能考慮包括在子傳輸信號中的聲音同步特徵量被設成具有低速率以減少從提供設備11提供之子內容(子傳輸信號)的傳送位元速率，同時從麥克風84所收集之聲音計算的聲音同步特徵量被設成高速率的情況，因為沒有必要傳送聲音同步特徵量。

在上述情況下，例如，有可能藉由與如第7圖所示之降取樣單元56相同的方法來降取樣從麥克風84所收集之聲音計算的聲音同步特徵量。另外，作為第7圖中的箭頭Q11至Q14之各者所表示的聲音同步特徵量之峰值資訊的垂直軸表示時間延遲tau，且水平軸表示時間區段i。此外，正方形表示在時間區段中的峰值資訊。

在本實例中，作為聲音同步特徵量的峰值資訊如箭頭Q11所表示地被取得，接著在提供設備11的這側上被降取樣，且被傳送至子接收裝置85作為在箭頭Q12所表示之較長時間區段中的峰值資訊。在此，在相當於8毫秒之時間區段中的峰值資訊受到訊框速率轉換(降取樣)以獲得在相當於32毫秒之時間區段中的峰值資訊。

對照之下，在子接收裝置85中的聲音同步特徵量計算單元121從藉由收集主接收裝置81所再現之主內容的聲音取得的聲音信號計算聲音同步特徵量，且獲得箭頭Q13所表示的峰值資訊作為聲音同步特徵量當作結果。在此，對相當於8毫秒的每個時間區段計算箭頭Q13所表示的峰值資訊。

如上所述地藉由聲音同步特徵量計算單元121所取得的聲音同步特徵量和從提供設備11接收的聲音同步特徵量具有不同的時間區段長度，即不同訊框速率。由此，訊框速率轉換單元181在聲音同步量計算單元121所取得的聲音同步特徵量上進行降取樣作為訊框速率轉換，使得聲音同步特徵量的訊框速率彼此符合，且取得峰值資訊作為箭頭Q14所表示之聲音同步特徵量。箭頭Q14所表示之聲音同步特徵量係在32毫秒之時間區段中的峰值資訊。

在使訊框速率(時間區段的長度)彼此符合之後，使用聲音同步特徵量來進行同步計算。如上所述地藉由在子接收裝置85的這側上降取樣聲音同步特徵量，有可能處理任意的訊框速率(位元速率)。

另外，也有一種情況為被傳送至子接收裝置85的聲音同步特徵量具有高速率，而從麥克風84所收集之聲音計算的聲音同步特徵量具有低速率。例如，有一種情況為子接收裝置85的計算資源不足夠且增加訊框偏移量以減少計算聲音同步特徵量所必要的計算量。

在上述情況下，例如，藉由使用與降取樣單元56相同的方式，藉由訊框速率轉換單元182來降取樣包括在子傳輸信號中之聲音同步特徵量的訊框速率(其係由第8圖中的箭頭Q21表示)，且取得箭頭Q22所表示的聲音同步特徵量。在第8圖中，作為箭頭Q21至Q23之各者所表示的聲音同步特徵量之峰值資訊的垂直軸表示時間延遲tau，且其水平軸表示時間區段i。另外，正方形表示在時間區段中的峰值資訊。

在本實例中，在8毫秒之時間區段中的峰值資訊受到訊框速率轉換(降取樣)以取得在32毫秒之時間區段中的峰值資訊。

此外，在子接收裝置85中的聲音同步特徵量計算單元121從藉由收集主接收裝置81所再現之主內容的聲音所取得的聲音信號來計算聲音同步特徵量，且取得箭頭Q23所表示的峰值資訊作為聲音同步特徵量當作結果。在此，對32毫秒的每個時間區段計算箭頭Q23所表示的峰值資訊。

可能如上所述地藉由降取樣包括在子傳輸信號中的聲音同步特徵量來使包括在子傳輸信號中之聲音同步特徵量的訊框速率與子接收裝置85所計算之聲音同步特徵量的訊框速率彼此符合。

又，雖然在上述說明中，藉由以較高訊框速率降取樣聲音同步特徵量來使訊框速率彼此符合，但可能藉由以較低訊框速率升取樣聲音同步特徵量來使訊框速率彼此符合。

在上述情況下，例如，如第9圖所示，藉由訊框速率轉換單元182來升取樣包括在子傳輸信號中之聲音同步特徵量的訊框速率。在第9圖中，作為箭頭Q31至Q34之各者所表示的聲音同步特徵量之峰值資訊的垂直軸表示時間延遲tau，且其水平軸表示時間區段i。另外，正方形表示在時間區段中的峰值資訊。

在本實例中，作為聲音同步特徵量的峰值資訊如箭頭Q31所表示地被取得，接著在提供設備11的這側上被降取樣，且被傳送至子接收裝置85作為在較長時間區段中的峰值資訊，如箭頭Q32所表示。在此，在8毫秒之時間區段中的峰值資訊受到訊框速率轉換(降取樣)以取得在32毫秒之時間區段中的峰值資訊。

對照之下，在子接收裝置85中的聲音同步特徵量計算單元121從藉由收集主接收裝置81所再現之主內容的聲音所取得的聲音信號來計算聲音同步特徵量，且取得箭頭Q33所表示的峰值資訊作為聲音同步特徵量當作結果。在此，對8毫秒的每個時間區段計算箭頭Q33所表示的峰值資訊。

在本實例中，藉由聲音同步特徵量計算單元121所計算之聲音同步特徵量的訊框速率與從提供設備11接收的聲音同步特徵量彼此不符合。

因此，訊框速率轉換單元182藉由將峰值資訊聲取樣為從提供設備11接收的聲音同步特徵量且計算在8毫秒之時間區段中的峰值資訊(其係由箭頭Q34表示)來使用於同步計算之聲音同步特徵量的時間同步粒度一致。例如，訊框速率轉換單元182升取樣藉由計算下面的等式(5)所獲得的峰值資訊。

[數學5]P_4i(τ)=P_i’(τ) P_4i+1(τ)=P_i’(τ) P_4i+2(τ)=P_i’(τ) P_4i+3(τ)=P_i’(τ)．．．(5)

在等式(5)的計算中，在升取樣之前之峰值資訊項P’_i(tau)的值(其具有相同時間延遲tau且具有相同位置關係)，其中在時間方向(時間區段方向)上相鄰之在升取樣之後的四個峰值資訊項P_i(tau)被視為在升取樣之後的四個峰值資訊項P_i(tau)之各者的值，沒有任何改變。

如上所述地藉由依照較高訊框速率來適當地升取樣用於同步計算的聲音同步特徵量，有可能以根據推測的高解析度來實現同步準確度。

再者，也有可能降取樣包括在子傳輸信號中的聲音同步特徵量和聲音同步特徵量計算單元121所計算的聲音同步特徵量兩者以減少在子接收裝置85中的計算資源。

如上所述地藉由提供訊框速率轉換單元181和訊框速率轉換單元182，有可能以不同訊框速率來同步聲音同步特徵量。另外，有可能依照計算資源、傳輸頻帶等來指定各種訊框速率，且提高系統的靈活性。

回去第6圖之說明，區塊合併單元183從訊框速率轉換單元181接收在主內容之每個時間區段中的聲音同步特徵量之時間串資料的供應，且在區塊的單元中進行合併，同時將複數個(例如，64個)連續時間區段視為一區塊。區塊合併單元183對相似性計算單元185供應在區塊的單元中之聲音同步特徵量的時間串資料。

區塊合併單元184從訊框速率轉換單元182接收在主內容之每個時間區段中的聲音同步特徵量之時間串資料的供應，且在區塊的單元中進行合併，同時將複數個(例如，64個)連續時間區段視為一區塊。區塊合併單元184對相似性計算單元185供應在區塊的單元中之聲音同步特徵量的時間串資料。

另外，配置區塊的複數個時間區段不一定是連續時間區段。例如，複數個奇數時間區段能被視為一個區塊，且複數個偶數時間區段能被視為一個區塊。在上述情況下，有可能在用於每個時間區段之聲音同步特徵量的時間串資料上進行細化處理，且由此減少計算量。

相似性計算單元185計算在區塊的單元中之聲音同步特徵量的時間串資料項(其從區塊合併單元183和區塊合併單元184供應)之間的相似性，且產生顯示在區塊之間之相似性的相似性矩陣。相似性計算單元185對最佳路徑搜尋單元186供應相似性矩陣。

最佳路徑搜尋單元186從由相似性計算單元185供應的相似性矩陣搜尋具有最佳相似性的路徑，且產生指示在對應於路徑上之相似性的兩個區塊之間之時差的資訊作為基於聲音特徵量的同步校正資訊。接著，最佳路徑搜尋單元186對再現處理單元127供應基於聲音特徵量的同步校正資訊。

如上所述，同步計算單元126依據基於聲音信號之音調資訊的聲音特徵量來產生同步校正資訊。藉此，即使在不同雜訊係包括在每個聲音信號中的情況下，仍有可能以穩健方式來產生基於聲音特徵量的同步校正資訊。

亦即，當一個人聽取具有頻率特性的複數個聲音時，即使雜訊係包括在聲音中，這個人仍能藉由識別具有相同基本頻率的聲音(即，藉由識別具有相同音調的聲音)來容易地識別共同成分。藉由考慮這樣的事實來實現本技術，且藉由產生基於音調資訊的同步校正資訊，相對於雜訊地以穩健方式來產生同步校正資訊。

[關於相似性計算及搜尋具有最佳相似性的路徑]

在此，將提出關於相似性計算及搜尋具有最佳相似性的路徑之說明。

第10圖係繪示作為相似性計算的目標之區塊的圖。

在第10圖中，i是藉由聲音同步特徵量計算單元121所取得的聲音同步特徵量之區塊的索引，且j是包括在子接收信號中的聲音同步特徵量之區塊的索引。更具體來說，雖然這些聲音同步特徵量適當地受到藉由訊框速率轉換單元181或訊框速率轉換單元182的訊框速率轉換，但將在本文中未進行訊框速率轉換的假設上繼續相似性計算的說明以簡化說明。

另外，X(i)表示在區塊中之聲音同步特徵量的時間串資料，其中從聲音同步特徵量中的索引j係藉由聲音同步特徵量計算單元121來取得，且Y(j)表示在區塊中之聲音同步特徵量的時間串資料，其中從聲音同步特徵量中的索引j係包括在子接收信號中。

如第10圖所示，相似性計算的目標係在n個X(i)與m個Y(j)之各者之間的n x m個組合。

第11圖係繪示計算相似性之方法的圖。

在第11圖之矩陣中，水平軸表示塊內時間區段數(其表示從在區塊中之頂部時間區段的數量)，且垂直軸表示索引tau。另外，白色正方形表示具有在時間區段中之索引tau的聲音同步特徵量與對應塊內時間區段數的時間串資料P(tau)是0，且黑色正方形表示時間串資料P(tau)是1。又，配置區塊之時間區塊的數量是4個，且tau在第11圖之實例中是從0至3。

當如第11圖所示地計算在X(i)與Y(j)之間的相似性時，首先，計算在X(i)與Y(j)之間的邏輯乘積X(i)cap Y(j)，且接著計算在X(i)與Y(j)之間的邏輯總和X(i)cup Y(j)。當如第11圖所示地計算在X(i)與Y(j)(其中之各者係由九個0和七個1所配置)之間的相似性時，首先，計算X(i)cap Y(j)(其係由十二個0和四個1所配置)的邏輯乘積，且接著計算X(i)cup Y(j)(其係由六個0和十個1所配置)的邏輯總和。

然後，藉由下面的等式(6)，基於為在邏輯乘積X(i)cap Y(j)中的1之數量的數量(X(i)cap Y(j))和為在邏輯總和中的1之數量的數量(X(i)cap Y(j))來計算在X(i)與Y(j)之間的相似性A(i,j)。

[數學6]A(i,j)=Number(X(i)∩ Y(j))/Number(X(i)∪ Y(j))．．．(6)

在第11圖之實例中，數量(X(i)cap Y(j))是四個，數量(X(i)cup Y(j))是十個，且由此，相似性A(i,j)是0.4。

當週期性資訊的總和S(tau)係當作聲音同步特徵量的時間串資料時，有可能採用藉由使用餘弦距離計算相似性的方法作為計算相似性的方法。

此外，相似性矩陣係表示在對應於索引i和索引j的每個點之相似性A(i,j)的資訊，其中水平軸表示索引j且垂直軸表示索引i。

最佳路徑搜尋單元186藉由使用動態規劃法來搜尋具有相似性的路徑，在相似性矩陣上被最大化的整合值作為具有最佳相似性的路徑。最佳路徑搜尋單元186產生對應於在具有最佳相似性的路徑上的相似性之索引的不同i-j作為基於聲音特徵量的同步校正資訊。

<傳輸處理的說明>

接著，將提出提供設備11之操作的說明。

當供應相互時間同步的主通道信號和子通道信號時，提供設備11進行傳輸處理且傳送主傳輸信號和子傳輸信號。以下，將參考第12圖之流程圖來提出藉由提供設備11之傳輸處理的說明。

在步驟S11中，聲音同步特徵量計算單元23進行聲音同步特徵量計算處理以從配置供應之主通道信號的聲音信號計算聲音同步特徵量，且對多工處理單元24供應聲音同步特徵量。

將於之後提出聲音同步特徵量計算量的詳細說明。

在步驟S12中，轉換單元21藉由將供應之主通道信號轉換成為系統所定義之預定傳輸格式的信號來產生主傳輸信號，且對輸出單元22供應獲得之主傳輸信號。

在步驟S13中，輸出單元22傳送從轉換單元21供應的主傳輸信號。

在步驟S14中，多工處理單元24進行在聲音同步特徵量與子通道信號之間的多工處理，且對輸出單元25供應被獲得作為結果的子傳輸信號。

例如，多工處理單元24多工聲音同步特徵量與為系統所定義之傳輸格式的子通道信號，使得藉由使用供應之主通道信號來滿足在來自聲音同步特徵量計算單元23的聲音同步特徵量與供應之子通道信號之間的時間同步關係。

藉由上述配置，例如，取得第13圖所示之子傳輸信號。

在第13圖之實例中，作為子傳輸信號之在位元流中的區段T11和區段T12之各者在一個訊框中包括影像信號、聲音信號、及聲音同步特徵量。

例如，包括在區段T11中的影像信號和聲音信號對應於在一個訊框中的子通道信號，且包括在區段T11中的聲音同步特徵量係從在訊框中之主通道信號提取的聲音同步特徵量，其暫時地對應於子通道信號。如上所述，在子傳輸信號中關聯和多工在相同訊框中的子通道信號和聲音同步特徵量，且有可能在子傳輸信號的接收側上指定對應於在每個訊框中之子通道信號的聲音同步特徵量。

回去第12圖之流程圖的說明，在步驟S15中，輸出單元25傳送從多工單元24供應的子傳輸信號，且完成傳輸處理。

如上所述，提供設備11藉由關聯和多工從主通道信號取得的聲音同步特徵量與子通道信號來產生子傳輸信號，且傳送子傳輸信號和主傳輸信號。

如上所述地藉由關聯和傳送聲音同步特徵量與子通道信號，即使在接收側上透過不同傳輸路徑藉由複數個不同裝置來接收主通道信號和子通道信號的情況下，仍有可能在保持同步時藉由使用聲音同步特徵量來再現主內容和子內容。

[聲音同步特徵量計算處理的說明]

接下來，將參考第14圖之流程圖來提出對應於在第12圖之步驟S11中的處理之聲音同步特徵量計算處理的說明。

在步驟S41中，頻帶分割單元51藉由使用視窗函數來將供應之聲音信號分成從約數十毫秒至約一百毫秒的時間區段。

在步驟S42中，頻帶分割單元51藉由使用複數個帶通濾波器來將在每個時間區段中的聲音信號分成四個頻帶。頻帶分割單元51對各別週期性偵測單元52-1至52-4供應在各別頻帶中的聲音信號。

在步驟S43中，每個週期性偵測單元52藉由在從頻帶分割單元51供應的預定頻帶中計算在每個時間區段中之聲音信號的自相關函數x(b,tau)來提取用於每個時間區段的週期性資訊，且對週期性強度偵測單元53和週期性資訊合併單元54供應週期性資訊。另外，藉由每個週期性偵測單元52來進行在步驟S43中的處理。

在步驟S44中，週期性強度偵測單元53基於從週期性偵測單元52供應之用於每個時間區段的週期性資訊來計算用於每個時間區段之週期性的強度。然後，週期性強度偵測單元53藉由依據強度是否超過臨界值來二值化用於每個時間區段的週期性強度來產生用於每個時間區段的週期性強度資訊，且對週期性資訊合併單元54供應週期性強度資訊。此外，藉由每個週期性強度偵測單元53來進行在步驟S44中的處理。

在步驟S45中，週期性資訊合併單元54基於從週期性偵測單元52供應之用於每個時間區段的週期性資訊、及從週期性強度偵測單元53供應之用於每個時間區段的週期性強度資訊，藉由使用上述等式(1)來進行週期性合併處理。週期性資訊合併單元54對峰值偵測單元55供應被取得作為週期性合併處理的結果之用於每個時間區段的週期性資訊之總和S(tau)。

在步驟S46中，峰值偵測單元55對每個時間區段在從週期性資訊合併單元54供應之週期性資訊的總和S(tau)上進行峰值偵測，產生峰值資訊P(tau)，且對降取樣單元56供應峰值資訊P(tau)。

在步驟S47中，降取樣單元56藉由將在從峰值偵測單元55供應之複數個時間區段中的峰值資訊P(tau)合併成在一個時間區段中的峰值資訊來對峰值資訊進行降取樣處理。

降取樣單元56對多工處理單元24供應用於如上所述地取得之每個時間區段的峰值資訊作為用於每個時間區段之聲音同步特徵量的時間串資料，且完成聲音同步特徵量計算處理。若完成聲音同步特徵量計算處理，則處理繼續進行至第12圖之步驟S12。

聲音同步特徵量計算單元23如上所述地基於週期性資訊來計算聲音同步特徵量，且因此，有可能以穩健方式來產生聲音同步特徵量。

<主內容再現處理的說明>

若從提供設備11傳送主傳輸信號，則內容再現系統取得主傳輸信號作為主接收信號並再現主內容。以下，將參考第15圖之流程圖來提出藉由內容再現系統之主內容再現處理的說明。

在步驟S71中，輸入單元111取得主接收信號且對再現處理單元112供應主接收信號。例如，輸入單元111藉由接收從提供設備11傳送的主接收信號來取得主接收信號。

在步驟S72中，再現處理單元112基於從輸入單元111供應的主接收信號來再現主內容且完成主內容再現處理。

例如，再現處理單元112從主接收信號提取主內容的影像信號和聲音信號，對顯示單元82供應影像信號，使顯示單元82再現影像信號，對揚聲器83供應聲音信號，且使揚聲器83再現聲音信號。藉由上述配置，再現主內容。

如上所述，內容再現系統取得主接收信號且再現主內容。

<子內容再現處理的說明>

另外，內容再現系統取得子接收信號且與主內容之再現同步地再現子內容。以下，將參考第16圖之流程圖來提出藉由內容再現系統之子內容再現處理的說明。

在步驟S101中，輸入單元123取得子接收信號且對分離處理單元124供應子接收信號。例如，輸入單元123藉由接收從提供設備11傳送的子傳輸信號作為子接收信號來取得子接收信號。

在步驟S102中，分離處理單元124將從輸入單元123供應的子接收信號分成子通道信號和聲音同步特徵量，對緩衝器125供應分離之子通道信號和聲音同步特徵量，且使緩衝器125記錄子通道信號和聲音同步特徵量。

在步驟S103中，麥克風84收集從揚聲器83輸出之主內容的聲音且對聲音同步特徵量計算單元121供應被取得作為結果的聲音信號。在步驟S103中，例如，收集藉由第15圖之步驟S72中的處理所再現之主內容的聲音。

在步驟S104中，聲音同步特徵量計算單元121進行聲音同步特徵量計算處理以從由麥克風84供應的聲音信號計算聲音同步特徵量，對緩衝器122供應聲音同步特徵量，且使緩衝器122記錄聲音同步特徵量。

雖然進行第17圖之流程圖中所示之步驟S131至S136中的處理作為聲音同步特徵量計算處理，但處理係與第14圖之步驟S41至S46中的處理相同，且因此，將省略其說明。然而，在第17圖所示之聲音同步特徵量計算處理中，聲音同步特徵量係根據從麥克風84供應的聲音信號來計算且累積在緩衝器122中。此外，聲音同步特徵量計算單元121將峰值偵測155所取得的峰值資訊視為聲音同步特徵量。

回去第16圖之流程圖的說明，同步計算單元126進行同步校正資訊產生處理以產生基於聲音特徵量的同步校正資訊，且在步驟S105中，對再現處理單元127供應同步校正資訊。雖然之後說明同步校正資訊產生處理的詳細說明，但在此處理中，用於同步主內容與子內容之基於聲音特徵量的同步校正資訊係藉由比較記錄在緩衝器122中的聲音同步特徵量與記錄在緩衝器125中的聲音同步特徵量來產生。

在步驟S106中，再現處理單元127依照從同步計算單元126供應之基於聲音特徵量的同步校正資訊來校正記錄在緩衝器125中之子通道信號的再現時序，且在校正之後基於子通道信號來再現子內容。

亦即，再現處理單元127早先或延遲基於聲音特徵量之同步校正資訊所指示的時間來對顯示單元86和揚聲器87供應配置子通道信號的影像信號和聲音信號，且使顯示單元86和揚聲器87再現影像信號和聲音信號。換言之，再現在對應於在目前時間再現之一部分主內容之時間的再現時間的一部分子內容(其係由基於聲音特徵量的同步校正資訊指定)。

例如，在子內容和主內容的無聲區段中進行用於同步子內容與主內容之再現位置的調整(校正)。

顯示單元86基於從再現處理單元127供應的影像信號來顯示子內容的影像，且揚聲器87基於從再現處理單元127供應的聲音信號來輸出子內容的聲音。

若如上所述地與主內容同步地再現子內容，則完成子內容再現處理。

如上所述，內容再現系統根據藉由收集被再現之主內容的聲音所取得之聲音信號來計算聲音同步特徵量，且藉由使用取得之聲音同步特徵量和包括在子接收信號中的聲音同步特徵量來計算基於聲音特徵量的同步校正資訊。另外，內容再現系統藉由使用獲得之同步校正資訊來與主內容同步地再現子內容。

如上所述地藉由經由使用從透過聲音收集所取得之聲音信號提取的聲音同步特徵量和包括在子接收信號中的聲音同步特徵量來計算基於聲音特徵量的同步校正資訊，即使在主內容和子內容的傳輸路徑不同的情況下，仍有可能以同步方式來再現主內容和子內容。

雖然在本實例中，對每個訊框進行聲音同步特徵量的同步計算(即匹配處理)，但聲音同步特徵量的同步計算不一定以時間上連續的方式來進行且可能間歇地進行。然而，當連續地進行同步計算時，有可能校正子內容的再現時間(再現位置)而沒有不舒適的感覺。

<同步校正資訊產生處理的說明>

再者，將參考第18圖之流程圖來提出對應於第16圖之步驟S105中的處理之同步校正資訊產生處理的說明。

在步驟S161中，訊框速率轉換單元181和訊框速率轉換單元182必要時進行訊框速率轉換處理。

亦即，訊框速率轉換單元181從緩衝器122讀取用於在主內容中的每個時間區段之聲音同步特徵量的時間串資料，必要時進行訊框速率轉換(即在聲音同步特徵量上降取樣)，且對區塊合併單元183供應聲音同步特徵量。另外，訊框速率轉換單元182從緩衝器125讀取用於在主內容中的每個時間區段之聲音同步特徵量的時間串資料，必要時進行訊框速率轉換(即在聲音同步特徵量上降取樣或升取樣)，且對區塊合併單元184供應聲音同步特徵量。

在步驟S162中，區塊合併單元183和區塊合併單元184合併聲音同步特徵量的時間串資料。

具體來說，區塊合併單元183從訊框速率轉換單元181接收用於在主內容中的每個時間區段之聲音同步特徵量的時間串資料之供應。接著，區塊合併單元183將複數個(例如，64個)連續時間區段視為一個區塊，對在區塊之單元中的每個時間區段合併聲音同步特徵量的供應之時間串資料，且對相似性計算單元185供應時間串資料。

此外，區塊合併單元184從訊框速率轉換單元182接收用於在主內容中的每個時間區段之聲音同步特徵量的時間串資料之供應。接著，區塊合併單元184將複數個(例如，64個)連續時間區段視為一個區塊，對在區塊之單元中的每個時間區段合併聲音同步特徵量的供應之時間串資料，且對相似性計算單元185供應時間串資料。

在步驟S163中，相似性計算單元185計算在區塊的單元中之聲音同步特徵量的時間串資料項(其從區塊合併單元183和區塊合併單元184供應)之間的相似性，且產生表示在各別區塊之間之相似性的相似性矩陣。相似性計算單元185對最佳路徑搜尋單元186供應相似性矩陣。

在步驟S164中，最佳路徑搜尋單元186根據從相似性計算單元185供應的相似性矩陣搜尋具有最佳相似性的路徑，且產生基於聲音特徵量的同步校正資訊。然後，最佳路徑搜尋單元186對再現處理單元127供應基於聲音特徵量的同步校正資訊，且完成同步校正資訊產生處理。

如上所述，內容再現系統依照週期性資訊來產生基於聲音特徵量的同步校正資訊，且因此，內容再現系統能以穩健方式來產生同步校正資訊。

雖然提出主內容的件數是1個之情況的上述說明，但主內容的件數可能是兩個或更多。

在上述情況下，在提供設備11中的聲音同步特徵量計算單元23對複數件主內容之各者計算聲音同步特徵量，且多工處理單元24多工一件子內容的子通道信號與複數件主內容的聲音同步特徵量，且取得子傳輸信號。另外，輸出單元22傳送從複數件主內容之主通道信號取得的主傳輸信號。

再者，在這種情況下，在第4圖所示之內容再現系統中的再現處理單元112選擇和再現複數件主內容之其一者。此外，輸入單元123接收子接收信號，其中複數件主內容的聲音同步特徵量係關聯於單一子通道信號。

另外，同步計算單元126藉由比較輸入單元123所取得之在每件主內容中的聲音同步特徵量與聲音同步特徵量計算單元121所取得之聲音同步特徵量來計算相似性，且指定揚聲器83所再現的主內容。例如，由於與聲音同步特徵量匹配而具有最高相似性之具有聲音同步特徵量的主內容被視為被再現的主內容。

若指定被再現的主內容，則基於基於指定主內容之聲音同步特徵量所取得的同步校正資訊來校正子內容的再現位置。亦即，同步計算單元126基於用於同步指定主內容與子內容的聲音特徵量來產生同步校正資訊。

[本技術之應用實例1]

如迄今所述之本技術能應用於各種系統。

例如，本技術能應用於第19圖所示之系統。

例如，在第19圖所示之系統中，如廣播站的提供設備211對應於第1圖中的提供設備11。提供設備211提供主內容和子內容。

在本實例中，例如，提供設備211藉由透過廣播波廣播主內容的主傳輸信號來對主接收裝置212傳送主傳輸信號。接著，主接收裝置212接收藉由廣播波所傳送的主傳輸信號作為主接收信號且再現主內容。此時，主接收裝置212從設置於主接收裝置212中的揚聲器213輸出主內容的聲音。

藉此，在本實例中，主接收裝置212係由第4圖所示之主接收裝置81、顯示單元82、和揚聲器83所配置。在上述情況中，輸入單元111接收廣播波所廣播的主接收信號。另外，揚聲器213對應於第4圖中的揚聲器83。

例如，主接收裝置212係電視接收器或之類，且使用者觀看和聽取主接收裝置212所再現的主內容。

對照之下，提供設備211也傳送子傳輸信號。在本實例中，提供設備211藉由經由包括網際網路的通訊網路214串流分配或之類來對子接收裝置215傳送子傳輸信號。在此，藉由所謂的推式通訊來傳送子傳輸信號。

此外，例如，子接收裝置215係由平板終端裝置所配置，接收透過通訊網路214所傳送的子傳輸信號作為子接收信號，且再現子內容。亦即，子接收裝置215使內建顯示單元顯示子內容的影像且使內建揚聲器輸出子內容的聲音。

此時，子接收裝置215藉由收集從揚聲器213輸出之主內容的聲音來計算聲音同步特徵量，且藉由使用取得之聲音同步特徵量和包括在子接收信號中的聲音同步特徵量來產生基於聲音特徵量的同步校正資訊。然後，子接收裝置215藉由使用基於聲音特徵量的同步校正資訊來與主內容同步地再現子內容。

藉由上述配置，在同步狀態下再現主接收裝置212所再現的主內容和子接收裝置215所再現的子內容，且使用者能觀看和聽取主內容，同時適當地觀看和聽取子內容。亦即，例如，使用者能欣賞主內容，同時利用子內容作為主內容的補充資訊。

在本實例中，子內容的子通道信號係用於與主內容之視頻不同角度之視頻的影像信號、用於相對於主內容之解說聲音的聲音信號、關於主內容的字元資訊或之類。

在上述情況下，例如，子接收裝置215係由第4圖所示之麥克風84、子接收裝置85、顯示單元86、和揚聲器87所配置。由此，輸入單元123接收經由通訊網路214所傳送的子傳輸信號作為子接收信號。

在第19圖之實例中，有可能如上所述地藉由在接收側上的推式通訊以同步方式來簡單且準確地再現經由相互不同之傳輸路徑所傳送的主內容和子內容。在本實例中，有必要在主傳輸信號之前傳送子傳輸信號。亦即，有必要以在考慮在主傳輸信號至主接收裝置212的到達時間與子傳輸信號至子接收裝置215的到達時間之間的差值所決定的時差來傳送主傳輸信號和子傳輸信號。

[本技術之應用實例2]

另外，例如，本技術能應用於第20圖所示之系統。在第20圖中，給予對應於第19圖之部件的部件相同的參考標號，且將省略其說明。

在第20圖之實例中，主傳輸信號係藉由廣播波來傳送至主接收裝置212，即，以與在第19圖之實例中相同的方式經由來自提供設備211的推式通訊。

對照之下，子傳輸信號係經由通訊網路214來從伺服器241傳送至子接收裝置215。另外，伺服器241藉由某個方法來事先從提供設備211或之類取得子傳輸信號且將子傳輸信號記錄於其中。

在本實例中，經由所謂的拉式通訊來傳送子傳輸信號。因此，當子接收裝置215請求子傳輸信號之傳輸時，伺服器241經由通訊網路214來對子接收裝置215傳送子傳輸信號。

亦即，在對應於子接收裝置215之第4圖中之子接收裝置85中的輸入單元123對伺服器241傳送對子傳輸信號之傳輸的請求，且回應於傳輸請求而接收從伺服器241傳送的子傳輸信號作為子接收信號。

在上述情況下，子接收裝置215能在廣播主內容之前事先接收和記錄子傳輸信號。藉此，若事先接收和記錄子傳輸信號，則當廣播主內容時，有可能防止由於通訊網路214或之類之條件而不可能與主內容同步地再現子內容的情況。

若藉由主接收裝置212來開始主內容之再現，則子接收裝置215收集從揚聲器213輸出之主內容的聲音，且計算聲音同步特徵量。接著，子接收裝置215藉由使用取得之聲音同步特徵量和包括在子接收信號中的聲音同步特徵量來產生基於聲音特徵量的同步校正資訊，且藉由使用同步校正資訊來與主內容同步地再現子內容。

在第20圖之實例中，子接收裝置215能在對子接收裝置215本身方便的時序取得子接收信號。

[本技術之應用實例3]

另外，例如，本技術能應用於第21圖所示之系統。在第21圖中，給予對應於第20圖之部件的部件相同的參考標號，且將省略其說明。

在第21圖之實例中，主內容(即主傳輸信號)係由不同於伺服器241的伺服器271提供。亦即，伺服器271回應於來自主接收裝置212的請求而經由通訊網路272來對主接收裝置212傳送記錄之主傳輸信號。亦即，在本實例中，藉由拉式通訊來傳送主傳輸信號。

具體來說，在對應於主接收裝置212之第4圖中之主接收裝置81中的輸入單元111對伺服器271傳送主傳輸信號的傳輸請求，且回應於傳輸請求而接收從伺服器271傳送的主傳輸信號作為主接收信號。

在上述情況下，主接收裝置212能事先接收和記錄主傳輸信號。藉此，若事先接收和記錄主傳輸信號，則當再現主內容時，有可能防止主內容之再現由於通訊網路272或之類之條件而暫停或停止的情況。

此外，子傳輸信號係以與第20圖之實例中相同的方式經由拉式通訊藉由伺服器241來傳送。

若開始藉由主接收裝置212的主內容之再現，則子接收裝置215收集從揚聲器213輸出之主內容的聲音，且計算聲音同步特徵量。接著，子接收裝置215藉由使用取得之聲音同步特徵量和包括在子接收信號中的聲音同步特徵量來產生基於聲音特徵量的同步校正資訊，且藉由使用同步校正資訊來與主內容同步地再現子內容。

在第21圖之實例中，主接收裝置212和子接收裝置215能在對主接收裝置212和子接收裝置215本身方便的時序取得主接收信號和子接收信號。

即使當通訊網路272與通訊網路214相同時，若主傳輸信號和子傳輸信號的傳輸時序、接收裝置等彼此不同，則主傳輸信號和子傳輸信號的傳輸路徑通常彼此不同。

[第二實施例] <本技術之特徵>

順帶一提，能假設透過廣播、網際網路協定(IP)網路或之類藉由複數個裝置來接收具有時間同步關係之複數件媒體內容所根據的應用程式且接收媒體內容係以與上述實例(A1)至(A4)相同的同步方式來再現。

為了實作上述功能，已研究和發展用於廣播通訊合作服務的系統，其中內容係藉由廣播來分配，而額外內容係經由如混合廣播的IP網路來個別地分配，且內容接收器以時間上同步的方式來輸出藉由廣播所分配的內容和經由IP網路所分配的額外內容。

例如，於2009年8月26日在影像資訊和電視工程師年度會議的會議錄中的「Kinji Matsumura、Yoshiaki Shishikui、和Michael J.Evans之「Personalization System of Broadcast Content using Synchronized Internet Streaming」，第3-8頁中」(以下，也稱為NPL 1)說明混合廣播。

另外，也於2010年11月在「日本廣播公司、「HybridcastTM的總結和技術」、日本廣播公司的科學和技術研究實驗室、R&D，第124號，第10-17頁、NHK出版公司，http：//www.nhk.or.jp/strl/publica/rd/rd124/PDF/P10-17.pdf"」(以下，也稱為NPL 2)、於2012年5月在「日本廣播公司、「技術支援HybridcastTM」、日本廣播公司的科學和技術研究實驗室、R&D，第133號，第20-27頁、NHK出版公司http：//www.nhk.or.jp/strl/publica/rd/rd133/PDF/P20-27.pdf」(以下，也稱為NPL 3)等中說明混合廣播。

根據混合廣播的基本原理，加入基於廣播流的參考時脈之呈現時間資訊(呈現時間戳(PTS)的額外內容係與廣播內容之傳輸同時或略在廣播內容之傳輸之前分配的串流，接收器設置有具有用於吸收在通訊內容中的延遲和變化之足夠容量的緩衝器，且藉由使廣播內容延遲和比較廣播內容與額外內容兩者的時間戳來建立同步。

根據NPL 2，例如，確認能在其中接收器都在相同裝置中的實驗環境中以約一個視頻訊框(33ms)內的精確度來建立同步。

接收額外內容的裝置可能是獨立於廣播內容接收裝置的裝置，如以無線方式與IP網路連接的智慧型手機或平板個人電腦。在上述情況下，對於廣播內容接收裝置而言有必要對接收額外內容的裝置提供呈現時間資訊(時間戳)。此操作通常經由IP網路來合作。

另外，有可能容易地想像僅經由如IP網路之網路而不是廣播來分配複數件內容之系統的實作，藉由使用協調世界時間(UTC)來加入時間戳作為參考時脈，在接收器側上進行同步，且輸出複數件內容。

當實際上藉由獨立接收器來利用上述廣播通訊合作服務時，由於下面的兩個原因，難以藉由比較時間戳的方法來精確地建立同步。

第一，只要廣播內容接收器和額外內容接收器係獨立的電子裝置，且同步偏差隨著時間經過而發生，在系統時脈中就有差值。

第二，能假設一種使用者狀態，其中使用者係位於距如電視接收器之廣播內容接收器一段距離到達一定程度，藉由它們的手來握持如智慧型手機或平板個人電腦的額外內容接收器，且欣賞經由IP網路所分配的額外內容。若聲音信號在此使用狀態下係包括在廣播內容和額外內容中，則難以在使用者觀看和聽取內容的位置建立精確同步。

例如，當使用者遠離廣播內容接收器10m時，從廣播內容接收器輸出的聲音信號到達使用者位置需要10(m)/340(m/s)=約30(ms)。在此，聲速約340(m/s)。

第一實施例採用藉由額外內容接收器來收集從廣播內容接收器輸出之聲音，計算聲音同步特徵量，且進行與經由IP網路所分配之廣播內容的聲音同步特徵量之同步計算的方法。然而，有必要搜尋在廣範圍中的同步位置，且處理量當IP網路的傳輸延遲、波動或之類嚴重時增加。

於是，有可能藉由對上述提供設備和內容再現系統提供下面的特徵B11至B20來以較少處理量同步透過不同路徑所取得的複數件內容。

[特徵B11]

媒體內容係藉由多工視頻、聲音、影像、字元資訊等所取得的資料流。

關於[特徵B11]的資料流之傳輸，假設藉由廣播波或透過包括網際網路之網路的媒體內容之傳輸，且多工資料流所佔據的邏輯傳輸路徑將被稱為傳輸路徑。

[特徵B12]

作為傳輸目標的複數件媒體內容具有時間同步關係。

[特徵B13]

作為傳輸目標的複數件媒體內容之至少一者被判定為主通道信號，且其餘件的媒體內容分別被視為子通道信號。

[特徵B14]

對來自參考時間信號的主通道信號和子通道信號之各者產生呈現時間資訊(PTC)。

在此，廣播流的參考時脈(PCR)、協調世界時間(UTC)或之類係作為參考時間信號。

[特徵B15]

主通道信號的呈現時間資訊係與主通道信號一起多工以產生主傳輸信號，且傳送主傳輸信號。對照之下，也從主通道信號的聲音信號計算聲音同步特徵量。

[特徵B16]

以系統所定義之傳輸格式來進行子通道信號之呈現時間資訊、主通道信號的聲音同步特徵量、和子通道信號的多工處理，使得滿足在主通道信號與子通道信號之間的時間同步關係，且產生子傳輸信號。

[特徵B17]

主接收裝置取得和分離主接收信號，且當再現主通道信號時，藉由揚聲器或之類來輸出基於聲音信號的聲音。同時，主接收裝置呈現接收主通道信號的呈現時間資訊，使得呈現時間資訊能從外部被參考或取得。

例如，主通道信號的呈現時間資訊能藉由提供其取得功能之軟體的應用編程介面(API)，藉由無線通訊經由IP網路連線來從外部被參考。

[特徵B18]

子接收裝置取得和分離子接收信號，比較接收子通道信號的呈現時間資訊與從主接收裝置取得之主通道信號的呈現時間資訊，且產生基於呈現時間資訊的同步校正資訊。

[特徵B19]

子接收裝置藉由麥克風或之類來收集藉由主接收裝置從揚聲器輸出之主通道信號的聲音，計算聲音同步特徵量，考慮在[特徵B18]中產生之基於呈現時間資訊的同步校正資訊來進行相對於接收主通道信號之聲音同步特徵量的自動同步計算，且計算基於聲音特徵量的同步校正資訊(時差資訊)。

由於有可能從基於呈現時間資訊的同步校正資訊粗略地識別同步位置(其係藉由呈現時間資訊之比較所取得)，因此在之後階段中基於聲音同步特徵量之自動同步計算處理所必要的處理量減少。

[特徵B20]

子接收裝置依照基於聲音特徵量的同步校正資訊來相對於主通道信號地在接收子通道信號上進行同步校正處理，且進行再現。

<提供設備的配置實例>

接下來，將提出具有上述特徵B11至B20的提供設備和內容再現系統之具體實施例的說明。

第22圖係顯示以如同在上述實例(A1)至(A4)中之時間同步關係來提供內容的提供設備之配置實例的圖。在第22圖中，給予對應於第1圖之部件的部件相同的參考標號，且將適當地省略其說明。

提供設備301包括參考時間信號產生單元311、多工處理單元312、輸出單元22、聲音同步特徵量計算單元23、多工處理單元24、及輸出單元25。

提供設備301的配置與提供設備11的配置不同之處為在提供設備11中的轉換單元21被替換成多工處理單元312且新提供參考時間信號產生單元311。

參考時間信號產生單元311基於PCR和UTC來產生指示主通道信號和子通道信號之內容呈現時序的呈現時間資訊，且對多工處理單元312和多工處理單元24供應呈現時間資訊。例如，呈現時間資訊係PTS且用於在再現側上在主通道信號與子通道信號之間建立同步。

多工處理單元312將供應之主通道信號轉換成為預定廣播標準或之類所定義之格式的信號。此外，多工處理單元312藉由多工為經轉換格式的主通道信號與從參考時間信號產生單元311供應的呈現時間資訊來產生主傳輸信號，且對輸出單元22供應主傳輸信號。包括在主傳輸信號中的呈現時間資訊係主通道信號的呈現時間資訊。

另外，多工處理單元24在時間上同步的狀態下多工從聲音同步特徵量計算單元23供應的聲音同步特徵量、供應之子通道信號、和從參考時間信號產生單元311供應的呈現時間資訊，接著必要時進行格式轉換，且產生子傳輸信號。多工處理單元24對輸出單元25供應取得之子傳輸信號。包括在子傳輸信號中的呈現時間資訊係子通道信號的呈現時間資訊。

以與在提供設備11中相同的方式，多工處理單元24可能藉由使用主通道信號來調整聲音同步特徵量、子通道信號、和呈現時間資訊的時間同步關係。

<內容再現系統的配置實例>

此外，例如，如第23圖所示地配置接收從提供設備301傳送之主傳輸信號和子傳輸信號作為主接收信號和子接收信號且再現主內容和子內容的內容再現系統。在第23圖中，給予對應於第4圖之部件的部件相同的參考標號，且將適當地省略其說明。

第23圖所示之內容再現系統包括主接收裝置341、顯示單元82、揚聲器83、麥克風84、子接收裝置342、顯示單元86、及揚聲器87。

主接收裝置341接收從提供設備301傳送的主接收信號且控制從主接收信號取得的主內容之再現。

主接收裝置341包括輸入單元111、分離處理單元351、呈現單元352、及再現處理單元112。主接收裝置341的配置與主接收裝置81的配置不同之處為新提供了分離處理單元351和呈現單元352。

分離處理單元351將從輸入單元111提供的主接收信號分成主通道信號和主通道信號的呈現時間資訊，對再現處理單元112供應主通道信號，且對呈現單元352供應呈現時間資訊。

呈現單元352經由有線通訊網路或包括網際網路的無線通訊網路來對子接收裝置342呈現從分離處理單元351供應的呈現時間資訊。亦即，回應於來自通訊配對物的請求而傳送呈現時間資訊。

另外，子接收裝置342接收從提供設備301傳送的子傳輸信號作為子接收信號且控制從子接收信號取得的子內容之再現。

子接收裝置342包括取得單元361、呈現時間資訊比較單元362、聲音同步特徵量計算單元121、緩衝器122、輸入單元123、分離處理單元124、緩衝器125、同步計算單元126、及再現處理單元127。

子接收裝置342的配置與子接收裝置85的配置不同之處為新設置了取得單元361和呈現時間資訊比較單元362。

取得單元361經由有線或無線通訊網路藉由使用API或之類來取得呈現單元352所呈現的呈現時間資訊，且對呈現時間資訊比較單元362供應呈現時間資訊。亦即，取得單元361接收從呈現單元352傳送的呈現時間資訊。

分離處理單元124將從輸入單元123供應的子接收信號分成聲音同步特徵量、子通道、和呈現時間資訊，對呈現時間資訊比較單元362供應呈現時間資訊，且對緩衝器125供應聲音同步特徵量和子通道信號。

呈現時間資訊比較單元362比較從分離處理單元124供應的呈現時間資訊與從取得單元361供應的呈現時間資訊，產生用於同步主通道信號與子通道信號之基於呈現時間資訊的同步校正資訊，且對同步計算單元126供應同步校正資訊。

基於呈現時間資訊的同步校正資訊能校正在主通道信號與子通道信號之間的偏差且藉由其本身來在其間建立同步。然而，基於呈現時間資訊的同步校正資訊被同步計算單元126使用以決定將從緩衝器125讀取之聲音同步特徵量的範圍以在本實例中更精確地同步信號。換言之，基於呈現時間資訊的同步校正資訊係用於粗略地同步記錄在緩衝器125中的聲音同步特徵量與記錄在緩衝器122中的聲音同步特徵量。如上所述地藉由使用基於呈現時間資訊的同步校正資訊，有可能以較少處理量來進行聲音同步特徵量的匹配處理。

<傳輸處理的說明>

接下來，將提出上述提供設備301和內容再現系統之具體操作的說明。

首先，將參考第24圖之流程圖藉由提供設備301所進行之傳輸處理的說明。

在步驟S191中，參考時間信號產生單元311產生主通道信號和子通道信號的呈現時間資訊，且對多工處理單元312和多工處理單元24供應呈現時間資訊。

在步驟S192中，聲音同步特徵量計算單元23 進行聲音同步特徵量計算處理以從配置供應之主通道信號的聲音信號計算聲音同步特徵量，且對多工處理單元24供應聲音同步特徵量。此外，由於在步驟S192中進行的聲音同步特徵量計算處理係與關於第14圖所述之聲音同步特徵量計算處理相同，因此將省略其說明。

在步驟S193中，多工處理單元312藉由多工供應之主通道信號與從參考時間信號產生單元311供應的呈現時間資訊來產生主傳輸信號，且對輸出單元22供應主傳輸信號。此時，多工處理單元312必要時在主通道信號上進行格式轉換。

在步驟S194中，輸出單元22傳送從多工處理單元312供應的主傳輸信號。

在步驟S195中，多工處理單元24藉由多工聲音同步特徵量、子通道信號、和呈現時間資訊來產生子傳輸信號，且對輸出單元25供應子傳輸信號。

亦即，多工處理單元24多工來自聲音同步特徵量計算單元23的聲音同步特徵量、供應之子通道信號、和從參考時間信號產生單元311供應的呈現時間資訊以取得子傳輸信號。

在步驟S196中，輸出單元25傳送從多工處理單元24供應的子傳輸信號且完成傳輸處理。

如上所述，提供設備301產生通常用於主通道信號和子通道信號的呈現時間資訊，且產生包括呈現時間資訊的主傳輸信號和子傳輸信號。

藉由上述配置，有可能藉由在內容再現側上利用呈現時間資訊以較少處理量來同步主內容和子內容。

<主內容再現處理的說明>

若從提供設備301傳送主傳輸信號，則內容再現系統取得主傳輸信號作為主接收信號且再現主內容。以下，將參考第25圖之流程圖來提出藉由內容再現系統之主內容再現處理的說明。

在步驟S221中，輸入單元111取得主接收信號且對分離處理單元351供應主接收信號。例如，輸入單元111藉由接收從提供設備301傳送的主接收信號來取得主接收信號。

在步驟S222中，分離處理單元351將從輸入單元111供應的主接收信號分成主通道信號和呈現時間資訊。分離處理單元351在分開至再現處理單元112之後供應主通道信號且對呈現單元352供應呈現時間資訊。

在步驟S223中，再現處理單元112基於從分離處理單元351供應的主通道信號來再現主內容。在步驟S223中，進行與第15圖之步驟S72中的處理相同的處理。

在步驟S224中，呈現單元352呈現從分離處理單元351供應的呈現時間資訊且完成主內容再現處理。例如，呈現時間資訊在與主內容之再現同步的狀態下以無線方式來傳送至子接收裝置342。

如上所述，內容再現系統取得主接收信號，再現主內容，且呈現主內容(即主通道信號)的呈現時間資訊。

如上所述地藉由在與主內容之再現相同的時間呈現主內容的呈現時間資訊，取得呈現時間資訊的子接收裝置342能藉由使用具有較少處理量的聲音同步特徵量來進行同步計算。

<子內容再現處理的說明>

在與主內容之再現的同步中，內容再現系統取得子接收信號且再現子內容。以下，將參考第26圖之流程圖來提出藉由內容再現系統之子內容再現處理的說明。

由於在步驟S251中的處理係與在第16圖之步驟S101中的處理相同，將省略其說明。

在步驟S252中，分離處理單元124將從輸入單元123供應的子接收信號分成子通道信號、聲音同步特徵量、和呈現時間資訊。接著，分離處理單元124對緩衝器125供應子通道信號和聲音同步特徵量，使緩衝器125將子通道信號和聲音同步特徵量記錄於其中，且對呈現時間資訊比較單元362供應子通道信號的呈現時間資訊。

在步驟S253中，取得單元361藉由接收從呈現單元352傳送的呈現時間資訊來取得主通道信號的呈現時間資訊，且對呈現時間資訊比較單元362供應呈現時間資訊。

在步驟S254中，呈現時間資訊比較單元362比較從分離處理單元124供應的呈現時間資訊與從取得單元361供應的呈現時間資訊，產生基於呈現時間資訊的同步校正資訊，且對同步計算單元126供應同步校正資訊。

例如，基於呈現時間資訊的同步校正資訊係指示作為在各別時間的這串聲音同步特徵量中藉由同步計算單元126的同步計算的目標之範圍(以下，也稱為搜尋範圍)的資訊，其以時間串方式來記錄在緩衝器125中。

搜尋範圍對應於具有預定長度的一串聲音同步特徵量，其包括關聯於指示與目前被再現之主內容相同時間的子通道信號之呈現時間資訊(即取得單元361所取得之最新呈現時間資訊)的聲音同步特徵量。

在對應於相同呈現時間之主通道信號和子通道信號中的位置係相互同步的信號位置，即將在相同時間被再現的再現位置(訊框位置)。藉此，有可能藉由比較呈現時間資訊且偵測在對應於與主通道信號相同的呈現時間資訊之子通道信號中的位置來指定在約略與被再現的主內容同步之子內容中的再現位置。

若藉由比較呈現時間資訊來產生基於呈現時間資訊的同步校正資訊，則進行在步驟S255和S256中的處理。然而，由於處理係與在第16圖之步驟S103和S104中的處理相同，因此將省略其說明。在處理中，收集主內容的聲音，且從聲音計算聲音同步特徵量。

在步驟S257中，同步計算單元126進行同步校正資訊產生處理以產生基於聲音特徵量的同步校正資訊，且對再現處理單元127供應同步校正資訊。之後將提出同步校正資訊產生處理的詳細說明。在處理中，藉由使用基於呈現時間資訊的同步校正資訊來比較記錄在緩衝器122中的聲音同步特徵量和記錄在緩衝器125中的聲音同步特徵量，且產生基於聲音特徵量的同步校正資訊。

在步驟S258中，再現處理單元127依照從同步計算單元126供應之基於聲音特徵量的同步校正資訊來校正記錄在緩衝器125中之子通道信號的再現時序，且在校正之後再現基於子通道信號的子內容。在步驟S258中，進行與在第16圖之步驟S106中的處理相同的處理。

內容再現系統藉由取得主內容的呈現時間資訊且比較主內容的呈現時間資訊與子內容的呈現時間資訊來產生基於呈現時間資訊的同步校正資訊(其係包括在如上所述之子接收信號中)。接著，內容再現系統在包括在藉由基於呈現時間資訊的同步校正資訊指示作為目標之搜尋範圍中的聲音同步特徵量上進行匹配處理，且計算基於聲音特徵量的同步校正資訊。

在上述配置中，即使在經由不同傳輸路徑來傳送主內容和子內容的情況下仍有可能以較少處理量來計算同步校正資訊，且以同步方式來再現內容。

亦即，根據內容再現系統，子接收裝置342首先基於呈現時間資訊約略地同步主通道信號與子通道信號，且根據藉由收集主內容之聲音所取得的聲音信號來計算聲音同步特徵量。

然後，子接收裝置342能藉由進行相對於接收主通道信號之聲音同步特徵量的自動同步計算來在正觀看和聽取子接收裝置342所再現的子內容之使用者的位置進行精確內容同步。由於呈現時間資訊係用以實際上限制同步位置的大致範圍，因此基於聲音同步特徵量的自動同步計算處理所必要的處理量減少。

例如，假設在內容再現系統中的顯示單元82和揚聲器83係佈置在遠離顯示單元86和揚聲器87的位置且使用者觀看和聽取在顯示單元86和揚聲器87附近的內容。在上述情況下，從揚聲器83輸出的聲音到達使用者正觀看和聽取內容的位置需要花一定程度的時間。

因此，在上述情況下，僅藉由比較呈現時間資訊，難以在使用者正觀看和聽取內容的位置精確地同步主內容和子內容之再現。亦即，例如，由於揚聲器83和揚聲器87分別同時地再現主內容的聲音和子內容的聲音，因此若花費了主內容的聲音到達使用者的時間，則使用者在偏差下聽取主內容的聲音和子內容的聲音。

對照之下，根據應用本技術之內容再現系統，藉由連接至子接收裝置342且佈置於子接收裝置342附近的麥克風84來收集主內容的聲音，且進行同步計算。基於此項原因，內容再現系統能在使用者正觀看和聽取內容的位置在同步狀態下再現主內容和子內容。再者，內容再現系統能藉由比較呈現時間資訊、產生基於呈現時間資訊的同步校正資訊、及限制用於匹配處理的搜尋範圍來以較少處理量同步內容。

<同步校正資訊產生處理的說明>

又，將參考第27圖之流程圖來提出對應於在第26圖之步驟S257中的處理之同步校正資訊產生處理的說明。

在步驟S281中，訊框速率轉換單元181和訊框速率轉換單元182必要時進行訊框速率轉換處理。

亦即，訊框速率轉換單元181從緩衝器122讀取用於在主內容中的每個時間區段之聲音同步特徵量的時間串資料，必要時進行訊框速率轉換(即在聲音同步特徵量上降取樣)，且對區塊合併單元183供應聲音同步特徵量。

另外，訊框速率轉換單元182在記錄於緩衝器125中之聲音同步特徵量的時間串資料中僅讀取包括在基於呈現時間資訊(其從呈現時間資訊比較單元362供應)的同步校正資訊所指示之搜尋範圍中的時間串資料。

接著，訊框速率轉換單元182必要時進行訊框速率轉換(即在讀取聲音同步特徵量上降取樣或升取樣)，且對區塊合併單元184供應聲音同步特徵量。

在步驟S282中，區塊合併單元183和區塊合併單元184合併聲音同步特徵量的時間串資料。

具體來說，區塊合併單元183從訊框速率轉換單元181接收用於在主內容中的每個時間區段之聲音同步特徵量的時間串資料之供應。接著，區塊合併單元183將複數個(例如，64個)連續時間區段視為一個區塊，在區塊之單元中的每個時間區段中合併聲音同步特徵量的供應之時間串資料，且對相似性計算單元185供應合併之時間串資料。

此外，區塊合併單元184從訊框速率轉換單元182接收在主內容中的每個時間區段之聲音同步特徵量的時間串資料之供應。接著，區塊合併單元184將複數個(例如，64個)連續時間區段視為一個區塊，在區塊之單元中的每個時間區段合併聲音同步特徵量的供應之時間串資料，且對相似性計算單元185供應合併之時間串資料。

如第28圖中的箭頭A11所示，例如，記錄在緩衝器122中的n個區塊X(i)和記錄在緩衝器125中的m個區塊Y(j)係在第18圖之步驟S162中處理的處理目標。亦即，作為搜尋目標之聲音同步特徵量的區塊組合係n x m個組合。更具體來說，在聲音同步特徵量上適當地進行訊框速率轉換。然而，將在未進行訊框速率轉換以簡化第28圖之說明的假設上繼續說明。

在此，作為匹配處理之目標的區塊Y(j)係記錄在緩衝器125中的所有區塊或在足夠廣範圍中的區塊。

在第28圖中，i是聲音同步特徵量計算單元121所取得的聲音同步特徵量之區塊的索引，且j是包括在子接收信號中的聲音同步特徵量之區塊的索引。

另外，X(i)表示從在聲音同步特徵量計算單元121所取得的聲音同步特徵量中具有索引i的區塊中之聲音同步特徵量的時間串資料，且Y(j)表示從包括在子接收信號中的聲音同步特徵量中具有索引j的區塊中之聲音同步特徵量的時間串資料。

對照之下，在步驟S282中，只有包括在從記錄在緩衝器125中的m個區塊中之基於呈現時間資訊的同步校正資訊所指示之搜尋範圍中的m’個區塊係如箭頭A12所示之匹配處理的目標。亦即，只有m’個區塊係藉由相似性計算單元185之相似性計算的目標。

在本實例中，PTS_i表示呈現時間資訊，且呈現時間資訊所表示的位置對應於在目前被再現之主內容中的位置。此外，包括與主內容之呈現時間資訊的位置同時之對應於子內容之呈現時間資訊的位置之具有預定長度的範圍(即由m’個區塊所配置的範圍)係搜尋範圍。由此，作為搜尋目標的聲音同步特徵量之區塊的組合係n x m’個組合。

有可能藉由使用透過比較呈現時間資訊所取得之基於呈現時間資訊的同步校正資訊來最小化作為匹配處理的目標之聲音同步特徵量的範圍，且藉此顯著地減少在相似性計算中之搜尋所必要的處理時間。

回去第27圖之流程圖的說明，若合併聲音同步特徵量的時間串資料，則處理繼續進行至步驟S283。雖然進行在步驟S283和S284中的處理且完成同步校正資訊產生處理，但處理係與在第18圖之步驟S163和S164中的處理相同，且因此，將省略其說明。若完成同步校正資訊產生處理，則處理繼續進行至第26圖中的步驟S258。

如上所述，內容再現系統藉由使用在基於呈現時間資訊的同步校正資訊所指示之搜尋範圍內的聲音同步特徵量來產生基於聲音特徵量的同步校正資訊。藉由上述配置，有可能以較小處理量以穩健方式來產生同步校正資訊。

另外，第22圖所示之提供設備301和第23圖所示之內容再現系統也能適用於第19至21圖所示之各別系統。

順帶一提，上述這串處理能藉由硬體或軟體來執行。在藉由軟體來執行這串處理的情況下，配置軟體的程式係安裝於電腦中。在此，電腦的實例包括併入專用硬體中的電腦和能夠藉由安裝各種程式來執行各種功能的通用電腦。

第29圖係顯示在藉由程式來執行上述這串處理之電腦中的硬體之配置實例的方塊圖。

在電腦中，中央處理單元(CPU)501、唯讀記憶體(ROM)502、和隨機存取記憶體(RAM)503係經由匯流排504來彼此連接。

再者，輸入和輸出介面505係連接至匯流排504。此外，輸入單元506、輸出單元507、記錄單元508、通訊單元509、和驅動器510係連接至輸入和輸出介面505。

輸入單元506係由鍵盤、滑鼠、麥克風、成像裝置等所配置。輸出單元507係由顯示器、揚聲器等所配置。記錄單元508係由硬碟機、非揮發性記憶體等所配置。通訊單元509係由網路介面等所配置。驅動器510驅動如磁碟、光碟、磁光碟、或半導體記憶體的可移除媒體511。

如上所述配置的電腦藉由CPU 501經由輸入和輸出介面505和匯流排504例如在RAM 503上載入記錄於記錄單元508中的程式且執行程式來進行上述這串處理。

例如，電腦(CPU 501)所執行的程式能記錄在可移除媒體511中作為封包媒體，且能被提供。另外，能經由有線或如區域網路、網際網路、或數位衛星廣播的無線傳輸媒體來提供程式。

電腦能藉由將可移除媒體511安裝於驅動器510上經由輸入和輸出介面505來將程式安裝於記錄單元508中。此外，程式能經由有線或無線傳輸媒體藉由接收在通訊單元509中的程式來安裝於記錄單元508中。另外，程式能事先安裝於ROM 502或記錄單元508中。

此外，電腦所執行之程式可能是根據依本文所述之順序以時間串方式來進行處理的程式或可能是根據在如當存取程式時之時序的必要時序並行地進行的程式。

另外，本技術之實施例並不限於上述實施例，且在不脫離本技術之主旨下能進行各種修改。

例如，本技術能採用雲端計算的配置，其中藉由複數個設備來共享和合作地處理功能。

此外，在上述流程圖中所述之各別步驟能藉由一個設備來執行或能藉由複數個設備來共享和執行。

再者，當複數個程序係包括在一個步驟中時，包括在步驟中的複數個程序能藉由一個設備來執行或能藉由複數個設備來共享和執行。

另外，本文所述之效果僅為了說明性目的而舉例說明且並不打算提出其限制，且可能實現其他效果。

再者，本技術能被配置如下：

(1)一種資訊處理設備，用於藉由不同於資訊處理設備的一第二資訊處理設備來與第一內容之再現同步地再現第二內容，第一內容包含音頻內容，資訊處理設備包含電路，配置以：從音頻內容提取一第一特徵；獲得音頻內容的一第二特徵，第二特徵係與第二內容一起；比較第一特徵與第二特徵；及基於比較之結果來產生用於與第一內容同步地再現第二內容的同步資訊。

(2)如第(1)項所述之資訊處理設備，其中電路係配置以：從經由藉由第二資訊處理設備的音頻內容之再現所產生的聲音取得一音頻信號；及從音頻信號提取第一特徵。

(3)如第(1)項或第(2)項所述之資訊處理設備，其中第二內容和第二特徵係在基於在第一內容的到達時間與第二內容和第二特徵的到達時間之間的一差值所決定的一時間被傳送至資訊處理設備。

(4)如第(1)項所述之資訊處理設備，其中電路係配置以：請求第二內容和第二特徵之傳輸；及接收回應於請求而被傳送的第二內容和第二特徵。

(5)如第(4)項所述之資訊處理設備，其中電路係配置以：請求第一內容之傳輸；及接收回應於對第一內容之傳輸的請求而被傳送的第一內容。

(6)如第(1)項所述之資訊處理設備，其中電路係配置以：從音頻內容提取第一複數個特徵，第一複數個特徵包括第一特徵；獲得第二複數個特徵連同第二內容，第二複數個特徵包括第二特徵；比較第一複數個特徵與第二複數個特徵；及基於比較第一複數個特徵與第二複數個特徵之結果來產生用於與第一內容同步地再現第二內容的同步資訊。

(7)如第(1)項所述之資訊處理設備，其中電路係配置以控制第二內容之再現。

(8)如第(7)項所述之資訊處理設備，其中電路係配置以基於同步資訊來校正第二內容的一再現位置。

(9)如第(1)項所述之資訊處理設備，其中電路係配置以：取得關聯於第一內容的呈現時間資訊；及基於比較關聯於第一內容的呈現時間資訊與關聯於第二內容的呈現時間資訊之結果來獲得一時間範圍，其中電路係配置以至少部分藉由比較第二特徵與從出現在時間範圍中之第一內容中的第一內容之一或更多部分提取的一或更多特徵來產生同步資訊。

(10)如第(1)項所述之資訊處理設備，其中電路係配置以在對第一特徵和第二特徵之至少一者進行訊框速率轉換之後，比較第一特徵與第二特徵，使得第一特徵的訊框速率符合第二特徵的訊框速率。

(11)一種資訊處理方法，用於與第一內容之再現同步地再現第二內容，第一內容包含音頻內容，資訊處理方法包含：從音頻內容提取一第一特徵；獲得一第二特徵連同第二內容；比較第一特徵與第二特徵；及基於比較之結果來產生用於與第一內容同步地再現第二內容的同步資訊。

(12)至少一種儲存處理器可執行指令的非暫態電腦可讀儲存媒體，當這些指令被至少一電腦執行時會使至少一電腦進行用於與第一內容之再現同步地再現第二內容的一資訊處理方法，第一內容包含音頻內容，資訊處理方法包含：從音頻內容提取一第一特徵；獲得一第二特徵連同第二內容；比較第一特徵與第二特徵；及基於比較之結果來產生用於與第一內容同步地再現第二內容的同步資訊。

(13)一種資訊處理設備，包含：電路，配置以從藉由第一內容之再現產生的聲音提取一特徵；與第一內容同步地關聯特徵與第二內容，第二內容具有與第一內容的一時間同步關係；及輸出第二內容和特徵。

(14)如第(13)項所述之資訊處理設備，其中電路係配置以輸出第一內容。

(15)如第(14)項所述之資訊處理設備，其中電路係配置以在基於第一內容與第二內容的到達時間之間的一差值所決定的一時間來輸出第二內容和特徵。

(16)如第(14)項所述之資訊處理設備，其中電路係配置以回應於對其傳輸的一請求而輸出第二內容和特徵。

(17)如第(16)項所述之資訊處理設備，其中電路係配置以回應於對其傳輸的一請求而輸出第一內容。

(18)如第(13)項所述之資訊處理設備，其中電路係配置以：從由再現第一內容之複數個部分產生的聲音提取複數個特徵；及關聯並輸出所提取的特徵與第二內容。

(19)如第(13)項所述之資訊處理設備，其中電路係配置以：降取樣特徵以獲得一降取樣特徵；及輸出第二內容和降取樣特徵。

(20)一種資訊處理方法，包含：從藉由第一內容之再現產生的聲音提取一特徵；與第一內容同步地關聯特徵與第二內容，第二內容具有與第一內容的一時間同步關係；及輸出第二內容和特徵。

(21)至少一種非暫態電腦可讀儲存媒體，當被至少一電腦執行時會使至少一電腦進行：從藉由第一內容之再現產生的聲音提取一特徵；與第一內容同步地關聯特徵與第二內容，第二內容具有與第一內容的一時間同步關係；及輸出第二內容和特徵。

也應了解本文所述之本技術的態樣並不限於允許在兩個裝置之間的內容之同步再現。因此，在一些實施例中，本文所述之技術可能適用於在超過兩個裝置(例如，三個、四個、五個、至少五個、至少十個、在兩個和十個之間、等等)中的內容之同步再現。

本領域之那些技術者應了解可能依據落在所附之申請專利範圍或其等效範圍內的設計需求及其他因素而出現各種修改、組合、子組合和變更。