[go: up one dir, main page]

TWI791677B - 低電量操作用應用處理器、包含該處理器的電子裝置及其相關聯的方法 - Google Patents

低電量操作用應用處理器、包含該處理器的電子裝置及其相關聯的方法 Download PDF

Info

Publication number
TWI791677B
TWI791677B TW107140943A TW107140943A TWI791677B TW I791677 B TWI791677 B TW I791677B TW 107140943 A TW107140943 A TW 107140943A TW 107140943 A TW107140943 A TW 107140943A TW I791677 B TWI791677 B TW I791677B
Authority
TW
Taiwan
Prior art keywords
trigger
audio
voice
application processor
audio subsystem
Prior art date
Application number
TW107140943A
Other languages
English (en)
Other versions
TW201933087A (zh
Inventor
金善奎
李炳卓
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201933087A publication Critical patent/TW201933087A/zh
Application granted granted Critical
Publication of TWI791677B publication Critical patent/TWI791677B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/36—Handling requests for interconnection or transfer for access to common bus or bus system
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484—User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Power Sources (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

一種應用處理器包括系統匯流排、主機處理器、語音觸 發系統及音訊子系統，所述主機處理器、所述語音觸發系統及所述音訊子系統電性連接至所述系統匯流排。所述語音觸發系統基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作併發佈觸發事件。所述音訊子系統藉由所述音訊子系統的音訊介面來處理音訊串流。

Description

低電量操作用應用處理器、包含該處理器的電 子裝置及其相關聯的方法 [相關申請案的交叉參考]
本美國非臨時申請案依據35 USC § 119主張於2018年1月25日在韓國智慧財產局(Korean Intellectual Property Office，KIPO)提出申請的韓國專利申請案第10-2018-0009330號的優先權，所述韓國專利申請案的揭露內容全部併入本文中供參考。
與本發明一致的設備、方法、裝置及製品大體而言是有關於半導體積體電路，且更具體而言是有關於一種低電量操作用應用處理器、一種包含所述應用處理器的電子裝置及一種相關聯的方法。
近來，已引入了基於語音(voice-based)的或基於聲音(sound-based)的智慧介面。此類基於語音的智慧介面的一個優點是，使用者可在無需握持或甚至注視裝置的情況下以免提方式與裝置互動。當人們無法或不應實體上握持裝置時，例如當其正 在駕駛時或當其具有肢體障礙等時，免提操作可為特別有益的。然而，為起始基於語音的智慧介面，使用者通常必須按壓按鈕或選擇觸控螢幕上的圖符。此種觸覺輸入有損於基於語音的智慧介面的使用者體驗。
因此，電子裝置一直被開發成使用語音、話音、聲音、感測等輸入而非觸覺輸入來啟用基於語音的智慧介面。所述電子裝置對音訊通道執行連續或間歇的監測，以偵測語音輸入併發佈觸發事件來起始基於語音的智慧介面。發佈觸發事件的操作可被稱為語音觸發操作(voice trigger operation)。對音訊通道的此種監測會消耗電力，而電力在依賴於電池的手持式或可攜式裝置上是有限的資源。因此，提供一種與語音觸發操作相關聯的節能型解決方案是有利的。
一個態樣是提供一種應用處理器及一種包含應用處理器的電子裝置，所述應用處理器能夠以低電量來執行語音觸發操作。
另一態樣是提供一種操作能夠以低電量來執行語音觸發操作的應用處理器的方法。
根據一或多個示例性實施例的態樣，一種應用處理器包括：系統匯流排；主機處理器，電性連接至所述系統匯流排；語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發 操作併發佈觸發事件；以及音訊子系統，包括音訊介面且電性連接至所述系統匯流排，所述音訊子系統被配置成藉由所述音訊介面來處理音訊串流。
根據一或多個示例性實施例的另一態樣，一種電子裝置包括至少一個音訊輸入-輸出裝置以及應用處理器，所述應用處理器包括：系統匯流排；主機處理器，電性連接至所述系統匯流排；語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作併發佈觸發事件；以及音訊子系統，包括音訊介面且電性連接至所述系統匯流排，所述音訊子系統被配置成藉由所述音訊介面來處理音訊串流。
根據一或多個示例性實施例的另一態樣，一種方法包括：由語音觸發系統基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作，以發佈觸發事件，所述語音觸發系統與主機處理器、音訊子系統以及電性連接所述主機處理器、所述語音觸發系統及所述音訊子系統的系統匯流排一起整合於形成應用處理器的單個半導體晶片中；以及由所述音訊子系統藉由所述音訊子系統的音訊介面來處理音訊串流。
2:前置攝影機
3、62:揚聲器
4:近接感測器
5:亮度感測器
6:通用串列匯流排(USB)介面
7:電源按鈕
8:音量按鈕
9:顯示與觸控螢幕
10:圖符
11:選單按鈕
12:主頁按鈕
13:後退按鈕
14:麥克風
15:音訊輸出介面
16:天線
31、32、33、SEN1、SEN2、SEN3:感測器
40、DMIC:數位麥克風
50、55、CODEC:音訊編解碼器
61、AMIC:類比麥克風
70、BTM:藍芽模組
80、BTAUD:藍芽傳遞模組
81、BMIC:藍芽麥克風
82、85:藍芽揚聲器
100:主機處理器
200、201、202、203、204、205、VTS:語音觸發系統
211、212、213、214、215、IFV:觸發介面電路IFV
214a、SMP1:第一取樣器
214b、SMP2:第二取樣器
221、222、223、224、225、WRPP:包裝器
224a、225a、WRPP1:第一包裝器
224b、225b、WRPP2:第二包裝器
231、232、233、234、235、MEMV:觸發記憶體
241、242、243、244、245、PRCV:觸發處理器
250、AUD:音訊處理系統
254:訊號選擇器
265:取樣率轉換器
271:時脈供應電路
272:時脈選擇器
273:鎖相迴路電路
274、276、278、DIV:時脈分頻器
275、RCO:阻容(RC)振盪器
277、CG:時脈產生器
279:開關
300、301、302、ABOX:音訊子系統
311、312、IFA:音訊介面電路
321、322、DMA:直接記憶體存取控制器
331、332、MEMA:音訊記憶體
341、342、PRCA:音訊處理器
400、403、CHUB:感測器中樞
413、LOGS:感測器邏輯
423、MEMS:感測器記憶體
433、PRCS:感測器處理器
500、600:直接匯流排
900、MBX、MBXc:信箱模組
910、APB INTERFACE:介面
920、MESSAGE:訊息方塊
930:第一暫存器電路
940:第二暫存器電路
1000、1000a:電子裝置
1200:記憶體裝置
1300:儲存裝置
1400:通訊模組/功能模組
1500:攝影機模組/功能模組
1600:輸入/輸出(I/O)模組/功能模組
1700:音訊模組/功能模組
1800、PMIC:電源管理積體電路
2000、2001、2002、2003、AP:應用處理器
2100、SYSBUS:系統匯流排
2110:AHB2APB橋接器
AIF:音訊介面
APM:工作電源管理器
CG:時脈產生器
EN、EN1、EN2、EN3、EN4:電源賦能訊號
INTCR0、INTGR0、INTMR0、INTMSR0、INTSR0、INTCR1、INTGR1、INTMR1、INTMSR1、INTSR1:暫存器
ITRR:中斷訊號
ITRC:中斷控制器
MBXa:信箱模組/第一信箱模組
MBXb:信箱模組/第二信箱模組
MICCLK:麥克風時脈訊號
MUX:訊號選擇器/時脈選擇器
PD11、PD12、PD13、PD31、PD32、PD33:焊墊
PD21:音訊輸入焊墊
PD22:音訊輸出焊墊
PG1、PG2、PG3、PG4:電源閘控電路
PWDM1:第一電源域/始終供電域
PWDM2:第二電源域/省電域
S10、S20、S30、S40、S50、S100、S200、S510、S520、S530、S710、S720、S730:操作
SAMIC:編解碼器觸發輸入訊號
SDI:音訊輸入訊號
SDMIC:麥克風觸發輸入訊號
SDO:音訊輸出訊號
SMIC:觸發輸入訊號
SYSCNT:系統計數器
TIF:觸發介面
TM:時間資訊
結合附圖閱讀以下詳細說明，將更清晰地理解各示例性實施例，附圖中：圖1是說明根據示例性實施例操作應用處理器的方法的流程 圖。
圖2A是說明根據示例性實施例的電子裝置的方塊圖。
圖2B是圖2A所示電子裝置的示例性實施方案。
圖3是說明根據示例性實施例的應用處理器的方塊圖。
圖4是說明根據示例性實施例操作應用處理器的方法的流程圖。
圖5是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。
圖6是說明圖5所示應用處理器中所包含的信箱模組(mail box module)的示例性實施例的圖。
圖7是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。
圖8是說明根據示例性實施例操作應用處理器的方法的流程圖。
圖9是說明根據示例性實施例的應用處理器中的語音觸發系統與感測器中樞(sensor hub)的示例性連接的方塊圖。
圖10A及圖10B是說明圖9所示應用處理器中所包含的語音觸發系統的示例性實施例的方塊圖。
圖11是說明根據示例性實施例操作應用處理器的方法的流程圖。
圖12A及圖12B是用於闡述根據示例性實施例的應用處理器的電源域(power domain)的圖。
在下文中，將參照其中示出一些示例性實施例的附圖更全面地闡述各種示例性實施例。在所有圖式中，相同的編號指代相同的元件。可不對重複的內容進行贅述。
根據示例性實施例的應用處理器、包含所述應用處理器的電子裝置及操作所述應用處理器的方法可藉由將語音觸發系統整合於所述應用處理器中而以低電量及高效率來執行語音觸發操作。晶片上(on-chip)語音觸發系統可代替應用處理器中的主機處理器來執行一些操作，以降低電子裝置的電力消耗並增強電子裝置的效能。另外，可使用晶片上語音觸發系統及直接匯流排來執行與系統匯流排獨立的資料通訊，以降低應用處理器的喚醒頻率(wakeup frequency)，進而更降低電力消耗並增強效能。
圖1是說明根據示例性實施例操作應用處理器的方法的流程圖。
參照圖1，在其中主機處理器、語音觸發系統、音訊子系統、以及電性連接所述主機處理器、所述語音觸發系統及所述音訊子系統的系統匯流排被整合為單個半導體晶片的應用處理器中，由語音觸發系統基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作以發佈觸發事件(S100)。由音訊子系統處理藉由音訊介面所重播或記錄的音訊串流(S200)。所述音訊子系統可更支援音訊串流在音訊介面與記憶體裝置之間的傳遞。
本發明中的語音觸發操作可指示用以監測觸發輸入訊 號是否包含特定觸發聲音並在偵測到所述觸發聲音時發佈觸發事件(例如中斷訊號)以起始語音辨識模式或基於語音的智慧介面的操作。語音辨識模式的起始可包括將主機處理器及/或系統匯流排啟動成工作模式(active mode)。
在一些示例性實施例中，觸發聲音可包括人類語音的詞語及/或片語。在其他示例性實施例中，觸發聲音可包括除人類語音之外的聲音，例如口哨聲、拍手的聲音、汽笛聲、碰撞的聲音、具有特定頻率範圍的音波等。
根據示例性實施例的應用處理器、包含所述應用處理器的電子裝置及操作所述應用處理器的方法可藉由將語音觸發系統整合於所述應用處理器中而以低電量及高效率來執行語音觸發操作。
圖2A是說明根據示例性實施例的電子裝置的方塊圖。
參照圖2A，電子裝置1000包括應用處理器AP 2000、記憶體裝置1200、儲存裝置1300、多個功能模組(包括通訊模組1400、攝影機模組1500、輸入/輸出(input/output，I/O)模組1600及音訊模組1700)、以及電源管理積體電路PMIC 1800。
應用處理器2000控制電子裝置1000的整體操作。舉例而言，應用處理器2000可控制記憶體裝置1200、儲存裝置1300以及所述多個功能模組1400、1500、1600及1700。應用處理器2000可為系統晶片(system on chip，SoC)。
應用處理器2000可包括系統匯流排2100、主機處理器 100(亦被稱為中央處理單元(central processing unit，CPU))、語音觸發系統VTS 200、及音訊處理系統AUD 250，後三者電性連接至系統匯流排2100。
語音觸發系統200可電性連接至系統匯流排2100、基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作併發佈觸發事件。音訊處理系統250可包括音訊子系統且可更包括感測器中樞，如以下將進行闡述。所述音訊子系統可電性連接至系統匯流排2100，以處理藉由音訊介面所重播或記錄的音訊串流。另外，所述音訊子系統可更支援音訊串流在音訊介面與記憶體裝置1200之間的傳遞。以下將參照圖3至圖12B來闡述語音觸發系統200及音訊處理系統250的示例性實施例。
記憶體裝置1200及儲存裝置1300可為電子裝置1000的操作儲存資料。記憶體裝置1200可包括揮發性記憶體裝置，例如動態隨機存取記憶體(dynamic random access memory，DRAM)、靜態隨機存取記憶體(static random access memory，SRAM)、行動DRAM等。儲存裝置1300可包括非揮發性記憶體裝置，例如可抹除可程式化唯讀記憶體(erasable programmable read-only memory，EPROM)、電可抹除可程式化唯讀記憶體(electrically erasable programmable read-only memory，EEPROM)、快閃記憶體、相變隨機存取記憶體(phase change random access memory，PRAM)、電阻隨機存取記憶體(resistance random access memory，RRAM)、奈米浮閘記憶體(nano floating gate memory，NFGM)、聚合物隨機存取記憶體(polymer random access memory，PoRAM)、磁性隨機存取記憶體(magnetic random access memory，MRAM)、鐵電式隨機存取記憶體(ferroelectric random access memory，FRAM)等。在一些示例性實施例中，儲存裝置1300可更包括嵌入式多媒體卡(embedded multimedia card，eMMC)、通用快閃儲存器(universal flash storage，UFS)、固態磁碟機(solid state drive，SSD)、硬碟機(hard disk drive，HDD)、光碟-唯讀記憶體(compact disc-read only memory，CD-ROM)等。
功能模組1400、1500、1600及1700可執行電子裝置1000的各種功能。舉例而言，電子裝置1000可包括：通訊模組1400，執行通訊功能(例如，分碼多重存取(code division multiple access，CDMA)模組、長期演進(long term evolution，LTE)模組、射頻(radio frequency，RF)模組、超寬頻(ultra-wideband，UWB)模組、無線區域網路(wireless local area network，WLAN)模組、全球微波存取互通(worldwide interoperability for microwave access，WIMAX)模組等)；攝影機模組1500，執行攝影機功能；輸入-輸出(I/O)模組1600，包括顯示模組及觸控面板模組，所述顯示模組執行顯示功能，所述觸控面板模組執行觸控感測功能；以及音訊模組1700，包括麥克風(microphone，MIC)模組、揚聲器模組等，執行音訊訊號的輸入-輸出。在一些示例性實施例中，電子裝置1000可更包括全球定位系統(global positioning system，GPS)模組、陀螺儀模組等。然而，電子裝置1000中的功能模組1400、1500、1600及1700並非僅限於此。
電源管理積體電路1800可將操作電壓提供至應用處理器2000、記憶體裝置1200、儲存裝置1300、以及功能模組1400、1500、1600及1700。
圖2B是圖2A所示電子裝置的示例性實施方案。
圖2A所示電子裝置1000可為例如以下等的裝置：桌上型電腦、膝上型電腦、蜂巢式電話(cellular phone)、智慧型電話、MP3播放器、個人數位助理(personal digital assistant，PDA)、可攜式多媒體播放器(portable multimedia player，PMP)、數位電視機、數位攝影機、伺服器電腦、工作站、機上盒、可攜式遊戲機、導航系統、可穿戴裝置、物聯網(internet of things，IoT)裝置、萬物聯網(internet of everything，IoE)裝置、電子書、虛擬實境(virtual reality，VR)裝置、擴增實境(augmented reality，AR)裝置等。電子裝置1000通常可因應於直接使用者輸入而運作，但亦可用於藉由網際網路或其他網路系統與其他裝置進行通訊。圖2B說明包括觸控螢幕的蜂巢式電話或智慧型電話作為圖2A所示電子裝置1000的實例。
參照圖2B，電子裝置1000a包括前置攝影機2、揚聲器3、近接感測器4、亮度感測器5、通用串列匯流排(universal serial bus，USB)介面6、電源按鈕7、音量按鈕8、顯示與觸控螢幕9、圖符10、選單按鈕11、主頁按鈕(home button)12、後退按鈕(back button)13、麥克風14、音訊輸出介面15、及天線16。
前置攝影機2可面向顯示與觸控螢幕9的方向，且用於視訊呼叫或者視訊或照片拍攝。當使用者藉由在圖符10中的一者上對顯示與觸控螢幕9進行觸控或者利用話音而輸入訊號來播放多媒體資料、藉由公用交換電話網路與另一使用者通話、或者播放電子裝置1000a的操作聲音或通知聲音時，揚聲器3可輸出音訊資料。近接感測器4可控制顯示與觸控螢幕9的接通或關斷，以節省電力並在使用者將電子裝置1000a舉起至耳朵以進行電話交談時防止誤操作。亮度感測器5可根據自電子裝置1000a的周圍環境入射的光的量來控制顯示與觸控螢幕9及前置攝影機2的操作。USB介面6可為用於與外部裝置及電源供應器進行資料通訊的輸入/輸出介面。
電源按鈕7可接通或關斷電子裝置1000a的電源，或者可接通或關斷顯示與觸控螢幕9。音量按鈕8可控制揚聲器3的音訊輸出。在顯示與觸控螢幕9上可顯示與不同的功能對應的圖符10。舉例而言，使用者可觸控與多媒體資料的回放對應的圖符10。
選單按鈕11可容許使用者瀏覽包含圖符及設定的選單。主頁按鈕12可容許甚至在電子裝置1000a正在顯示與觸控螢幕9上執行某一操作時亦顯現主頁畫面(home screen)以達成多工作模式(multi-working mode)。後退按鈕13可取消當前正由電子裝置1000a執行的操作並使使用者返回至前一畫面。
麥克風14可為用於語音呼叫或語音輸入訊號的輸入/輸 出(I/O)介面。音訊輸出介面15(例如，耳機插孔)可用於正被播放的多媒體資料的音訊輸出。雖然圖中未示出，然而可藉由支援藍芽(Bluetooth)的裝置來介接音訊輸出及麥克風輸入。天線16可用於接收數位媒體廣播服務。可以此項技術中具有通常知識者可達成的各種方式來實施電子裝置1000a的元件。圖2B所示元件中的一些元件可被省略或被替換成其他元件。
圖3是說明根據示例性實施例的應用處理器的方塊圖。
參照圖3，應用處理器2000可包括系統匯流排SYSBUS 2100、主機處理器CPU 100、語音觸發系統200、音訊子系統300、及感測器中樞400。音訊子系統300及感測器中樞400可包含於圖2A所示音訊處理系統250中。根據示例性實施例，應用處理器2000可更包括工作電源管理器APM、信箱模組MBXa、MBXb及MBXc、以及中斷控制器ITRC。
系統匯流排2100可被稱為互連裝置或骨幹(backbone)。系統匯流排2100可包括較高層匯流排、較低層匯流排、以及連接所述較高層匯流排與所述較低層匯流排的橋接器。舉例而言，系統匯流排2100可包括例如進階可延伸介面(advanced extensible interface，AXI)、進階高效能匯流排(advanced high-performance bus，AHB)、進階周邊匯流排(advanced peripheral bus，APB)等各種匯流排、以及連接所述進階可延伸介面(AXI)、進階高效能匯流排(AHB)、進階周邊匯流排(APB)等的至少一個橋接器。主機處理器100可藉由系統匯 流排2100來存取外部裝置，例如記憶體裝置1200及/或儲存裝置1300。另外，主機處理器100可藉由系統匯流排2100與語音觸發系統200、音訊子系統300及感測器中樞400進行通訊。
雖然為方便說明在圖3中僅說明瞭一個中斷控制器ITRC，然而中斷控制器ITRC可包括至少一個通用中斷控制器(general interrupt controller，GIC)、至少一個向量化中斷控制器(vectored interrupt controller，VIC)等。舉例而言，中斷控制器ITRC可被實作為可程式化中斷控制器(programmable interrupt controller，PIC)。可利用具有由向量表示的優先級系統的多個層來實作可程式化中斷控制器。可程式化中斷控制器可自周邊裝置接收中斷訊號、確定所接收中斷訊號的優先級並向處理器或控制器發佈具有指標位址(pointer address)的中斷訊號。
工作電源管理器APM可管理應用處理器2000的電源。工作電源管理器APM可管理對應用處理器2000的相應區或功能區塊供應的電力。信箱模組MBXa、MBXb及MBXc可支援應用處理器2000中的各元件之間的資料通訊或應用處理器2000與外部裝置之間的資料通訊的同步化。以下將參照圖6來闡述信箱模組MBXa、MBXb及MBXc。
語音觸發系統200電性連接至系統匯流排2100。語音觸發系統200基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作併發佈觸發事件。在一些示例性實施例中，語音觸發系統200可自數位麥克風DMIC 40及/或音訊編解碼器(編碼器及解 碼器)CODEC 50接收觸發輸入訊號。換言之，語音觸發系統200的觸發介面可直接連接至數位麥克風40及音訊編解碼器50。音訊編解碼器50可對自數位麥克風40及/或類比麥克風AMIC 61接收的音訊訊號以及輸出至揚聲器62的音訊訊號執行編碼及解碼(或者類比至數位轉換(analog-to-digital conversion，ADC)及數位至類比轉換(digital-to-analog conversion，DAC))。數位麥克風40可為與應用處理器2000一起安裝於電子裝置的板上的板上(on-board)麥克風。類比麥克風61及揚聲器62可為附裝至音訊編解碼器50的端子以及可自所述端子拆卸的裝置。
音訊子系統300電性連接至系統匯流排2100，且音訊子系統300處理藉由音訊介面所重播或記錄的音訊串流並支援音訊串流在記憶體裝置1200與音訊介面之間的傳遞。在一些示例性實施例中，音訊子系統300可與音訊編解碼器50及/或藍芽模組BTM 70交換音訊串流。換言之，音訊子系統300的音訊介面可直接連接至音訊編解碼器50及藍芽模組70。藍芽模組70可藉由藍芽傳遞模組BTAUD 80連接至藍芽麥克風BMIC 81及藍芽揚聲器82，以自藍芽麥克風81接收音訊訊號以及將音訊訊號輸出至藍芽揚聲器82。藍芽模組70可直接連接至另一藍芽揚聲器85。雖然圖3中未說明，然而音訊子系統300可連接至通用串列匯流排(USB)模組，以與所述USB模組交換音訊串流。
感測器中樞400電性連接至系統匯流排2100，且感測器中樞400處理自一或多個感測器SEN1 31及SEN2 32提供的訊 號。感測器中樞400可量測與電子裝置相關聯的物理量並且處理所述物理量，以偵測電子裝置的操作狀態並處理所偵測的操作狀態。舉例而言，感測器31及32可包括運動感測器、陀螺儀感測器、大氣壓力感測器、磁感測器、加速度計、緊握感測器(grip sensor)、近接感測器、生物辨識感測器(biometric sensor)、溫度/濕度感測器、照度感測器、以及紫外線(ultra violet，UV)感測器、電子鼻(electrical-nose，E-nose)感測器、肌電圖(electromyography，EMG)感測器、腦電圖(electroencephalogram，EEG)感測器、心電圖(electrocardiogram，ECG)感測器、紅外線(infrared，IR)感測器、虹膜感測器、及/或指紋感測器。
在一些示例性實施例中，如圖3中所說明，所有的系統匯流排2100、語音觸發系統200、音訊子系統300及感測器中樞400可整合於形成應用處理器2000的單個半導體晶片中。在其他示例性實施例中，系統匯流排2100、語音觸發系統200及音訊子系統300可整合於單個晶片中，且感測器中樞400可設置於應用處理器2000的外部。然而，在任一情形中，語音觸發系統200均設置於應用處理器2000上，且因此，根據示例性實施例的應用處理器、包含所述應用處理器的電子裝置及操作所述應用處理器的方法可藉由將語音觸發系統整合於所述應用處理器中而以低電量及高效率來執行語音觸發操作。
圖4是說明根據示例性實施例操作應用處理器的方法的 流程圖。
參照圖4，提供用以電性連接語音觸發系統與音訊子系統的直接匯流排(S510)，且提供信箱模組，所述信箱模組用以支援語音觸發系統與音訊子系統之間的資料通訊的同步化(S520)。與系統匯流排獨立地藉由直接匯流排及信箱模組執行語音觸發系統與音訊子系統之間的資料通訊(S530)。
在下文中，將參照圖5、圖6及圖7來闡述圖4所示方法及應用處理器的相關聯配置的示例性實施例。
圖5是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。在圖5中存在但為方便說明省略了圖3所示的主機處理器100及其他元件。
參照圖5，應用處理器2001可包括系統匯流排SYSBUS 2100、語音觸發系統201、音訊子系統301、直接匯流排500、及信箱模組MBX。音訊子系統301可包含於圖2A所示音訊處理系統250中。
語音觸發系統201電性連接至系統匯流排2100，且語音觸發系統201基於藉由觸發介面TIF所提供的麥克風觸發輸入訊號SDMIC及/或編解碼器觸發輸入訊號SAMIC來執行語音觸發操作。語音觸發系統201可自數位麥克風DMIC 40接收麥克風觸發輸入訊號SDMIC及/或自音訊編解碼器(編碼器及解碼器)CODEC 50接收編解碼器觸發輸入訊號SAMIC。可在語音觸發系統201、數位麥克風40及音訊編解碼器50之間傳遞麥克風時脈訊號 MICCLK，以使訊號傳遞同步化。可藉由焊墊PD11、PD12及PD13來傳遞麥克風觸發輸入訊號SDMIC及編解碼器觸發輸入訊號SAMIC以及麥克風時脈訊號MICCLK。焊墊PD11、PD12及PD13可被實作成使得可防止已使用的焊墊受其他未使用的焊墊干擾。
音訊子系統301電性連接至系統匯流排2100，並且音訊子系統301處理藉由音訊介面AIF所重播或記錄的音訊串流，且支援音訊串流在記憶體裝置1200與音訊介面之間的傳遞。在一些示例性實施例中，音訊子系統301可與音訊編解碼器50交換音訊串流。音訊子系統301可藉由音訊輸入焊墊PD21自音訊編解碼器50接收音訊輸入訊號SDI，且藉由音訊輸出焊墊PD22將音訊輸出訊號SDO傳送至音訊編解碼器50。
語音觸發系統201可包括觸發介面電路IFV 211、包裝器(wrapper)WRPP 221、觸發記憶體MEMV 231、及觸發處理器PRCV 241。
觸發介面電路211以及焊墊PD11、PD12及PD13可形成觸發介面TIF，以對自數位麥克風40提供的麥克風觸發輸入訊號SDMIC及/或自音訊編解碼器50提供的編解碼器觸發輸入訊號SAMIC進行取樣及轉換。包裝器221可將自觸發介面電路211提供的資料儲存於觸發記憶體231中。當觸發記憶體231中儲存有臨限量的資料時，包裝器221可向觸發處理器241發佈中斷訊號，以使得觸發處理器241可基於觸發記憶體231中所儲存的資料來執行語音觸發操作。
在一些示例性實施例中，語音觸發系統201可接收脈波密度調變(pulse density modulation，PDM)訊號作為麥克風觸發輸入訊號SDMIC及編解碼器觸發輸入訊號SAMIC，並將所述PDM訊號轉換成脈波碼調變(pulse code modulation，PCM)資料。包裝器221可將PCM資料儲存於觸發記憶體231中。包裝器221可以直接記憶體存取控制器來實作。
音訊子系統301可包括音訊介面電路IFA 311、直接記憶體存取控制器DMA 321、音訊記憶體MEMA 331、及音訊處理器PRCA 341。
音訊介面電路311以及音訊輸入焊墊PD21及音訊輸出焊墊PD22可形成音訊介面AIF，以藉由音訊輸入訊號SDI及音訊輸出訊號SDO傳遞音訊串流。音訊記憶體331可儲存音訊串流的資料，且直接記憶體存取控制器321可控制對音訊記憶體的存取，亦即，自音訊記憶體331讀取資料以及將資料寫入至音訊記憶體331。音訊處理器341可處理音訊記憶體331中所儲存的資料。
在一些示例性實施例中，音訊介面電路IFA 311可與IC間聲音(Inter-IC Sound，I2S)標準或積體晶片間聲音(Integrated Interchip Sound，IIS)標準相容。即使圖5中未說明，音訊介面電路311亦可根據I2S標準而基於時脈訊號來運作。在一些示例性實施例中，音訊介面電路311可直接連接至數位麥克風40及/或音訊編解碼器50。
如圖5中所說明，應用處理器2001可更包括連接語音 觸發系統201與音訊子系統301的直接匯流排500。另外，應用處理器2001可更包括支援語音觸發系統201與音訊子系統301之間的資料傳送或資料通訊的同步化的信箱模組MBX。
應用處理器2001可與系統匯流排2100獨立地藉由直接匯流排500及信箱模組MBX來執行語音觸發系統201與音訊子系統301之間的資料通訊。直接匯流排500並非僅限於典型的匯流排系統，且直接匯流排500可以任意的訊號傳送方案來實作。
在一些示例性實施例中，音訊子系統301可在其中語音觸發系統201不執行語音觸發操作的情形中藉由直接匯流排500而使用語音觸發系統201中的觸發記憶體MEMV 231的至少一部分作為快取記憶體。舉例而言，在應用處理器2001執行呼叫功能或記錄功能時，語音觸發系統201可不執行語音觸發操作。在此種情形中，音訊子系統301可藉由利用觸發記憶體231的至少一部分作為快取記憶體而增強操作速度。舉例而言，音訊子系統301可使用音訊子系統301內部的音訊記憶體MEMA 331作為L1快取記憶體，且使用語音觸發系統201中的觸發記憶體231作為L2快取記憶體。
圖6是說明圖5所示應用處理器中所包含的信箱模組的示例性實施例的圖。
參照圖6，信箱模組900可包括介面APB INTERFACE 910、訊息方塊MESSAGE 920、第一暫存器電路930及第二暫存器電路940，第一暫存器電路930包括多個暫存器INTGR0、 INTCR0、INTMR0、INTSR0及INTMSR0，第二暫存器電路940包括多個暫存器INTGR1、INTCR1、INTMR1、INTSR1及INTMSR1。圖6說明其中信箱模組900藉由APB介面連接至系統匯流排2100的AHB2APB橋接器2110且訊息方塊920是以具有6*32位元的共用暫存器來實作的非限制性實例。然而，此僅為實例，且可以各種方式確定介面910的類型、以及訊息方塊920中暫存器的數目及位元數目。第一暫存器電路930可產生向語音觸發系統201中的觸發處理器PRCV提供的中斷訊號(IRQ至PRCV)，且第二暫存器電路940可產生向音訊子系統301中的音訊處理器PRCA提供的中斷訊號(IRQ至PRCA)。可使用信箱模組900來使語音觸發系統201與音訊子系統301之間的資料傳送同步化。
信箱模組900可藉由在觸發處理器PRCV及音訊處理器PRCA中的一者在訊息方塊920中寫入訊息之後傳送中斷訊號來執行雙向通訊(bilateral communication)。可藉由輪詢方法等來實作語音觸發系統201與音訊子系統301之間的資料傳送的同步化。
圖7是說明根據示例性實施例的應用處理器中的語音觸發系統與音訊子系統的示例性連接的方塊圖。為簡明起見且為使說明清晰，不再對與圖5所示組件相同或相似的組件予以贅述。
參照圖7，應用處理器2002可包括系統匯流排SYSBUS 2100、語音觸發系統202、音訊子系統302、直接匯流排500、及信箱模組MBX。音訊子系統302可包含於圖2A所示音訊處理系 統250中。
語音觸發系統202可包括觸發介面電路IFV 212、包裝器WRPP 222、觸發記憶體MEMV 232、及觸發處理器PRCV 242。音訊子系統302可包括音訊介面電路IFA 312、直接記憶體存取控制器DMA 322、音訊記憶體MEMA 332、及音訊處理器PRCA 342。
與其中音訊子系統連接至外部音訊編解碼器50的圖5所示應用處理器2001相較，應用處理器2002可包括晶片上音訊編解碼器55。即使在圖7中音訊編解碼器55被示出為包含於音訊子系統302中，在一些示例性實施例中，音訊編解碼器55亦可包含於語音觸發系統202中或設置於語音觸發系統202與音訊子系統302之間。因此，音訊編解碼器55可與系統匯流排2100、語音觸發系統202及音訊子系統302一起整合於形成應用處理器2002的單個半導體晶片中。
圖8是說明根據示例性實施例操作應用處理器的方法的流程圖。
參照圖8，提供用以電性連接語音觸發系統與感測器中樞的直接匯流排(S710)，且提供信箱模組，所述信箱模組用以支援語音觸發系統與感測器中樞之間的資料通訊的同步化(S720)。與系統匯流排獨立地藉由直接匯流排及信箱模組來執行語音觸發系統與感測器中樞之間的資料通訊(S730)。
在下文中，將參照圖9、圖10A及圖10B來闡述圖8所示方法及應用處理器的相關聯配置的示例性實施例。
圖9是說明根據示例性實施例的應用處理器中的語音觸發系統與感測器中樞的示例性連接的方塊圖。在圖9中存在但為方便說明省略了圖3所示的主機處理器100及其他元件。
參照圖9，應用處理器2003可包括系統匯流排SYSBUS 2100、語音觸發系統203、感測器中樞403、直接匯流排600、工作電源管理器APM、以及信箱模組MBXa及MBXb。感測器中樞403可包含於圖2A所示音訊處理系統250中。
語音觸發系統203電性連接至系統匯流排2100，且語音觸發系統203基於藉由觸發介面所提供的麥克風觸發輸入訊號SDMIC及編解碼器觸發輸入訊號SAMIC來執行語音觸發操作。語音觸發系統203可自數位麥克風DMIC 40接收麥克風觸發輸入訊號SDMIC及/或自音訊編解碼器CODEC 50接收編解碼器觸發輸入訊號SAMIC。可在語音觸發系統203、數位麥克風40及音訊編解碼器50之間傳遞麥克風時脈訊號MICCLK，以使訊號傳遞同步化。可分別藉由焊墊PD11、PD12及PD13來傳遞麥克風觸發輸入訊號SDMIC及編解碼器觸發輸入訊號SAMIC以及麥克風時脈訊號MICCLK。
感測器中樞403電性連接至系統匯流排2100，以處理自一或多個感測器SEN1 31、SEN2 32及SEN3 33提供的訊號。
語音觸發系統203可包括觸發介面電路IFV 213、包裝器WRPP 223、觸發記憶體MEMV 233、及觸發處理器PRCV 243。
觸發介面電路213以及焊墊PD11、PD12及PD13可形 成觸發介面TIF，以對自數位麥克風40提供的麥克風觸發輸入訊號SDMIC或自音訊編解碼器50提供的編解碼器觸發輸入訊號SAMIC進行取樣及轉換。包裝器223可將自觸發介面電路213提供的資料儲存於觸發記憶體233中。當觸發記憶體233中儲存有臨限量的資料時，包裝器223可向觸發處理器243發佈中斷訊號，以使得觸發處理器243可基於觸發記憶體233中所儲存的資料來執行語音觸發操作。
在一些示例性實施例中，語音觸發系統203可接收脈波密度調變(PDM)訊號作為麥克風觸發輸入訊號SDMIC及編解碼器觸發輸入訊號SAMIC，並將所述PDM訊號轉換成脈波碼調變(PCM)資料。包裝器223可將PCM資料儲存於觸發記憶體233中。包裝器223可以直接記憶體存取控制器來實作。
感測器中樞403可包括感測器邏輯LOGS 413、感測器記憶體MEMS 423及感測器處理器PRCS 433，以如參照圖3所述處理自各種感測器提供的訊號。
如圖9中所說明，應用處理器2003可更包括連接語音觸發系統203與感測器中樞403的直接匯流排600。另外，應用處理器2003可更包括工作電源管理器APM以及第一信箱模組MBXa及第二信箱模組MBXb，第一信箱模組MBXa及第二信箱模組MBXb支援語音觸發系統203與感測器中樞403之間的資料傳送的同步化。第一信箱模組MBXa可將中斷訊號傳遞至語音觸發系統203及工作電源管理器APM。第二信箱模組MBXb可將中斷訊 號傳遞至工作電源管理器APM及感測器中樞403。
在一些示例性實施例中，如圖9中所說明，兩個信箱模組MBXa及MBXb可藉由工作電源管理器APM來執行語音觸發系統203與感測器中樞403之間的資料通訊的同步化。信箱模組MBXa及MBXb中的每一者與參照圖6所述者相同。在其他示例性實施例中，一個信箱模組可在無工作電源管理器APM的情況下執行語音觸發系統203與感測器中樞403之間的同步化。
應用處理器2003可與系統匯流排2100獨立地藉由直接匯流排600以及信箱模組MBXa及MBXb來執行語音觸發系統203與感測器中樞403之間的資料通訊。
圖10A及圖10B是說明圖9所示應用處理器中所包含的語音觸發系統的示例性實施例的方塊圖。
參照圖10A，語音觸發系統204可包括觸發介面電路214、包裝器224、觸發記憶體MEMV 234、觸發處理器PRCV 244、及訊號選擇器MUX 254。圖10A更說明時脈供應電路271，時脈供應電路271包括時脈選擇器MUX 272、鎖相迴路電路PLL 273、阻容(resistor-capacitor，RC)振盪器RCO 275、時脈分頻器DIV 274、276及278、時脈產生器CG 277、以及開關279。時脈供應電路271的一些元件可被視為語音觸發系統204的一部分。舉例而言，RC振盪器275可包含於語音觸發系統204中或設置於語音觸發系統204的外部。時脈供應電路271可自外部裝置(例如音訊編解碼器)或者自應用處理器的內部區塊接收時脈訊號。
觸發介面電路214可對自數位麥克風或音訊編解碼器提供的觸發輸入訊號SMIC進行取樣並對所取樣的資料進行轉換。包裝器224可將自觸發介面電路214提供的資料儲存於觸發記憶體234中。當觸發記憶體234中儲存有臨限量的資料時，包裝器224可向觸發處理器244發佈中斷訊號，以使得觸發處理器244可基於觸發記憶體234中所儲存的資料來執行語音觸發操作。
觸發介面電路214可包括：第一取樣器SMP1 214a，被配置成藉由以第一取樣率對觸發輸入訊號SMIC進行取樣來產生第一樣本資料；以及第二取樣器SMP2 214b，被配置成藉由以第二取樣率對觸發輸入訊號SMIC進行取樣來產生第二樣本資料，所述第二取樣率高於所述第一取樣率。包裝器224可包括：第一包裝器WRPP1 224a，被配置成將第一樣本資料儲存於觸發記憶體234中；以及第二包裝器WRPP2 224b，被配置成將第二樣本資料儲存於觸發記憶體234中。在一些示例性實施例中，第一取樣率可為16千赫(KHz)，且第二取樣率可為48千赫。然而，該些取樣率僅為說明性的，且能設想出不同的取樣率。第二樣本資料可對應於觸發輸入訊號SMIC中所包含的超音波。
語音觸發系統204可在第一操作模式中產生具有第一取樣率的第一樣本資料，且在第二操作模式中產生具有第一取樣率的第一樣本資料及具有第二取樣率的第二樣本資料。在圖10A所示的示例性配置中，於第一操作模式中，第一取樣器214a可被賦能(enable)，且第二取樣器214b可被去能(disable)，並且在第 二操作模式中，第一取樣器214a及第二取樣器214b均可被賦能。在一些示例性實施例中，在第三操作模式中，第一取樣器可被去能，且第二取樣器可被賦能。
訊號選擇器254可在第一操作模式中將觸發輸入訊號SMIC僅提供至第一取樣器214a，且在第二操作模式中將觸發輸入訊號SMIC提供至第一取樣器214a及第二取樣器214b。時脈選擇器272可選擇來自鎖相迴路電路273及時脈分頻器274的第一時脈訊號、來自RC振盪器275及時脈分頻器276的第二時脈訊號、以及來自時脈產生器277及時脈分頻器278的第三時脈訊號中的一者，以將所選擇的時脈訊號提供至觸發介面電路214。開關279可選擇第二時脈訊號及第三時脈訊號中的一者，以提供所選擇的時脈訊號作為麥克風時脈訊號MICCLK。
參照圖10B，語音觸發系統205可包括觸發介面電路IFV 215、包裝器225、觸發記憶體MEMV 235、觸發處理器PRCV 245、及取樣率轉換器265。
觸發介面電路215可對自數位麥克風或音訊編解碼器提供的觸發輸入訊號SMIC進行取樣並對所取樣的資料進行轉換。包裝器225可將自觸發介面電路215提供的資料儲存於觸發記憶體235中。當觸發記憶體235中儲存有臨限量的資料時，包裝器225可向觸發處理器245發佈中斷訊號，以使得觸發處理器245可基於觸發記憶體235中所儲存的資料來執行語音觸發操作。
觸發介面電路215可藉由以第一取樣率對觸發輸入訊號 SMIC進行取樣來產生第一樣本資料，且取樣率轉換器265可藉由將第一樣本資料轉換成具有第二取樣率的第二樣本資料來產生第二樣本資料，所述第二取樣率高於所述第一取樣率，如圖10B中所說明。對比之下，在其他示例性實施例中，觸發介面電路215可藉由以第二取樣率對觸發輸入訊號SMIC進行取樣來產生第二樣本資料，且取樣率轉換器265可藉由將第二樣本資料轉換成第一樣本資料來產生第一樣本資料。
包裝器225可包括：第一包裝器WRPP1 225a，被配置成將第一樣本資料儲存於觸發記憶體235中；以及第二包裝器WRPP2 225b，被配置成將第二樣本資料儲存於觸發記憶體235中。在一些示例性實施例中，第一取樣率可為16千赫，且第二取樣率可為48千赫。然而，該些取樣率僅為說明性的，且能設想出不同的取樣率。第二樣本資料可對應於觸發輸入訊號SMIC中所包含的超音波。
語音觸發系統205可在第一操作模式中產生具有第一取樣率的第一樣本資料，且在第二操作模式中產生具有第一取樣率的第一樣本資料及具有第二取樣率的第二樣本資料。另外，在一些示例性實施例中，語音觸發系統205可在第三操作模式中產生具有第二取樣率的第二樣本資料。
圖11是說明根據示例性實施例操作應用處理器的方法的流程圖。
參照圖10A及圖11，語音觸發系統204可在第一操作 模式中執行單次取樣(S10)。換言之，語音觸發系統204可在第一操作模式中藉由以第一取樣率(例如，16千赫)對觸發輸入訊號SMIC進行取樣來產生第一樣本資料。
電子裝置可在操作S20中判斷是否執行配對應用。當執行配對應用時(S20：是)，將語音觸發系統204轉換成第二操作模式以執行雙重取樣(S30)。換言之，語音觸發系統204可藉由以第一取樣率(例如，16千赫)及第二取樣率(例如，48千赫)對觸發輸入訊號SMIC進行取樣來產生第一樣本資料及第二樣本資料。
在第二操作模式中，音訊子系統或感測器中樞可基於第二樣本資料來執行音訊感測操作，且語音觸發系統基於第一樣本資料來執行語音觸發操作(S40)。
對比之下，當不執行配對應用時(S20：否)時，語音觸發系統204可維持第一操作模式且基於第一樣本資料來執行語音觸發操作(S50)。
因此，第一操作模式可為僅執行語音觸發操作的模式，且第二操作模式可為執行語音觸發操作及配對模式的模式。在一些示例性實施例中，在第三操作模式中，可僅執行音訊感測操作，例如配對操作。
作為音訊感測操作或配對操作的實例，處於會議室中的使用者的行動裝置可藉由超音波與會議室中的系統配對。行動裝置中的語音觸發系統不需要始終監測來自外部系統的訊號。而 是，語音觸發系統可只有在使用者執行配對操作時才啟用監測。在語音觸發系統始終監測的一些示例性實施例中，若使用者例如處於購物中心，則可使用使用者的耳朵聽不到的超音波將關於購物中心的資訊提供至行動裝置。購物中心可使用簡單的揚聲器輸出來觸發資訊向使用者的行動裝置的傳遞。
圖12A及圖12B是用於闡述根據示例性實施例的應用處理器的電源域的圖。
應用處理器可包括被獨立地供電的多個電源域。圖12A及圖12B說明第一電源域PWDM1及第二電源域PWDM2作為實例。第一電源域PWDM1對應於其中在工作模式及待機模式(或睡眠模式)中均供應電力的始終供電域(always-powered domain)，且第二電源域PWDM2對應於其中在待機模式中阻斷電力的省電域(power-save domain)。
參照圖12A，系統計數器SYSCNT、工作電源管理器APM及語音觸發系統VTS可設置於始終供電域PWDM1中。多個硬體區塊(例如主機處理器CPU、音訊子系統ABOX、感測器中樞CHUB等)可設置於省電域PWDM2中。
系統計數器SYSCNT可產生時間資訊TM並將時間資訊TM提供至系統的內部電路。工作電源管理器APM可產生多個電源賦能訊號EN，以控制系統中的各種元件的電源供應器、電源區塊等。語音觸發系統VTS可產生表示觸發事件的中斷訊號ITRR。
在本發明中，工作模式表示至少主機處理器CPU被賦 能且作業系統(operating system，OS)運行。睡眠模式或待機模式表示主機處理器CPU被去能的電源關閉模式(power-down mode)。
與圖12A所示安排(disposition)相較，語音觸發系統VTS可如圖12B中所說明設置於省電域PWDM2中。
如圖12A及圖12B中所說明，主機處理器CPU、語音觸發系統VTS、音訊子系統ABOX及感測器中樞CHUB可分別包括電源閘控電路PG1、PG2、PG3及PG4。電源閘控電路PG1至PG4可因應於電源賦能訊號EN1、EN2、EN3及EN4而選擇性地供應電力。因此，語音觸發系統VTS、音訊子系統ABOX及感測器中樞CHUB可為電源閘控式(power-gated)且與主機處理器CPU獨立地被賦能。在一些示例性實施例中，語音觸發系統VTS可請求工作電源管理器APM將感測器中樞CHUB賦能或去能，以使得感測器中樞CHUB可被賦能。
如上所述，根據示例性實施例的應用處理器、包含所述應用處理器的電子裝置及操作所述應用處理器的方法可藉由將語音觸發系統整合於所述應用處理器中而以低電量及高效率來執行語音觸發操作。晶片上語音觸發系統可代替應用處理器中的主機處理器來執行一些操作，以降低電子裝置的電力消耗並增強電子裝置的效能。另外，可使用晶片上語音觸發系統及直接匯流排來執行與系統匯流排獨立的資料通訊，以降低應用處理器的喚醒頻率，進而更降低電力消耗並增強效能。
本發明概念可應用於支援語音觸發功能的任何電子裝置及系統。舉例而言，本發明概念可應用於例如以下等的系統：桌上型電腦、膝上型電腦、蜂巢式電話、智慧型電話、MP3播放器、個人數位助理(PDA)、可攜式多媒體播放器(PMP)、數位電視機、數位攝影機、伺服器電腦、工作站、機上盒、可攜式遊戲機、導航系統、可穿戴裝置、物聯網(IoT)裝置、萬物聯網(IoE)裝置、電子書、虛擬實境(VR)裝置、擴增實境(AR)裝置等。
以上內容是對示例性實施例的說明，而不應被解釋為限制各實施例。雖然已闡述了幾個示例性實施例，然而熟習此項技術者應易於瞭解，在不本質上背離本發明的新穎教示內容及優點的條件下，可對示例性實施例作出諸多潤飾。因此，所有此種潤飾均旨在包含於在申請專利範圍中所界定的本發明範圍內。因此，應理解，以上內容是對各種示例性實施例的說明，而不應被解釋為僅限於所揭露的具體示例性實施例，且對所揭露示例性實施例的潤飾以及其他示例性實施例均旨在包含於隨附申請專利範圍的範疇內。
S100、S200:操作

Claims (20)

  1. 一種應用處理器，包括：系統匯流排；主機處理器，電性連接至所述系統匯流排；語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作併發佈觸發事件；以及音訊子系統，包括音訊介面且電性連接至所述系統匯流排，所述音訊子系統被配置成藉由所述音訊介面來處理音訊串流；其中所述語音觸發系統設置於在工作模式及待機模式中均供應電力的始終供電域中；其中所述主機處理器及所述音訊子系統設置於在所述待機模式中阻斷電力的省電域；其中所述主機處理器在所述語音觸發系統發佈所述觸發事件時啟動成所述工作模式。
  2. 如申請專利範圍第1項所述的應用處理器，其中所有的所述系統匯流排、所述主機處理器、所述語音觸發系統、及所述音訊子系統整合於單個半導體晶片中。
  3. 如申請專利範圍第1項所述的應用處理器，更包括：直接匯流排，電性連接所述語音觸發系統與所述音訊子系統。
  4. 如申請專利範圍第3項所述的應用處理器，更包括：信箱模組，被配置成支援所述語音觸發系統與所述音訊子系 統之間的資料通訊的同步化。
  5. 如申請專利範圍第4項所述的應用處理器，其中所述信箱模組包括：第一暫存器電路，被配置成產生提供至所述語音觸發系統的第一中斷訊號；以及第二暫存器電路，被配置成產生提供至所述音訊子系統的第二中斷訊號。
  6. 如申請專利範圍第4項所述的應用處理器，其中所述語音觸發系統與所述音訊子系統之間的所述資料通訊是與所述系統匯流排獨立地藉由所述直接匯流排及所述信箱模組來執行。
  7. 如申請專利範圍第3項所述的應用處理器，其中所述音訊子系統在其中所述語音觸發系統不執行所述語音觸發操作的時間期間藉由所述直接匯流排而使用所述語音觸發系統中的記憶體作為快取記憶體。
  8. 如申請專利範圍第1項所述的應用處理器，更包括：感測器中樞，電性連接至所述系統匯流排，所述感測器中樞被配置成處理自至少一個感測器提供的訊號。
  9. 如申請專利範圍第8項所述的應用處理器，其中所有的所述系統匯流排、所述主機處理器、所述語音觸發系統、所述音訊子系統、及所述感測器中樞整合於單個半導體晶片中。
  10. 如申請專利範圍第1項所述的應用處理器，其中所 述語音觸發系統自數位麥克風或音訊編解碼器接收所述觸發輸入訊號，以處理類比麥克風的輸出。
  11. 如申請專利範圍第10項所述的應用處理器，其中所述音訊編解碼器與所述系統匯流排、所述主機處理器、所述語音觸發系統、及所述音訊子系統一起整合於單個半導體晶片中。
  12. 如申請專利範圍第1項所述的應用處理器，其中所述語音觸發系統包括：觸發記憶體；觸發介面電路，形成所述觸發介面，以對自數位麥克風或音訊編解碼器提供的所述觸發輸入訊號進行取樣及轉換；包裝器，被配置成將自所述觸發介面電路提供的資料儲存於所述觸發記憶體中；以及觸發處理器，被配置成基於所述觸發記憶體中所儲存的所述資料來執行所述語音觸發操作。
  13. 如申請專利範圍第12項所述的應用處理器，其中所述觸發介面電路包括：第一取樣器，被配置成藉由以第一取樣率對所述觸發輸入訊號進行取樣來產生第一樣本資料；以及第二取樣器，被配置成藉由以高於所述第一取樣率的第二取樣率對所述觸發輸入訊號進行取樣來產生第二樣本資料。
  14. 如申請專利範圍第13項所述的應用處理器，其中在第一操作模式中，所述第一取樣器被賦能且所述第二取樣器被去 能，在第二操作模式中，所述第一取樣器及所述第二取樣器均被賦能，並且在第三操作模式中，所述第一取樣器被去能且所述第二取樣器被賦能。
  15. 如申請專利範圍第14項所述的應用處理器，其中所述第二操作模式為執行所述語音觸發操作及與外部裝置的配對操作兩者，所述第一操作模式為僅執行所述語音觸發操作，並且所述第三操作模式為僅執行所述配對操作。
  16. 如申請專利範圍第15項所述的應用處理器，其中所述語音觸發操作及所述配對操作是執行在其中所述主機處理器被去能的睡眠模式的期間中。
  17. 如申請專利範圍第12項所述的應用處理器，其中所述觸發介面電路藉由以第一取樣率對所述觸發輸入訊號進行取樣來產生第一樣本資料或以高於所述第一取樣率的第二取樣率對所述觸發輸入訊號進行取樣來產生第二樣本資料，以及其中所述語音觸發系統包括：取樣率轉換器，被配置成將所述第一樣本資料轉換成所述第二樣本資料，或將所述第二樣本資料轉換成所述第一樣本資料。
  18. 如申請專利範圍第1項所述的應用處理器，其中所述音訊子系統包括：音訊介面電路，形成所述音訊介面，以傳遞所述音訊串流；音訊記憶體，被配置成儲存所述音訊串流的資料； 直接記憶體存取控制器，被配置成控制對所述音訊記憶體的存取；以及音訊處理器，被配置成處理所述音訊記憶體中所儲存的所述資料。
  19. 一種電子裝置，包括：至少一個音訊輸入-輸出裝置；以及應用處理器，包括：系統匯流排；主機處理器，電性連接至所述系統匯流排；語音觸發系統，電性連接至所述系統匯流排，所述語音觸發系統被配置成基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作併發佈觸發事件；以及音訊子系統，包括音訊介面且電性連接至所述系統匯流排，所述音訊子系統被配置成藉由所述音訊介面來處理來自所述至少一個音訊輸入-輸出裝置的音訊串流，其中所述語音觸發系統設置於在工作模式及待機模式中均供應電力的始終供電域中；其中所述主機處理器及所述音訊子系統設置於在所述待機模式中阻斷電力的省電域；其中所述主機處理器在所述語音觸發系統發佈所述觸發事件時啟動成所述工作模式。
  20. 一種與電子裝置相關聯的方法，包括： 由語音觸發系統基於藉由觸發介面所提供的觸發輸入訊號來執行語音觸發操作以發佈觸發事件，所述語音觸發系統與主機處理器、音訊子系統、以及系統匯流排整合於形成應用處理器的單個半導體晶片中，所述系統匯流排電性連接至所述主機處理器、所述語音觸發系統及所述音訊子系統；當所述語音觸發系統發佈所述觸發事件時，啟動成工作模式；以及由所述音訊子系統藉由所述音訊子系統的音訊介面處理音訊串流；其中所述語音觸發系統設置於在所述工作模式及待機模式中均供應電力的始終供電域中；其中所述主機處理器及所述音訊子系統設置於在所述待機模式中阻斷電力的省電域。
TW107140943A 2018-01-25 2018-11-19 低電量操作用應用處理器、包含該處理器的電子裝置及其相關聯的方法 TWI791677B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??10-2018-0009330 2018-01-25
KR10-2018-0009330 2018-01-25
KR1020180009330A KR102453656B1 (ko) 2018-01-25 2018-01-25 저전력 동작을 위한 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
TW201933087A TW201933087A (zh) 2019-08-16
TWI791677B true TWI791677B (zh) 2023-02-11

Family

ID=67145198

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107140943A TWI791677B (zh) 2018-01-25 2018-11-19 低電量操作用應用處理器、包含該處理器的電子裝置及其相關聯的方法

Country Status (5)

Country Link
US (2) US10754804B2 (zh)
KR (1) KR102453656B1 (zh)
CN (1) CN110086923B (zh)
DE (1) DE102018128244A1 (zh)
TW (1) TWI791677B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755708B2 (en) * 2018-06-20 2020-08-25 International Business Machines Corporation Operating a voice response system based on non-human audio sources
CN112738732B (zh) * 2019-10-28 2022-07-29 成都鼎桥通信技术有限公司 一种音频播放方法和装置
TWI749728B (zh) * 2020-08-24 2021-12-11 和碩聯合科技股份有限公司 可攜式電子裝置
TWI774320B (zh) * 2021-04-14 2022-08-11 新唐科技股份有限公司 晶片結構及晶片功能控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070184A1 (en) * 2013-09-11 2015-03-12 Saurabh Dadu Low power voice trigger for finding mobile devices
US20150221307A1 (en) * 2013-12-20 2015-08-06 Saurin Shah Transition from low power always listening mode to high power speech recognition mode
TW201640322A (zh) * 2015-01-21 2016-11-16 諾爾斯電子公司 用於聲音設備之低功率語音觸發及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5524261A (en) * 1991-12-31 1996-06-04 Dictaphone Corporation (U.S.) Voice processor interface chip with arbitration unit
US20020099893A1 (en) * 2001-01-24 2002-07-25 Nguyen Tuyet-Huong Thi System and method for the handling of system management interrupts in a multiprocessor computer system
US6938253B2 (en) * 2001-05-02 2005-08-30 Portalplayer, Inc. Multiprocessor communication system and method
US20060047754A1 (en) * 2002-11-15 2006-03-02 Infineon Technologies Ag Mailbox interface between processors
US8171322B2 (en) * 2008-06-06 2012-05-01 Apple Inc. Portable electronic devices with power management capabilities
US20090319260A1 (en) 2008-06-19 2009-12-24 Hongwei Kong Method and system for audio transmit processing in an audio codec
CN101609676A (zh) * 2008-06-19 2009-12-23 美国博通公司 一种处理音频信号的方法及系统
US20120250877A1 (en) 2011-03-31 2012-10-04 Taiyi Cheng Method and system for processing audio signals in a central audio hub
KR102179811B1 (ko) 2012-12-03 2020-11-17 엘지전자 주식회사 포터블 디바이스 및 음성 인식 서비스 제공 방법
US9164935B2 (en) 2013-01-04 2015-10-20 International Business Machines Corporation Determining when to throttle interrupts to limit interrupt processing to an interrupt processing time period
US20150031416A1 (en) 2013-07-23 2015-01-29 Motorola Mobility Llc Method and Device For Command Phrase Validation
WO2015149216A1 (en) 2014-03-31 2015-10-08 Intel Corporation Location aware power management scheme for always-on- always-listen voice recognition system
US9478231B1 (en) 2015-03-10 2016-10-25 Cadence Design Systems, Inc. Microphone interface and IP core for always-on system
US9811313B2 (en) 2015-08-17 2017-11-07 Microsoft Technology Licensing, Llc Voice-triggered macros
CN106484441B (zh) 2015-08-26 2020-02-28 鸿富锦精密电子(天津)有限公司 控制器初始化方法及应用该方法的电子装置
KR102434103B1 (ko) * 2015-09-18 2022-08-19 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
US10678494B2 (en) * 2016-06-27 2020-06-09 Qualcomm Incorporated Controlling data streams in universal serial bus (USB) systems
KR20180009330A (ko) 2017-12-28 2018-01-26 에스지생활안전 주식회사 상품 추적 시스템 및 상품 추적 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070184A1 (en) * 2013-09-11 2015-03-12 Saurabh Dadu Low power voice trigger for finding mobile devices
US20170132904A1 (en) * 2013-09-11 2017-05-11 Intel Corporation Low power voice trigger for finding mobile devices
US20150221307A1 (en) * 2013-12-20 2015-08-06 Saurin Shah Transition from low power always listening mode to high power speech recognition mode
TW201640322A (zh) * 2015-01-21 2016-11-16 諾爾斯電子公司 用於聲音設備之低功率語音觸發及方法

Also Published As

Publication number Publication date
DE102018128244A1 (de) 2019-07-25
CN110086923A (zh) 2019-08-02
US11216399B2 (en) 2022-01-04
US20200379932A1 (en) 2020-12-03
TW201933087A (zh) 2019-08-16
KR20190090532A (ko) 2019-08-02
US10754804B2 (en) 2020-08-25
KR102453656B1 (ko) 2022-10-12
US20190227967A1 (en) 2019-07-25
CN110086923B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
US11216399B2 (en) Application processor for low power operation, electronic device including the same and method of operating the same
CN110083327B (zh) 应用处理器、电子装置和操作应用处理器的方法
US20200401539A1 (en) Application processor supporting interrupt during audio playback, electronic device including the same and method of operating the same
CN110083218B (zh) 应用处理器、电子装置以及操作应用处理器的方法
TWI794342B (zh) 支援低功率回音消除之應用處理器、包含該處理器的電子裝置及其操作方法
TWI776988B (zh) 包含具插話用直接路徑之低電力語音觸發系統的應用處理器、包含該處理器的電子裝置及其操作方法
CN206100377U (zh) 耳机装置
CN204833155U (zh) 一体式音频播放设备
WO2023231748A1 (zh) 音频播放方法、装置及电子设备