[go: up one dir, main page]

TWI827825B - 瀏覽建築物之占有者狀態及管理裝置之系統及方法 - Google Patents

瀏覽建築物之占有者狀態及管理裝置之系統及方法 Download PDF

Info

Publication number
TWI827825B
TWI827825B TW109110340A TW109110340A TWI827825B TW I827825 B TWI827825 B TW I827825B TW 109110340 A TW109110340 A TW 109110340A TW 109110340 A TW109110340 A TW 109110340A TW I827825 B TWI827825 B TW I827825B
Authority
TW
Taiwan
Prior art keywords
building
information
status information
vehicle
user
Prior art date
Application number
TW109110340A
Other languages
English (en)
Other versions
TW202044058A (zh
Inventor
瑞比 喬杜里
郭寅一
費特梅 薩吉
艾瑞克 維瑟
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202044058A publication Critical patent/TW202044058A/zh
Application granted granted Critical
Publication of TWI827825B publication Critical patent/TWI827825B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825—Reporting to a device located outside the home and the home network
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B60K37/20—Dashboard panels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105—Multiple levels of security

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

本發明揭示一種用以提供資訊至可安裝至一交通工具儀錶板之一視覺介面的裝置，該裝置包括一記憶體，該記憶體經組態以儲存指示一建築物之可控制裝置的裝置資訊以及指示該建築物之一或多個佔有者(occupant)的佔有者資料。該裝置包括一處理器，該處理器經組態以即時地接收與該建築物之該一或多個佔有者相關聯的狀態資訊。該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者。該處理器經組態以產生一輸出以在該視覺介面裝置處提供該建築物之至少一部分及與該一或多個佔有者相關聯之該狀態資訊的一視覺表示。該處理器亦經組態以產生一指令以基於使用者輸入調整該等可控制裝置之一或多個裝置的一操作。

Description

瀏覽建築物之占有者狀態及管理裝置之系統及方法
本發明大體上係關於一種用以控制建築物中之裝置的介面。
技術的進步已產生更小且更強大的計算裝置。舉例而言，當前存在多種攜帶型個人計算裝置，包括無線電話(諸如行動電話及智慧型電話)、平板電腦及膝上型電腦，該等攜帶型個人計算裝置體積小、質量輕且易於由使用者攜帶。此等裝置可經由無線網路傳達話音及資料封包。另外，許多此類裝置併入額外功能，諸如數位靜態攝影機、數位視訊攝影機、數位記錄器及音訊檔案播放器。又，此類裝置可處理可執行指令，該等指令包括可用以存取網際網路之軟體應用程式，諸如網頁瀏覽器應用程式。由此，此等裝置可包括顯著計算能力。
房屋內之「智慧型」裝置，諸如具有物聯網(IoT)能力之裝置的網路可經由「住宅儀錶板」應用程式來控制。舉例而言，使用者可使用在智慧型電話或另一攜帶型個人計算裝置處執行之住宅儀錶板應用程式來打開或關斷燈或瀏覽來自安全攝影機的饋入。然而，自遠端位置控制裝置針對房屋內部之佔有者可引起問題。為了繪示，關斷房屋內之燈對於房間內部想要關斷燈之佔有者可為危險或不方便的。
在一特定態樣中，一種用以提供資訊至可安裝至一交通工具儀錶板之一視覺介面的裝置包括一記憶體，該記憶體經組態以儲存指示一建築物之可控制裝置的裝置資訊以及指示該建築物之一或多個佔有者的佔有者資料。該裝置亦包括一處理器，該處理器經組態以即時地接收與該建築物之該一或多個佔有者相關聯的狀態資訊。該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者。該處理器經組態以產生一輸出以在該視覺介面裝置處提供該建築物之至少一部分及與該一或多個佔有者相關聯之該狀態資訊的一視覺表示。該處理器亦經組態以產生一指令以基於使用者輸入調整該等可控制裝置之一或多個裝置的一操作。
在另一特定態樣中，一種用於提供與一建築物之佔有者相關聯之資訊的方法包括在一儀錶板裝置處即時地接收與該建築物之一或多個佔有者相關聯之狀態資訊。該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者。該方法包括在該儀錶板裝置之一視覺介面處產生該建築物之至少一部分及與該一或多個佔有者相關聯之該狀態資訊的一視覺表示。該方法亦包括在該儀錶板裝置處接收與該建築物之一或多個可控制裝置之控制項相關的使用者輸入；及在該儀錶板裝置處產生一指令以基於該使用者輸入調整該一或多個可控制裝置的一操作。
在另一特定態樣中，一種非暫時性電腦可讀媒體包括指令，該等指令在由一或多個處理器執行時使得該一或多個處理器即時地接收與該建築物之一或多個佔有者相關聯之狀態資訊。該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者。該等指令進一步使得該一或多個處理器產生針對一視覺介面裝置之一輸出以提供該建築物之至少一部分及與該一或多個佔有者相關聯之該狀態資訊的一視覺表示。該等指令進一步使得該一或多個處理器接收與該建築物之一或多個可控制裝置之控制項相關的使用者輸入；及產生一指令以基於該使用者輸入調整該一或多個可控制裝置的一操作。
在另一特定態樣中，一種用以執行操作以提供關於一建築物之佔有者之資訊的設備包括用於即時地接收與該建築物之一或多個佔有者相關聯之狀態資訊的構件。該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者。該設備亦包括用於提供該建築物之至少一部分及與該一或多個佔有者相關聯之狀態資訊之一視覺表示的構件。該設備包括用於接收與建築物之一或多個可控制裝置之控制項相關的使用者輸入之構件。設備包括用於產生指令以基於使用者輸入調整一或多個可控制裝置的操作之構件。
在審檢閱整個申請案之後，本發明之其他態樣、優勢及特徵將變得顯而易見，該整個申請案包括以下章節：[圖式簡單說明]、[實施方式]及[申請專利範圍]。
根據35 U.S.C. §119的優先權主張
本專利申請案主張2019年3月29日申請之題為「SYSTEM AND METHOD TO VIEW OCCUPANT STATUS AND MANAGE DEVICES OF BUILDING」的非臨時申請案第16/370,836號之優先權，該案讓與給其受讓人且據此明確地以引用方式併入本文中。
揭示用以瀏覽建築物中佔有者狀態且管理裝置的系統及方法。因為遠端使用者使用習知住宅儀錶板應用程式(例如，在遠端電話處)來控制是在房屋內之裝置可導致針對房屋之佔有者之不方便或安全關注事項，諸如在房屋中之佔有者並未正期望燈被關斷時關斷房屋中的燈，所以習知住宅儀錶板應用程式在佔有者處於建築物中時並非良好適用。
如本文中所描述，裝置及系統使得使用者能夠以與建築物之佔有者相關之即時狀態資訊瀏覽房屋或其他建築物的視覺表示外加提供建築物中之裝置的控制項。在一些實施中，佔有者狀態資訊包括每一佔有者之位置及活動資訊，且亦包括每一佔有者之情緒狀態及年齡估計。佔有者狀態資訊使得裝置之使用者能夠避免對於建築物之佔有者的可能以其他方式藉由並不為使用者提供佔有者狀態資訊的習知住宅儀錶板應用程式引入的危險或不方便。在此上下文中，「即時」指無顯著延遲。由於狀態資訊是關於建築物之佔有者(例如，人類)，因此藉由通信潛時、資料處理、用於播放之影像或資料緩衝等引入的任何延遲為不顯著的，此是因為此等延遲對於佔有者之位置或活動而言已顯著改變過短且在許多狀況下對於典型人類感知過短。因此，「即時」在狀態資訊之情形下指示，所接收之狀態資訊在人類活動之時間標度，諸如幾秒或高達一分鐘內描述佔有者狀態。
此外，描述包括使得能夠在不同條件下易於使用的觸控式螢幕及內容脈絡感知話語及示意動作辨識的各種介面，諸如當實施為小汽車儀錶板顯示器、行動裝置應用程式或壁安裝式建築物管理顯示器時。在一些實施方，基於使用者授權之存取控制保護建築物中佔有者、建築物中之可控制裝置或兩者的私密及安全性免受裝置之未經授權使用者或瀏覽者影響。
參看圖1，用以提供建築物中之佔有者之狀態且管理裝置的系統之特定繪示性實例經揭示且大致指定為100。系統100包括耦接至視覺介面裝置140及麥克風142的裝置104。裝置104亦諸如經由一或多個無線網路、一或多個有線網路或其組合耦接至建築物150。
建築物150包括耦接至一或多個可控制裝置156且一或多個感測器158的建築物管理系統154。一或多個感測器158經組態以偵測與建築物150之一或多個佔有者152相關的活動。在一非限制性實例中，建築物150是在裝置104之使用者102的住宅中。然而，在其他實施中，作為非限制性實例，建築物150為另一類型之建築物，諸如辦公室建築物、公寓建築物或電影院。在繪示性實例中，建築物管理系統154是諸如供公寓管理者使用之多單元控制系統。
在一些實施中，一或多個感測器158包括一或多個麥克風、攝像機、紅外感測器、超音波感測器、其他感測器或其組合。佔有者活動，諸如建築物150中房間之間的移動、示意動作及話語藉由一或多個感測器158偵測到，且提供至建築物管理系統154。在一些實施中，建築物管理系統154經組態以解譯感測器資料以判定佔有者152之識別碼、年齡及情緒狀態且將佔有者資訊傳輸至裝置104作為狀態資訊130。舉例而言，關於佔有者之年齡及情緒狀態之資訊可輔助使用者102判定經由裝置104執行哪些動作，如下文進一步描述。在一些實施中，感測器資料中之一些或所有確切而言被傳輸至裝置104且在裝置104處處理以產生狀態資訊130的對應部分。替代地或另外，狀態資訊130之產生可分佈於建築物管理系統154與裝置104之間。
一或多個可控制裝置156對來自建築物管理系統154的指令做出回應。在繪示性實例中，一或多個可控制裝置156包括諸如中央暖風單元之氣候控制裝置、諸如可調光天花板燈的照明裝置、諸如音訊/視訊系統之娛樂系統、一或多個其他可控制裝置，或其任何組合。
裝置104經組態以經由視覺「住宅儀錶板」類型應用程式向使用者102提供對建築物150中佔有者資訊的存取及裝置之控制項。裝置104經組態以提供建築物150及一或多個佔有者152之視覺表示連同狀態資訊130之視覺表示至視覺介面裝置140以作為視覺表示144顯示給使用者102。裝置104亦對來自使用者102之輸入，諸如藉由麥克風142捕捉的由使用者102在使用者話語103中講出的命令做出回應，以將命令轉譯成指令從而控制一或多個可控制裝置156。
裝置104包括耦接至處理器108的記憶體106及話語辨識引擎118。記憶體106經組態以儲存可執行指令(例如，程式碼)，該等指令藉由處理器108可執行以執行與視覺「住宅儀錶板」類型應用程式相關聯的操作(例如，接收並顯示與建築物150相關的狀態更新，及接收使用者輸入來控制可控制裝置156中的一或多者)。記憶體106亦經組態以儲存與一或多個可控制裝置156相關聯之資料及與一或多個佔有者152相關聯的資料，如進一步參看圖2所描述。
話語辨識引擎118經組態以自麥克風142接收音訊信號143且處理音訊信號143以產生使用者輸入119。在繪示性實例中，話語辨識引擎118經組態以執行自動話語辨識(ASR)以識別藉由使用者102講出的詞語且產生所識別詞語的文字表示。使用者輸入119經提供至處理器108從而作為至視覺儀錶板類型應用程式的使用者命令處理。
處理器108經組態以處理使用者輸入119以識別來自使用者102之使用者命令並對使用者輸入119做出回應。作為繪示性實例，處理器108可執行自然語言處理(NLP)以將使用者輸入119映射至待關於一或多個可控制裝置156執行的動作。舉例而言，包括詞語序列「增大起居室光」的使用者輸入119可映射至增大建築物150之起居室中天花板燈之亮度位準達百分之二十五的動作。處理器108產生且傳輸指令132至識別待採用之動作的建築物管理系統154。處理器108可更新輸出117以諸如經由彈出式訊息或藉由調整視覺表示144內之指示符(例如，調整起居室之照明位準的指示符以指示新的照明位準)向使用者102以視覺方式呈現動作已被執行。
在一些實施中，視覺介面裝置140可安裝至交通工具儀錶板或整合於交通工具儀錶板中，諸如在圖7及圖10中所繪示。替代地或另外，在一些實施中，視覺介面裝置140整合於行動裝置中，諸如如圖6中所繪示的平板裝置中。在其他實施中，視覺介面裝置140被實施為建築物150內的裝置，諸如在圖8中所繪示。在一些實施中，視覺介面裝置140包括觸控式螢幕或其他輸入機構以使得使用者102能夠將非話語命令鍵入至裝置104，諸如在圖2中所描繪。在一些實例中，視覺介面裝置140經組態以提供全像顯示器，該全像顯示器針對不同瀏覽者提供不同版本之視覺表示144，諸如以使得經授權使用者能夠瀏覽自未經授權使用者之瀏覽限定的資訊(例如，基於座落於交通工具中之使用者的位置)，諸如參看圖10至圖12進一步描述。
在操作期間，在裝置104、視覺介面裝置140及麥克風142整合於小汽車中之特定實施中，使用者102(例如，小汽車駕駛員)可瀏覽描繪建築物150中之佔有者及條件的視覺表示144。裝置104接收對狀態資訊130之更新，諸如一或多個佔有者152之位置、活動及情緒狀態的偵測到之改變，且經由輸出117更新視覺表示144，使得視覺表示144提供與一或多個佔有者152相關之動態資訊至使用者102。如本文中所使用，「動態」資訊指示回應於建築物150處狀態改變之偵測經更新的資訊。狀態改變經由狀態資訊130指示，該狀態改變可在偵測到改變之後即時地傳輸至裝置104，或可週期性或連續地傳輸至裝置104且供裝置104處理以偵測狀態改變。
舉例而言，裝置104可維持偵測到之每一佔有者的記錄，且可基於在狀態資訊130中指示之改變來更新一或多個記錄(例如，記憶體106中)，諸如當佔有者已改變建築物150內的位置(例如，房間)、改變了活動(例如，佔有者已停止觀看電視且現正參與電話或人員談話)或改變了情緒狀態時。回應於佔有者中一或多個之偵測到的改變，裝置104更新輸出117，以使視覺介面裝置140調整視覺表示144以指示改變。為了繪示，回應於佔有者在建築物150中之位置的改變，表示佔有者之圖示可自一位置(例如，建築物150之圖形地圖中的第一房間)移除且插入至另一位置(例如，圖形地圖中之第二房間)。顯示位置、活動及其他狀態資訊的實例進一步參看圖5來描述。
基於一或多個佔有者152之狀態資訊，使用者102可決定是否或如何調整一或多個可控制裝置156中一或多個的操作。舉例而言，使用者102可提供講出之命令以關斷建築物150中未被佔用之房間中的照明。作為另一實例，使用者102可提供講出之命令以使得家庭娛樂系統在一或多個佔有者152中之一者偵測為處於衝動或憤怒情緒狀態時播放輕緩音樂，或在偵測到一或多個佔有者152中之一者已睡過頭時播放響亮激進的音樂(例如，進行曲)。作為又一實例，狀態資訊130可指示第一佔有者為快樂的且正在起居室中觀看電視，且第二佔有者(例如，兒童)醒著且躺在臥室中的床上，且使用者輸入119可包括來自使用者102之指令以減低電視之音量從而幫助第二佔有者快速入睡。在此實例中，指令(例如，指令132)被傳輸至建築物管理系統154以使得電視減低音量。
講出之命令藉由麥克風142捕捉，藉由話語辨識引擎118解譯為使用者輸入119，且由處理器108處理以產生指令，諸如指令132。該等指令被傳輸至建築物管理系統154，此使得該等指令藉由指定之一或多個可控制裝置156進行。建築物150內諸如藉由感測器158偵測到的改變可被提供至裝置104作為經更新之狀態資訊130且經由視覺介面裝置140顯示給使用者102。
藉由向使用者102提供與建築物150之佔有者相關的即時狀態資訊130外加提供裝置156之控制項，相較於並不向使用者提供佔有者狀態資訊的習知住宅儀錶板應用程式，使用者102可在佔有者152不方便之減小的風險情況下遠端地實現建築物150中的改變。在佔有者狀態資訊130包括每一佔有者之位置及活動資訊且又包括每一佔有者之情緒狀態及年齡估計的實施中，相較於在使用者102並不具有此資訊時，更有效或適當之動作可由使用者102藉由考慮佔有者年齡及情緒狀態來作出選擇。
儘管在一些實施中裝置104可與控制一或多個可控制裝置156且與一或多個感測器158介接的建築物管理系統154通信，但在其他實施中，裝置104經組態以與一或多個可控制裝置156互動且一或多個感測器158缺少中央管理系統(例如，建築物管理系統154可被省略)，諸如在分散式物聯網(IoT)實施中。
應注意，由圖1之系統100執行之各種功能描述為由某些組件或模組執行。然而，組件及模組之此劃分僅係為了繪示。在替代性態樣中，由特定組件或模組所執行之功能可劃分於多個組件或模組中。此外，在替代性態樣中，圖1之兩個或兩個以上組件或模組可整合於單一組件或模組中。圖1中所繪示之各組件或模組可使用硬體(例如，場可程式化閘陣列(FPGA)裝置、特殊應用積體電路(ASIC)、數位信號處理器(DSP)、控制器等)、軟體(例如，可由處理器執行之指令)或其任一組合予以實施。
圖2描繪包括裝置104之實施之系統200的實例。裝置104耦接至視覺介面裝置140、麥克風142及感測器244。舉例而言，裝置104可整合於為獨特的且與視覺介面裝置140、麥克風142及感測器244分離的組件中。為了繪示，視覺介面裝置140可整合至小汽車儀錶板裝置中，麥克風142可為小汽車內部中的麥克風陣列之部分，且感測器244可整合至小汽車之另一內部組件中。裝置104可實施於小汽車之電子封裝中，且經由一或多個電線或經由無線傳信耦接至視覺介面裝置140、麥克風142及感測器244。
裝置104包括記憶體106及處理器108。記憶體106經組態以儲存指令230，該等指令藉由處理器108可執行以執行本文中所描述之功能性。記憶體106進一步經組態以儲存指示建築物150之一或多個可控制裝置156的裝置資訊240。記憶體106亦經組態以儲存指示建築物150之一或多個佔有者152中一或多者的佔有者資料242。
處理器108耦接至該記憶體106且包括輸出產生器260、指令產生器262及使用者驗證器264。在一些實施中，輸出產生器260、指令產生器262或使用者驗證器264中之一或多者或全部經由指令230在處理器108之一或多個處理核心處的執行來實施。在其他實施中，輸出產生器260、指令產生器262或使用者驗證器264中一或多者的至少一部分經由對於每一特定應用特定之專用硬體或電路來實施。
處理器108經組態以接收與建築物150之一或多個佔有者152相關聯的即時狀態資訊130。狀態資訊130包括動態位置資訊202或動態活動資訊204中的至少一者。如所繪示，位置資訊202及活動資訊204可包括於經由視覺介面裝置140提供至使用者102的所顯示狀態資訊248中，如下文進一步描述。此外，所顯示之狀態資訊248可包括與一或多個佔有者152中每一者相關聯之估計年齡206及情緒狀態208。
輸出產生器260經組態以產生輸出117以在視覺介面裝置140處提供視覺表示144。視覺表示144以圖形方式描繪建築物150之至少一部分及與一或多個佔有者152相關聯的狀態資訊248。舉例而言，視覺表示144可繪示建築物150之一或多個內部空間的簡化圖，且可包括表示一或多個佔有者152在建築物150內之大致位置的一或多個指示符或圖示，如參看圖5進一步詳細地描述。
指令產生器262經組態以使得可控制裝置156中之一或多者基於使用者輸入119調整操作。舉例而言，使用者輸入119可表示經由使用者102之可聽話語、視覺介面裝置140之觸控式螢幕246處的觸控偵測，或辨識為裝置104之命令的使用者102之示意動作接收自使用者102的命令。在繪示性實施中，藉由指令產生器262產生之指令132包括以下各者中之至少一者：使得建築物150中之氣候控制裝置調整溫度的指令、調整建築物150之至少一房間中之照明位準的指令，或調整建築物150中娛樂系統之播放設置的指令。
裝置104包括話語辨識引擎118。話語辨識引擎118耦接至處理器108，且經組態以接收對應於可聽使用者話語103之音訊信號143且將音訊信號143轉譯為使用者輸入119。麥克風142耦接至話語辨識引擎118，且經組態以捕捉可聽使用者話語103且產生音訊信號143。
裝置104亦包括耦接至處理器108之示意動作辨識單元218。示意動作辨識單元218經組態以接收對應於使用者示意動作的感測器信號243。示意動作辨識單元218經組態以將感測器信號243轉譯為使用者輸入119。舉例而言，感測器244耦接至示意動作辨識單元218且經組態以偵測使用者示意動作且產生感測器信號243。為了繪示，感測器244可包括攝影機、紅外線感測器或超音波感測器中的至少一者。可藉由感測器244捕捉之示意動作的實例包括揮手示意動作，諸如雙手(side-to-side hand)示意動作、手上升示意動作、手減低示意動作、張開手、握緊手、數個延伸數位、一或多個其他示意動作或其組合。可藉由感測器244捕捉之示意動作的其他實例包括頭部示意動作，諸如點頭或搖頭、面部示意動作或其任何組合。示意動作辨識單元218經組態以諸如藉由處理感測器信號243以形成針對經訓練之神經網路之輸入來解譯感測器信號243，該經訓練之神經網路經組態以將輸入信號分類為示意動作。
裝置104進一步包括觸控辨識單元220，該觸控辨識單元經組態以接收對應於使用者觸控的觸控偵測信號245且將觸控偵測信號245轉譯為使用者輸入119。舉例而言，視覺介面裝置140包括耦接至觸控辨識單元220的觸控式螢幕246。觸控式螢幕246經組態以顯示視覺表示144且產生觸控偵測信號245。舉例而言，當視覺表示144描繪建築物150之簡化圖形指示時，觸控式螢幕246可偵測觸控位置同時顯示視覺表示144，且位置可藉由觸控辨識單元220解譯以識別視覺表示144內待藉由使用者102操控之一或多個控制項、一或多個圖示或一或多個位置。
使用者驗證器264經組態以判定裝置104之使用者是否為一經授權使用者，且基於使用者是否為經授權使用者(例如，識別為經授權以存取對於於非經授權使用者限定的資訊之使用者)之判定來選擇性地限定一或多個可控制裝置156的控制項。舉例而言，使用者驗證器264可經組態以基於使用者是否為一經授權使用者來判定是否選擇性地限定對一或多個可控制裝置156之至少一部分的存取。作為另一實例，使用者驗證器264可經組態以諸如經由藉由使用者102提供之憑證、密碼、面部辨識、話音辨識、挑戰問題、其他視覺類或生物類資訊或者一或多個機構來接收使用者102的識別以驗證使用者102的識別碼。識別出之使用者102可與裝置104之經授權使用者的資料庫進行比較以判定對建築物150之資訊的存取。在一些實施中，裝置104可用以提供與多個建築物，諸如使用者之住宅、使用者之辦公室及一或多個位置相關的資訊。在此類情形下，使用者驗證器264可為各種使用者針對可經由裝置104存取之多個建築物中的每一者提供不同存取位準。在一些實施中，限定對狀態資訊248之存取且對至建築物150之一或多個部分的可見性之存取可是基於使用者102為建築物150之父母或經授權成年人，諸如當建築物150對應於使用者102的住宅時。在此類狀況下，視覺表示144之並非經授權使用者的觀測者，諸如包括裝置104之汽車中的乘員可能不能查看與建築物150之數個部分或者建築物150之一或多個佔有者之狀態相關的特定資訊。
裝置104亦包括耦接至處理器108之接收器222及傳輸器224。接收器222經組態以接收資訊，諸如狀態資訊130，且傳輸器224經組態以傳輸指令，諸如指令132至一或多個可控制裝置156。儘管圖2之接收器222及傳輸器224描繪為獨特組件，但在其他實施中，接收器222及傳輸器224可實施為收發器。
如所繪示，裝置104自外部感測器接收感測器信號(例如，音訊信號143、感測器信號243及觸控偵測信號245)且處理感測器信號以產生使用者輸入119。然而，在其他實施中，裝置104確切而言接收經處理信號作為使用者輸入119，如圖3中進一步描述，或包括一或多個感測器，諸如觸控式螢幕246、麥克風142、感測器244或其任何組合。儘管圖2繪示裝置104作為對經由觸控式螢幕246、麥克風142及感測器244接收的使用者輸入做出回應，但在其他實施中，裝置104對更少的使用者輸入模式，諸如單一使用者輸入模式(例如，僅觸控偵測、僅使用者話語或僅示意動作)作出回應，或者對兩個使用者輸入模式(例如，觸控偵測及使用者話語，或觸控偵測及示意動作，或使用者話語及示意動作)做出回應。儘管描述了使用者輸入之三個表示模式，但除所描述模式外或替代所描述模式，可實施其他使用者輸入模式。作為繪示性非限制性實例，在一些實施中，大腦類電腦介面，諸如腦電圖描記術(EEG)類介面可替代觸控式螢幕246、麥克風142或感測器244中之一或多者使用，或者除觸控式螢幕246、麥克風142或感測器244中之一或多者外使用。
圖3描繪一實施中裝置104的實例300，該裝置不包括圖2的觸控辨識單元220、話語辨識引擎118、示意動作辨識單元218、接收器222及傳輸器224。裝置104包括輸入辨識引擎302，該輸入辨識引擎實施於處理器108處，且用以執行圖2的如與觸控辨識單元220、話語辨識引擎118或示意動作辨識單元218中之一或多者描述之功能性。
在實例300中，裝置104可直接耦接至一或多個感測器，且使用者輸入119可包括感測器資料，諸如在輸入辨識引擎302處處理之觸控偵測信號245、音訊信號143及感測器信號243。替代地，使用者輸入119可接收自使用者介面裝置，該使用者介面裝置亦經組態以執行感測器信號的信號處理及辨識。舉例而言，麥克風142可包括一裝置或可能實施於該裝置中，該裝置包括話語辨識引擎以處理藉由麥克風142產生之音訊信號，且輸出使用者輸入119至裝置104。因此，裝置104可實施為獨特組件，該獨特組件可耦接至一或多個輸入裝置、顯示裝置、傳輸及接收裝置或網路介面或其任何組合。
圖4描繪裝置104之實施400的實例，在該實施中，視覺介面裝置140、麥克風142、感測器244、觸控辨識單元220、話語辨識引擎118及示意動作辨識單元218整合於裝置104內。舉例而言，實施400可對應於行動電子裝置，諸如平板電腦，如進一步參看圖6所描述。替代地，裝置104可實施於智慧型手機、膝上型電腦、一或多個其他裝置或其組合中。舉例而言，麥克風142可包括智慧型手機之麥克風陣列，感測器244可包括實施於智慧型手機中的一或多個攝影機，且視覺介面裝置140可對應於智慧型手機之螢幕。接收器222及傳輸器224可耦接至一或多個天線，諸如天線陣列，且可對應於用於蜂巢式網路通信之組件、電子電機工程師學會(IEEE)802.11類型通信、短程特用無線網路通信(諸如，藍牙類型通信)、一或多種無線電技術或其組合。
圖5描繪視覺表示144之實施500的實例，且包括繪示為房屋之表示502的建築物150之至少一部分且各種狀態指示符及使用者可選控制項的視覺表示。詳言之，實施500包括技能或動作選擇器504、話語辨識組件506、操作狀態508、內容脈絡指示符510、示意動作指示符512。實施500亦包括繪示為娛樂系統之播放控制項516及518的用於操作可控制裝置之控制項514。狀態資訊520包括情緒狀態208之指示符522及年齡或估計年齡206的指示符524。
表示502描繪浴室530、臥室532、起居室534、廚房536、車庫538及陽台540。建築物150之每一位置530至540可包括感測器158(圖1的)中之一或多者，以使得能夠進行佔有者偵測、話語辨識、示意動作偵測及關於感測器之特定位置內之佔有者152的其他資訊收集。舉例而言，位置530至540中之每一者可包括一或多個麥克風、攝像機、其他偵測器或其組合，且可提供感測器資訊以使得圖1至圖4中之裝置104能夠顯示一或多個佔有者152之狀態資訊，包括每一佔有者之位置資訊202、活動資訊204、年齡206及情緒狀態208。其他環境資訊亦可顯示於諸如照明指示符542之表示502中，該照明指示符指示經偵測光位準為100%(完全照明)與0%(無可偵測到之光)之間的值或諸如可調光天花板燈之照明裝置的設定，其中0%指示照明裝置關斷或經充分調暗，50%指示照明裝置經50%調暗，且100%指示照明裝置並未經調暗。
每一偵測到之佔有者152的位置資訊202可藉由圖示544或針對佔有者之各別位置530至540中之其他指示符的顯示來指示。儘管內容脈絡指示符510、指示符522及指示符524之單一個例針對藉由圖示544表示之單一偵測到之佔有者繪示，但在多個佔有者在建築物150內被識別出之實施中，內容脈絡指示符510、指示符522及指示符524中之多個個例(一指示符針對偵測到之佔有者中的每一者)可被顯示。
動作選擇器504經組態以提供可藉由使用者102指明的動作或「技能」清單，諸如與當前內容脈絡相關聯的下拉選單。舉例而言，使用者102可諸如經由在圖示544上按下觸控式螢幕做出選擇以指示使用者102需要瀏覽或控制與圖示544相關聯之佔有者的內容脈絡。在所繪示之實例中，內容脈絡指示符510指示，藉由圖示544指示之佔有者正在起居室534中觀看電視。動作選擇器504之下拉選單提供可選擇動作，諸如添加歌曲，該等動作對於觀看電視或操作娛樂系統之內容脈絡為適當的。使用者102可講出命令「減低光」且話語辨識組件506可經由自動話語辨識且根據起居室534中觀看電視之內容脈絡顯示所接收使用者話語為「減低起居室中之光」的解譯。作為另一實例，「往下」手部示意動作可被偵測到(例如，使用者102將手自較高位置減低至較低位置)且根據在起居室中觀看電視之內容脈絡解譯為「減低電視音量」。對應於自動話語辨識及內容脈絡之主動技能經指示為動作狀態508且經轉換並發送作為指令132。
所識別情緒狀態208可諸如以韻律或其組合經由一或多個佔有者152之示意動作、一或多個佔有者152之話語、一或多個佔有者152之話音特性的偵測之組合來解譯。舉例而言，處理器108或話語辨識引擎118可經組態以接收並處理佔有者152中一或多者的所記錄話語以偵測一或多個韻律元素，諸如重音、音值、音調、語速或者一或多個其他元素。在繪示性實例中，持續時間為韻律之一態樣：若話語相比常見話語具有較長或較短持續時間，則講話者可能處於情緒狀態中，諸如悲傷、不滿意、猶豫等等。類似音值及音調輪廓的其他韻律元素(其中動態範圍高於或低於常見動態範圍)可暗示講話者係快樂或沮喪的。相對複雜的映射相關性可存在於韻律之所有特徵與所偵測情緒之間。所提取之韻律相關特徵可用作至處理器108處之情緒分析之輸入中的一者。替代地或另外，佔有者152之一或多者的視訊捕捉可藉由處理器108接收及處理以偵測佔有者之一或多個物理特性，諸如身體語言或面部表情。處理器108可執行面部表情偵測(諸如微笑或皺眉)或身體運動偵測(諸如點頭、搖頭或聳肩)或其組合，其可指示情緒狀態。處理器108可經組態以比較韻律特徵、視訊處理之結果或前述兩者與一或多個音訊情緒模型，以產生指示一或多個各別情緒狀態已被偵測為藉由使用者體驗到之一或多個可信度位準的輸出。
佔有者之所估計年齡206亦可基於用於情緒識別的因素來估計。舉例而言，年齡/性別偵測器可基於經監督學習方法來訓練。年齡及性別之不同範圍(例如，兒童、50歲以下之成年女性、50歲或以上之成年女性、50歲以下之成年男性等)的訓練話語資料可經提供，經訓練模型可在接收到話語輸入之後提供所估計之年齡範圍及性別。所估計年齡206可用以判定與特定佔有者相關聯之狀態資訊520是否將顯示給視覺表示144之並非經授權使用者的瀏覽者，諸如參看圖7至圖14進一步描述。
儘管實施500包括介面組件504至512，但在其他實施中，介面組件504至512中之一或多者或全部為了顯示清楚被省略。舉例而言，介面組件504至512可確切而言回應於經由選單選項之選擇對於使用者為可存取的。
儘管實施500包括建築物150之表示502下方之狀態資訊520及顯示於建築物150之表示502內的圖示544，但在其他實施中，狀態資訊520確切而言結合圖示544顯示。舉例而言，「快樂面部」視覺元素可描繪於圖示544上(例如，整合於圖示內或覆疊於圖示上)以指示所識別之情緒為快樂的，且圖示544之相對大小可用作該特定佔有者之所估計年齡的指示符。
圖6描繪攜帶型電子裝置中裝置104的特定實施600。舉例而言，裝置104可包括智慧型手機或平板電腦裝置，該智慧型手機或平板電腦裝置包括麥克風142及感測器244。
圖7描繪整合至交通工具儀錶板裝置中，諸如小汽車儀錶板裝置702中之裝置104之實施700的實例。視覺介面裝置140安裝於對於小汽車之駕駛員可見的汽車儀錶板裝置702內，且視覺介面裝置140對於交通工具之一或多個乘員亦可為可見的。視覺介面裝置140諸如在圖4之實施400中般可整合於裝置104內，或諸如在描繪於圖2中之系統200的實施中般可與裝置104分離或耦接至該裝置。
圖8描繪實施為建築物150內之住宅控制裝置之裝置104的實施800。如所繪示，裝置104是作為建築物150之起居室中的壁裝式裝置，其使得起居室之佔有者能夠瀏覽與建築物150之房間中之每一者且建築物150之佔有者中之每一者相關聯的位置及狀態資訊。
圖9描繪視覺表示144之實施900的實例，在該實施中，對建築物150之一部分的存取限定於裝置104的使用者。為了繪示，在裝置104之使用者並非經授權使用者的實施中，為了保持建築物150之所有者或者建築物150中私密位置之佔有者的私密性，建築物150之私密區域可能並未被顯示。如所繪示，圖5之浴室530及臥室532被熄滅以防止裝置104之未經授權使用者獲取與私密區域及私密區域內之佔有者相關的資訊。相似地，在視覺表示144之瀏覽者判定為未經授權不能瀏覽佔有者資訊的狀況下，與佔有者152中之一或多者相關之資訊可諸如藉由不顯示圖示544及狀態資訊520被移除。舉例而言，圖示544及狀態資訊520在瀏覽者並未經授權且佔有者為次要佔有者時可被省略。
圖10描繪使用者102為小汽車之駕駛員的實施1000之實例。視覺介面裝置140安裝至小汽車儀錶板1006中，且對於使用者102且對於乘員1004為可見的。
在實施1000中，視覺介面裝置140合併有全像顯示器，該全像顯示器能夠為與第一瀏覽方向1010相關聯的使用者102及與第二瀏覽方向1012相關聯之乘客1004提供不同視覺顯示。舉例而言，裝置104可使用面部辨識來判定使用者102為經授權使用者，但乘員1004並非經授權使用者。因此，裝置104可產生輸出117至視覺介面裝置140以使得視覺介面裝置140向使用者102提供視覺表示144，該視覺表示包括建築物150之所有區域、一或多個可控制裝置156及一或多個佔有者152，如圖11中所繪示；且向乘員1004提供視覺表示144之減少內容的版本，該減少內容之版本省略與建築物150之私密區域相關的資訊及與一或多個佔有者152相關的資訊，如圖12中所繪示。
圖11描繪如藉由圖10之使用者102看到的視覺表示144之實例1100，從而根據圖5之實施500顯示不受限定之資訊。對比而言，圖12描繪視覺表示144之實例1200，該實例對於圖10之乘員1004可見且省略敏感資訊之顯示，諸如建築物150中的私密位置及建築物150的佔有者，諸如參看圖9所描述。
藉由判定瀏覽者是否為裝置之經授權使用者且選擇性地允許或停用與建築物150之一或多個部分、一或多個可控制裝置156、一或多個佔有者152或其任何組合相關之資訊的表示，粒度安全性及私密性可得以提供。關於狀況顯示及與裝置104相關聯之授權的額外資訊參看圖14進一步詳細地描述。
圖13描繪用於提供與建築物之佔有者相關聯之資訊的方法1300之實施。舉例而言，方法1300可藉由「儀錶板」裝置，諸如裝置104執行。方法1300包括在1302處，在儀錶板裝置處接收與建築物之一或多個佔有者相關聯的即時狀態資訊。該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者。在一些實施中，狀態資訊進一步包括佔有者中之至少一者之一年齡或一情緒狀態中的至少一者。在一實例中，狀態資訊對應於藉由裝置104接收的狀態資訊130。
方法1300包括在1304處在儀錶板裝置之視覺介面處產生建築物之至少一部分及與一或多個佔有者相關聯之狀態資訊的視覺表示。舉例而言，視覺介面裝置140顯示描繪於圖5中之視覺表示144，該視覺表示包括建築物150之橫截面圖形描述、每一偵測到之佔有者152的獨特狀態資訊及使用者介面控制項以使得裝置104之使用者能夠在單一顯示器中(例如，單一螢幕或全息影像上)調整可控制裝置156的操作。
方法1300包括在1306處在儀錶板裝置處接收與建築物之一或多個可控制裝置之控制項相關的使用者輸入。在一些實施中，使用者輸入經由話語辨識操作，諸如經由對音訊信號143操作之話語辨識引擎118來接收。在一些實施中，使用者輸入經由以下各者中之至少一者來接收：示意動作辨識操作，諸如對感測器信號243操作之示意動作辨識單元218；或觸控偵測操作，諸如對觸控偵測信號245操作之觸控辨識單元220。
方法1300包括在1308處在儀錶板裝置處產生一指令以基於使用者輸入調整一或多個可控制裝置的一操作。舉例而言，處理器108產生指令132以傳輸至圖1的建築物管理系統154。
在一些實施中，方法1300包括判定儀錶板裝置之使用者是否為經授權使用者，且基於使用者是否為經授權使用者來選擇性地限定可控制裝置之控制項或對狀態資訊之至少一部分之存取中的至少一者。舉例而言，使用者驗證器264可操作以判定視覺表示144中之一或多個瀏覽者是否為經授權使用者。
在一些實施中，儀錶板裝置是處於一交通工具中，且產生視覺表示包括回應於交通工具具有單一佔有者且該單一佔有者為經授權使用者而將狀態資訊及與可控制裝置相關之資訊在無限定情況下併入至視覺表示中。在其他實施中，儀錶板裝置整合於交通工具之儀錶板中，且產生視覺表示包括回應於交通工具具有單一佔有者且單一佔有者為經授權使用者，自視覺表示省略狀態資訊且省略與非公眾區域中之可控制裝置相關的資訊，諸如圖9中所繪示。回應於交通工具具有多個佔有者且交通工具是處於緊急狀況，產生視覺表示可包括在無限定情況下倂入狀態資訊及與控制裝置相關之資訊至視覺表示中。回應於交通工具具有多個佔有者且交通工具並非處於緊急狀況，產生視覺表示可包括以全像形式顯示針對不同佔有者的不同螢幕。關於基於內容脈絡及使用者鑑認控制所顯示之資訊之實例的額外細節參看圖14予以描述。
藉由向使用者提供與建築物之佔有者相關的即時狀態資訊外加提供建築物內裝置之控制項，方法1300相較於並不向使用者提供佔有者狀態資訊的習知住宅儀錶板應用程式使得使用者能夠遠端地且在使佔有者不方便之減小的風險情況下實現建築物中的改變。在佔有者狀態資訊包括每一佔有者之位置及活動資訊且又包括每一佔有者之情緒狀態及年齡估計的實施中，相較於在使用者並不具有此資訊時，更有效或適當之動作可由使用者藉由考慮佔有者年齡及情緒狀態來作出選擇。
圖14描繪諸如在描繪於圖10中之小汽車儀錶板實施中判定一或多個視覺表示以在視覺介面裝置140處顯示的方法1400之實例。該方法1400包括在1402處判定小汽車內部人員的數目。舉例而言，可使用一或多個感測器，諸如就坐感測器、攝像機、紅外或超音波感測器或其任何組合以判定小汽車中佔有者的數目及方位。回應於判定單一佔有者是在小汽車中，方法1400包括在1404處判定單一佔有者是否為一經授權使用者  舉例而言，當佔有者為經授權使用者時，在1406處，視覺表示144(例如，「儀錶板」)提供對私用位置、佔有者資料及裝置控制選項的不受限定存取。替代地，當佔有者並非經授權使用者時，方法1400包括在1408處顯示視覺表示144以啟用公眾區域，諸如起居室、廚房及車庫中電氣設備的控制項且省略關於私用區域的佔有者資料及資訊。
替代地，當一個以上人員在小汽車內部偵測到時，方法1400包括在1410處，判定是否偵測到緊急狀況。在一些實施中，緊急狀況對應於裝置104之使用者的緊急狀況(例如經由裝置104中之加速計或其他感測器偵測到或藉由經由來自小汽車之緊急回應系統之無線發信接收通知偵測到的小汽車損毀)。在一些實施中，緊急狀況對應於針對建築物之佔有者的緊急情況(例如，啟動警報，諸如作為作為非限制性實例煙霧警報、火災報警、空氣摻雜物報警或安全報警，且通知被發送至裝置104(例如，在狀態資訊130中)從而指示緊急狀況的偵測)。
回應於判定偵測到緊急狀況，方法1400包括在1412處顯示具有未受限定資訊的視覺表示144。否則，方法1400包括在1414處對於不同乘員顯示全像方式上不同的螢幕。不同視覺表示144可是基於個別乘員中之每一者為經授權使用者抑或非經授權使用者，諸如先前參看圖10至圖12所描述。
藉由識別交通工具中乘員的數目及選擇性地產生針對不同乘員的不同全像螢幕，可保護建築物150之內部中佔有者及裝置的私密性免被非經授權使用者存取，同時經授權使用者可具有對狀態及控制資訊的完全存取。在緊急狀況下，所有瀏覽者(例如，緊急回應者)被授予了對狀態及控制資訊的存取。
參看圖15，裝置(例如，無線通信裝置、住宅裝置、物聯網(IOT)裝置、話音觸發數位助理或其組合)之特定繪示性實例的方塊圖經描繪且大致指定為1500。在各種實例中，裝置1500相較於圖15中所繪示包括較少或較多組件。在繪示性實例中，裝置1500對應於裝置104。在繪示性實例中，裝置1500執行參考圖1至圖14所描述之一或多個操作。
在特定態樣中，裝置1500包括處理器108(例如，中央處理單元(CPU))。裝置1500可包括一或多個額外處理器1510 (例如，一或多個數位信號處理器(DSP))。處理器1510包括話語及音樂編碼器-解碼器(編解碼器)1508、回聲消除器1512或兩者。處理器108經由收發器1540耦接至天線1542。收發器1540包括接收器222、傳輸器224或兩者。
儘管話語及音樂編解碼器1508繪示為處理器1510的組件，但在其他實例中，話語及音樂編解碼器1508之一或多個組件可包括於處理器108、編解碼器1534、另一處理組件或其組合中。裝置1500亦包括記憶體106。裝置1500包括耦接至顯示控制器1526之視覺介面裝置140。一或多個揚聲器1536、一或多個麥克風142或其組合可耦接至編解碼器1534。編解碼器1534可包括數位至類比轉換器(DAC) 1502及類比至數位轉換器(ADC) 1504。
在特定態樣中，編解碼器1534可自麥克風142接收類比信號、使用類比至數位轉換器1504將類比信號轉換成數位信號並將數位信號諸如以脈碼調變(PCM)格式提供至話語及音樂編解碼器1508。話語及音樂編解碼器1508可處理數位信號。在特定態樣中，話語及音樂編解碼器1508可將數位信號提供至編解碼器1534。編解碼器1534可使用數位至類比轉換器1502將數位信號轉換成類比信號，且可將類比信號提供至揚聲器1536。
記憶體106可包括指令230，該等指令藉由處理器108、處理器1510、編解碼器1534、裝置1500之另一處理單元或其組合可執行以執行本文中所揭示之方法及程序，諸如參看圖1至圖14描述之一或多個操作。參看圖1至圖14所描述之系統及裝置的一或多個組件可經由專用硬體(例如，電路)、由執行指令(例如，指令230)以執行一或多個任務之處理器或其組合實施。作為一實例，記憶體106或處理器108、處理器1510及/或編解碼器1534之一或多個組件包括記憶體裝置，諸如隨機存取記憶體(RAM)、磁電阻式隨機存取記憶體(MRAM)、自旋扭矩轉移MRAM (STT-MRAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、可卸除式磁碟或緊密光碟唯讀記憶體(CD-ROM)。記憶體裝置包括指令(例如，指令230)，該等指令在藉由電腦(例如，編解碼器1534、處理器108及/或處理器1510中之處理器)使得電腦執行參看圖1至圖14描述之一或多個操作。作為一實例，記憶體106或處理器108、處理器1510或編解碼器1534之一或多個組件為包括指令(例如，指令230)的電腦可讀儲存裝置，該等指令在由電腦(例如，編解碼器1534、處理器108及/或處理器1510中之處理器)執行時使得電腦執行參看圖1至圖14描述的一或多個操作。
在特定態樣中，裝置1500包括於封裝內系統或系統單晶片裝置1522(諸如，行動台數據機(MSM))中。在特定態樣中，處理器108、處理器1510、顯示控制器1526、記憶體106、編解碼器1534及收發器1540包括於封裝內系統或系統單晶片裝置1522中。在特定態樣中，諸如觸控式螢幕及/或小鍵盤之輸入裝置1530及電力供應器1544耦接至系統單晶片裝置1522。此外，在特定態樣中，如圖15中所繪示，視覺介面裝置140、輸入裝置1530、揚聲器1536、麥克風142、天線1542及電源供應器1544在系統單晶片裝置1522外部。然而，視覺介面裝置140、輸入裝置1530、揚聲器1536、麥克風142、天線1542及電源供應器1544中之每一者可耦接至系統單晶片裝置1522的組件，諸如介面或控制器。在繪示性實例中，裝置1500對應於虛擬助理、家用電器設施、智慧型裝置、物聯網(IoT)裝置、通信裝置、電腦、顯示裝置、電視、遊戲控制台、音樂播放器、無線電、視訊播放器、娛樂單元、個人媒體播放器、數位視訊播放器、攝影機、導航裝置、行動通信裝置、智慧型電話、蜂巢式電話、膝上型電腦、平板電腦、個人數位助理、顯示裝置、光學光碟播放器、調諧器、解碼器系統、編碼器系統或其任何組合。
結合所描述之態樣，揭示一種設備，該設備包括用於接收與建築物之一或多個佔有者相關聯之即時狀態資訊的構件。該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者。舉例而言，用於接收即時狀態資訊的構件可對應於接收器222、處理器108、收發器1540、經組態以接收狀態資訊的一或多個其他電路或裝置，或其任何組合
設備包括用於提供建築物之至少一部分及與一或多個佔有者相關聯之狀態資訊之一視覺表示的構件。舉例而言，用於提供之構件可對應於視覺介面裝置140、處理器108、輸出產生器260、經組態以提供視覺表示的一或多個其他電路或裝置，或其任何組合。
該設備包括用於接收與建築物之一或多個可控制裝置之控制項相關的使用者輸入之構件。舉例而言，用於接收使用者輸入的構件可對應於麥克風142、話語辨識引擎118、觸控式螢幕246、觸控辨識單元220、感測器244、示意動作辨識單元218、輸入裝置1530、處理器108、輸入辨識引擎302、經組態以接收使用者輸入的一或多個其他電路或裝置，或其任何組合。
設備包括用於產生指令以基於使用者輸入調整一或多個可控制裝置的操作之構件。舉例而言，用於產生指令的構件可對應於處理器108、指令產生器262、經組態以產生指令的一或多個其他電路裝置或裝置，或其任何組合。
在一些實施中，使用者輸入經由用於執行話語辨識操作的構件接收，該構件是諸如話語辨識引擎118、處理器108、輸入辨識引擎302、經組態以執行話語辨識操作的一或多個其他電路或裝置，或其任何組合。
在一些實施中，使用者輸入經由用於執行示意動作辨識操作之構件或用於執行觸控偵測操作的構件中之至少一者接收。舉例而言，用於執行示意動作辨識操作的構件可對應於感測器244、示意動作辨識單元218、處理器108、輸入辨識引擎302、經組態以執行示意動作辨識操作的一或多個其他電路或裝置，或其任何組合。作為另一實例，用於執行觸控辨識操作之構件可對應於觸控式螢幕246、觸控辨識單元220、處理器108、輸入辨識引擎302、經組態以執行觸控辨識操作的一或多個其他電路或裝置，或其任何組合。
在一些實施中，設備包括用於基於使用者是否為經授權使用者而選擇性地限定可控制裝置之控制項或對狀態資訊之至少一部分之存取中至少一者的構件。舉例而言，用於選擇性地限定之構件可對應於處理器108、使用者驗證器264、經組態以基於使用者是否為經授權使用者而選擇性地限定可控制裝置之控制項或對狀態資訊之至少一部分之存取中至少一者的一或多個其他電路或裝置，或其任何組合。
如本文中所所用，「耦接」可包括通信耦接、電耦接、磁耦接、實體地耦接、光耦接及其組合。兩個裝置(或組件)可經由一或多個其他裝置、組件、導線、匯流排、網路(例如，有線網路、無線網路或其組合)等等直接或間接地耦接(例如，通信耦接、電性耦接或實體耦接)。作為繪示性非限制性實例，電性耦接之兩個裝置(或組件)可包括於相同裝置或不同裝置中，且可經由電子件、一或多個連接器或電感耦接連接。在一些實施中，諸如在電通信中以通信方式耦接之兩個裝置(或組件)可諸如經由一或多個導線、匯流排、網路等直接或間接地發送及接收電信號(數位信號或類比信號)。
如本文中所使用，「產生」、「計算」、「使用」、「選擇」、「存取」及「判定」可互換使用。舉例而言，「產生」、「計算」或「判定」值、特性、參數或信號可指代主動地產生、計算或判定值、特性、參數或信號，或可指代使用、選擇或存取已諸如藉由組件或裝置產生之值、特性、參數或信號。
熟習此項技術者將進一步瞭解，結合本文所揭示之態樣描述的各種繪示性邏輯區塊、組態、模組、電路及演算法步驟可實施為電子硬體、電腦軟體，或兩者的組合。上文大體在功能性方面描述了各種繪示性組件、區塊、組態、模組、電路及步驟。將此功能性實施為硬體抑或軟體取決於特定應用程序及強加於整個系統上之設計約束。對於每一特定應用而言，熟習此項技術者可針對每一特定應用而以變化之方式實施所描述之功能性，但不應將此等實施決策解譯為致使脫離本發明之範疇。
結合本文中所揭示之態樣而描述的方法或演算之步驟可直接以硬體、由處理器執行之軟體模組，或其兩者之組合實施。軟體模組可駐存於隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、抹除式可程式化唯讀記憶體(EPROM)、電子抹除式可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、可卸除式磁碟、緊密光碟唯讀記憶體(CD-ROM)或此項技術中已知的任何其他形式的非暫時性儲存媒體中。例示性非暫時性(例如有形的)儲存媒體耦接至處理器，使得處理器可自儲存媒體讀取資訊並寫入資訊至儲存媒體。在替代方案中，儲存媒體可與處理器成一體式。處理器及儲存媒體可駐存於特殊應用積體電路(ASIC)中。ASIC可駐存於計算裝置或使用者終端機中。在替代方案中，處理器及儲存媒體可作為離散組件駐存於計算裝置或使用者終端機中。
提供所揭示態樣之先前描述以使得熟習此項技術者能夠製作或使用所揭示態樣。熟習此項技術者將易於瞭解對此等態樣之各種修改，且本文中定義之原理可應用於其他態樣而不脫離本發明之範疇。因此，本發明並不意欲限於本文中所展示之態樣，而是應符合可能與如以下申請專利範圍所定義之原理及新穎特徵相一致的最廣泛範疇。
100:系統 102:使用者 103:使用者話語 104:裝置 106:記憶體 108:處理器 117:輸出 118:話語辨識引擎 119:使用者輸入 130:狀態資訊 132:指令 140:視覺介面裝置 142:麥克風 143:音訊信號 144:視覺表示 150:建築物 152:佔有者 154:建築物管理系統 156:可控制裝置 158:感測器 200:系統 202:動態位置資訊 204:動態活動資訊 206:估計年齡 208:情緒狀態 218:示意動作辨識單元 220:觸控辨識單元 222:接收器 224:傳輸器 230:指令 240:裝置資訊 242:佔有者資料 243:感測器信號 244:感測器 245:觸控偵測信號 246:觸控式螢幕 248:所顯示狀態資訊 260:輸出產生器 262:指令產生器 264:使用者驗證器 300:實例 302:輸入辨識引擎 400:實施 500:實施 502:表示 504:技能或動作選擇器/介面組件 506:話語辨識組件/介面組件 508:操作狀態/介面組件 510:內容脈絡指示符/介面組件 512:示意動作指示符/介面組件 514:控制項 516:播放控制項 518:播放控制項 520:狀態資訊 522:指示符 524:指示符 530:浴室/位置 532:臥室/位置 534:起居室/位置 536:廚房/位置 538:車庫/位置 540:陽台/位置 542:照明指示符 544:圖示 600:特定實施 700:實施 702:小汽車儀錶板裝置 800:實施 900:實施 1000:實施 1004:乘員 1006:小汽車儀錶板 1010:第一瀏覽方向 1012:第二瀏覽方向 1100:實例 1200:實例 1300:用於提供與建築物之佔有者相關聯之資訊的方法 1302:區塊 1304:區塊 1306:區塊 1308:區塊 1400:判定一或多個視覺表示以在視覺介面裝置處顯示的方法 1402:區塊 1404:區塊 1406:區塊 1408:區塊 1410:區塊 1412:區塊 1414:區塊 1500:裝置 1502:數位至類比轉換器(DAC) 1504:類比至數位轉換器(ADC) 1508:話語及音樂編碼器-解碼器(編解碼器) 1510:額外處理器 1512:回聲消除器 1513:輸入介面 1522:封裝內系統/系統單晶片裝置 1526:顯示控制器 1530:輸入裝置 1534:編解碼器 1536:揚聲器 1540:收發器 1542:天線 1544:電力供應器
圖1為系統之特定繪示性實例的方塊圖，該系統包括用以瀏覽建築物中之佔有者狀態並管理裝置的裝置。
圖2為包括圖1之裝置之組件之第一繪示性實例的方塊圖。
圖3為圖1之裝置之組件之第二繪示性實例的方塊圖。
圖4為圖1之裝置之組件之第三繪示性實例的方塊圖。
圖5為描繪藉由圖1之裝置產生的佔有者狀態及可控制裝置之視覺表示之繪示性實例的圖式。
圖6為圖1之裝置之第一繪示性實例的圖式。
圖7為描繪圖1之裝置之第二繪示性實例的圖式。
圖8為描繪圖1之裝置之第三繪示性實例的圖式。
圖9為描繪藉由圖1之裝置產生的佔有者狀態及可控制裝置之視覺表示之另一繪示性實例的圖式。
圖10為描繪交通工具儀錶板中圖1之裝置之實施的圖式，該儀錶板藉由交通工具之操作者及乘員可瀏覽。
圖11為描繪藉由圖10之操作者可瀏覽的佔有者狀態及可控制裝置之視覺表示之繪示性實例的圖式。
圖12為描繪藉由圖10之乘員可瀏覽的佔有者狀態及可控制裝置之視覺表示之繪示性實例的圖式。
圖13為繪示提供關於建築物之佔有者之資訊之特定方法的流程圖。
圖14為繪示提供關於建築物之佔有者之資訊之另一特定方法的流程圖。
圖15為用以瀏覽建築物中之佔有者狀態並管理裝置的裝置之特定繪示性實例的方塊圖。
100:系統
102:使用者
103:使用者話語
104:裝置
106:記憶體
108:處理器
117:輸出
118:話語辨識引擎
119:使用者輸入
130:狀態資訊
132:指令
140:視覺介面裝置
142:麥克風
143:音訊信號
144:視覺表示
150:建築物
152:佔有者
154:建築物管理系統
156:可控制裝置
158:感測器

Claims (29)

  1. 一種用以提供資訊至可安裝至一交通工具儀錶板之一視覺介面裝置的裝置，在一交通工具內，該裝置包含：一記憶體，該記憶體經組態以儲存指示一建築物之可控制裝置的裝置資訊及指示該建築物之一或多個佔有者的佔有者資料；及一處理器，其經組態以：即時地接收與該建築物之該一或多個佔有者相關聯之狀態資訊，該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者；從該交通工具儀錶板接收來自單一經授權使用者之使用者輸入，其與該建築物之一或多個可控制裝置之控制相關聯；基於該單一經授權使用者為該交通工具之唯一佔有者而產生一輸出以在該視覺介面裝置處提供該建築物之至少一部分及與該建築物之該一或多個佔有者相關聯之該狀態資訊的一視覺表示，其係併入該狀態資訊及與該等可控制裝置相關之資訊；及產生一指令以基於該使用者輸入調整該等可控制裝置之一或多個裝置的一操作。
  2. 如請求項1之裝置，其中該處理器、該記憶體及該視覺介面裝置整合至一交通工具儀錶板裝置中。
  3. 如請求項1之裝置，其中該狀態資訊進一步包括該建築物之該一或多個佔有者中之至少一者之一年齡或一情緒狀態中的至少一者。
  4. 如請求項1之裝置，其進一步包含一話語辨識引擎，該話語辨識引擎經組態以接收對應於可聽使用者話語之一音訊信號且將該音訊信號轉譯成該使用者輸入。
  5. 如請求項4之裝置，其進一步包含一麥克風，該麥克風耦接至該話語辨識引擎且經組態以捕捉該可聽使用者話語且產生該音訊信號。
  6. 如請求項1之裝置，其進一步包含一示意動作辨識單元，該示意動作辨識單元經組態以接收對應於一使用者示意動作之一感測器信號且將該感測器信號轉譯成該使用者輸入。
  7. 如請求項6之裝置，其進一步包含一攝影機、一紅外線感測器或一超音波感測器中的至少一者，該至少一者耦接至該示意動作辨識單元且經組態以捕捉該使用者示意動作且產生該感測器信號。
  8. 如請求項1之裝置，其進一步包含一觸控辨識單元，該觸控辨識單元經組態以接收對應於一使用者觸控的一觸控偵測信號且將該觸控偵測信號轉譯成該使用者輸入。
  9. 如請求項8之裝置，其進一步包含一觸控式螢幕，該觸控式螢幕耦接至該觸控辨識單元且經組態以顯示該視覺表示並產生該觸控偵測信號。
  10. 如請求項1之裝置，其中該處理器進一步經組態以基於該使用者輸入來選擇性地限定該等可控制裝置的控制項。
  11. 如請求項1之裝置，其中該處理器進一步經組態以基於該使用者輸入選擇性地限定對該狀態資訊之至少一部分的存取。
  12. 如請求項1之裝置，其進一步包含一傳輸器，該傳輸器耦接至該處理器且經組態以傳輸該指令至該一或多個裝置。
  13. 如請求項1之裝置，其中該指令包括如下各者中之至少一者：用以使得該建築物中之一氣候控制裝置調整一溫度的指令，用以調整該建築物之至少一房間中一照明位準的一指令，或用以調整該建築物中一娛樂系統之播放設定的一指令。
  14. 一種用於提供與一建築物之佔有者相關聯之資訊的方法，該方法包含：在一儀錶板裝置處即時地接收與該建築物之一或多個佔有者相關聯之狀態資訊，該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者，其中該儀錶板裝置是處於一交通工具中；從該交通工具儀錶板接收來自單一經授權使用者之使用者輸入，其與該建築物之一或多個可控制裝置之控制相關聯；基於該單一經授權使用者為該交通工具之唯一佔有者而在該儀錶板裝置之一視覺介面處產生該建築物之至少一部分及與該建築物之該一或多個佔有者相關聯之該狀態資訊的一視覺表示，其係併入該狀態資訊及與該等可控制裝置相關之資訊；及在該儀錶板裝置處產生一指令以基於該使用者輸入調整該一或多個可控制裝置的一操作。
  15. 如請求項14之方法，其中該使用者輸入經由一話語辨識操作接收。
  16. 如請求項14之方法，其中該使用者輸入經由一示意動作辨識操作或一觸控偵測操作中的至少一者來接收。
  17. 如請求項14之方法，其進一步包含：基於該使用者輸入選擇性地限定該等可控制裝置之控制項或對該狀態資訊之至少一部分之存取中的至少一者。
  18. 如請求項14之方法，其中該狀態資訊進一步包括該建築物之一第一佔有者正在一起居室中觀看電視，且該建築物之一第二佔有者躺在一臥室中的一床上，其中該使用者輸入包括減低該電視之一音量的一指令，且其中該指令被傳輸至該電視以使得該電視減低該音量。
  19. 一種包含指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器：在一交通工具中之一儀錶板裝置處即時地接收與一建築物之一或多個佔有者相關聯之狀態資訊，該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者；從該儀錶板裝置接收來自單一經授權使用者之使用者輸入，以控制該建築物之一或多個可控制裝置；基於該單一經授權使用者為該交通工具之唯一佔有者而產生針對一視覺介面裝置之一輸出以提供該建築物之至少一部分及與該建築物之該一或多個佔有者相關聯之該狀態資訊的一視覺表示，其係併入該狀態資訊及與該等可控制裝置相關之資訊；及 產生一指令以基於該使用者輸入調整該一或多個可控制裝置的一操作。
  20. 如請求項19之非暫時性電腦可讀媒體，其中該動態活動資訊指示與該建築物之該一或多個佔有者中之每一者相關聯的一活動，且其中該動態位置資訊指示該一或多個佔有者在該建築物內的一位置。
  21. 如請求項19之非暫時性電腦可讀媒體，其中該使用者輸入經由一話語辨識操作、一示意動作辨識操作或一觸控偵測操作中的至少一者接收。
  22. 如請求項19之非暫時性電腦可讀媒體，其中該等指令在由該一或多個處理器執行時進一步使得該一或多個處理器：基於該經授權使用者之授權使用而選擇性地限定該等可控制裝置之控制項或對該狀態資訊之至少一部分之存取中的至少一者。
  23. 一種用以執行操作以提供關於一建築物之佔有者之資訊的設備，該設備包含：用於在一交通工具中之一儀錶板裝置處即時地接收與該建築物之一或多個佔有者相關聯之狀態資訊的構件，該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者；用於從該儀錶板裝置接收來自單一經授權使用者之使用者輸入的構件，該使用者輸入與該建築物之一或多個可控制裝置之控制相關聯；用於基於該單一經授權使用者為該交通工具之唯一佔有者而提供該建築物之至少一部分及與該建築物之該一或多個佔有者相關聯之該狀態資訊之一視覺表示，其係併入該狀態資訊及與該等可控制裝置相關之資訊的構件；及 用於產生一指令以基於該使用者輸入調整該一或多個可控制裝置之一操作的構件。
  24. 如請求項23之設備，其中該使用者輸入經由用於執行一話語辨識操作之一構件接收。
  25. 如請求項23之設備，其中該使用者輸入經由用於執行一示意動作辨識操作之一構件或用於執行一觸控偵測操作之一構件中之至少一者接收。
  26. 如請求項23之設備，其進一步包含用於基於該經授權使用者之授權使用而選擇性地限定該等可控制裝置之控制項或對該狀態資訊之至少一部分之存取中至少一者的構件。
  27. 一種用以提供資訊至可安裝至一交通工具儀錶板之一視覺介面裝置的裝置，在一交通工具內，該裝置包含：一記憶體，經組態以儲存指示一建築物之可控制裝置的裝置資訊及指示該建築物之一或多個佔有者的佔有者資料；及一處理器，其經組態以：即時地接收與該建築物之該一或多個佔有者相關聯之狀態資訊，該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者；從該交通工具儀錶板接收來自在該交通工具內之一人之使用者輸入；基於複數個人在該交通工具內而產生一輸出以在該視覺介面裝置處提供該建築物之至少一部分及與該一或多個佔有者相關聯之該狀態資訊的一視覺表示；產生一指令以基於該使用者輸入調整該等可控制裝置之一或多個裝置的一操作；及在該交通工具內全像地顯示不同畫面給該交通工具內之不同人。
  28. 一種用以提供資訊至可安裝至一交通工具儀錶板之一視覺介面裝置的裝置，在一交通工具內，該裝置包含：一記憶體，經組態以儲存指示一建築物之可控制裝置的裝置資訊及指示該建築物之一或多個佔有者的佔有者資料；及一處理器，其經組態以：即時地接收與該建築物之該一或多個佔有者相關聯之狀態資訊，該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者；從該交通工具儀錶板接收來自在該交通工具內之一人之使用者輸入；沒有限制地基於複數個人在該交通工具內且該交通工具處於一緊急狀況而產生一輸出以在該視覺介面裝置處提供該建築物之至少一部分及與該一或多個佔有者相關聯之該狀態資訊的一視覺表示，其係併入該狀態資訊及與該等可控制裝置相關之資訊；產生一指令以基於該使用者輸入調整該等可控制裝置之一或多個裝置的一操作；及在該交通工具內全像地顯示不同畫面給該交通工具內之不同人。
  29. 一種用以提供資訊至可安裝至一交通工具儀錶板之一視覺介面裝置的裝置，在一交通工具內，該裝置包含：一記憶體，經組態以儲存指示一建築物之可控制裝置的裝置資訊及指示該建築物之一或多個佔有者的佔有者資料；及一處理器，其經組態以：即時地接收與該建築物之該一或多個佔有者相關聯之狀態資訊，該狀態資訊包括動態位置資訊或動態活動資訊中的至少一者；從該交通工具儀錶板接收來自在該交通工具內之一未經授權使用者之使用者輸入； 基於該未經授權使用者為該交通工具之唯一佔有者而產生一輸出以在該視覺介面裝置處提供該建築物之至少一部分及與該建築物之該一或多個佔有者相關聯之該狀態資訊的一視覺表示，其係省略該狀態資訊及省略與該建築物之非公開區域中的可控制裝置相關之資訊；及產生一指令以基於該使用者輸入調整該等可控制裝置之一或多個裝置的一操作。
TW109110340A 2019-03-29 2020-03-26 瀏覽建築物之占有者狀態及管理裝置之系統及方法 TWI827825B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/370,836 US11240058B2 (en) 2019-03-29 2019-03-29 System and method to view occupant status and manage devices of building
US16/370,836 2019-03-29

Publications (2)

Publication Number Publication Date
TW202044058A TW202044058A (zh) 2020-12-01
TWI827825B true TWI827825B (zh) 2024-01-01

Family

ID=70334087

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109110340A TWI827825B (zh) 2019-03-29 2020-03-26 瀏覽建築物之占有者狀態及管理裝置之系統及方法

Country Status (5)

Country Link
US (1) US11240058B2 (zh)
EP (2) EP3948514B1 (zh)
CN (1) CN113614686B (zh)
TW (1) TWI827825B (zh)
WO (1) WO2020205371A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704443B2 (en) * 2019-11-19 2023-07-18 Silicon Laboratories Inc. Block cipher side-channel attack mitigation for secure devices
EP4397015A1 (en) 2021-09-03 2024-07-10 Dish Wireless L.L.C. Systems and methods for implementing digital twin with a live streaming map
FR3130048B1 (fr) * 2021-12-07 2024-07-26 Seb Sa Système de commande d’une pluralité d’appareils domestiques
US12267912B2 (en) 2021-12-21 2025-04-01 Dish Wireless L.L.C. Systems and methods for providing applications with access to network functionality
US12198528B2 (en) * 2022-12-27 2025-01-14 The Adt Security Corporation Alarm system facial recognition

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130041951A1 (en) * 2011-08-10 2013-02-14 Gunho Lee Home appliance and method of operating the same
TW201502955A (zh) * 2012-12-27 2015-01-16 Sony Corp 資訊處理裝置，資訊處理方法以及程式
US20160301543A1 (en) * 2013-07-12 2016-10-13 Mitsubishi Electric Corporation Appliance control system, home controller, remote control method, and recording medium
US20170288892A1 (en) * 2016-03-30 2017-10-05 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for controlling appliances
CN107763961A (zh) * 2017-11-08 2018-03-06 绵阳美菱软件技术有限公司 一种冰箱及其业务实现方法
TW201819860A (zh) * 2016-11-16 2018-06-01 英業達股份有限公司 行車導航裝置及行車導航方法
US20180331846A1 (en) * 2017-05-09 2018-11-15 Vivint, Inc. Activity based automation
US20180352193A1 (en) * 2015-12-11 2018-12-06 Sony Corporation Information processing apparatus, information processing method, and program

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563430B1 (en) * 1998-12-11 2003-05-13 Koninklijke Philips Electronics N.V. Remote control device with location dependent interface
US6661340B1 (en) * 2001-04-24 2003-12-09 Microstrategy Incorporated System and method for connecting security systems to a wireless device
US20060230270A1 (en) 2005-04-07 2006-10-12 Goffin Glen P Method and apparatus for providing status information from a security and automation system to an emergency responder
US10120105B2 (en) * 2007-10-23 2018-11-06 La Crosse Technology Ltd. Location monitoring via a gateway
US20130285837A1 (en) * 2011-01-19 2013-10-31 Nec Casio Mobile Communications, Ltd. Mobile communication device and communication method
US10698577B2 (en) * 2013-03-18 2020-06-30 Dennis Bushmitch Integrated mobile device
US10546441B2 (en) * 2013-06-04 2020-01-28 Raymond Anthony Joao Control, monitoring, and/or security, apparatus and method for premises, vehicles, and/or articles
US9412245B2 (en) 2013-08-08 2016-08-09 Honeywell International Inc. System and method for visualization of history of events using BIM model
US20150268840A1 (en) * 2014-03-20 2015-09-24 Nokia Corporation Determination of a program interaction profile based at least in part on a display region
US9787812B2 (en) * 2014-08-28 2017-10-10 Honda Motor Co., Ltd. Privacy management
ES2955954T3 (es) 2014-09-29 2023-12-11 Signify Holding Bv Sistemas y métodos para gestionar las condiciones ambientales
US9858788B2 (en) * 2015-04-07 2018-01-02 Vivint, Inc. Smart bedtime
US9717012B2 (en) * 2015-06-01 2017-07-25 Afero, Inc. Internet of things (IOT) automotive device, system, and method
US10248189B2 (en) * 2016-07-29 2019-04-02 Lenovo (Singapore) Pte. Ltd. Presentation of virtual reality object based on one or more conditions
US20180284974A1 (en) * 2017-03-29 2018-10-04 Honeywell International Inc. Method for Recreating Time-Based Events Using a Building Monitoring System
US20210133695A1 (en) * 2017-05-25 2021-05-06 Wells Fargo Bank, N.A. Vehicle life cycle management
ES3041255T3 (en) * 2018-03-28 2025-11-11 Adeia Guides Inc Systems and methods for adjusting a media consumption environment based on changes in states of an object
US10942637B2 (en) * 2018-10-09 2021-03-09 Midea Group Co., Ltd. Method and system for providing control user interfaces for home appliances
US20200128375A1 (en) * 2018-10-22 2020-04-23 GM Global Technology Operations LLC Updating vehicle electronics based on mobile device compatibility

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130041951A1 (en) * 2011-08-10 2013-02-14 Gunho Lee Home appliance and method of operating the same
TW201502955A (zh) * 2012-12-27 2015-01-16 Sony Corp 資訊處理裝置，資訊處理方法以及程式
US20160301543A1 (en) * 2013-07-12 2016-10-13 Mitsubishi Electric Corporation Appliance control system, home controller, remote control method, and recording medium
US20180352193A1 (en) * 2015-12-11 2018-12-06 Sony Corporation Information processing apparatus, information processing method, and program
US20170288892A1 (en) * 2016-03-30 2017-10-05 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for controlling appliances
TW201819860A (zh) * 2016-11-16 2018-06-01 英業達股份有限公司 行車導航裝置及行車導航方法
US20180331846A1 (en) * 2017-05-09 2018-11-15 Vivint, Inc. Activity based automation
CN107763961A (zh) * 2017-11-08 2018-03-06 绵阳美菱软件技术有限公司 一种冰箱及其业务实现方法

Also Published As

Publication number Publication date
US20200313923A1 (en) 2020-10-01
EP4307266B1 (en) 2025-10-01
US11240058B2 (en) 2022-02-01
TW202044058A (zh) 2020-12-01
EP4307266A2 (en) 2024-01-17
CN113614686A (zh) 2021-11-05
KR20210141516A (ko) 2021-11-23
EP4307266A3 (en) 2024-03-20
EP3948514B1 (en) 2023-11-22
WO2020205371A1 (en) 2020-10-08
EP4307266C0 (en) 2025-10-01
EP3948514C0 (en) 2023-11-22
CN113614686B (zh) 2024-10-11
EP3948514A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
TWI827825B (zh) 瀏覽建築物之占有者狀態及管理裝置之系統及方法
US11217240B2 (en) Context-aware control for smart devices
US11302325B2 (en) Automatic dialogue design
JP7622956B2 (ja) 装置及びプログラム等
JP2022539794A (ja) マルチモーダルユーザインターフェース
CN121033998A (zh) 经由居家助手进行活动监视的系统、方法和设备
WO2016052018A1 (ja) 家電管理システム、家電、リモコン装置、ロボット
EP3635531B1 (en) An instruction forwarding system for a voice assistant
WO2015003377A1 (zh) 智能住宅系统及其运作方法
WO2017214732A1 (en) Remote control by way of sequences of keyboard codes
WO2010020924A1 (en) Method, portable device and system for providing feedback related to a user's physical state
KR20200092763A (ko) 사용자 음성을 처리하는 전자장치 및 그 제어 방법
KR102926598B1 (ko) 점유자 상태를 관찰하고 빌딩의 디바이스들을 관리하는 시스템 및 방법
CN112005554A (zh) 信息处理装置和信息处理方法
US11818820B2 (en) Adapting a lighting control interface based on an analysis of conversational input
US20250110631A1 (en) Techniques for changing display of controls
WO2020075403A1 (ja) コミュニケーションシステム
JP7612732B2 (ja) 音声メッセージのためのユーザインタフェース
US20250032911A1 (en) Multi-modal computer game feedback using conversational digital assistant
US20250110636A1 (en) Techniques and user interfaces for controlling one or more electronic devices
US10574708B2 (en) Method and system for remote communication
CN117681822A (zh) 车辆控制方法、装置、设备及车辆
WO2025072856A1 (en) Techniques for controlling an area