TWI803760B - 仿生計算系統及其雲端系統 - Google Patents
仿生計算系統及其雲端系統 Download PDFInfo
- Publication number
- TWI803760B TWI803760B TW109121329A TW109121329A TWI803760B TW I803760 B TWI803760 B TW I803760B TW 109121329 A TW109121329 A TW 109121329A TW 109121329 A TW109121329 A TW 109121329A TW I803760 B TWI803760 B TW I803760B
- Authority
- TW
- Taiwan
- Prior art keywords
- subsystem
- attention
- sensing
- memory space
- event
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/043—Distributed expert systems; Blackboards
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
仿生計算系統包含感知子系統、關注子系統及時空認知子系統。感知子系統有多個感知裝置,用於自多個序列的感測資料偵測出物件,且為各物件產生物件記錄。關注子系統跨感測設備地重新識別追蹤識別碼來調整物件記錄,且產生物件關聯、位置關聯以及運動蘊含規則。時空認知子系統在工作記憶空間中組織及保留物件記錄。感知子系統自同一感知裝置的各感測資料辨識出基本事件,關注子系統判斷在一時間窗內來自同一感測設備之基本事件之一部分符合一模式以辨識出一情境事件,時空認知子系統根據情境事件及工作記憶空間之物件記錄來辨識一複雜事件。
Description
本發明係關於一種仿生計算系統及其雲端系統。具體而言,本發明係關於一種類似人類記憶之仿生計算系統及其雲端系統,其在短期及長期記憶空間中組織及保留資訊,辨識在現實世界中即時發生之複雜事件,且提供預測與類似人類的分析。
有鑑於深度神經網路、網頁追蹤、物聯網(Internet of Things;IoT)、邊緣計算等技術在近期的快速發展,資料的獲取方式已產生本質上的改變,使得當今的資料在數量、速度、多樣性及真實性等面向與過往顯著不同。當今的資料數量龐大、為串流資料、為多面向的,且來源廣泛。由於具有這些特性,業界的注意力已從生產資料(傳統上由專業人員管理及使用以進行商業處理)轉向行為資料(behavioral data)。行為資料單純地反映客觀世界的事實,更精準而言,行為資料反映受自然法則支配的物理世界的事實。
上述現象導致資料應用的範式轉變(paradigm shift),且因此導致各行各業處理各種技術問題的方式的範式轉變。以安全及執法行業為例,洞察處境(situational awareness)對日常的運作至關重要。對環境要素及事件在時間或空間上的感知、對其含義的理解以及對未來狀態的預測,使我們能夠在橫跨各種不同處境下(例如:商業建築的綜合安全服務、航空安全、關鍵基礎設施保護)做出明智的決策。
儘管行為資料隨時隨地可見,但行為資料往往不完整、不準確或甚至會造成誤導。這是因為當今世界不僅複雜,且快速地變化,因此概念極可能隨著時間漂移。因此,為回應於快速變化的情況或突然出現的事件、對日常情況保持警覺、甚至學習開發新概念,亟需開發出一種能夠及時捕捉及處理多來源行為資料的類似人類的記憶系統。
本發明之一目的在於提供一種仿生計算系統,其係包含一感知子系統、一關注子系統及一時空認知子系統。
該感知子系統包含複數個感知裝置,且各該感知裝置對應至少一個感測設備。各該感知裝置自對應的各該感測設備接收一序列的複數個感測資料,各該感知裝置以基於人工智慧(Artificial Intelligence;AI)之方式自對應的各該序列的該等感測資料偵測出複數個物件,且各該感知裝置為對應的各該物件產生一物件記錄,其中各該物件記錄包含本地唯一的一追蹤識別碼、一時間戳記及一位置。
該關注子系統藉由跨越該等感測設備地重新識別(re-identify)該等追蹤識別碼來調整該等物件記錄。該關注子系統更產生複數個物件關聯、複數個位置關聯及複數個運動蘊含規則(implications)。各該物件關聯係介於自同一感測資料所偵測出的兩個物件之間。各該位置關聯係介於該等物件其中之一與一預設感興趣位置之間。各該運動蘊含規則與具有同一追蹤識別碼的該等物件其中之一以及來自同一感測設備的該等感測資料其中之二者相關。
該時空認知子系統根據該等時間戳記及該等位置在一工作記憶空間中組織及保留該等物件記錄。
該感知子系統更自同一感知裝置之各該感測資料中辨識出複數個基本事件,該關注子系統更藉由判斷在一時間窗內來自同一感測設備之該等基本事件之一部分符合一預定模式而辨識出一情境事件,且該時空認知子系統更根據該情境事件以及保留在該工作記憶空間中的該等物件記錄之一整個歷史來辨識出一複雜事件。
該仿生計算系統在某些實施方式中可更包含一預測子系統。該預測子系統根據該等物件記錄、該等物件關聯、該等位置關聯及該等運動蘊含規則來訓練一預期模型。該預測子系統更為一關切物件(concerned object)提供一有限系列的複數個預測物件記錄。
該仿生計算系統在某些實施方式中可更包含一分析子系統。該時空認知子系統可將存在於該工作記憶空間中超過一預定時間長度之該等物件記錄自該工作記憶空間移動至一長期記憶空間。該分析子系統參照該長期記憶空間中之所有該等物件記錄以及時且交互之方式協助一人類或一專家系統分析並規劃一應用。
本發明之另一目的在於提供一種雲端系統。該雲端系統在某些實施方式中可包含上述關注子系統及時空認知子系統。該雲端系統在某些實施方式中更可包括上述預測子系統及/或分析子系統。
本發明所提供的仿生計算系統為生活帶來一種人工認知思維,它反映客觀世界中隨時隨地的人、物件及事物。藉由感知的手段(其類似於人工感知),仿生計算系統獲取、組織及保留及時的資料,其用意在於重建真實世界的動態,以便辨識出具有意義的事件、偵測異常情況、追蹤成千上萬的移動物件、推理出有趣的概念及/或預期將要發生的事情,以達成維護安全及社會秩序的目的。
此外,仿生計算系統能適應不斷變化的環境。藉由使用機器學習演算法,仿生計算系統能夠從人工思維的長期記憶中找出過去的經驗,並據以學習開發新的模型。一旦模型開始偏離實際情況,仿生計算系統便藉由使用最近感知的資料重新訓練新模型來重建人工思維,進而預測變化環境中的新行為。
以下結合圖式闡述本發明之詳細技術及實施方式,俾使本發明所屬技術領域中具有通常知識者能理解所請求保護之發明之技術特徵。
以下將透過實施方式來解釋本發明所提供之仿生計算系統及其雲端系統。然而,該等實施方式並非用以限制本發明需在如該等實施方式所述之任何環境、應用或方式方能實施。因此,關於以下實施方式之說明僅在於闡釋本發明之目的,而非用以限制本發明之範圍。應理解,在以下實施方式及圖式中,與本發明非直接相關之元件已省略而未繪示,且圖式中各元件之尺寸以及元件間之尺寸比例僅為便於繪示及說明,而非用以限制本發明之範圍。
本發明之一實施方式為一仿生計算系統1,其示意圖係描繪於第1圖中。仿生計算系統1包含一感知子系統11、一關注子系統13、一時空認知子系統15、一預測子系統17及一分析子系統19。需說明者,在本發明之某些實施方式中,預測子系統17及分析子系統19為非必須的。
仿生計算系統1係基於如第2圖所示之類人類的長短期記憶(Long-Short-Term Memory;LSTM)架構而開發的。第2圖的上半部係描繪與人類認知過程(即,心理過程)類似的運算過程,且第2圖的下半部係描繪與人類記憶系統類似的資料記憶/儲存系統。該架構包含五層,且每一層包含一計算過程及一記憶/儲存系統。感知子系統11、關注子系統13、時空認知子系統15、預測子系統17及分析子系統19分別負責第一層、第二層、第三層、第四層及第五層。所述五層將詳述於下文。
在本實施方式中,仿生計算系統1採用一邊緣-雲端架構(edge cloud architecture)。感知子系統11可被視為邊緣端,而關注子系統13、時空認知子系統15、預測子系統17及分析子系統19可被視為雲端。在本發明之其他實施方式中,仿生計算系統1可採用其他架構,例如:將五個子系統整合為一機器人。
第3圖描繪本實施方式之感知子系統11之示意圖。感知子系統11包含複數個感知裝置11a、11b、……、11c,且感知裝置11a、11b、……、11c中的每一個對應於至少一個感測設備。各該感測設備為一能夠產生一系列感測資料之裝置,例如:能夠產生一系列影像之一閉路電視(closed-circuit television;CCTV)及能夠產生一系列音訊片段(audio clip)之一麥克風。在第3圖所示之具體範例中,感知裝置11a對應於一個感測設備a1,感知裝置11b對應於三個感測設備b1、b2、b3,且感知裝置11c對應於兩個感測設備c1、c2。
如第4圖所示,感知裝置11a、11b、……、11c中的每一個包含一儲存單元、至少一個收發介面(儘管第4圖僅繪出一個收發介面)以及一處理器,其中該處理器電性連接至該儲存單元及該至少一個收發介面。各該處理器可為各種處理器、中央處理單元(Central Processing Unit;CPU)、微處理器、數位訊號處理器(Digital Signal Processor;DSP)或其他具有相同功能且為本發明所屬技術領域中具有通常知識者所熟知之任何其他計算裝置。各該儲存單元可被視為仿生計算系統1之一感知記憶體,且可由任何類型之記憶體(例如:隨機存取記憶體(Random Access Memory;RAM)、視訊隨機存取記憶體)、硬碟(hard disk drive;HDD)(例如:常規硬碟、固態硬碟)、通用串列匯流排(universal serial bus;USB)碟或其他具有相同功能且為本發明所屬技術領域中具有通常知識者所熟知之任何其他非暫態儲存媒體或裝置實現。各該收發介面可為能夠與一網路中之一或多個設備通訊之任何介面,例如:藍芽介面及Wi-Fi介面。需說明者,感知裝置可使用同一收發介面來與對應的感測設備及關注子系統13通訊。或者,感知裝置可使用一個收發介面來與對應的感測設備通訊,但使用另一收發介面來與關注子系統13通訊。
關注子系統13、時空認知子系統15、預測子系統17及分析子系統19可由具有一或多個伺服器之一雲端系統來實現。換言之,關注子系統13、時空認知子系統15、預測子系統17及分析子系統19的每一個可各自為一伺服器。或者,關注子系統13、時空認知子系統15、預測子系統17及分析子系統19中的某一些或全部被整合為一個伺服器也是可行的。
如第5圖所示,雲端系統包含至少一處理器(儘管在第5圖中僅繪出一個處理器)、至少一收發介面(儘管在第5圖中僅繪出一個收發介面)、工作記憶空間WM及長期記憶空間LM。各該處理器可為各種處理器、中央處理單元、微處理器、數位訊號處理器或具有相同功能且為本發明所屬技術領域中具有通常知識者所熟知之任何其他計算裝置。各該收發介面可為能夠與一網路中之設備通訊之任何介面。工作記憶空間WM可為一隨機存取記憶體(RAM)、一非揮發性記憶體、一硬碟或其他具有相同功能且為本發明所屬技術領域中具有通常知識者所熟知之任何其他非暫態儲存媒體或裝置其中之一。長期記憶空間LM可為一硬碟或能夠永久儲存數位資料之任何其他非暫態儲存媒體或裝置。
仿生計算系統1為一類人類之記憶系統,其取得許多無意義的資訊,並從中獲取意義。仿生計算系統1採用五層的計算過程——感知、關注、認知、預測及分析,以達到在兩個不同的層面(包括潛意識層面(subconscious level)及意識層面(conscious level))處理接收到的感測資訊。潛意識層面係感知並記憶來自現實的感測資訊的每一細節,但沒有任何意圖且沒有任何目的。意識層面則是為了某種特定目的而有意圖地辨識出預先定義的有意義事件的過程。因此,仿生計算系統1能夠在無人幫助的情況下回答真實世界的核心問題(Core Questions of Real Reality;CQRR),包含:(1)發生了何事?何時何地?(2)何人參與了所辨識出來的事件?(3)此(些)人現在何處?(4)在不久的將來會發生何事?
以下將詳細描述感知子系統11、關注子系統13、時空認知子系統15、預測子系統17及分析子系統19所執行之運作。
感知子系統11對應於第一層的計算過程(即,感知)。感知是藉由感覺/感測而看到、聽到或知曉某事的能力。第一層與類似人類的感知能力相關,第一層被設計用於獲取感測資料,例如:藉由物件偵測的方式、藉由深度學習系統進行分割、藉由物聯網(IoT)裝置進行資訊編碼、藉由網頁抓取工具(web clawer)進行搜索等。這種獲取資料的方式被稱為人工感知,因為人工智慧通常不僅用於處理感測模式(sensory pattern),還用於處理其他類型的資料,例如:來自證券交易的即時報價(real-time tick)。人工感知系統包含將圖片、視訊或聲音中錯綜複雜的細節以及細微的差異吸收至此系統的神經網路參數中。在訓練後,該人工感知系統能夠基於饋送至系統中的影像、臉部、物件、移動或聲音的模式來感知輸入資料。
具體而言,感知子系統11執行資料收集(例如:資料獲取、資料感知)及物件偵測,這些運作可視為與潛意識層面相關。感測設備a1、b1、b2、b3、……、c1、c2的每一個持續地(例如:週期性地)產生(例如:捕獲、感知)一感測資料,且持續地將該感測資料傳輸至對應的感知裝置。從感知裝置11a、11b、……、11c的角度觀之,感知裝置11a、11b、……、11c的每一個自每一個對應的感測設備接收一系列的感測資料。以感知裝置11c為例,其收發介面自感測設備c1接收一系列的感測資料S1,且自感測設備c2接收一系列的感測資料S2。這種感測資料出現得及時、不間斷,而且越新鮮的(即,越新的)資料商業價值越大。
感知裝置11a、11b、……、11c的每一個以基於人工智慧的方式自對應的每一系列的感測資料(即,所接收到的每一系列的感測資料)偵測出複數個物件。舉例而言,由於感知裝置11c接收到一系列感測資料S1及一系列感測資料S2,感知裝置11c自該系列感測資料S1偵測出複數個物件,且自該系列感測資料S2偵測出複數個物件。具體而言,感知裝置11a、11b、……、11c的每一個藉由其處理器在每次接收到感測資料時執行物件偵測。需說明者,從不同感測資料偵測到的物件之數量可能不同。另需說明者,本發明可採用各種方式(例如:人工智慧賦能(AI-enabled)的物件偵測演算法)自感測資料偵測出一或多個物件。舉例而言,若感測資料為一影像,則處理器可採用「You Look Only Once(YOLO)」演算法來偵測物件。自感測資料偵測到的每一個物件對應於現實世界中之一事物/物品/主體。
針對各該物件,對應的感知裝置(即,偵測到物件的感知裝置)會產生一物件記錄(未繪示)。對各該物件而言,其所對應的物件記錄包含該物件之一追蹤識別碼(未繪示)、該物件之一時間戳記(未繪示)及該物件之一位置(未繪示)。各追蹤識別碼在同一感測設備中是本地唯一的。換句話說,對於自同一系列的感測資料中所偵測到且對應到現實世界中同一事物/物品/主題的那些物件而言,它們對應的物件記錄包含同一追蹤識別碼。
由於從感知裝置11a、11b、……、11c的任一個所偵測到的一物件對應於現實世界中的一事物/物品/主體,因此該物件的時間戳記反映該事物/物品/主體出現在現實世界中的時間。舉例而言,一物件的時間戳記可為產生包含該物件的感測資料的時間。類似地,由於一物件對應於現實世界中的一事物/物品/主體,該物件的位置反映該事物/物品/主體出現在現實世界中的地點(例如:該物件的位置可用於計算出該事物/物品/主體出現在現實世界中的全球位置座標)。舉例而言,一物件的位置可為產生包含該物件的感測資料的感測設備的位置。若感測資料為一影像,則物件的位置還可包含物件在影像中的位置。
藉由上述運作,感知裝置11a、11b、……、11c將感測資料轉換成結構化資料(即,物件記錄)。各該物件記錄為對所發生的事情以及事情發生的時間及地點的一事實描述。由於感測設備的覆蓋範圍不完全且深度學習演算法係提供概率性(probabilistic nature)的結果,因此物件記錄可能攜帶局部的、不重要的或甚至不準確的資訊。若不將取得的局部資訊拼湊起來,則難以對整個真相有全面的認知,且難以理解在實際發生了何事。此外,若不理解實體(即,何事/事物、何人/人、何時/時間、何地/位置以及哪個/物件)之間如何相關聯,則極難以在當今複雜的世界中辨識出有意義的事件。
為了將取得的局部資訊拼湊起來並理解實體之間如何相關聯,感知裝置11a、11b、……、11c中的每一個透過自己的收發介面將對應的物件記錄傳送至關注子系統13以進一步處理。關注子系統13則是透過其收發介面自感知裝置11a、11b、……、11c接收物件記錄。
關注子系統13對應於第二層的計算過程(即,關注)。關注是一種選擇性地將注意力集中在可得到的感測資訊的一子集而忽略其他資訊的認知過程。這是關於有限的認知處理資源的分配。第二層與類人類的計算過程相關,且用於處理來自第一層的物件記錄。以下將詳述關注子系統13如何將取得的所有局部資訊拼湊在一起、理解實體如何在他們之間相關聯以及掌握所觀察到的事實背後的整體意義,而這些可被視為與潛意識層面相關。
關注子系統13藉由跨感測設備a1、b1、b2、b3、……、c1、c2地重新識別追蹤識別碼來調整物件記錄。具體而言,現實世界中的一事物/物品/主體可能被不同感測設備捕獲在不同系列的感測資料。因此,從不同系列的感測資料中偵測到的一些物件可能對應於現實世界中的同一事物/物品/主體。同理,由不同感知裝置所產生的一些物件記錄可能對應於現實世界中的同一事物/物品/主體。為理解一事物/物品/主體在何時何地發生了何事,需要跨感測設備a1、b1、b2、b3、……、c1、c2地重新識別追蹤識別碼(即,由不同感知裝置所偵測到的對應於同一事物/物品/主體的物件,它們的追蹤識別碼應予以統一)。關注子系統13辨識出對應於現實世界中同一事物/物品/主體的物件記錄,並統一該些物件記錄中所包含的追蹤識別碼。
為理解實體之間如何相關聯,關注子系統13產生複數個物件關聯(未繪示)、複數個位置關聯(未繪示)及複數個運動蘊含規則(未繪示)。
由關注子系統13所產生的各個物件關聯介於同一感測資料所偵測出的兩個物件之間。如上所述,一物件對應於現實世界中的一事物/物品/主體。若兩個物件是從同一感測資料偵測出來的,代表它們所對應的兩個事物/物品/主體在現實世界中在時間及位置上相關聯。因此,若關注子系統13發現有兩個物件是從同一感測資料偵測出來的(例如:基於物件記錄中所記載的時間戳記及位置),則關注子系統13根據一或多個地理空間關係規則產生所述兩個物件間的一物件關聯。
由關注子系統13根據一或多個地理空間關係規則所產生的各該位置關聯係介於該等物件其中之一與一預設感興趣位置之間。需說明者,一或多個預設感興趣位置是事先指定的,且為關注子系統13所知。如上所述,一物件對應於現實世界中的一事物/物品/主體。若一物件接近一預設感興趣位置,代表該物件所對應的事物/物品/主體與預設感興趣位置在現實世界中在時間上相關聯。因此,若關注子系統13發現一物件接近任一預設感興趣位置(例如:基於物件記錄中所記載之資訊),則關注子系統13產生所述物件與所述預設感興趣位置間的一位置關聯。
由關注子系統13所產生的各該運動蘊含規則與具有相同追蹤識別碼的該等物件其中之一以及來自同一感測設備的兩個感測資料有關。如上所述,一物件對應於現實世界中的一事物/物品/主體。若一事物/物品/主體在現實世界中移動,通常一感測設備將不止一次地捕獲該事物/物品/主體。因此,若關注子系統13發現一物件出現在來自同一感測設備的兩個感測資料中(例如:基於物件記錄中所記載的資訊),則關注子系統13根據一或多個預先界定的規則或公式為該物件產生一運動蘊含規則。
時空認知子系統15對應於第三層的計算過程(即,時間-空間認知)。認知係指意識到某事的能力,而時間-空間認知則指意識到來龍去脈,或更具體而言,意識到時間-空間的來龍去脈。這是一種在任何給定時間收集關於所處環境的資訊並採取相應行為的能力。類似於心智圖(mind map),第三層的時間-空間認知是一種意識到來龍去脈的計算,用於理解及操縱時間-空間的知識,例如:距離、範圍、事件、時間區間等。
類似於人腦,工作記憶空間WM用來將感知資料保留一段時間,以便自局部且可能不準確的資訊中找出意圖及蘊含規則。物件記錄將被儲存在工作記憶系統WM中。具體而言,時空認知子系統15根據物件記錄的時間戳記及位置來組織並保留工作記憶空間WM中的物件記錄。時空認知子系統15可進一步組織及保留將被儲存在工作記憶空間WM中的物件關聯、位置關聯及運動蘊含規則。在一些實施方式中,時空認知子系統15可進一步檢查各該物件記錄儲存在工作記憶空間WM中的時間。若一物件記錄儲存在工作記憶空間WM中超過一預定時間長度,則時空認知子系統15會將該物件記錄自工作記憶空間WM移除,並將該物件記錄移到長期記憶空間LM。該些運作可被視為與時空認知子系統15的潛意識層面相關。
在一些實施方式中,可採基於位置之方式、基於特徵之方式或基於人工智慧之方式重新識別物件記錄中的追蹤識別碼,藉此來改善仿生計算系統1的效能,而前述的重新識別可由關注子系統13或/及時空認知子系統15來執行。
藉由整體的理解,時空認知子系統15將片段式的資訊(fractional information)組織並保留在時間-空間的物件記錄流中(即,藉由各該物件記錄的時間戳記及位置),且還可用物件關聯、位置關聯及運動蘊含規則進行注釋。工作記憶空間WM保留時間-空間的物件記錄以作為一心智圖。在這心智圖的範圍內,每個人或物件在任何時間皆為匿名可辨識且可追蹤的。
由於工作記憶空間WM中的心智圖具有對客觀現實的完全認知,因此仿生計算系統1能夠在沒有人類幫助的情況下回答與任何事件(例如:突發事件)相關的CQRR。以下詳述其運作細節,其可被視為與意識層面相關。
意識層面是指為了某種特定目的而刻意地辨識出預設的有意義事件的過程的層面。具體而言,需事先界定複數個基本事件(例如:握住一打火機、點燃香煙、跌倒),且每一個基本事件可被視為在一極短時間(例如:1~2秒)內發生的一個即時動作。感知子系統11自各該感測資料辨識出任何的基本事件(例如:以基於人工智慧之方式)。關注子系統13判斷在一時間窗內來自同一感測設備的該等基本事件的一部分是否符合一預定模式。若判斷結果是肯定的,代表關注子系統13已辨識出一情境事件,而該情境事件是由前述該等基本事件的一部分形成(落在該時間窗的那部分)。
若關注子系統13辨識出一情境事件,則時空認知子系統15進一步根據辨識到的情境事件及保留在工作記憶空間WM中的物件記錄的整個歷史(例如:根據用來從情境事件的多個來源推斷出有意義模式的預設歸納規則以及保留在工作記憶空間WM中的物件記錄的整個歷史)來判斷是否存在一複雜事件。若判斷結果是肯定的,則代表時空認知子系統15已辨識出一複雜事件。
為便於理解,茲提供一具體範例。假定仿生計算系統1係針對維安應用而開發的,且因此事先定義了關於安全議題的複數個基本事件(例如:握住一打火機、點燃香煙、起火)。假定感知子系統11已自同一系列感測資料S1(即,來自同一感知裝置之感測資料)辨識出「握住一打火機」基本事件、「點燃香煙」基本事件以及「起火」基本事件。若關注子系統13進一步發現上述三個基本事件皆來自同一感測設備,皆發生在一時間窗內,且符合一預定模式(例如:握住一打火機,然後點燃香煙,接著起火),則關注子系統13確定已發生了一情境事件(例如:火災警報已響起或人們正在跑出來)。接著,時空認知子系統15可進一步確定一複雜事件(例如:基於由多個感測器及CCTV所捕獲的感測資料所得知的火災警報以及奔跑的人們的這類事實,進行歸納推理而確定有一意外火災的複雜事件,而非錯誤的警報)。
茲提供另一具體範例。假定仿生計算系統1係針對遊樂園的維安應用而開發的。同理,事先定義了複數個基本事件(例如:落單的人、落單且佩戴面具的人、成年人帶著小孩)。假定感知子系統11已辨識出「落單且佩戴面具的人」基本事件以及「同一個成人帶著小孩」基本事件。若關注子系統13進一步發現上述基本事件皆來自同一感測設備,皆發生在一時間窗內,且符合一預定模式(例如:落單且佩戴面具的人,然後同一個人帶著一個小孩),則關注子系統13確定已發生了一情境事件(例如:一個小孩與一個陌生人在一起)。之後,時空認知子系統15可進一步確定一複雜事件(例如:基於從多個感測器及CCTV所捕獲的感測資料所獲得的事實(一個小孩與一個陌生人在一起)歸納推理出一「誘拐」複雜事件)。
由上述說明可知,利用在工作記憶空間WM中所組織及保留的資訊,仿生計算系統1能夠回答與前述所辨識事件其中的任一個相關的CQRR。
在一些實施方式中,仿生計算系統1可偵測出一缺席(no-show)事件。於該等實施方式中,若關注子系統13自一系列感測資料推測出一缺席事件,則關注子系統13會期望出現對應於該缺席事件的一關切物件。關注子系統13在推測出該缺席事件後啟動一計時器。若在定時器到期之前未偵測到該關切物件或者該關切物件消失,則關注子系統13確認發生了該缺席事件。
為便於理解,茲提供一具體範例。假定仿生計算系統1係針對機場的維安應用而開發的。交通繁忙的機場每天會有成千上萬的旅客,而可用數百個感測設備(例如:CCTV)對該機場進行監控。仿生計算系統1不僅可偵測到無人看管的行李,還可找出是誰放置此無人看管的行李,此人現在在哪裡,以及此人之後在哪裡。藉由心智圖,即使沒有任何有趣或/及特殊的事情發生,仿生計算系統1仍會默默地匿名鎖定及追蹤每一旅客。一旦偵測到無人看管的行李,心智圖便會在無人幫助的情況下立即回答其餘的四個問題。具有時間-空間認知的心智圖帶給大眾從複雜的世界中汲取出有意義的事件的新穎且實用的視角。
預測子系統17對應於第四層的計算過程(即,預測)。預測子系統17用於預測可能發生的事情,並偵測可被視為與潛意識層面相關的不尋常事情。長期記憶空間LM包含有一個大的時間-空間資料庫,用來長時間保存資料事件。預測為人腦中的快速思考的部分,其預期將要發生的事情。在快速思考的部分可以產生預期的效果之前,需要從經驗中學習,並使用機器學習演算法將其訓練成一個模型。
具體而言,預測子系統17根據物件記錄、物件關聯、位置關聯及運動蘊含規則來訓練一預期模型。經過訓練的模型亦儲存在長期記憶空間LM中,以應對未來的不同情境。利用經過訓練的預期模型,預測子系統17為一關切物件提供一系列有限的預測物件記錄。
分析子系統19對應於第五層的計算過程(即,分析)。分析子系統19用於推理或分析。推理為人腦中的緩慢思考部分,其根據一特定的問題目標進行分析。分析子系統19至少支援四類推理及分析,包含搜索、基於語義的歸納、假定探索性(what-if exploratory)分析及假陽性/假陰性偵測。具體而言,參照長期記憶空間LM中的所有物件記錄,分析子系統19可幫助人類或一專家系統以及時且交互的方式分析並規劃一應用。
綜上所述,仿生計算系統1為生活帶來一種人工認知思維,它反映客觀世界中隨時隨地的人、物件及事物。藉由感知的手段(其類似於人工感知),仿生計算系統1獲取、組織及保留及時的資料,其用意在於重建真實世界的動態,以辨識出具有意義的事件、偵測異常情況、追蹤成千上萬的移動物件、推理出有趣的概念及/或預期將要發生的事情,以達成維護安全及社會秩序的目的。
此外,仿生計算系統1能適應不斷變化的環境。藉由使用機器學習演算法,仿生計算系統1能夠從人工思維的長期記憶中找出過去的經驗,並據以學習開發新的模型。一旦模型開始偏離實際情況,仿生計算系統1便藉由使用最近感知的資料重新訓練新模型來重建人工思維,進而預測變化的環境中的新行為。
上述實施方式僅用來例舉本發明之部分實施態樣以及闡釋本發明之技術特徵,而非用來限制本發明之保護範疇及範圍。任何本發明所屬技術領域中具有通常知識者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍,而本發明之權利保護範圍以申請專利範圍為準。
1:仿生計算系統
11:感知子系統
13:關注子系統
15:時空認知子系統
17:預測子系統
19:分析子系統
11a、11b、……、11c:感知裝置
a1、b1、b2、b3、c1、c2:感測設備
S1、S2:系列感測資料
LM:長期記憶空間
WM:工作記憶空間
第1圖描繪本發明之一實施方式之仿生計算系統1之示意圖。
第2圖描繪仿生計算系統1所採用的類人類的長短期記憶(Long-Short-Term Memory;LSTM)框架。
第3圖描繪仿生計算系統1之感知子系統11之實例性示意圖。
第4圖描繪感知裝置11a、11b、……、11c其中任一者之示意圖。
第5圖描繪可作為關注子系統13、時空認知子系統15、預測子系統17及分析子系統19之雲端系統之示意圖。
1:仿生計算系統
11:感知子系統
13:關注子系統
15:時空認知子系統
17:預測子系統
19:分析子系統
Claims (7)
- 一種仿生計算系統,包含:一感知子系統(perception subsystem),包含複數個感知裝置,其中各該感知裝置對應至少一個感測設備,各該感知裝置自對應的各該感測設備接收一序列的複數個感測資料,各該感知裝置以基於人工智慧的方式自對應的各該序列的該等感測資料偵測出複數個物件,且各該感知裝置為對應的各該物件產生一物件記錄,其中各該物件記錄包含本地唯一的一追蹤識別碼、一時間戳記及一位置,且各該物件記錄所攜帶的資訊為以下複數種情況的至少其中之一:局部的、不重要的及不準確的;一關注子系統(attention subsystem),用以藉由跨該等感測設備地重新識別該等追蹤識別碼來調整該等物件記錄,產生複數個物件關聯,產生複數個位置關聯,且產生複數個運動蘊含規則(implications),其中該關注子系統以基於位置之方式、基於特徵之方式及人工智慧之方式其中之一重新識別該等追蹤識別碼,各該物件關聯係介於自同一感測資料所偵測出的兩個物件之間,各該位置關聯係介於該等物件其中之一與一預設感興趣位置之間,且各該運動蘊含規則與具有同一追蹤識別碼的該等物件其中之一以及來自同一感測設備的該等感測資料其中之二相關;以及一時空認知子系統(temporal-spatial awareness subsystem),用以根據該等時間戳記及該等位置在一工作記憶空間中組織及保留該等物件記錄,其中,該感知子系統更自同一感知裝置之各該感測資料中辨識出複數個基本事件,該關注子系統更藉由判斷在一時間窗內來自同一感測設備之該等基本事件之一部分符合一預定模式而辨識出一情境事件,且該時空認知子系統更根 據該情境事件以及保留在該工作記憶空間中的該等物件記錄之一整體歷史來辨識出一複雜事件,其中,該關注子系統更自該等序列其中之一的該等感測資料推測出一缺席(no-show)事件,且期望與該缺席事件對應的一關切物件出現,該關注子系統在推測出該缺席事件之後啟動一計時器,且若該計時器到期之前未偵測到該關切物件或該關切物件消失,該關注子系統歸納認定發生該缺席事件。
- 如請求項1所述之仿生計算系統,更包含:一預測子系統,用以根據該等物件記錄、該等物件關聯、該等位置關聯及該等運動蘊含規則來訓練一預期模型,其中,該預測子系統更為一關切物件提供一有限序列的複數個預測物件記錄。
- 如請求項1所述之仿生計算系統,其中該時空認知子系統更將儲存在於該工作記憶空間中超過一預定時間長度之該等物件記錄自該工作記憶空間移動至一長期記憶空間,且該仿生計算系統更包含:一分析子系統,用以參照該長期記憶空間中之所有該等物件記錄以及時且交互之方式協助一人類或一專家系統分析並規劃一應用。
- 如請求項1所述之仿生計算系統,其中該仿生計算系統包含一機器人。
- 一種雲端系統,適於與一感知子系統(perception subsystem)協同運作,該感知子系統包含複數個感知裝置,各該感知裝置對應至少一個感測設備,各該感知裝置自對應的各該感測設備接收一序列的複數個感測資料,各該感知裝置以基於人工智慧的方式自對應的各該序列的該等感測資料偵測出複數個 物件,各該感知裝置為對應的各該物件產生一物件記錄,各該物件記錄包含本地唯一的一追蹤識別碼、一時間戳記及一位置,各該物件記錄所攜帶的資訊為以下複數種情況的至少其中之一:局部的、不重要的及不準確的,該雲端系統包含:一關注子系統(attention subsystem),用以藉由跨該等感測設備地重新識別該等追蹤識別碼來調整該等物件記錄,產生複數個物件關聯,產生複數個位置關聯,且產生複數個運動蘊含規則,其中該關注子系統以基於位置之方式、基於特徵之方式及人工智慧之方式其中之一重新識別該等追蹤識別碼,各該物件關聯係介於同一感測資料所偵測出的兩個物件之間,各該位置關聯係介於該等物件其中之一與一預設感興趣位置之間,且各該運動蘊含規則與具有同一追蹤識別碼的該等物件其中之一以及來自同一該感測設備的該等感測資料其中之二者相關;以及一時空認知子系統(temporal-spatial awareness subsystem),用以根據該等時間戳記及該等位置在一工作記憶空間中組織及保留該等物件記錄,其中,該感知子系統更自同一感知裝置之各該感測資料中辨識出複數個基本事件,該關注子系統更藉由判斷在一時間窗內來自同一感測設備之該等基本事件之一部分符合一預定模式而辨識出一情境事件,且該時空認知子系統更根據該情境事件及保留在該工作記憶空間中之該等物件記錄之一整體歷史來辨識出一複雜事件,其中,該關注子系統更自該等序列其中之一的該等感測資料推測出一缺席事件,且期望與該缺席事件對應的一關切物件出現,該關注子系統在推測出該缺席事件之後啟動一計時器,且若該計時器到期之前未偵測到該關切物件或該關切物件消失,該關注子系統歸納認定發生該缺席事件。
- 如請求項5所述之雲端系統,更包含:一預測子系統,用以根據該等物件記錄、該等物件關聯、該等位置關聯及該等運動蘊含規則來訓練一預期模型,以及其中,該預測子系統更為一關切物件提供有限的一有限序列的複數個預測物件記錄。
- 如請求項5所述之雲端系統,其中該時空認知子系統更將儲存在於該工作記憶空間中超過一預定時間長度之該等物件記錄自該工作記憶空間移動至一長期記憶空間,且該雲端系統更包含:一分析子系統,用以參照該長期記憶空間中之所有該等物件記錄以及時且交互之方式協助一人類或一專家系統分析並規劃一應用。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962867246P | 2019-06-27 | 2019-06-27 | |
| US62/867,246 | 2019-06-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202105262A TW202105262A (zh) | 2021-02-01 |
| TWI803760B true TWI803760B (zh) | 2023-06-01 |
Family
ID=74043729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109121329A TWI803760B (zh) | 2019-06-27 | 2020-06-23 | 仿生計算系統及其雲端系統 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11514373B2 (zh) |
| SG (1) | SG10202005940YA (zh) |
| TW (1) | TWI803760B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI310919B (en) * | 2002-01-11 | 2009-06-11 | Sap Ag | Context-aware and real-time item tracking system architecture and scenariors |
| TWI459332B (zh) * | 2012-05-15 | 2014-11-01 | Ind Tech Res Inst | 整合多攝影機影像的車輛追蹤方法及系統 |
| TWI462035B (zh) * | 2010-06-15 | 2014-11-21 | Apple Inc | 物件偵測後設資料 |
| CN104303218A (zh) * | 2012-03-15 | 2015-01-21 | 行为识别系统公司 | 行为识别系统中的警报指令和聚焦警报指令 |
| TWM544738U (zh) * | 2017-01-26 | 2017-07-01 | 新光電通股份有限公司 | 監控系統與監控中繼裝置 |
| CN110428522A (zh) * | 2019-07-24 | 2019-11-08 | 青岛联合创智科技有限公司 | 一种智慧新城的智能安防系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080091628A1 (en) * | 2006-08-16 | 2008-04-17 | Narayan Srinivasa | Cognitive architecture for learning, action, and perception |
| CN101428522B (zh) | 2008-12-09 | 2012-01-04 | 南京永昌正龙箔业有限公司 | 一种彩箔的生产方法 |
| US9239989B2 (en) * | 2012-03-28 | 2016-01-19 | General Electric Company | Computer-implemented system with adaptive cognitive features and method of using the same |
| CA2941250A1 (en) * | 2014-03-19 | 2015-09-24 | Neurala, Inc. | Methods and apparatus for autonomous robotic control |
| WO2018175698A1 (en) * | 2017-03-22 | 2018-09-27 | Larsx | Continuously learning and optimizing artificial intelligence (ai) adaptive neural network (ann) computer modeling methods and systems |
| US20180314253A1 (en) * | 2017-05-01 | 2018-11-01 | Mentor Graphics Development (Deutschland) Gmbh | Embedded automotive perception with machine learning classification of sensor data |
| US11042155B2 (en) * | 2017-06-06 | 2021-06-22 | Plusai Limited | Method and system for closed loop perception in autonomous driving vehicles |
| US10169678B1 (en) * | 2017-12-21 | 2019-01-01 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
| WO2019191002A1 (en) * | 2018-03-26 | 2019-10-03 | Nvidia Corporation | Object movement behavior learning |
-
2020
- 2020-06-22 SG SG10202005940YA patent/SG10202005940YA/en unknown
- 2020-06-23 TW TW109121329A patent/TWI803760B/zh active
- 2020-06-26 US US16/912,905 patent/US11514373B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI310919B (en) * | 2002-01-11 | 2009-06-11 | Sap Ag | Context-aware and real-time item tracking system architecture and scenariors |
| TWI462035B (zh) * | 2010-06-15 | 2014-11-21 | Apple Inc | 物件偵測後設資料 |
| CN104303218A (zh) * | 2012-03-15 | 2015-01-21 | 行为识别系统公司 | 行为识别系统中的警报指令和聚焦警报指令 |
| TWI459332B (zh) * | 2012-05-15 | 2014-11-01 | Ind Tech Res Inst | 整合多攝影機影像的車輛追蹤方法及系統 |
| TWM544738U (zh) * | 2017-01-26 | 2017-07-01 | 新光電通股份有限公司 | 監控系統與監控中繼裝置 |
| CN110428522A (zh) * | 2019-07-24 | 2019-11-08 | 青岛联合创智科技有限公司 | 一种智慧新城的智能安防系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11514373B2 (en) | 2022-11-29 |
| US20200410402A1 (en) | 2020-12-31 |
| TW202105262A (zh) | 2021-02-01 |
| SG10202005940YA (en) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Igual et al. | Challenges, issues and trends in fall detection systems | |
| Lin et al. | Detecting wandering behavior based on GPS traces for elders with dementia | |
| Chen et al. | Towards automatic analysis of social interaction patterns in a nursing home environment from video | |
| Liu et al. | Privacy-preserving in-home fall detection using visual shielding sensing and private information-embedding | |
| WO2019215524A1 (en) | Personal protective equipment and safety management system for comparative safety event assessment | |
| KR102028930B1 (ko) | 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법 | |
| Aljuaid et al. | Postures anomaly tracking and prediction learning model over crowd data analytics | |
| Leo et al. | Multicamera video summarization and anomaly detection from activity motifs | |
| Bonifazi et al. | A machine learning based sentient multimedia framework to increase safety at work | |
| Balamurugan et al. | A novel efficient algorithm for duplicate video comparison in surveillance video storage systems | |
| Barra et al. | Biometric data on the edge for secure, smart and user tailored access to cloud services | |
| Howedi et al. | Employing entropy measures to identify visitors in multi-occupancy environments | |
| Alafif et al. | Towards an integrated intelligent framework for crowd control and management (IICCM) | |
| Thomas et al. | Real-time violence detection and alert system using MobileNetV2 and Cloud Firestore | |
| TWI803760B (zh) | 仿生計算系統及其雲端系統 | |
| WO2024067950A1 (en) | Methods and apparatuses for event detection | |
| Jalali et al. | Human behavior analysis from smartphone data streams | |
| Daga et al. | Applications of human activity recognition in different fields: a review | |
| Sakshi et al. | Meta-heuristic based feature selection for aberration detection in human activity using smartphone inertial sensors | |
| Ramoliya et al. | Insights of Deep Learning-Based Video Anomaly Detection Approaches | |
| Ali et al. | Survey of surveillance of suspicious behavior from CCTV video recording | |
| CN120973845B (zh) | 基于大模型协同计算的警务风险多级预警系统 | |
| KR20230101144A (ko) | 스마트 아동 보육 서비스를 제공하는 보육 관리 시스템 및 이의 동작 방법 | |
| Beigh et al. | Predictive summarization framework for resource-constrained device surveillance videos | |
| Kodyš et al. | Human urban mobility classification in AAL deployments using mobile devices |