TW202516458A

TW202516458A - 資料處理方法、電子裝置及非暫態電腦可讀取儲存媒體

Info

Publication number: TW202516458A
Application number: TW113107987A
Authority: TW
Inventors: 黃群凱; 謝恒立
Original assignee: 宏達國際電子股份有限公司
Priority date: 2023-10-03
Filing date: 2024-03-05
Publication date: 2025-04-16
Also published as: CN119766983A; US12423474B2; EP4535298A1; US20250111087A1; TWI896023B

Abstract

本揭示內容提供資料處理方法、電子裝置及非暫態電腦可讀取儲存媒體。資料處理方法適用於在環境中的電子裝置，且包含：取得關鍵幀；在關鍵幀包含至少一隱私內容的情況下，處理關鍵幀，以產生修正後關鍵幀，其中修正後關鍵幀包含對應於至少一隱私內容的至少一影像處理區域；以及使用修正後關鍵幀來更新環境的地圖。

Description

資料處理方法、電子裝置及非暫態電腦可讀取儲存媒體

本揭示內容係有關於一種方法及裝置，特別是指一種資料處理方法及電子裝置。

在空間定位與追蹤領域中，那些採用基於視覺的同步定位與地圖構建技術的裝置不可避免地會取得任何類型的隱私資訊，例如人、文件等。這些隱私資訊不僅無助於空間定位與追蹤的進行，還會影響裝置的運算性能。因此，有必要提供新的方法來解決上述由隱私資訊所造成的問題。

本揭示內容的一態樣為一種資料處理方法。該資料處理方法適用於在一環境中的一電子裝置，且包含：取得一關鍵幀；在該關鍵幀包含至少一隱私內容的情況下，處理該關鍵幀，以產生一修正後關鍵幀，其中該修正後關鍵幀包含對應於該至少一隱私內容的至少一影像處理區域；以及使用該修正後關鍵幀來更新該環境的一地圖。

本揭示內容的另一態樣為一種電子裝置。該電子裝置包含一影像擷取電路以及一處理器。該影像擷取電路用以擷取複數個影像幀。該處理器耦接於該影像擷取電路，並用以：將該些影像幀中的一者設定為一關鍵幀；在該關鍵幀包含至少一隱私內容的情況下，處理該關鍵幀，以產生一修正後關鍵幀，其中該修正後關鍵幀包含對應於該至少一隱私內容的至少一影像處理區域；以及使用該修正後關鍵幀來更新該電子裝置所在的一環境的一地圖。

本揭示內容的另一態樣為一種非暫態電腦可讀取儲存媒體，具有一電腦程式用以執行一資料處理方法，其中該資料處理方法適用於在一環境中的一電子裝置，且包含：取得一關鍵幀；在該關鍵幀包含至少一隱私內容的情況下，處理該關鍵幀，以產生一修正後關鍵幀，其中該修正後關鍵幀包含對應於該至少一隱私內容的至少一影像處理區域；以及使用該修正後關鍵幀來更新該環境的一地圖。

綜上，藉由消除關鍵幀中隱私內容的特徵，處理器的操作（例如，產生及/或更新地圖、計算電子裝置的位置及/或姿態等）將不會被從環境意外取得的隱私資訊影響，此將能讓處理器的運算複雜度及負擔減少。此外，在電子裝置必須和其他裝置分享與環境相關的資訊（例如，修正後關鍵幀）使其他裝置也可在環境中定位自身的情況下，處理器不需要進行加密。因此，本揭示內容的電子裝置及資料處理方法具有改善性能等優勢。

下文係舉實施例配合所附圖式作詳細說明，但所描述的具體實施例僅用以解釋本案，並不用來限定本案，而結構操作之描述非用以限制其執行之順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本揭示內容所涵蓋的範圍。

關於本文中所使用之「耦接」或「連接」，均可指二或多個元件相互直接作實體或電性接觸，或是相互間接作實體或電性接觸，亦可指二或多個元件相互操作或動作。

請參閱第1圖，第1圖為根據本揭示內容的一些實施例所繪示的一電子裝置100所在的一環境E1的示意圖。於一些實施例中，電子裝置100為一種頭戴式裝置。因此，如第1圖所示，電子裝置100可在例如公共場所、遊戲場所、工作場所等的環境E1中安裝於一使用者U1的頭部。

於一些實施例中，電子裝置100可為使用者U1提供一沉浸式內容（圖中未示）。電子裝置100可能遮擋了使用者U1對於環境E1的直接可視性，而沉浸式內容對應地可為虛擬實境（virtual reality，VR）環境或混合實境（mixed reality，MR）環境。具體而言，混合實境環境模擬了環境E1，並使虛擬實境物件（其無法由使用者U1在環境E1中直接看到）能和模擬的環境進行互動。然而，本揭示內容並不限於此。舉例來說，電子裝置100可能沒有遮擋使用者U1對於環境E1的直接可視性，而沉浸式內容對應地可為增強實境（Augmented Reality，AR）環境。具體而言，增強實境環境以虛擬實境物件強化了使用者U1直接看到的環境E1。

承接上述實施例，使用者U1可能藉由操作至少一控制器（圖中未示）或藉由做出手部或眼部動作來控制沉浸式內容中的虛擬實境物件。具體而言，至少一控制器可無線連接至電子裝置100，而手部或眼部動作將會被電子裝置100感測及辨識。

應當理解，電子裝置100並不限於為頭戴式裝置。舉例來說，於一些實施例中，電子裝置100可為自主移動機器人，例如清潔機器人、掃地機器人、食品裝運機器人等。總而言之，電子裝置100可為能夠在環境E1中定位自身的裝置。

請參閱第2圖，第2圖為根據本揭示內容的一些實施例所繪示的電子裝置100的方塊圖。於一些實施例中，如第2圖所示，電子裝置100包含一影像擷取電路201以及一處理器203。處理器203電性耦接於影像擷取電路201。

於一些實施例中，影像擷取電路201用以擷取影像幀Img。具體而言，影像擷取電路201可由至少一相機裝置或包含例如透鏡、影像感測器、影像處理器等多個組件的結構來實現。

於一些實施例中，處理器203用以藉由一些基於視覺的定位技術（例如：同步定位與地圖構建技術等）在環境E1中定位電子裝置100。藉由那些基於視覺的定位技術，處理器203使用從影像擷取電路201接收的影像幀Img來產生及/或更新環境E1的一地圖M1以及計算電子裝置100在地圖M1中的位置及/或姿態。具體而言，處理器203可藉由中央處理單元（central processing unit）、圖形處理單元（graphic processing unit）、特殊應用積體電路（application specific integrated circuit）、微處理器、系統單晶片（system on a chip）或其他合適的處理電路來實現。

因為那些基於視覺的定位技術，電子裝置100可能意外地從環境E1取得一些隱私資訊。於第1圖的實施例中，隱私資訊可為例如環境E1中人U2的肖像、環境E1中顯示器O1所顯示的視覺內容等。隱私資訊可能由一些影像幀Img攜帶。如果處理器203使用攜帶隱私資訊的這些影像幀Img來產生及/或更新地圖M1以及計算電子裝置100的位置及/或姿態，處理器203的運算複雜度及負擔可能會增加。舉例來說，環境E1中的人U2在環境E1中可能較為顯眼且/或可能有不可預測的動作，此將影響影像特徵提取。又，當電子裝置100要與其他裝置分享資訊時，電子裝置100必須進一步進行加密，以在攜帶隱私資訊的這些影像幀Img要被分享的情況下防止隱私資訊外洩。應當理解，隱私資訊可以被稱為機密（confidential）資訊或敏感（sensitive）資訊。

有鑑於上述由隱私資訊所造成的問題，如第2圖所示，處理器203用以使用一隱私內容辨識模組213對一些影像幀Img進行影像辨識。於一些實施例中，隱私內容辨識模組213為經過良好訓練而能從影像中辨識出隱私內容的一種神經網路模型（例如，捲積神經網路模型、多層感知（multi-layer perceptron，MLP）模型等）。基於影像辨識的結果，處理器203可選擇性地處理並分析被辨識過的那些影像幀Img。經由這些操作，處理器203可在沒有使用隱私資訊的情況下進行進一步的操作（例如，產生及/或更新地圖M1、計算電子裝置100的位置及/或姿態等）。因此，電子裝置100可避免上述問題。處理器203的操作將在下方段落中搭配第3圖詳細說明。

於一些實施例中，一訓練資料集可能先被使用來調整隱私內容辨識模組213的多個參數。訓練資料集由多個訓練影像組成，其中每個訓練影像包含用以指示在訓練影像中的隱私內容的至少一標籤。接著，一驗證資料集可能被使用來調整隱私內容辨識模組213的多個超參數。在通過訓練資料集及驗證資料集良好調整隱私內容辨識模組213之後，一測試資料集可能被使用來評估隱私內容辨識模組213的效能。如此一來，隱私內容辨識模組213可學習從影像中辨識出隱私內容。此外，隱私內容辨識模組213的訓練可在隱私內容辨識模組213正式使用之前完成。

於一些實施例中，電子裝置100可進一步包含一儲存電路（圖中未示），其中儲存電路可由易失性記憶體、非易失性記憶體或兩者來實現。地圖M1、隱私內容辨識模組213及影像擷取電路201所擷取的影像幀Img可被儲存在儲存電路內，並可被處理器203存取。

請參閱第3圖，第3圖為根據本揭示內容的一些實施例所繪示的一資料處理方法300的流程圖。資料處理方法300可由電子裝置100的處理器203執行。於一些實施例中，如第3圖所示，資料處理方法300包含多個步驟S301~S307。然而，本揭示內容並不限於此。

於步驟S301，處理器203取得一關鍵幀，此將搭配第1及4圖接著詳細說明。第4圖為根據本揭示內容的一些實施例所繪示的影像擷取電路201所擷取的多個影像幀Img中的一個影像幀Img[1]的示意圖。影像擷取電路201所擷取的影像幀Img[1]可對應於第1圖中所示的視野V1。於一些實施例中，影像幀Img[1]與最後一個/最新的關鍵幀（圖中未示）相隔預定幀數或更多，且影像幀Img[1]與最後一個關鍵幀的共同特徵點的數量等於或少於一預定門檻值。在所述情況下，如第4圖所示，處理器203決定影像幀Img[1]為新的關鍵幀Imgk[1]。

在取得關鍵幀Imgk[1]之後，步驟S302執行。於步驟S302，處理器203對關鍵幀Imgk[1]進行影像辨識。於一些實施例中，處理器203藉由第2圖的隱私內容辨識模組213辨識關鍵幀Imgk[1]。結果如第4圖所示，從關鍵幀Imgk[1]中辨識出一隱私內容PI[1]以及一隱私內容PI[2]。具體而言，隱私內容PI[1]對應於第1圖中人U2的肖像，而隱私內容PI[2]對應於第1圖中顯示器O1所顯示的視覺內容。

基於關鍵幀Imgk[1]包含隱私內容PI[1]以及隱私內容PI[2]的結果，處理器203必須進一步處理及分析關鍵幀Imgk[1]。因此，步驟S303執行。於步驟S303，處理器203處理關鍵幀Imgk[1]，以產生一修正後關鍵幀Imgk[1]’，此將搭配第4及5圖接著詳細說明。第5圖為根據本揭示內容的一些實施例所繪示的修正後關鍵幀Imgk[1]’的示意圖。於一些實施例中，處理器203對第4圖中的隱私內容PI[1]以及隱私內容PI[2]進行影像平滑化（或影像模糊化），以產生第5圖中的一影像處理區域PA[1]以及一影像處理區域PA[2]。換句話說，修正後關鍵幀Imgk[1]’包含影像處理區域PA[1]以及影像處理區域PA[2]。如第4及5圖所示，影像處理區域PA[1]對應於隱私內容PI[1]，而影像處理區域PA[2]對應於隱私內容PI[2]。

應當理解，隱私內容PI的數量或影像處理區域PA的數量並不限於此。舉例來說，於一些實施例中，從關鍵幀中辨識出至少一隱私內容PI，且藉由處理至少一隱私內容PI產生至少一影像處理區域PA。

在修正後關鍵幀Imgk[1]’產生之後，步驟S304執行。於步驟S304，處理器203分析修正後關鍵幀Imgk[1]’。於一些實施例中，如第5圖所示，處理器203從修正後關鍵幀Imgk[1]’提取多個第一特徵點F1[1]~F1[11]，計算多個第一特徵點F1[1]~F1[11]的數量，並將多個第一特徵點F1[1]~F1[11]的數量與另一預定門檻值相比較。由上述說明可知，處理器203分析修正後關鍵幀，以判斷多個第一特徵點的數量是否大於一第一門檻值（亦即，所述另一預定門檻值）。

值得注意的是，於一些實施例中，因為影像平滑化消除了隱私內容PI[1]及PI[2]的特徵，處理器203無法從由進行影像平滑化而產生的影像處理區域PA[1]以及影像處理區域PA[2]提取出任何特徵點。因此，如第5圖所示，多個第一特徵點F1[1]~F1[11]不是從影像處理區域PA[1]及PA[2]提取而來的。應當理解，影像平滑化可由能夠消除隱私內容的特徵的任何合適的影像處理技術取代。

於一些實施例中，處理器203判斷修正後關鍵幀的多個第一特徵點的數量大於第一門檻值，使得步驟S305執行。於步驟S305，處理器203使用修正後關鍵幀Imgk[1]’來更新環境E1的地圖M1。應當理解，地圖M1的更新為本揭示內容所屬技術領域中具有通常知識者所熟知，故其說明在此省略。又，於一些實施例中，如第3圖所示，步驟S301將在步驟S305執行之後再次執行。

於一些實施例中，處理器203判斷修正後關鍵幀的多個第一特徵點的數量不大於第一門檻值，因而將修正後關鍵幀作廢。不具有足夠特徵點的修正後關鍵幀將被作廢，因為其不能提供足夠的資訊來更新地圖M1（及/或計算電子裝置100在地圖M1中的位置及/或姿態）。於一些進一步實施例中，包含至少一隱私內容PI的關鍵幀（例如，第4圖所示的關鍵幀Imgk[1]）也會因為至少一隱私內容PI而被作廢。具體而言，將修正後關鍵幀（或關鍵幀）作廢表示處理器203可能不會將修正後關鍵幀（或關鍵幀）儲存在電子裝置100的儲存電路內。據此，步驟S306執行。

於步驟S306，處理器203取得另一關鍵幀，此將搭配第1及6圖接著詳細說明。請參閱第6圖，第6圖為根據本揭示內容的一些實施例所繪示的影像擷取電路201所擷取的多個影像幀Img中的另一個影像幀Img[2]的示意圖。影像擷取電路201所擷取的影像幀Img[2]可對應於第1圖中所示的另一視野V2。於一些實施例中，影像幀Img[2]也與最後一個關鍵幀相隔預定幀數或更多。接著，如第6圖所示，處理器203從影像幀Img[2]提取多個第二特徵點F2[1]~F2[7]，並將多個第二特徵點F2[1]~F2[7]與地圖M1中對應於最後一個關鍵幀的多個地圖點（圖中未示）進行匹配。於一些實施例中，三個第二特徵點F2[1]~F2[3]被發現匹配，因此可被稱為共同特徵點FC[1]~FC[3]。換句話說，處理器203取得影像幀Img[2]與最後一個關鍵幀的多個共同特徵點FC[1]~FC[3]。此後，處理器203判斷多個共同特徵點FC[1]~FC[3]的數量是否等於或少於所述預定門檻值。於第6圖的實施例中，多個共同特徵點FC[1]~FC[3]的數量等於或少於所述預定門檻值，使得影像幀Img[2]被設定為新的關鍵幀Imgk[2]。由上述說明可知，在多個共同特徵點的數量不大於一第二門檻值（亦即，所述預定門檻值）的情況下，處理器203決定影像幀Img[2]為關鍵幀Imgk[2]。

於一些實施例中，如第3圖所示，步驟S302將在新的關鍵幀Imgk[2]設定好之後再次執行。於一些進一步實施例中，對關鍵幀Imgk[2]進行影像辨識的結果顯示關鍵幀Imgk[2]未包含任何隱私內容。因此，處理器203不需要處理及分析關鍵幀Imgk[2]，而步驟S307則據以執行。於步驟S307，處理器203使用關鍵幀Imgk[2]來更新環境E1的地圖M1。地圖M1的更新為本揭示內容所屬技術領域中具有通常知識者所熟知，故其說明在此省略。

由上述資料處理方法300的說明可知，於一些實施例中，本揭示內容的資料處理方法300包含取得關鍵幀Imgk[1]的步驟、在關鍵幀Imgk[1]包含至少一隱私內容（例如，隱私內容PI[1]、隱私內容PI[2]等）的情況下，處理關鍵幀Imgk[1]以產生修正後關鍵幀Imgk[1]’的步驟以及使用修正後關鍵幀Imgk[1]’來更新環境E1的地圖M1的步驟。於一些進一步實施例中，在修正後關鍵幀Imgk[1]’的多個第一特徵點F1[1]~F1[11]的數量大於第一門檻值的情況下，執行使用修正後關鍵幀Imgk[1]’來更新環境E1的地圖M1的步驟。

於上述實施例中，針對那些沒被設定為關鍵幀的影像幀Img，處理器203僅僅使用那些影像幀Img與最後一個關鍵幀之間的相對關係來簡單估計電子裝置100的位置及/或姿態。此後，那些影像幀Img可能不會被保留，也就是說，那些影像幀Img可能不會儲存在電子裝置100的儲存電路內。因此，於一些實施例中，即使那些影像幀Img攜帶了隱私資訊，處理器203也不會對那些影像幀Img進行影像平滑化。

於上述實施例中，如第1、4及5圖所示，處理器203將第1圖中人U2的肖像辨識為隱私內容PI[1]。然而，本揭示內容並不限於此。舉例來說，於一些實施例中，處理器203可能將人U2的完整影像（亦即，從頭部到腳部）辨識為隱私內容PI。如此設置的話，處理器203可能對人U2的完整影像進行影像平滑化，以對應地產生影像處理區域PA。

由本揭示內容的上述實施例可知，藉由消除關鍵幀中隱私內容的特徵，處理器203的操作（例如，產生及/或更新地圖M1、計算電子裝置100的位置及/或姿態等）將不會被從環境E1意外取得的隱私資訊影響，此將能讓處理器203的運算複雜度及負擔減少。此外，在電子裝置100必須和其他裝置分享與環境E1相關的資訊（例如，修正後關鍵幀）使其他裝置也可在環境E1中定位自身的情況下，處理器203不需要進行加密。綜上，本揭示內容的電子裝置100及資料處理方法300具有改善性能等優勢。

本揭示內容之方法可以以程式碼的型態存在。程式碼可以包含於實體媒體，例如軟碟、光碟片、硬碟、或是其他任何暫態或非暫態電腦可讀取儲存媒體，其中，當程式碼被電腦載入且執行時，此電腦變成用以實現所述方法之裝置。程式碼也可以透過一些傳送媒體，如電線或電纜、透過光纖、或是透過其他任何傳輸型態進行傳送，其中，當程式碼被電腦接收、載入且執行時，此電腦變成用以實現所述方法之裝置。當在一般用途的處理器實現時，程式碼結合處理器來提供操作類似於應用特定邏輯電路之一獨特裝置。

雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本揭示內容，所屬技術領域具有通常知識者在不脫離本揭示內容之精神和範圍內，當可作各種更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。

100:電子裝置 201:影像擷取電路 203:處理器 213:隱私內容辨識模組 300:資料處理方法 E1:環境 F1[1]~F1[11]:第一特徵點 F2[1]~F2[7]:第二特徵點 FC[1]~FC[3]:共同特徵點 Img,Img[1],Img[2]:影像幀 Imgk[1],Imgk[2]:關鍵幀 Imgk[1]’:修正後關鍵幀 M1:地圖 O1:顯示器 PA[1],PA[2]:影像處理區域 PI[1],PI[2]:隱私內容 S301~S307:步驟 U1:使用者 U2:人 V1,V2:視野

第1圖為根據本揭示內容的一些實施例所繪示的電子裝置所在的一種環境的示意圖。第2圖為根據本揭示內容的一些實施例所繪示的一種電子裝置的方塊圖。第3圖為根據本揭示內容的一些實施例所繪示的一種資料處理方法的流程圖。第4圖為根據本揭示內容的一些實施例所繪示的電子裝置所擷取的一種影像幀的示意圖。第5圖為根據本揭示內容的一些實施例所繪示的電子裝置所產生的一種修正後關鍵幀的示意圖。第6圖為根據本揭示內容的一些實施例所繪示的電子裝置所擷取的另一種影像幀的示意圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

300:資料處理方法

S301~S307:步驟

Claims

一種資料處理方法，適用於在一環境中的一電子裝置，且包含：取得一關鍵幀；在該關鍵幀包含至少一隱私內容的情況下，處理該關鍵幀，以產生一修正後關鍵幀，其中該修正後關鍵幀包含對應於該至少一隱私內容的至少一影像處理區域；以及使用該修正後關鍵幀來更新該環境的一地圖。
如請求項1所述之資料處理方法，還包含：藉由一隱私內容辨識模組，對該關鍵幀進行影像辨識，以判斷該關鍵幀是否包含該至少一隱私內容。
如請求項1所述之資料處理方法，還包含：分析該修正後關鍵幀，以判斷該修正後關鍵幀的複數個第一特徵點的數量是否大於一第一門檻值，其中在該修正後關鍵幀的該些第一特徵點的數量大於該第一門檻值的情況下，執行使用該修正後關鍵幀來更新該環境的該地圖的操作。
如請求項3所述之資料處理方法，其中分析該修正後關鍵幀的操作包含：從該修正後關鍵幀提取該些第一特徵點；計算該些第一特徵點的數量；以及將該些第一特徵點的數量與該第一門檻值相比較。
如請求項3所述之資料處理方法，還包含：在該修正後關鍵幀的該些第一特徵點的數量未大於該第一門檻值的情況下，取得另一關鍵幀。
如請求項5所述之資料處理方法，其中取得該另一關鍵幀的操作包含：從一影像幀提取複數個第二特徵點；將該些第二特徵點與該地圖的複數個地圖點進行匹配，以取得複數個共同特徵點；以及在該些共同特徵點的數量未大於一第二門檻值的情況下，決定該影像幀為該另一關鍵幀。
如請求項5所述之資料處理方法，其中在取得該另一關鍵幀的操作之後，該資料處理方法還包含：藉由一隱私內容辨識模組，對該另一關鍵幀進行影像辨識。
如請求項3所述之資料處理方法，其中該些第一特徵點不是從該至少一影像處理區域提取而來的。
如請求項1所述之資料處理方法，還包含：在該關鍵幀未包含該至少一隱私內容的情況下，使用該關鍵幀來更新該環境的該地圖。
如請求項1所述之資料處理方法，其中處理該關鍵幀，以產生該修正後關鍵幀的操作包含：對該至少一隱私內容進行影像平滑化或影像模糊化，以產生該至少一影像處理區域。
一種電子裝置，包含：一影像擷取電路，用以擷取複數個影像幀；以及一處理器，耦接於該影像擷取電路，並用以：將該些影像幀中的一者設定為一關鍵幀；在該關鍵幀包含至少一隱私內容的情況下，處理該關鍵幀，以產生一修正後關鍵幀，其中該修正後關鍵幀包含對應於該至少一隱私內容的至少一影像處理區域；以及使用該修正後關鍵幀來更新該電子裝置所在的一環境的一地圖。
一種非暫態電腦可讀取儲存媒體，具有一電腦程式用以執行一資料處理方法，其中該資料處理方法適用於在一環境中的一電子裝置，且包含：取得一關鍵幀；在該關鍵幀包含至少一隱私內容的情況下，處理該關鍵幀，以產生一修正後關鍵幀，其中該修正後關鍵幀包含對應於該至少一隱私內容的至少一影像處理區域；以及使用該修正後關鍵幀來更新該環境的一地圖。