TWI908581B - 雙波段影像感測裝置、其影像分析方法與應用 - Google Patents

Abstract

一種雙波段影像感測裝置，其包含容置單元；光源暨影像擷取模組設置於該容置單元上方且可視待測物範圍；其至少包含紅外光源單元、可見光源單元及影像擷取單元來擷取該待測物的紅外光影像、可見光影像；影像分析與機器學習模組與該影像擷取單元訊號連接，並包含影像前處理單元及影像分析模型單元；本發明透過對捕捉到影像進行細致前處理，能夠有效地消除各種干擾和雜訊來顯著提高推測性能，此影像分析方法不僅能夠改善影像的品質，還有助於優化後續的資料分析和應用，從而實現更準確、可靠的待測物狀態推測結果。

Description

雙波段影像感測裝置、其影像分析方法與應用

一種影像感測裝置，特別是一種使用雙波段進行感測與分析的影像感測裝置。

隨著國人所得提高及飲食習慣西化，加上近年來國際知名品牌咖啡館引進市場，櫛比鱗次的土洋咖啡館已成為常見的街景之一。咖啡產業的專業度也持續提高，國人對於咖啡豆的選豆、烘豆與沖泡技術已可比擬美國、歐洲等咖啡發源地，足以可證實我國的咖啡產業盛行現象。

目前烘豆的過程中，主要依賴咖啡師肉眼判斷咖啡豆的焙度，然而這種方法存在眾多不確定因素，如咖啡師的經驗水平和當時環境的光源影響，也往往導致每批次的烘豆狀況不同而影響口味，無法穩定保持咖啡豆的品質。

為了解決目前烘豆過程中高度人為經驗介入以及環境光源因素而產生品質不穩定的問題，有必要提供一種更準確且客觀的檢測方法，以提高咖啡品質和生產效率。

本發明首先提供一種雙波段影像的分析方法，其步驟包含： 取該待測物的紅外光影像及/或可見光影像並傳輸至一影像分析與機器學習模組； 該影像分析與機器學習模組中的一影像前處理單元將紅外光影像及/或可見光影像進行前處理，其步驟包含： 步驟S1-1 影像裁剪、步驟S1-2 紅外光影像閾值挑選與設定以及步驟S1-3 可見光影像像素點取樣； 接著，該影像分析與機器學習模組中的一影像分析模型單元將前處理完成的影像進行分析，其步驟包含： 步驟S2-1 訓練資料集建立、步驟S2-2 訓練資料集輸入迴歸訓練模型比對得到該待測物的均勻度分佈。

其中，步驟1-2對紅外光影像及/或可見光影像中陰影或過曝區域，以其紅外光影像設定有效分析影像區域閾值範圍進行過濾；該閾值範圍係取得該待測物的紅外光影像在不同區間中像素點資訊的最大與最小值作為近紅外光強度的閾值範圍，並定義最終的有效區域閾值範圍。

其中，步驟1-3係取該閾值範圍內的像素座標值，並將這些座標值比對到可見光影像。

其中，步驟S2-1是分別將該待測物的紅外光影像及/或可見光影像提取篩選後的紅外光(IR)或近紅外公(NIR)以及R(紅色)、G(綠色)、B(藍色)的RGB通道的資訊，與該待測物的一標準值(Standard Value)整合後得到以下式(1)、式(2)、式(3)與式(4)計算出的數種資料集： RGB_input = [R G B]n×3…式(1)； (N)IR_input = [(N)IR]n×1…式(2)； RGB (N)IR_input = [R G B (N)IR]n×4…式(3)； RGB (N)IR SV_input = [R G B (N)IR Standard Value]n×5…式(4)；其中上述式(1)至式(4)中n為取得的該待測物的影像數量。

其中，步驟S2-2迴歸訓練模型比對係將步驟2-1的數種資料集輸入至少一種迴歸模型進行數種資料集的模型比對。

較佳地，該迴歸模型包含多元線性迴歸模型、多項式迴歸模型和偏最小平方法迴歸模型的一種或多種組合。

其中，進一步地，步驟S2-3可選地將該待測物的均勻度分佈進行平均數、眾數及/或中位數的計算。

本發明也提供一種雙波段影像感測裝置，用以執行前述雙波段影像的分析方法，其包含： 一容置單元，用以盛裝一待測物； 一光源暨影像擷取模組，設置於該容置單元上方且可視該待測物的範圍；其至少包含一紅外光源單元、一可見光源單元及一影像擷取單元；該紅外光源單元與該可見光源單元向該待測物發射紅外光及/或可見光，並由該影像擷取單元擷取紅外光影像及/或可見光影像；以及 一影像分析與機器學習模組，其與該影像擷取單元訊號連接，並包含電性與訊號連接的一影像前處理單元以及一影像分析模型單元。

其中，在某些較佳實施例中該容置單元與該光源暨影像擷取模組間設有一光罩單元。

其中，數個該可見光源單元以環狀設置為一可見光燈環；以及該紅外光源單元至少一個設置於該可見光源單元側鄰近位置。本發明進一步地提供一種咖啡烘焙裝置，其包含前述雙波段影像感測裝置。

藉由上述說明可知，本發明具有以下有益功效與優點：

1. 本發明結合光學感測器、演算法和光學系統設計，開發一套高效且可靠的咖啡豆或咖啡粉焙度檢測系統，可以排除目前咖啡烘豆時，人為經驗和環境光源等不確定因素，並確實提高咖啡焙度檢測的精確性。本發明透過感測器即時讀取咖啡豆/咖啡粉的反射波段，利用演算法進行數據分析和預測，結合優化的光學系統設計，實現對咖啡豆焙度的準確量測。同時，本發明所提供的方法可取得該待測物的狀態值均勻度分佈，詳細的針對各樣品的各咖啡豆間的進行焙度預測，相較於既有的咖啡豆焙度值檢測裝置，本發明可以改善其僅針對各樣品的單一區域感測所造成的焙度偏差，藉此本發明可以促進咖啡品質的提升，同時也有助於咖啡生產過程的自動化和智能化，推動咖啡產業邁向更加科技化的未來

2. 本發明透過對影像感測器捕捉到的影像進行細致的前處理，能夠在影像中有效地消除各種干擾和雜訊，進而顯著提高預測性能，使其達到更為卓越的水準。影像處理的過程不僅能夠改善影像的品質，還有助於優化後續的資料分析和應用，從而實現更準確、可靠的結果。

本發明以下將以數個較佳實施例進行技術詳細的說明與描述，所附圖示僅僅是本發明的一些示例性代表或實施例，對於本發明所屬領域具有通常知識者來講，在不付出進步性勞動的前提下，還可以根據這些附圖將本發明應用於其它類似情形。

以下本發明使用的“系統”、“裝置”、“單元”和/或“模組”是用於區分不同級別的不同組件、元件、部件、部分或裝配的一種方法。然而，如果其他詞語可實現相同的目的，則可通過其他表達來替換所述詞語。如本發明中所示，除非上下文明確提示例外情形，“一”、“一個”、“一種”和/或“該”等詞並非特指單數，也可包括複數。一般說來，術語“包括”與“包含”僅提示包括已明確標識的步驟和元素，而這些步驟和元素不構成一個排它性的羅列，方法或者設備也可能包含其它的步驟或元素。

本發明中使用了流程圖用來說明根據本發明的實施例的系統所執行的操作。應當理解的是，前面或後面操作不一定按照順序來精確地執行。相反，可以按照倒序或同時處理各個步驟。同時，也可以將其他操作添加到這些過程中，或從這些過程移除某一步或數步操作。

＜ 雙波段影像感測裝置＞

請參考圖1，其為本發明一種雙波段影像感測裝置100的較佳實施例示意圖。為了能清楚解釋與說明本發明雙波段影像感測裝置100，此實施例是以咖啡豆焙度檢測裝置為例，唯本發明所提供的雙波段影像感測裝置100除了檢測咖啡豆外，亦可檢測其他具有相同或近似影像特徵的豆狀、粒狀或粉狀食品，與此不限定。

本發明該雙波段影像感測裝置100的較佳實施例至少包含： 一容置單元10，用以盛裝一待測物O； 一光源暨影像擷取模組20，設置於該容置單元10上方且可視該待測物O的範圍；其至少包含一紅外光源單元21、一可見光源單元22以及一影像擷取單元23；該紅外光源單元21與該可見光源單元22向該待測物O發射紅外光及/或可見光，並由該影像擷取單元23擷取紅外光影像及/或可見光影像；以及 一影像分析與機器學習模組40，其與該影像擷取單元23訊號連接，並包含電性與訊號連接的一影像前處理單元41以及一影像分析模型單元42。

較佳地，一些優選的情況下，該容置單元10與該光源暨影像擷取模組20之間設有一光罩單元30，以更好的使該光源暨影像擷取模組20捕捉該容置單元10上的該待測物O狀態的紅外光影像及/或可見光影像。

該紅外光源單元21較佳可以是紅外光發光二極體(LEDs)；該可見光源單元22較佳包含可見光發光二極體(LEDs)；該影像擷取單元23可擷取至少可見光波段及/或紅外光波段的影像，且較佳地，在光線亮度不足的時候(即暗環境缺乏可見光波段的情況下)，該影像擷取單元23可僅擷取紅外光波段的影像。更佳地，本發明另一較佳實施例中，該紅外光源單元21可發出紅外光或近紅外光，例如波長850nm的近紅外光，本發明於此不限定。

其中，該可見光源單元22除了至少一個設置於該容置單元10上方外，也可以如圖1較佳實施例所示，數個該可見光源單元22以環狀設置為一可見光燈環，該紅外光源單元21則至少一個設置於該可見光源單元22側鄰近位置。

＜ 雙波段影像感測裝置影像分析方法＞

請參考圖2，該影像分析與機器學習模組40的該影像前處理單元41將該影像擷取單元23所擷取的該待測物O的紅外光影像及/或可見光影像進行前處理，其步驟包含： 步驟S1-1： 影像裁剪； 步驟S1-2： 紅外光影像閾值挑選與設定；以及 步驟S1-3： 可見光影像像素點取樣。

其中，步驟1-1影像裁剪中，主要是將所拍攝的紅外光影像及/或可見光影像移除非該待測物O影像的無效影像區，僅保留可分析的該待測物O影像。

步驟1-2的紅外光影像閾值挑選與設定中，為了避免該待測物O影像因為顆粒與顆粒之間或粉體與粉體之間交疊遮擋所產生的陰影區域，以及未交疊區域可能過曝的色彩資訊失準的問題而影響分析結果，進一步地，針對這些陰影或過曝區域，以其紅外光影像設定有效分析影像區域閾值進行過濾。

由於紅外光，例如近紅外光影像中，像素點的資訊可以做為閾值挑選的參考。近紅外光影像的像素點中僅存取拍攝時紅外光的強度值，強度值範圍為0~255，可用於過濾掉過曝或陰影區域的像素點。實施時主要是取得該待測物O的紅外光影像在不同區間中像素點資訊的最大與最小值作為近紅外光強度的閾值範圍，並定義最終的有效區域閾值範圍。

步驟S1-3可見光影像像素點取樣及資料集建立的步驟中，定義了有效區域閾值後，提取該閾值範圍內的像素座標值，並將這些座標值應用比對到可見光影像中。

接著，請參考圖1與圖3，該影像分析模型單元42係包含於桌上或可攜式的電腦、筆電、平板或手機等裝置並執行以下之分析與運算。

經過該影像前處理單元41前處理的影像由該影像分析模型單元42進行分析，其步驟包含：

步驟S2-1： 訓練資料集建立；

步驟S2-2： 訓練資料集輸入迴歸訓練模型比對，以獲取該待測物O的均勻度分佈；

其中，上述步驟S2-1訓練資料集建立主要是分別將該待測物O的紅外光影像及/或可見光影像提取篩選後的紅外光(IR)或近紅外公(NIR)以及R(紅色)、G(綠色)、B(藍色)的RGB通道的資訊，與該待測物O的一標準值(Standard Value)整合後得到以下式(1)、式(2)、式(3)與式(4)計算出的數種資料集，以進行後續訓練模型建立與評估分析。

RGB_input = [R G B]n×3…式(1)；

(N)IR_input = [(N)IR]n×1…式(2)；

RGB (N)IR_input = [R G B (N)IR]n×4…式(3)；

RGB (N)IR SV_input = [R G B (N)IR Standard Value]n×5…式(4)；其中上述式(1)至式(4)中n為取得的該待測物O的影像數量。

其中，步驟S2-2迴歸訓練模型比對，主要是將步驟2-1的數種資料集輸入至少一種迴歸模型進行數種資料集的模型比對。該迴歸模型包含但不限於多元線性迴歸模型(Multiple Linear Regression, MLR)、多項式迴歸模型(Polynomial Regression, PR)和偏最小平方法迴歸模型(Partial Least Square, PLS)的一種或多種組合。

進一步地，步驟S2-3可選地將所得出的均勻度分佈進行平均數、眾數及/或中位數的計算，以驗證各該待測物O狀態值精準度。

＜ 實施例一＞

本發明一較佳實施例係該待測物O為咖啡豆，此實施例以16種不同烘焙程度的咖啡豆進行其焙度狀態分析。

首先以前述該雙波段影像感測裝置100取得此16種不同烘焙程度的咖啡豆的紅外光影像及/或可見光影像。接著，該些紅外光影像及/或可見光影像傳輸至該影像分析與機器學習模組40進行分析。

請參考圖4A、4B與以下表1，在該影像前處理單元41將該些紅外光影像及/或可見光影像進行裁剪出有效影像區域後，接著進行紅外光影像閾值挑選與設定步驟取得數個不同咖啡豆較佳實施例的紅外光影像像素點強度值有效區域閾值範圍。此實施例的16種不同烘焙程度的咖啡豆紅外光影像像素點強度值之最小與最大值為35-245，並以此設定為有效區域閾值範圍。

表1。

樣品名	紅外光影像像素點強度值範圍
Elf	90-200
Flw	140-225
Gsha	120-220
Sld	140-215
Yag	130-210
Purcase01_Brz	135-220
Purcase01_EthopiaWater	160-235
Purcase01_Gua	150-245 (最大值)
Purcase02_ColumbiaGsha	135-235
Purcase02_Costalightmedium	115-225
Purcase02_Costamedium	145-215
Purcase02_EthopiaSun	135-240
Self01_light	90-245
Self01_lightmedium	100-230
Self01_roast	70-160
Self01_roastmedium	(最小值)35-130

接著，經過該影像前處理單元41前處理的影像由該影像分析模型單元42進行分析。請參考圖5A此實施例的原可見光影像、圖5B近紅外光強度篩選影像與圖5C可見光影像座標篩選影像。透過這些影像取得的RGB三通道資訊與NIR資訊數值，與咖啡豆標準焙度值(Standard RD)之標準資料集整合。此實施例共取得了如上表1所示的16種咖啡豆，每種咖啡豆100張，總共1600張影像的資料，以上述式(1)~式(4)進行整合為以下式(5)~式(8)，便可得到此實施例一6種咖啡豆所彙集完整的該資料集。

…式(5)；

…式(6)；

…式(7)；

…式(8)。

前述建立不同輸入資料集的模型之後，此實施例將16張不同焙度的咖啡豆驗證影像，用來評估模型的預測精確度。這16張影像在經過像素點篩選後，會將所有像素點的R、G、B和NIR四個通道的值依次輸入前述步驟S2-2的至少一種迴歸模型中以推測各咖啡豆樣品的焙度均勻度分佈。最後為驗證準確性，可選地將該均勻度分佈作平均數、中位數及/或眾數，並與標準焙度值比對來驗證該咖啡豆焙度推測值。

請參考圖6A~圖6P以及下表2，此實施例分別以多元線性迴歸模型、多項式迴歸模型和偏最小平方法迴歸模型搭配 RGB+NIR 四通道輸入資料集並以平均數驗證作為視覺化咖啡豆焙度均勻度分佈，計算出 16種不同咖啡豆烘焙度推測值。同時比較了以目前商業市售的紅外線咖啡豆烘焙度測試機所檢測的標準焙度值，證實本發明所提供的裝置與方法確實能夠推測出準確的該待測物O的狀態值。唯此實施例以平均數進行驗證，但中位數與眾數也驗證有效。

表2。

編號	標準焙度值	本發明推測值	咖啡豆影像與焙度均勻度分布圖
1	50.7	55.2	如圖6A所示
2	50.0	57.2	如圖6B所示
3	57.6	59.9	如圖6C所示
4	54.7	56.5	如圖6D所示
5	52.1	54.4	如圖6E所示
6	56.2	54.0	如圖6F所示
7	55.4	59.4	如圖6G所示
8	57.8	60.4	如圖6H所示
9	62.9	59.6	如圖6I所示
10	55.3	57.6	如圖6J所示
11	52.6	53.2	如圖6K所示
12	64.8	61.1	如圖6L所示
13	67.2	59.5	如圖6M所示
14	55.6	50.2	如圖6N所示
15	39.5	36.8	如圖6O所示
16	24.5	28.2	如圖6P所示

本發明中使用了流程圖用來說明根據本發明的實施例的系統所執行的操作。應當理解的是，前面或後面操作不一定按照順序來精確地執行。相反，可以按照倒序或同時處理各個步驟。同時，也可以將其他操作添加到這些過程中，或從這些過程移除某一步或數步操作。

一些實施例中使用了描述成分、屬性數量的數字，應當理解的是，此類用於實施例描述的數字，在一些示例中使用了修飾詞“大約”、“近似”或“大體上”來修飾。除非另外說明，“大約”、“近似”或“大體上”表明所述數字允許有±20%的變化。相應地，在一些實施例中，說明書和請求項中使用的數值參數均為 近似值，該近似值根據個別實施例所需特點可以發生改變。在一些實施例中，數值參數應考慮規定的有效數位並採用一般位數保留的方法。儘管本發明一些實施例中用於確認其範圍廣度的數值域和參數為 近似值，在具體實施例中，此類數值的設定在可行範圍內盡可能精確。

最後，應當理解的是，本發明中所述實施例僅用以說明本發明實施例的原則。其他的變形也可能屬本發明的範圍。因此，作為示例而非限制，本發明實施例的替代配置可視為與本發明的教導一致。相應地，本發明的實施例不僅限於本發明明確介紹和描述的實施例。

100:雙波段影像感測裝置 10:容置單元 20:光源暨影像擷取模組 21:紅外光源單元 22:可見光源單元 23:影像擷取單元 30:光罩單元 40:影像分析與機器學習模組 41:影像前處理單元 42:影像分析模型單元 O:待測物 S1-1~S1-3、S2-1~S2-3:步驟

為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單的介紹。顯而易見地，下面描述中的附圖僅僅是本發明的一些示例或實施例，並非絕對用以限定本發明的技術範圍。除非從前後文顯而易見或另做說明，圖中相同標號代表相同結構或操作。其中： 圖1為本發明雙波段影像感測裝置的較佳實施例示意圖。 圖2為本發明影像分析與機器學習模組中影像前處理單元進行前處理步驟流程圖。 圖3為本發明影像分析模型單元進行影像分析的步驟流程示意圖。 圖4A及圖4B為本發明實施例一中數個咖啡豆樣品的影像有效區域值範圍。 圖5A、圖5B及圖5C分別為本發明實施例一中咖啡豆樣品的原可見光影像、近紅外光強度篩選影像、可見光影像座標篩選影像。 圖6A至圖6P分別為本發明實施例一中數個咖啡豆樣品的咖啡豆影像與焙度均勻度分布圖。

100:雙波段影像感測裝置

10:容置單元

20:光源暨影像擷取模組

21:紅外光源單元

22:可見光源單元

23:影像擷取單元

30:光罩單元

40:影像分析與機器學習模組

41:影像前處理單元

42:影像分析模型單元

O:待測物

Claims (11)

1. 一種雙波段影像分析方法，其步驟包含： 擷取一待測物的紅外光影像及可見光影像並傳輸至一影像分析與機器學習模組，其包含訊號連接的一影像前處理單元與一影像分析模型單元； 該影像分析與機器學習模組中的該影像前處理單元將該紅外光影像及可見光影像進行前處理，其步驟包含： 步驟S1-1：影像裁剪，將該紅外光影像及可見光影像移除非該待測物影像的無效影像區，僅保留可分析的該待測物影像； 步驟S1-2：紅外光影像閾值挑選與設定，以過濾該紅外光影像中的陰影或過曝區域；以及 步驟S1-3：可見光影像像素點取樣； 該影像分析模型單元將前處理完成的該影像進行分析，其步驟包含： 步驟S2-1：訓練資料集建立；以及 步驟S2-2：訓練資料集輸入迴歸訓練模型比對得到該待測物狀態的均勻度分佈。
2. 如請求項1所述的雙波段影像分析方法，其中：步驟1-2對紅外光影像及可見光影像中陰影或過曝區域，以其紅外光影像設定有效分析影像區域閾值範圍進行過濾；該閾值範圍係取得該待測物的紅外光影像在不同區間中像素點資訊的最大與最小值作為近紅外光強度的閾值範圍，並定義最終的有效區域閾值範圍。
3. 如請求項1所述的雙波段影像分析方法，其中：步驟1-3係取該閾值範圍內的像素座標值，並將這些座標值比對到可見光影像。
4. 如請求項1所述的雙波段影像分析方法，其中：步驟S2-1是分別將該待測物的紅外光影像及可見光影像提取篩選後的紅外光(IR)或近紅外公(NIR)以及R(紅色)、G(綠色)、B(藍色)的RGB通道的資訊，與該待測物的一標準值(Standard Value)整合後得到以下式(1)、式(2)、式(3)與式(4)計算出的數種資料集： RGB_input = [R G B]n×3…式(1)； (N)IR_input = [(N)IR]n×1…式(2)； RGB (N)IR_input = [R G B (N)IR]n×4…式(3)； RGB (N)IRSV_input = [R G B (N)IR Standard Value]n×5…式(4)；其中上述式(1)至式(4)中n為取得的該待測物的影像數量。
5. 如請求項1所述的雙波段影像分析方法，其中：步驟S2-2迴歸訓練模型比對係將步驟2-1的數種資料集輸入至少一種迴歸模型進行數種資料集的模型比對；以及該迴歸模型包含多元線性迴歸模型、多項式迴歸模型和偏最小平方法迴歸模型的一種或多種組合。
6. 如請求項1~5中任一項所述的雙波段影像分析方法，其中：進一步地將該待測物狀態的均勻度分佈進行平均數、眾數及/或中位數的計算。
7. 一種雙波段影像感測裝置，用以執行如請求項1~6所述的雙波段影像分析方法，其包含： 一容置單元，用以盛裝一待測物； 一光源暨影像擷取模組，設置於該容置單元上方且可視該待測物的範圍；其至少包含一紅外光源單元、一可見光源單元及一影像擷取單元；該紅外光源單元與該可見光源單元向該待測物發射紅外光及/或可見光，並由該影像擷取單元擷取紅外光影像及/或可見光影像；以及 一影像分析與機器學習模組，其與該影像擷取單元訊號連接，並包含電性與訊號連接的一影像前處理單元以及一影像分析模型單元。
8. 如請求項7所述的雙波段影像感測裝置，其中：該容置單元與該光源暨影像擷取模組間設有一光罩單元。
9. 如請求項7或8所述的雙波段影像感測裝置，其中：該紅外光源單元發出紅外光及/或近紅外光。
10. 如請求項7或8所述的雙波段影像感測裝置，其中：數個該可見光源單元以環狀設置為一可見光燈環；以及該紅外光源單元至少一個設置於該可見光源單元側鄰近位置。
11. 一種咖啡焙度檢測裝置，其包含如請求項7-10任一項所述的雙波段影像感測裝置。