[go: up one dir, main page]

TW201621814A - 影像感測裝置與影像感測的方法 - Google Patents

影像感測裝置與影像感測的方法 Download PDF

Info

Publication number
TW201621814A
TW201621814A TW105109427A TW105109427A TW201621814A TW 201621814 A TW201621814 A TW 201621814A TW 105109427 A TW105109427 A TW 105109427A TW 105109427 A TW105109427 A TW 105109427A TW 201621814 A TW201621814 A TW 201621814A
Authority
TW
Taiwan
Prior art keywords
light source
image
images
signal processing
processing module
Prior art date
Application number
TW105109427A
Other languages
English (en)
Inventor
張鴻德
吳高彬
蔡坤隍
洪尚銘
莊政達
方智仁
郭蔡增
Original Assignee
義明科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 義明科技股份有限公司 filed Critical 義明科技股份有限公司
Publication of TW201621814A publication Critical patent/TW201621814A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

3D影像感測裝置包含一光源、一感測模組及一信號處理模組。該感測模組包含一像素陣列及一光源驅動器。該光源產生一閃爍光。該像素陣列取樣該閃爍光產生一取樣結果，該取樣結果包含該光源開啟時的複數個第一影像與該光源關閉時的複數個第二影像。該信號處理模組耦接於該感測模組，並經由該光源驅動器驅動該光源產生該閃爍光，且該信號處理單元根據該複數個第一影像與該複數個第二影像，產生一深度資訊。

Description

影像感測裝置與影像感測的方法
本發明是有關於一種3D影像感測裝置與3D影像感測的方法，尤指一種利用整數倍交流電頻率或預定頻率消除背景光的雜訊的3D影像感測裝置與3D影像感測的方法。
隨著行動裝置的人機介面的演進，人機介面具有朝向自然使用者介面(natural user interface, NUI)的趨勢，其中手勢辨識是最重要的自然使用者介面科技之一。可利用不同的2D影像處理執行手勢辨識。然而，2D影像感測器並無法決定影像的深度，導致大大影響手勢辨識的能力。因此，利用包含深度資訊的3D影像感測是往後執行手勢辨識較佳的方法。
背景光感測器(Ambient light sensor, ALS)和鄰接感測器(proximity sensor, PS)被廣泛使用在大多數行動裝置上(例如智慧型手機或平板電腦)。因為對於任何行動裝置而言，新元件設置在印刷電路板的空間都將大幅增加行動裝置的成本，所以任何行動裝置都具有整合背景光感測器、鄰接感測器、色溫感測器或溫度感測器與手勢辨識至同一積體電路的需求。然而，現有技術並無法提供整合的解決方案給使用者。
本發明的一實施例提供一種3D影像感測裝置。該3D影像感測裝置包含一光源、一感測模組及一信號處理模組，其中該感測模組包含一像素陣列及一光源驅動器。該光源是用以產生一閃爍光。該像素陣列是用以取樣該閃爍光以產生一取樣結果，其中該取樣結果包含該光源開啟時的複數個第一影像與該光源關閉時的複數個第二影像；該光源驅動器連接該光源，用以驅動該光源。該信號處理模組是耦接於該感測模組，並經由該光源驅動器驅動該光源產生該閃爍光，且該信號處理單元根據該複數個第一影像與該複數個第二影像，產生一深度資訊。
本發明的另一實施例提供一種3D影像感測的方法，其中應用於該方法的3D影像感測裝置包含一光源、一感測模組及一信號處理模組。該方法包含該感測模組用以驅動該光源產生一閃爍光；該感測模組對該閃爍光取樣以產生一取樣結果，其中該取樣結果包含該光源開啟時的複數個第一影像與該光源關閉時的複數個第二影像；該信號處理模組根據該複數個第一影像與該複數個第二影像，產生一深度資訊。
本發明提供一種3D影像感測裝置與3D影像感測的方法。相較於現有技術，因為該3D影像感測裝置整合一感測模組與一信號處理模組至同一積體電路，所以本發明具有較低的成本與較有效率。另外，該信號處理模組可利用像素陣列所產生的複數個第一影像的每一第一影像減去複數個第二影像的一相對應的第二影像，產生深度資訊，該信號處理模組可再從深度資訊中，判斷使用者的手勢。
請參照第1圖，第1圖是本發明的一實施例說明一種3D影像感測裝置100的示意圖。如第1圖所示，3D影像感測裝置100包含一光源102、一感測模組104和一信號處理模組106，其中感測模組104包含一像素陣列1042、一控制單元1044和一光源驅動器1046，且控制單元1044包含一類比數位轉換器10442與一離散傅立葉(discrete Fourier transform, DFT)轉換器10444。光源102是一紅外線光源或一紅外線雷射光源(例如一紅外線發光二極體或一紅外線雷射二極體)，且是用以產生具有一K倍交流電頻率(例如100Hz或120Hz)或一預定頻率的一閃爍光，其中像素陣列1042在光源102開啟時的曝光時間等於像素陣列1042在光源102關閉時的曝光時間，且K為一正實數(例如K為N或1/N，其中N為一大於1的正整數)。但在本發明的另一實施例中，光源102是一可見光源。像素陣列1042是一G乘H的互補式金氧半導體(Complementary metal-oxide-semiconductor, CMOS)影像感測像素陣列，其中G和H是正整數。但本發明並不受限於像素陣列1042是一互補式金氧半導體影像感測像素陣列，亦即像素陣列1042亦可是一電荷耦合元件(Charge-coupled Device, CCD)影像感測像素陣列。像素陣列1042包含一紅外線濾波器，所以像素陣列1042可衰減紅外線之外的其他光波。在本發明的一實施例中，光源102所產生的閃爍光的波長是850 nm。當光源102產生具有K倍交流電頻率或預定頻率的閃爍光時，感測模組104的像素陣列1042是用以取樣光源102所產生的閃爍光以產生一取樣結果SR，其中像素陣列1042所產生的取樣結果SR包含光源102開啟時的複數個第一影像與光源102關閉時的複數個第二影像，且光源102和像素陣列1042可同步於每一畫面的起點。當像素陣列1042產生取樣結果SR後，控制單元1044對像素陣列1042所產生的取樣結果SR執行一影像處理以產生對應像素陣列1042所產生的取樣結果SR的一頻譜SP，其中頻譜SP是對應於取樣結果SR內光源102關閉時的複數個第二影像。如第1圖所示，控制單元1044所執行的影像處理包含類比數位轉換器10442根據像素陣列1042所產生的取樣結果SR，產生一數位信號DS，以及離散傅立葉轉換器10444根據類比數位轉換器10442所產生的數位信號DS，產生對應像素陣列1042所產生的取樣結果SR的頻譜SP。另外，光源驅動器1046是用以根據K倍交流電頻率或一預定頻率，產生方波以開啟或關閉光源102，其中光源驅動器1046所產生的方波具有K倍交流電頻率或一預定頻率。
如第1圖所示，信號處理模組106是耦接於像素陣列1042和控制單元1044。因為像素陣列1042所產生的取樣結果SR包含光源102開啟時的複數個第一影像與光源102關閉時的複數個第二影像，所以信號處理模組106可根據光源102開啟時的複數個第一影像與光源102關閉時的複數個第二影像，產生一深度資訊。亦即信號處理模組106利用複數個第一影像的每一第一影像減去複數個第二影像的一相對應的第二影像，產生深度資訊。請參照第2圖，第2圖是說明當光源102產生具有K倍交流電頻率或預定頻率的閃爍光時，信號處理模組106可產生不受背景光影響的深度資訊的示意圖。如第2圖所示，當閃爍光具有K倍交流電頻率或預定頻率時，信號處理模組106根據複數個第一影像(光源102開啟)所產生對應於背景光(例如室內日光燈)的面積和(區塊I和區塊III)會等於根據複數個第二影像(光源102關閉)所產生對應於背景光的面積和(區塊II和區塊IV)。因此，如式(1)所示，信號處理模組106便可透過複數個第一影像和複數個第二影像，消除室內日光燈(100Hz或120Hz)的能量波形的影響。如式(1)所示，式(1)在不同的起始相位角θ和不同的曝光時間X都成立。另外，信號處理模組106所產生的深度資訊大約和距離的平方成反比。
(1)
其中0＜X＜π/2
另外，式(2)是對應於式(1)的一般通式：
(2)
如式(2)和第3圖所示，X1為光源102開啟時的積分時間，X2為光源102關閉時的積分時間，以及θ起始相位角，其中K可以為N或1/N，但N是不為1的正整數，且K*(X1+X2)不大於1/120Hz或1/100Hz。
如第1圖所示，信號處理模組106包含一閃爍雜訊鑑別器1062與一頻率產生器1064，其中頻率產生器1064是一延遲時間振盪器(delay time oscillator)、一阻容振盪器(RC oscillator)、一鎖相迴路、一晶體振盪器、一共振器(resonator)或一除頻器。閃爍雜訊鑑別器1062是用以根據頻譜SP，決定對應於K倍交流電頻率的一閃爍雜訊，以及用以根據對應於K倍交流電頻率的閃爍雜訊，產生對應於K倍交流電頻率的一控制信號CS；頻率產生器1064是耦接於閃爍雜訊鑑別器1062，用以根據控制信號CS，產生K倍交流電頻率AF至光源驅動器1046，其中頻率產生器1064所產生的K倍交流電頻率是在一預定頻率範圍內。另外，當頻率產生器1064所產生的K倍交流電頻率在預定頻率範圍外時，頻率產生器1064直接輸出預定頻率至光源驅動器1046。
請參照第4圖，第4圖是說明信號處理模組106利用光源102所產生的具有K倍交流電頻率或預定頻率的閃爍光，判斷一使用者的手勢的示意圖。如第2圖所示，當光源102產生具有K倍交流電頻率或預定頻率的閃爍光時，信號處理模組106可利用像素陣列1042所產生的複數個第一影像的每一第一影像減去複數個第二影像的一相對應的第二影像，產生深度資訊。然後，信號處理模組106可再從深度資訊中，判斷使用者的手勢。
請參照第5圖，第5圖是本發明的另一實施例說明一種3D影像感測裝置400的示意圖。如第5圖所示，3D影像感測裝置400和3D影像感測裝置100的差別在於3D影像感測裝置400的感測模組404另包含一背景可見光感測器4042、一鄰接(proximity)感測器4044、一色溫感測器4046以及一溫度感測器4048。因此，整合背景可見光感測器4042、鄰接感測器4044、色溫感測器4046以及溫度感測器4048的感測模組404具有較少的元件數、佔據較少的電路板空間以及較低的成本。另外，因為感測模組404整合背景可見光感測器4042、鄰接感測器4044、色溫感測器4046以及溫度感測器4048，所以3D影像感測裝置400的信號處理模組106的深度感測與手勢辨識的能力可被提高。
當背景可見光足夠且光源102關閉時，像素陣列1042所產生的取樣結果SR仍然可藉由背景可見光產生一物件的輪廓。相反地，當背景可見光被調暗時，此時，光源102必須開啟以使像素陣列1042產生用以深度感測與手勢辨識的取樣結果SR。因此，背景可見光感測器可使光源102的工作週期(duty cycle)動態調整。如此，3D影像感測裝置400可進一步降低光源102的開啟時間以及最佳化3D影像感測裝置400的深度感測與手勢辨識的整體功耗。然而，在大多數的情況中，信號處理模組106還是根據光源102開啟時的複數個第一影像與光源102關閉時的複數個第二影像，產生一深度資訊，其中深度資訊對於信號處理模組106辨識物件與背景相當有用。
鄰接感測器4044是根據光源102的開啟與關閉，偵測物件與鄰接感測器4044之間的平均距離。因為鄰接感測器4044可用以偵測物件與鄰接感測器4044之間的近似距離，所以鄰接感測器4044可使3D影像感測裝置400整體的功耗較少以及反應時間較快。
在本發明的一實施例中，阻隔紅外線與彩色濾光塗層是包含在色溫感測器4046，其中色溫感測器4046可藉由對應於阻隔紅外線與彩色濾光塗層的光譜，量測背景光。一般說來，阻隔紅外線與彩色濾光塗層可阻隔具有約700nm波長的紅外光。另外，色溫感測器4046可偵測背景可見光的色溫，其中背景可見光的色溫可用於一顯示裝置的動態調整白平衡以及增強一影像擷取裝置的影像品質。
溫度感測器4048是用以量測周遭環境的溫度。然而，量測周遭環境的溫度亦用以背景光與色彩測量的溫度補償。如第5圖所示，信號處理模組106具有一非揮發性記憶體(例如一快閃記憶體)1066。信號處理模組106可根據從一目前取樣結果SR所萃取的特徵與儲存於非揮發性記憶體1066的預錄(pre-recorded)特徵的差異，執行手勢辨識。當差異夠小時，信號處理模組106可得到一正向辨識(positive recognition)。
請參照第6圖，第6圖是本發明的另一實施例說明一種3D影像感測裝置500的示意圖。如第6圖所示，3D影像感測裝置500和3D影像感測裝置400的差別在於3D影像感測裝置500的信號處理模組506另包含一觸控控制器5062。整合手勢辨識與觸控控制器5062的好處是具有較低的積體電路成本。
另外，3D影像感測裝置500具有下列優點：第一、觸控控制器5062主要用以處理一產生自觸控感測器508的訊號TS，其中產生自觸控感測器508的訊號TS可代表觸碰一觸控面板的物件(例如一手指)的位置或觸控面板鄰近物件(未觸碰觸控面板)的位置。像素陣列1042可用以產生物件的指示方向。因此，不論物件是否觸碰或遠離觸控面板，結合觸控與手勢辨識可使一使用者具有能力追蹤顯示面板上的一項目。第二、在本發明的一實施例中，使用者的一手指正在觸碰顯示面板上的一項目時，使用者的另一隻手可執行一3D手勢以操作顯示面板上被觸碰的項目。例如，顯示面板所顯示的一地圖中的一建築物可被使用者觸碰而確認，然後使用者的另一隻手的3D手勢將可執行使用者相對於地圖中的建築物想要移動的方向(例如上、下、左、右；放大或縮小)或地圖中的建築物觀察方向的一指令。
請參照第7圖，第7圖是本發明的另一實施例說明一種3D影像感測裝置600的示意圖。如第7圖所示，3D影像感測裝置600和3D影像感測裝置400的差別在於3D影像感測裝置600的信號處理模組606另包含一數位影像處理器6062。如第7圖所示，一外部影像感測器608可用以擷取一物件的2D紅綠藍影像IS。數位影像處理器6062包含一些正常的影像處理功能，例如影像壓縮和防手振等。
另外，3D影像感測裝置600具有下列優點：第一、信號處理模組606不僅可利用深度資訊亦可利用2D紅綠藍影像IS執行手勢辨識。因為外部影像感測器608的紅綠藍影像感測器具有較高的解析度，所以信號處理模組606可更有效率地從一前景中區別一物件。另外，深度資訊和2D紅綠藍影像IS的重疊部分可大大地增強萃取特徵的準確性。第二、當使用者處於一特定狀況時(例如使用者戴一黑色手指套)，黑色手指套將會減弱手指所反射的紅外光。然而，外部影像感測器608的紅綠藍影像感測器有能力從背景衣服中區別黑色手指套。因此，外部影像感測器608的紅綠藍影像感測器與像素陣列1042中的紅外線感測器的互補效果將可增強3D影像感測裝置600的手勢辨識能力的準確性。
請參照第8圖，第8圖是本發明的另一實施例說明一種3D影像感測裝置700的示意圖。如第8圖所示，3D影像感測裝置700和3D影像感測裝置400的差別在於3D影像感測裝置700的信號處理模組706包含一慣性感測器708的感測集線器(sensor hub)7062，其中慣性感測器708包含微機電系統(Micro Electro Mechanical Systems, MEMS)加速度計、陀螺儀、磁力儀以及高度計。慣性感測器708是做為一慣性測量單元(inertial measurement unit, IMU)，其中慣性測量單元對於室內導航而言是相當重要的。因為信號處理模組706整合慣性感測器708的感測集線器7062以及手勢處理器，所以信號處理模組706是一個更有效率的積體電路。
另外，3D影像感測裝置700具有下列優點：第一、慣性感測器708的感測集線器7062可辨別手機使用者的位置、方向和傾斜。感測模組404包含背景可見光感測器、鄰接感測器、色溫感測器以及溫度感測器。因此，使用者的位置和週遭環境可被3D影像感測裝置700辨識，以及根據使用者的位置和週遭環境，可產生許多應用。第二、因為使用者可圍繞本身移動手機，所以可藉由陀螺儀和磁力儀執行測量的手機方向。然後，信號處理模組706能夠重建使用者的3D影像。在本發明的另一實施例中，慣性測量單元的傾斜及/或方向的測量可幫助行動裝置偵測觀看方向的改變。因為行動裝置可能會離開偵測角或偵測範圍，所以慣性測量單元(慣性感測器708)和手勢處理器將警示使用者保持手勢在像素陣列1042的偵測角或偵測範圍。
另外，3D影像感測裝置100、400、500、600、700並不受限於僅判斷使用者的手勢，亦即3D影像感測裝置100、400、500、600、700亦可辨識使用者的手指、手背或眼珠，或執行物件辨識。
請參照第1圖、第2圖、第4圖和第9圖，第9圖是本發明的另一實施例說明一種3D影像感測的方法的流程圖，其中第9圖的方法是利用第1圖的3D影像感測裝置100說明，詳細步驟如下：
步驟800：  開始；
步驟802：  感測模組104根據一K倍交流電頻率或一預定頻率，驅動光源102產生具有K倍交流電頻率或預定頻率的一閃爍光；
步驟804：  感測模組104對閃爍光取樣以產生一取樣結果SR，其中取樣結果SR包含光源102開啟時的複數個第一影像與光源102關閉時的複數個第二影像；
步驟806：  類比數位轉換器10442根據取樣結果SR，產生一數位信號DS；
步驟808：  離散傅立葉轉換器10444根據數位信號DS，產生對應取樣結果SR的頻譜SP；
步驟810：  閃爍雜訊鑑別器1062根據頻譜SP，決定對應於K倍交流電頻率的一閃爍雜訊；
步驟812：  閃爍雜訊鑑別器1062根據對應於K倍交流電頻率的閃爍雜訊，產生對應於K倍交流電頻率的一控制信號CS；
步驟814：  頻率產生器1064直接輸出預定頻率，或根據控制信號CS，產生K倍交流電頻率AF至感測模組104；
步驟816：  信號處理模組106根據複數個第一影像與該複數個第二影像，產生一深度資訊。
在步驟802中，感測模組104中的光源驅動器1046是用以根據K倍交流電頻率或預定頻率，產生方波以開啟或關閉光源102，其中光源驅動器1046所產生的方波具有K倍交流電頻率或預定頻率。另外，光源102是一紅外線光源或一紅外線雷射光源(例如一紅外線發光二極體或一紅外線雷射二極體)，且是用以產生具有K倍交流電頻率(例如100Hz或120Hz)或預定頻率的閃爍光，其中像素陣列1042在光源102開啟時的曝光時間等於像素陣列1042在光源102關閉時的曝光時間，且K為一正實數(例如K為N或1/N，其中N為一大於1的正整數)。在步驟804中，當光源102產生具有K倍交流電頻率或預定頻率的閃爍光時，感測模組104的像素陣列1042是用以取樣光源102所產生的閃爍光以產生取樣結果SR，其中光源102和像素陣列1042可同步於每一畫面的起點。在步驟806中，當像素陣列1042產生取樣結果SR後，控制單元1044內的類比數位轉換器10442根據像素陣列1042所產生的取樣結果SR，產生數位信號DS，以及在步驟808中，控制單元1044內的離散傅立葉轉換器10444根據類比數位轉換器10442所產生的數位信號DS，產生對應像素陣列1042所產生的取樣結果SR的頻譜SP，其中頻譜SP是對應於取樣結果SR內光源102關閉時的複數個第二影像。
在步驟810和步驟812中，信號處理模組106內的閃爍雜訊鑑別器1062是用以根據頻譜SP，決定對應於K倍交流電頻率的閃爍雜訊，以及用以根據對應於K倍交流電頻率的閃爍雜訊，產生對應於K倍交流電頻率的控制信號CS。在步驟814中，信號處理模組106內的頻率產生器1064根據控制信號CS，產生K倍交流電頻率AF至感測模組104內的光源驅動器1046，其中頻率產生器1064所產生的K倍交流電頻率是在一預定頻率範圍內。另外，當頻率產生器1064所產生的K倍交流電頻率在預定頻率範圍外時，頻率產生器1064直接輸出預定頻率至光源驅動器1046。
在步驟816中，如第1圖所示，因為像素陣列1042所產生的取樣結果SR包含光源102開啟時的複數個第一影像與光源102關閉時的複數個第二影像，所以信號處理模組106可根據光源102開啟時的複數個第一影像與光源102關閉時的複數個第二影像，產生深度資訊。亦即信號處理模組106利用複數個第一影像的每一第一影像減去複數個第二影像的一相對應的第二影像，產生深度資訊。
另外，如第4圖所示，當光源102產生具有K倍交流電頻率或預定頻率的閃爍光時，信號處理模組106可利用像素陣列1042所產生的複數個第一影像的每一第一影像減去複數個第二影像的一相對應的第二影像，產生深度資訊。然後，信號處理模組106可再從深度資訊中，判斷使用者的手勢。
綜上所述，相較於現有技術，因為本發明所提供的3D影像感測裝置整合感測模組與信號處理模組至同一積體電路，所以本發明具有較低的成本與較有效率。另外，因為光源可產生具有整數倍交流電頻率或預定頻率的閃爍光，所以本發明可消除背景光的雜訊，導致本發明的深度感測與手勢辨識的能力可被提高。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100、400、500、600、700‧‧‧3D影像感測裝置
102‧‧‧光源
104、404‧‧‧感測模組
106、506、606、706‧‧‧信號處理模組
1042‧‧‧像素陣列
1044‧‧‧控制單元
1046‧‧‧光源驅動器
10442‧‧‧類比數位轉換器
10444‧‧‧離散傅立葉轉換器
1062‧‧‧閃爍雜訊鑑別器
1064‧‧‧頻率產生器
1066‧‧‧非揮發性記憶體
4042‧‧‧背景可見光感測器
4044‧‧‧鄰接感測器
4046‧‧‧色溫感測器
4048‧‧‧溫度感測器
5062‧‧‧觸控控制器
508‧‧‧觸控感測器
6062‧‧‧數位影像處理器
608‧‧‧外部影像感測器
708‧‧‧慣性感測器
7062‧‧‧感測集線器
AF‧‧‧交流電頻率
CS‧‧‧控制信號
DS‧‧‧數位信號
IS‧‧‧紅綠藍影像
SR‧‧‧取樣結果
SP‧‧‧頻譜
TS‧‧‧訊號
800-816‧‧‧步驟
第1圖是本發明的一實施例說明一種3D影像感測裝置的示意圖。 第2圖和第3圖是說明當光源產生具有K倍交流電頻率或預定頻率的閃爍光時，信號處理模組可產生不受背景光影響的深度資訊的示意圖。 第4圖是說明信號處理模組利用光源所產生的具有K倍交流電頻率的閃爍光，判斷使用者的手勢的示意圖。 第5圖是本發明的另一實施例說明一種3D影像感測裝置的示意圖。 第6圖是本發明的另一實施例說明一種3D影像感測裝置的示意圖。 第7圖是本發明的另一實施例說明一種3D影像感測裝置的示意圖。 第8圖是本發明的另一實施例說明一種3D影像感測裝置的示意圖。 第9圖是本發明的另一實施例說明一種3D影像感測的方法的流程圖。
100‧‧‧3D影像感測裝置
102‧‧‧光源
104‧‧‧感測模組
106‧‧‧信號處理模組
1042‧‧‧像素陣列
1044‧‧‧控制單元
1046‧‧‧光源驅動器
10442‧‧‧類比數位轉換器
10444‧‧‧離散傅立葉轉換器
1062‧‧‧閃爍雜訊鑑別器
1064‧‧‧振盪器
AF‧‧‧交流電頻率
CS‧‧‧控制信號
DS‧‧‧數位信號
SR‧‧‧取樣結果
SP‧‧‧頻譜

Claims (11)

  1. 一種影像感測裝置，包含： 一光源，用以產生一閃爍光； 一感測模組，包含： 一像素陣列，用以取樣該閃爍光以產生一取樣結果，其中該取樣結果包含該光源開啟時的複數個第一影像與該光源關閉時的複數個第二影像；及 一光源驅動器，連接該光源，用以驅動該光源；及 一信號處理模組，耦接於該感測模組，並經由該光源驅動器驅動該光源產生該閃爍光，且該信號處理單元根據該複數個第一影像與該複數個第二影像，產生一深度資訊。
  2. 如請求項1所述的影像感測裝置，該信號處理模組係將複數個第一影像的每一第一影像減去複數個第二影像的一相對應的第二影像，以產生該深度資訊。
  3. 如請求項1或2所述的影像感測裝置，該感測模組與該信號處理模組整合至同一積體電路。
  4. 2或3所述的影像感測裝置，該感測模組進一步包含有一背景可見光感測器，以感測背景可見光，並輸出至該信號處理模組；其中： 當該信號處理模組透過該背景可見光感測器判斷背景可見光足夠，即經由該光源驅動器關閉該光源；及 當該信號處理模組透過該背景可見光感測器判斷背景可見光被調暗時，即經由該光源驅動器開啟該光源；其中該像素陣列在該光源開啟時的曝光時間等於該像素陣列在該光源關閉時的曝光時間。
  5. 如請求項4所述的影像感測裝置，該信號處理模組根據該複數個第一影像中的其中一第一影像與對應於該第一影像的一第二影像來判斷一使用者的手勢。
  6. 如請求項1或2所述的影像感測裝置，係進一步包含有一外部影像感測器，該外部影像感測器包含有一紅綠藍影像感測器，以擷取一物件的2D紅綠藍影像；且該信號處理模組包含： 一非揮發性記憶體；及 一數位影像處理器，用以對該物件的2D紅綠藍影像進行影像處理。
  7. 一種影像感測的方法，其中應用於該方法的影像感測裝置包含一光源、一感測模組及一信號處理模組，該方法包含： 該感測模組用以驅動該光源產生一閃爍光； 該感測模組對該閃爍光取樣以產生一取樣結果，其中該取樣結果包含該光源開啟時的複數個第一影像與該光源關閉時的複數個第二影像；及 該信號處理模組根據該複數個第一影像與該複數個第二影像，產生一深度資訊。
  8. 如請求項7所述的方法，該信號處理模組係將複數個第一影像的每一第一影像減去複數個第二影像的一相對應的第二影像，產生該深度資訊。
  9. 如請求項7或8所述的方法，該感測模組進一步感測背景可見光；其中： 當背景可見光足夠時，即關閉該光源；及 當背景可見光被調暗時，即開啟該光源；其中該感測模組包含有一像素陣列，該像素陣列在該光源開啟時的曝光時間等於該像素陣列在該光源關閉時的曝光時間。
  10. 如請求項9所述的方法，其中該信號處理模組根據根據該複數個第一影像中的其中一第一影像與對應於該第一影像的一第二影像，判斷一使用者的手勢。
  11. 如請求項7或8所述的方法，其中應用於該方法的影像感測裝置進一步包含一外部影像感測器，且該信號處理模組包含有一非揮發性記憶體及一數位影像處理器；其中該方法進一步包含： 該外部影像感測器用以擷取一物件的2D紅綠藍影像，且該信號處理模組對該物件的2D紅綠藍影像進行影像處理。
TW105109427A 2013-01-07 2013-12-19 影像感測裝置與影像感測的方法 TW201621814A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201361749864P 2013-01-07 2013-01-07

Publications (1)

Publication Number Publication Date
TW201621814A true TW201621814A (zh) 2016-06-16

Family

ID=51726141

Family Applications (3)

Application Number Title Priority Date Filing Date
TW102147226A TWI517092B (zh) 2013-01-07 2013-12-19 ３ｄ影像感測裝置與３ｄ影像感測的方法
TW105109427A TW201621814A (zh) 2013-01-07 2013-12-19 影像感測裝置與影像感測的方法
TW104139780A TWI533256B (zh) 2013-01-07 2013-12-19 影像感測裝置與影像感測的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW102147226A TWI517092B (zh) 2013-01-07 2013-12-19 ３ｄ影像感測裝置與３ｄ影像感測的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW104139780A TWI533256B (zh) 2013-01-07 2013-12-19 影像感測裝置與影像感測的方法

Country Status (2)

Country Link
CN (1) CN105721786A (zh)
TW (3) TWI517092B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI684165B (zh) * 2018-07-02 2020-02-01 華晶科技股份有限公司 影像處理方法與電子裝置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475194B2 (en) 2016-12-19 2019-11-12 Htc Corporation Method, device, and non-transitory computer readable storage medium for object tracking
WO2018195831A1 (zh) * 2017-04-26 2018-11-01 深圳市柔宇科技有限公司 控制方法、控制装置和光学检测设备
CN109544617B (zh) * 2018-12-05 2024-04-16 光微信息科技(合肥)有限公司 应用于相位式tof传感器的温度补偿方法以及温度补偿装置
CN110719400B (zh) * 2019-09-17 2021-01-08 北京兆维电子(集团)有限责任公司 一种图像采集方法及系统
US11882637B2 (en) 2021-01-28 2024-01-23 Sensortek Technology Corp. Operation method of proximity sensor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4377013B2 (ja) * 1999-11-18 2009-12-02 國寛 渡辺 固体撮像装置及び固体撮像素子
WO2011069157A2 (en) * 2009-12-04 2011-06-09 Next Holdings Limited Methods and systems for position detection
TW201227159A (en) * 2010-12-24 2012-07-01 wen-jin Zhang Method of taking pictures for generating three-dimensional image data
CN102638642B (zh) * 2011-02-12 2014-04-02 原相科技股份有限公司 影像系统及其干扰消除方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI684165B (zh) * 2018-07-02 2020-02-01 華晶科技股份有限公司 影像處理方法與電子裝置
US10972676B2 (en) 2018-07-02 2021-04-06 Altek Corporation Image processing method and electronic device capable of optimizing hdr image by using depth information

Also Published As

Publication number Publication date
TW201428682A (zh) 2014-07-16
TWI517092B (zh) 2016-01-11
TWI533256B (zh) 2016-05-11
TW201610911A (zh) 2016-03-16
CN105721786A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN103916660B (zh) 3d图像感测装置与3d图像感测的方法
US10215557B2 (en) Distance image acquisition apparatus and distance image acquisition method
TWI517092B (zh) ３ｄ影像感測裝置與３ｄ影像感測的方法
KR102489402B1 (ko) 디스플레이 장치 및 그의 영상 표시 방법
JP6290512B2 (ja) 距離画像取得装置及び距離画像取得方法
JP6340477B2 (ja) 距離画像取得装置及び距離画像取得方法
US9609206B2 (en) Image processing apparatus, method for controlling image processing apparatus and storage medium
KR102085766B1 (ko) 촬영 장치의 자동 초점 조절 방법 및 장치
CN105611275B (zh) 执行电子装置的多照相机捕捉控制的方法及其设备
US20140037135A1 (en) Context-driven adjustment of camera parameters
CN107429998B (zh) 距离图像获取装置以及距离图像获取方法
CN110892443B (zh) 个人认证装置
JP6492588B2 (ja) プロジェクター及びプロジェクターの制御方法
US11494945B2 (en) Image analysis device, image analysis method, and program
US11816873B2 (en) Image analysis device, image analysis method, and program
CN108848266A (zh) 控制方法、电子装置、存储介质和计算机设备
JP2015204603A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015050704A (ja) 携帯端末装置、プログラムおよび記録媒体