TW201703502A - 電子裝置以及增加電子裝置所拍攝之訊框速率之方法 - Google Patents
電子裝置以及增加電子裝置所拍攝之訊框速率之方法 Download PDFInfo
- Publication number
- TW201703502A TW201703502A TW105110862A TW105110862A TW201703502A TW 201703502 A TW201703502 A TW 201703502A TW 105110862 A TW105110862 A TW 105110862A TW 105110862 A TW105110862 A TW 105110862A TW 201703502 A TW201703502 A TW 201703502A
- Authority
- TW
- Taiwan
- Prior art keywords
- camera module
- frame rate
- image
- electronic device
- delay time
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000006073 displacement reaction Methods 0.000 claims description 30
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims 1
- 101100165918 Caenorhabditis elegans cam-1 gene Proteins 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 239000000872 buffer Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
一種電子裝置,包括第一相機模組、第二相機模組以及多媒體處理器。第一相機模組根據第一訊框速率拍攝。第二相機模組根據第二訊框速率拍攝。多媒體處理器耦接至第一相機模組與第二相機模組,指示第一相機模組與第二相機模組交替地拍攝以取得一系列紀錄於一第三訊框速率之影像,其中第三訊框速率高於第一訊框速率與第二訊框速率。
Description
本發明係關於一種電子裝置,特別有關一種電子裝置以及可提高由電子裝置所拍攝之複數影像之訊框速率之方法。
現今已製造出越來越多可以拍攝並顯示影像的裝置。舉例而言,越來越多的電子裝置,例如,手機,已被配置相機用以拍攝影像,這些影像包含靜態照片及動態的視頻影像。由這些裝置所拍攝的影像通常是藉由裝置上的顯示器來觀看,亦可由這些裝置傳送至他處觀看。為了於體積相對小的裝置上觀看影像,這些影像必須透過小的螢幕被呈現,而無法以完整的解析度被觀賞。因此,這種裝置必須包含至少一個受限的影像處理能力,用以將影像尺寸縮小以呈現於小螢幕上。
許多電子裝置會因成本、功耗以及尺寸等考量而具備受限的影像處理能力。然而,拍攝影像的處理,特別是視頻的處理,是需要密集的運算。舉例而言,許多電子裝置具備可拍攝2百萬或更高畫素之影像的相機。因此電子裝置之處理器必須具備處理各拍攝影像的大筆資料的能力。
為了能進一步加強由電子裝置所拍攝之影像及視
頻的品質,本發明提出可提高由電子裝置所拍攝之複數影像之訊框速率之方法。
本發明揭露一種電子裝置,包括第一相機模組、第二相機模組以及多媒體處理器。第一相機模組根據第一訊框速率拍攝。第二相機模組根據第二訊框速率拍攝。多媒體處理器耦接至第一相機模組與第二相機模組,指示第一相機模組與第二相機模組交替地拍攝以取得一系列紀錄於一第三訊框速率之影像,其中第三訊框速率高於第一訊框速率與第二訊框速率。
本發明另揭露一種增加由一電子裝置所拍攝之複數影像之一訊框速率之方法。電子裝置至少包括根據一第一訊框速率拍攝之一第一相機模組以及根據一第二訊框速率拍攝之一第二相機模組。該方法包括:測量第一相機模組拍攝之一第一延遲時間以及第二相機模組拍攝之一第二延遲時間;以及根據第一延遲時間與第二延遲時間指示第一相機模組與第二相機模組交替地拍攝,以取得一系列紀錄於一第三訊框速率之影像。其中第三訊框速率高於第一訊框速率與第二訊框速率。
100、200‧‧‧電子裝置
110-1、110-2、210-1、210-2、CAM_1、CAM_2‧‧‧相機模組
120-1、120-2‧‧‧訊框緩衝器
130‧‧‧多媒體處理器
131‧‧‧時序同步控制單元
132‧‧‧延遲計數器
140‧‧‧記憶體存取控制器
150‧‧‧記憶體裝置
160‧‧‧無線通訊模組
801‧‧‧物體
FOV1、FOV2‧‧‧視野
t1、t2、TA_1、TA_2、TB_1、TB_2、TC_1、TC_2、△t‧‧‧時間
第1圖係顯示根據本發明之一實施例所述之一電子裝置方塊圖。
第2A圖係顯示根據本發明之一實施例所述之電子裝置之正面。
第2B圖係顯示根據本發明之一實施例所述之電子裝置之背面。
第3圖係顯示根據本發明之一實施例所述之相機模組之視野示意圖。
第4圖係顯示根據本發明之一實施例所述之提高訊框速率之一概念示意圖。
第5圖係顯示根據本發明之一實施例所述之提升由電子裝置所拍攝之複數影像之訊框速率之方法流程圖。
第6圖係顯示根據本發明之一實施例所述之測量相機模組延遲時間之概念示意圖。
第7圖係顯示根據本發明之一實施例所述之指示相機模組進行拍攝之時序圖。
第8A圖係顯示根據本發明之一實施例所述之加強由不同的相機模組所拍攝之一系列影像之影像解析度之概念示意圖。
第8B圖係顯示根據本發明之一實施例所述之物體於不同訊框間的位移量。
第9圖係顯示根據本發明之一實施例所述之動態調整相機模組之訊框速率之方法流程圖。
為使本發明之上述和其他目的、特徵和優點能更明顯易懂,下文特舉出較佳實施例,並配合圖式,作詳細說明。
第1圖係顯示根據本發明之一實施例所述之一電子裝置方塊圖。電子裝置100可至少包括一個以上相機模組,
例如相機模組110-1與110-2、一個以上訊框緩衝器,例如訊框緩衝器120-1與120-2、一多媒體處理器130、一記憶體存取控制器140,以及一記憶體裝置150。值得注意的是,為了闡述本發明之概念,第1圖係顯示簡化的方塊圖,其中僅顯示出與本發明相關的元件。然而,本發明並不限於第1圖所示之內容。
根據本發明之一實施例,各相機模組可至少包括一鏡頭、一影像感應器、一快門以及用以控制相機模組之運作之一相機控制器(圖未示)。訊框緩衝器120-1與120-2可耦接至相機模組110-1與110-2,用以分別緩衝儲存由對應之相機模組所拍攝之影像資料。多媒體處理器130耦接至相機模組110-1與110-2,並且透過一對應介面,例如,耦接於兩者之間的I2C(Inter-Integrated Circuit)介面(圖未示),用以設定以及指示對應之相機模組進行拍攝。記憶體存取控制器140耦接至訊框緩衝器120-1與120-2,用以自訊框緩衝器120-1與120-2取得影像資料,並且進一步將影像資料儲存至記憶體裝置150。根據本發明之一實施例,記憶體裝置150可以是電子裝置100之內部記憶體或外部記憶體。舉例而言,記憶體裝置150可為內嵌式多媒體記憶卡(Embedded MultiMediaCard,縮寫為eMMC)。值得注意的是,於本發明之一些實施例中,電子裝置100可進一步包括一無線通訊模組160,用以提供無線通訊功能。
第2A圖係顯示根據本發明之一實施例所述之電子裝置之正面,第2B圖係顯示根據本發明之一實施例所述之電子裝置之背面。值得注意的是,第2A圖與第2B圖所示之電子裝置200之外觀僅為本發明之多種不同實施例中的其中一種,而
本發明並不限於此。此外,值得注意的是,雖第2A圖與第2B圖所示之電子裝置為行動裝置,然其僅為本發明之多種不同實施例中的其中一種,而本發明並不限於此。
如第2B圖所示,兩個相機模組210-1與210-2均被設置於電子裝置的同一側。根據本發明之一實施例,相機模組110-1與110-2(或者,210-1與210-2)可具有相同或不同的視野(fields of view,縮寫為FOV)。舉例而言,相機模組110-1(或210-1)可具有一第一視野FOV1,而相機模組110-2(或210-2)可具有一第二視野FOV2,並且第一視野FOV1大於第二視野FOV2。此外,根據本發明之另一實施例,一視野可覆蓋另一視野。例如第3圖所示,第一視野FOV1大於第二視野FOV2,並且第一視野FOV1覆蓋第二視野FOV2。
此外,根據本發明之另一實施例,相機模組110-1與110-2(或者,210-1與210-2)可具有相同或不同的訊框速率。舉例而言,於本發明之一實施例中,相機模組110-1與110-2(或者,210-1與210-2)可根據相同訊框速率進行拍攝,例如,每秒30訊框(30fps)。
一般而言,各相機模組具有一最大訊框速率,其可以是硬體的限制。舉例而言,相機模組110-1(或210-1)之最高訊框速率為max_FPS1,而相機模組110-2(或210-2)之最高訊框速率為max_FPS2。根據本發明之一實施例,為了進一步提高由本發明所提出之電子裝置(例如,電子裝置100或200)所拍攝之複數影像之訊框速率,多媒體處理器130可指示相機模組110-1與110-2(或者,210-1與210-2)以分時的方式交替地進行拍
攝,以取得一系列被紀錄一訊框速率於高於相機模組110-1與110-2(或者,210-1與210-2)所採用之訊框速率之影像。如此一來,等效的訊框速率將於高於最高訊框速率max_FPS1與max_FPS2。舉例而言,當最高訊框速率max_FPS1等於最高訊框速率max_FPS2時,此系列之影像之等效訊框速率可等於或高於兩倍的最高訊框速率max_FPS1或兩倍的最高訊框速率max_FPS2。
第4圖係顯示根據本發明之一實施例所述之提高訊框速率之一概念示意圖。相機模組CAM_1與CAM_2被指示交替地進行拍攝,以隨著時間取得一系列影像。當相機模組CAM_1與CAM_2均以相同的訊框速率,例如,每秒30訊框(30fps),進行拍攝時,因兩張影像(即,訊框)之間的時間間隔被減半,所產生之一系列影像的訊框速率可加倍,例如,每秒60訊框(60fps)。
根據本發明之一實施例,多媒體處理器130可透過對應的介面交替地發出指令,以指示對應之相機模組於不同的時間拍攝。於本發明之較佳實施例,各相機模組的拍攝時間可平均分佈。亦即,以固定由不同的相機模組所拍攝的兩張影像的時間間隔為較佳。
然而,相機模組通常具有不同的屬性,因而會具有不同的處理時間。因此,於本發明之較佳實施例,多媒體處理器130可事先估計各相機模組之處理時間,並且根據估計的處理時間於更精確的時間點發出指令至對應的相機模組,藉此固定由不同相機模組所拍攝之兩張影像之時間間隔。
第5圖係顯示根據本發明之一實施例所述之提升由電子裝置所拍攝之複數影像之訊框速率之方法流程圖。根據本發明之一實施例,於第一相機模組及第二相機模組被初始時,多媒體處理器130可先測量第一相機模組拍攝的第一延遲時間,以及第二相機模組拍攝的第二延遲時間(步驟S502)。接著,多媒體處理器130可根據第一延遲時間與第二延遲時間指示第一相機模組與第二相機模組交替地進行拍攝,以取得一系列紀錄於較高訊框速率之影像(步驟S504)。
根據本發明之一實施例,多媒體處理器130可包括一時序同步控制單元131與一延遲計數器132(顯示於第1圖),用以於一相機模組初始時測量其所對應的延遲時間。值得注意的是,於本發明之實施例中,時序同步控制單元131與延遲計數器132可由硬體裝置或軟體模組實施,而本發明並不限於任一種實施方式。此外,時序同步控制單元131與延遲計數器132也可被實施為多媒體處理器130外部之獨立的硬體裝置,因此本發明並不限於圖中所示之實施方式。
第6圖係顯示根據本發明之一實施例所述之測量相機模組延遲時間之概念示意圖。根據本發明之一實施例,時序同步控制單元131(或多媒體處理器130)可於時間TA傳送指令至相機模組,用以指示對應之相機模組進行拍攝。舉例而言,如第6圖所示,時序同步控制單元131(或多媒體處理器130)可於時間TA_1傳送指令至相機模組CAM_1,以指示相機模組CAM_1進行拍攝。同樣地,時序同步控制單元131(或多媒體處理器130)可於時間TA_2傳送指令至相機模組CAM_2,以指示相
機模組CAM_2進行拍攝。
於接收到指令後,相機模組可初始化或者設定對應之硬體(例如,相機快門、影像感應器、或其他),以準備曝光並且感應。根據本發明之一實施例,各相機模組可被設計為於時間TB回傳一感應開始信號至時序同步控制單元131(或多媒體處理器130),用以指示曝光及感應已開始。舉例而言,如第6圖所示,相機模組CAM_1可於時間TB_1回傳一感應開始信號,並且相機模組CAM_2可於時間TB_2回傳一感應開始信號。時間TA與TB之間的間距可被視為相機模組拍攝的延遲時間,或者相機模組的處理時間。因此,如第6圖所示,相機模組CAM_1之延遲時間/處理時間t1=(TB_1-TA_1),相機模組CAM_2之延遲時間/處理時間t2=(TB_2-TA_2)。
各相機模組之曝光時間可由使用者所設定,而感應能力係取決於相機模組之硬體能力。當曝光時間屆滿時,相機快門會被關閉,由相機模組感應之影像資料會於時間TC(例如,對於相機模組CAM_1之時間TC_1及相機模組CAM_2之時間TC_2)傳送至對應之訊框緩衝器,以進行進一步的處理。
為了測量延遲時間/處理時間,延遲計數器132(或多媒體處理器130)可於時序同步控制單元131(或多媒體處理器130)傳送指令至相機模組後,即刻開始計數,並且於自相機模組接收到感應開始信號時停止計數。在取得相機模組之延遲時間/處理時間後,多媒體處理器可指示相機模組根據兩相機模組之延遲時間/處理時間之差值交替地進行拍攝。如上述,由於各相機模組具有不同的屬性,對應之硬體的延遲時間/處理
時間也會不同。如第6圖所示,時間t2較時間t1長,因此,於本發明之實施例中,當多媒體處理器130指示第一相機模組於時間T0進行拍攝,並且想要得到由不同相機模組所拍攝之兩張影像之間的時間間隔為T時,多媒體處理器130可指示第二相機模組於時間T0+T-△t進行拍攝,其中△t=(t2-t1)。
第7圖係顯示根據本發明之一實施例所述之指示相機模組進行拍攝之時序圖。於此實施例中,假設相機模組CAM_1與CAM_2分別以每秒30訊框(30fps)之訊框速率進行拍攝,所需的訊框速率為每秒60訊框(60fps)。因此,由各相機模組所拍攝之兩張影像之間的時間間隔為33毫秒(ms),而由不同相機模組所拍攝之兩張影像之間的時間間隔為16.6毫秒(ms)。當得到相機模組CAM_1與CAM_2之延遲時間差△t時,多媒體處理器130可發出指令指示相機模組CAM_1於0毫秒進行拍攝,並且接著發出指令指示相機模組CAM_2於(16.6-△t)毫秒進行拍攝。因應接收到的指令,相機模組CAM_1與CAM_2可分別間隔每33毫秒進行一次拍攝,因此可得到之一系列紀錄於60fps之影像。
值得注意的是,雖然於上述實施例中,最終獲得的一系列影像之訊框速率為對應之相機模組之訊框速率的兩倍,但本發明並不限於此。舉例而言,當電子裝置包含兩個以上相機模組,例如,三個相機模組時,最終獲得的一系列影像之訊框速率也可以為對應之相機模組之訊框速率的三倍。
於本發明之另一方面,除了訊框速率以外,影像解析度也是值得考量的重要因素。於本發明之實施例中,由不
同相機模組所拍攝之影像可能具有相同或不同的解析度。舉例而言,由相機模組110-1(或210-1)所拍攝的影像之解析度可能低於由相機模組110-2(或210-2)所拍攝的影像之解析度。根據本發明之一實施例,當由不同的相機模組所拍攝之影像具有不同的解析度時,多媒體處理器130可進一步處理由不同相機模組所取得之影像,以加強該系列影像之整體的影像解析度。
第8A圖係顯示根據本發明之一實施例所述之加強由不同的相機模組交替拍攝而取得之一系列影像之影像解析度之概念示意圖。假設此系列影像至少包括由相機模組CAM_1所拍攝之影像:訊框2,以及由相機模組CAM_2所拍攝之影像:訊框1與訊框3,並且訊框2之影像解析度低於訊框1與訊框3之影像解析度。
於本發明之實施例中,為了加強此系列影像之影像解析度,多媒體處理器130可先估計該系列影像中所拍攝到的一物體於一段時間內之一位移量。如第8A圖所示,多媒體處理器130可估計物體801隨著時間的位移量。
接著,多媒體處理器130可根據物體之位移量,自影像訊框1與訊框3中選擇其中一者以取代解析度較低之影像訊框2。根據本發明之一實施例,多媒體處理器130可應用動作估計(motion estimation)法計算物體之動作向量,並且選擇畫面中物體之位置與欲取代之影像訊框2的畫面中物體位置具有最小位移量之一影像。如第8B圖所示,物體於訊框1與訊框2之間的位移量小於物體於訊框2與訊框3之間的位移量。因此,於本發明之實施例中,多媒體處理器130可選擇訊框1取代該系列影
像內的訊框2。
根據本發明之一實施例,多媒體處理器130可產生與影像訊框1及訊框3具有相同解析度之一新的訊框,以取代訊框2。新的訊框可根據訊框1的內容與物體於訊框2內之位置產生。舉例而言,多媒體處理器130可將複數個宏區塊(macro block)拼湊起來以產生新的影像訊框,其中宏區塊可取自影像訊框1及/或訊框3。如本技藝所共知,計算物體之動作向量、估計物體之位移量、以及藉由將複數個宏區塊根據前/後訊框之內容以及物體於目前訊框之位置拼湊起來以產生新的影像訊框取代目前訊框之方法有許多,因此,該些方法之詳細實施方式便於此不再贅述。
此外,於本發明之又另一方面,相機模組之訊框速率為可調整的。如此一來,於本發明之一些實施例中,訊框速率可根據該系列影像中所拍攝到的一物體的移動速率動態地被調整,以加強當拍攝到高速移動物體時的影像品質。
根據本發明之一實施例,多媒體處理器130可根據該系列影像之內容估計物體於一段時間內之一位移量,並且根據所估計出來物體的位移量判斷物體的移動速率是否增加或減少。舉例而言,多媒體處理器130可應用一動作估計方法計算物體之動作向量,並且估計物體於一段時間內之一位移量。當物體之位移量增加時,多媒體處理器130可判斷物理之移動速率增加。另一方面,當物體之位移量減少時,多媒體處理器130可判斷物理之移動速率下降。
根據本發明之一實施例,當移動速率增加時,多
媒體處理器130可提高相機模組之訊框速率,而當移動速率減少時,多媒體處理器130可降低相機模組之訊框速率。
第9圖係顯示根據本發明之一實施例所述之動態調整相機模組之訊框速率之方法流程圖。值得注意的是,此方法可應用於電子裝置內的一或多個相機模組。首先,多媒體處理器130可估計物體自先前影像訊框Frame 1移動至目前影像訊框Frame 2之位移量△d(步驟S902)。接著,多媒體處理器130可判斷物體之位移量△d是否小於dmin(步驟S904),其中dmin為兩訊框Frame 1與Frame 2之間預設的最小位移量。若△d小於dmin,多媒體處理器130可進一步判斷目前訊框速率FPS是否小於或等於預設的最小訊框速率FPSmin(步驟S906)。若目前訊框速率FPS小於或等於預設的最小訊框速率FPSmin,多媒體處理器130可將目前訊框速率FPS設為最小訊框速率FPSmin(步驟S908)。若否,則多媒體處理器130可降低目前訊框速率FPS(步驟S910)。
另一方面,若計物體之位移量△d不小於dmin,多媒體處理器130可進一步判斷物體之位移量△d是否大於dmax(步驟S912),其中dmax為兩訊框Frame 1與Frame 2之間預設的最大位移量。若△d大於dmax,多媒體處理器130可進一步判斷是否目前訊框速率FPS大於或等於預設的最大訊框速率FPSmax(步驟S914)。若目前訊框速率FPS大於或等於預設的最大訊框速率FPSmax,多媒體處理器130可將目前訊框速率FPS設為最大訊框速率FPSmax(步驟S916)。若否,則多媒體處理器130可增加目前訊框速率FPS(步驟S918)。
若△d不小於dmin也不大於dmax,則多媒體處理器130可維持目前訊框速率FPS不變(步驟S920)。
根據本發明之一實施例,藉由動態調整相機模組之訊框速率,高速移動的物體可被拍攝於較高的訊框速率,因此可有效提升影像品質,而低速移動的物體可被拍攝於較低的訊框速率,因此可降低影像資料量。如此一來,可有效並大幅改善相機模組的整體拍攝/錄影品質。
雖然本發明已以較佳實施例揭露如上,然其並非用以限定本發明,任何熟悉此項技藝者,在不脫離本發明之精神和範圍內,當可做些許更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧電子裝置
110-1、110-2‧‧‧相機模組
120-1、120-2‧‧‧訊框緩衝器
130‧‧‧多媒體處理器
131‧‧‧時序同步控制單元
132‧‧‧延遲計數器
140‧‧‧記憶體存取控制器
150‧‧‧記憶體裝置
160‧‧‧無線通訊模組
Claims (20)
- 一種電子裝置,包括:一第一相機模組,根據一第一訊框速率拍攝;一第二相機模組,根據一第二訊框速率拍攝;以及一多媒體處理器,耦接至該第一相機模組與該第二相機模組,指示該第一相機模組與該第二相機模組交替地拍攝以取得一系列紀錄於一第三訊框速率之影像,其中該第三訊框速率高於該第一訊框速率與該第二訊框速率。
- 如申請專利範圍第1項所述之電子裝置,其中該第一相機模組具有一第一視野(field of view,縮寫為FOV),該第二相機模組具有一第二視野,其中該第一視野大於該第二視野。
- 如申請專利範圍第1項所述之電子裝置,其中該第三訊框速率等於或高於兩倍的該第一訊框速率或兩倍的該第二訊框速率。
- 如申請專利範圍第1項所述之電子裝置,其中該多媒體處理器更測量該第一相機模組拍攝之一第一延遲時間以及該第二相機模組拍攝之一第二延遲時間,並且根據該第一延遲時間與該第二延遲時間指示該第一相機模組與該第二相機模組交替地拍攝。
- 如申請專利範圍第4項所述之電子裝置,其中該第一延遲時間與該第一相機模組之一處理時間相關,並且該第二延遲時間與該第二相機模組之一處理時間相關。
- 如申請專利範圍第1項所述之電子裝置,其中該第一訊框速 率為可調整的,並且該多媒體處理器更根據於該系列影像中所拍攝到的一物體之一移動速率動態地調整該第一訊框速率,其中當該移動速率增加時,該多媒體處理器增加該第一訊框速率。
- 如申請專利範圍第6項所述之電子裝置,其中該多媒體處理器更根據該系列影像之內容估計該物體於一段時間內之一位移量,並且根據所估計之該物體之該位移量判斷該移動速率是否增加或減少。
- 如申請專利範圍第1項所述之電子裝置,其中該系列影像包括由該第一相機模組拍攝並具有一第一解析度之至少一第一影像以及由該第二相機模組拍攝並具有一第二解析度之複數第二影像,其中該第二解析度高於該第一解析度。
- 如申請專利範圍第8項所述之電子裝置,其中該多媒體處理器更估計於該系列影像中所拍攝到的一物體於一段時間內之一位移量,根據估計之該位移量自該等第二影像中選擇一第二影像,並且根據所選擇之該第二影像之內容與該物體於該第一影像內之一位置產生具有該第二解析度之一第三影像以取代該系列影像內之該第一影像。
- 如申請專利範圍第9項所述之電子裝置,其中該物體於所選擇之該第二影像內之一位置與該物體於該第一影像內之該位置具有最小的位移量。
- 一種增加由一電子裝置所拍攝之複數影像之一訊框速率之方法,該電子裝置至少包括根據一第一訊框速率拍攝之一第一相機模組以及根據一第二訊框速率拍攝之一第二相機模 組,該方法包括:測量該第一相機模組拍攝之一第一延遲時間以及該第二相機模組拍攝之一第二延遲時間;以及根據該第一延遲時間與該第二延遲時間指示該第一相機模組與該第二相機模組交替地拍攝,以取得一系列紀錄於一第三訊框速率之影像,其中該第三訊框速率高於該第一訊框速率與該第二訊框速率。
- 如申請專利範圍第11項所述之方法,其中該第三訊框速率等於或高於兩倍的該第一訊框速率或兩倍的該第二訊框速率。
- 如申請專利範圍第11項所述之方法,其中該第一相機模組與該第二相機模組被指示根據該第一延遲時間與該第二延遲時間之一差值交替地拍攝。
- 如申請專利範圍第11項所述之方法,其中該第一相機模組具有一第一視野,該第二相機模組具有一第二視野,其中該第一視野大於該第二視野,並且該第一視野與該第二視野重疊。
- 如申請專利範圍第11項所述之方法,其中該第一延遲時間與該第一相機模組之一處理時間相關,並且該第二延遲時間與該第二相機模組之一處理時間相關。
- 如申請專利範圍第11項所述之方法,其中該第一訊框速率為可調整的,並且該方法更包括:決定該系列影像中所拍攝到的一物體之一移動速率;以及 根據該移動速率動態地調整該第一訊框速率,其中當該移動速率增加時,增加該第一訊框速率,當該移動速率減少時,減少該第一訊框速率。
- 如申請專利範圍第16項所述之方法,更包括:根據該系列影像之內容估計該物體於一段時間內之一位移量;以及根據所估計之該物體之該位移量判斷該移動速率是否增加或減少。
- 如申請專利範圍第11項所述之方法,其中該系列影像包括由該第一相機模組拍攝並具有一第一解析度之至少一第一影像以及由該第二相機模組拍攝並具有一第二解析度之複數第二影像,其中該第二解析度高於該第一解析度。
- 如申請專利範圍第18項所述之方法,更包括:根據該系列影像之內容估計該系列影像中所拍攝到的一物體於一段時間內之一位移量;根據該位移量自該等第二影像中選擇一第二影像;以及根據所選擇之該第二影像之內容與該物體於該第一影像內之一位置產生具有該第二解析度之一第三影像以取代該系列影像內之該第一影像。
- 如申請專利範圍第18項所述之方法,其中該物體於所選擇之該第二影像內之一位置與該物體於該第一影像內之該位置具有最小的位移量。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562189919P | 2015-07-08 | 2015-07-08 | |
| US14/952,545 US9906715B2 (en) | 2015-07-08 | 2015-11-25 | Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201703502A true TW201703502A (zh) | 2017-01-16 |
| TWI609586B TWI609586B (zh) | 2017-12-21 |
Family
ID=57583797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105110862A TWI609586B (zh) | 2015-07-08 | 2016-04-07 | 具備多個相機模組之電子裝置以及增加電子裝置所拍攝之訊框速率之方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9906715B2 (zh) |
| CN (1) | CN106341592B (zh) |
| DE (1) | DE102016111241B4 (zh) |
| TW (1) | TWI609586B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017106076A1 (en) | 2015-12-16 | 2017-06-22 | Gopro, Inc. | Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence |
| US10192529B2 (en) * | 2016-02-03 | 2019-01-29 | Mediatek, Inc. | Electronic apparatus, frames per second decision method, and non-transitory computer readable storage medium thereof |
| KR20180119281A (ko) * | 2017-04-25 | 2018-11-02 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
| CN106973234A (zh) * | 2017-04-28 | 2017-07-21 | 努比亚技术有限公司 | 一种视频拍摄方法及终端 |
| CN107592460A (zh) * | 2017-09-25 | 2018-01-16 | 努比亚技术有限公司 | 一种视频录制方法、设备和计算机存储介质 |
| KR102488410B1 (ko) | 2017-11-07 | 2023-01-16 | 삼성전자주식회사 | 복수의 카메라들을 이용하여 영상을 촬영하는 전자 장치와 이의 동작 방법 |
| US10764512B2 (en) * | 2018-03-26 | 2020-09-01 | Mediatek Inc. | Method of image fusion on camera device equipped with multiple cameras |
| CN110636375B (zh) | 2019-11-11 | 2022-03-11 | RealMe重庆移动通信有限公司 | 视频流处理方法、装置、终端设备及计算机可读存储介质 |
| US11115590B1 (en) | 2020-03-04 | 2021-09-07 | Gopro, Inc. | Intelligent sensor switch during recording |
| WO2021202263A1 (en) * | 2020-03-30 | 2021-10-07 | Cherry Labs, Inc. | System and method for efficient privacy protection for security monitoring |
| US20210312191A1 (en) * | 2020-03-30 | 2021-10-07 | Cherry Labs, Inc. | System and method for efficient privacy protection for security monitoring |
| CN114070993B (zh) * | 2020-07-29 | 2023-04-18 | 华为技术有限公司 | 摄像方法、装置、摄像设备及可读存储介质 |
| CN114070992B (zh) * | 2020-07-29 | 2023-12-26 | 北京小米移动软件有限公司 | 图像显示装置及图像显示方法、电子设备 |
| CN112291474A (zh) * | 2020-10-29 | 2021-01-29 | 维沃移动通信有限公司 | 图像获取方法、装置及电子设备 |
| US12052484B2 (en) | 2021-04-27 | 2024-07-30 | Apple Inc. | Camera integration for portable electronic devices |
| CN116261041A (zh) * | 2021-12-08 | 2023-06-13 | 华为技术有限公司 | 拍摄方法、装置、设备及存储介质 |
| CN117177080B (zh) * | 2023-11-03 | 2024-04-16 | 荣耀终端有限公司 | 视频获取方法、电子设备及计算机可读存储介质 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7031497B2 (en) | 2001-11-05 | 2006-04-18 | Koninklijke Philips Electronics N.V. | Method for computing optical flow under the epipolar constraint |
| JP3934151B2 (ja) * | 2005-06-22 | 2007-06-20 | 松下電器産業株式会社 | 画像生成装置および画像生成方法 |
| CN101052988A (zh) * | 2005-06-22 | 2007-10-10 | 松下电器产业株式会社 | 图像生成装置及图像生成方法 |
| US7978239B2 (en) * | 2007-03-01 | 2011-07-12 | Eastman Kodak Company | Digital camera using multiple image sensors to provide improved temporal sampling |
| CN101399950A (zh) * | 2007-09-30 | 2009-04-01 | 上海携昌电子科技有限公司 | 一种基于图像轮廓匹配的帧频加倍的方法 |
| US8553106B2 (en) * | 2009-05-04 | 2013-10-08 | Digitaloptics Corporation | Dual lens digital zoom |
| JP5293463B2 (ja) | 2009-07-09 | 2013-09-18 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP5450200B2 (ja) | 2009-07-17 | 2014-03-26 | 富士フイルム株式会社 | 撮像装置、方法およびプログラム |
| US9264659B2 (en) | 2010-04-07 | 2016-02-16 | Apple Inc. | Video conference network management for a mobile device |
| US20110317034A1 (en) | 2010-06-28 | 2011-12-29 | Athreya Madhu S | Image signal processor multiplexing |
| JP2012019383A (ja) | 2010-07-08 | 2012-01-26 | Panasonic Corp | 記録制御装置、半導体記録装置および記録システム |
| EP2466872B1 (en) | 2010-12-14 | 2018-06-06 | Axis AB | Method and digital video camera for improving the image quality of images in a video image stream |
| TWI507807B (zh) | 2011-06-24 | 2015-11-11 | Mstar Semiconductor Inc | 自動對焦方法與裝置 |
| TW201320716A (zh) | 2011-11-01 | 2013-05-16 | Acer Inc | 動態景深調整裝置及其方法 |
| TWI537670B (zh) | 2011-12-13 | 2016-06-11 | 鴻海精密工業股份有限公司 | 雙鏡頭拍攝裝置 |
| US9451163B2 (en) | 2012-05-11 | 2016-09-20 | Qualcomm Incorporated | Motion sensor assisted rate control for video encoding |
| KR101954192B1 (ko) | 2012-11-15 | 2019-03-05 | 엘지전자 주식회사 | 어레이 카메라, 휴대 단말기 및 그 동작 방법 |
| TW201428675A (zh) | 2013-01-08 | 2014-07-16 | Pixart Imaging Inc | 影像產生系統與影像產生方法 |
| US9083960B2 (en) | 2013-01-30 | 2015-07-14 | Qualcomm Incorporated | Real-time 3D reconstruction with power efficient depth sensor usage |
| US9224064B2 (en) | 2013-02-15 | 2015-12-29 | Samsung Electronics Co., Ltd. | Electronic device, electronic device operating method, and computer readable recording medium recording the method |
| US9912929B2 (en) | 2013-03-21 | 2018-03-06 | Mediatek Inc. | Video frame processing method |
| US20140361905A1 (en) | 2013-06-05 | 2014-12-11 | Qualcomm Incorporated | Context monitoring |
| WO2016004115A1 (en) * | 2014-07-01 | 2016-01-07 | Apple Inc. | Mobile camera system |
| CN104219533B (zh) * | 2014-09-24 | 2018-01-12 | 苏州科达科技股份有限公司 | 一种双向运动估计方法和视频帧率上转换方法及系统 |
| US9819875B2 (en) * | 2015-03-02 | 2017-11-14 | Intel Corporation | Multi-camera sync pulse synchronization |
-
2015
- 2015-11-25 US US14/952,545 patent/US9906715B2/en active Active
-
2016
- 2016-04-07 TW TW105110862A patent/TWI609586B/zh active
- 2016-04-20 CN CN201610246654.1A patent/CN106341592B/zh active Active
- 2016-06-20 DE DE102016111241.0A patent/DE102016111241B4/de active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20170013192A1 (en) | 2017-01-12 |
| DE102016111241B4 (de) | 2018-04-12 |
| US9906715B2 (en) | 2018-02-27 |
| CN106341592A (zh) | 2017-01-18 |
| DE102016111241A1 (de) | 2017-01-12 |
| TWI609586B (zh) | 2017-12-21 |
| CN106341592B (zh) | 2019-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI609586B (zh) | 具備多個相機模組之電子裝置以及增加電子裝置所拍攝之訊框速率之方法 | |
| CN113508575B (zh) | 基于角速率测量的高动态范围处理的方法和系统 | |
| US20230353869A1 (en) | Imaging apparatus and setting screen thereof | |
| US10863155B2 (en) | Reduction of banding artifacts in image processing | |
| CN106576160B (zh) | 用于具有模式切换的深度相机模式的成像架构 | |
| CN107690649B (zh) | 数字拍摄装置及其操作方法 | |
| US8638374B2 (en) | Image pickup apparatus, image pickup system, and image pickup method | |
| JP2021060590A (ja) | 取込まれた像のパススルー表示 | |
| US8890971B2 (en) | Image processing apparatus, image capturing apparatus, and computer program | |
| US20110304693A1 (en) | Forming video with perceived depth | |
| US20080101710A1 (en) | Image processing device and imaging device | |
| JP2016535552A (ja) | 写真を取得するための方法及び装置 | |
| US20150189142A1 (en) | Electronic apparatus and method of capturing moving subject by using the same | |
| US20130176447A1 (en) | Image processing apparatus, image capturing apparatus, and program | |
| WO2020117379A1 (en) | High dynamic range anti-ghosting and fusion | |
| TWI508548B (zh) | 攝像裝置及攝像方法 | |
| US10313619B2 (en) | Photographing apparatus including an oscillator outputting an output signal based on which a first timing signal and a second timing signal are generated | |
| JP7599842B2 (ja) | 撮像装置およびその制御方法 | |
| US11070765B2 (en) | Method and apparatus for in-camera night lapse video | |
| JP2014175931A (ja) | 撮影システム、撮像装置及びその制御方法 | |
| US11356611B2 (en) | Image capture apparatus and control method thereof | |
| US11153485B2 (en) | Automated camera mode selection using local motion vector | |
| JP2016111565A (ja) | 撮像装置、撮像方法及びプログラム | |
| TW201517623A (zh) | 電子裝置及其影像調整方法 | |
| TWI612805B (zh) | 影像處理方法及其系統 |