TW201351980A - 影像處理裝置、影像處理方法、程式 - Google Patents

Abstract

具備：穩定攝像狀態推定部，係進行推定是否為穩定攝像狀態的穩定攝像狀態推定處理；和主要被攝體判定部，係進行主要被攝體判定處理。主要被攝體判定部，係當藉由穩定攝像狀態推定處理而推定為是處於穩定攝像狀態時，就將主要被攝體判定處理之結果，予以輸出。

Description

影像處理裝置、影像處理方法、程式

本揭露係有關於進行影像內之主要被攝體之相關處理的影像處理裝置、影像處理方法、及程式。

[先前技術文獻]

[專利文獻]

[專利文獻1]日本特開2011-166305號公報

[專利文獻2]日本特開2011-146826號公報

[專利文獻3]日本特開2011-146827號公報

[專利文獻4]日本特開2011-160379號公報

近年來的數位靜態相機、數位視訊攝影機係標準配備有臉部偵測機能，搭載有可配合臉部位置‧領域來將相機的焦距、亮度等之參數做最佳調整的機能。

另一方面，在攝像影像內，藉由使用者指定而選擇被攝體追蹤之目標的「主要被攝體」之手法，係被記載於專利文獻1。

又，若採用例如專利文獻2,3,4所揭露之技術，則可實現將任意被攝體的全身以框框圍繞的被攝體追蹤。

又，自動對焦、自動曝光等，係為偵測、追蹤攝像影像內的所望領域，控制光學系等使其最適於該領域，此種機能也已經存在。

像這些在攝像影像內，由使用者指定主要被攝體，而追蹤例如臉部等之影像領域、或對臉部領域做對焦等等的技術，已為人知。

順便一提，在攝像影像內，作為追蹤或對焦之標的的所望領域、亦即「主要被攝體」，在現況下係為，從各種偵測器所獲得之「複數候補領域」之中，由攝像者自己以某種方法來選擇一個候補而被決定。

例如在拿持相機的狀態下，從畫面顯示的透視檢視影像(快門操作時點以外所被顯示之被攝體的監視影像)上所映出的複數臉部之中，藉由觸控面板來選擇任意之臉部，是以此種行為來選定主要被攝體。或者是將在使用者指定的時序、例如快門半押等上存在於所定領域內的被攝體，當作主要被攝體。

然而，若在實際的使用案例中考量此種使用者介面，「攝像者所做的主要被攝體之選擇」此一行為本身經常是有困難的。

例如為了想要對到處亂走之被攝體持續對焦而欲使用該機能，使用者必須架好相機瞄準被攝體，同時以手指來進行選擇，這件事情本身就有難度。

又例如，對於被攝體的變化或移動，因為使用者的反應速度，導致指定困難的情形也會發生。例如有時候在透視檢視影像之畫面上，沒有辦法順利指定到處亂走之被攝體。

又，原本用手拿持相機，朝向被攝體然後選定被攝體的此種狀況下，使用者在畫面上用手指來指定主要被攝體這個行為本身就是有難度的。

又，有實因為配設觸控面板的顯示畫面的解析度的緣故，對使用者而言，被攝體是難以選擇的。又，有時候會因為配設觸控面板的顯示畫面上的被攝體尺寸與使用者手指的大小或粗細，而導致無法適切指定所望被攝體。

又，也有時候會因為相機系統上的時間落差，例如實際的光景與攝像畫面之透視檢視影像的時間落差，而導致使用者難以適切指定被攝體。

甚至在動畫攝像‧記錄中要進行該操作時， 因為主要被攝體之選擇行為而造成畫面搖晃但仍然被記錄進去，或因為跑出畫面外或是暫時遮蔽等等導致主要被攝體消失、亦即追蹤失敗時，強制要求再選擇之行為。

像這樣，在掌中型的攝像機中，主要被攝體 選擇行為本身，在必要的許多使用案例下是有困難的，會導致對攝像者帶來壓力。

於是，本揭露之目的在於實現一種技術，不必讓攝像者等之使用者刻意進行選擇被攝體之行為，仍可在適切的時點上，將使用者所追求的對象被攝體判定成為主要被攝體。

本揭露之影像處理裝置，係具備：穩定攝像狀態推定部，係進行推定是否為穩定攝像狀態的穩定攝像狀態推定處理；和主要被攝體判定部，係進行主要被攝體判定處理；當藉由穩定攝像狀態推定處理而推定為是處於穩定攝像狀態時，將主要被攝體判定處理之結果予以輸出。

本揭露之影像處理方法，係一種影像處理方法，具備：穩定攝像狀態推定步驟，係進行推定是否為穩定攝像狀態的穩定攝像狀態推定處理；和主要被攝體判定步驟，係進行主要被攝體判定處理；和輸出步驟，當藉由穩定攝像狀態推定處理而推定為是處於穩定攝像狀態時，就將主要被攝體判定處理之結果，予以輸出。

本揭露之程式，係為令演算處理裝置執行這些各步驟的程式。

若依據這些本揭露的技術，則會針對影像資料自動進行判定主要被攝體的主要被攝體判定處理。作為該前階段之處理，係進行推定是否為穩定攝像狀態的穩定攝像狀態推定處理。然後當推定為是處於穩定攝像狀態時 ，例如執行主要被攝體判定處理然後輸出判定結果，或將推定為穩定攝像狀態時所得到之主要被攝體判定結果予以輸出等等。所謂穩定攝像狀態，係為被攝體影像穩定，適合執行主要被攝體判定處理的狀態。

若依據本揭露，則在變成穩定攝像狀態時，會將攝像影像內的主要被攝體之判定結果予以輸出。藉此，攝像者等之使用者就不需要進行選擇主要被攝體的行為，並且可在適切之時序上利用主要被攝體之資訊。

1‧‧‧影像處理裝置

2‧‧‧主要被攝體判定部

3‧‧‧穩定攝像狀態推定部

10‧‧‧攝像裝置

11‧‧‧光學系

12‧‧‧成像器

13‧‧‧光學系驅動部

14‧‧‧感測器部

15‧‧‧記錄部

16‧‧‧通訊部

20‧‧‧數位訊號處理部

21‧‧‧前處理部

22‧‧‧同時化部

23‧‧‧YC生成部

24‧‧‧解析度轉換部

25‧‧‧編解碼器部

26‧‧‧候補偵測部

27‧‧‧運動向量偵測部

30‧‧‧控制部

30a‧‧‧主要被攝體判定部

30b‧‧‧穩定攝像狀態推定部

32‧‧‧UI控制器

33‧‧‧使用者介面

34‧‧‧顯示部

35‧‧‧操作部

70‧‧‧電腦裝置

71‧‧‧CPU

72‧‧‧ROM

73‧‧‧RAM

74‧‧‧匯流排

75‧‧‧輸出入介面

76‧‧‧輸入部

77‧‧‧輸出部

78‧‧‧記憶部

79‧‧‧通訊部

80‧‧‧驅動器

81‧‧‧可移除式媒體

圖1係本揭露的實施形態的影像處理裝置的構成例的區塊圖。

圖2係實施形態的影像處理裝置的主要被攝體判定處理的流程圖。

圖3係實施形態的攝像裝置的區塊圖。

圖4係實施形態的詳細之主要被攝體判定處理的流程圖。

圖5係實施形態的候補影像框與判定基準點的說明圖。

圖6係實施形態的候補影像框與判定基準點之距離的說明圖。

圖7係實施形態的位置狀態所致之穩定存在度判定的說明圖。

圖8係實施形態的具體之主要被攝體判定處理的流程圖。

圖9係實施形態的穩定攝像狀態推定處理之執行時序的說明圖。

圖10係實施形態的穩定攝像狀態推定處理之執行時序的說明圖。

圖11係實施形態的處理例1的流程圖。

圖12係實施形態的處理例2的流程圖。

圖13係實施形態的處理例2所進行之動作的說明圖。

圖14係實施形態的處理例3的流程圖。

圖15係實施形態的處理例3所進行之動作的說明圖。

圖16係實施形態的處理例4的流程圖。

圖17係實施形態的處理例4所進行之動作的說明圖。

圖18係實施形態的處理例5的流程圖。

圖19係實施形態的處理例5的全域向量的說明圖。

圖20係實施形態的處理例5所進行之動作的說明圖。

圖21係實施形態的所定時間之變更的說明圖。

圖22係實施形態的所定時間變更處理的流程圖。

圖23係實施形態的影像處理裝置的另一主要被攝體判定處理的流程圖。

圖24係實施形態在電腦裝置上之適用時的區塊圖。

以下，按照如下順序來說明實施形態。

<1.影像處理裝置之構成>

<2.攝像裝置之構成>

<3.主要被攝體判定處理>

<4.穩定攝像狀態推定處理>

〔4-1：穩定攝像狀態推定處理的執行機會〕

〔4-2：處理例1〕

〔4-3：處理例2〕

〔4-4：處理例3〕

〔4-5：處理例4〕

〔4-6：處理例5〕

〔4-7：推定處理中所使用之所定時間的變更處理〕

<5.影像處理裝置之另一處理例>

<6.對程式及電腦裝置之適用>

<7.變形例>

此外，先來說明，說明中所使用的「穩定攝像狀態」「穩定存在度」「攝像視野」這類用語的意義。

所謂「穩定存在度」，係指作為自動的主要被攝體判 定之指標的值。亦即係指在攝角空間內某個被攝體是位置上處於所定狀態之頻率加以表示的值。係為一指標值，可以用來判定例如是否在影像內以時間性高確實度處於所定狀態。若以後述的實施形態而言，是用來表示候補影像在攝角空間內之位置狀態，是存在於某個所定位置狀態的累積時間或持續時間、或平均性存在度等的值，被當作該「穩定存在度」而計算的例如累積時間或持續時間越高的影像，係可推定成攝像者主要瞄準的被攝體。

此外上記所謂的「攝角空間」，係意味著攝像影像中所呈現的空間。主要意思是攝像影像中的作為畫面平面的2維空間，或意味著被攝體對於攝像時之相機位置的相對距離的3維空間的意思。

所謂「穩定攝像狀態」，係指適合於主要被 攝體判定處理之執行、或主要被攝體判定結果之利用的狀態。雖然在各種想定的案例中，也會依存於攝像裝置與被攝體的相對關係，但若攝像影像內容的變動較少、攝像影像處於某種程度穩定的期間，則主要被攝體判定處理就變成有意義之處理。

例如若想定為手持型的相機，則使用者架好相機而找到了被攝體的狀況，會成為穩定攝像狀態。例如為了靜止影像攝影而找尋被攝體的狀況等，而將攝像裝置10穩定拿持的狀態。

在實施形態中，雖然作為自動的主要被攝體判定處理之發動條件而進行「穩定攝像狀態推定處理」，但其係為 推定是否為適合執行主要被攝體穩定處理之狀態的處理。例如若想定上記手持型相機時，則所謂「穩定攝像狀態推定處理」，係為判定是否處於可以推定成使用者架好相機而找到了被攝體之狀況的動作狀態的處理。

所謂「攝像視野(field of view)」，係意味著攝像影像中所呈現之範圍中的被攝體光景。所謂攝像視野變動，係指攝像影像資料中，在時間軸上所呈現的攝像影像之各種變動。例如攝像影像的攝角變動、被攝體方位變更、搖晃或相機姿勢等所致之被攝體範圍之變動、亮度、色彩、對比等之畫質變動、對焦狀態變更等，泛指影像資料中所呈現的各種變動。當攝像視野變動是在所定範圍內時，亦即可判定攝像視野為穩定時，則可推定成為上記的「穩定攝像狀態」。

<1.影像處理裝置之構成>

圖1係圖示了實施形態的影像處理裝置的構成例。

影像處理裝置1係具有主要被攝體判定部2和穩定攝像狀態推定部3。

穩定攝像狀態推定部3，係進行推定是否為穩定攝像狀態的穩定攝像狀態推定處理。

主要被攝體判定部2，係進行主要被攝體判定處理。

此主要被攝體判定部2，係當藉由穩定攝像狀態推定部3的穩定攝像狀態推定處理，推定為是處於穩定攝像狀態時，就將主要被攝體判定處理之結果予以輸出。

例如，主要被攝體判定部2係當推定為是處於穩定攝像狀態時，就執行主要被攝體判定處理然後將判定結果予以輸出。

或者，主要被攝體判定部2係亦可逐次執行主要被攝體判定處理，將推定為穩定攝像狀態時所得到之最新主要被攝體判定結果，予以輸出。

穩定攝像狀態推定部3，係使用所被輸入之推 定用資訊Inf，進行目前是否被推定為穩定攝像狀態的穩定攝像狀態推定處理。推定用資訊Inf，係例如可為經過時間資訊、或可為偵測攝像裝置之舉動的感測器輸出、或可為攝像裝置的各種動作之控制值、指示值、或可為偵測攝像光學系之運動的感測器輸出、影像的解析資訊等，可想到多樣之例子。

穩定攝像狀態推定部3，係使用這些推定用資訊Inf來進行推定處理，當推定是穩定攝像狀態時，向主要被攝體判定部2，通知已被推定成為穩定攝像狀態之事實。

主要被攝體判定部2，係隨應於例如穩定攝像 狀態推定之通知，而如以下之例子般地，進行主要被攝體判定處理。

在主要被攝體判定部2中，作為例如藉由軟體程式所實現的演算處理機能，而設置有候補偵測機能和主要被攝體判定處理機能。

主要被攝體判定部2，係首先藉由候補偵測機 能而進行候補偵測。

該所謂候補偵測係為，針對所被輸入之影像資料Dg的複數畫格，分別偵測出作為主要被攝體之候補的候補影像的處理。亦即，時間軸上被連續輸入的影像資料Dg的每一畫格、或每間歇性之畫格地，進行臉部影像偵測、人體影像偵測等，將作為主要被攝體之候補的影像予以抽出。

此外，臉部偵測、人體偵測等，係可藉由對攝像影像資料進行影像解析的圖案比對之手法等來實現，但如果抽換圖案比對時所使用的字典，則其他偵測器在理論上也可實現。例如亦可設計成犬臉部偵測、貓臉部偵測等來抽出主要被攝體的候補影像。

又亦可考慮例如以畫格差分所致之運動體偵測之手法，偵測出運動體，將該當運動體當作候補影像，亦可採用一種稱作顯著圖(Saliency)的注視領域抽出之手法。

然後，主要被攝體判定部2，作為候補偵測之處理，是將表示已抽出之候補影像的資訊，例如候補影像之畫面內的二維方向之位置資訊(x,y座標值)、或被攝體距離、影像尺寸等，當作候補影像資訊。

主要被攝體判定部2，係接著藉由主要被攝體判定處理機能，進行根據穩定存在度算出的主要被攝體判定。

亦即，主要被攝體判定部2係針對藉由上記候補偵測所得之候補影像資訊所示的候補影像，求出跨越複數畫格之影像資料內的穩定存在度，使用所求出的穩定存在度， 在候補影像當中判定主要被攝體。然後輸出主要被攝體資訊Dm。

主要被攝體判定部2，係首先針對候補影像資訊所示的候補影像，判定其在攝角空間內的位置狀態。

所謂「位置狀態」，係指影像資料中的候補影像在攝角空間內的絕對或相對位置之狀況的總稱。

作為「位置狀態」的具體例係有：

‧與攝角空間內的某判定基準點之相對距離

‧對攝角空間內的某判定基準領域的相對位置關係或相對距離

‧在攝像影像之二維平面內的候補影像之位置

‧被攝體對攝像時之相機位置的相對距離

‧被攝體距離與判定基準點或判定基準領域的相對位置關係等等。

接著，從所判定的各畫格中的候補影像之位 置狀態，針對各候補影像，求出跨越複數畫格的影像資料內的穩定存在度。

然後，使用穩定存在度算出機能所求出的穩定存在度，從各候補影像之中判定出主要被攝體，進行將某個候補影像設定成主要被攝體的處理。

如此表示被設定成為主要被攝體之影像的資訊，係被當成主要被攝體資訊Dm而輸出，被交給其他應用軟體或處理電路部等。

此外，具有以上之主要被攝體判定部2和穩 定攝像狀態推定部3的影像處理裝置1，係可用作為演算處理裝置的CPU(Central Processing Unit)或DSP(Digital Signal Processor)來實現。

此影像處理裝置1所進行之處理流程係如圖 2A所示。

步驟F1000中，執行穩定攝像狀態推定部3所致之穩定攝像狀態推定處理。如上述，穩定攝像狀態推定部3，係使用所被輸入之推定用資訊Inf，判定目前是否被推定為穩定攝像狀態。

此處，步驟F1000的穩定攝像狀態推定處理 中，若未被推定成穩定攝像狀態，則影像處理裝置1的圖2A之處理係從步驟F1001起結束。其後，變成再次開始從步驟F1000起之處理。

另一方面，在步驟F1000的穩定攝像狀態推定處理中，當推定是穩定攝像狀態時，則影像處理裝置1係在步驟F1001中判斷為主要被攝體判定處理的開始時序。然後，前進至步驟F1002，進行主要被攝體判定部2所致之主要被攝體判定處理。

首先在步驟F1002中，開始上述的候補影像偵測。

例如，影像資料Dg係藉由，將從未圖示的攝像裝置部、或從別台攝像裝置所發送過來的影像資料予以接收的收訊部等，而被輸入進來。或者有時候係為，被攝像裝置所拍攝、保存在記錄媒體中的動態影像資料，被再生而輸入。

在步驟F1002中，主要被攝體判定部2進將 被依序輸入進來的影像資料Dg的各畫格當作對象而進行影像解析或畫格差分偵測、注視領域偵測等，開始進行所定候補影像之偵測的處理。

主要被攝體判定部2，係可將所被輸入的全部畫格當作對象而進行候補影像抽出，亦可每隔1畫格、每隔2畫格等的方式，以間歇性畫格為對象來進行候補影像抽出。 亦即主要被攝體判定部2，在進行主要被攝體判定的期間，至少對時間序列上的複數畫格，能夠進行候補影像之抽出處理即可。要將哪種影像視為候補影像，係隨著設定而有多種可能，但可考慮例如臉部影像、人體影像、犬影像、貓影像等。

然後，主要被攝體判定部2，係針對各畫格，分別將所測出之候補影像予以表示的候補影像資訊，予以生成。

接著在步驟F1003中，主要被攝體判定部2 係進行主要被攝體判定處理。

針對步驟F1003，使用圖2B來詳細說明。

首先在步驟F1中，主要被攝體判定部2係進行位置狀態判定處理。此係為判定之前所生成之各候補影像的位置狀態的處理。

候補影像係有時候在1畫格中會存在1或複數個，也有可能在畫格內沒有候補影像存在。當畫格中存在有複數候補影像時，則會針對各候補影像，判定其位置狀態。

接著在步驟F2中，主要被攝體判定部2係根 據位置狀態判定處理中所判定出來的各畫格中的候補影像之位置狀態，針對各候補影像，算出跨越複數畫格之影像資料內的穩定存在度。例如，以表示位置狀態是處於靠近影像中央之狀態之頻率的值等，算出穩定存在度。

在步驟F3中，主要被攝體判定部2係使用針 對各候補影像的穩定存在度，而在候補影像當中判定主要被攝體。例如將表示位置狀態是處於靠近影像中央之狀態之頻率之值的穩定存在度是最高值、或以最短時間到達所定值的候補影像，判定成主要被攝體。

在圖2A的步驟F1003中，主要被攝體判定部 2係如以上所述般地進行圖2B的步驟F1~F3，例如將1個候補影像設定成為主要被攝體。

然後，在圖2A的步驟F1004中，主要被攝體判定部2係將主要被攝體資訊Dm交付給應用程式等。

在應用程式等中，會進行相應於被設定成主要被攝體之影像是已被特定的處理。例如焦點控制、追蹤處理、影像效果處理等。

如以上，影像處理裝置1所進行的主要被攝 體判定處理，係進行穩定攝像狀態推定處理，當推定是穩定攝像狀態時，就進行主要被攝體判定處理。

因此，適合於主要被攝體判定的時序，是以穩定攝像狀態之推定的此一形態而被推定，因此可在適切的時點上，執行主要被攝體判定處理。

例如推定持有相機的攝像者為，在想要攝影之意思下 架好相機之狀態亦即穩定攝像狀態。此種情況下，適合發送主要被攝體判定處理。反言之，使用者在沒有特地架好攝影機的時候，即使執行主要被攝體判定處理也是沒用。

在本例的影像處理裝置1中，係藉由穩定攝像狀態推定處理，推定攝像者是具有攝像意思之狀態、例如欲找尋被攝體之狀況，在基於該推定的適切時序，亦即對使用者而言為理想的時序，也就是不會造成無謂處理的時序上，執行主要被攝體判定處理。

又，關於主要被攝體判定處理，係在已被抽 出的候補影像之中，求出複數畫格的穩定存在度。亦即求出一指標值，用來判斷是否時間上以高頻率而位置穩定地存在於影像內。例如架好相機的攝像者，被認為當作目標而被瞄準的確實度較高的被攝體，其穩定存在度會變高。 亦即攝像者主要瞄準的被攝體，係會使其在攝像影像內的位置，盡量放入攝像者中心考慮的點或領域裡，而且由於攝像者瞄準該被攝體，因此會自然地長時間進入攝像影像中。因此，位置上穩定且時間上高頻率地存在於攝像影像內的穩定存在度高的被攝體，係可推定成攝像者所瞄準的主要被攝體。

藉由此種穩定存在度，來進行主要被攝體判定。藉此，攝像者等之使用者就不需要特別指定操作，就能自動判定主要被攝體，在隨應於主要被攝體設定而進行動作的各種電子機器中，可大幅提升使用者的操作性。

<2.攝像裝置之構成>

以下舉出內建有如上述之影像處理裝置的攝像裝置10為例子，詳細說明穩定攝像狀態推定動作及主要被攝體判定動作。

實施形態的攝像裝置10的構成例，示於圖3。此攝像裝置10係為所謂數位靜態相機或數位視訊攝影機，是進行靜止影像或動畫之攝像/記錄的機器，是內建有請求項所述之影像處理裝置。

又，影像處理裝置中的相當於上述之主要被攝體判定部2、穩定攝像狀態推定部3的構成，係在攝像裝置10的控制部30中藉由軟體而被實作。圖3中係圖示為主要被攝體判定部30a、穩定攝像狀態推定部30b。控制部30係藉由執行基於請求項所述之程式的處理，以請求項所述之影像處理方法而進行動作。

如圖3所示，攝像裝置10係具有：光學系11 、成像器12、光學系驅動部13、感測器部14、記錄部15、通訊部16、數位訊號處理部20、控制部30、使用者介面控制器(以下簡稱「UI控制器」)32、使用者介面33。

光學系11係具備護蓋透鏡、變焦透鏡、對焦 透鏡等之透鏡或光圈機構。藉由該光學系11，來自被攝體的光線就被聚光在成像器12。

成像器12係有例如CCD(Charge Coupled Device)型、CMOS(Complementary Metal Oxide Semiconductor)型等之攝像元件。

在該成像器12中，針對攝像元件上進行光電轉換所得之電性訊號，執行例如CDS(Correlated Double Sampling)處理、AGC(Automatic Gain Control)處理等，然後進行A/D(Analog/Digital)轉換處理。然後將成為數位資料的攝像訊號，輸出至後段的數位訊號處理部20。

光學系驅動部13，係基於控制部30的控制， 驅動光學系11的對焦透鏡，執行對焦動作。又，光學系驅動部13，係基於控制部30的控制，驅動光學系11的光圈機構，執行曝光調整。再者，光學系驅動部13，係基於控制部30的控制，驅動光學系11的變焦透鏡，執行變焦動作。

數位訊號處理部20，係藉由例如DSP等而以 影像處理處理器的方式而被構成。該數位訊號處理部20係對來自成像器12的攝像影像訊號，實施各種訊號處理。

例如數位訊號處理部20係具備：前處理部21、同時化部22、YC生成部23、解析度轉換部24、編碼解碼部25、候補偵測部26、運動向量偵測部27。

前處理部21係對來自成像器12的攝像影像 訊號，實施將R,G,B之黑位準箝制成所定位準的箝制處理、R,G,B之色彩通道間的補正處理等。同時化部22，實施去馬賽克處理，以使得各像素的影像資料是具有R,G,B的所有顏色成分。YC生成部23係從R,G,B之影像資料，生成亮度(Y)訊號及色彩(C)訊號。解析度轉換部24，係對施行過各種訊號處理的影像資料，執行解析度轉換 處理。編碼解碼部25，係針對已被解析度轉換的影像資料，進行例如記錄用或通訊用的編碼處理。

候補偵測部26，係相當於圖1所說明的主要 被攝體判定部2的候補偵測機能。在此圖3的例子中雖然是將候補偵測部26設計成由數位訊號處理部20所執行的機能構成，但這當然僅為一例，亦可藉由控制部30中的主要被攝體判定部30a來執行候補偵測部26的處理。

候補偵測部26，係例如以YC生成部23所得 之亮度訊號或色彩訊號等之攝像影像訊號為對象，進行畫格單位的影像解析處理，抽出候補影像。例如，進行臉部影像之偵測，將該臉部影像存在的領域，當作候補影像框而予以抽出。針對已抽出的候補影像，係將該候補影像框在畫面上的xy座標值、被攝體距離等之位置資訊、或候補影像框的寬度、高度、像素數等之尺寸資訊，當作候補影像資訊而交付給控制部30的主要被攝體判定部30a。 此外，此處，由於是用來表示身為候補影像的候補影像之框的資訊，因此也將候補影像資訊稱作「候補影像框資訊」。

又，作為候補影像框資訊，係亦可含有候補影像的臉部、人體、犬、貓等之屬性資訊的種別、或個體的識別資訊，甚至還可以含有影像資料本身。

候補偵測部26，係亦可如上述般地以圖案比對之手法來抽出要作為候補之對象的特定影像，也可考慮例如以畫格差分所致之運動體偵測之手法，偵測出運動體，將該 當運動體當作候補影像等。候補影像的抽出、選定之手法係不限定於以上，可有多種考量。又，候補偵測部26，係亦可對影像進行平滑化處理、離群值(outlier)去除等之處理，然後生成候補影像框資訊。

運動向量偵測部27，係在採用後述處理例5 時所設置的機能構成。雖然細節是在處理例5的說明中描述，但運動向量偵測部27，係例如，以YC生成部23所得之攝像影像訊號為對象，進行畫格單位的影像解析處理，從將畫面複數分割而成的各區域的運動向量(本地向量)，求出影像全體的向量(全域向量)。

運動向量偵測部27，係將該全域向量，為了穩定攝像狀態推定處理，而交付給控制部30的穩定攝像狀態推定部30b。

此外，在此圖3的例子中雖然是將運動向量偵測部27設計成被數位訊號處理部20所執行的機能構成，但這當然僅為一例，亦可考慮由控制部30中的穩定攝像狀態推定部30b來執行運動向量偵測部27之處理。

控制部30係由具備CPU、ROM(Read Only Memory)、RAM(Random Access Memory)、快閃記憶體等的微電腦所構成。

藉由CPU執行ROM或快閃記憶體等中所記憶的程式，就可統籌控制攝像裝置10。

RAM係作為CPU的各種資料處理之際的作業領域，備用來暫時儲存資料或程式等。

ROM或非揮發性記憶體，係記憶著CPU用來控制各部所需的OS(Operating System)、影像檔案等之內容檔案以外，還被用來儲存各種動作所需之應用程式或軟體等。 例如在本例中係記憶有執行後述之主要被攝體判定處理所需的程式，還記憶著會利用主要被攝體判定結果的應用程式等。

因此，控制部30係針對數位訊號處理部20 中的各種訊號處理之指示、使用者操作所相應的攝像動作或記錄動作、已記錄之影像檔案的再生動作、變焦、對焦、曝光調整等之相機動作、使用者介面動作等，控制必要的各部之動作。

又，在本實施形態的情況中，控制部30係具 備作為主要被攝體判定部30a的機能，執行後述之主要被攝體判定處理。

主要被攝體判定部30a，係針對從候補偵測部26所交付之候補影像資訊，執行位置狀態判定處理、穩定存在度算出處理、及基於穩定存在度的主要被攝體設定之處理。

甚至，在本實施形態的情況中，控制部30係 具備作為穩定攝像狀態推定部30b的機能，執行後述之穩定攝像狀態推定處理。

穩定攝像狀態推定部30b，係基於經過時間、各種感測器資訊、控制指示值等，來執行是否推定為穩定攝像狀態的判定。

使用者介面33，係對使用者執行顯示輸出或 聲音輸出，且受理使用者的操作輸入。因此具有顯示裝置、操作裝置、揚聲器裝置、麥克風裝置等。此處係圖示了顯示部34、操作部35。

顯示部34係為對使用者進行各種顯示的顯示 部，係具有例如被形成在攝像裝置10之框體上的LCD(Liquid Crystal Display)或有機EL(Electro-Luminescence)顯示器等之顯示裝置而被形成。此外，亦可用所謂取景窗的形態，使用LCD或有機EL顯示器等來構成。

該顯示部34，係由上記的顯示裝置、用來令該顯示裝置執行顯示的顯示驅動程式所構成。顯示驅動程式，係基於控制部30之指示，在顯示裝置上執行各種顯示。例如，顯示驅動程式係將攝像而記錄在記錄媒體中的靜止影像或動畫予以再生顯示，令快門操作待機中所拍攝到的透視影像(被攝體監視影像)，被顯示在顯示裝置的畫面上。 又，令各種操作選單、小圖示、訊息等，亦即GUI(Graphical User Interface)的顯示，在畫面上被執行。 在本實施形態的情況下，也會在例如在透視檢視影像或再生畫面上，執行讓使用者能夠了解主要被攝體判定所致之判定結果的顯示。

操作部35，係具有受理使用者操作的輸入機 能，將相應於所輸入之操作的訊號，送往控制部30。

作為該操作部35，係以例如被設在攝像裝置10之框 體上的各種操作件、被形成在顯示部34上的觸控面板等方式而被實現。作為框體上的操作件，係設置有再生選單啟動鈕、決定鈕、十字鍵、取消鈕、變焦鍵、滑移鍵、快門鈕等。又，亦可藉由觸控面板和顯示部34上所顯示的小圖示或選單等的觸控面板操作，實現各種操作。

使用者介面33之顯示部34等之動作，係依 照控制部30之指示而被UI控制器32所控制。又，操作部35所致之操作資訊，係被UI控制器32傳達至控制部30。

記錄部15，係由例如非揮發性記憶體所成， 是作為用來記憶靜止影像資料或動畫資料之內容檔案、或影像檔案的屬性資訊、縮圖影像等的記憶領域而發揮機能。

影像檔案，係以例如JPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等之格式而被記憶。

記錄部15的實際形態係可有多種考量。例如，記錄部15係亦可為內建在攝像裝置10的快閃記憶體，亦可為可對攝像裝置10裝卸的記憶卡、例如可攜式快閃記憶體與可對該記憶卡進行記錄再生存取的卡片記錄再生部之形態。又，亦可以內建於攝像裝置10之形態而以HDD(Hard Disk Drive)等來實現之。

又，在本例中執行後述之穩定攝像狀態推定處理及主要被攝體判定處理所需的程式，係亦可被記憶在記錄部15中。

通訊部16，係與外部機器之間，以有線或無 線來進行資料通訊或網路通訊。例如，與外部的顯示裝置、記錄裝置、再生裝置等之間，進行攝像影像資料(靜止影像檔案或動畫檔案)之通訊。

又，作為網路通訊部，係可進行例如網際網路、家庭網路、LAN(Local Area Network)等之各種網路的通訊，亦可和網路上的伺服器、終端等之間進行各種資料收送訊。

感測器部14係概括地表示各種感測器。例如 ，設置有用來偵測手晃所需的陀螺儀感測器、用來偵測攝像裝置10之姿勢的加速度感測器等。甚至亦可設置用來偵測攝像裝置10之姿勢或移動的角速度感測器、用來偵測曝光調整等所需之外部照度的照度感測器、還有測定被攝體距離的測距感測器。藉由加速度感測器、角速度感測器，亦可偵測出攝像裝置10的橫搖‧縱搖動作。

又，作為感測器部14，也有時候會設置偵測光學系11中之變焦透鏡之位置的變焦透鏡位置感測器、偵測對焦透鏡之位置的對焦透鏡位置感測器。

又，作為感測器部14，也有時候會設置偵測光圈機構亦即機械光圈之開口量的偵測器。感測器部14的各種感測器，係將各個測出的資訊，傳達至控制部30。控制部30，係可使用感測器部14所測出的資訊，來進行各種控制。

<3.主要被攝體判定處理>

首先，說明在攝像裝置10中，主要被攝體判定部30a所執行的主要被攝體判定處理。針對判定主要被攝體判定處理所被進行之條件的穩定攝像狀態推定處理，說明如後。

所謂主要被攝體判定處理，係藉由求出跨越 複數畫格之影像資料內的穩定存在度，而在候補影像當中判定主要被攝體的處理。

以圖4說明主要被攝體判定處理之概略，以圖5~圖8來說明具體的處理例。

圖4係主要被攝體判定處理的流程圖。此外 在圖4中，針對各步驟F10~F15，還圖示了相當於圖2B中的位置狀態判定的步驟F1、穩定存在度算出的步驟F2、主要被攝體設定的步驟F3之處理的對應關係。

步驟F10中，控制部30係將來自候補偵測部 26的某1個畫格的候補影像框資訊，予以擷取。

步驟F11中，控制部30係針對所擷取之候補影像框資訊所示的1或複數個候補影像框，判定各個位置狀態。

此時，係判定候補影像相對於被設定在攝角空間內之判定基準點的距離，來作為位置狀態。又，係判定候補影像相對於被設定在攝角空間內之判定基準領域的位置關係，來作為位置狀態。

在步驟F12中，控制部30係針對各候補影像 框，計算穩定存在度。此時，控制部30係作為穩定存在度，算出位置狀態是滿足所定條件的累積時間資訊。又， 控制部30，係算出位置狀態是持續而滿足所定條件的持續時間資訊，來作為穩定存在度。

此外，穩定存在度的算出時，也可使用候補影像在攝角空間內的位置資訊、或候補影像的尺寸資訊。

在步驟F13中，控制部30係使用穩定存在度 來判定主要被攝體。

此處步驟F13所進行的判定係為，將穩定存在度是從主要被攝體判定開始起，以最短時間達到所定值的候補影像，判定為主要被攝體的處理。又係為，在主要被攝體之判定進行期間中，將穩定存在度之值呈最高的候補影像，判定為主要被攝體的處理。

又，在主要被攝體的判定時，除了穩定存在度之值，還會採用在攝角空間內的位置資訊、或尺寸資訊。

在穩定存在度之值已達所定值之候補影像尚 未存在的時點，或尚未經過所定之主要被攝體判定期間，該當期間中的穩定存在度之值為最高之候補影像尚無法選定的時點上，在步驟F13之處理中，係還沒有辦法判定為主要被攝體。此時，控制部30係從步驟F14返回F10，重複各處理。亦即，以候補偵測部26擷取下個進行處理之畫格的候補影像框資訊，進行同樣的處理。

在某個時點上發現穩定存在度之值到達所定 值之候補影像的時候，或是經過所定之主要被攝體判定期間，該當期間中的穩定存在度之值為最高之候補影像係成功選定的時點上，控制部30係從步驟F14前進至F15。 然後，將步驟F13中所判定出來的候補影像，設定成主要被攝體。

此外，圖4的主要被攝體判定處理，係在進 行主要被攝體判定的期間中，一面擷取候補影像資訊，一面執行判定的處理態樣。

作為此以外的態樣，係在在某期間中，進行候補影像資訊的擷取。然後，一旦經過了該當期間，則使用所擷取之候補影像資訊來進行主要被攝體判定的處理態樣，也可被考慮。

接著說明，相當於以上圖4的主要被攝體判 定處理的具體處理例。

在以下的具體例中，作為候補影像框的位置狀態，係求出與已設定之判定基準點的距離。

又，作為關於各候補影像框的穩定存在度，係算出滿足與判定基準點之距離是在所定閾值以內此一條件的累積時間資訊。

又，假設將穩定存在度是從主要被攝體判定開始起最早達到所定值的候補影像，判定為主要被攝體。

此處，首先以圖5、圖6、圖7來分別說明候補影像框、與判定基準點之距離、穩定存在度。

圖5係模式性圖示候補偵測部26所進行的候 補影像框的抽出動作。

在圖5中係圖示了，藉由攝像裝置10的光學系11、成像器12之動作，而被輸入至數位訊號處理部20的攝像 影像訊號的各畫格FR1、FR2、FR3‧‧‧。候補偵測部26，係對如此被依序輸入的連續之各畫格或間歇性的各畫格之每一者，進行候補影像之偵測。

例如如圖示，針對畫格FR1，若有3人的人存在時，則將各自的臉部影像部分視為候補影像而予以抽出，將關於該候補影像框E1、E2、E3的候補影像框資訊，予以輸出並交付給主要被攝體判定部30a。所謂候補影像框資訊，係為位置資訊、尺寸資訊、屬性資訊等。

針對後續的畫格FR2、FR3‧‧‧也同樣如此 ，候補偵測部26係進行候補影像的抽出，針對各個候補影像框，生成候補影像框資訊而交付給主要被攝體判定部30a。

控制部30，係在每次擷取各畫格的候補影像 框資訊，就針對各候補影像框算出與判定基準點之距離，來作為位置狀態。

圖6A係圖示了判定基準點SP的例子。此係將影像中央當作判定基準點SP的例子。假設判定基準點SP的xy座標值為(Cx,Cy)。

此處，算出圖示的各候補影像框E1,E2,E3的重心G起至判定基準點SP之距離Diff1、Diff2、Diff3。

此外，判定基準點SP係並不一定要設定在影 像中央。

亦可例如圖6B所示，在比中央偏左上方之位置，設定判定基準點SP。例如在考量靜止影像之構圖時，通常 認為在此種非中央之位置上配置主要被攝體係為較佳。

此情況下也是藉由和圖6A同樣的方法，來算出判定基準點SP與候補影像框之重心G的距離。

判定基準點SP係可像是例如圖6A、圖6B般地設定在固定位置，亦可藉由使用者在顯示畫面上的觸控操作等而任意地指定。又，亦可在顯示部34的畫面上對使用者提示數個判定基準點的候補點，由使用者來選擇。甚至亦可考量，隨著影像內容、影像解析結果等而由控制部30來考慮構圖等然後判定最佳的位置，進行自動設定。亦即關於判定基準點SP係為：

‧在影像中央位置，或從中央偏離之位置等，設定在預先決定的固定位置。

‧使用者任意指定。

‧向使用者提示數個候補點，由使用者來選擇而設定。

‧控制部30隨應於影像內容來判定最佳位置，自動進行可變設定。可考慮這些。

作為關於候補影像框E(n)之位置狀態的距離 Diff(n)，係在各畫格的時點上依序求出。

圖7係候補影像框E1,E2,E3是持續某期間而存在於畫格(FR1,FR2‧‧‧)內，表示所被算出之距離Diff1、Diff2、Diff3的變動之樣子。在時間軸上，所被算出的各距離Diff1、Diff2、Diff3係會變動。

在後述的圖8的處理例中，所謂穩定存在度 ，係為靠近判定基準點SP之狀態的累積時間。因此「靠近/不靠近」的判定，是使用距離閾值Trs-diff。

圖7的下部係圖示了，距離Diff1、Diff2、Diff3之各時點上的是否在距離閾值Trs-diff以下之判定結果。若距離Diff(n)是距離閾值Trs-diff以下，則認為靠近=「1」。將該判定結果「1」在各時點上進行累積加算後的結果，就成為處理例1中的穩定存在度。

從判定開始至判定結束為止的期間，係隨著 具體的處理例而不同。在後述圖8的處理例中，距離閾值Trs-diff以下之判定結果「1」的累積加算值，係為表示至該時點為止的穩定存在之程度的累積時間，但發現了該累積時間到達所定值之候補影像的時點，就是判定結束的時序。

例如在圖7的例子中，候補影像框E3係持續被判定為「1」，但在該累積加算值到達某所定值的時點上，判定就被結束，候補影像框E3就被判定成主要被攝體。

此外，此處係假設忽略持續性。例如圖7中 的候補影像框E2的距離Diff2，係隨著時點而有「1」「0」之判定，但由於也僅為累積時間，因此當「1」的狀況較多，累積時間是比其他候補影像框更早到達所定值的情況下，候補影像框E2也有可能被判定成主要被攝體。

但是，當然也可考慮把持續性當作穩定存在度之條件來使用的例子。

圖8中說明控制部30之主要被攝體判定處理 的具體例。

首先，在步驟F100中令變數TSE=0，並令計數值Cnt(n)=0。

所謂變數TSF，係為表示主要被攝體是否已經設定的旗標。TSF=「0」係表示主要被攝體尚未判定之狀態。又，計數值Cnt(n)係為，上述的與距離Diff之距離閾值Trs-diff的比較判定結果之值予以加算的計數器之值。

此外「n」係表示自然數，計數值Cnt(n)係為 ，分別對應於所被偵測到候補影像框E(n)的計數值。例如當真測出3個候補影像框E1,E2,E3時，作為計數值係使用Cnt1、Cnt2、Cnt3。

又，同樣地，所謂距離Diff(n)係為，代表3個候補影像框E1,E2,E3的從判定基準點SP起算之距離Diff1、Diff2、Diff3的總稱。

又，候補影像框E(n)係表示候補影像框E1, E2,E3‧‧‧，但其係跨越複數畫格，按照被攝體別而被區別，較為理想。例如若以候補偵測部26抽出臉部為例，則當人物A、人物B、人物C是被攝體的情況下，在各畫格中會共通地，人物A、B、C的臉部影像部分係被設成候補影像框E1、E2、E3。即使在中途的某個畫格時，變成只有人物D是納入被攝體之狀態，人物D的臉部影像部分就會變成候補影像框E4。因此可以設計成，候補偵測部26係不只是單純地偵測出「臉部」而已，還會進行個體判別。

步驟F101中，控制部30係將來自候補偵測 部26的某個畫格的候補影像框資訊，予以擷取。例如針對各候補影像框E(n)，取得位置資訊或尺寸資訊。

在步驟F102中，控制部30係針對各候補影 像框E(n)，算出重心G的座標。

例如賦予了方形之候補影像框的左上頂點之座標值。 令該xy座標值為(E(n)_x,E(n)_y)。又如圖6所示，xy座標係以畫面平面的左上為原點O。

又，令候補影像框E(n)的寬度w為E(n)_w、高度h為E(n)_h。

然後，若令候補影像框E(n)的重心G的座標值為(E(n)_cx,E(n)_cy)，則重心G的座標值係為： E(n)_cx=E(n)_x+(E(n)_w)/2

E(n)_cy=E(n)_y+(E(n)_h)/2以此方式而被求出。

在步驟F103中，控制部30係算出從各候補 影像框E(n)之重心G至判定基準點SP的距離Diff(n)。判定基準點SP的座標值(Cx,Cy)係藉由： Diff(n)=√{(E(n)_cx-Cx)²+(E(n)_cy-Cy)²}以此方式而被求出。

在步驟F104中，係確認變數TSF。若變數 TSF=0則前進至步驟F105。

此外，如後述，在本實施形態中，係隨著穩定攝像狀態推定處理，而執行主要被攝體判定處理，因此亦可不需 要步驟F104。

但是，在圖23中會說明，也有主要被攝體判定處理本身係總是執行中的處理例。此情況下，此步驟F104中的處理就被略過。

在步驟F105、F106、F107中，到判定基準點 SP為止的距離Diff(n)，是否靠近判定基準點SP，是使用距離閾值Trs-diff來進行判定。

比較各候補影像框E(n)至判定基準點SP的距離Diff(n)與距離閾值Trs-diff，若Diff(n)<Trs-diff則在步驟F106中設旗標Flg(n)=1。又若非Diff(n)<Trs-diff則在步驟F107中設定旗標Flg(n)=0。

接著在步驟F108、F109中，算出各候補影像 框E(n)的穩定存在度。首先，在步驟F108中，確認是否旗標Flg(n)=1，若旗標Flg(n)=1，則在步驟F109中將計數值Cnt(n)予以增值。若旗標Flg(n)=0，則計數值Cnt(n)係不變更。

該計數值Cnt(n)，係為作為累積加算值的穩定存在度之值。亦即，是表示候補影像框E(n)「靠近」於判定基準點SP之狀態之頻率的值。

接著，在步驟F111、F112、F113中，係使用 各候補影像框E(n)的穩定存在度，進行主要被攝體的判定。

在步驟F111中，係確認各候補影像框E(n)的計數值Cnt(n)，是否到達計數閾值CTthr。

若非Cnt(n)≧CTthr，亦即各候補影像框E(n) 的計數值Cnt(n)的任一者均未到達計數閾值CTthr，則在步驟F113中維持變數TSF=0，在步驟F114中不結束判定，返回步驟F101。此情況下，基於針對下個畫格而被輸入的候補影像框資訊，和上記同樣地執行步驟F101以後的處理。

此外，步驟F114係為，若變數TSF=0，則 認為主要被攝體之判定尚未完成而持續判定處理，若變數TSF=1，則結束主要被攝體判定。

在前述的步驟F104中偵測到變數TSF=1時，就直接結束判定。

雖然省略詳細說明，但亦可與本例的自動主要被攝體判定並行，例如使用者係可將主要被攝體藉由顯示部34的畫面上的觸控操作、或將被攝體在畫面上對合所定位置然後半押快門鈕等之操作，來選擇主要被攝體。在圖8之處理的執行中，使用者進行了此類指定操作時，就讓使用者的操作優先，較為理想。於是，作為此種手動操作而進行主要被攝體設定的情況時，令變數TSF=1。此時，圖8的處理係藉由步驟F104、F114之判斷，來將處理予以結束即可。

穩定存在度所致之主要被攝體判定，係持續 某個時間長而判定，因此若在某程度之畫格數中，尚未經歷針對候補影像框資訊的處理，則如上述般地步驟F114中不會結束判定而返回步驟F101重複處理。

此處，假設例如圖7所示，某個候補影像框 E3係可為非連續，但在複數畫格當中以高頻率而在攝像影像上存在於靠近判定基準點SP之位置的狀態。如此一來，候補影像框E3的計數值Cnt3係在步驟F109中的增值機會變多，比計數值Cnt1、Cnt2前進的更快，因此會最早到達計數閾值CTthr。

此種情況下，控制部30係令處理從步驟F111前進至F112。

步驟F112中，控制部30係將計數值Cnt(n)已經到達計數閾值CTthr的候補影像框E(n)判定成主要被攝體，進行主要被攝體設定。然後令變數TSF=1。

此時，步驟F114中就結束判定。亦即例如候 補影像框E3是被設定成主要被攝體等等，圖8的主要被攝體判定處理就會結束。

此外，此處理例中係會持續直到變成變數TSF=1為止，但實際上是有設置所定的限制時間，較為適切。亦即從圖8的處理開始時點起經過了所定時間仍無法判定主要被攝體的情況下，則認為沒有主要被攝體，而結束處理。

若依據以上的圖8之處理例，則使用者將主 要想拍攝的被攝體，儘可能地靠近影像中央等之判定基準點SP的狀態下，藉由架好攝像裝置10，該當被攝體就會被自動判定成為主要被攝體。

尤其是此處理例，係以「靠近」於判定基準點SP之狀態的累積時間，來判定穩定存在度。若為處於運動狀況 的被攝體、或動物等運動較快的被攝體的情況下，有些時候，攝像者想要把主要之被攝體持續放在影像中央達某程度之時間，例如就算是數秒也好，是有困難的。又，隨著攝像者的攝像技術，有時候會因為手晃劇烈等等，導致被攝體難以維持在影像中央。即使在這類情況下，仍可藉由使用累積時間，就能比較迅速地進行主要被攝體判定。

因此對於以運動較快之被攝體為對象時，或是對比較不熟練的使用者而言，也很理想。又，主要被攝體判定處理係並非一定要進行一定時間，而是在主要被攝體判定時點上就結束處理，因此隨著被攝體或攝像者的技術，可以迅速地完成主要被攝體判定，還具有如此優點。

此外，作為主要被攝體判定處理的具體處理 例，亦可有其他各種考量。例如，亦可為，作為關於各候補影像框的穩定存在度，係算出持續滿足與判定基準點之距離是在所定閾值以內此一條件的持續時間資訊。若藉由持續時間來評估是否為穩定存在，則當以運動較少的被攝體為對象時，可容易把對象被攝體持續維持在影像中央等，因此能夠正確設定使用者所期望之主要被攝體的可能性較高。又，隨著攝像者的技術，可以將主要想拍攝的被攝體持續維持在靠近判定基準點SP之位置，因此能夠正確將攝像者所希望之被攝體判定為主要被攝體的機率較高。 亦即，攝像技能純熟者，或隨著被攝體不同，能將使用者期望之被攝體判定為主要被攝體的可能性會更高。

又，亦可對穩定存在度之算出，賦予加權。 例如，主要被攝體判定處理的執行期間的越後面的時點，則靠近於判定基準點SP這件事情的價值就變得越重等等。

一般當攝像者瞄準被攝體而拿著相機時，無法將最初希望當作主角的被攝體馬上放在影像中央等之所望位置，攝像者會緩緩調整相機的朝向。若考慮這點，則最初攝像者想要視為「主要被攝體」的被攝體，是會隨著時間演進而被緩緩移到影像中央。

因此，在主要被攝體判定處理的執行中，時間越前進，則靠近於判定基準點SP的價值會變重，能夠成為吻合於攝像者之想法的主要被攝體判定的可能性就會提高。

又，針對穩定存在度之算出，亦可除了距離 Diff(n)是否為距離閾值Trs-diff以下之條件以外，加入其他條件。

例如亦可加入，被攝體距離是所定範圍內、尺寸是所定範圍內、是特定之影像種別等條件。

又，也可考慮，設定一定之主要被攝體判定 期間，在該期間中將穩定存在度之值為最高的候補影像，判定成主要被攝體的處理例。

又，在上述的處理例中，作為候補影像框的 位置狀態，係為與已設定之判定基準點的位置關係，但亦可為與判定基準領域的位置關係。例如，設定影像中央等的正方形或圓形等之領域，將其當成判定基準領域。所謂各候補影像框E(n)與判定基準領域之位置關係，係為例 如：

‧重心是否進入判定基準領域

‧全體是否進入判定基準領域

‧至少一部分是否進入判定基準領域

‧與判定基準領域外緣的距離是否為所定以內

等等。

亦可用如此的位置關係之條件，來求出穩定存在度。

又，作為針對各候補影像框的穩定存在度，係亦可算出位置狀態，例如與判定基準點之距離的平均值。平均距離係為表示，從時間來看以高頻率處於靠近於判定基準點之位置狀態的指標。例如所謂「平均距離之值較小」，係和上述處理例所述「累積時間較長」的意思相同。然後，亦可將平均距離為最小，且其係滿足在所定閾值以內此一條件的候補影像框，判定為主要被攝體。

在本實施形態中，雖然例如以上例子所示般地進行主要被攝體判定，但以下逐步說明在攝像裝置10中進行主要被攝體判定的目的等。

首先說明主要被攝體判定結果的利用例。主要被攝體判定，係例如在使用者瞄準快門時機之際會被執行，但控制部30係在自動判定主要被攝體後，可進行如下的處理。

‧追蹤處理

在所拍攝的各畫格中，追蹤所被設定的主要被攝體。 例如在透視檢視影像顯示上向使用者明示主要被攝體，供使用者的攝角調整，例如手持相機之狀態下的被攝體決定之用。

此外，作為主要被攝體的提示，係考慮在顯示部34的透視檢視影像顯示上強調顯示主要被攝體的框框。又，強調顯示等，係可在判定後的一定期間內，也可以只有當透視檢視影像內有主要被攝體存在之際執行之。

‧對焦

對主要被攝體進行自動對焦控制。又，配合追蹤處理，即使主要被攝體跑來跑去，焦點仍會追蹤著該主要被攝體而被調整。

‧曝光調整

基於主要被攝體的亮度來進行自動曝光調整。

‧指向性調整

在進行動畫攝像同時以麥克風進行聲音收音時，隨應於攝角空間內的主要被攝體之方向，來進行指向性調整。

又，亦可在對攝像影像訊號的各種訊號處理中使用之。

‧影像效果處理

在所拍攝之各畫格中僅在主要被攝體的領域，加上畫 質調整、雜訊重製、膚色調整等之影像處理。

或者，在主要被攝體的領域以外，加上影像效果、例如馬賽克處理、柔焦處理、塗滿處理等。

‧影像編輯處理

針對攝像影像、或是已被記錄的影像，加上畫框、裁切等之編輯處理。

例如可進行將含有主要被攝體的畫格內的一部分領域予以切出、或放大等之處理。

又，在攝像影像資料當中，可進行影像周邊部的切除等以使得主要被攝體被配置在影像的中心，進行構圖調整。

這些僅為一例，除此以外，亦可考量由應用 程式或攝像裝置內的自動調整機能，來利用已設定之主要被攝體的處理。

進行主要被攝體判定處理所致之效果，係如 下所述。當攝像者拿著攝像裝置10瞄準被攝體時，要指定主要被攝體之類的操作原本就很困難。若自動執行主要被攝體判定，則可解決此種問題，可獲得降低使用者壓力之效果。

又，使用者通常使用的數位靜態相機、行動電話機內建攝影機等，使用者隨身攜帶使用的攝像裝置10，係顯示部34也較為小型，即使使用者在畫面上進行指定主要被攝體的操作，仍難以正確地進行。藉由向本實施形態這 樣進行自動判定，也可消除錯誤指定。

又，由於能夠以只要自然地拿著攝像裝置10 就能拍攝主角的此一感覺來使用，因此可增加攝像機會、增加對應使用案例，可對使用者提供容易使用的攝像機。

由以上可知，作為手持攝像機，會自動進行 主要被攝體判定的本實施形態的攝像裝置10，係為尤其理想。

<4.穩定攝像狀態推定處理>

此處，考慮如以上所說明之主要被攝體判定處理，要在哪個時點上執行。

例如可以在攝像裝置10的電源打開，顯示部34上顯示有透視影像的期間，係常時性地進行主要被攝體判定處理，但即使一昧地進行主要被攝體判定處理，也並不一定會是有意義之處理。

例如，使用者只是單純將攝像裝置10電源開啟而拿持等，沒有進行攝像之意思時，若進行主要被攝體判定處理、或利用主要被攝體判定處理之結果，就不怎麼有意義。

具體而言，當使用者架好攝像裝置10，想要開始進行攝像之際，才進行主要被攝體判定處理，較為合適。

於是在本實施形態的攝像裝置中係設計成，穩定攝像狀態推定部30b係推定是否處於穩定攝像狀態、例如使用者架好相機之狀態，當推定是穩定攝像狀態時， 主要被攝體判定部30a係執行上述的主要被攝體判定處理，將其判定結果的主要被攝體資訊，予以輸出。

藉由如此進行穩定攝像狀態推定處理，就可在有意義的時點上，執行主要被攝體判定處理。

亦即藉由透過穩定攝像狀態推定處理來執行主要被攝體判定處理，就可在例如拿著攝像裝置10的攝像者，以欲攝像之意思而架好相機的狀態，例如欲找尋被攝體之狀況等，在不會浪費主要被攝體判定結果的時序上，執行主要被攝體判定處理。尤其是上述的主要被攝體判定處理係為處理量比較多，而後述的穩定攝像狀態推定處理是處理負擔較小，因此還可獲得控制部30的處理負擔減輕或消費電力削減之效果。

亦即可實現使用者便利性提升、控制部30的處理負荷削減、自動主要被攝體判定處理的適時性提升。

〔4-1：穩定攝像狀態推定處理的執行機會〕

如以上所述，穩定攝像狀態推定處理，係用來判斷主要被攝體判定處理之執行機會用的處理。首先，此處針對穩定攝像狀態推定處理本身的執行機會，使用圖9、圖10來說明。

圖9係圖示了攝像裝置10的模式是有相機模式MD1與再生模式MD2。

所謂相機模式MD1，係主要是進行攝像而記錄靜止影像或動畫所需的模式。所謂再生模式MD2，係主要是 將攝像而記錄在例如記錄部15中的靜止影像資料或動畫資料，以顯示部34進行再生顯示的模式。

攝像裝置10若電源開啟，則會以相機模式MD1或再生模式MD2之任一模式而被啟動。又，使用者係隨應於此時的攝像裝置10的使用目的，而可任意切換相機模式MD1與再生模式MD2。

在此圖9的例子中，係隨應於相機模式MD1 的開始，而開始穩定攝像狀態推定處理ST1(圖2A的步驟F1000)。

穩定攝像狀態推定處理的具體例將於後述，但由圖2A可知，作為穩定攝像狀態處理之結果，若進行了是處於穩定攝像狀態之推定，則執行主要被攝體判定處理(F1001~F1004)，判定結果的主要被攝體資訊，會被利用。

一旦進行了主要被攝體判定後，就會進行利 用到判定結果亦即主要被攝體資訊的處理。在圖9中係圖示為主要被攝體資訊利用處理ST2。

例如執行上述的主要被攝體資訊之利用例中所說明的處理。

其後，主要被攝體資訊之利用有可能變成不能或不要。

例如，上述的主要被攝體資訊之利用例中所說明過的追蹤處理、對焦、曝光調整、指向性調整、影像效果處理、影像編輯處理等，係當攝像影像內有主要被攝體存在時 係被設成可行，但當主要被攝體出鏡而不存在於攝像影像內的情況下，這些主要被攝體資訊利用處理就變成不可能。

又，當使用者進行了主要被攝體之變更操作、重新判定之操作、或結束主要被攝體資訊利用處理的情況下，使用了目前之主要被攝體資訊的主要被攝體資訊利用處理，就變成不需要。

使用了目前之主要被攝體資訊的主要被攝體資訊利用處理若為不要或不能的狀況(ST3)，則考慮再次進行穩定攝像狀態推定處理ST1。

此外，這些動作遷移，係如單點鍊線所圍繞 ，係為相機模式MD1內的動作遷移。從相機模式MD1切換成再生模式MD2時，就不進行穩定攝像狀態推定處理及主要被攝體判定處理。

亦即在此圖9的例子中，穩定攝像狀態推定部30b係隨應於變成被想定為主要被攝體判定處理是有效機能之相機模式MD1的狀態的事實，來進行穩定攝像狀態推定處理的例子。

甚至還是，穩定攝像狀態推定部30b係即使主要被攝體判定處理之結果的使用被設成不能或不要之後，只要還在相機模式MD1下，就進行穩定攝像狀態推定處理的例子。

接著圖10A的例子係，於相機模式MD1下， 使用者可以選擇進行主要被攝體判定之模式的例子。

例如作為相機模式MD1中的下位模式，可以藉由選單操作等而選擇主要被攝體判定模式MD11。圖10B係圖示了，在顯示部34中，讓使用者選擇主要被攝體判定模式的顯示例。

例如，若使用者以此種畫面上的選擇操作，進行了將主要被攝體判定模式設成開啟之操作，則控制部30係將主要被攝體判定模式MD11設成開啟。

隨應於主要被攝體判定模式MD11被開始之 事實，控制部30係開始穩定攝像狀態推定處理ST1。

其後如圖2A所說明，若進行了是處於穩定攝像狀態之推定，則主要被攝體判定處理會被執行，判定結果之主要被攝體資訊會被利用。

一旦進行了主要被攝體判定後，利用到判定 結果亦即主要被攝體資訊的處理亦即主要被攝體資訊利用處理ST2，就會被進行。例如執行上述的主要被攝體資訊之利用例中所說明的處理。其後，主要被攝體資訊之利用有可能變成不能或不要。如上述例子，若使用了目前之主要被攝體資訊的主要被攝體資訊利用處理變成不要或不能的狀況，則再次進行穩定攝像狀態推定處理ST1。

此外，這些動作遷移，係如單點鍊線所圍繞 ，是主要被攝體判定模式MD11被設成開啟的期間內的動作遷移。

處於相機模式MD1但主要被攝體判定模式MD11是關閉的情況下，或已被切換成再生模式MD2的情況下， 就不進行穩定攝像狀態推定處理及主要被攝體判定處理。

亦即在此圖10的例子中，穩定攝像狀態推定部30b係隨應於變成被想定為主要被攝體判定處理是有效機能、尤其是使用者也要求主要被攝體判定的主要被攝體判定模式MD11之狀態的事實，來進行穩定攝像狀態推定處理的例子。

甚至還是，穩定攝像狀態推定部30b係即使主要被攝體判定處理之結果的使用被設成不能或不要之後，只要主要被攝體判定模式MD11還是被設成開啟，就會進行穩定攝像狀態推定處理的例子。

例如以上的圖9、圖10的例子所示，在相機 模式MD1中，或是在相機模式MD1的主要被攝體判定模式MD11中，會進行穩定攝像狀態推定處理ST1。

然後，隨應於該穩定攝像狀態推定處理ST1的推定結果，來執行主要被攝體判定處理。

〔4-2：處理例1〕

以下說明穩定攝像狀態推定處理的各種具體例。

圖11係作為穩定攝像狀態推定處理的處理例1，圖示了穩定攝像狀態推定部30b所執行的處理。

圖11的處理，係隨應於上記圖9中變成了相機模式MD1時，或圖10中主要被攝體判定模式MD11被設成開啟的事實，而被執行。此外，此點雖然不重複敘述，但在後述的處理例2~處理例5也同樣如此。

控制部30係在步驟F201中，根據穩定攝像 狀態推定處理是否已經執行中，而將處理分歧。

在穩定攝像狀態推定處理被開始的時點上，由於並非執行中，因此控制部30係進行步驟F202之處理。

首先將時間經過計數器CTt予以重置，開始計數。又將表示是有已經推定成為穩定攝像狀態的推定旗標Fst，初期化成Fst=0。

控制部30係繼續重複圖2A的處理，但圖2A 的步驟F1001，係變成判斷是否推定旗標Fst=1。推定旗標Fst=0之期間，圖2A之處理是重複步驟F1000、亦即圖11之處理。

穩定攝像狀態推定處理被開始以後，圖11之 處理係從步驟F201前進至F203。

控制部30係在步驟F203中將時間經過計數器CTt予以增值。

然後控制部30係在步驟F204中，將時間經過計數器CTt之值、和推定所需之所定時間thTM，進行比較。

時間經過計數器CTt之值若未超過所定時間thTM，則直接結束處理。亦即直接當作推定旗標Fst=0。

隨著時間經過，某時點上，在步驟F204中會 判定成CTt>thTM。此時，控制部30係前進至步驟F205，認為已經推定是穩定攝像狀態，而設定推定旗標Fst=1。

一旦如此設定推定旗標Fst=1，則圖2A的步驟 F1001中，控制部30係認為主要被攝體判定開始，前進至步驟F1002~F1004。

以上的圖11的穩定攝像狀態推定處理，係以 從進入了主要被攝體判定處理為有效機能之所定模式狀態、圖9中的相機模式MD1、或是圖10中的主要被攝體判定模式MD11之時點起經過所定時間thTM為條件，推定為處於穩定攝像狀態。

通常，使用者係在電源開啟或進行了設定成相機模式MD1之操作後，其後會為了攝像而採取架好攝像裝置10的姿勢。將主要被攝體判定模式MD11設成開啟後，其後也會採取攝像姿勢。

因此，若進入這些模式，則從其起經過所定時間的時點上，就可推定使用者是為了攝像而架好攝像裝置10。

於是，在處理例1中最簡單的就是，所謂穩定攝像狀態推定處理，係為所定時間thTM的計數處理。

如以上所述般地進行穩定攝像狀態推定處理 ，隨應於其而執行主要被攝體判定處理，藉此，使用者就不需要意識到主要被攝體判定處理的啟動，不會感到操作負擔，同時，可在適切的時序上，開始主要被攝體判定處理。又，穩定攝像狀態推定處理所需的控制部30之處理負擔係非常小。

〔4-3：處理例2〕

以圖12、圖13來說明處理例2。處理例2係為，基 於攝像視野變動的偵測結果來進行穩定攝像狀態之推定的例子。此處特別舉出，將偵測攝像裝置10之運動的感測器之輸出，用於攝像視野變動之偵測的例子。

所謂感測器，係為用來偵測例如使用者手持 攝像裝置10時的手晃量等之給予攝像裝置10之搖晃的陀螺儀感測器、或偵測姿勢的加速度感測器等。

例如在圖3的感測器部14中，係設有這些陀螺儀感測器或加速度感測器，控制部30係可偵測出這些感測器輸出。

圖12A中係作為穩定攝像狀態推定處理的處 理例2，圖示了穩定攝像狀態推定部30b所執行的處理。

控制部30係在步驟F300中，根據穩定攝像狀態推定處理是否已經執行中，而將處理分歧。

在穩定攝像狀態推定處理被開始的時點上，由於並非執行中，因此控制部30係在步驟F307中，將穩定時間計測用的計數器CTst(以下稱作穩定時間計測計數器CTst)予以重置成CTst=0。又將表示是有已經推定成為穩定攝像狀態的推定旗標Fst，初期化成Fst=0。

和之前的處理例1同樣地，推定旗標Fst=0之期間，圖2A之處理是重複步驟F1000、亦即圖12A之處理。

穩定攝像狀態推定處理被開始以後，圖12A 之處理係從步驟F300前進至F301。

控制部30係在步驟F301中，取得來自感測器部14的感測器輸入。例如取得陀螺儀感測器或加速度感測器的 偵測值。

例如若在步驟F301中取得了陀螺儀感測器的 偵測值，則控制部30係在步驟F302中，判定偵測值是否在所定等級範圍內。在圖13中會說明，所謂所定等級範圍，係為例如手晃量少、可推定為攝像裝置10處於穩定的等級範圍。

控制部30，係當判定感測器之偵測值是在所 定等級範圍內，則前進至步驟F303，將穩定時間計測計數器CTst予以增值。

另一方面，控制部30，係當判定感測器之偵測值並非在所定等級範圍內，則前進至步驟F304，將穩定時間計測用的計數器CTst予以減值。

控制部30係在步驟F305中，將計數器CTst 的計數值、和推定所需之所定時間thTM，進行比較。

計數器CTt之值若未超過所定時間thTM，則直接結束處理。亦即直接當作推定旗標Fst=0。

控制部30，係在步驟F305中判定為CTst> thTM時，則前進至步驟F306，認為已經推定是穩定攝像狀態，而設定推定旗標Fst=1。

一旦如此設定推定旗標Fst=1，則圖2A的步驟F1001中，控制部30係認為主要被攝體判定開始，前進至步驟F1002~F1004。

此處理所做的動作例，以圖13來說明。

圖13A係控制部30使用陀螺儀感測器之偵測輸出的 情形。縱軸係表示陀螺儀感測器的偵測值，橫軸係表示時間。虛線所示之波形的各點，係為各時點的步驟F301上由控制部30所輸入之偵測值。

所謂步驟F302中所判斷的所定等級範圍，係為偵測值的等級L1~L2之範圍。

又，也顯示了推定旗標Fst之值。

然後，假設在時點t0上，開始穩定攝像狀態推定處理。

陀螺儀感測器的偵測值係例如使用者手晃等 而給予攝像裝置10的搖晃越大，則等級越大。

因此，偵測值在所定等級範圍內時，就可推定為是處於手晃等較少之狀況，亦即攝像者是將攝像裝置10某種程度地穩當架好之狀況。

在此例中，在時點t1為止，係表示搖晃比較多的狀況。例如使用者係尚未將攝像裝置10穩當架好之狀況，例如想定是單純的拿持、粗略地找尋被攝體等。

在圖12A之處理中，若感測器之偵測值是在 所定等級範圍內則穩定時間計測計數器CTst會被增值，若在所定等級範圍外則被減值。

因此例如時點t1以後，若對攝像裝置10施加的搖晃變少，則在某時點上穩定時間計測計數器CTst的值會超過所定時間thTM的值。例如假設在時點t2上變成CTst>thTM。若在上記步驟F305中判定如此，則在步驟F306中設定推定旗標Fst=1。如圖13A所示，在時點t2上， 推定旗標Fst=1。

作為如此偵測被給予攝像裝置10之搖晃，是偵測出攝像視野變動。藉由給予攝像裝置10之搖晃較小的時間是持續某種程度，就可判定為攝像視野變動較小、攝像視野呈現穩定。此時推定為是處於穩定攝像狀態。

接著，圖13B係為控制部30是使用加速度感 測器之偵測輸出的情形。縱軸係表示角速度感測器的偵測值，橫軸係表示時間。虛線所示之波形的各點，係為各時點的步驟F301上由控制部30所輸入之偵測值。

所謂步驟F302中所判斷的所定等級範圍，係為偵測值的等級L1~L2之範圍。又，也顯示了推定旗標Fst之值。然後，假設在時點t0上，開始穩定攝像狀態推定處理。

加速度感測器的偵測值，係隨著攝像裝置10 的姿勢變化而變動。攝像裝置10之運動越大，則偵測值的變動會越大。例如使用者只是單純手持攝像裝置10時，或一面架好架好攝像裝置10而一面大幅度尋找被攝體等時候，偵測值的變化係較大。

因此，偵測值落在所定等級範圍內而持續某種程度，係可推定攝像者瞄準某種程度被攝體方向，而穩當地架好攝像裝置10的狀況。

在此例中，在時點t1為止，係表示運動比較多的狀況。

另一方面，若使用者某種程度地對準被攝體 方向而架好攝像裝置10，則攝像裝置10的運動會變小而姿勢會呈現穩定。例如從時點t1起，攝像裝置10的姿勢就變成穩定的狀況。

在圖12A之處理中，若感測器之偵測值是在所定等級範圍內則穩定時間計測計數器CTst會被增值，若在所定等級範圍外則被減值。

因此例如時點t1以後，若對攝像裝置10的姿勢持續地穩定，則在某時點上穩定時間計測計數器CTst的值會超過所定時間thTM的值。例如假設在時點t2上變成CTst>thTM。若在上記步驟F305中判定如此，則在步驟F306中設定推定旗標Fst=1。如圖13B所示，在時點t2上，推定旗標Fst=1。

作為如此攝像裝置10的運動之偵測，是偵測出攝像視野變動。藉由攝像裝置10的姿勢呈現固定狀態而持續某種程度，就幾乎沒有攝像視野變動，可判定攝像視野呈現穩定。此時推定為是處於穩定攝像狀態。

尤其是，藉由攝像裝置10的搖晃或姿勢來做 判斷，可提高推定穩定攝像狀態的精確度。

此外，在圖12A的處理例2中，針對例如陀 螺儀感測器與加速度感測器的偵測值，係可使用其中任意一方，也可雙方都使用。

例如亦可設計成，以陀螺儀感測器的偵測值為對象的圖12A之處理，和以加速度感測器之偵測值為對象的圖12A之處理，是平行地執行，若任一者中變成推定旗標 Fst=1，則推定為穩定攝像狀態(OR條件)。

或者，步驟F302之所定等級範圍內的判斷，是判斷陀螺儀感測器的偵測值、和加速度感測器的偵測值雙方，是否都在所定等級範圍內(AND條件)。

又，亦可將方位感測器、地軸感測器等其他 感測器之偵測值，個別地或複合地加以利用。無論如何，只要能將攝像裝置10本身的運動或姿勢在少於某種程度的狀況，推定成穩定攝像狀態即可。在複合地使用複數感測器的情況下，當然可以想到採用上述的OR條件、或是採用AND條件。

又，穩定時間計測計數器CTst之處理係亦可 想到其他。

如圖12A中以虛線所示，步驟F302中判定為不是所定等級範圍內時，亦可不將穩定時間計測計數器CTst予以減值，直接進入步驟F305。亦即這是保留計數值的例子。

若如此設計，則即使有某種程度的搖晃或運動等，總體來說搖晃變少或姿勢穩定的狀態，也可容易地推定成穩定攝像狀態。若想定手晃較多的不熟練使用者等的情況下，則此種方式就可較容易發動主要被攝體判定處理。

又，亦可將步驟F304之處理，改成圖12B所 示之步驟F304A。

亦即，當步驟F302中判定為不是所定等級範圍內時，則將穩定時間計測計數器CTst的值清除成0的例子。 若如此設計，則持續沒有搖晃或運動之狀態是持續所定時間thTM，才會推定成為穩定攝像狀態，可提高推定的精確度。對熟練攝影的使用者而言，會想不要隨便發動主要被攝體判定處理，這樣反而比較理想。

反之，像是圖12A的步驟F304那樣進行減值，係即使瞬間有搖晃或姿勢變動，穩定時間計測計數器CTst仍不會被清除，因此可偵測出處於比較穩定之狀態，若以一般廣大使用者為對象來考量時，較為理想。

〔4-4：處理例3〕

以圖14、圖15來說明處理例3。處理例3也是，基於攝像視野變動的偵測結果來進行穩定攝像狀態之推定的例子。此處特別是，將伴隨攝像視野變動的運鏡之偵測結果，用於穩定攝像狀態之推定的例子。

此處所謂伴隨攝像視野變動的運鏡，係指橫搖、縱搖、變焦等，甚至包含這些的自動動作或基於使用者操作之動作。

運鏡的偵測係進行如下。

攝像視野之水平方向移動的橫搖，係可用例如陀螺儀感測器、或水平方向的加速度感測器來偵測。這些感測器係被設置在感測器部14即可。又，將攝像裝置10放在雲台等上，以雲台的橫搖馬達動作來進行橫搖時，亦可採用送往該橫搖機構的控制訊號，甚至若有雲台等之橫搖位置偵測感測器，則亦可利用其偵測值。控制部30係藉由這 些手法，就可偵測出橫搖的執行/不執行，或橫搖的移動量。

又，數位訊號處理部20，係例如由運動向量偵測部27或控制部30來進行影像資料解析，偵測出橫搖方向的運動，藉此亦可偵測出橫搖的執行/不執行，或橫搖的移動量。

攝像視野之垂直方向移動的縱搖，係可用例 如陀螺儀感測器、或垂直方向的加速度感測器來偵測。這些感測器係被設置在感測器部14即可。又，將攝像裝置10放在雲台等上，以雲台的縱搖馬達動作來進行縱搖時，亦可採用送往該縱搖機構的控制訊號，甚至若有雲台等之縱搖位置偵測感測器，則亦可利用其偵測值。控制部30係藉由這些手法，就可偵測出縱搖的執行/不執行，或縱搖的移動量。

又，數位訊號處理部20，係例如由運動向量偵測部27或控制部30來進行影像資料解析，偵測出攝像影像的縱搖方向之運動，藉此亦可偵測出縱搖的執行/不執行，或縱搖的移動量。

變焦係當使用者之變焦操作或自動控制而進 行變焦時，藉由控制部30向光學系驅動部13指示的變焦控制訊號，控制部30係可自己測知變焦動作。

又若設置變焦透鏡位置感測器來作為感測器部14，則控制部30係可從其偵測值來測知變焦透鏡的運動，亦即變焦動作。

控制部30係藉由這些手法，就可偵測出變焦的執行/不執行，或變焦移動量。

又，數位訊號處理部20或控制部30進行影像資料解析而偵測出被攝體領域的變化或攝角變化，藉此亦可測知變焦動作。

圖14A中係作為穩定攝像狀態推定處理的處 理例3，圖示了穩定攝像狀態推定部30b所執行的處理。

控制部30係在步驟F400中，根據穩定攝像狀態推定處理是否已經執行中，而將處理分歧。

在穩定攝像狀態推定處理被開始的時點上，由於並非執行中，因此控制部30係在步驟F407中，將穩定時間計測計數器CTst重置成0。又將表示是有已經推定成為穩定攝像狀態的推定旗標Fst，初期化成Fst=0。

和之前的處理例1、2同樣地，推定旗標Fst=0之期間，圖2A之處理是重複步驟F1000、亦即圖14A之處理。

穩定攝像狀態推定處理被開始以後，圖14A 之處理係從步驟F400前進至F401。

控制部30係在步驟F401中，取得來自感測器部14的感測器輸入，例如陀螺儀感測器的偵測值、或本身向光學系驅動部13所發出之變焦動作之指示值等。亦即，偵測出橫搖‧縱搖‧變焦的各動作狀態。

接著，控制部30係在步驟F402中判定，橫 搖或縱搖動作所致之運動的偵測值是否在所定等級範圍內的判定、以及變焦動作，是否有被進行。所謂橫搖或縱搖 動作所致之運動的偵測值在所定等級範圍，係表示橫搖或縱搖未被進行，或是即使有進行但為微小運動之狀況的等級範圍。

控制部30，係當判定為，針對橫搖‧縱搖動 作之感測器的偵測值是在所定等級範圍內，且變焦動作未被進行的情況下，則前進至步驟F403，將穩定時間計測計數器CTst予以增值。

另一方面，控制部30係當判定感測器之偵測值並非在所定等級範圍內，橫搖或縱搖動作有被進行，或是變焦動作有被進行的情況下，則前進至步驟F404，將穩定時間計測用的計數器CTst予以減值。

控制部30係在步驟F405中，將計數器CTst 的計數值、和推定所需之所定時間thTM，進行比較。

計數器CTt之值若未超過所定時間thTM，則直接結束處理。亦即直接當作推定旗標Fst=0。

又，控制部30係在步驟F405中判定為CTst>thTM時，則前進至步驟F406，認為已經推定是穩定攝像狀態，而設定推定旗標Fst=1。

一旦如此設定推定旗標Fst=1，則圖2A的步驟F1001中，控制部30係認為主要被攝體判定開始，前進至步驟F1002~F1004。

此處理所做的動作例，以圖15來說明。

圖15係控制部30是以陀螺儀感測器來測知橫搖‧縱搖動作，並以變焦動作之指示值來偵測出變焦動作的情形 。縱軸係表示陀螺儀感測器的偵測值、及變焦指示值輸出，橫軸係表示時間。針對陀螺儀感測器輸出係以虛線所示之波形的各點，係為各時點的步驟F401上由控制部30所輸入之偵測值。所謂步驟F402中所判斷的所定等級範圍，係為偵測值的等級L1~L2之範圍。

為了使變焦動作執行，作為控制部30向光學系驅動部13輸出的指示值，T-ON係為往望遠側的動作指示值輸出，W-ON係為往廣角側的動作指示值輸出。控制部30係藉由自身的指示值輸出，就可確認變焦動作之有無。

又，也顯示了推定旗標Fst之值。

然後，假設在時點t0上，開始穩定攝像狀態推定處理。

陀螺儀感測器的偵測值，係在橫搖或縱搖執行中變成較大的等級。

因此，偵測值落在所定等級範圍內這件事情是可判斷成，橫搖或縱搖未被進行、或是只進行微小的橫搖、縱搖之狀況。

在此例中係為，到時點t1為止，偵測到是有進行橫搖或縱搖，或有進行變焦。因此在該時點t1之前，想定使用者是將攝像裝置10大幅運動來找尋被攝體，尋找攝角的狀況。

使用者不執行橫搖、縱搖、變焦動作的期間，係考想成某種程度地將攝像視野對準而穩當架好攝像裝置10，達到等待快門時機的狀況。

例如從時點t1起，就沒有執行較大的橫搖、縱搖、變焦動作。

在圖14A之處理中，在此種狀況下，穩定時間計測計數器CTst會被逐漸增值，因此若該狀況持續，則在某時點上穩定時間計測計數器CTst的值會超過所定時間thTM的值。例如在時點t2上變成CTst>thTM。

若在上記步驟F405中判定如此，則在步驟F406中設定推定旗標Fst=1。如圖15A所示，在時點t2上，推定旗標Fst=1。

藉由如此不執行橫搖、縱搖、變焦動作的期間持續某種程度之事實，亦即攝像影像的攝像視野變動較小的期間是持續某種程度之事實，就可判定攝像視野處於穩定。此時推定為是處於穩定攝像狀態。

所謂橫搖、縱搖、變焦動作所致之攝像裝置 10的視野變動較小，係係由於攝像者粗略地決定被攝體影像或攝角而欲進行攝像這件事能夠以高精確度加以推定，所以基於此種穩定攝像狀態推定結果，在在圖2A的步驟F1001中開始主要被攝體判定，藉此，可在適切的時序上，執行主要被攝體判定處理。

此外，在圖14A之處理例3中，步驟F402中 係以橫搖或縱搖動作、與變焦動作的AND條件來進入步驟F403，將穩定時間計測計數器CTst予以增值，但亦可考慮僅將橫搖或縱搖動作、與變焦動作之另一方面認定為偵測對象，亦可考慮將雙方都視為偵測對象，以OR條件 來進入步驟F403。

又，穩定時間計測計數器CTst之處理係亦可 想到其他。

如圖14A中以虛線所示，當不滿足步驟F402之條件時，亦可不將穩定時間計測計數器CTst予以減值，直接保留計數值而進入步驟F405。

又，亦可將步驟F404之處理，改成圖14B所示之步驟F404A。亦即，若不滿足步驟F402之條件，則將穩定時間計測計數器CTst的值清除成0的例子。

減值、清除、保留之任一例子，都如處理例2的說明中所述，各有其適合的情形。

〔4-5：處理例4〕

以圖16、圖17來說明處理例4。處理例4也是，基於攝像視野變動的偵測結果來進行穩定攝像狀態之推定的例子。此處特別是，將攝像裝置10的曝光動作、對焦動作的偵測結果，用於穩定攝像狀態之推定的例子。

此外，此處所謂的曝光動作、對焦動作，係包含控制部30之控制所致之自動光圈、自動對焦之情形，或基於使用者操作的曝光調整動作、對焦動作。

控制部30係可進行曝光動作之偵測如下。

曝光調整，係藉由光學系11中的光圈機構亦即機械光圈之調整、成像器12的快門速度、成像器12所得到之攝像影像訊號之增益調整，而被執行。控制部30，係隨 應於使用者操作，或是隨應於從攝像影像資料所偵測出來的亮度位準等而自動地進行其部分或全部之調整，以實現曝光調整。因此，控制部30係藉由對光學系驅動部13、成像器12、或數位訊號處理部20的曝光控制指示值，自己就可測知曝光調整是否正被進行。或是其控制量也可藉由指示值來判定。

又，若設置用來偵測機械光圈之開口量的感測器，則控制部30係可藉由該當感測器之偵測值來測知機械光圈所做的曝光調整動作。

甚至，或者數位訊號處理部20或控制部30進行影像資料的亮度值解析，成為自動曝光調整所被進行之亮度偵測值的情況下，或是偵測到較大亮度變化的情況下，亦可測知曝光調整已被進行。

對焦調整係以光學系11中的對焦透鏡移動而被進行。控制部30，係隨應於使用者操作，或以自動對焦控制的方式而自動地，進行對焦調整。因此，控制部30係藉由對光學系驅動部13的控制訊號，自己就可測知對焦調整是否正被進行、或對焦透鏡移動量。

又若設置有對焦透鏡位置感測器來作為感測器部14，則控制部30係可藉由測知其偵測值來偵測出對焦調整動作的狀況。

又，數位訊號處理部20或控制部30進行影像資料的焦點解析、對比解析等，藉此亦可測知對焦透鏡移動正在 進行。

圖16A中係作為穩定攝像狀態推定處理的處理例4，圖示了穩定攝像狀態推定部30b所執行的處理。

控制部30係在步驟F500中，根據穩定攝像狀態推定處理是否已經執行中，而將處理分歧。

在穩定攝像狀態推定處理被開始的時點上，控制部30係使處理前進步驟F500→F507，將穩定時間計測計數器CTst重置成0。又將表示是有已經推定成為穩定攝像狀態的推定旗標Fst，初期化成Fst=0。

和之前的處理例1、2、3同樣地，推定旗標Fst=0之期間，圖2A之處理是重複步驟F1000、亦即圖16A之處理。

穩定攝像狀態推定處理被開始以後，圖16A之處理係從步驟F500前進至F501。

控制部30係在步驟F501中，取得來自感測器部14的感測器輸入、例如對焦透鏡位置感測器的偵測值、或本身向光學系驅動部13等所發出之對焦透鏡移動指示值、曝光調整所需之指示值等。亦即偵測出曝光調整動作或對焦調整動作的各動作狀態。

接著控制部30係在步驟F502中，進行曝光調整所致之曝光調整動作之變動是否在所定等級範圍內之判定、以及對焦調整動作所致之焦距變動是否在所定等級範圍內之判定。此時的所謂所定等級範圍，係表示曝光調整或對焦調整未被進行，或就算有進行但曝光狀態或對焦 狀態是在微小變動範圍內之狀況的等級範圍。

控制部30，係在判定曝光調整動作、及對焦 調整動作之運動是在所定等級範圍內，曝光調整動作、及對焦調整動作未被進行，或僅為小的運動時，則前進至步驟F503，將穩定時間計測計數器CTst予以增值。

另一方面，控制部30係在判定感測器之偵測值是超過所定等級範圍，曝光調整動作有被進行，或對焦調整動作有被進行的情況下，則前進至步驟F504，將穩定時間計測用的計數器CTst予以減值。

控制部30係在步驟F505中，將計數器CTst 的計數值、和推定所需之所定時間thTM，進行比較。

計數器CTt之值若未超過所定時間thTM，則直接結束處理。亦即直接當作推定旗標Fst=0。

又，控制部30係在步驟F505中判定為CTst>thTM時，則前進至步驟F506，認為已經推定是穩定攝像狀態，而設定推定旗標Fst=1。

一旦如此設定推定旗標Fst=1，則圖2A的步驟F1001中，控制部30係認為主要被攝體判定開始，前進至步驟F1002~F1004。

此處理所做的動作例，以圖17來說明。

圖17係表示控制部30藉由感測器或指示值而測知的曝光調整動作與對焦調整動作。關於曝光調整動作，係以實線表示機械光圈的位置，以虛線表示位置變動。各點係為各時點的步驟F501上控制部30所測知的位置變動之 值。

又，關於對焦調整動作，係以虛線表示對焦透鏡位置差分。各點係為各時點的步驟F501上控制部30所測知的透鏡位置變動量之值。

所謂步驟F502中所判斷的所定等級範圍，係指作為光圈位置差分之偵測值的等級L10~L11之範圍，及作為對焦透鏡位置差分之偵測值的等級L20~L21之範圍。這些等級是表示，機械光圈的開口狀態、對焦透鏡位置，都是沒有變動或者是在微小量的範圍。

又，也顯示了推定旗標Fst之值。

然後，假設在時點t0上，開始穩定攝像狀態推定處理。

機械光圈的位置差分，係為了曝光調整而進 行驅動的期間中會變大，但在沒有驅動的期間係為零。

關於對焦透鏡位置差分也是，為了對焦調整而正在驅動對焦透鏡的期間係變大，但未驅動的期間係為零。但是，對焦透鏡，係為了自動對焦控制，而也會經常性地前後驅動，在此種情況下，會觀測到如圖所示的微小之位置變動。在此例中係為，到時點t1為止，會偵測到曝光調整動作有被進行、或對焦調整有被進行。因此，到時點t1為止，使用者係以手動進行曝光調整、對焦調整等等，或藉由自動控制，調整曝光狀態、對焦狀態。此種情況下，係想定使用者並非處於對被攝體等待快門時機的狀況。

若曝光調整或對焦調整呈現穩定，則攝像影 像也會穩定，可認為使用者進入實際的攝像。例如從時點t1起，就沒有執行較大的曝光調整或對焦調整。

在圖16A之處理中，在此種狀況下，穩定時間計測計數器CTst會被逐漸增值，因此若該狀況持續，則在某時點上穩定時間計測計數器CTst的值會超過所定時間thTM的值。例如在時點t2上變成CTst>thTM。

若在上記步驟F505中判定如此，則在步驟F506中設定推定旗標Fst=1。如圖17所示，在時點t2上，推定旗標Fst=1。

藉由如此沒有執行較大曝光調整或對焦調整之期間是持續某種程度，就會幾乎沒有攝像視野變動，可判定成攝像視野呈現穩定。此時推定為是處於穩定攝像狀態。

在攝像裝置10上幾乎沒有進行曝光調整或對 焦調整的狀況，係攝像者為了攝像所需之準備已經大致妥當，可推定為穩定攝像狀態。於是基於此種穩定攝像狀態推定結果，在在圖2A的步驟F1001中開始主要被攝體判定，藉此，可在適切的時序上，執行主要被攝體判定處理。

此外，在圖16A之處理例4中，步驟F502中 係以針對曝光調整動作與對焦調整動作之判定的AND條件來進入步驟F503，將穩定時間計測計數器CTst予以增值，但亦可考慮僅進行針對曝光調整動作與對焦調整動作之判定的一方，也可考慮將雙方都視為偵測對象，以OR條件來進入步驟F403。

又，曝光調整動作之偵測，係亦可以機械光圈動作、快門速度變更動作、對攝像影像訊號之增益調整動作之全部為對象，亦可僅一部分。

又，穩定時間計測計數器CTst之處理係亦可 想到其他。

如圖16A中以虛線所示，當不滿足步驟F502之條件時，亦可不將穩定時間計測計數器CTst予以減值，直接保留計數值而進入步驟F505。

又，亦可將步驟F504之處理，改成圖16B所示之步驟F504A。亦即，若不滿足步驟F502之條件，則將穩定時間計測計數器CTst的值清除成0的例子。

減值、清除、保留之任一例子，都如處理例2的說明中所述，各有其適合的情形。

〔4-6：處理例5〕

以圖18、圖19、圖20來說明處理例5。處理例5也是，基於攝像視野變動的偵測結果來進行穩定攝像狀態之推定的例子，但此處特別是，進行攝像影像的運動向量之解析，將其解析結果用於穩定攝像狀態之推定的例子。

首先針對這裡所謂的運動向量，以圖19來說明。

圖19A係表示，運動向量偵測部27，以時間軸上依序獲得之各畫格的攝像影像資料為對象，偵測出運動向量。

運動向量偵測部27，係如圖19B所示，將1畫格之畫面分割成多數領域，在各領域中，將畫格遷移之期間內的被攝體領域之運動，偵測成為向量，進行此種處理。

如虛線或實線所示，各領域中所被偵測到的向量，稱作本地向量。

但是，在本地向量中，作為為了穩定攝像狀態推定而使用的向量，會有信賴度較高者和較低者。

例如，人、動物、移動體等，有主要被攝體判定對象之被攝體存在的領域，係對比度比較高因而信賴度較高。

另一方面，被攝體是以背景等方式而存在的領域，係對比度比較低因而信賴度較低。

在圖19B中，將信賴度高之領域的本地向量以實線表示，信賴度低之領域的本地向量以虛線表示。

在此處理例5中，是將畫面的整體性運動， 用於穩定攝像狀態推定。表示整體性運動的，並非本地向量，而是打上斜線之箭頭所示的全域向量。此全域向量，係可用信賴度高之本地向量的平均等，而加以求出。

運動向量偵測部27，係從被依序輸入之畫格影像資料中，依序算出全域向量，將其依序供給至控制部30，係進行此種動作。

圖18A中係作為穩定攝像狀態推定處理的處 理例5，圖示了穩定攝像狀態推定部30b所執行的處理。

控制部30係在步驟F600中，根據穩定攝像狀態推定處理是否已經執行中，而將處理分歧。

在穩定攝像狀態推定處理被開始的時點上，控制部30係前進步驟F600→F607，將穩定時間計測計數器CTst重置成0。又將表示是有已經推定成為穩定攝像狀態的推定旗標Fst，初期化成Fst=0。

和之前的處理例1、2、3、4同樣地，推定旗標Fst=0之期間，圖2A之處理是重複步驟F1000、亦即圖18A之處理。

穩定攝像狀態推定處理被開始以後，圖18A 之處理係從步驟F600前進至F601。

控制部30係在步驟F601中，從運動向量偵測部27取得全域向量之值。此外，這裡雖然是說向量，但在本處理例中係只要取得向量的運動量即可。

接著，控制部30係在步驟F602中，進行已 取得之全域向量之運動量是否在所定等級範圍內之判定。 此時所謂的所定等級範圍，係為表示畫面上被攝體之整體性運動的量較小的此種狀況的等級範圍。

控制部30，係當全域向量之運動量是在所定 等級範圍內，判定為攝像影像沒有大幅運動的情況下，則前進至步驟F603，將穩定時間計測計數器CTst予以增值。

另一方面，控制部30，係當全域向量之運動量是超過所定等級範圍的量，而判定為攝像影像有大幅運動的情況下，則前進至步驟F604，將穩定時間計測用的計數器CTst予以減值。

控制部30係在步驟F605中，將計數器CTst 的計數值、和推定所需之所定時間thTM，進行比較。

計數器CTt之值若未超過所定時間thTM，則直接結束處理。亦即直接當作推定旗標Fst=0。

又，控制部30係在步驟F605中判定為CTst>thTM時，則前進至步驟F606，認為已經推定是穩定攝像狀態，而設定推定旗標Fst=1。

一旦如此設定推定旗標Fst=1，則圖2A的步驟F1001中，控制部30係認為主要被攝體判定開始，前進至步驟F1002~F1004。

此處理所做的動作例，以圖20來說明。

圖20係將全域向量的純量值之位移，以虛線來表示。各點係為各時點的步驟F601上控制部30所測知的全域向量的運動量。

所謂步驟F602中所判斷的所定等級範圍，係為運動量的等級L30~L31之範圍。這是表示，攝像影像內之被攝體中沒有整體性運動或是即使有也是微小量之範圍。

又，也顯示了推定旗標Fst之值。

然後，假設在時點t0上，開始穩定攝像狀態推定處理。

在此例中，在時點t1為止，作為整體性運動 ，是偵測出比較大的運動。例如係被想定為，使用者將攝像裝置10穩當架好前的狀況、或粗略地找尋被攝體的狀態、或是被攝體大幅度動來動去的這類狀況。

另一方面，時點t1以後，運動量會變小在所定等級範圍內。此係想定為，使用者將攝像裝置10穩當架好，佔去畫面大半面積之被攝體是對攝像裝置10呈現近似相對靜止之狀況。

在圖18A之處理中，在此種時點t1以後的狀況下，穩定時間計測計數器CTst會被增值，在時點t2上，穩定時間計測計數器CTst的值會超過所定時間thTM的值。若在上記步驟F605中判定如此，則在步驟F606中設定推定旗標Fst=1。如圖20所示，在時點t2上，推定旗標Fst=1。

藉由如此攝像影像上之整體性運動較小之期間是持續某種程度，就幾乎沒有攝像視野變動，可判定攝像視野呈現穩定。此時推定為是處於穩定攝像狀態。

如以上例子所示，在處理例5中，穩定攝像 狀態推定部30b係將攝像影像的運動偵測結果，用於穩定攝像狀態之推定。尤其是，作為關於攝像影像資料之解析處理，是進行全域向量偵測，隨著該運動狀況而進行攝像視野穩定之穩定攝像狀態的推定。

此外，在圖18A之處理例5中，在步驟F502 中雖然針對全域向量的運動量而判定是否在所定等級範圍內，但向量亦可加入運動的方向來進行判定。

又，藉由也分析各領域之本地向量，也可推定出多樣之被攝體與攝像裝置10之相對運動狀況，因此亦可考慮使用本地向量。

又，穩定時間計測計數器CTst之處理係亦可 想到其他。

如圖18A中以虛線所示，當不滿足步驟F602之條件時，亦可不將穩定時間計測計數器CTst予以減值，直接保留計數值而進入步驟F605。

又，亦可將步驟F604之處理，改成圖18B所示之步驟F604A。亦即，若不滿足步驟F602之條件，則將穩定時間計測計數器CTst的值清除成0。

減值、清除、保留之任一例子，都如處理例2的說明中所述，各有其適合的情形。

〔4-7：推定處理中所使用之所定時間的變更處理〕

在以上的處理例1~處理例5中，在穩定攝像狀態之推定上，使用了所定時間thTM。此所定時間thTM，係於各處理例中，都是被設定成固定，但亦可如以下所述般地使其變化。亦即在穩定攝像狀態推定處理中，令穩定攝像狀態之推定時所使用的關於時間之條件，隨應於穩定攝像狀態推定處理的執行時序而變化。

圖21中係圖示一例。例如作為所定時間 thTM是設置了時間thTM1、thTM2、thTM3之3種類。令thTM1>thTM2>thTM3。

穩定攝像狀態推定處理，係在圖9、圖10所說明的機會中會被執行，但例如在電源開啟後的所定期間內，穩定攝像狀態推定處理被執行的情況下，則作為所定時間thTM是使用比較長的時間thTM1。又，從再生模式MD2 進入相機模式MD1起算的所定期間內，穩定攝像狀態推定處理被執行的情況下，則作為所定時間thTM是使用比較長的時間thTM1。

這些情況係為，使用者係剛進行電源操作或模式操作，很少會立刻變成將相機穩當架好而瞄準被攝體的狀況。於是，將用來推定成穩定攝像狀態所需的所定時間thTM加長，在提高推定之精確度的意義上，是適切的。

又，電源開啟或進入相機模式MD1起，經過上記所定期間後的相機模式MD1中，尚未進行任何1次主要被攝體判定時，則作為所定時間thTM是使用標準的時間thTM2。

這是因為，認為使用者的攝像動作之準備已經達到某種程度。

但是，一度進行了主要被攝體判定之後，再度進行穩定攝像狀態推定處理的機會時，作為所定時間thTM是使用最短的時間thTM3。這是因為，例如圖9、圖10所說明，在主要被攝體資訊利用被設成不能之後，需要比較迅速地重新進行主要被攝體判定處理。

甚至，在某種程度之期間、主要被攝體判定未被進行之期間是持續的狀況下，作為所定時間thTM是使用標準的時間thTM2。

以上係為一例，但例如控制部30係將如圖22所示之推定所定時間設定處理，以某種時間間隔的岔斷處理等來進行之，藉此，就可隨應於穩定攝像狀態推定處理 的執行機會而進行所定時間thTM之變更。

於圖22中，控制部30係在步驟F4000中， 判斷從電源開啟起是否在Ta期間內。若在Ta期間內，則步驟F4006中作為所定時間thTM是設定最長的時間thTM1。

又，若從電源開啟起並非Ta期間內，則控制部30係在步驟F4001中，判斷從進入相機模式MD1起是否在Tb期間內。若在Tb期間內，則步驟F4006中作為所定時間thTM是設定最長的時間thTM1。

若不該當於步驟F4000、F4001之判斷，則控 制部30係在步驟F4002中，在電源開啟後或進入相機模式MD1後，隨著是否為初次主要被攝體判定處理執行前，而處理會有所分歧。若為初次主要被攝體判定處理執行前，則步驟F4004中作為所定時間thTM是設定標準的時間thTM2。

若非初次主要被攝體判定處理執行前，則控 制部30係在步驟F4003中，判斷從前次主要被攝體判定起在Tc期間中，主要被攝體判定是否未被進行。若未被進行，則步驟F4004中作為所定時間thTM是設定標準的時間thTM2。

另一方面，若不該當於步驟F4003之判斷，則步驟F4005中，作為所定時間thTM是設定最短的時間thTM3。

於穩定攝像狀態推定處理中，在其執行時點上，會採用以上的圖22之處理中所設定的所定時間thTM。

藉此，如圖21所例示，隨應於穩定攝像狀態推定動作的執行機會，會使用適切的推定處理用之所定時間thTM，實現適切的動作。

<5.影像處理裝置之另一處理例>

上述的處理例1~處理例5，係以圖2A之處理中的步驟F1000為具體例的方式來說明。

圖2A的例子亦即係為，主要被攝體判定部30a是藉由穩定攝像狀態推定處理而已經推定為處於穩定攝像狀態時，執行主要被攝體判定處理，將其結果予以輸出的例子。

此處，針對圖3的攝像裝置10或圖1的影像處理裝置1中所被執行的穩定攝像狀態推定處理與主要被攝體判定處理，係亦可不只是圖2A所示之例子，亦可考慮如圖23所示之例子。

圖23的例子，係在相機模式中，如圖23A所 示般地隨時重複進行主要被攝體判定處理。

亦即被設成相機模式MD1之期間，主要被攝體判定部30a係在步驟F2000中開始候補影像偵測，在步驟F2001中執行主要被攝體判定處理。此步驟F2001的詳細處理，係和圖2B之處理F1~F3相同。

若在步驟F2001中進行主要被攝體判定，則在該時點上，不會進行判定結果的主要被攝體資訊往應用程式等之交付，在步驟F2002中會將其保持在內部記憶體中。然後其後再次進行步驟F2000、F2001、F2002。

另一方面，穩定攝像狀態推定部30b所做的 穩定攝像狀態推定處理，係一旦到達如圖9、圖10中所說明之執行機會，則會如圖23B般地被執行。

首先，控制部30係在步驟F3000中，進行穩定攝像狀態推定處理。例如，如上記處理例1~處理例5所示般地，執行穩定攝像狀態推定處理。

在某時點上若推定成為穩定攝像狀態，則控制部30係從步驟F3001前進至F3002，獲得主要被攝體資訊。這是如圖23A所示，作為被隨時執行之主要被攝體判定處理，是將此時點上所記憶之最新主要被攝體資訊，從內部記憶體予以讀出。

然後控制部30係在步驟F3003中，將該當已取得之主要被攝體資訊，交付給應用程式等。

亦即以上的圖23之處理，係為主要被攝體判 定部30a，逐次執行主要被攝體判定處理。然後，穩定攝像狀態推定部30b係在圖9、圖10所說明的執行機會上，進行穩定攝像狀態推定處理。這是當已被此穩定攝像狀態推定處理推定為穩定攝像狀態時，控制部30係將最新之主要被攝體判定處理之結果，予以輸出的例子。

即便是如此處理，仍可在適切的時序上，向應用程式等輸出主要被攝體資訊。

<6.對程式及電腦裝置之適用>

以上說明了影像處理裝置1、攝像裝置10的實施形 態，但上述的主要被攝體判定處理，係可藉由硬體來執行，也可藉由軟體來執行。

實施形態的程式係為，令例如CPU(Central Processing Unit)、DSP(Digital Signal Processor)等之演算處理裝置，執行上述實施形態所示之處理所需的程式。

亦即程式係為，一種程式其係令演算處理裝置執行：穩定攝像狀態推定步驟，係進行推定是否為穩定攝像狀態的穩定攝像狀態推定處理；和主要被攝體判定步驟，係進行主要被攝體判定處理；和輸出步驟，當藉由穩定攝像狀態推定處理而推定為是處於穩定攝像狀態時，就將主要被攝體判定處理之結果，予以輸出。

具體而言，實施形態之程式，係只要是一種 程式，其係針對圖2或圖23所示之處理、主要被攝體判定處理，係令演算處理裝置執行圖4、圖8所說明之處理；而且，針對穩定攝像狀態推定處理，係令演算處理裝置執行以處理例1~處理例5而說明過的處理。

藉由此種程式，就可使用演算處理裝置來實現執行上述的穩定攝像狀態推定處理及主要被攝體判定處理的裝置。

此種程式係可預先被記錄在內建於電腦裝置 等之機器中的做為記錄媒體之HDD、或具有CPU的微電腦內的ROM等中。

又或者可暫時性或永久性地被記錄在軟碟片、CD-ROM(Compact Disc Read Only Memory)、MO(Magnet Optical)碟、DVD(Digital Versatile Disc)、藍光碟片、磁碟、半導體記憶體、記憶卡等可移除式記錄媒體中待用。此種可移除式記錄媒體，係可以所謂套裝軟體的方式來提供。

又，此種程式係除了從可移除式記錄媒體安裝至個人電腦等以外，還可從下載網站，透過LAN(Local Area Network)、網際網路等之網路而下載。

又若依據此種程式，則可適合於實施形態之影像處理裝置的廣泛提供。例如，藉由將程式下載至個人電腦、攜帶型資訊處理裝置、行動電話機、遊戲機器、視訊機器、PDA(Personal Digital Assistant)等中，就可使該當攜帶型資訊處理裝置等，變成本揭露之影像處理裝置。

例如，在如圖24所示的電腦裝置中，就可執行和圖1之影像處理裝置1或攝像裝置10的穩定攝像狀態推定處理及主要被攝體判定處理相同的處理。

圖24中，電腦裝置70的CPU71，係聽令於ROM72內所記憶之各種程式，或從記憶部78載入至RAM73之程式，而執行各種處理。RAM73中，還適宜地記憶著CPU71在執行各種處理時所必需的資料等。

CPU71、ROM72、及RAM73，係透過匯流排74而彼此連接。該匯流排74，係還連接著輸出入介面75。

輸出入介面75上，係連接著由鍵盤、滑鼠等所成之輸入部76、由CRT(Cathode Ray Tube)或LCD、或有機EL面板等所成之顯示器、以及油揚聲器等所成之輸 出部77、由硬碟等所構成之記憶部78、由數據機等所構成之通訊部79。通訊部79，係透過包含網際網路的網路而進行通訊處理。

輸出入介面75上係還因應需要而連接驅動機 80；可適宜裝著磁碟、光碟、光磁碟、或者半導體記憶體等之可移除式媒體81，從其中所讀出之電腦程式，是可依照需要而被安裝至記憶部78中。

在以軟體來執行上述的穩定攝像狀態推定處 理、主要被攝體判定處理時，構成該軟體的程式，係可從網路或記錄媒體來安裝。

該記錄媒體，係如圖24所示，是有別於裝置 本體，是由用來對使用者配送程式而發佈之、記錄著程式之磁碟(包含軟碟片)、光碟(包含藍光碟片(Blu-ray Disc(註冊商標)、CD-ROM、DVD)、光磁碟(包含MD(Mini Disc))、或者是由半導體記憶體等所成之可移除式媒體81所構成。或者，亦可由以預先組裝在裝置本體中之狀態而配送給使用者的記錄有程式之ROM72、或包含在記憶部78裡的硬碟等來構成。

此種電腦裝置70，係藉由通訊部79所致之收 訊動作，或驅動機80、可移除式媒體81、或是記錄部78的再生動作等，而輸入了動畫資料之際，CPU71就會基於程式而執行上述穩定攝像狀態推定部(3、30b)及主要被攝體判定部(2,30a)的機能。亦即，藉由執行如圖2、圖23所示的處理，就可針對所被輸入之影像資料，在適切的時 序上，進行主要被攝體判定。

<7.變形例>

上述的實施形態，係可考慮有各種變形例。

於穩定攝像狀態推定處理中，係亦可將上述的處理例1~處理例5當中的複數處理例，加以組合。

例如可將處理例1~處理例5當中的數者加以組合，以該各處理例中的穩定攝像狀態之推定結果的OR條件或AND條件，來推定成穩定攝像狀態。

又在令處理例1~處理例5做組合時，亦可取代各處理例中穩定攝像狀態推定所需之權重，改成設定判定之優先順位。例如在將處理例2與處理例3做組合時，可使各處理例中的計數器CTst的增值之值為不同的值，或可使所定時間thTM係為不同的值等等。

又，於攝像裝置10的例子中，穩定攝像狀態 推定處理係在相機模式MD1、或主要被攝體判定模式MD11下執行，但亦可在再生模式MD2下執行。

例如雖然說明主要被攝體資訊，係亦可利用於影像效果處理或影像編輯處理，但為此還必須要把再生影像當作對象來進行主要被攝體判定處理，因此在再生影像中先進行攝像時的穩定攝像狀態推定，然後執行主要被攝體判定處理，也是有用的。

將例如再生影像變化較少的狀況，推定成攝像時的穩定攝像狀態，此時亦可進行主要被攝體判定處理，然後進 行影像編輯、影像效果處理，進行再生顯示、編輯資料之作成等。

又，此種以再生影像為對象的穩定攝像狀態推定處理及主要被攝體判定處理，係在圖1的影像處理裝置、圖24的資訊處理裝置等中，也是當然被想定。

又，針對主要被攝體判定處理的結果，亦可 對其後所拍攝的已被記錄之靜止影像資料或動畫資料，當作詮釋資料(metadata)而予以附加。亦即將表示主要被攝體之資訊，附加至靜止影像檔案等。

又，亦可設計成，在顯示透視檢視影像、同 時進行主要被攝體判定處理的期間中，讓攝像者之操作所致之主要被攝體指定操作成為可能。

又，在實施形態中，雖然主要想定了靜止影 像攝影來說明判定主要被攝體的處理，但即使在動畫攝像所需的待機中、或是動畫攝像及記錄執行中，作為從所拍攝之複數畫格中進行主要被攝體判定的處理，亦可適用上記實施形態之處理。

此外，本技術係亦可採取如下之構成。

(1)一種影像處理裝置，具備：穩定攝像狀態推定部，係進行推定是否為穩定攝像狀態的穩定攝像狀態推定處理；和主要被攝體判定部，係進行主要被攝體判定處理，並且當藉由穩定攝像狀態推定處理而推定為是處於穩定攝像狀態時，就將主要被攝體判定處理之結果，予以輸出。

(2)如上記(1)所記載之影像處理裝置，其中，穩定攝像狀態推定部，係於穩定攝像狀態推定處理中，基於攝像視野變動之偵測結果，來進行穩定攝像狀態之推定。

(3)如上記(2)所記載之影像處理裝置，其中，穩定攝像狀態推定部，係將用來偵測會生成攝像影像之攝像裝置之運動的感測器之輸出，用於攝像視野變動之偵測。

(4)如上記(2)或(3)所記載之影像處理裝置，其中，穩定攝像狀態推定部，係將用來偵測會生成攝像影像之攝像裝置的攝像光學系之運動的感測器之輸出，用於攝像視野變動之偵測。

(5)如上記(2)至(4)之任一項所記載之影像處理裝置，其中，穩定攝像狀態推定部，係將生成攝像影像之攝像裝置的動作控制所需之指示值，用於攝像視野變動之偵測。

(6)如上記(2)至(5)之任一項所記載之影像處理裝置，其中，穩定攝像狀態推定部，係將關於攝像影像資料的解析處理結果，用於攝像視野變動之偵測。

(7)如上記(6)所記載之影像處理裝置，其中，穩定攝像狀態推定部，係進行攝像影像的運動偵測，來作為關於攝像影像資料的解析處理。

(8)如上記(1)至(7)之任一項所記載之影像處理裝置，其中，穩定攝像狀態推定部，係於穩定攝像狀態推定處理中，把自從進入了主要被攝體判定處理為有效機能之所定模式狀態的時點起已經經過了所定時間的此一事實當作一條件，而推定為穩定攝像狀態。

(9)如上記(1)至(8)之任一項所記載之影像處理裝置，其中，穩定攝像狀態推定部，係使穩定攝像狀態推定處理中推定為穩定攝像狀態時所使用的關於時間之條件，隨應於穩定攝像狀態推定處理的執行時序而變化。

(10)如上記(1)至(9)之任一項所記載之影像處理裝置，其中，穩定攝像狀態推定部，係隨應於變成主要被攝體判定處理為有效機能之所定模式狀態的事實，來進行穩定攝像狀態推定處理。

(11)如上記(1)至(10)之任一項所記載之影像處理裝置，其中，穩定攝像狀態推定部，係在主要被攝體判定處理之結果的使用被設成不能或不要之後，進行穩定攝像狀態推定處理。

(12)如上記(1)至(11)之任一項所記載之影像處理裝置，其中，主要被攝體判定部，係當已被穩定攝像狀態推定處理而推定為穩定攝像狀態時，執行主要被攝體判定處理，將該主要被攝體判定處理之結果的主要被攝體資訊，予以輸出。

(13)如上記(1)至(11)之任一項所記載之影像處理裝置，其中，主要被攝體判定部，係逐次執行主要被攝體判定處理；當已被穩定攝像狀態推定處理而推定為穩定攝像狀態時，將最新之主要被攝體判定處理之結果的主要被攝體資訊，予以輸出。

1‧‧‧影像處理裝置

2‧‧‧主要被攝體判定部

3‧‧‧穩定攝像狀態推定部

Inf‧‧‧推定用資訊

Dg‧‧‧影像資料

Dm‧‧‧主要被攝體資訊

Claims (15)

1. 一種影像處理裝置，具備：穩定攝像狀態推定部，係進行推定是否為穩定攝像狀態的穩定攝像狀態推定處理；和主要被攝體判定部，係進行主要被攝體判定處理，並且當藉由上記穩定攝像狀態推定處理而推定為是處於穩定攝像狀態時，就將上記主要被攝體判定處理之結果，予以輸出。
2. 如請求項1所記載之影像處理裝置，其中，上記穩定攝像狀態推定部，係於上記穩定攝像狀態推定處理中，基於攝像視野變動之偵測結果，來進行穩定攝像狀態之推定。
3. 如請求項2所記載之影像處理裝置，其中，上記穩定攝像狀態推定部，係將用來偵測會生成攝像影像之攝像裝置之運動的感測器之輸出，用於上記攝像視野變動之偵測。
4. 如請求項2所記載之影像處理裝置，其中，上記穩定攝像狀態推定部，係將用來偵測會生成攝像影像之攝像裝置的攝像光學系之運動的感測器之輸出，用於上記攝像視野變動之偵測。
5. 如請求項2所記載之影像處理裝置，其中，上記穩定攝像狀態推定部，係將生成攝像影像之攝像裝置的動作控制所需之指示值，用於上記攝像視野變動之偵測。
6. 如請求項2所記載之影像處理裝置，其中，上記穩 定攝像狀態推定部，係將關於攝像影像資料的解析處理結果，用於上記攝像視野變動之偵測。
7. 如請求項6所記載之影像處理裝置，其中，上記穩定攝像狀態推定部，係進行攝像影像的運動偵測，來作為關於攝像影像資料的解析處理。
8. 如請求項1所記載之影像處理裝置，其中，上記穩定攝像狀態推定部，係於上記穩定攝像狀態推定處理中，把自從進入了上記主要被攝體判定處理為有效機能之所定模式狀態的時點起已經經過了所定時間的此一事實當作一條件，而推定為穩定攝像狀態。
9. 如請求項1所記載之影像處理裝置，其中，上記穩定攝像狀態推定部，係使上記穩定攝像狀態推定處理中推定為穩定攝像狀態時所使用的關於時間之條件，隨應於上記穩定攝像狀態推定處理的執行時序而變化。
10. 如請求項1所記載之影像處理裝置，其中，上記穩定攝像狀態推定部，係隨應於變成上記主要被攝體判定處理為有效機能之所定模式狀態的事實，來進行上記穩定攝像狀態推定處理。
11. 如請求項1所記載之影像處理裝置，其中，上記穩定攝像狀態推定部，係在上記主要被攝體判定處理之結果的使用被設成不能或不要之後，進行上記穩定攝像狀態推定處理。
12. 如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部，係當已被上記穩定攝像狀態推定處理 而推定為穩定攝像狀態時，執行上記主要被攝體判定處理，將該主要被攝體判定處理之結果的主要被攝體資訊，予以輸出。
13. 如請求項1所記載之影像處理裝置，其中，上記主要被攝體判定部，係逐次執行上記主要被攝體判定處理；當已被上記穩定攝像狀態推定處理而推定為穩定攝像狀態時，將最新之主要被攝體判定處理之結果的主要被攝體資訊，予以輸出。
14. 一種影像處理方法，具備：穩定攝像狀態推定步驟，係進行推定是否為穩定攝像狀態的穩定攝像狀態推定處理；和主要被攝體判定步驟，係進行主要被攝體判定處理；和輸出步驟，當藉由上記穩定攝像狀態推定處理而推定為是處於穩定攝像狀態時，就將上記主要被攝體判定處理之結果，予以輸出。
15. 一種程式，係令演算處理裝置執行：穩定攝像狀態推定步驟，係進行推定是否為穩定攝像狀態的穩定攝像狀態推定處理；和主要被攝體判定步驟，係進行主要被攝體判定處理；和輸出步驟，當藉由上記穩定攝像狀態推定處理而推定為是處於穩定攝像狀態時，就將上記主要被攝體判定處理 之結果，予以輸出。