201119368 六、發明說明： 【發明所屬之技術領域】 本發明係有關於影像處理裝置、影像處理方法及電腦 程式’更詳言之，是有關於將映像中的特徵點所附隨顯示 的附加資訊進行顯示處理的影像處理裝置、影像處理方法 及電腦程式。 【先前技術】 爲了使數位式訊攝影機或數位靜態相機等之攝像裝置 所拍攝到的映像成爲能更讓人歡樂的映像，使用者會對該 當映像追加註解或效果音而作成自創的映像。例如，可在 映像中人物的臉部附近設置對話框來記載註解，或是追加 想要強調人物之動作用的印章等等。 先前，對動畫內容附加別的影像時，爲了使附加影像 能配合動畫的動態而變化，使用者必須一面確認動畫內容 的內容，配合其時間變化來指示附加影像之顯示位置的變 更。又，爲了配合動畫之動態而使附加影像變形，使用者 必須一面和動畫內容的時間變化取得同步一面作成變形附 加影像。 〔先前技術文獻〕 〔非專利文獻〕 〔非專利文獻1〕將影像裝飾後再上傳（eDeco ) [2009年4月7日檢索]，網際網路 < U R L : http://support.d-imaging.sony.co.jp/www/ -5- 201119368 disoft/jp/pmb/feature/web/edeco.html> 【發明內容】 〔發明所欲解決之課題〕 可是，例如對於映像中移動的人物要附加影像是很困 難的，在先前的手法中係存在，附加影像的顯示設定需要 耗費很多手續與時間之問題。在設定複數附加影像時，作 業會更加繁雜，上述問題會更明顯。 於是，本發明係有鑑於上記問題而硏發，本發明的目 的在於提供一種對動畫中的運動對象能夠簡單地追加附加 資訊的新穎且改良過的影像處理裝置、影像處理方法及電 腦程式。 〔用以解決課題之手段〕 爲了解決上記課題，若依據本發明的某個觀點，則可 提供一種影像處理裝置，其係具備：特徵點偵測部，係用 以從動畫資料中偵測出特徵點；和關連處理部，係基於特 徵點選擇資訊，其係用以選擇使得被附隨於特徵點而顯示 之附加資訊被顯示出來的1或2個以上之特徵點，而將所被 選擇出來的特徵點和附加資訊，建立關連；和動作解析部 ，係用以解析，隨著動畫資料之再生而變化的特徵點之舉 動；和資料生成部，係基於已被動作解析部所解析出來的 特徵點之舉動加以表示的資訊，和隨著特徵點之舉動而使 被附加於特徵點之附加資訊改變用之變化模態加以表示的 -6 - 201119368 顯示劇本，生成使特徵點所被建立關連之附 作改變用的變化內容加以表示的資料。 若依據本發明，則對動畫資料中的特徵 加資訊而令淇顯示之際，就會基於表示特徵 作資訊、和隨著特徵點之舉動而使被附加於 資訊作改變用之變化模態加以表示的顯示劇 生成部自動地生成資料。藉此，對動畫中的 能簡單地追加附加資訊。 本發明的影像處理裝置，係亦可具備， 點選擇資訊的輸入部。此處，亦可具備：顯 ’係用以記憶，以特徵點之舉動模態和符合 之特徵點所被附加之附加資訊的顯示方法來 以上之顯示劇本。對輸入部還被輸入著顯示 ’其係用以選擇，使已被選擇之特徵點所被 訊作改變用的顯示劇本。然後，資料生成部 特徵點選擇資訊而被選擇的特徵點，當從動 出與已被選擇之顯示劇本之特徵點之舉動模 點之舉動時，生成使附加資訊以顯示劇本所 法而被顯示tB來用的資料》 又，本潑明的影像處理裝置，係亦可具 記憶部’係用以記憶1或2個以上之附加資訊 入部係輸入著選擇資訊，其係用以選擇，要 點的附加資訊。甚至還可具備：手繪資料輸 藉由手繪方式，輸入要附加至動畫資料的附: 加資訊的顯示 點，附隨了附 點之舉動的動 特徵點之附加 本，而由資料 運動對象，就 被輸入著特徵 示劇本記憶部 該當舉動模態 表示的1或2個 劇本選擇資訊 附加之附加資 ，係針對根據 作資訊中偵測 態相符的特徵 規定之顯示方 備：附加資訊 。此時，對輸 被附隨於特徵 入部，係用以 !1口資訊。 201119368 資料生成部，係可基於根據動作資訊而掌握的動畫資 料之影像內的特徵點之位置，而生成使特徵點所被建立關 連之附加資訊的顯示位置作改變用的資料。資料生成部， 係可基於根據動作資訊而掌握的動畫資料的相對於顯示尺 寸的特徵點之尺寸，而生成使特徵點所被建立關連之附加 資訊的尺寸作改變用的資料。 甚至，資料生成部，係亦可隨著根據動作資訊而掌握 的特徵點的表情之變化，而生成使特徵點所被建立關連之 附加資訊被顯示出來用的資料。又，資料生成部，係亦可 隨著根據動作資訊而掌握的特徵點的移動速度之變化，而 生成使特徵點所被建立關連之附加資訊之顯示作改變用的 資料。資料生成部係亦可爲，當從輸入部輸入了用以選擇 2個以上之特徵點的選擇資訊時，生成用以隨著特徵點間 之距離而使這些特徵點所被建立關連之附加資訊的顯示尺 寸作改變用的資料。 又，爲了解決上記課題，若依據本發明的另一觀點， 則可提供一種影像處理方法，其係含有：從動畫資料中偵 測出特徵點之步驟；和將用以使得被附隨於特徵點而顯示 之附加資訊被顯示出來的1或2個以上之特徵點和附加資訊 ，建立關連之步驟；和释隨著動畫資料之再生而變化的特 徵點之舉動加以解析之歩驟：和基於已被解析出來的特徵 點之舉動加以表示的資汛，和隨著特徵點之舉動而使被附 加於特徵點之附加資訊改變用之變化模態加以表示的顯示 劇本，生成使特徵點所彼建立關連之附加資訊的顯示作改 201119368 變用的變化內容加以表示的資料之步驟。 甚至，爲了解決上記課題，若依據本發明的另一觀點 ，則可提供一種能使電腦成爲上記影像處理裝置而發揮機 能所需的電腦程式。電腦程式，係被儲存在電腦所具備的 記憶裝置中，藉由被電腦所具備的CPU讀入並執行，就可 使該電腦成爲上記影像處理裝置而發揮機能。又，亦可提 供記錄有電腦程式，可被電腦讀取的記錄媒體。記錄媒體 係爲例如磁碟或光碟等。 〔發明效果〕 若依據以上說明之本發明，則可提供一種，對動畫中 的運動對象能夠簡單地追加附加資訊的影像處理裝置、影 像處理方法及電腦程式。 【實施方式】 以下一面參照添附圖面，一面詳細說明本發明的理想 實施形態。此外，於本說明書及圖面中，具有實質上相同 機能構成的構成要素，係標示同一符號以省略重複說明。 此外，說明係用以下順序來進行。 1. 影像處理裝置之構成 2. 影像處理裝置所進行的顯示處理方法 < 1.影像處理裝置之構成> 首先，基於圖1及圖2，說明本發明之實施形態所述之
t S -9- 201119368 影像處理裝置1 00的槪略構成。此外，圖1係本實施形態所 述之影像處理裝置100之構成的機能區塊圖。圖2係本實施 形態所述之詮釋資料儲存部1 52之構成例的說明圖。 本實施形態所述的影像處理裝置1 〇〇，係可將例如數 位式訊攝影機或數位靜態相機等之攝像裝置所拍攝到的動 畫內容予以再生的再生裝置，或可記錄再生動畫內容的記 錄再生裝置等。又，本實施形態所述的影像處理裝置100 ，係也可藉由個人電腦而發揮功能的應用程式來實現。此 種影像處理裝置100，係如圖1所示，具備：輸入顯示部 110、附加資料作成部120、特徵點追蹤部130、解碼部140 、記憶部150所構成。 輸入顯示部110，係進行來自使用者的資訊輸入，並 向使用者輸出資訊用的機能部，是由輸入偵測部112、顯 示部1 1 4所構成。本實施形態的輸入顯示部1 1 0係可使用， 例如在液晶顯示元件或有機EL元件等所成之顯示部1 1 4的 表面，設置例如觸控墊等之感測器來作爲輸入偵測部1 1 2 所成的觸控面板。輸入偵測部1 1 2，係可偵測出例如觸控 筆或手指等對輸入顯示部1 1 〇表面之接觸。根據輸入偵測 部1 1 2的偵測結果，就可取得對輸入顯示部1 1 〇表面作接觸 之觸控操作的軌跡而當作手繪資料而輸入，或是可選擇已 被顯示在顯示部1 1 4上的例如小圖示等。顯示部1 1 4係顯示 動畫內容或手繪資料等，提示給使用者。 附加資料作成部1 2 0，係作成手繪資料等之附加資料 或附加資料詮釋資訊，進行動畫內容或附加資料等的顯示 "10- 201119368 控制。此處’所謂動畫內容，係指被攝像製 動畫實際資料’而附加資料係用來裝飾動畫 被附加的資料。又，所謂附加資料詮釋資訊 動畫內容的時間經過而發生顯示變化的附加 例如，附加資料作成部1 20，係根據已 1 1 2所輸入之偵測結果而取得輸入顯示部丨j ( 觸控操作的軌跡’生成附加資料亦即手繪資 加資料作成部120係令所生成的手繪資料被 114上’並且記錄至後述的記憶部15〇。又， 部120，係基於被顯示在顯示部II4上的動畫 入偵測部1 1 2的偵測結果，而在後述之特徵_ 偵測出來的動畫中的特徵點當中，特定出要 的1或2個以上之特徵點。然後，附加資料f 基於來自輸入偵測部1 1 2的輸入資訊，進行 徵點和要附隨於該當特徵點而被顯示之附加 立，並記錄至記憶部1 5 0 ^ 然後’附加資料作成部1 20，係使用輸J 的接觸位置資訊 '特徵點的動作資訊及附加 顯示劇本來作成附加資料詮釋資訊。此處， 係爲，隨著特徵點之舉動而使被附加於特徵 作改變用之變化模態加以表示的資訊。附 1 20 ’係根據已被特徵點追蹤部1 30所偵測出 的特徵點的位置資訊，生成表示特徵點之舉 。然後’附加資料作成部1 20係作成附加資 丨置所拍攝到的 :內容之動畫而 ,，係爲對應於 資料之資訊。 被輸入偵測部 )表面所接觸之 料。然後，附 顯不在顯不部 附加資料作成 之內容，和輸 1¾追蹤部130所 賦予附加資料 ，成部1 2 0，係 已被特定之特 資料的關連建 \顯示部1 10中 資料，而沿用 所謂顯示劇本 點之附加資訊 加資料作成部 來的各時點上 動的動作資訊 料詮釋資訊： -11 - 201119368 並記錄至記憶部1 5 Ο ^如此，附加資料作成部1 2 〇係進行用 來作成附加資料詮釋資訊所需之顯示處理。此外，附加資 料作成部1 20所進行的顯示處理之細節，將於後述。 特徵點追蹤部130，係將動畫中的特徵點予以抽出， 並追蹤所抽出之特徵點的機能部。特徵點追蹤部130，係 從構成動畫內容的所定之影像內，將例如人物臉部等有特 徵的部分’當作特徵點而抽出。特徵點的抽出，係可使用 先前的手法。又，特徵點追蹤部130，係還可辨識出隨著 動畫內容之再生而移動的特徵點之位置，並追蹤之。特徵 點追蹤部1 3 0，係亦可將所抽出的特徵點之資訊，輸出至 顯示部114’在被顯示於顯示部114的特徵點上，顯示出框 框等記號。又，特徵點追蹤部1 3 0，係爲了作成附加資料 證釋資訊，而將特徵點的資訊，輸出至附加資料作成部 120。 解碼部140，係進行動畫內容或靜止影像內容的解碼 。解碼部1 40，係將記憶部1 50中所記億的動畫內容或靜止 影像內容予以讀出，加以解碼然後輸出至顯示部114。藉 此’在顯示部114上就可顯示出動畫內容或靜止影像內容 〇 記憶部1 50，係記憶各種資訊的記億部。本實施形態 所述的記憶部1 50，係由：詮釋資訊儲存部1 52、實際資料 儲存部154、描繪資料儲存部156、顯示劇本儲存部158所 $。詮釋資訊儲存部1 52，係記億著手繪資料等之附加資 料、或附加資料詮釋資訊用的記憶部。詮釋資訊儲存部 -12- 201119368 1 52，係例如圖2所示：’將屬於顯示處理對象的描繪資料 1521、進行顯示處理酌時刻1 522、表示描繪資料之處理內 容的行動1523，建立關連而記憶》描繪資料1521係爲例如 從輸入顯示部110所輸入的手繪資料或預先設定之印章等 之附加資料。時刻1 5 22 ’係表示附加資料詮釋資訊所對應 之動畫內容中的時刻。例如，在圖2的例子中，是令描繪 資料「imageOl」在時刻「〇〇: 01: 05」上被「固定顯示 」，令描繪資料「image 02」在時刻「〇〇:〇ι: 21」上「 追蹤著特徵點A而顯元」等的處理內容，是被記憶在詮釋 資訊儲存部152中。 實際資料儲存部154 ’係將攝像裝置所拍攝到的動畫 內容或靜止影像內容，予以記億。描繪資料儲存部156， 係將從輸入顯示部1 1 〇所輸入的手繪資料或預先設定之印 章等之附加資料，予以記憶。又，在描繪資料儲存部1 5 6 中係亦可記憶，用來作成手繪資料所必須之描繪工具的相 關資訊。被儲存在描繪資料儲存部I56中的附加資料，係 亦可例如圖2所示的 「imageOl」、「image02」等與獨特 名稱建立關連而記億。顯示劇本儲存部1 5 8，係記億著顯 示劇本。顯示劇本，伤可預先設定，或可由使用者追加。 以上，說明了本實施形態所涉及之影像處理裝置1 00 的構成》影像處理裝置1〇〇，係可基於將動畫內容的特徵 點之舉動予以表示的動作資訊及顯示劇本，而使被附加於 特徵點的附加資料之顙示作變化，自動地生成附加資料詮 釋資訊。以下，針對影像處理裝置1 00所作的影像處理方
i S -13- 201119368 法，作詳細說日月》 <2.影像處理裝置所進行的顯示處理方法> 〔對動畫(¾容的手繪資料之附加處理〕 首先，基论圖3A及圖3B，說明本實施形態所述之對動 畫內容的手繪資料之附加處理。此外，圖3A及圖3 B係本實 施形態所述之對動畫內容的手繪資料之附加處理的流程圖 〇 對動畫內容的手繪資料之附加處理，係將記憶部1 5 0 的實際資料儲字部154中所記憶的動畫內容，以解碼部140 進行解碼，就可使其被顯示在顯示部114上。對動畫內容 追加附加資料灼顯示處理，係有此處所說明的手繪資料之 附加處理、和嫠述的基於顯示劇本之顯示處理、使動畫內 容一面再生而一面輸入手繪資料所進行的顯示處理。於是 ’首先，使用#係選擇要執行的顯示處理。 例如’使肟者係選擇是否進行手繪的手動描繪（步驟 S100)。當選摩了不進行手動描繪石，就執行後述的顯示 劇本選擇處理。另一方面’若選擇進行手動描繪，則接著 使用者係選擇是否在動畫內容的再生中進行描繪（步驟 S102)。當在再：生中選擇了要進行描繪的時候，就執行後 述的再生中手會處理。另一方面，若選擇不進行再生中手 繪處理石，則鬧始動畫內容的再生（步驟Si〇4)。 若動畫內容被再生，則使用者係欣賞被顯示在顯示部 1 1 4的動畫內容’在想要附加上附加資料的時點，將動畫 -14 - 201119368 內容的再生予以暫停。直到動畫內容的再生被暫停爲止， 動畫內容係會被持續再生（步驟S1 06)。於步驟S1 06中， 一旦動畫內容的再生被暫停，則描繪選單畫面就被顯示在 顯示部114(步驟S108)。 描繪選單畫面200a，係可爲例如圖6所示的畫面構成 。描繪選單畫面200a，係由：顯示動畫內容的內容顯示領 域210、顯示再生小圖示222a、定格後退小圖示222b、定 格前進小圖示222c等之操作小圖示的操作小圖示顯示領域 22 0所成。在內容顯示領域210的緣部側係顯示，開始手繪 資料之輸入處理用的手繪小圖示230、或顯示出預先設定 之附加資料用的固定小圖示240、顯示出已被登錄之附加 資料詮釋資訊之一覽用的一覽顯示小圖示2 50等。 此時’使用者係亦可於暫停的時刻中，將已被登錄之 附加資料亦即描繪資料，進行顯示解除。亦即，可在早於 目前時刻上開始顯示’將目前持續顯示中的描繪資料之顯 示予以消去’進行如此設定。使用者係選擇是否進行描繪 資料之顯示解除（步驟S110)，當選擇要進行描繪資料之 顯示解除的操作時，以觸控筆等來觸控選擇描繪選單畫面 200a中的一覽顯示小圖示250 (步驟S112)。如此一來， 在被暫停的時刻上已被登錄之描繪資料的一覽，就會被顯 示在顯示部1 14。該一覽中係顯示，.例如圖2所示的附加資 料證釋資訊當中的描繪資料與其行動。使用者係以觸控筆 等來觸控要解除顯示的描繪資料，以選擇解除對象（步驟 S114)。於步驟S114中一旦決定已被選擇之解除對象，貝 -15- 201119368 該當時刻上’描繪資料就被刪除，附加資料作成部120， 係將所述資訊’當作要記錄至記憶部1 50的詮釋資訊儲存 部152中的資訊而予以暫時保持。然後，顯示部114的顯示 面上，係再次顯示圖6所示的描繪選單畫面20〇a。 當步驟S110中使用者選擇不進行描繪資料之顯示解除 時，或是藉由步驟S114而決定了解除對象時，接著，使用 者係選擇是否進行手繪的資料輸入（步驟S116)。當使用 者選擇以手繪進行資料輸入時，就可用手繪工具來進行描 繪（步驟S118)。手繪的資料輸入，係例如藉由選擇圖6 所示的手繪小圖示230而成爲可能。一旦使用者以觸控筆 等觸控而選擇手繪小圖示230，則從描繪選單畫面200a遷 移至例如圖7所示的手繪描繪畫面200b。 手繪描繪畫面2〇 Ob，係於步驟S1G6中顯示再生被暫停 時點的動畫內容’在其緣部側顯示出用來輸入手繪資料的 工具小圖示2 3 2。工具小圖示2 3 2，係例如由色彩選擇小圖 示2 3 2 a或線條種類小圖示2 3 2 b、消去小圖示2 3 2 c等所成。 使用者’係藉由觸控筆16等而從工具小圖示232選擇出要 描繪的線條或其顏色，邊看輸入顯示部110的表面邊進行 描繪。附加資料作成部】20，係根據輸入偵測部丨丨2所作的 偵測結果’而令該軌跡在顯示部114上被顯示成爲手繪資 料3 00 °然後’—旦手繪資料3〇〇的輸入完成，則使用者係 例如選擇圖7的決定小圖示234，決定要對被顯示在顯示部 1 14之時刻上的動畫內容，顯示出所輸入的手繪資料3〇〇。 然後’附加資料作成部丨20，係將所述資訊，當作要記錄 -16- 201119368 至記憶部150的詮釋資訊儲存部152中的資訊而予以暫時保 持。 當步驟S116中使用者未選擇手繪輸入時，或是當步驟 S 1 1 8中手繪資料的輸入結束時，則如圖3 B所示，使用者係 選擇是否進行預先設定之附加資料（以下亦稱作「圖案資 料」）的輸入（步驟S120)。當使用者選擇以圖案資料進 行資料輸入時，就可用圖案資料來進行描繪（步驟S122) 。圖案資料所致之資料輸入，係例如藉由選擇圖6所示的 固定小圖示240而成爲可能。一旦使用者以觸控筆等觸控 而選擇固定小圖示240，則從描繪選單畫面200a遷移至例 如圖8所示的圖案描繪畫面200c。 在圖案描繪畫面200c中，係如圖8所示，顯示著複數 個圖案圖形242。當1個畫面內顯示不完的情況下，則如圖 8所示會顯示出「下一頁」小圖示244，藉由選擇該當小圖 示244，就可使下個圖案圖形242的一覽被顯示在顯示部 114。在下個畫面中係會顯示「前一頁」小圖示。一旦選 擇一個圖案圖形242來作爲要附加至動畫內容的附加資料 ，則於步驟S106中曾暫停再生之時點的動畫內容，就被顯 示。然後，使用者係在該當畫面中例如將觸控筆116接觸 於輸入顯示部11〇的表面，則已選擇之圖案圖形24 2就會被 顯示在該時刻上的動畫內容中。在所述的畫面中，亦可適 宜變更圖案圖形242的顏色或大小等。一旦顯示內容被決 定，則附加資料作成部1 2 0，係將所述資訊，當作要記錄 至記億部150的證釋資訊儲存部152中的資訊而予以暫時保 -17- 201119368 持。其後，回到圖6所示的描繪選單畫面20〇a。此外，在 圖8的圖案描繪畫面2 00c中，亦可藉由選擇「返回」小圖 示246而取消圖案圖形242對動畫內容之顯示。 一旦藉由步驟S116〜S122之處理而完成了要顯示於動 畫內容的描繪資料之輸入’則使用者係選擇描繪資料的動 作（步驟S124)。使用者係首先從被顯示在顯示部114上 的描繪資料之中，選擇要設定動作的描繪資料。—旦選擇 了要設定的描繪資料’則例如圖9所示的動作設定畫面 200d會被顯示出來。在動作設定畫面2〇〇d中係顯示著，表 不描繪資料之動作種類的動作小圖示。動作小圖示中係有 ，例如’ 「固定」小圖示252a、「追蹤」小圖示252b、 「 捲動」小圖示252 c等。使用者係從動作設定畫面2〇〇d的動 作小圖示中選擇出描繪資料的動作，選擇決定小圖示254 而決定其動作。此外，在動作設定畫面200d中，亦可藉由 選擇「返回」小圖示256而取消對描繪資料的動作設定。 接著，藉由附加資料作成部120來判定是否選擇了固 定顯示來作爲描繪資料之動作（步驟S126)。所述判定， 係例如可根據在圖9所不的動作設定畫面2〇〇d中是否選擇 了「固定」小圖不252a而進行》於步驟S126中，當判定爲 ’已被附加資料作成部120選擇了固定顯示以外來作描繪 資料之動作時’則在顯示部1 1 4上顯示出特徵點選擇畫面 2〇Oe，其中顯不了與描繪資料建立關連之對象的動畫內容 中的所有特徵點（步驟S 1 2 8 )。 特徵點選擇畫面200e係亦可構成爲，例如圖1〇所示， -18 - 201119368 對於再生暫停之時刻上的動畫內容之顯示，在由特徵點追 蹤部130所抽出的特徵點上顯示出框260a、26 0b，以顯示 特徵點。或者，亦可如圖11所示，將再生暫停之時刻上的 動畫內容內的所有特徵點2 64，以一覽方式來顯示之。使 用者係從被顯示在特徵點選擇畫面20 0e的特徵點之中，選 擇出與描繪資料建立關連之1或2個以上之特徵點，並選擇 決定小圖示262而決定與描繪資料的關連對應（步驟S130 )。藉此，就決定了該當時刻或其以後的描繪資料之動作 〇 接著’使用者選擇是否設定描繪資料的顯示結束時間 (步驟S132)。若選擇要設定描繪資料之顯示結束時間， 則結束時刻的設定係成爲可能，而設定結束時刻（步驟 S 1 34 )。其後，一旦結束時刻的設定結束，則該當時刻上 的描繪資料之顯示內容，就被決定（步驟S136)。顯示內 容的決定，係例如藉由選擇描繪選單畫面200之再生小圖 示222a而進行。然後，藉由附加資料作成部120，已被決 定之顯示內容就被當成詮釋資訊而記錄在記憶部150的詮 釋資訊儲存部152中（步驟S138)。 藉由將如此被附加資料作成部1 2 0所作成的附加資料 詮釋資訊，重疊於動畫內容上而顯示，就可配合動畫內容 的特徵點之舉動而使附加資訊作變化，而裝飾動畫。例如 可設定，配合圖I2所示之特徵點264的動作，而使附加資 料3 00追蹤之。在某個時間上特徵點264及附加資料300是 被顯示在虛線所示的位置，其後，一旦特徵點264移動到 -19- 201119368 實線所示的位置後，則附加資料3 00也會配合特徵點264的 移動而跟著移動到實線所示的位置。如此，使用者係只要 作成要附加至動畫內容的附加資料，決定要附加上附加資 料的特徵點及附加資料的顯示方法，就可對動畫內容附加 上’配合特徵點之舉動而改變的附加資料^ 以上說明了’對動畫內容的手繪資料之附加處理。接 著’基於圖4 ’說明顯示劇本所致之附加資料的顯示處理 。此外’圖4係本實施形態所述之顯示劇本所致之附加資 料的顯示處理的流程圖。 〔顯示劇本所致之附加資料的顯示處理〕 圖4所示的顯示劇本所致之附加資料的顯示處理，係 當圖3A的步驟S100中選擇了不進行手動描繪時，就被執行 。亦即’沿用顯示劇本自動地基於動畫內容之特徵點的動 作資訊來進行描繪。若使用者選擇所述之處理，則例如圖 13所示的顯示劇本選擇畫面2 00 f，就被顯示在顯示部114 上（步驟S210)。 顯示劇本選擇畫面200f，係例如圖13所示，是由將用 來選擇預先設定之顯示劇本用的顯示劇本小圖示2 7 0加以 顯示的分類領域271a，和進行顯示內容之詳細設定用的詳 細領域27 1 b所構成。在顯示劇本中係有，例如，動畫內容 中之特徵點的表情是笑臉時則顯示所定之附加資料，或使 附加資料配合特徵點之舉動之特徵作改變而顯示等之變化 模態。使用者係選擇，被顯示在分類領域2 7 1 a中的與變化 -20- 201119368 模態建立好關連對應的「笑臉」小圖示272或「動作」小 圖示274、 「其他」小圖示276等所成之顯示劇本小圖示 27〇。藉此，就可使附加資料被顯示在動畫內容中（步驟 S220 )。 在詳細領域27 lb係顯示著，用來進行已被選擇之顯示 劇本小圖示270的詳細設定所需之資訊。例如，若選擇當 特徵點的表情變成笑臉時就顯示出附加資料的顯示劇本， 則附加資料作成部1 2〇，係參照記憶部1 50的顯示劇本儲存 部1 5 8，在詳細領域2 7 1 b中顯示出1或2個以上的附加資料 之顯示例。在圖13的例子中係顯示了 2個顯示例272a、 272b。使用者從顯示例272a、272b中選擇出所欲附加至特 徵點的附加資料後，選擇決定小圖示27 7，就可決定附加 資料。 然後，使用者係從位於動畫內容中的特徵點，選擇出 要附加上附加資料的1或2個以上之特徵點（步驟S230 )。 特徵點的選擇’係可和上述步驟S128、S130之處理同樣地 進行。一旦以上的處理完成，動畫內容的暫停狀態被解除 ’則基於所被設定的顯示劇本，執行描繪處理（步驟S240 )。所被設定的顯示劇本，係作爲附加資料詮釋資訊而被 記憶在詮釋資訊儲存部152中（步驟S25〇)。 基於顯示劇本的描繪處理，係例如直到使用者解除該 當處理爲止都會被持續進行。因此，當將同一顯示劇本對 動畫內容全體適用時，若使用者只設定過一次顯示劇本， 則當後面出現同樣場面時，就可基於曾被設定過的顯示慮 -21 - 201119368 本來自動地對特徵點附加上附加資料。例如，當設定了從 某個特徵點偵測到笑臉時就顯示所定附加資料的顯示劇本 時，則每次偵測到該當特徵點的笑臉時，就會自動地顯示 附加資料。藉此，使用者就不需要同樣的處理作多次設定 ，可容易對動畫賦予附加資料。 〔顯示劇本例子〕 此處，使用圖14〜圖20，來說明顯示劇本的內容例。 顯示劇本，係如上述，是表示隨著特徵點之舉動而使被附 加於特徵點之附加資訊作改變用之變化模態的內容。 在圖14中係圖示了，當特徵點之笑臉被偵測出來時就 令附加資料被顯示的顯示劇本之例子。在所述的顯示劇本 中，如圖1 4 ( a )所示，特徵點202的表情並非笑臉時，則 附加資料作成部1 20係不令附加資料被顯示出來，但若特 徵點202的表情變成笑臉，則如圖1 4 ( b )所示般地令附加 資料4 1 0被顯示出來。此外，特徵點的笑臉偵測，係可用 既存的手法來進行，例如可由特徵點追蹤部130來進行偵 測。 接著’圖15中係圖示，隨著特徵點之位置來使附加資 料的顯示位置作改變的顯示劇本之例子。在動畫內容中， 特徵點係經常移動，影像內的特徵點之位置是時時刻刻在 改變。所述的顯示劇本，係即使特徵點之位置改變，仍會 追蹤於特徵點而使要顯示的附加資料，被顯示在影像內。 例如’假設如圖1 5 ( a )所示位在影像200內右側的特徵點 -22- 201119368 2 02，是如圖15 ( b )所示往位在影像200內左側移動。對 特徵點202係附加了對話框的附加資料420。此時，藉由使 用所述之顯示劇本，在圖1 5 ( a )之狀態下，位於影像200 右端之特徵點202的左側所被顯示的附加資料420，係一旦 特徵點202是移動成圖15 ( b )之狀態而位於影像200的左 端，則會變成被顯示在特徵點202的右側。如此，即使特 徵點202的位置改變，附加資料420的顯示位置也會以使得 附加資料420不會跑出影像200內的方式而自動變更。 然後，圖16中圖示了，隨著特徵點之尺寸來使附加資 料的尺寸作變更的顯示劇本之例子。例如圖1 6 ( a )所示 ，相對於對影像200之尺寸，當特徵點202之尺寸較小時， 則附加於特徵點2 0 2的附加資料4 3 0之尺寸也會較小。另一 方面，圖16 ( b )所示，相對於對影像200之尺寸，若特徵 點2 G2之尺寸較大，則附加於特徵點202的附加資料430之 尺寸也會較大。附加資料43 0的放大率，係例如亦可隨著 相對於影像200之尺寸的特徵點202之尺寸而變化。此時， 當藉由該當顯示劇本而使附加資料430的尺寸變大時，也 可進行不讓附加資料43 0從影像200內跑到外面去的處理^ 又，圖17係圖示了，隨著特徵點的移動速度來使附加 資料作改變的顯示劇本之例子。特徵點的移動速度，係可 根據所定時間內的影像內的特徵點之位置的變化量而算出 。例如，如圖17(a)所示，當特徵點202的移動速度幾乎 爲零時，已被附加至特徵點202的橢圓形之附加資料440， 係被顯示成圍繞在特徵點2〇2周圍1圈。另一方面，若特徵
[S -23- 201119368 點202的移動速度變大，則如圖17 (b)所不，圍繞在特徵 點2 02的附加資料44〇就會增加成2圈、3圈。如此’藉由隨 著特徵點202的速度變化來改變时加資料440的顯示’就可 表現出特徵點202之舉動的特徵。 在圖18中係圖示了，表示特徵點之移動軌跡的顯示劇 本之例子。例如，如圖19 (a)所示，假設特徵點202是從 影像200右上往左下移動。此時，藉由使用所述之顯示劇 本，特徵點之移動軌跡就會成爲附加資料450而被顯示成 如圖18(b)所示。藉此，就可提高動畫內容的映像效果 〇 又，圖19係圖示了，隨著特徵點間之距離來使附加資 料之顯示作改變的顯示劇本之例子。例如，假設如圖1 9 ( 〇所示，對於1個附加資料460，是附加關連有2個特徵點 2 02 A、202B。此時，藉由使用所述之顯示劇本，附加資料 460的尺寸或顯示位置就會隨著特徵點間之距離L的大小而 改變。如圖1 9 ( a )所示，當特徵點間之距離L較大時，附 加資料作成部1 20係在特徵點的大；約中央附近，將附加資 料460縮小顯示。另一方面，若特徵點間之距離L較小，則 附加資料作成部120係例如圖19 ( b )所示，在特徵點202A 和特徵點202B之間，附加資料460就會被顯示成比圖19 ( a )時還大。或者，附加資料作成部1 20，係亦可如圖1 9 ( c )所示，以圍繞著接近之特徵點202A、202B的方式，來顯 示附加資料460。如此，藉由隨著特徵點間之距離來改變 附加資料460的顯示，就可在動畫內容中有效果地呈現出 -24- 201119368 複數特徵點之關係。 然後，圖20係圖示了，令有動態之附加資料追蹤於特 徵點的顯示劇本之例子。所述的顯示劇本中，例如有，使 屬於附加資料的文字是隨著時間經過而依序顯示並且追蹤 於特徵點的變化模態等。如圖2 0 ( a )所示，在某個時刻 上，追蹤於特徵點202的附加資料480a的對話框內，顯示 出1行份的文字。其後，經過一段時間，如圖20 ( b )所示 ，特徵點202會移動，同時附加資料48 〇b跟著移動，且附 加資料480b內會顯示出2行份的文字。如此，藉由使用所 述之顯示劇本’就可追蹤於特徵點之舉動，且顯示有動態 的附加資料。 以上說明了顯示劇本的內容例。若依據本實施形態， 則使用者只要進行特徵點和附加資料的關連建立，選擇用 來使該當附加資料作變化的顯示劇本，附加資料作成部 12〇就會自動地隨著動畫內容中的特徵點之舉動，而作成 依照顯不劇本的附加資料詮釋資訊。又，由於附加資料詮 釋資訊係沿用顯示劇本而作成，因此只需變更顯示劇本， 就可容易變更附加資料詮釋資訊的內容。亦即，可從1個 附加資料’作成顯示複數個附加資料用的顯示模態。 附加資料證釋資訊，係對1個動畫內容作成1個。在附 加資料詮釋資訊中係記憶著，i或2個以上的沿用顯示劇本 之附加資料的變化模態。各附加資料的變化模態，係藉由 圖3A、圖3B、圖4、後述圖5所示的方法，就可設定。因此 ’可谷易設定複數附加資料的變化模態，對某個時刻上的
C S -25- 201119368 動畫內容內附加複數附加資料也很容易。 〔再生中手繪處理〕 接著，基於圖5,說明動畫內容再生中進行描繪的顯 示處理。此外，圖5係本實施形態所述之再生中手繪處理 的流程圖。當動畫內容的再生中要描繪附加資料時，可— 面確認動畫內容的特徵點之動作，一面進行插繪，具有容 易作成例如圖20所示的具有動態之附加資料的優點。 圖5所示的再生中手繪·處理，係於圖3a的步驟31〇2中 選擇了進行再生中手繪處理時，就被執行。—旦使用者選 擇所述處理，則首先，以手繪來作成附加資料所需之描繪 工具加以選擇用的畫面，會被顯示在顯示部114。於所述 畫面中’使用者係設定在描繪之際的線條種類或顏色等（ 步驟S3 1 0 )。此外，附加資料的線條種類或顔色等，係亦 可在附加資料描繪後再予以設定。 接著，使用者係一面再生動畫內容，一面描繪附加資 料（步驟S 3 20 )。附加資料的描繪，係可和圖3A的步驟 S 1 1 8同樣地進行。使用者係一旦附加資料描繪結束，則例 如將動畫內容的再生予以暫停然後確認上述附加資料。藉 此，就會作成具有動態之附加資料。所被作成的附加資料 ，係與所述附加資料所被顯示之動畫內容的時刻建立關連 ，成爲附加資料詮釋資訊而被記錄在詮釋資訊儲存部1 52 中〇 以上說明了，動畫內容的再生中進行描繪的顯示處理 -26- 201119368 。此時’雖然亦可不必特別進行附加資料與特徵點的關連 建立’但當動畫內容內有類色的特徵點之舉動時，係亦可 對該特徵點關連附加上附加資料。 如此，若依據本實施形態所述之影像處理裝置1 00， 則將以各種方法所作成的附加資料，與特徵點建立關連， 隨著特徵點之舉動而附加資料會有所變化的附加資料詮釋 資訊，就會自動被生成。藉此，對動畫中的運動對象，就 能簡單地追加附加資訊。 此外，圖6〜圖13所示的畫面例，係藉由以觸控筆116 等選擇和所欲執行之處理相關連對應的小圖示以輸入操作 資訊，但本發明係不限定於所述例子。例如，亦可隨著以 觸控筆116或手指等之操作體對顯示部114表面的描繪方式 (操作體的動作），來執行該操作所關連對應的所定處理 。具體而言，以操作體觸控畫面右側時則前進至下一頁， 觸控畫面左側時則前往前一頁，可如此將所定之處領建立 關連對應至所定動作而進行畫面操作。 〔硬體構成例〕 本實施形態所述之影像處理裝置1 〇〇所作的影像處理 ，係可藉由硬體來執行，也可藉由軟體來執行。此時，影 像處理裝置1 〇〇中係亦含有如圖2 1所示的電腦。以下，基 於圖2 1，說明本實施形態所述之影像處理裝置1 00的硬體 構成之一例。此外，圖2 1係圖示，本實施形態所述之資訊 處理裝置1〇〇之的硬體構成圖。 -27- 201119368 本實施形態的影像處理裝置100，係具備：CPU ( Central Processing Unit) 101 ' ROM ( Read Only Memory )10 2 ' RAM ( Random Access Memory ) 103、主匯流排 104a。又，影像處理裝置100係具備：橋接器104、外部匯 流排104b、介面105、輸入裝置106、輸出裝置1〇7、儲存 裝置（HDD) 108、驅動機109、連接埠111、通訊裝置113 〇 CPU1 01 ,係成爲演算處理裝置及控制裝置而發揮機 能，會依照各種程式而控制影像處理裝置1 00內的整體動 作。又，CPU101係亦可爲微處理器。ROM102，係記憶著 CPU101所使用的程式或演算參數。RAM103係將CPU101在 執行時所使用之程式、或該執行中會適宜變化的參數等， 予以暫時記憶。這些係藉由CPU匯流排所構成的主匯流排 104a，而被相互連接。 主匯流排104a，係透過橋接器104，而被連接至PCI ( Peripheral Component Interconnect/Interface )匯流排等之 外部匯流排104b。此外，並不一定要主匯流排104a、橋接 器1〇4及外部匯流排104b是分離構成，亦可將這些機能實 作在一個匯流排上。 輸入裝置106，係由滑鼠、鍵盤、觸控面板、按鈕、 麥克風、開關及搖桿等讓使用者輸入資訊用的輸入手段， 和基於使用者輸入而生成輸入訊號並輸出至CPU101的輸 入控制電路等所構成》影像處理裝置1 00的使用者，係藉 由操作該輸入裝置106，就可對影像處理裝置100輸入各種 -28- 201119368 資料’或只是處理動作等。在本實施形態中，輸入裝置 106，係如圖1戶万示，是被構成爲觸控面板。 輔ί出裝置1 07’係包含例如crt (Cathode Ray Tube) 顯示裝置、液晶顯示（LCD )裝置、〇LEE) ( 〇rganic Light Emitting D1()d e )裝置及燈號等之顯示裝置。甚至，輸出 裝置107係包含揚聲器及耳機等之聲音輸出裝置。在本實 施形態中’如圖1所示，作爲輸出裝置1〇7而設置有輸入顯 示部110的顯示：部114。 儲存裝置1 08 ’係作爲影像處理裝置1 〇〇的記憶部之一 例而被構成的賓料儲存用之裝置。儲存裝置1〇8係亦可包 含記憶媒體、销記錄媒體記錄資料的記錄裝置，從記憶媒 體讀出資料的賣出裝置及將記億媒體中所記錄之資料予以 刪除的削除裝置等。儲存裝置1〇8係例如由HDD (Hard Disk Drive)所構成。該儲存裝置1〇8，係驅動著硬碟，儲 存C P U 1 0 1所執行的程式或各種資料。 驅動機1 0 9，係爲記憶媒體用讀寫器，可內建於影像 處理裝置100或外接。驅動機丨〇9，係將所被裝著之磁碟、 光碟、光磁碟、或半導體記憶體等之可移除式記錄媒體中 所5己錄的資訊力D以讀出’然後輸出至RAM103。 連接埠111’係與外部機器連接的介面，例如藉由 USB ( Univers al Serial Bus)等而可與外部機器進行資料 傳輸的連接口 。又’通訊裝置M3係例如，由用來連接通 訊網15所需之通訊裝置等所構成的通訊介面。又，通訊裝 置1 1 2，係可爲無線LAN ( Local Area Network)支援通訊 -29- 201119368 裝置、或是無線USB支援通訊裝置、或是以有線進行通訊 的有線通訊裝置。 以上雖然一面參照添附圖面一面詳細說明了本發明的 理想實施形態，但本發明並非限定於所述例子。只要是本 發明所屬技術領域中具有通常知識者，自然可於申請專利 範圍中所記載之技術思想的範疇內，想到各種變更例或修 正例，而這些當然也都屬於本發明的技術範圍。 例如，在上記實施形態中，雖然是將動畫內容和附加 資料詮釋資訊以個別資料的方式加以保持，但本發明係不 限定於所述例子。例女口，亦可將附加資料詮釋資訊連同動 畫內容一起編碼然後記憶在記億部中。 【圖式簡單說明】 〔圖1〕本發明之實施形態所述之影像處理裝置之構 成的機能區塊圖。 〔圖2〕同實施胗態所述之詮釋資料儲存部之構成例 的說明圖。 〔圖3 A〕同實施开多態所述之對動畫內容的手繪資料之 附加處理的流程圖。 〔圖3B〕同實施形態所述之對動畫內容的手繪資料之 附加處理的流程圖。 〔圖4〕同實施肜態所述之顯示劇本所致之附加資料 的顯示處理的流程圖。 〔圖5〕同實施肜態所述之再生中手繪處理的流程圖 -30- 201119368 〔圖6〕描繪選單畫面之一例的說明圖。 〔圖7〕手繪描繪畫面之一例的說明圖。 〔圖8〕圖案描繪畫面之一例的說明圖。 〔圖9〕動作設定畫面之一例的說明圖。 〔圖1〇〕特徵點選擇畫面之一例的說明圖。 〔圖11〕特徵點選擇畫面之另一例的說明圖。 〔圖12〕附加資料的顯示是配合動畫內容的特徵點之 舉動而變化之一例的說明圖。 〔圖13〕顯示劇本選擇資訊之一例的說明圖。 〔圖1 4〕顯示劇本的一內容例，當特徵點之笑臉被偵 測出來時就令附加資料被顯示之例子的說明圖。 〔圖15〕顯示劇本的一內容例，隨著特徵點之位置來 使附加資料的顯示位置作改變之例子的說明圖。 〔圖16〕顯示劇本的一內容例，隨著特徵點之尺寸來 使附加資料的尺寸作變更之例子的說明圖。 〔圖17〕顯示劇本的一內容例，隨著特徵點之移動速 度來使附加資料作改變之例子的說明圖。 〔圖1 8〕顯示劇本的一內容例，表示特徵點之移動軌 跡之例子的說明圖。 〔圖1 9〕顯示劇本的一內容例，隨著特徵點間之距離 來使附加資料的顯示作改變之例子的說明圖。 〔圖2 0〕顯示劇本的一內容例，隨令附加資料追隨於 特徵點，且隨著時間經過而將文字依序顯示之例子的說1 -31 - 201119368 圖。 〔圖2 1〕同實施形態所述之影像處理裝置之構成的硬 體構成圖。 【主要元件符號說明】 100 :影像處理裝置 110.輸入顯不部 1 1 2 :輸入偵測部 1 1 4 ·顯不部 120 :附加資料作成部 1 3 0 :特徵點追蹤部 1 4 0 :解碼部 150 :記憶部 1 5 2 :詮釋資訊儲存部 1 5 4 :實際資料儲存部 156:描繪資料儲存部 1 5 8 :顯示劇本儲存部 -32-