201246124 六、發明說明： - 【發明所屬之技術領域】 本發明係關於從複數個影像中生成高解析度的影像 之技術。 本申請案係根據2007年10月15日於日本提出申請 之日本特願20〇7_267927號而主張優先權，並在此援引該 内容。 【先前技術】 第U圖係顯示直線排列配置的多視點攝像系統，第 12圖係顯示平面排列配置的多視點攝像系統’第13圖係 顯示弧狀排列配置的多視點攝⑽統，fl4圖係顯示球面 排列配置的多視點攝像系統之攝影機配置例之圖面。 已有人開發出從不同方向拍攝—個景象：多視點攝 像系統。於多視點攝像系統中，攝影機配置例如有第u 圖所示之直線上的一次元排列配置，或蚤笛 〜牙u圖所示之平 面上的二次元排列配置，此外，有第13圖所示之弧狀排列 配置者，或第14圖所示之球面狀排列配置等之種種· 若利用此類的多視點攝像系統，則可將多面的映像旦 以歸檔（整合為1個）。 &象予 此外’係具有-種從以多視點所拍攝之攝影機映像 中’生成未進行拍攝之虛擬攝影機位置的哥彡梅次 〜像 > 訊之技 術。此技術係稱為影像合成技術。於影像合成中 γ ·成 為可得知表示出原先的攝影機映像為從空間中的哪^方向 所拍攝之影像資訊之攝影機參數。影像合成且古 人,種種的方 320679D01 3 201246124 法。 例如有推測出景深資訊而進行合成之方法 原先的攝影機映像間進行 探於 差資訊，並從視差資訊推測出景象的景深c 虛擬攝影機位置的景深資訊，並從原先的攝影二氣：測 訊，製作出對應的影像資訊（參照非專利文獻工）。/資 此外，亦有一種不進行景深資訊的推測，而是 先影像的視差資訊直接製作出虛擬攝影機位置的 '、 之方法（參照非專利文獻〜頁汛 或者是，有-種從複數個攝影機映像中，預先推測出 存在於景象之物件的3次it模型資訊’而生成來自虛擬攝 影機位置之該模型的投影影像之方法（參照非專利文獻 3)。 於此類的攝像系統中，一般係使用解析度為相同之攝 影機，但亦可使用解析度為不同之攝影機。藉由絚合使用 解析度較南的攝影機與解析度較低的攝影機，可降低所獲 得之影像資訊的資訊量。此外，亦可改變攝影機的焦點位 置或視角。此時’即使所拍攝之影像訊號的解析度相同， 但實際所拍攝之區域部分的解析度不同。 從解析度較低的影像中獲得解析度較高的影像之方 法，例如有對低解析度的影像令之影像訊號適用增加取樣 濾波器之放大方法、以及使用超解折之方法。 於放大方法中，係對周邊附近的影像訊號適用適當的 濾波器，而獲得影像訊號。另一方面，於超解析方法中， 320679D01 4 201246124 一般係使用連續拍攝之複數個相同解析度的影像資訊（參 照非專利文獻4)。首先，預先將解析度i交所拍攝的影像還 大之影像定義為目的影像。亦即，預先定義所生成之對象 的像素位置。之後，於複數個拍攝的影像間，推測出對應 關係’並將拍攝所得之影像訊號埋入於目的的像素位置。 藉此可獲得高解析度的影像資訊。 (非專利文獻 1) Keita Takahashi and Takeshi Naemura， “Layered Light-Field Rendering with Focus Measurement”， EURASIP Signal Processing· Image Communication, vol.21, no.6, pp.519-530(2006.7.) (非專利文獻 2) M. Droese，T. Fujii and M. Tanimoto, Ray-Space Interpolation Constraining Smooth Disparities
Based On Loopy Belief Propagation’’，Proc. of IWSSIP2004, pp.247-250, Poznan, Poland, Sept. 2004. (非專利文獻3)松山隆司，高井勇志，々小軍，延原 章平：「3次元匕f、才映像φ撮影•編集•表示」，曰本a —千十小 U 7 U 于 4 学会論文誌，Vol.7, Νο·4, pp.521-532, 2002. 12. (非專利文獻4)田中正行，奥富正敏「再構成型超解 像処理Φ高速化7小：/ U只、、厶七f Φ精度評価」，信學論 D-II vol. J88-D-II, no.ll, pp. 2200-2209, 2005 【發明内容】 (發明所欲解決之課題） 本發明之目的在於，對於本發明人所著眼之用來處理 5 320679D01 201246124 解析度不同的多視點映像之嶄新技術，提供一種可復原低 解析度的影像所失去之高頻成分的資訊，並且能夠J^高: 質的方式，使在主觀品質較高解析度的影像還低之低解折 度下所拍攝之影像，達成高解析度化之技術。 (用以解決課題之手段） 以往並未有用來處理解析度不同的多視點映像之技 術。亦即，本發明之課題，為從處理解析度不同的多視點 映像之嶄新的技術性思考中所產生之課題。 於多視點攝像系統中使用解析度不同的攝影機時 解析度影像與高解析度影像混合存在。此外，即使以相^ 解析度的攝影機來拍攝時，由於例如可藉由降低一部八同 衫機映像的解析度來減少資訊量，所以亦適合於多視點 像的壓縮。此時，低解析度影像與高解析度影像亦、、 在。 把5存 於上述情況時，於低解析度的影像資訊中係缺少高步 成分。因此，會產生以低解析度所拍攝之攝影機位置 像資訊之主觀品質’較以高解析度所拍攝之攝影機位置 影像資訊為劣化之問題。
本發明為了解決上述問題，係提供一種可 度的影像所失去之高頻成分的資訊，並且能夠以高品〗 方式，使在主觀品質較高解析度的影像還低之低^ : 所拍攝之影像？達成高解析度化之技術。 X 以下說明本發明的概要。例如，藉由以解析 複數個攝影機來拍顧-景象，可減少所處理 320679D01 6 201246124 ' :總量。因此，此時可大幅減少多視點映像 -:二低解析度所拍攝之攝影機的影像，量。然 貝較局解析度的影像還低之問題。 、有其主觀品 ，發月係使用以高品質的使該 影像達成高解析度化之方法，來解決此=度下所拍 2用來處理解析度不同的多視點映像之技往; 本發明的具體内容，如作 例於 不僅可適用於解析度不同的多視點映像== :;個攝影機輪入映像中一，解析= 像所高二由提供-種可復原低解析度的影 刀的貢戒之手段，而可大幅減少當處理 X不同的夕视點映像時所處理 即可大幅減少多視點映像的編碼量。 以/主關於增加低解析度影像的像素數 ，亦即提高解析度之 :象=法如述，有使用增加取樣濾波器來放大影 訊。另 訊，但處 a疋利用其他影像的影像訊號來製作出高 析度的影像之超解析技術之方法。在這當中，於放大影 —訊號之方法中’無法獲得所失去之高頻成分的資扣-方面’超解析的方法雖然可獲得高頻成分的資 理方式及處理對象與本發明不同。 於超解析的方法中，首先係以具有複數個低解析度的 320679D01 7 201246124 影像資訊為前提。之後，設定目的的高解析度影像的像素 位置，並於此像素位置埋入低解析度的影像資訊。因此， 超解析可S兑疋.將.原先並不.存在的影像本身予以合成而製作 出之技術。 相對於此，本發明所處理的課題本質上與超解析不 同，其主旨為復原低解析度的影像資訊所原先具有之高頻 成分者。此時，雖然利用其他解析度的影像所對應之影像 資訊來製作’但原先低解析度的影像資訊僅利用於對應點 探索，關於使用所對應之高解析度影像的影像資訊來埋入 於放大低解析度的影像後之影像之技術手段之方面來看， 與超解析的思考有者根本上的差異。 為了解決上述課題，本發明係提供一種從影像A與解 析度較影像A還高之影像b，生成影像C的影像資訊之影 像生成方法，其執行：放大影像A而製作出具有與影像B 為相同的解析度之影像C之影像放大步驟；推測出影像c 的各像素位置與影像B中之對應點的有無及對應點位置之 對應點推測步驟；及將影像B中之對應位置的影像資訊設 疋於在對應點推測步驟中推測為具有對應點之影像C中的 像素位置之對應影像設定步驟。 根據此影像生成方法，可使用其他影像中所包含之高 頻成分的資訊，來生成相對於期望的低解析度影像之高解 析度影像。當對應於此時所生成之像素位置之影像訊號於 其他影像中不存在時’可藉由使用放大原先的低解析度後 之影像資訊’而防止影像資訊的缺少。 320679D01 8 201246124 於對應點的推測中，有另外輸入對應點資訊之情况、 以及使用影像資訊來探索對應點之情況。於另外賦予辦鹿 點育訊時，可預先推測景象的景深資訊或幾何資訊，並^ 這些資訊來推測影像間的對應點。 《 於對應點的探索中，係於所對應之像素間（相對於麥 像C的各像素之影像b的丨個至複數個像素候補）求取差 分的絕對值，當該值的最小值較預先設定的臨限值還小 時，將成為該最小值之點推測為對應點，較臨限值還大時， 推測為不具有對應點。 ' ’ 杈理想為，預先將此時的臨限值與低解析度的影像資 訊-同予以射化。在從槽案化後之低解析度的影像資訊 生成高解析度的影像資訊時，可藉由使用檔案中所包含之 臨限值，而保障於生成時可獲得恆常為相同之影像。 解析度之攝影機的影像來生忐高紘把庙^
具有對應點之影像C中的像素位置 置的影像資訊之影像内插 從複數個方向拍攝某個景象時，當利用解析度不同的 攝影機時，對於低解析度之攝影機㈣像，可彻其他古 320679D01 201246124 此時，當對應於所生成之像素位置之影像訊號於其他 影像中不存在時，可從周圍所生成之高解析度的影像訊號 進行内插而製作出，藉此可防止影像資訊的缺少。 本發明係提供一種從影像A與解析度較影像A還高 之影像B，生成影像C的影像資訊之影像生成方法，其執 行：放大影像A而製作出具有與影像B為相同的解析度之 影像D之影像放大步驟；推測出影像D的各像素位置與影 像B中之對應點的有無及對應點位置之對應點推測步驟； 將影像B中之對應位置的影像資訊設定於與在對應點推測 步驟中推測為具有對應點之影像D中的像素位置為相同之 影像E中的像素位置之對應影像設定步驟；從在對應影像 設定步驟中所設定之影像資訊，製作出與在對應點推測步 驟中推測為不具有對應點之影像D中的像素位置為相同之 影像E中的像素位置的影像資訊之影像内插步驟；縮小影 像E而製作出具有與影像A為相同的解析度之影像F之影 像縮小步驟；於影像A的各像素位置中，求取影像A的影 像資訊與相同像素位置之影像F的影像資訊之間的差分之 差分製作步驟；及當在差分製作步驟中所求取之各像素位 置的差分較小時，將影像E的影像資訊設定於所對應之影 像C的各像素位置，當在差分製作步驟中所求取之各像素 位置的差分較大時，將依據影像D的影像資訊之影像資訊 設定於所對應之影像C .的各像素位置之影像資訊設定步 驟。 典型的例子為，於前述影像資訊設定步驟中，當在前 320679D01 10 201246124 述差分製作步驟中所求取之素位 大時，係設定為： 的差分較臨限值還 ⑴將影像D的影料減定於 各像素位置；或 了應之衫像C的 (11)將對*像D $影像料與影 行加權平均後之值設定於所對應之影像久衫像資訊進 根據此影像生成方法，當期望 、各像素位置》 影像之間的對應點的推測產生誤-=折度影像與其他 同地使用所生成之高解析度的影像之外=與前述發明相 的低解析度放大為高解析度後之影’、可使用將原先 成的高解析度的影像資訊與將原先=’或是使用所生 析度後之影像資訊之加權平均值，^析度放大為高解 所導致之晝質的劣化。 g可降低因推測誤差 此外’本發明係提供_種從具 與影像B，生成影像c的影像資訊之f析度之影像A 行：縮小影像A而製作出解析度較小方法’其執 縮小步驟；放大影像G而製作出具有與:G之基準影像 析度之影像D之影像放大步驟；推“二^為相同的解 置與影像B中之對應點的有無及對應點:&各像素位 T將影像B中之對應位置的影像資訊設:::::: 點推測步驟中推測為具有對應點之影像^中的像素：： 相同之影像E中的像素位置之對應影…’、*’、 ώ /A 象叹疋步驟；從在對 應衫像設定步驟中所設定之影像資訊 推測步驟中推測為不具有對應點之影像 320679D01 " 馬 201246124 相同之影像E中的像素位置的影像資訊之影像内插步驟； 縮小影像E而製作出具有與影像G為相同的解析度之影像 F之影像縮小步驟；於影像G的各像素位置中，求取影像 G的影像資訊與相同像素位置之影像F的影像資訊之間的 差分之差分製作步驟；復執行：在預先設定的範圍中設定 臨限值之臨限值設定步驟；當在差分製作步驟中所求取之 各像素位置的差分較臨限值還小時，將影像E的影像資訊 設定於所對應之影像C的各像素位置，當在差分製作步驟 中所求取之各像素位置的差分較臨限值還大時，將依據影 像D的影像資訊之影像資訊設定於所對應之影像C的各像 素位置之影像資訊設定步驟；算出在影像選擇步驟中所獲 得之影像C與影像A的各像素位置之影像資訊的差分的合 計之生成差分合計步驟；及一邊改變臨限值，一邊重複進 行影像選擇步驟及生成差分合計步驟，以決定生成差分合 計步驟中所獲得之差分的合計為最小之臨限值之臨限值決 定步驟。 典型的例子為，於前述影像資訊設定步驟中，當在前 述差分製作步驟中所求取之各像素位置的差分較臨限值還 大時，係設定為： (i)將影像D的影像資訊設定於所對應之影像C的 各像素位置；或 (ii.)將對影像D的影像資訊與影像E的影像資訊進 行加權平均後之值設定於所對應之影像C的各像素位置。 根據此影像生成方法，當使影像達成低解析度化並達 320679D01 12 201246124 成高解析度時，在以前述方法來生成高解析度的影像時， 可檢測出因對應點的推測誤差所導致之劣化的大小 以劣化成為最小之方式來決定用以^ 、且 的影像之時值。且由㈣先古、权向解析度 在，所以可檢測出劣化的大；^解析度的影像資訊亦存 此臨限值參數刊用如下。首先， 值，並作_限值錄賴純㈣度的料資訊。例如 可使該臨限值參數與轉析度的輕及其他料—同予以 棺案化。於此檔案中並不包含低解析度化之前的影像資 訊。因此，由於係將較原先的影像為更低解析度的影像資 ，予以標案化’所以可縮小㈣大小。於再生此播案時， ::士:臨:值參數，從低解析度的影像資訊與 解析度的影像。此時’可生成使主觀品質的劣化 達到最小之高解析度的影像。 此外，於前述影像資訊設定步驟中，當在前述差分製 作步驟中所求取之各像纽置的差分㈣限值還大時，在 使用上述㈤的手法時’並非將放大低解析度的影像後 之影像’使用於所生成之影像訊號，而是使用與高解析度 的影像進行加權平均後之值，所以可降仙放大低解析度 的影像所導致之影像的模糊。 本發明亦提供-種藉由上述各方法來生成影像之影 像生成裝置。 (發明之效果） 根據本㈣，躲在低解析度下所拍攝之攝影機位置 320679D01 13 201246124 的影像資訊，可利用其他在高解析度下所拍攝之攝影機位 置的影像資訊’而生成高解析度的影像資訊。藉此可降低 主觀品質的劣化。 【實施方式】 以下使用圖面來說明本發明之影像生成裝置的實施 例。 [第1實施例] 第1實施例’係表示從以不同的攝影機所拍攝之低解 析度的影像A與高解析度的影像B，生成對應於影像A之 尚解析度（對應於影像B之高解析度）的影像c之情況的 例子。在此以攝影機所拍攝之訊號，係設定為全部以yuv 訊號（売度Y、色差U、V)來設定色彩訊號，且於實施 例中僅處理Y訊號者。 第1圖係顯示裝置概要。本實施例之影像生成裝置， 係具備：放大影像A而製作出具有與影像B為相同的解析 度之影像C之影像放大部1〇1 :推測出影像c的各像素位 置與影像B中之對應點的有無及對應點位置之對應點推測 部102 ;及在對應點推測部1〇2推測為具有對應點之影像 C中的像素位置’設定影像B中之對應位置的影像資訊之 對應影像設定部103。 在此，於影縣大部101巾，為藉由雙線性内插來求 取分數位置的影像資訊，並製作出放大影像者。 此外，於對應點推測部102 +，係使用攝影機參數或 已知的匹配技術，對影像C的各像素假設出（影像b中之) 320679D01 14 201246124 所對應的像素候補（1個至複數個）， 取差分的絕對值，當這魏龍的最小=像素間求 限值還小時’將成為該最小值之點推測為對::设:的臨 值11=測為關於影“㈣像素不具有對應點德限 —以上迷内容為前提，第1圖所示之影像生成裝置㈣ 行下列動作。第2圖係顯示該流程圖。 、’、 首先，影像放大部UU係、以上述方式放 作出影像C(步驟_。之後，對應點推測部，= 方法推測出影像C與影像B之對應點的有無及位置 sm。對應影像言奶MG3係對在對應點推測部收㈣ 為具有對應點之景彡像⑶各像素，設定影像b之對應位置 的影像資訊（步驟S12)。藉此生成影像c。 於影像放大部101中，可適用分接數較長的遽波器， 或適用2次元濾波器’或以橫向縱向的順序適用丨次元濾 波器。此外，亦能夠適用保存邊緣資訊之類的濾波器。不 論於何種情況，均可不利用影像B，而使用放大對象之影 像A的影像資訊來進行放大解析度之處理。 此外，對應點推測部102係於像素間求取差分的絕對 值，但亦可使用由以推測對象的像素為中心之複數個像素 所構成之區塊來進行推測。例如，關於影像C的各像素， 可假設出影像B中所對應的像素候補（1個至複數個），並 求取與由以各像素為中心之複數個像素所構成之區塊内的 像素之間的差分之絕對值的合計，然後將該合計值為最小 之候補的位置推測為對應點。 320679D01 15 201246124 於上述例子中，係從以不同的攝影機所拍攝之低解析 度的影像A與高解析度的影像B，生成高解析度的影像C， 但亦可從以相同攝影機所拍攝之某時刻的低解析度的影像 A、與其他時刻的高解析度的影像B，生成高解析度的影 像C。 此外，如上所述，係從影像A與影像B生成對應於 影像A之影像C，惟影像B可為複數個。以下係表示影像 B有2個（B1及B2)的情況之例子。構成為相同，但影 像生成裝置進行下列動作。 首先，影像放大部101係以上述方式放大影像A而製 作出影像C。之後，對應點推測部102以與上述相同的方 法推測出影像C與影像B1之對應點的有無及位置。對應 影像設定部103係將對應點推測部102推測為具有對應點 之各位置之影像B1的影像資訊予以設定於影像C。 接著，對應點推測部102係以同樣方式，推測出影像 C與影像B2之對應點的有無及位置。對應影像設定部103 係將對應點推測部102推測為具有對應點之各位置之影像 B2的影像資訊予以設定於影像C。 藉由以上方法，可生成影像C。 當於影像B1及影像B2兩者均推測為具有對應點時， 可採用預先決定的哪一個為優先之影像資訊來設定於影像 C，或是將與所對應之影像C.的像素之間的差分為較小之 影像B1或影像B2的影像資訊設定於影像C，或是將影像 B1及影像B2之影像資訊的平均值設定於影像C。 320679D01 16 201246124 當影像B有3個以上時’亦可同樣地生成高解析度的 影像C。
關於以下所說明之其他實施例’當具有複數個影像B 時，亦可同樣的實施。 [第2實施例] 接下來，作為第2實施例者’係顯示與第1實施例相 同之從以不同的攝影機所拍攝之低解析度的影像A與高解 析度的影像B，生成對應於影像A之高解析度的影像C之 情況的例子。惟顯示當不具有對應點時，從周圍的高解析 度的影像資訊進行内插而製作之情況的例子。 第3圖係顯示裝置概要。本實施例之影像生成裝置係 具備：放大影像A的解析度而製作出影像C之影像放大部 201 ;推測出影像C的各像素位置與影像B中之對應點的 有無及對應點位置之對應點推測部202;在對應點推測部 202推測為具有對應點之影像C中的像素位置，設定影像 B中之對應位置的影像資訊之對應影像設定部203 ;及從 在對應影像設定部2〇3所設定之影像資訊，製作出在對應 點推測部202推測為不具有對應點之影像C中的像素位置 的影像資訊之影像内插部204。 於影像内插部204中，係從作為具有對應點之影像B 而設定有影像資訊之像素位置的該影像資訊，製作出推測 為不具有對應點之像素的影像資訊。此時，係因應來自從 影像B而設定有影像資訊之像素位置之距離’來進行線性 内插。 320679D01 17 201246124 以上述内容為前提，影像生成裝置係進行下列動作。 第4圖係顯示該流程圖。 首先，影像放大部2(Μ ^系放大影像Α的解析度而製作 出影像C (步驟S20)。之後，對應點推測部2〇2推測出影 像C與影像B之對應點的有無及位置（步驟S2i)。對= 影像設定部203係對在對應點推測部2〇2推測為具有對應 點之影像C的各像素’設定影像B之對應點的影像資气 驟S22)。影像内插部204從在對應影像設定部2〇3中°已役 定之影像資訊’對在對應點推測部2〇2推測為不具有對^ 點之像素位置，進行内插而製作出影像資訊（步驟S23 1 藉由以上方法，可生成影像C。 於影像内插部2财’係藉由線性内插來生成影像資 訊’但亦可使用非線性處理來生成影像資訊。不 均可利用在對應影像設定部203中所設定之影像資訊來生 成。 [第3實施例] 接下來^作為第3實施例者，與第1實施例相同，係 顯示從以=的攝影機所拍攝之低解析度的影像A與高解 成對應於影像A之高解析度(對應於影 像影像C之情㈣例子。惟顯示僅將所生 成之影像資僅適用於所生成之影像資訊的縮小影像盘 原先影像A之間的差較小之像素位置之情況的例子。〃 ，二Τ:ΓΡ’影像〇為首先放大影像A (提高解析 度）之一〜象E為與影“同樣大小（相同像素構幻 320679D01 18 201246124 之暫時性的處理用影像。 &外，影像F為縮小影像E所製作出之解析度較小的 影像（與影像A具有相同解析度之暫時性的處理用影像> 第5圖係顯示裝置概要。本實施例之影像生成裝置， 係具備：放大影像A(提高解析度）而製作出影像D之影 像放大部301 ;推測出影像D的各像素位置與影像b中之 對應點的有無及對應點位置之對應點推測部3〇2;將影像 B中之對應位置的影像資訊設定於與對應點推測部推 測為具有對應點之影像D中的像素位置為相同之影像E中 的像素位置之對應影像設定部3〇3 ;從在對應影像設定部 303中所設定之影像資訊，製作出與在對應點推測部3〇2 中推測為不具有對應點之影像D中的像素位置為相同之彩 像E中的像素位置的影像資訊之影像内插部3〇4;縮小影 像E (降低解析度）而製作出影像F之影像縮小部3〇5; 於影像A的各像素位置，求取影像A的影像資訊與相同像 素位置之影像F的影像資訊之間的差分之差分製作部 306;及當在差分製作部遍中所求取之各像素位置的差分 較小時’於所對應之影像c的各像素位置，設定影像e的 影像資訊，當在差分製作部鄕中所求取之各像素位置的 差分較大時，於所對應之影像c的各像素位置，設定影像 D的影像資訊之影像選擇部307。 於影像縮小部305中，係抽減像素而製作.出縮小影像 (亦即為影像F)。 於差分製作部306中，係於各像素位置製作出差分。 320679D01 ,〇 201246124 血在==擇部聊中，係預先設定差分的臨限值，龙 與在差刀製作部306中所獲得之差分進行比較。值速 以上述内容為前提，影像生絲 第6圖係顯示該流程圖。 丁下列動作。 首先’影像放大部3〇1係以上述方式放大影像 作出影㈣（步驟叫之後，對應點推測部製 影像D與影像B之對應點的有無及位置（步驟S31^J出 對應影像設定部303係將在對應點推測部3 。 具有對應點的位置之影像B的影像資訊，設定於挪為 =聊），内插部綱係從在對應影像設定部^ B(步 认疋之衫像資訊，對在對應點推測部3。2推測 中已 應點之位置，進行内插而製作出影像E的影像資^對 533) 。 貝讯（步领 影像縮小部305係縮小影像£而製作出 534) 。差分製作部3〇6係製作出影像a與影像（步驟 分（步驟S35)。 <間的差 ~於影像選擇部307中，係依循在差分製 獲得之差分，對各像素位置選擇影像E或影 6中所 像C (步驟S36)。 而生成影 影像 於影像縮小部305中，可佬用並妯车f 。 使用其他手法來製作出縮小 之 於差分製作部3〇6中，可製作出以對象俊 區塊間的差分（參照第i實施例）。 ’、為中 於此實施例中，當在差分製作部綱中所求取之各像 320679D01 20 201246124 素位置的差分較小時，影像選擇部3〇7係於所對應之影像 c的各像素位置，設定影像E的影像資訊，當在差分製作 4 306中所求取之各像素位置的差分較大時，影像選擇部 307/系於所對應之影像c的各像素位置，設定影像d的影 像資訊。此外，亦可設置影像生成部來取代此影像選擇部 307 〇 第7圖係顯不裝置概要。於第7圖所示之影像生成部 八▲中§在差分製作部306中所求取之各像素位置的差 :較j,時’係於所對應之f彡像c的各像素位置，設定影像 =像I訊’當在差分製作部娜中所求取之各像素位 較大時，係於所對應之影像c的各像素位置設 ^之^的影像f訊與f彡像彡像㈣進行加權平均 析产的1康此田差刀較大時，能夠不使用放大後的（高解 所影像D，而是使用放大後的影像D與從其他影像 ❹之二平均。本手法較適用於放大後的影 〈阿頻成分較少的情形。 [第4實施例] 影機所拍I::::::::顯示具有以不同的攝 的例子。在此，係和^ /讀A之影像C之情況 生成之影像資訊的縮仰像像資訊’僅適用於所 的差較小之像素位置之情加ΜΑ的縮小影像之間 寫_ ^的例子。在此實施财，其特 21 201246124 徵為相對於各像素位置的兩影像間的差分之臨限值也是推 測出者。 第8圖係顯示裝置概要。本實施例之影像生成裝置， 係具備： •縮小影像A而製作出解析度較小的影像G之基準 影像縮小部412 ; •放大影像G而製作出具有與影像A、B為相同的解 析度之影像D之影像放大部401 ; •推測出影像D的各像素位置與影像B中之對應點 的有無及對應點位置之對應點推測部402 ; •在對應點推測部402中推測為具有對應點之與影像 D中的像素位置為相同之影像E (相同大小之暫時性的處 理用影像）中的像素位置，設定影像B中之對應位置的影 像資訊之對應影像設定部403 ; •從在對應影像設定部403中所設定之影像資訊，製 作出在對應點推測部402中推測為不具有對應點之與影像 D中的像素位置為相同之影像E中的像素位置的影像資訊 .之影像内插部404; •縮小影像E而製作出（與影像G為相同的解析度） 之影像F之影像縮小部405 ; •於影像G的各像素位置，求取影像G的影像資訊 與相同像素位置之影像F.的影像資訊之間的差分之差分製 作部406 ; •於預先設定的範圍内設定複數個臨限值之臨限值設 320679D01 22 201246124 定部410; 在差分：：部在部灿令所設定之各臨限值，當 還小時，於所對應之參俊^之各像素位置的差分較臨限值 影像資 者 ·;豕1的各像素位置，設定影像E的 汾傢貝訊.在差分製作部4 差分較臨限值還大時 千斤求取之各像素位置的 設定影像D的影像資斤對應之影像C的各像素位置， •笪中… 影像選擇部407 ; 异出在景》像選擇部 的各像素位置之影像資中所獲得之影像C與影像A 409 ;及 差分的合計之生成差分合計部 .決定生成差分 最小之臨限值之臨限所獲得之差分的合計為 於臨限值設定部41Λ 士 乂 次增加10來作為臨限值。係從10開始至50為止，每 第9圖係顯示該流^^。’影像生成裝置係進行下列動作。 析度部412健㈣仏製作出解 V步驟S40)。 影像放大部4〇ι " (具有與影像A、B城大影像G而製作出解析度較高 S41)。 為相同的解析度）的影像D (步驟 處之後對應點拖濟]部·4〇2·.推測出影像'D血及後n 對應點的有無及位复（㈣S42)。像D與轉B』之 對應影像設定却 3_ Μ彻，係將在對應點推測部· _ 23 201246124 ==的位置之影像B的影像資訊，設定於影像e 影像_部綱係從在對應影像設.定部4 之衫像資訊’對在對應點推測部搬推測 之位置，進行_而製作出影像 ;;有對應點 醫L /心像㈣衫像身矾(步驟S44)。 405係縮小影像E而製 影像F (步驟S45)。 又议他的 (步驟差二作部则製作_G與影像。之間的差分 驟^著’於臨限值設定部410中，設定臨限值為1〇(步
而生成影像C (步譲)各像素位置選擇影像E或影像D 差八合計部彻係求取影像C與影像A之間之 差刀的05十（步驟S49)。 臨^!^加臨限值1G直到5G為止，來重複執行以上之 l限值汉疋相❹、影像選擇部術 的處理（步驟S5G、S51)。 成差刀。^4〇9 中所=之Γ、限值決定部411係決定生成差分合計部_ 又寸值為最小時之臨限值（步驟S52)。 邻4 〇 m構射’亦可使㈣像生成部來取代影像選擇 4 第1〇圖係顯示裝置概要。 320679D01 於第W圖所示之影像生成部中，當在差分製作 24 201246124 部406中所求取之各像素位置的差分較小時，係於所對應 之景^像C的各像素位置，設定影像E的影像資訊，當在差 分製作部406中所求取之各像素位置的差分較大時，係於 所對應之影像C的各像素位置，設定對影像D的影像資訊 與影像E的影像資訊進行加權平均後之值。 於以上的實施例中’係說明對複數個攝影機輸入映像 進行處理。此方法不僅適用於多視點影像，亦玎適用於單 眼的動畫。 亦即’當動畫中之各圖框的解析度為不同時，對於低 解析度之圖框的影像，可利用其他高解析度之圖框的影像 來生成高解析度的影像。 例如可適用於，以低解析度的圖框為影像A，並以其 他高解析度的圖框為影像B來生成高解析度的影像C之處 理。 此外’於本實施例中，係將所處理的訊號設定為Y訊 號，但此亦可為RGB等其他的色彩訊號。 此外，以上係說明具有YUV訊號且Y訊號的解析度 為相同之情況，但亦可適用於UV訊號的解析度為不同之 情況。此時，於影像放大部中，僅放大UV訊號並直接拷 貝Y訊號。此外，對應點推測部之對應點推測的處理，可 不以放大U訊號或V訊號後之訊號，而是以Y訊號來進 行。 以上的影像生成處理，可藉由電腦與軟體程式來實 現，亦可將該程式記錄於電腦可讀取的記錄媒體來提供， 320679D01 25 201246124 或是經由網路來提供。 (產業利用可能性） 的影像資訊:可利用其他在攝影，置 置的影像資訊’而生成高解析度的影像資訊。 主觀品質的劣化。 鞛此了降低 【圖式簡單說明】 實施例之影像生成裝置的構 第1圖係顯示本發明第 成圖。 第2圖係顯示第i實施例之影像生錢置的動作之流 第3圖係顯示本發明第2實施例之影像生成裝置的構 成圖。 第4圖係顯示第2實施例之影像生成裝置的動作之流 程圖。 第5圖係顯示本發明第3實施例之影像生成裝置的構 成圖。 第6圖係顯示第3實施例之影像生成裝置的動作之流 程圖。 第7圖係顯示第3實施例的變形例之影像生成裝置的 構成圖。 第8圖係顯示本發明第4實施例之影像生成裝置的構 成圖。 第9圖係顯示第4實施例之影像生成裝置的動作之流 320679D01 26 201246124 . 程圖。 第10圖係顯示第4實施例的變形例之影像生成裝置 的構成圖。 第11圖係顯示直線排列配置的多視點攝像系統的例 子之圖面。 第12圖係顯示平面排列配置的多視點攝像系統的例 子之圖面。 第13圖係顯示弧狀排列配置的多視點攝像系統的例 子之圖面。 第14圖係顯示球面排列配置的多視點攝像系統的例 子之圖面。 【主要元件符號說明】 101 、 201 、 301 、 401 影像放大部 102、202、302、402 對應點推測部 103 、 203 、 303 、 403 對應影像設定部 2〇4 、 304 、 404 影像内插部 305 、 405 影像縮小部 306 ' 406 差分製作部 307 、 407 影像選擇部 308 、 408 影像生成部 409 生成差分合計部 410 臨限值設定部 411 臨限值決定部 412 基準影像縮小部 320679D01 27