[go: up one dir, main page]

TWI535285B - Conference system, surveillance system, image processing device, image processing method and image processing program, etc. - Google Patents

Conference system, surveillance system, image processing device, image processing method and image processing program, etc. Download PDF

Info

Publication number
TWI535285B
TWI535285B TW100137332A TW100137332A TWI535285B TW I535285 B TWI535285 B TW I535285B TW 100137332 A TW100137332 A TW 100137332A TW 100137332 A TW100137332 A TW 100137332A TW I535285 B TWI535285 B TW I535285B
Authority
TW
Taiwan
Prior art keywords
image
pixel information
circular
planar regular
regular image
Prior art date
Application number
TW100137332A
Other languages
English (en)
Other versions
TW201230786A (en
Inventor
Kuniaki Aragane
Kyoji Yoshino
Koji Inagaki
Original Assignee
Dainippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainippon Printing Co Ltd filed Critical Dainippon Printing Co Ltd
Publication of TW201230786A publication Critical patent/TW201230786A/zh
Application granted granted Critical
Publication of TWI535285B publication Critical patent/TWI535285B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

會議系統、監視系統、影像處理裝置、影像處理方法及影像處理程式等
本發明係關於對所輸入之影像資料執行處理之影像處理裝置及影像處理方法等之技術分野。
廣角透鏡(例如，魚眼透鏡)或全方位鏡，因為可以廣角範圍之視野來攝取被攝體，例如，適用於監視攝影機系統、視訊會議系統等之攝影機裝置(例如，魚眼攝影機)。
該魚眼攝影機所攝取之魚眼變形影像發生變形，尤其是，該影像之外緣部(端面部)明顯發生變形。所以，為了提高魚眼變形影像所示之被攝體的識別性，將魚眼變形影像變換成二次元之可辨識的平面正則影像，來執行上述變形補正之魚眼補正處理。
此外，適用於魚眼補正處理之技術，例如，專利文獻1所示之將魚眼透鏡全景縮小影像、及以指向器所指定之該魚眼變形影像內之期望區域之切取變形補正區域輸出顯示於同一畫面上的技術。
[專利文獻1]日本特開2008-301034號公報
然而，專利文獻1所示之技術時，必須以人之目視來特定顯示於魚眼變形影像的特定物體，並對裝置提供監視該物體之指示，而無法正確且有效地執行物體辨識。
此外，因為魚眼變形影像發生如上所述之變形，適用用以辨識顯示於影像之特定物體之物體辨識技術時，難以正確地辨識顯示於魚眼變形影像上之物體。
有鑑於如上所述之問題等，所以，本專利發明的課題之一，係在提供可依據以廣角範圍視野所攝取之魚眼變形影像等來執行正確且有效地物體辨識之會議系統、監視系統、影像處理裝置、影像處理方法及影像處理程式等。
為了解決上述課題，如申請專利範圍第1項所述之發明的特徵，係具備：歪圓形影像記憶手段，其係用以記憶依據外部所輸入之廣角透鏡或全方位鏡所攝取之歪圓形影像而生成之構成該歪圓形影像的像素資訊群；變換手段，其係用以將前述所記憶之構成歪圓形影像的像素資訊群，變換成用以構成可以以二維視覺辨識之平面正則影像之像素資訊群；平面正則影像記憶手段，其係用以記憶構成前述經過變換之平面正則影像的像素資訊群；選擇指示受取手段，其係用以受取像素資訊之選擇指示，該像素資訊對應於前述所記憶之平面正則影像上的任意點；對應座標特定手段，其係用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之像素資訊；以及再變換手段，以前述特定之像素資訊為中心，用以將前述所記憶之構成歪圓形影像之像素資訊群，再變換成用以構成可以以二維視覺辨識之平面正則影像的像素資訊群。
申請專利範圍第2項所述之發明，係如申請專利範圍第1項所述之影像處理裝置，其中，具備：畫面資訊生成手段，其係依據用以構成前述經過再變換之平面正則影像的像素資訊群，生成顯示於顯示部之規定大小的畫面資訊。
申請專利範圍第3項所述之發明，係如申請專利範圍第1或2項所述之影像處理裝置，其中，前述選擇指示受取手段，其係用以受取像素資訊的選擇指示，該像素資訊的選擇指示對應於由前述變換手段所變換之平面正則影像上之複數點，前述對應座標特定手段，其係用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之各像素資訊，前述再變換手段，其係以前述特定之各像素資訊為中心，針對以前述對應座標特定手段特定之各像素資訊，將前述所記憶之構成歪圓形影像的像素資訊群，再變換成用以構成可以以二維視覺辨識之平面正則影像的像素資訊。
申請專利範圍第4項所述之發明，係如申請專利範圍第3項所述之影像處理裝置，其中，具備：顯示控制手段，其係將前述所生成之各畫面資訊以相同大小顯示於前述顯示部之顯示形態來進行控制。
申請專利範圍第5項所述之發明，係如申請專利範圍第1或2項所述之影像處理裝置，其中，具備：物體辨識手段，其係用以辨識在前述經過變換之平面正則影像所示之規定物體，前述選擇指示受取手段，其係用以受取像素資 訊的選擇指示，該像素資訊對應於前述經過辨識之物體上之任意點。
申請專利範圍第6項所述之發明，其特徵為具備：歪圓形影像記憶手段，其係以對應於各歪圓形影像之方式，來記憶依據外部所輸入之廣角透鏡或全方位鏡所連續拍攝被攝體的複數歪圓形影像而生成之構成該複數歪圓形影像的像素資訊群；變換手段，其係針對前述各歪圓形形影像，將前述所記憶之構成各歪圓形影像的像素資訊群，變換成用以構成可以以二維視覺辨識之平面正則影像的像素資訊群；平面正則影像記憶手段，其係用以記憶前述經過變換之各平面正則影像的像素資訊群；物體辨識手段，其係用以辨識前述經過變換之平面正則影像的特定物體；動作辨識手段，其係用以針對前述各平面正則影像，辨識前述所辨識之物體於平面正則影像所示之隨時間之變化；第2對應座標特定手段，用以特定對應於由前述動作辨識手段所辨識之前述各平面正則影像之物體上之任意點之歪圓形影像上的像素資訊；以及再變換手段，以前述第2對應座標特定手段所特定之各歪影像上之像素資訊為中心，針對第2對應座標特定手段所特定之各像素資訊，用以將構成前述歪圓形影像之像素資訊群，再變換成構成可以以二維視覺辨識之平面正則影像的像素資訊群。
申請專利範圍第7項所述之發明，具備：攝影機，其係將以廣角透鏡或全方位鏡所攝取之被攝體當作歪圓形影像輸出至影像處理裝置；及前述影像處理裝置，其係依據前述所輸入之歪圓形影像來生成畫面資訊並輸出至終端裝置之會議系統，其特徵為：前述影像處理裝置，具備：歪圓形影像記憶手段，其係用以記憶依據前述所輸入之歪圓形影像而生成之構成該歪圓形影像的像素資訊群；變換手段，其係用以將前述所記憶之構成歪圓形影像的像素資訊群，變換成構成可以以二維視覺辨識之平面正則影像的像素資訊群；平面正則影像記憶手段，其係用以儲存構成前述經過變換之平面正則影像的像素資訊群；物體辨識手段，其係用以辨識前述經過變換之平面正則影像所示之一或複數之特定物體；選擇指示受取手段，其係針對前述所辨識之各物體，用以受取像素資訊的選擇指示，該像素資訊對應於前述經過辨識之物體上之任意點；對應座標特定手段，其係用以針對前述所辨識之各物體，用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之像素資訊；再變換手段，其係以前述對應座標特定手段所特定之像素資訊為中心，針對前述所辨識之各物體，將前述所記憶之構成歪圓形影像的像素資訊群，再變換成構成可以以二維視覺辨識之平面正則影像的像素資訊群；畫面資訊生成手段，其係用以針對前述所辨識之各物體，以構成前述經過再變換之平面正則影像的像素資訊群，生成顯示於顯示部之規定大小的畫面資訊；以及輸出手段，其係將前述所生成之畫面資訊輸出至前述終端裝置。
申請專利範圍第8項所述之發明，係如申請專利範圍第7項所述之會議系統，其中，前述攝影機，搭載於該攝影機之廣角透鏡或全方位鏡係朝天頂方向配置。
申請專利範圍第9項所述之發明，係具備：監視攝影機，其係搭載將以廣角透鏡或全方位鏡對第1攝取中心之規定攝取範圍內所攝取之被攝體當作歪圓形影像輸出至影像處理裝置的功能，與將以具備變焦機構之透鏡群對第2攝取中心之規定範圍內所攝取之被攝體當作平面正則影像輸出至前述影像處理裝置的功能；以及前述影像處理裝置，其係依據前述所輸入之歪圓形影像來生成畫面資訊的監視系統，其特徵為：前述監視攝影機具備：雙軸(pan-tilt)驅動手段，其係用以切換該攝影機之攝取位置；前述影像處理裝置具備：歪圓形影像記憶手段，其係用以記憶依據前述所輸入之歪圓形影像而生成之構成該歪圓形影像的像素資訊群；變換手段，其係將前述所記憶之構成歪圓形影像的像素資訊群，變換成用以構成可以以二維視覺辨識之平面正則影像的像素資訊群；平面正則影像記憶手段，其係用以儲存構成前述經過變換之平面正則影像的像素資訊群；物體辨識手段，其係用以辨識前述經過變換之平面正則影像所示之物體；選擇指示受取手段，其係用以受取像素資訊的選擇指示，該像素資訊對應於前述所記憶之平面正則影像上之任意點；對應座標特定手段，其係用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之像素資訊；以及位置控制手段，依據預先計算之前述第1攝取中心及前述第2攝取中心，計算以將前述第2攝取中心重新設定於前述對應座標特定手段所特定之像素資訊所示之位置為目的之距離資訊，並將以將監視攝影機驅動至該距離資訊所示之位置為目的之控制信號輸出至前述雙軸(pan-tilt)驅動手段。
申請專利範圍第10項所述之發明，其特徵為具有：歪圓形影像記憶步驟，其係用以記憶依據外部所輸入之廣角透鏡或全方位鏡所攝取之歪圓形影像而生成之構成該歪圓形影像的像素資訊群；變換步驟，其係將前述所記憶之構成歪圓形影像的像素資訊群，變換成用以構成可以以二維視覺辨識之平面正則影像的像素資訊群；平面正則影像記憶步驟，其係用以記憶構成前述經過變換之平面正則影像的像素資訊群；選擇指示受取步驟，其係用以受取像素資訊的選擇指示，該像素資訊對應於前述所記憶之平面正則影像上之任意點；對應座標特定步驟，其係用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之像素資訊；以及再變換步驟，其係以前述對應座標特定步驟所特定之像素資訊為中心，將前述所記憶之構成歪圓形影像的像素資訊群，再變換成構成可以以二維視覺辨識之平面正則影像的像素資訊群。
申請專利範圍第11項所述之發明，其特徵為：使影像處理裝置所含有之電腦，具有作為以下手段的功能：歪圓形影像記憶手段，其係用以記憶依據外部所輸入之廣角透鏡或全方位鏡所攝取之歪圓形影像而生成之構成該歪圓形影像的像素資訊群；變換手段，其係用以將前述所記憶之構成歪圓形影像的像素資訊群，變換成構成可以以二維視覺辨識之平面正則影像的像素資訊群；平面正則影像記憶手段，其係用以記憶前述經過變換之平面正則影像的像素資訊群；選擇指示受取手段，其係用以受取像素資訊的選擇指示，該像素資訊對應於前述所記憶之平面正則影像上之任意點；對應座標特定手段，其係用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之像素資訊；以及再變換手段，其係以前述對應座標特定手段所特定之像素資訊為中心，將前述歪圓形影像的像素資訊群，再變換成構成可以以二維視覺辨識之平面正則影像的像素資訊群。
依據本發明，因為為以下之構成，亦即，受取依據以廣角透鏡或全方位鏡所攝取之歪圓形影像而生成之二次元之可辨識之平面正則影像上之任意點之選擇指示時，特定對應於該選擇指示所示之平面正則影像上之像素資訊之歪圓形影像上的像素資訊，以該特定像素資訊為中心，依據該歪圓形影像的像素資訊群，重新來生成用以構成平面正則影像之像素資訊群的構成，故可依據廣角範圍視野所攝取之魚眼變形影像等而正確且有效地執行物體辨識。
以下，參照附錄圖式，針對本發明之實施形態進行詳細說明。以下說明之實施形態，係將本發明適用於影像處理裝置時之實施形態。
[1、魚眼變形影像之變換原理] A)平面正則影像之變換
本實施形態之影像處理裝置，詳細如後面所述，其機能之一，係切取以廣角透鏡或全方位鏡所攝取之歪圓形影像之一例之魚眼變形影像的一部分或全部，再執行將其變換成二次元之可辨識之平面正則影像之處理的機能。
此處，首先，參照第1圖及第2圖，針對切取魚眼變形影像的一部分或全部再將其變換成平面正則影像之基本原理(以下，簡稱為「基本原理」)進行說明。
第1圖，係基本原理之概念的概念圖。
此基本原理，因為係大家所知之手法，省略其詳細說明，然而，為了得到平面正則影像之像素資訊群，計算對應於構成該平面正則影像之各像素資訊之魚眼變形影像之各像素資訊之位置的對應座標。
具體而言，將接觸魚眼透鏡之光學特性模式化之虛擬球面上之任意點的平面定義成平面正則影像，以公知之座標變換，將該平面上之各座標變換成魚眼變形影像之各座標，進而計算出上述對應座標。
其次，為了切取以魚眼變形影像S上之切取中心點P(xo,yo)為中心之一部分並變換成平面正則影像T，採用以如第1圖所示之O作為原點之XYZ座標系所定義之虛擬球面 模式之對應座標的計算方法。第1圖中，以存在著魚眼變形影像S之座標系作為XY座標系，而以存在著平面正則影像T之座標系作為UV座標系。以下，稱為XY座標系、或UV座標系時，係分別表示魚眼變形影像S或平面正則影像T上之座標系。
利用該虛擬球面模式之對應座標的計算方法時，對應於定義在魚眼變形影像S上之切取中心點P(xo,yo)的上述對應座標之平面正則影像T的原點G(xg,yg,zg)，在將平行於P及Z軸之直線與虛擬球面H之交點定義成Q(xo,yo,zo)時，係存在於通過Q及XYZ座標系之原點的向量n上係眾所皆知的事。
其次，分別定義如下，亦即，魚眼變形影像S之半徑為R、連結切取中心點P(xo,yo)及XY座標系之原點O之直線與Y軸之夾角為方位角α、連結UV座標系之原點G(xg,yg,zg)及XY座標系之原點O的直線與Z軸之夾角的頂角為β、以及U軸與J軸(通過G(xo,yo,zo)而平行於XY平面且垂直相交於直線OG之軸，以下，亦稱為旋轉基準軸)的夾角為平面傾斜角。該平面傾斜角，用以定義UV座標系之朝U軸方向之向量U、及朝旋轉基準軸J之方向的向量J時，係以向量U及向量J之夾角來定義之角，通常，稱為「平面傾斜角」。由以上可知，以該方位角α、頂角β、及平面傾斜角之3個角度，可以決定平面正則影像T之UV座標系的位置及方向。該3個角度，一般亦可稱其為尤拉角。此外，將用以表示平面正則影像T之補正尺寸的參數定義成倍率m。依該倍率m之值，UV座標系，可以將UV座標系配置以使OG間之距離成為半徑R之m倍的位置。該尤拉角及倍率m，係可對應變換平面正則影像之方向及大小等而改變的變數。亦即，尤拉角及倍率m，具有參數之機能，由使用者之輸入或機器之設定來決定。
利用以上之關係，XY座標系上之點Si(xi,yi)及UV座標系上之點Ti(ui，vi)(亦即，上述對應座標之計算)，利用參數A~F及w(式(3)至式(9))，而以式(1)及(2)來計算係一般所知的方法。
此外，式(1)及(2)所示之x、y、u、v，係對應於上述xi、yi、ui、vi。
[數1]
[數2]
[數3]
A =cos Φ cosα-sin Φ sinαcos β　…式(3)
[數4]
B =-sin Φ cosα-cos Φ sinαcosβ　…式(4)
[數5]
C =sinβsinα　…式(5)
[數6]
D =cos Φ sinα+sin Φ cosαcosβ　…式(6)
[數7]
E =-sin Φ sinα+cos Φ cosαcosβ　…式(7)
[數8]
F =-sinβcosα　…式(8)
[數9]
W = mR 　…式(9)
其次，參照第2圖，針對計算上述對應座標，切取魚眼變形影像S的一部分或全部並變換成平面正則影像T之變換例來進行說明。
第2圖，係切取魚眼變形影像S的一部分或全部，並變換成平面正則影像T之變換例的概念圖。
第2(A)圖係魚眼變形影像S，切取其一部分並變換成平面正則影像T之影像如第2(B)圖及第2(C)圖所示。
從魚眼變形影像S變換成平面正則影像T時之影像大小(UV座標系之座標總數)可以任意設定。亦即，構成魚眼變形影像S之影像當中，可以將任意之範圍變換成平面正則影像T。
第2(B)圖，係魚眼變形影像S所示之影像當中，只選擇D氏並變換成平面正則影像T之例。此外，第2(C)圖時，係魚眼變形影像S所示之影像當中，選擇了B氏～E氏並變換成平面正則影像T之例。
B)彎曲平面正則影像之變換
如上面所述，魚眼變形影像發生變形。該變形，隨著從魚眼變形影像之中心部遠離(亦即，愈接近魚眼變形影像之外緣部)愈大，係大家所熟知。
第2圖所示之例的說明時，將魚眼變形影像S之中心部附近的影像變換成平面正則影像T的第2(B)圖時，變形較少，而呈現自然形狀之人物。另一方面，將魚眼變形影像S之中心部朝外緣部之影像變換成平面正則影像T之第2(C)圖時，對應於魚眼變形影像S之外緣部所顯示之影像的平面正則影像T(亦即，B氏及E氏)，變形較多，相對於畫面，水平方向之人物像呈現擴大。換言之，呈現不自然形狀之人物像。
針對該變形較大之平面正則影像，適用用以辨識顯示於影像之特定物體的物體辨識技術時，難以正確地辨識顯示於魚眼變形影像上之物體。
具體而言，針對第2(B)及(C)圖所示之影像進行說明的話，物體辨識技術，考慮適用一般所熟知之型樣匹配法(將預先記憶之影像、與顯示於畫面之影像進行類似度比較來辨識物體的技術)時。
第2(B)圖所示之人物像，一般而言，可以掌握到其為人物，此外，類似於預先記憶之人物像的可能性較高。所以，適用物體辨識技術，可以辨識顯示於影像之特定物體。
另一方面，第2(C)圖所示之人物像，一般而言，難以掌握到其為人物，此外，類似於預先記憶之人物像的可能性較低。所以，適用物體辨識技術，應難以辨識顯示於影像之特定物體。
基於以上理由，基本原理上，狹窄範圍(其一例，係將魚眼變形影像S之中心部附近之影像變換成平面正則影像時)之作為變形補正影像的平面正則影像時，因為變形較小，可以併用物體辨識技術，然而，廣泛範圍(其一例，係將魚眼變形影像S之中心部至外緣部之影像變換成平面正則影像時)之作為變形補正影像的平面正則影像時，隨著離UV座標系之中心部愈遠，其補正影像內之變形愈大，而難以併用物體辨識技術。
所以，為了改善發生於平面正則影像T上之左右輪廓附近的變形，發明者們發明了以下之技術，亦即，依據利用用以表示UV彎曲座標系上之座標C′(u′,v′)及XY座標系上之座標P(x,y)之對應關係的對應關係式，來求取並決定位於變換後之像素資訊之座標C(u,v)位置的像素資訊之座標P(x,y)附近位置的像素資訊，再依據變換後之像素配列資料將影像顯示於平面上之顯示部，而藉以求取平面正則影像T之技術(詳細內容，例如，參照日本特開2010-62790號公報)。
以下，將日本特開2010-62790號公報所示之變換方法，簡稱為「彎曲平面正則影像之變換」。
該彎曲平面正則影像之變換，因為眾所皆知之技術，故省略其詳細說明，然而，利用第3圖及第4圖，進行概要說明。此外，第3圖及第4圖所示之記號當中，標示成與已說明之記號相同之記號者，因為表示至少具有相同之機能等(包含作用及效果)，故省略其詳細說明。
第3圖，係彎曲平面正則影像之變換的概念圖。
彎曲平面正則影像之變換，如第3(A)及(B)圖所示，係在XY平面上之魚眼變形影像S上，定義具有半徑R之虛擬球面H、尤拉角及倍率m(與第2圖相同)。此外，與第2圖相同，求取通過點P之正上方之點Q的視點向量n，於OG之距離為m‧R之點G，將具有對應於角Φ之方向的UV座標系定義在垂直於視線向量n之平面T上。此外，以使該UV座標系而沿著「以點G為側面上之1點且以平行於V軸而通過點0之直線V′為中心軸之虛擬圓柱」之側面C彎曲之方式，來定義UV彎曲座標系。
此外，如上所示之定義時，可以得知，UV座標系T與將其彎曲所得之UV彎曲座標C，具有如第3(B)圖所示之位置關係。
亦即，UV座標系之座標面的UV平面，係平行於XY平面之面，兩者之間隔，設定成w=mR。如圖所示，係沿著該UV平面之水平方向來定義U軸，於點G，則將V軸定義於垂直圖面之方向。其次，將平面正則影像T定義於該UV平面上。
另一方面，UV彎曲座標系之座標面的UV曲面，係使UV平面沿著虛擬圓柱之側面而彎曲所得到之面。此處，虛擬圓柱，係以V′軸(平行於V軸且通過原點O之軸)為中心軸、半徑w=mR之圓柱，於軸V之位置接觸於UV平面。UV曲面，係以與該虛擬圓柱之側面一致而沿著半徑w=mR之圓的圓弧之方向來定義U軸，以點G之圖面的垂直方向來定義V軸。其次，該UV曲面上，彎曲正則影像C定義。
如此，UV座標系及UV彎曲座標系，一方之座標軸V軸為共用，而另一方之座標軸之U軸的空間位置不同。但是，座標尺標之刻度寬度為相同，座標面上之任意1點的位置，與以座標(u,v)所示之點相同。所以，以同一座標(u,v)所表示之各座標面上的2點關係，可以下述方式來考慮。
亦即，如第3(B)圖之左上所示，注意UV座標系上之點T(u,v)，該點T(u,v)，係平面正則影像T上之點，係從原點G而沿著U軸為座標值u之間隔，V軸方向則係間隔著座標值v之點。
其次，注意UV彎曲座標系上之點C(u,v)，該點C(u,v)，係彎曲正則影像C上之點，係從原點G沿著圓弧A為座標值u之間隔，V軸方向則係間隔著座標值v之點。
如此，點T(u,v)及點C(u,v)，皆為以座標(u,v)來表示之點，然而，因為係以不同座標系所定義之點，於XYZ三次元垂直相交之座標系所示之空間上的位置不同。亦即，以XYZ三次元垂直相交座標系之座標值來考慮的話，相對於點T(u,v)之座標為T(u,v,w)，點C(u,v)之座標為C(u′,v′,w′)。此處，由第3(B)圖可知，u′=w‧sinθ、w′=w‧cosθ。
此外，因為圓弧GC之長度等於座標值u之絕對值，圓弧A之半徑為w，故，第3(B)圖所示之角度θ為θ=u/w弧度。所以，可以得知，上述u′及w′，u′=w‧sin(u/w)、w′=w‧cos(u/w)。此外，兩UV座標系，因為V軸為共用之座標軸，故點T、C之Y座標值為相同之座標值v。
利用以上之關係，XY座標系上之點Si(xi,yi)及UV彎曲座標系上之點C′(u′,v′)，可以利用參數A～F及w(式(3)式(9))，而以式(10)及(13)之演算式來求取。其次，求取UV彎曲座標系上之點P附近的影像，將其展開平面T上而得到平面正則影像T。
藉由此種構成，發明者們證實，在平面正則影像T之右邊輪廓附近及左邊輪廓附近的變形獲得大幅改善。
以下，係式(10)～(13)。此外，式(10)～(13)之x、y，係對應於上述xi、yi。
[數式10]
[數式11]
[數式12]
[數式13]
其次，利用上述彎曲座標系，參照第4圖，針對切取魚眼變形影像S的一部分或全部並變換成平面正則影像T之變換例來進行說明。
第4圖，係利用上述彎曲座標系，切取魚眼變形影像S的一部分或全部，再將其變換成平面正則影像T之變換例的概念圖。
第4(A)圖，圖示著魚眼變形影像S，利用上述彎曲座標系，切取其一部分並變換成平面正則影像的影像，如第4(B)圖所示。此外，從魚眼變形影像S變換成平面正則影像時之影像大小可以任意設定，此點與上述例相同。
第4(B)圖時，係魚眼變形影像S所示之影像當中，選擇了B氏～E氏並變換成平面正則影像之例。該選擇範圍，與第2(C)圖所示之例為相同之範圍，然而，相較於第2(C)圖所示之平面正則影像，第4(B)圖所示之平面正則影像上的左右輪廓附近幾乎未發生變形。
本實施形態之影像處理裝置時，可以適用「基本原理」及「彎曲平面正則影像之變換」的任何變換方法，然而，在以下說明之例時，係針對利用「彎曲平面正則影像之變換」時來進行說明。
此外，上述魚眼變形影像S，係由具備廣角透鏡或全方位鏡之攝影機(例如，魚眼透鏡攝影機)所攝取者，參照第5圖，針對該魚眼透鏡攝影機之設置方向及補正方向之關係來進行說明。
第5圖，係魚眼透鏡攝影機之設置方向及補正方向之關係的概念圖。
第5(A)圖，係將魚眼透鏡攝影機配置成橫向(例如，正對於Z軸之方向)時之補正方向的例。為了取得約180度之廣泛視野的平面正則影像，只要進行第5(A)圖中之箭頭方向的變形補正即可。
第5(B)圖，係將魚眼透鏡攝影機朝上方(例如，平行於Z軸之方向)配置時之補正方向的例。為了取得約360度之廣泛視野的平面正則影像，只要進行第5(B)圖中之箭頭方向的變形補正即可。
亦即，魚眼透鏡攝影機為橫向時，如第5(A)圖所示，以箭頭方向進行補正，可生成約180度之全景平面正則影像。此外，朝上方時，以第5(B)圖之箭頭方向進行補正，可以生成約360度之全景平面正則影像。
[2、影像處理裝置之構成及機能概要]
本實施形態之影像處理裝置，除了執行切取以上述廣角透鏡或全方位鏡所攝取之歪圓形影像之一例的魚眼變形影像之一部分或全部，並變換成二次元之可辨識之平面正則影像的處理(以下，亦統稱為「變換」)以外，尚具有以下之機能，亦即，以該平面正則影像上之任意點為中心，執行將該攝取之魚眼變形影像再變換成平面正則影像之處理(以下，亦稱為「再變換」)的機能。
參照第6圖等，針對具有此種機能之本實施形態之影像處理裝置的構成及機能概要進行說明。
第6圖，係本實施形態之影像處理裝置之構成及機能概要的方塊圖。
如第6圖所示，影像處理裝置SS之構成上，係具備：魚眼變形補正單元1(變換手段之一例)、補正參數計算單元2、參數輸入單元3等。
魚眼變形補正單元1，首先，其機能之一，就是執行計算對應於用以構成上述平面正則影像之各像素資訊之魚眼變形影像之各像素資訊之位置之對應座標的處理，為了執行該機能，其構成上，具備：對應座標計算單元4、平面正則影像作成單元5、魚眼變形影像用記憶體6(歪圓形影像記憶手段之一例)、平面正則影像用記憶體7(平面正則影像記憶手段之一例)等。
具體而言，魚眼補正單元1，係利用未圖示之光學透鏡以180°之視野來進行周圍被攝體之拍攝，並以未圖示之影像感測器等變換成半徑為R之歪曲圓形影像之一例之魚眼變形影像S的數位資料，經過變換之魚眼變形影像S，被儲存於魚眼變形影像用記憶體6。魚眼補正單元1，則執行將其變換成可顯示於未圖示之顯示裝置之像素資訊群的平面正則影像T，並儲存於平面正則影像用記憶體7之處理。
魚眼變形影像用記憶體6，係由一般影像資料儲存用之緩衝記憶體所構成，係將魚眼變形影像S，以由配置於XY座標系上之座標(x,y)所示之位置的多數像素之集合體所構成的像素資訊群來進行儲存。該魚眼變形影像S，如上面所述，為以XY座標系之原點O為中心及半徑為R之影像。
平面正則影像用記憶體7，係由一般影像資料儲存用之緩衝記憶體所構成，將平面正則影像T，以由配置於UV座標系上之座標(u,v)所示之位置的多數像素之集合體所構成的像素資訊群來進行儲存。平面正則影像T之輪廓，可以任意設定。此外，儲存於該平面正則影像用記憶體7之像素資訊，可以使用於上述平面正則影像T及彎曲正則影像C之雙方。
此外，如[1、魚眼變形影像之變換原理]所述，UV座標系及UV彎曲座標系，於為具有U軸及V軸之二次元座標系之點相同，定義於UV座標系上之平面正則影像T，定義於UV彎曲座標系上之彎曲正則影像C，皆為由配置於座標值(u,v)所示之位置之多數像素配列所構成之點相同。所以，只要依據儲存於平面正則影像用記憶體7內之像素配列資料，將影像顯示於平面上，即可得到平面正則影像T，然而，將影像顯示於圓柱側面上，則可得到彎曲正則影像C。所以，儲存於平面正則影像用記憶體7之像素配列資料本身，可以稱之為平面正則影像T用資料，亦可稱之為彎曲正則影像C用資料。
對應座標計算單元4，利用由後面詳述之補正參數計算單元2所設定之參數(上述式(3)～式(8)之A～F之值及α、β、Φ等)、預先設定之半徑R，計算對應於由後面詳述之平面正則影像作成單元5所提供之平面正則影像上之任意座標(u,v)之魚眼變形影像S上的對應座標(x,y)。
亦即，對應座標計算單元4，具有以下之機能，亦即，提供平面正則影像上之任意座標(u,v)時，可以將對應之魚眼變形影像S上的對應座標(x,y)傳回給平面正則影像作成單元5之機能。該平面正則影像上之任意座標(u,v)，由後述之uv座標值發生部51，發生被輸出之平面正則影像的像素份。
更具體而言，對應座標計算單元4，具由藉由依據上述基本原理之關係式(式(1)～式(9))、或彎曲平面正則影像之變換的關係式(式(10)～式(13))之演算，來計算對應於座標(u,v)之對應座標(x,y)的機能，其構成上，具備：共用係數演算部41、彎曲座標補正部42、xy座標計算部43。
共用係數演算部41，由參數輸入單元100提供倍率m、由平面正則影像作成單元300提供座標v時，利用預先設定之歪曲圓形影像之半徑R，將以上述式(9)所計算之值代入上述G，執行共用係數G之演算的處理。
彎曲座標補正部42，具有執行以將定義於平面上之二次元UV垂直相交座標系上之座標(u,v)補正成定義於圓柱側面上之二次元UV彎曲座標系上之座標(u,v)之必要演算的機能，由參數輸入單元100提供倍率m、由平面正則影像作成單元300提供座標u時，利用預先設定之魚眼變形影像的半徑R，依據式(9)、式(10)及式(11)，執行u′及w′之演算處理。
此外，利用基本原理之關係式(式(1)～式(9))時，省略了彎曲座標補正部42，對xy座標計算部43輸入u、v、w以取代u′、v、w′。
xy座標計算部43，利用平面正則影像作成單元5所提供之座標v、補正參數計算單元2所輸入之A～F(式(3)～式(8))、共用係數演算部41所演算之共用係數G、彎曲座標補正部42所演算之u′及w′、預先設定之魚眼變形影像之半徑R，依據式(12)及式(13)執行x及y之演算，並輸出至平面正則影像作成單元5。
平面正則影像作成單元5，利用xy座標計算部43所輸出之值，作成平面正則影像，並執行記憶於平面正則影像用記憶體7之處理。更具體而言，首先，將構成平面正則影像之1個著眼像素之座標(u,v)提供給對應座標計算單元4並計算對應座標(x,y)。其次，讀取配置在記憶於魚眼變形影像用記憶體6之魚眼變形影像S之對應座標(x,y)附近的像素之像素值，針對構成平面正則影像之各像素執行依據所讀取之像素值來決定著眼像素之像素值的處理，並藉由將各像素之像素值記憶於平面正則影像用記憶體7內來作成平面正則影像。
為了實現此種機能，平面正則影像作成單元5之構成上，具備：uv座標值發生部51、平面正則影像用記憶體控制器52(畫面資訊生成手段之一例)、像素值決定部53、魚眼變形影像用記憶體控制器54。
uv座標值發生部51，用以發生所輸出之平面正則影像構成像素之數量份的uv之值(座標值之值)。例如，所輸出之平面正則影像之大小為水平400點×垂直300點時，輸出u=-200～200、v=-150～150之值。
平面正則影像用記憶體控制器52，係針對平面正則影像用記憶體7執行資料之寫入及讀取之控制裝置，由像素值決定部53決定特定像素之像素值時，針對記憶於平面正則影像用記憶體7之該特定像素，執行所決定之像素值的寫入處理。如此，若對全部像素完成像素值寫入處理時，已於平面正則影像用記憶體7內作成平面正則影像T。其次，平面正則影像用記憶體控制器52，係讀取該平面正則影像T之資料並輸出至圖示顯示部，執行將平面正則影像T顯示於顯示畫面上之處理。
魚眼變形影像用記憶體控制器54，係用以對魚眼變形影像用記憶體6執行資料寫入及讀取之控制裝置。如上面所述，所輸入之魚眼變形影像S的資料，由魚眼變形影像用記憶體控制器54記憶於魚眼變形影像用記憶體6。
此外，必要時，魚眼變形影像用記憶體控制器54，亦可以讀取記憶於魚眼變形影像用記憶體6之魚眼變形影像S的資料並輸出至顯示裝置，而將魚眼變形影像S顯示於顯示畫面上。
此外，魚眼變形影像用記憶體控制器54，由對應座標計算單元4提供座標(x,y)時，亦可從魚眼變形影像用記憶體6所記憶之魚眼變形影像S的資料當中，讀取該座標(x,y)附近位置之像素的像素值，並實現將其提供給像素值決定部53之機能。
針對此種構成之平面正則影像作成單元5執行從魚眼變形影像S變換成平面正則影像T之變換的處理進行說明。
首先，uv座標值發生部51，發生用以構成平面正則影像T之像素配列上之用以表示特定著眼像素的座標(u,v)。所發生之座標(u,v)，由uv座標值發生部51提供給對應座標計算單元4。藉此，計算對應於座標(u,v)之對應座標(x,y)，該對應座標(x,y)，被提供給魚眼變形影像用記憶體控制器54。
如以上所述，魚眼變形影像用記憶體控制器54，從魚眼變形影像用記憶體6所記憶之魚眼變形影像S之資料當中，讀取該座標(x,y)附近位置之像素的像素值並提供給像素值決定部53。
魚眼變形影像S，係由配置於二次元XY垂直相交座標系上之座標(x,y)所示之位置之多數像素的集合體所構成之影像，實際上，係於以特定間距縱橫配列之多數格子點的位置分別定義固有像素值之數位資料所構成。所以，由對應座標計算單元4所計算之對應座標(x,y)之位置，通常，係複數格子點之間的位置。
所以，實際上，像素值決定部53時，在決定配置於座標(u,v)所示之位置之平面正則影像T上的著眼像素之像素值時，讀取配置於對應座標(x,y)所示之位置附近之魚眼變形影像S上之複數參照像素的像素值，並針對該等複數參照像素之像素值執行內插演算(例如，眾所皆知之二度空間內插法、雙立方‧仿樣內插法等)。此外，亦可以不執行上述內插，而採用直接以最接近對應座標(x,y)所示之位置之像素的像素值作為著眼像素之像素值的方法。
如此，由像素值決定部53所決定之著眼像素之像素值，被輸入至平面正則影像用記憶體控制器52。另一方面，由uv座標值發生部51，對平面正則影像用記憶體控制器52輸入所發生之座標(u,v)。
所以，平面正則影像用記憶體控制器52，執行將像素值決定部53所決定之像素值寫入來當作位於記憶在平面正則影像用記憶體7之平面正則影像T之座標(u,v)位置之眼像素之像素值的處理。
如此，針對1個著眼像素決定像素值，並執行寫入處理，然而，uv座標值發生部51，依序發生構成平面正則影像T之用以表示像素配列上之全部像素的座標(u,v)，針對各像素，分別決定像素值，並記憶於平面正則影像用記憶體7內。
參數輸入單元3，具備鍵盤、跟蹤球、觸控面板或電子筆等，依據使用者之操作，可以指定顯示於顯示裝置之魚眼變形影像S上或上述經過變換處理行後之平面正則影像T的一點。
更具體而言，為利用上述式(1)及(2)或式(12)、(13)等來計對應座標，需要視線向量n、平面傾斜角Φ、倍率m之3個參數。參數輸入單元3，係依據使用者之指示輸入來輸入該3個參數之構成要素。亦即，參數輸入單元3，具有於三次元XYZ垂直相交座標系，輸入以原點O為起點而朝任意方向之視線向量n作為用以表示平面正則影像之切取位置的參數，輸入特定之平面傾斜角Φ作為用以表示平面正則影像之切取方向的參數，並輸入特定之倍率m作為用以表示平面正則影像之補正尺寸的參數之機能。
此外，如上所示之實施形態時，於顯示裝置，必要時，可以顯示儲存於魚眼變形影像用記憶體6之魚眼變形影像S。其次，參數輸入單元3，接收到用以指定顯示於該顯示裝置之魚眼變形影像S上之1點之使用者的輸入指示時，以該1點之位置作為切取中心點P(xo,yo)，將其當作用以表示視線向量n之參數輸入來進行接收，並輸出至補正參數計算單元2。
補正參數計算單元2之構成上，係具備：補正參數計算部21(選擇指示受取手段之一例)、及對應座標計算單元22(對應座標特定手段之一例)。
補正參數計算部21，由參數輸入單元3提供視線向量n及平面傾斜角Φ時，依據視線向量n來求取方位角α及頂角β，並依據式(3)～(8)計算旋轉係數A、B、C、D、E、F。
如上面所述，本實施形態之影像處理裝置，具有執行以上述魚眼變形影像S之經過變換之平面正則影像T上的任意點為中心，將記憶於魚眼變形影像用記憶體6之魚眼變形影像S再變換成平面正則影像T之處理的機能。
為了實現該再變換，補正參數計算部21，係具備：對應座標計算單元22、及魚眼變形補正單元1(再變換手段之一例)。
為了將上述變換所得到之平面正則影像T顯示於顯示裝置，通常必須將平面正則影像T縮小成可顯示於該顯示裝置之可顯區域。所以，顯示之平面正則影像T，為了縮小原影像，以省略部分像素資訊來進行顯示。
針對此種省略部分像素資訊之平面正則影像T，以切取特定範圍來顯示、或放大顯示時(亦即，顯示平面正則影像T之詳細影像時)，會導致塊狀變形(塊狀雜訊)、或顯示於影像之被攝體的識別性明顯損失的結果。
該塊狀變形，亦稱為塊狀雜訊，係指於顯示於像素上之影像的一部分區域呈現鑲嵌狀之現象。
此處，參照第7圖，針對於平面正則影像T之詳細影像發生塊狀雜訊之例進行說明。
第7圖，係平面正則影像T之詳細影像發生塊狀雜訊之例的概念圖。此外，第7(A)圖之上圖及第7(B)圖之上圖中之十字記號，係表示為了切取特定範圍來顯示而由參數輸入單元3提供指示之部位(例如，利用指向器之指示)。
第7(A)圖之上圖所示之例時，係利用基本原理將魚眼變形影像S變換成平面正則影像T之例，第7(A)圖之下圖所示之例，係切取變換後之平面正則影像T的一部分來進行顯示之例。
第7(A)圖之下圖所示之例時，係於顯示之切取顯示之平面正則影像T的被攝體發生塊狀雜訊而使該被攝體之輪廓部發生激烈變形之狀態。
第7(B)圖之上圖所示之例時，係利用彎曲平面正則影像之變換來將魚眼變形影像S變換成平面正則影像T之例，第7(B)圖之下圖所示之例時，係切取並顯示變換後之平面正則影像T的一部分之例。
第7(B)圖之下圖所示之例時，係於顯示之切取顯示之平面正則影像T之被攝體發生塊狀雜訊而使該被攝體之輪廓部發生激烈變形的狀態。
從該魚眼變形影像S變換成平面正則影像T之目的，係因為魚眼變形影像S發生強烈變形，將所攝取之物體變換成容易監看之平面正則影像T，再提示給使用者。其次，為了持續監看、對拍攝成平面正則影像T之物體取得更詳細之資訊，以切取顯示拍攝成該平面正則影像T之物體的特定範圍、或擴大顯示為佳。此外，以對上述平面正則影像T適用物體辨識技術，並在未執行人為動作而可正確辨識顯示於魚眼變形影像上之物體為佳。
然而，使用者，難以利用上述發生塊狀雜訊之影像取得詳細資訊，且，難以適用上述物體辨識技術。
所以，本實施形態之影像處理裝置SS，係利用補正參數計算部21、對應座標計算單元22、及魚眼變形補正單元1來執行上述再變換。
參照第8圖～第10圖，針對該再變換進行詳細說明。
第8圖～第10圖係用以說明再變換之詳細的概念圖。
該再變換時，可以適用利用基本原理之變換方法、及利用彎曲平面正則影像之變換的變換方法之任意變換方法，以下，針對利用彎曲平面正則影像之變換的變換方法來進行說明。
首先，考慮利用上述處理之變換處理，亦即，將由魚眼變形影像S轉換成彎曲平面正則影像C並將該彎曲平面正則影像顯示於顯示部時。此處，如第8圖所示，係顯示著以P(xo,yo)作為切取中心之彎曲平面正則影像C者。該切取中心P(xo,yo)，可以為由使用者之參數輸入單元3之操作所指定者、亦可以為依影像處理裝置SS預先設定之位置所指定者。
使用者，可依據參數輸入單元3之操作，選擇彎曲平面正則影像C之任意點。該任意位置之一例，可以為使用者對顯示於彎曲平面正則影像C之物體當中希望得到詳細資訊之點，例如，適用物體辨識技術來辨識特定物體時，亦可以為該物體之重心位置。
第8圖所示之例時，係已經變換成以點G為中心之平面正則影像。前面已針對該動作進行說明，然而，係於魚眼變形影像S上指定平面正則影像之中心(點P)，並決定對應於點P之虛擬球面上之點Q，由點Q來計算α、β。其次，指定補正影像之傾斜角Φ，利用式(3)～(8)計算係數A～F。利用該A～F計算魚眼變形影像及平面正則影像之對應座標，得到以點G為中心之平面正則影像。
第8圖所示之例時，係進一步選擇Ci(ui,vi)作為上述任意點。
參數輸入單元3，接收到Ci(ui,vi)之輸入時，將該所輸入之資訊輸出至補正參數計算部21。具體而言，參數輸入單元3，依據使用者之指示輸入，將視線向量n、平面傾斜角Φ、倍率m之3個當作參數輸出至補正參數計算部21。
補正參數計算部21，接收參數輸入單元3所指定之魚眼變形影像S上之一點的輸入(Ci(ui,vi)之輸入)時，由於魚眼變形影像S上所指定之一點，計算倍率m、魚眼變形影像之半徑R、及A～F(式(3)～式(8))，並輸出至對應座標計算單元22。
對應座標計算單元22，利用所輸入之倍率m、魚眼變形影像之半徑R、A～F(式(3)～式(8))、及式(12)及(13)，計算作為Ci(ui,vi)之對應座標之魚眼變形影像S上的點Si(xi,yi)。
亦即，此處，對應座標計算單元22，用以特定對應於彎曲平面正則影像C上之像素資訊之魚眼變形影像S上的像素資訊。
具體而言，對應座標計算單元22，係以Ci(ui,vi)作為切取中心，來特定對應於該切取中心之魚眼變形影像S上的點。
亦即，如第9圖所示，決定對應於點Si(xi,yi)之虛擬球面上之點Qi，由點Qi來計算α′、β′。其次，指定補正影像之傾斜角Φ′，計算新的係數A～F(利用式(3)～式(8))。其次，計算作為Ci(ui,vi)之對應座標之魚眼變形影像S上的點Si(xi,yi)，並將該等資訊輸出至魚眼變形補正單元1。
其次，魚眼變形補正單元1(再變換手段之一例)，如第10圖所示(亦即，與上述變換相同)，以Ci(ui,vi)為中心，依序發生用以表示構成平面正則影像T之像素配列上之全部像素的座標(u,v)，針對各像素，分別決定像素值，並記憶於平面正則影像用記憶體7內。
如此，利用影像處理裝置SS，得到以點Ci(ui,vi)為中心之平面正則影像。
此處，參照第11圖及第12圖，針對執行上述再變換時所顯示之顯示畫面例進行說明。
第11圖，係再變換利用基本原理進行變換之平面正則影像時之顯示畫面例圖，第12圖，係再變換利用彎曲平面正則影像之變換來執行變換之平面正則影像時之顯示畫面例圖。
第11(A)圖，係於利用基本原理執行變換之平面正則影像，選擇任意點之狀態。圖中之十字記號，係以參數輸入單元3提供任意點之指示的部位(例如，以指向器指示)。
第11(B)圖，係用以計算以上述任意點為中心之特定範圍內之魚眼變形影像S之對應座標時的概念圖。該特定範圍內，可以UV座標值發生部51之動作來任意設定。藉由將該特定範圍設定成較為廣泛，可以放大再變換後之平面正則影像之布置尺寸(亦即，增加構成平面正則影像之像素數)。
具體之動作，如上面所述，係計算第11(A)圖所指定之位置、由變形補正時之角度α、β、Φ及式(1)、(2)來計算魚眼變形影像內之對應位置。以虛線來表示以計算出之位置為中心之魚眼變形影像內之切取區域(變換之預定區域)。圖中之十字記號，係表示對應於第11(A)圖之注目位置之魚眼變形影像的位置。由魚眼變形影像S之圖中之十字記號之位置，計算新角度α′、β′、Φ′，更新係數A～F(計算)。利用新係數A～F及式(1)、(2)，再度執行變形補正而生成切取補正影像。
第11(C)圖，係經過再變換之平面正則影像。第11(B)圖之虛線係經過再變換之區域。
第12(A)圖，係於利用彎曲平面正則影像之變換而經過變換之彎曲平面正則影像時，選擇任意點之狀態。圖中之十字記號，與上述第11圖相同。
第12(B)圖，係用以計算以上述任意點為中心之特定範圍內之魚眼變形影像S之對應座標的概念圖。
具體之動作，如上面所述，係計算第12(A)圖所指定之位置、由變形補正時之角度α、β、Φ及式(12)、(13)來計算魚眼變形影像內之對應位置。以虛線來表示以計算出之位置為中心之魚眼變形影像內之切取區域。圖中之十字記號，係表示對應於第12(A)圖之注目位置之魚眼變形影像的位置。由魚眼變形影像S之圖中之十字記號之位置，計算新角度α′、β′、Φ′，更新係數A～F(計算)。利用新係數A～F及式(12)、(13)，再度執行變形補正而生成切取補正影像。
第12(C)圖，係經過再變換之平面正則影像。第12(B)圖之虛線係經過再變換之區域。
本實施形態之影像處理裝置SS，藉由以上之構成，可依據以廣角範圍之視野所攝取之魚眼變形影像S來執行正確且有效之物體辨識。因為，以彎曲平面正則影像C內之注目區域之位置為中心且由魚眼變形影像S再執行變形補正並顯示，不會受到彎曲平面正則影像C之監視器顯示時之縮小操作所造成之畫質劣化的影響。實施切取補正影像之數位變焦時，該等切取手法之不同，會明顯地以畫質差異來呈現。此外，因為藉由適用變形補正，可以得到彎曲平面正則影像C，故可適用傳統之辨識技術，且可藉由辨識來自動指定注目區域。所以，可以實現監視對象之自動追蹤。如此，無需以人來隨時進行監視，故可避免操作失誤等。此外，因為可以顯示複數點之切取補正影像，複數監視對象分散存在時，也可對應。
此外，為了實現上述魚眼補正單元1、補正參數計算單元2、及參數輸入單元3之部分或全部之機能，魚眼補正單元1、補正參數計算單元2、及參數輸入單元3的一部分或全部，可以適用以執行各處理而設計之專用硬體(所謂，硬體加速)。藉由專用硬體來實現魚眼補正單元1等，因為可以於該硬體內活用電路之並列性並同時執行演算，相較於逐次之命令執行(例如，利用CPU之軟體執行)，可以實現處理之高速化等。此外，在軟體之控制下，搭載於影像處理裝置SS之未圖示之CPU、RAM、及ROM等控制裝置，當然也可執行魚眼補正單元1、補正參數計算單元2、及參數輸入單元3的一部分或全部之機能。
此外，本發明之影像處理裝置，係具有將利用魚眼透鏡拍攝而得到之魚眼變形影像的一部分變換成平面正則影像之機能的裝置，然而，該裝置之變換對象的影像，並未限定為利用魚眼透鏡所拍攝而得到之影像。例如，只要為利用凸面鏡之攝影影像等，適用魚眼透鏡及同等之半球面射影模式之影像，可利利用本發明之影像處理裝置來執行影像變換。
[3、影像處理裝置SS之動作]
其次，參照第13圖，針對影像處理裝置SS之動作進行說明。
第13圖，係影像處理裝置SS之動作流程圖。
首先，為了將變換魚眼變形影像S所得之平面正則影像T或彎曲平面正則影像C(以下，統稱為「平面正則影像等」)顯示於顯示部，必須執行上述變換，係依據使用者之參數輸入單元3的操作，或者，利用預先設定於影像處理裝置SS之值，選擇魚眼變形影像S之切取中心P(xo,yo)選擇(步驟S1)，並將該等所選擇之資訊當作上述參數輸出至補正參數計算部21。
補正參數計算部21，由參數輸入單元3提供視線向量n及平面傾斜角Φ時，依據視線向量n來求取方位角α及頂角β，依據式(3)～(8)來計算旋轉係數A、B、C、D、E、F(步驟S2)，並輸出至魚眼變形補正單元1。
如此，魚眼變形補正單元1，利用補正參數計算部21所輸入之計算結果(α、β、Φ等)，將上述魚眼變形影像S變換成平面正則影像等，平面正則影像用記憶體控制器52，則將該平面正則影像等顯示於顯示畫面上(步驟S4)。
其次，使用者依據參數輸入單元3之操作來指定顯示於平面正則影像等之任意點Ci(ui,vi)時(步驟S5：YES)，對應座標計算單元22，決定對應於點Si(xi,yi)之虛擬球面上之點Qi，並由點Qi計算α′、β′。其次，指定補正影像之傾斜角Φ′，並計算新係數A～F(利用式(3)～式(8))。其次，計算作為Ci(ui,vi)之對應座標之魚眼變形影像S上的點Si(xi,yi)，將該等資訊輸出至魚眼變形補正單元1(步驟S6及步驟S7)。
步驟S8時，魚眼變形補正單元1，依據由對應座標計算單元22所輸入之資訊，生成以點Ci(ui,vi)為中心之平面正則影像(亦即，利用α′、β′、Φ′實施變形補正)。
其次，平面正則影像用記憶體控制器52，將經過再變換之該平面正則影像等顯示於顯示畫面上(步驟S9)。
[4、經過再變換之平面正則影像等之顯示形態]
其次，參照第14圖～第16圖，針對經過再變換之平面正則影像等之顯示形態進行說明。
本實施形態之影像處理裝置，可以指定複數之平面正則影像等之任意點Ci(ui,vi)，執行再變換，並將變換後之平面正則影像等顯示於顯示部。
具體而言，例如，每次指定上述任意點Ci(ui,vi)時，計算對應於該被指定之點Ci(ui,vi)之魚眼變形影像S上的點Si(xi,yi)，生成以點Ci(ui,vi)為中心之平面正則影像(本專利之畫面資訊之一例)。其次，將所生成之平面正則影像併列地顯示於顯示部。
此外，該平面正則影像，與上述變換相同，亦可以由平面正則影像用記憶體控制器52來生成。
第14圖，係每次指定任意點Ci(ui,vi)時之經過再變換之平面正則影像等被併列顯示之畫面例圖。第14圖中之虛線部，係表示被選擇為再變換之對象。
第14(A)圖，係依序指定C氏及E氏作為上述任意點Ci(ui,vi)時。
第14(B)圖，係將所生成之平面正則影像併列顯示。第14(B)圖所示之例時，因為攝影機與被攝體之人物之距離的關係，而使F氏看起來比C氏大。
第14(C)圖時，係只縮小F氏之顯示而使C氏及F氏之大小成為一致時之顯示例。如此，變更被攝體之顯示尺寸時，只要變更上述倍率m即可。
變更倍率m之手段，係在未圖示之CPU的控制下，由補正參數計算部21來計算即可，或者，如第6圖之方塊圖所示，增設顯示控制單元，以該單元來執行亦可。此外，亦可以由顯示控制手段之一例之平面正則影像用記憶體控制器52來執行。
第14(D)圖時，係放大再變換之平面正則影像T之區域而只放大顯示著C氏之畫面(左側之視窗尺寸)(亦即，放大顯示區域)時之顯示例。為了放大該顯示區域，只要使上述uv座標發生部51發生上述放大之顯示區域份的座標(u,v)即可。其次，所發生之座標(u,v)，由uv座標值發生部51提供給對應座標計算單元4，計算對應於座標(u,v)之對應座標(x,y)，並執行平面正則影像之再變換。
第14(D)圖所示之C氏的顯示區域，比第14(B)圖中顯示C氏之顯示區域更為放大。所以，可以得知，於第14(D)圖所示之C氏之顯示區域，顯示著到第14(B)圖未顯示之B氏及D氏之肩部為止。
此外，第14(E)圖時，係同時執行上述倍率m之增加及顯示區域之放大的結果，而分別放大F氏之顯示區域及F氏之顯示尺寸之例。
藉由此種顯示，對於顯示於該顯示區域之被攝體，可以取得更詳細之影像。
其次，參照第15圖，針對利用物體辨識技術來辨識顯示成經過再變換之平面正則影像等之被攝體，並將該經過辨識之被攝體的特定位置當作上述任意點Ci(ui,vi)，執行再變換並顯示之例來進行說明。
第15圖，係利用物體辨識技術進行再變換之顯示例圖。
因為物體辨識技術係眾所皆知之技術，故省略其詳細說明，然而，亦可以為如下之方式，例如，首先，以一般所知之型樣匹配法或特徵點析出法的上述物體辨識技術來辨識物體。其次，以所辨識之物體當中之預先設定之點(例如，物體之重心位置等)作為上述任意點Ci(ui,vi)，執行再變換並顯示。執行該物體辨識之構成，例如，於第6圖所示之構成例增設由CPU等所構成之物體辨識手段的構成。
第15(A)圖中，平面正則影像內之矩形之實線係利用物體辨識而辨識到之人物的臉的影像。虛線，係對應之魚眼變形影像S的切取區域。
第15(B)圖中，係經過再變換之顯示例(亦即，切取補正影像顯示例)。如第15(B)圖所示，存在著複數對象時，亦可以對應。此外，對象移動時，亦可以藉由辨識而自動追蹤。此種自動追蹤，可以利用上述特徵點析出法，計算光流來實現眾所皆知的追跡處理。
再變換之影像，亦可以利用指向器(亦即，依據人為動作之指定)來複數選擇上述任意點Ci(ui,vi)。
第16圖，係以指向器(亦即，依據人為動作之指定)來複數選擇上述任意點Ci(ui,vi)時。
第16(A)圖中，十字記號係表示以指向器來指定作為切取區域之平面正則影像內之虛線矩形區域的記號(指點器)。
第16(B)圖，係經過再變換之顯示例(切取補正影像顯示例)。如此，將以指向器指定之切取區域顯示於新視窗，亦可對應於存在著複數對象時。此外，新視窗並非只用於顯示切取補正影像，也可將更新注目位置之切取補正影像顯示於指定視窗。監視對象移動時，也可以手動來更新切取區域並進行追蹤。
[5、監視攝影機系統之適用例]
其次，參照第17圖，針對將影像處理裝置SS適用於監視攝影機系統之例進行說明。
第17圖，係將影像處理裝置SS適用於監視攝影機系統之例的概念圖。
本實施形態之影像處理裝置SS之構成上，除了第6圖所示之構成以外，尚追加了搭載著魚眼透鏡(廣角透鏡或全方位鏡等)之數位攝影機(可將魚眼變形影像輸出至影像處理裝置SS之裝置即可)、顯示裝置，以及，用以辨識上述經過變換之平面正則影像所顯示之特定物體的物體辨識手段、及該所辨識之物體於平面正則影像所示之持續變化針對前述各平面正則影像進行辨識之動作辨識手段。其次，特定對應於動作辨識手段所辨識之前述各平面正則影像之物體上之任意點之魚眼變形影像上的像素資訊，依據該特定位置執行再變換。該物體辨識手段及動作辨識手段，亦可以利用CPU等來實現。
第17(A)圖係魚眼變形影像，第17(B)圖則係上述經過變換之平面正則影像(亦即，以影像處理裝置SS由魚眼變形影像所生成之平面正則影像)。
如第17(A)圖所示，魚眼變形影像，因為隨著其遠離影像之中心部而發生愈強烈之變形，故難以併用傳統之物體辨識技術，前面已針對此點陳述過。其次，第17(B)圖所示之平面正則影像，因為對於廣泛視野可以顯示正則人物，故可併用傳統之物體辨識技術，此點也在前面陳述過。
所以，本監視攝影機系統，可對平面正則影像適用物體辨識技術來執行監視對象之自動位置檢測，並可繼續對該檢測到之監視對象進行監視。
具體而言，如第17(C)圖所示，藉由適用本發明，可以持續地(繼續地)計算對應於以平面正則影像所自動檢測到之監視對象位置之魚眼變形影像上的監視對象位置。以魚眼變形影像上之監視對象位置作為切取補正影像之中心(亦即，執行上述再變換)，可以進行監視對象之自動追蹤。
針對該第17(C)圖進行具體說明，第17(C)圖之(1)～(4)之上部所示之圖，係變換後之平面正則影像(第17(C)圖時，依(1)～(4)之順序，係人從右朝左移動之狀態)。
以上述再變換來計算對應於在平面正則影像上所檢測之位置之魚眼變形影像(中部之圖)的位置。下部之圖，係以魚眼變形影像上所計算出之監視對象之位置為中心的切取補正影像(亦即，再變換之平面正則影像)。持續將利用物體辨識技術所自動檢測到之監視對象的位置更新成切取補正影像之中心位置(亦即，上述任意點Ci(ui,vi))，而可以該中心位置作為基準來顯示經過再變換之影像之監視對象的自動追蹤。
[6、TV會議系統之適用例]
其次，參照第18圖及第19圖，針對將影像處理裝置SS適用於監視攝影機系統之例進行說明。
第18圖，係將橫向設置之魚眼透鏡攝影機的影像處理裝置SS適用於TV會議室系統之例的概念圖，第19圖，係將魚眼透鏡攝影機朝天花板方向設置時之影像處理裝置SS適用於TV會議室系統之例的概念圖。
本實施形態之影像處理裝置SS之構成上，除了第6圖所示之構成以外，尚追加了搭載著魚眼透鏡(亦可以為廣角透鏡或全方位鏡等)之數位攝影機(可將魚眼變形影像輸出至影像處理裝置SS之裝置即可)、顯示裝置，以及，用以上述物體辨識手段。該物體辨識手段，可以CPU等來實現。
第18(A)圖，係以橫向將魚眼透鏡攝影機設置於會議室之例的概略圖。此時，例如，魚眼透鏡攝影機，係設置於牆壁等，而以正對被攝體之人的方向來設置。
第18(B)圖，係本系統之經過變換的平面正則影像。如第18(B)圖所示，因為可以得到約180度之廣泛視野之平面正則影像，故以1台之魚眼透鏡攝影機即可顯示複數之會議參加者。
第18(C)圖，係利用物體辨識技術來辨識會議參加者(人物)，其次，以所辨識到之人物當中之預先設定點(例如，人物之重心位置等)作為上述任意點Ci(ui,vi)，進行再變換並顯示平面正則影像之例。
可以平面正則影像，並以分割視窗來顯示會議參加者，而可以複數點同時觀察詳細情形。
此外，如第18(D)圖所示，可以個別變更各視窗內之影像的放大縮小之倍率，可與攝影機之距離無關而以統一之人物大小來顯示。
此外，魚眼透鏡攝影機為橫向時，以上述第5(A)圖之方向來執行魚眼變形補正。
此外，第19(A)圖，係將朝向天花板方向之魚眼透鏡攝影機設置於會議室之例的概略圖。此時，例如，魚眼透鏡攝影機係於平台上朝向天花板設置，而與被攝體之人為平行設置。
第19(B)圖，係本系統之經過變換之平面正則影像。如第19(B)圖所示，因為可以得到約360度之廣泛視野的平面正則影像，以1台魚眼透鏡攝影機即可顯示全部會議參加者。
第19(C)圖，係利用物體辨識技術來辨識會議參加者(人物)，其次，以所辨識到之人物當中之預先設定點(例如，人物之重心位置等)作為上述任意點Ci(ui,vi)，進行再變換並顯示平面正則影像之例。
可以平面正則影像，並以分割視窗來顯示會議參加者，而可以複數點同時觀察詳細情形。
[7、左右上下變焦攝影機之適用例]
其次，以第20圖及第21圖之對比，針對將左右上下變焦攝影機適用於影像處理裝置SS之例進行說明。
第20圖，係將影像處理裝置SS適用於左右上下變焦攝影機時之方塊圖，第21圖，係將影像處理裝置SS適用於左右上下變焦攝影機時之概念圖。
如第20圖所示，將影像處理裝置SS適用於左右上下變焦攝影機時之方塊圖時，其構成上，除了前面所示之影像處理裝置SS之方塊圖以外，尚追加了搭載著魚眼透鏡(亦可以為廣角透鏡或全方位鏡等)之數位攝影機(魚眼攝影機。可將魚眼變形影像輸出至影像處理裝置SS之裝置即可)、及左右上下變焦攝影機100(本專利之監視攝影機)及魚眼透鏡攝影機及左右上下變焦攝影機之對應座標計算單元101(本專利之位置控制手段之一例)。
左右上下變焦攝影機100，係具備：可於水平方向、垂直方向驅動攝影機之透鏡方向的機構部、及光學變焦機構的攝影機。
魚眼透鏡攝影機及左右上下變焦攝影機之對應座標計算單元101，係將以使左右上下變焦攝影機100朝特定方向之位置控制為目的的控制信號，輸出至左右上下變焦攝影機100。藉由該控制信號之輸入，左右上下變焦攝影機100之驅動部，以移至控制信號所示之位置來進行驅動。
第21(A)圖，係將影像處理裝置SS適用於左右上下 攝影機時之概念圖。如第21(A)圖所示，魚眼攝影機及左右上下變焦攝影機係以可互相執行資訊之信號傳送及接收的方式進行連結。
左右上下變焦攝影機100，可以拍攝變形較少之影像(亦即，可以拍攝辨識性較高之影像)，然而，視野較狹窄，此外，因為左右上下移動而發生死角，係一般所知的缺點。所以，本實施形態時，將影像處理裝置SS適用於左右上下變焦攝影機100，從視野較廣泛之魚眼透鏡所攝取之影像來掌握監視對象，並利用左右上下變焦攝影機100以辨識性較高之影像來拍攝監視對象。
為了實現本實施形態之動作，魚眼透鏡攝影機及左右上下變焦攝影機之對應座標計算單元101，將魚眼攝影機所計算之監視對象之位置資訊傳送給左右上下變焦攝影機100，來執行左右上下變焦攝影機之控制。
參照第21(B)圖~第21(E)圖，針對該控制之概念進行說明。
第21(B)圖之左圖，係魚眼攝影機所攝取之魚眼變形影像，第21(B)圖之右圖，係左右上下變焦攝影機100所攝取之平面正則影像。比較該等之攝取中心可以得知，座標系之中心會因為各攝影機之設置位置而出現差異。魚眼透鏡攝影機及左右上下變焦攝影機之對應座標計算單元101，計算魚眼攝影機所攝取之魚眼變形影像之攝取中心(第1攝取中心之一例)與左右上下變焦攝影機100所攝取之平面正則影像之攝取中心(第2攝取中心)的差(以下，稱為「中心位置之差」)。亦可預先記憶中心位置之差。
此外，因為魚眼透鏡所攝取之視野為預先決定，可以掌握從攝取中心至攝取之影像內所存在之物體的現實距離(以下，亦稱為「從魚眼攝影機所得到之位置資訊」)。同樣的，因為以左右上下變焦攝影機100所攝取之視野也是預先決定，也可以掌握從攝取中心至攝取之影像內所存在之物體的現實距離(以下，亦稱為「左右上下變焦攝影機100之位置資訊」)。
本實施形態時，依據上述中心位置之差、及從魚眼攝影機所得到之位置資訊、以及左右上下變焦攝影機100之位置資訊，計算以設定左右上下變焦攝影機100之攝取中心為目的之距離資訊，並對左右上下變焦攝影機100輸出以使左右上下變焦攝影機100之攝取中心移動至該距離資訊所示之位置的控制信號。
所以，魚眼透鏡攝影機及左右上下變焦攝影機之對應座標計算單元101，於魚眼變形影像經過變換並顯示平面正則影像時(第21(C)圖)，並以該平面正則影像選擇監視對象(包含以指向器之選擇或以物體辨識技術之辨識)時(第21(D)圖)，計算對應於作為上述再變換之中心座標Ci所選擇之監視對象的特定位置(例如，重心等)之魚眼變形影像之座標Si。
其次，魚眼透鏡攝影機及左右上下變焦攝影機之對應座標計算單元101，依據上述中心位置之差、及計算從Si之魚眼攝影機所得到之位置資訊的距離資訊，並以從魚眼攝影機所得到之位置資訊及上述Si成為左右上下變焦攝影機100之攝取中心的方式，對左右上下變焦攝影機100之驅動部傳送控制信號。
如此，左右上下變焦攝影機100，以執行左右上下變焦來拍攝監視對象(第21(E)圖)。藉由併用本發明及左右上下變焦攝影機，可以有效率地控制左右上下變焦攝影機。
其次，參照第22圖，針對將影像處理裝置SS適用於左右上下變焦攝影機時之影像處理裝置SS的動作進行說明。
第22圖，係將影像處理裝置SS適用於左右上下變焦攝影機時之影像處理裝置SS的動作流程圖。
首先，魚眼透鏡攝影機及左右上下變焦攝影機之對應座標計算單元101，計算以魚眼攝影機所攝取之魚眼變形影像之攝取中心、與以左右上下變焦攝影機100所攝取之平面正則影像之攝取中心的差(「中心位置之差」)(步驟S11)。
為了變換魚眼變形影像S並將平面正則影像等顯示於顯示部，必須執行上述變換，係依據使用者之參數輸入單元3的操作，或者，利用預先設定於影像處理裝置SS之值，選擇魚眼變形影像S之切取中心P(xo,yo)(步驟S12)，並將所選擇之該等資訊當作上述參數輸出至補正參數計算部21。
補正參數計算部21，由參數輸入單元3提供視線向量n及平面傾斜角Φ時，依據視線向量n來求取方位角α及頂角β，依據式(3)～(8)來計算旋轉係數A、B、C、D、E、F(步驟S13)，並輸出至魚眼變形補正單元1。
如此，魚眼變形補正單元1，利用由補正參數計算部21所輸入之計算結果(α、β、Φ等)，執行從上述魚眼變形影像S變換成平面正則影像等(步驟S14)，平面正則影像用記憶體控制器52，將該平面正則影像等顯示於顯示畫面上(步驟S15)。
於平面正則影像等選擇監視對象時(步驟16：YES)，計算對應於選擇作為上述再變換之中心座標Ci之監視對象的特定位置(例如，重心等)之魚眼變形影像的座標Si(步驟S17)。
其次，魚眼透鏡攝影機及左右上下變焦攝影機之對應座標計算單元101，依據上述中心位置之差、及計算從Si之魚眼攝影機所得到之位置資訊，並以從魚眼攝影機所得到之位置資訊及上述Si成為左右上下變焦攝影機100之攝取中心的方式，對左右上下變焦攝影機100之驅動部傳送控制信號(步驟S18)。
如此，左右上下變焦攝影機100，以執行左右上下變焦來拍攝監視對象(步驟S19)。
此外，上面說明之實施形態，並未用以限定申請專利範圍之發明者。其次，上述實施形態中所說明之構成組合，並未限定全部為解決發明課題的必要手段。
如以上之說明所示，接收到依據魚眼透鏡所攝取之魚眼變形影像S所生成之二次元之可辨識之平面正則影像等之任意點Ci(ui,vi)的選擇指示時，計算作為Ci(ui,vi)之對應座標之魚眼變形影像S上的點Si(xi,yi)，並以Ci(ui,vi)為中心，來構成該魚眼變形影像S之像素資訊群，並依據前述像素資訊群來重新生成構成平面正則影像之像素資訊群，故可依據以廣角範圍視野所攝取之魚眼變形影像等而正確且有效地執行物體辨識。
此外，上述實施形態時，係針對適用本專利之影像處理裝置時之例，其他，例如，亦可適用於數位視訊攝影機、數位攝影機、個人電腦、或家庭用等之電子機器等。
1．．．魚眼變形補正單元
2．．．補正參數計算單元
3．．．參數輸入單元
4．．．對應座標計算單元
5．．．平面正則影像作成單元
6．．．魚眼變形影像用記憶體
7．．．平面正則影像用記憶體
SS．．．影像處理裝置
第1圖係基本原理之概念的概念圖。
第2圖係切取魚眼變形影像S的一部分或全部，再將其變換成平面正則影像T之變換例的概念圖。
第3圖係變換成彎曲平面正則影像的概念圖。
第4圖係利用上述彎曲座標系，切取魚眼變形影像S的一部分或全部，再將其變換成平面正則影像T之變換例的概念圖。
第5圖係魚眼透鏡攝影機之設置方向、與補正方向之關係的概念圖。
第6圖係本實施形態之影像處理裝置之構成及機能概要的方塊圖。
第7圖係於平面正則影像T之詳細影像發生塊狀雜訊例的概念圖。
第8圖係用以說明再變換之詳細的概念圖。
第9圖係用以說明再變換之詳細的概念圖。
第10圖係用以說明再變換之詳細的概念圖。
第11圖係依基本原理經過變換之平面正則影像再經過再變換時之顯示畫面例圖。
第12圖係以彎曲平面正則影像之變換經過變換之平面正則影像再經過再變換時之顯示畫面例圖。
第13圖係影像處理裝置SS之動作的流程圖。
第14圖係每次指定任意點Ci(ui,vi)時之經過再變換之平面正則影像等被併列顯示之畫面例圖。
第15圖係以物體辨識技術進行再變換之顯示例圖。
第16圖係以指向器(亦即，依據人為動作之指定)來選擇複數上述任意點Ci(ui,vi)時之圖。
第17圖係將影像處理裝置SS適用於監視攝影機系統之例的概念圖。
第18圖係將橫向設置之魚眼透鏡攝影機的影像處理裝置SS適用於TV會議室系統之例的概念圖。
第19圖係將魚眼透鏡攝影機朝天花板方向設置時之影像處理裝置SS適用於TV會議室系統之例的概念圖。
第20圖係將影像處理裝置SS適用於左右上下變焦攝影機時之方塊圖。
第21圖係將影像處理裝置SS適用於左右上下變焦攝影機時之概念圖。
第22圖係將影像處理裝置SS適用於左右上下變焦攝影機時之影像處理裝置SS的動作流程圖。
P(xo,yo)．．．中心點
G(xg,yg,zg)．．．原點
Q(xo,yo,zo)．．．交點
α．．．方位角
β．．．頂角
Φ．．．平面傾斜角

Claims (11)

  1. 一種影像處理裝置，其特徵為具備：歪圓形影像記憶手段，其係用以記憶依據外部所輸入之廣角透鏡或全方位鏡所攝取之歪圓形影像而生成之構成該歪圓形影像的像素資訊群；變換手段，其係用以將前述所記憶之構成歪圓形影像的像素資訊群，變換成用以構成可以以二維視覺辨識之平面正則影像之像素資訊群；平面正則影像記憶手段，其係用以記憶構成前述經過變換之平面正則影像的像素資訊群；選擇指示受取手段，其係用以受取像素資訊之選擇指示，該像素資訊對應於前述所記憶之平面正則影像上的任意點；對應座標特定手段，其係用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之像素資訊；以及再變換手段，以前述特定之像素資訊為中心，用以將前述所記憶之構成歪圓形影像之像素資訊群，再變換成用以構成可以以二維視覺辨識之平面正則影像的像素資訊群。
  2. 如申請專利範圍第1項所述之影像處理裝置，其中具備：畫面資訊生成手段，其係依據用以構成前述經過再變換之平面正則影像的像素資訊群，生成顯示於顯示 部之規定大小的畫面資訊。
  3. 如申請專利範圍第1或2項所述之影像處理裝置，其中前述選擇指示受取手段，其係用以受取像素資訊的選擇指示，該像素資訊的選擇指示對應於由前述變換手段所變換之平面正則影像上之複數點，前述對應座標特定手段，其係用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之各像素資訊，前述再變換手段，其係以前述特定之各像素資訊為中心，針對以前述對應座標特定手段特定之各像素資訊，將前述所記憶之構成歪圓形影像的像素資訊群，再變換成用以構成可以以二維視覺辨識之平面正則影像的像素資訊。
  4. 如申請專利範圍第3項所述之影像處理裝置，其中具備：顯示控制手段，其係將前述所生成之各畫面資訊以相同大小顯示於前述顯示部之顯示形態來進行控制。
  5. 如申請專利範圍第1或2項所述之影像處理裝置，其中具備：物體辨識手段，其係用以辨識在前述經過變換之平面正則影像所示之規定物體，前述選擇指示受取手段，其係用以受取像素資訊的選擇指示，該像素資訊對應於前述經過辨識之物體上之任意點。
  6. 一種影像處理裝置，其特徵為具備：歪圓形影像記憶手段，其係以對應於各歪圓形影像之方式，來記憶依據外部所輸入之廣角透鏡或全方位鏡所連續拍攝被攝體的複數歪圓形影像而生成之構成該複數歪圓形影像的像素資訊群；變換手段，其係針對前述各歪圓形影像，將前述所記憶之構成各歪圓形影像的像素資訊群，變換成用以構成可以以二維視覺辨識之平面正則影像的像素資訊群；平面正則影像記憶手段，其係用以記憶構成前述經過變換之各平面正則影像的像素資訊群；物體辨識手段，其係用以辨識前述經過變換之平面正則影像所示之特定物體；動作辨識手段，其係用以針對前述各平面正則影像，辨識前述所辨識之物體於平面正則影像所示之隨時間之變化；第2對應座標特定手段，用以特定對應於由前述動作辨識手段所辨識之前述各平面正則影像之物體上之任意點之歪圓形影像上的像素資訊；以及再變換手段，以前述第2對應座標特定手段所特定之各歪影像上之像素資訊為中心，針對第2對應座標特定手段所特定之各像素資訊，用以將構成前述歪圓形影像之像素資訊群，再變換成構成可以以二維視覺辨識之平面正則影像的像素資訊群。
  7. 一種會議系統，係具備：攝影機，其係將以廣角 透鏡或全方位鏡所攝取之被攝體當作歪圓形影像輸出至影像處理裝置；及前述影像處理裝置，其係依據前述所輸入之歪圓形影像來生成畫面資訊並輸出至終端裝置之會議系統，其特徵為：前述影像處理裝置，具備：歪圓形影像記憶手段，其係用以記憶依據前述所輸入之歪圓形影像而生成之構成該歪圓形影像的像素資訊群；變換手段，其係用以將前述所記憶之構成歪圓形影像的像素資訊群，變換成構成可以以二維視覺辨識之平面正則影像的像素資訊群；平面正則影像記憶手段，其係用以儲存構成前述經過變換之平面正則影像的像素資訊群；物體辨識手段，其係用以辨識前述經過變換之平面正則影像所示之一或複數之特定物體；選擇指示受取手段，其係針對前述所辨識之各物體，用以受取像素資訊的選擇指示，該像素資訊對應於前述經過辨識之物體上之任意點；對應座標特定手段，其係用以針對前述所辨識之各物體，用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之像素資訊；再變換手段，其係以前述對應座標特定手段所特定之像素資訊為中心，針對前述所辨識之各物體，將前述所記憶之構成歪圓形影像的像素資訊群，再變換成構成可以以 二維視覺辨識之平面正則影像的像素資訊群；畫面資訊生成手段，其係用以針對前述所辨識之各物體，以構成前述經過再變換之平面正則影像的像素資訊群，生成顯示於顯示部之規定大小的畫面資訊；以及輸出手段，其係將前述所生成之畫面資訊輸出至前述終端裝置。
  8. 如申請專利範圍第7項所述之會議系統，其中前述攝影機，搭載於該攝影機之廣角透鏡或全方位鏡係朝天頂方向配置。
  9. 一種監視系統，係具備：監視攝影機，其係搭載將以廣角透鏡或全方位鏡對第1攝取中心之規定攝取範圍內所攝取之被攝體當作歪圓形影像輸出至影像處理裝置的功能，與將以具備變焦機構之透鏡群對第2攝取中心之規定範圍內所攝取之被攝體當作平面正則影像輸出至前述影像處理裝置的功能；以及前述影像處理裝置，其係依據前述所輸入之歪圓形影像來生成畫面資訊，其特徵為：前述監視攝影機具備：雙軸(pan-tilt)驅動手段，其係用以切換該攝影機之攝取位置；前述影像處理裝置具備：歪圓形影像記憶手段，其係用以記憶依據前述所輸入之歪圓形影像而生成之構成該歪圓形影像的像素資訊群；變換手段，其係將前述所記憶之構成歪圓形影像的像素資訊群，變換成用以構成可以以二維視覺辨識之平面正 則影像的像素資訊群；平面正則影像記憶手段，其係用以儲存構成前述經過變換之平面正則影像的像素資訊群；物體辨識手段，其係用以辨識前述經過變換之平面正則影像所示之物體；選擇指示受取手段，其係用以受取像素資訊的選擇指示，該像素資訊對應於前述所記憶之平面正則影像上之任意點；對應座標特定手段，其係用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之像素資訊；以及位置控制手段，依據預先計算之前述第1攝取中心及前述第2攝取中心，計算以將前述第2攝取中心重新設定於前述對應座標特定手段所特定之像素資訊所示之位置為目的之距離資訊，並將以將監視攝影機驅動至該距離資訊所示之位置為目的之控制信號輸出至前述雙軸(pan-tilt)驅動手段。
  10. 一種影像處理裝置之影像處理方法，其特徵為具有：歪圓形影像記憶步驟，其係用以記憶依據外部所輸入之廣角透鏡或全方位鏡所攝取之歪圓形影像而生成之構成該歪圓形影像的像素資訊群；變換步驟，其係將前述所記憶之構成歪圓形影像的像素資訊群，變換成用以構成可以以二維視覺辨識之平面正 則影像的像素資訊群；平面正則影像記憶步驟，其係用以記憶構成前述經過變換之平面正則影像的像素資訊群；選擇指示受取步驟，其係用以受取像素資訊的選擇指示，該像素資訊對應於前述所記憶之平面正則影像上之任意點；對應座標特定步驟，其係用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之像素資訊；以及再變換步驟，其係以前述對應座標特定步驟所特定之像素資訊為中心，將前述所記憶之構成歪圓形影像的像素資訊群，再變換成構成可以以二維視覺辨識之平面正則影像的像素資訊群。
  11. 一種影像處理程式，其特徵為：使影像處理裝置所含有之電腦，具有作為以下手段的功能：歪圓形影像記憶手段，其係用以記憶依據外部所輸入之廣角透鏡或全方位鏡所攝取之歪圓形影像而生成之構成該歪圓形影像的像素資訊群；變換手段，其係用以將前述所記憶之構成歪圓形影像的像素資訊群，變換成構成可以以二維視覺辨識之平面正則影像的像素資訊群；平面正則影像記憶手段，其係用以記憶前述經過變換之平面正則影像的像素資訊群； 選擇指示受取手段，其係用以受取像素資訊的選擇指示，該像素資訊對應於前述所記憶之平面正則影像上之任意點；對應座標特定手段，其係用以特定歪圓形影像上的像素資訊，該歪圓形影像上的像素資訊對應於前述選擇指示所示之平面正則影像上之像素資訊；以及再變換手段，其係以前述對應座標特定手段所特定之像素資訊為中心，將前述歪圓形影像的像素資訊群，再變換成構成可以以二維視覺辨識之平面正則影像的像素資訊群。
TW100137332A 2010-10-15 2011-10-14 Conference system, surveillance system, image processing device, image processing method and image processing program, etc. TWI535285B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010233080A JP5569329B2 (ja) 2010-10-15 2010-10-15 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等

Publications (2)

Publication Number Publication Date
TW201230786A TW201230786A (en) 2012-07-16
TWI535285B true TWI535285B (zh) 2016-05-21

Family

ID=45934191

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100137332A TWI535285B (zh) 2010-10-15 2011-10-14 Conference system, surveillance system, image processing device, image processing method and image processing program, etc.

Country Status (3)

Country Link
US (1) US8515130B2 (zh)
JP (1) JP5569329B2 (zh)
TW (1) TWI535285B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI742481B (zh) * 2019-12-09 2021-10-11 茂傑國際股份有限公司 視訊會議全景影像展開方法

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5338498B2 (ja) * 2009-06-09 2013-11-13 ソニー株式会社 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
US20130100334A1 (en) * 2011-10-20 2013-04-25 Broadcom Corporation Method and System for an Adaptive Auto-Focus Algorithm
JP5966341B2 (ja) * 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
WO2013173728A1 (en) 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
JP6303270B2 (ja) * 2012-05-18 2018-04-04 株式会社リコー ビデオ会議端末装置、ビデオ会議システム、映像の歪み補正方法および映像の歪み補正プログラム
JP5912062B2 (ja) * 2012-05-24 2016-04-27 オリンパス株式会社 撮影機器及び動画像データの記録方法
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
JP6075066B2 (ja) * 2012-12-28 2017-02-08 株式会社リコー 画像管理システム、画像管理方法、及びプログラム
TWI563469B (en) * 2013-01-02 2016-12-21 Vivotek Inc Image processor and display method for fisheye image thereof
JP2015128263A (ja) * 2013-12-27 2015-07-09 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理用プログラム、および、撮像装置
KR20150088139A (ko) * 2014-01-23 2015-07-31 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 시스템
WO2016073557A1 (en) 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
US9514524B2 (en) * 2015-02-27 2016-12-06 Sony Corporation Optical distortion compensation
JP6613686B2 (ja) * 2015-07-29 2019-12-04 株式会社リコー 動画表示装置、動画表示方法、およびプログラム
JP6623729B2 (ja) * 2015-12-04 2019-12-25 株式会社ソシオネクスト 測距システム、移動体及び部品
US10440307B2 (en) * 2015-12-22 2019-10-08 Casio Computer Co., Ltd. Image processing device, image processing method and medium
TW201733347A (zh) 2016-03-07 2017-09-16 晶睿通訊股份有限公司 魚眼影像顯示方法
US10204397B2 (en) 2016-03-15 2019-02-12 Microsoft Technology Licensing, Llc Bowtie view representing a 360-degree image
US9706171B1 (en) * 2016-03-15 2017-07-11 Microsoft Technology Licensing, Llc Polyptych view including three or more designated video streams
US9686510B1 (en) 2016-03-15 2017-06-20 Microsoft Technology Licensing, Llc Selectable interaction elements in a 360-degree video stream
WO2017217411A1 (ja) 2016-06-17 2017-12-21 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体
CN107689027A (zh) * 2016-08-04 2018-02-13 松下电器（美国）知识产权公司 注释赋予方法、注释赋予系统以及存储有程序的记录介质
TWI731902B (zh) * 2016-11-25 2021-07-01 國家中山科學研究院 一種用於車用之影像系統
CN106651758A (zh) * 2016-12-16 2017-05-10 深圳市保千里电子有限公司 一种基于含噪鱼眼图像的有效区域提取方法及系统
TWI674000B (zh) * 2017-03-01 2019-10-01 坦前科技股份有限公司 具景深效果之影像追蹤系統與標記之方法
JP7182953B2 (ja) * 2017-12-25 2022-12-05 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
US10937124B2 (en) * 2017-12-25 2021-03-02 Canon Kabushiki Kaisha Information processing device, system, information processing method, and storage medium
JP2019129353A (ja) * 2018-01-22 2019-08-01 大日本印刷株式会社 撮影システム
JP7020240B2 (ja) * 2018-03-29 2022-02-16 株式会社リコー 認識装置、認識システム、プログラムおよび位置座標検出方法
US10410372B1 (en) * 2018-06-14 2019-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
JP7100824B2 (ja) * 2018-06-20 2022-07-14 カシオ計算機株式会社 データ処理装置、データ処理方法及びプログラム
JP7140580B2 (ja) 2018-07-13 2022-09-21 マクセル株式会社 ステレオ撮像装置
US11922605B2 (en) * 2018-11-23 2024-03-05 Hewlett-Packard Development Company, L.P. Selective distortion or deformation correction in images from a camera with a wide angle lens
CN109615617B (zh) * 2018-11-28 2023-02-10 华南理工大学 一种保凸间接正则水平集的图像分割方法
JP7434825B2 (ja) * 2018-11-30 2024-02-21 株式会社リコー 中継装置、通信システム、通信方法、及びプログラム
CN111612812B (zh) * 2019-02-22 2023-11-03 富士通株式会社 目标物检测方法、检测装置和电子设备
CN110378837B (zh) * 2019-05-16 2023-10-20 四川省客车制造有限责任公司 基于鱼眼摄像头的目标检测方法、装置和存储介质
WO2020250387A1 (ja) * 2019-06-13 2020-12-17 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
CN112312056A (zh) * 2019-08-01 2021-02-02 普兰特龙尼斯公司 利用自适应镜头失真校正和图像变形减少的视频会议
CN113037991B (zh) * 2019-12-25 2022-07-05 瑞昱半导体股份有限公司 信号处理装置与信号处理方法
CN112565730B (zh) * 2020-12-03 2023-07-25 阿波罗智联(北京)科技有限公司 路侧感知方法、装置、电子设备、存储介质及路侧设备
JP7659425B2 (ja) * 2021-03-25 2025-04-09 本田技研工業株式会社 制御装置、制御装置の動作方法及びプログラム
CN113038271B (zh) * 2021-03-25 2023-09-08 深圳市人工智能与机器人研究院 视频自动剪辑方法、装置及计算机存储介质
US12068872B2 (en) 2021-04-28 2024-08-20 Zoom Video Communications, Inc. Conference gallery view intelligence system
US11736660B2 (en) 2021-04-28 2023-08-22 Zoom Video Communications, Inc. Conference gallery view intelligence system
US11843898B2 (en) * 2021-09-10 2023-12-12 Zoom Video Communications, Inc. User interface tile arrangement based on relative locations of conference participants
US11882383B2 (en) 2022-01-26 2024-01-23 Zoom Video Communications, Inc. Multi-camera video stream selection for in-person conference participants
WO2024001342A1 (zh) * 2022-06-30 2024-01-04 华为技术有限公司 成像畸变矫正方法及装置
US12272018B2 (en) * 2022-07-15 2025-04-08 The Boeing Company Modeling system for 3D virtual model
WO2024180665A1 (ja) * 2023-02-28 2024-09-06 日本電気株式会社 物体追跡装置、物体追跡方法、及び、記録媒体
TWI871760B (zh) * 2023-09-12 2025-02-01 宏碁股份有限公司 視訊會議的切換方法與視訊會議系統
TWI879332B (zh) * 2023-12-20 2025-04-01 正修學校財團法人正修科技大學 跟隨裝置之計算目標物實際距離及角度的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611282B1 (en) * 1999-01-04 2003-08-26 Remote Reality Super wide-angle panoramic imaging apparatus
JP4211292B2 (ja) * 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
JP2004201231A (ja) * 2002-12-20 2004-07-15 Victor Co Of Japan Ltd 監視用ビデオカメラシステム
JP2007007284A (ja) * 2005-07-01 2007-01-18 Higashiya Delica:Kk 加熱処理食品製造装置およびそれを用いた加熱処理食品製造方法
JP2008301034A (ja) 2007-05-30 2008-12-11 Victor Co Of Japan Ltd 魚眼レンズカメラ装置
JP5169787B2 (ja) * 2008-12-12 2013-03-27 大日本印刷株式会社 画像変換装置および画像変換方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI742481B (zh) * 2019-12-09 2021-10-11 茂傑國際股份有限公司 視訊會議全景影像展開方法

Also Published As

Publication number Publication date
US20120093365A1 (en) 2012-04-19
US8515130B2 (en) 2013-08-20
JP2012089954A (ja) 2012-05-10
JP5569329B2 (ja) 2014-08-13
TW201230786A (en) 2012-07-16

Similar Documents

Publication Publication Date Title
TWI535285B (zh) Conference system, surveillance system, image processing device, image processing method and image processing program, etc.
CN106803884B (zh) 图像处理装置
JP5233926B2 (ja) 魚眼監視システム
KR102126241B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 장치용 프로그램, 기록 매체, 및 화상 표시 장치
EP3438919B1 (en) Image displaying method and head-mounted display apparatus
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
CN111164971B (zh) 用于3d内容的视差观察器系统
CN110456967B (zh) 信息处理方法、信息处理设备以及程序
EP3016065B1 (en) Coordinate computation device and method, and image processing device and method
CN103839227B (zh) 鱼眼图像校正方法和装置
KR101385914B1 (ko) 처리대상화상 생성장치, 처리대상화상 생성방법, 및 조작지원 시스템
CN114286066B (zh) 投影校正方法、装置、存储介质以及投影设备
KR20080068698A (ko) 화상 처리 장치, 화상 처리 방법, 그 프로그램 및 그프로그램을 기록한 기록 매체와 촬상 장치
JP2005339313A (ja) 画像提示方法及び装置
KR101418664B1 (ko) 화상생성장치 및 조작지원 시스템
WO2012060269A1 (ja) 画像処理方法、画像処理装置及び撮像装置
KR20140090775A (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
KR101148508B1 (ko) 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
JP6708444B2 (ja) 画像処理装置および画像処理方法
EP3432567A1 (en) Image processing device, image processing method and image processing system
KR102176963B1 (ko) 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
CN113286138A (zh) 一种全景视频显示方法及显示设备
US11928775B2 (en) Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image
CN104539893B (zh) 实现虚拟云台监控效果的方法、装置及系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees