[go: up one dir, main page]

TWI898134B - 根據由視覺感測器所拍攝之圖像來算出三維之位置的攝像裝置 - Google Patents

根據由視覺感測器所拍攝之圖像來算出三維之位置的攝像裝置

Info

Publication number
TWI898134B
TWI898134B TW111117025A TW111117025A TWI898134B TW I898134 B TWI898134 B TW I898134B TW 111117025 A TW111117025 A TW 111117025A TW 111117025 A TW111117025 A TW 111117025A TW I898134 B TWI898134 B TW I898134B
Authority
TW
Taiwan
Prior art keywords
camera
posture
gravity
robot
workpiece
Prior art date
Application number
TW111117025A
Other languages
English (en)
Other versions
TW202247640A (zh
Inventor
高橋祐輝
Original Assignee
日商發那科股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商發那科股份有限公司 filed Critical 日商發那科股份有限公司
Publication of TW202247640A publication Critical patent/TW202247640A/zh
Application granted granted Critical
Publication of TWI898134B publication Critical patent/TWI898134B/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

攝像裝置具備：姿勢檢測部，其檢測照相機相對於重力方向的姿勢；及參數設定部，其設定用以算出三維之位置的參數，前述三維之位置對應於由照相機所拍攝之圖像中的特定位置。記憶部記憶設定資訊，前述設定資訊用以設定對應於照相機的姿勢的參數。參數設定部根據重力方向、照相機的姿勢及設定資訊來設定參數。

Description

根據由視覺感測器所拍攝之圖像來算出三維之位置的攝像裝置
發明領域
本發明是關於一種攝像裝置，其根據由視覺感測器所拍攝之圖像來算出三維之位置。
發明背景
以往已知一種裝置，其藉由處理由照相機拍攝對象物所得到之圖像，來檢測對象物的三維之位置。例如已知一種裝置，從藉由包含於立體照相機的2台照相機所拍攝的圖像，檢測物體的位置，根據檢測到的物體的位置來進行作業(例如日本特開2009-269110號公報)。
又，取決於由照相機拍攝圖像時之照相機的狀態，有時會對由照相機所拍攝之圖像產生影響。例如攝影者拿持照相機來拍攝圖像時，圖像有時會因手抖動而模糊。以往的技術中，已知將照相機拍攝圖像時之影響進行補正(例如日本特開平11-44900號公報及日本特開2011-259314號公報)。
先行技術文獻
專利文獻
專利文獻1：日本特開2009-269110號公報
專利文獻2：日本特開平11-44900號公報
專利文獻3：日本特開2011-259314號公報
發明概要
已知在根據由照相機所拍攝之二維的圖像中之位置，來算出三維之位置時，藉由預先決定的計算模型算出對象物的三維之位置。於計算模型中包含各種參數，用以從二維的圖像中之位置計算三維之位置。
照相機可朝著各種方向拍攝對象物。例如可在透鏡的光軸從水平方向傾斜的狀態來拍攝對象物。又，照相機可藉由機器人等之致動器來變更位置及姿勢。例如藉由於多關節機器人安裝照相機，能以各種朝向拍攝對象物，來檢測對象物的位置。然後，具備機器人的裝置可根據檢測到的對象物的位置來進行各種作業。如此，藉由在不固定照相機的狀態下使其移動而使用，可使用照相機的作業會變多，或者可提高照相機的價值。
然而，照相機的姿勢藉由致動器等而改變時，照相機的視線的朝向亦會變化。此時，由於照相機自身的重量或透鏡自身的重量，有時透鏡與照相機的受光元件的相對位置關係會稍微偏離。結果，算出的對象物的三維之位置有時會偏離。
作為提高對象物的三維之位置的檢測精度的方法，可將照相機相對於工件的姿勢固定。藉由在預先決定的照相機的姿勢附近設定計算模型的參數，可減少三維之位置的誤差。亦即，可決定照相機用以拍攝對象物的位置及姿勢，利用對應於該位置及姿勢的參數。
另，未以預先決定的照相機的位置及姿勢設定計算模型的參數時，難以精度良好地取得對象物的三維之位置。例如有時會將照相機的姿勢變更為任意的姿勢，來檢測對象物的三維之位置。必須設定與各個姿勢相應的計算模型的參數。然而，由於必須無數地設定參數，會有實際上難以設定參數的問題。因此，期待一種可藉由簡單的控制，來因應照相機的姿勢而精度良好地檢測對象物的位置的裝置。
本揭示的態樣的攝像裝置具備拍攝對象物的視覺感測器。攝像裝置具備：重力方向檢測部，其檢測重力方向；及姿勢檢測部，其檢測視覺感測器相對於重力方向的姿勢。攝像裝置具備：參數設定部，其設定用以算出三維之位置的參數，前述三維之位置對應於由視覺感測器所拍攝之圖像中的特定位置；及記憶部，其記憶設定資訊，前述設定資訊用以設定對應於視覺感測器的姿勢的參數。攝像裝置具備：特徵檢測部，其於對象物的圖像中檢測預先決定的特徵部分；及特徵位置算出部，其利用由參數設定部所設定的參數，來算出特徵部分的三維之位置。參數設定部根據重力方向、視覺感測器的姿勢及設定資訊來設定參數。
若依據本揭示的態樣，可提供一種攝像裝置，其因應視覺感測器的姿勢而精度良好地檢測對象物的三維之位置。
1:機器人
2:控制裝置
3:機器人系統
5:手部
6:照相機
6b:光軸
11:上部臂
12:下部臂
13:迴旋基座
14:基座
15:腕
16:凸緣
18:關節部
21:機器人驅動裝置
22:手部驅動裝置
23:位置檢測器
24:焦點調整機構
26:教示操作盤
27:輸入部
28:顯示部
31:溫度檢測器
38,39:工件
38:第1工件
38a,38b:板狀部
38c:緣部
39:第2工件
39a:凹部
40:控制裝置本體
42:記憶部
43:動作控制部
44:機器人驅動部
45:手部驅動部
50:圖像處理部
51:重力方向檢測部
52:姿勢檢測部
53:參數設定部
54:特徵檢測部
55:特徵位置算出部
56:加速度檢測部
58:攝像控制部
59:動作指令生成部
59:動作指令生成部
61:動作程式
63:設定資訊
66,67:圖像
68,69:工件的圖像
71:基準座標系統
72:照相機座標系統
73:圖像座標系統
74:工具座標系統
81~90:步驟
95,96:架台
101,102:箭頭
ax,ay,az,g’x,g’y,g’z:成分
CPU:中央處理單元
cx,cy:圖像中心
EL:電致發光
f,gx,gy,gz,k,p,r,f’,c’,k’,p’,x’,x”,y’,y”:變數
fx,fx1~fx13,fy:積
k1~k6,p1,p2:係數
P,R,W,X,Y,Z:軸
RAM:隨機存取記憶體
ROM:唯讀記憶體
t:溫度
圖1是實施形態的機器人系統的概略圖。
圖2是實施形態的機器人系統的方塊圖。
圖3是實施形態的第1工件的俯視圖。
圖4是拍攝了第1工件時的圖像之例。
圖5是拍攝第2工件時之機器人系統的概略圖。
圖6是實施形態的第2工件的俯視圖。
圖7是拍攝了第2工件時的圖像之例。
圖8是說明照相機座標系統及重力方向的照相機的立體圖。
圖9是說明機器人系統的控制的流程圖。
用以實施發明之形態
參考圖1至圖9來說明實施形態的攝像裝置。本實施形態的攝像裝置是作為三維位置取得裝置而發揮功能，前述三維位置取得裝置根據由視覺感測器所拍攝之圖像，來算出圖像中之特定位置的三維之位置。
圖1是具備本實施形態的攝像裝置的機器人系統的概略圖。圖2是本實施形態的機器人系統的方塊圖。參考圖1及圖2，本實施形態的機器人系統3檢測作為對象物的第1工件38的位置，把持並搬送第1工件38。又，機器人系統3檢測作為對象物的第2工件39的位置，實施將第1工件38配置於第2工件39的凹部39a的作業。
機器人系統3具備：作為把持第1工件38之作業工具的手部5、及移動手部5的機器人1。機器人系統3具備控制機器人系統3的控制裝置2。又，機器人系統3具備：載置第1工件38的架台95、及支撐第2工件39的架台96。第2工件39是藉由預定的支撐構件支撐於架台96。
本實施形態的手部5是把持或放開工件38的作業工具。安裝於機器人1的作業工具不限於此形態，可採用與機器人系統3所進行的作業相應之任意的作業工具。例如作業工具可採用實施熔接的熔接炬等。
本實施形態的機器人1是包含複數個關節部18的多關節機器人。機器人1包含上部臂11及下部臂12。下部臂12支撐於迴旋基座13。迴旋基座13支撐於基座14。機器人1包含連結於上部臂11的端部的腕15。腕15包含將手部15固定的凸緣16。機器人1的構成構件形成為繞著預先決定的驅動軸旋轉。機器人1不限於此形態，可採用能變更作業工具的姿勢之任意的機器人。
本實施形態的機器人1包含機器人驅動裝置21，前述機器人驅動裝置21具有驅動上部臂11等構成構件的驅動馬達。手部5包含驅動手部5的手部驅動裝置22。本實施形態的手部驅動裝置22是藉由氣壓來驅動手部5。手部驅動裝置22包含用以將壓縮空氣供給至氣缸(cylinder)的空氣泵及電磁閥。
控制裝置2包含：控制裝置本體40；及教示操作盤26，其用以供作業者操作控制裝置本體40。控制裝置本體40包含具有作為處理器的CPU(Central Processing Unit(中央處理單元))的運算處理裝置(電腦)。運算處理裝置具有透過匯流排連接於CPU的RAM(Random Access Memory(隨機存取記憶體))及ROM(Read Only Memory(唯讀記憶體))等。機器人1根據控制裝置2的動作指令來進行驅動。機器人1根據動作程式61自動地搬送第1工件38。
控制裝置本體40包含記憶部42，前述記憶部42記憶關於機器人系統3的任意資訊。記憶部42可藉由能記憶資訊的非暫時性記憶媒體來構成。例如記憶部42可藉由揮發性記憶體、非揮發性記憶體、磁性記憶媒體或光記憶媒體等記憶媒體來構成。
於控制裝置2輸入有動作程式61，前述動作程式61是為了進行機器人1的動作而預先製作。或，作業者可操作教示操作盤26來驅動機器人1，藉此設定機器人1的教示點。控制裝置2可根據教示點來生成動作程式61。
動作程式61記憶於記憶部42。動作控制部43將用以根據動作程式61來驅動機器人1的動作指令，送出至機器人驅動部44。機器人驅動部44包含將驅動馬達進行驅動的電路，根據動作指令來將電力供給至機器人驅動裝置21。又，動作控制部43將驅動手部驅動裝置22的動作指令送出至手部驅動部45。手部驅動部45包含驅動空氣泵等之電路，根據動作指令來將電力供給至空氣泵等。
動作控制部43相當於按照動作程式61來進行驅動的處理器。處理器形成為可讀取記憶於記憶部42的資訊。處理器讀入動作程式61，實施決定於動作程式61的控制，藉此作為動作控制部43而發揮功能。
機器人1包含用以檢測機器人1的位置及姿勢的狀態檢測器。本實施形態的狀態檢測器包含位置檢測器23，前述位置檢測器23安裝於機器人驅動裝置21的各驅動軸的驅動馬達。位置檢測器23可藉由例如編碼器來構成，前述編 碼器檢測驅動馬達的輸出軸的旋轉位置。藉由各個位置檢測器23的輸出，來檢測機器人1的位置及姿勢。
於機器人系統3設定有基準座標系統71，前述基準座標系統71在機器人1的位置及姿勢變化時為不動。於圖1所示之例，於機器人1的基座14配置有基準座標系統71的原點。基準座標系統71亦稱為世界座標系統。於基準座標系統71，原點的位置固定，進而座標軸的朝向固定。基準座標系統71具有相互呈正交的X軸、Y軸及Z軸來作為座標軸。又，設定有W軸來作為繞著X軸的座標軸。設定有P軸來作為繞著Y軸的座標軸。設定有R軸來作為繞著Z軸的座標軸。
教示操作盤26透過通訊裝置而連接於控制裝置本體40。教示操作盤26包含輸入部27，前述輸入部27輸入關於機器人1及手部5的資訊。輸入部27是由鍵盤及撥號盤等輸入構件所構成。教示操作盤26包含顯示部28，前述顯示部28顯示關於機器人1及手部5的資訊。顯示部28可藉由液晶顯示面板或有機EL(Electro Luminescence(電致發光))顯示面板等可顯示資訊的顯示面板來構成。再者，教示操作盤具備觸控面板方式的顯示面板時，顯示面板是作為輸入部及顯示部而發揮功能。
於機器人系統3設定有工具座標系統74，前述工具座標系統74具有設定在作業工具的任意位置的原點。工具座標系統74會與作業工具一同變化位置及姿勢。於本實施形態，工具座標系統74的原點設定在手部5的工具前端點。機器人1的位置對應於基準座標系統71中之工具前端點的位置(工具座標系統74的原點的位置)。又，機器人1的姿勢對應於工具座標系統74相對於基準座標系統71的姿勢。
本實施形態的機器人系統3具備檢測工件38、39的位置的攝像裝置。攝像裝置具備拍攝工件38的圖像之作為視覺感測器的照相機6。本實施形態的照相機6是拍攝二維之圖像的二維照相機。照相機6支撐於機器人1。照相機6透 過支撐構件來固定於手部5。照相機6會與手部5一同變化位置及姿勢。
照相機6可藉由視野6a來拍攝圖像。照相機6具有用以調整焦點的焦點調整機構24。本實施形態的焦點調整機構24具有自動地調焦的功能。亦即，照相機6具有自動對焦功能。照相機6形成為當機器人1變更了位置及姿勢時，會自動地對於工件38、39調焦來拍攝工件38、39。焦點調節機構可採用藉由對比檢測方式或相位差方式等任意的控制來調焦的機構。
或，視覺感測器可採用具備液體透鏡的照相機。此時，焦點調整機構可採用用以變更液體透鏡的形狀的機構。例如可採用變更要施加於液體透鏡的電壓的機構，或移動液體透鏡的保持構件的機構等，前述液體透鏡的保持構件用以變更要施加於液體透鏡的水壓。
於機器人系統3，對照相機6設定有作為感測器座標系統的照相機座標系統72。照相機座標系統72會與照相機6一同變化位置及姿勢。照相機座標系統72的原點設定於照相機6之預先決定的位置，如照相機6的透鏡中心或光學中心等。照相機座標系統72具有相互呈正交的X軸、Y軸及Z軸。本實施形態的照相機座標系統72設定為Z軸延伸於與照相機6的透鏡的光軸呈平行的方向。於本實施形態，由於照相機6固定於手部5，因此照相機座標系統72相對於工具座標系統74的位置及姿勢為一定。
本實施形態的攝像裝置具備移動照相機6的移動裝置。於機器人系統3，機器人1是作為移動裝置而發揮功能。當機器人1的位置及姿勢變化時，照相機6的位置及姿勢會變化。
攝像裝置具備圖像處理裝置，前述圖像處理裝置處理由視覺感測器所拍攝之圖像。於本實施形態的機器人系統3，控制裝置本體40是作為圖像處理裝置而發揮功能。控制裝置本體40包含圖像處理部50，前述圖像處理部50處理由照相機6所拍攝之圖像。圖像處理部50包含攝像控制部58，前述攝像控制部58 對於照相機6送出拍攝圖像的指令。
圖像處理部50包含：重力方向檢測部51，其檢測重力方向；及姿勢檢測部52，其檢測照相機6相對於重力方向的姿勢。圖像處理部50包含參數設定部53，前述參數設定部53設定用以算出三維之位置的參數，前述三維之位置對應於由照相機6所拍攝之圖像中的特定位置。
圖像處理部50包含特徵檢測部54，前述特徵檢測部54是於工件38、39的圖像中檢測預先決定的特徵部分。圖像處理部50包含特徵位置算出部55，前述特徵位置算出部55利用由參數設定部53所設定的參數，來算出特徵部分的三維之位置。圖像處理部50包含加速度檢測部56，前述加速度檢測部56檢測機器人進行驅動時之視覺感測器的加速度。圖像處理部50包含動作指令生成部59，前述動作指令生成部59根據圖像處理的結果，來生成機器人1及手部5的動作指令。
圖像處理部50相當於按照動作程式61來進行驅動的處理器。特言之，重力方向檢測部51、姿勢檢測部52、參數設定部53、特徵檢測部54、特徵位置算出部55、加速度檢測部56、攝像控制部58及動作指令生成部59各個單元相當於按照動作程式61來進行驅動的處理器。處理器讀入動作程式61，實施決定於動作程式61的控制，藉此作為各個單元而發揮功能。
參考圖1，於本實施形態的機器人系統3，藉由預先決定的方法來將工件38配置於架台95的表面。例如作業者或其他機器人系統將工件38配置於架台95的表面之預先決定的位置。又，以同樣的方法將工件39配置於架台96的表面。然後，機器人1變化位置及姿勢，以手部5把持配置於架台95的上表面的工件38。機器人系統3如箭頭101所示地藉由變化機器人1的位置及姿勢，來將工件38配置於工件39的凹部39a。工件38已配置於凹部39a之工件38、39是藉由預先決定的方法搬送。例如作業者或其他機器人系統將工件38、39搬送到預先決定的位置。
然而，在將工件38配置於架台95的表面時，工件38在架台95的位置有時會偏離。於圖1所示之例，在教示機器人1的位置及姿勢時之教示作業中，決定工件38的基準位置。基準位置是期望配置工件38的位置。然而，在實際將工件38配置於架台95的上表面時，工件38有時會配置於從基準位置偏離的位置。關於工件39亦同樣，於架台96的表面配置工件39時，有時會從教示作業中所決定的基準位置偏離。又，各個工件38、39有尺寸的誤差。於本實施形態的機器人系統3，根據由照相機6所拍攝之圖像，來檢測工件38、39的三維之位置。
於本實施形態的機器人系統3，在把持第1工件38時，由照相機6拍攝工件38。圖像處理部50根據工件38的圖像來算出工件38的三維之位置。圖像處理部50是以對應於工件38的位置的方式，來控制機器人1的位置及姿勢。然後，圖像處理部50變更機器人1的位置及姿勢，以手部5把持工件38。
在將第1工件38配置於第2工件39的凹部39a時，亦與檢測工件38的三維之位置的控制同樣地實施檢測工件39的三維之位置的控制。由照相機6拍攝工件39。圖像處理部50根據工件39的圖像來算出工件39的三維之位置。圖像處理部50算出用以將工件38配置於工件39的凹部39a之機器人1的位置及姿勢。圖像處理部50變更機器人1的位置及姿勢，以將工件38配置於工件39的凹部39a。之後，手部5放開工件38，機器人1返回作業開始時之位置及姿勢。
於圖3表示本實施形態的第1工件的俯視圖。參考圖1及圖3，工件38具有板狀部38a、及形成於板狀部38a的上側的板狀部38b。板狀部38a、38b各自具有長方體的形狀。板狀部38b在上表面的外周部具有緣部38c。緣部38c相當於形成在板狀部38b之角的部分。於本實施形態，緣部38c是工件38的特徵部分。
參考圖1，於本實施形態，在把持工件38時，於工件38的鉛直方向的上側配置有照相機6。此時，預先決定了從工件38之形成有特徵部分的表面到照相機6的距離。於此之例，控制機器人1的位置及姿勢，以使板狀部38b的上表 面的位置成為照相機座標系統72之預定的Z軸的值。又，調整照相機6的姿勢，以使照相機6的透鏡之光軸幾乎與工件38之具有特徵部分的板狀部38b的表面呈垂直。
於圖4，表示由照相機拍攝了第1工件時的圖像之例。照相機6實施調焦並拍攝圖像66。於圖像66包含第1工件38的圖像68。又，在由照相機所拍攝之圖像66設定有圖像座標系統73。圖像處理部50的特徵檢測部54藉由進行型樣匹配(pattern matching)，將緣部38c作為工件38的特徵部分來檢測。於型樣匹配中，用以檢測緣部38c的位置的基準圖像是預先製作並記憶於記憶部42。特徵檢測部54利用基準圖像，在由照相機6所拍攝之圖像中檢測特徵部分即緣部38c。
特徵位置算出部55算出由照相機6所拍攝之圖像中之工件38的特徵部分的位置。例如藉由圖像座標系統73的座標值，來檢測圖像68中之緣部38c的角的位置。特徵位置算出部55根據圖像中之特徵部分的位置，利用計算模型來檢測特徵部分的三維之位置。此類工件38的特徵部分的位置可藉由基準座標系統71來算出。進而，特徵位置算出部55根據工件38的特徵部分的三維之位置，來算出工件38的位置。作為工件38的位置，可算出對工件38設定之任意設定點的位置。工件38的位置亦可藉由基準座標系統71來算出。
動作指令生成部59根據由特徵位置算出部55所算出之工件38的三維之位置，來算出機器人1的位置及姿勢。然後，將用以把持工件38之機器人1的位置及姿勢送出至動作控制部43。動作控制部43根據從動作指令生成部59所接收到的動作指令，來驅動機器人1及手部5以把持工件38。
於圖5，表示機器人系統將第1工件配置於第2工件的凹部時之概略圖。在將第1工件38配置於第2工件39的凹部39a時，亦實施與把持第1工件38的控制同樣的控制。動作控制部43在以手部5把持第1工件38之後變更機器人1的位置及姿勢。機器人1將照相機6配置於拍攝第2工件39的位置及姿勢。
於圖6表示本實施形態的第2工件的俯視圖。參考圖5及圖6，第2工件39具有長方體狀的形狀。工件39的上表面為平面狀。於工件39的上表面，形成有與第1工件38之板狀部38a的形狀對應的凹部39a。第2工件39的凹部39a的階差部分成為由照相機6拍攝了圖像時之特徵部分。
於圖7，表示由照相機拍攝了第2工件時的圖像之例。於圖像67包含第2工件39的上表面的圖像69。參考圖5至圖7，拍攝第2工件39時，預先決定了從工件39之形成有特徵部分的上表面到照相機6的距離。預先決定了照相機座標系統72中之工件39的上表面的Z軸的位置。又，調整照相機6的姿勢，以使照相機6的透鏡之光軸幾乎與工件39之具有特徵部分的上表面呈垂直。預先決定了此類機器人1的基準的位置及姿勢。
參考圖2、圖5及圖7，圖像處理部50的特徵檢測部54藉由進行型樣匹配，來檢測作為工件39的特徵部分的凹部39a。用以檢測凹部39a的基準圖像是預先製作並記憶於記憶部42。特徵位置算出部55根據由照相機6所拍攝之圖像69中之特徵部分的位置，利用計算模型來算出工件39的特徵部分的三維之位置。例如特徵位置算出部55可算出凹部39a之俯視形狀的角的三維之位置。然後，特徵位置算出部55可根據特徵部分的三維之位置，來算出工件39的三維之位置。
動作指令生成部59根據在特徵位置算出部55所算出之第2工件39的位置，來算出機器人1的位置及姿勢。動作指令生成部59算出用以將第1工件38配置於第2工件39的凹部39a之機器人1的位置及姿勢。然後，動作指令生成部59將用以將工件38配置於工件39的凹部39a之機器人1的位置及姿勢，發送到動作控制部43。動作控制部43根據從動作指令生成部59所接收到的動作指令，來驅動機器人1及手部5，以將第1工件38配置於第2工件39的凹部39a。
於本實施形態之搬送工件的控制中，特徵檢測部54檢測特徵部分，特徵位置算出部55根據特徵部分的位置，精度良好地算出工件38、39的三維之位 置。因此，機器人系統3可精度良好地把持工件38，或將工件38配置於工件39的凹部39a。即使當工件38在架台95的位置從基準的位置偏離，或工件38有尺寸誤差時，機器人系統3仍可精度良好地把持工件38。又，即使當工件39在架台96的位置從基準的位置偏離，或工件39有尺寸誤差時，仍可精度良好地將工件38配置於工件39的凹部39a。
本實施形態的特徵位置算出部55利用預先決定的計算模型，從二維的圖像中之特定位置算出三維之位置。於此，當照相機的姿勢變化時，由於施加於照相機的本身的重量及透鏡本身的重量等之影響，有時照相機的受光元件對於透鏡的相對位置關係會變化。又，當照相機包含液體透鏡時，透鏡的形狀有時會因應照相機的姿勢的變化而變化。結果，相對於由照相機6所拍攝之二維的圖像的特定位置的三維之位置會變化，有時無法正確地算出對象物的三維之位置。
本實施形態的圖像處理部50具有考慮照相機6的姿勢來補正三維之位置的功能。預先決定了設定資訊63，前述設定資訊63用以對應於照相機6的姿勢來設定參數。設定資訊63記憶於記憶部42。參數設定部53根據重力方向、照相機6的姿勢及設定資訊63，來算出計算模型的參數，前述計算模型是從照相機6所拍攝之圖像中的特徵部分的位置，來算出三維的特徵部分的位置。特徵位置算出部55利用對應於照相機6的姿勢所設定的參數，來算出工件的表面的特徵部分的三維之位置。進而，於本實施形態，在照相機6的姿勢變化時，參數設定部53因應照相機6的姿勢來變更參數之值。
接著，說明從照相機所拍攝之圖像中之特定位置，來算出空間中的三維之位置的計算模型。由與空間上任意的位置對應之照相機所拍攝的圖像中之位置，是藉由針孔照相機的模型而一般由次式(1)表示。
[數1]
[u,v]：照相機座標系統的座標值
fx,fy：焦距與像素的有效尺寸的積
Cx,Cy：圖像中心
[X,Y,Z]：基準座標系統的座標值
於本實施形態，三維之位置的座標值(X,Y,Z)是以基準座標系統71來表現。圖像上之位置的座標值(u,v)是以圖像座標系統73來表現。外部參數的矩陣是用以將空間中的三維之位置轉換成照相機座標系統72的座標值之轉換矩陣。又，內部參數的矩陣是用以將照相機座標系統72的座標值轉換成圖像之圖像座標系統73的座標值之矩陣。於此，基準座標系統71中的三維之位置的Z軸之值、或照相機座標系統72中之Z軸的座標值，是對應於從照相機到工件的距離而預先決定。
上述式(1)是不存在透鏡的畸變等之理想例。實際上要考慮透鏡的畸變等所造成的參數變化。式(1)的空間中的三維之位置與外部參數的矩陣的部分之運算可由次式(2)來表示。
t：[t 1,t 2,t 3]
R：3×3的旋轉矩陣
依據式(2)，可將以基準座標系統71所表現的座標值(X,Y,Z)，轉換成以照相機座標系統72所表現的座標值(x,y,z)。接著，為了考慮照相機的透鏡的畸變，將變數x’及變數y’定義如次式(3)及次式(4)所示。進而，將考慮到畸變的變數x”及變數y”，如式(5)及式(6)所示地算出。於此，變數x’、變數y’及變數r的關係是如式(7)所示。
於式(5)及式(6)，係數k1~k6是關於半徑方向的透鏡的畸變之係數，係數p1、p2是關於圓周方向的透鏡的畸變之係數。利用考慮到透鏡的畸變的變數x”及變數y”，圖像座標系統73的圖像上的座標值(u,v)可如次式(8)及次式(9)所示地算出。式(8)及式(9)是與藉由上述式(1)中之內部參數的矩陣所進行的運算對應的部分。
[數4]u=f x ．x"+c x …(8) v=f y ．y"+c y …(9)
於上述說明中，說明從空間上的三維之位置算出圖像中之位置的方法。然而，於本實施形態，根據上述關係式，並根據圖像上之位置的座標值(u,v)及照相機座標系統72中從照相機6到工件38、39的距離(照相機座標系統72的Z軸的座標值)，來算出空間上的三維之位置(X,Y,Z)。從照相機6到工件38的距離可預 先決定並令記憶部42記憶。特徵位置算出部55根據計算模型，從圖像上之特定位置的座標值(u,v)算出空間上的三維之位置(X,Y,Z)。
於此，參考式(2)至式(9)，從圖像中之位置算出三維之位置的計算模型需要焦距與圖像的有效尺寸的積的變數f即積fx、fy、圖像中心的變數c即圖像中心cx、cy、及作為關於畸變的係數即變數k、p，需要係數k1~k6、p1、p2。這些計算模型的參數取決於照相機6的姿勢。亦即，計算模型的參數取決於照相機相對於重力的方向的姿勢。或，計算模型的參數取決於重力等作用於照相機的力(加速度)。
於圖8，表示說明照相機座標系統相對於重力方向的姿勢之照相機的立體圖。於本實施形態，照相機座標系統72設定為照相機座標系統72的Z軸與透鏡的光軸6b重疊。於本實施形態，為了表現照相機相對於重力方向的姿勢而利用照相機座標系統72的姿勢。箭頭102所示之方向為重力方向，照相機座標系統72相對於重力方向傾斜。
重力方向檢測部51檢測重力的方向。於本實施形態，以基準座標系統71表示重力的方向的座標值預先記憶於記憶部42。重力方向檢測部51從記憶部42，取得表示重力的方向之基準座標系統71的座標值。或，可於姿勢與照相機一同變化的機器人的腕等，配置重力感測器。重力方向檢測部51可根據重力感測器的輸出來檢測重力的方向。進而，照相機有時包含重力感測器。此情況下，重力方向檢測部51亦可從照相機的重力感測器來檢測重力的方向。
姿勢檢測部52根據機器人1的位置及姿勢、以及在安裝有照相機6的機器人中照相機6的位置，來檢測照相機6相對於重力方向的姿勢。本實施形態的照相機6固定於手部5。機器人1中之照相機6的位置及相對於手部5的姿勢為一定。因此，姿勢檢測部52根據位置檢測器23的輸出，來檢測照相機座標系統72的位置及姿勢。照相機座標系統72的位置及姿勢可利用基準座標系統71的座標值 來表現。或，姿勢檢測部52根據位置檢測器23的輸出，利用基準座標系統71來算出工具座標系統74的位置及姿勢。然後，姿勢檢測部52亦可從工具座標系統74的位置及姿勢，來算出照相機座標系統72的位置及姿勢。
接著，姿勢檢測部52算出照相機座標系統72相對於重力方向的姿勢。於本實施形態，將重力方向分解為照相機座標系統72的X軸、Y軸及Z軸的方向的成分。亦即，以X軸的座標值、Y軸的座標值及Z軸的座標值來表現重力方向。對應於重力大小的箭頭102的長度可採用任意的長度。於本實施形態，重力大小設為9.8。於本實施形態，箭頭102所示之重力方向的向量的座標值(gx,gy,gz)對應於照相機座標系統72相對於重力方向的姿勢。若以變數g表示箭頭102所示之重力方向的向量之大小，則次式(10)的關係成立。
例如當照相機6的透鏡的光軸6b平行於鉛直方向時，箭頭102所示之向量的座標值(0,0,9.8)對應於照相機座標系統72相對於重力方向的姿勢。接著，於本實施形態，預先決定了設定資訊63，前述設定資訊63用以設定與照相機6相對於重力方向的姿勢對應之參數。參數設定部53利用照相機6相對於重力方向的姿勢及設定資訊63，來設定計算模型的參數。於表1，作為設定資訊63，表示對應於照相機6的姿勢之參數之值的表的一部分。
[表1]
於此，參數之例表示有焦距與像素之有效尺寸的積fx之值。於此之設定資訊63是對於複數個離散的表示照相機6的姿勢之變數即座標值(gx,gy,gz)，預先決定了參數即積fx1~fx13之值。
參數設定部53根據就照相機6相對於重力方向的每個姿勢所決定的參數之值，來設定計算模型的參數。例如參數設定部53取得由照相機6拍攝了圖像時之關於照相機的姿勢的座標值最接近的2個座標值(gx,gy,gz)的積fx。參數設定部53可藉由將2個積fx之值，以關於照相機的姿勢的座標值進行內插來設定參數。或，可利用包含離散的參數之值的表，並藉由任意的方法來設定參數。例如亦可採用與2個座標值對應之2個參數的中央值，或亦可採用與任一較接近的座標值對應之參數之值。關於其他的參數即積fy、圖像中心的變數c、關於畸變的變數k、p，亦可藉由同樣的方法來設定。
藉由利用包含對於照相機的姿勢之離散的參數之值的設定資訊，參數設定部可設定與任意的照相機的姿勢相應的參數。參數設定部可藉由簡易 的計算來設定參數。或，即使是接著將說明的函數設定困難的情況，仍可設定與照相機的姿勢相應的參數。
接著，作為設定資訊，可因應照相機的姿勢來決定用以算出參數的函數。可藉由包含關於照相機的姿勢的變數之數式來算出參數。例如如式(11)所示，可將關於照相機的姿勢的座標值作為變數，預先決定對於變數gx、gy、gz算出變數f的函數f(gx,gy,gz)。或，如式(12)所示，可預先決定對於關於照相機的姿勢的變數，算出畸變的係數k之函數k(gx,gy,gz)。
[數6]f=f(g x ,g y ,g z )…(11) k=k(g x ,g y ,g z )…(12)
此類函數可採用例如關於照相機的姿勢之變數gx、gy、gz的高次式。參數設定部53可利用函數來設定各個參數。特徵位置算出部55可根據由參數設定部53所設定的參數，來算出特徵部分的三維之位置。
或，作為設定資訊，亦可採用因應照相機的姿勢來算出參數用的機器學習。例如參數設定部取得照相機相對於重力方向的姿勢、與對應於照相機的姿勢的參數之值的許多組合，來作為教師資料(標籤)。參數設定部藉由監督式學習來生成學習模型。然後，參數設定部亦可利用學習模型，從關於照相機的姿勢的變數來設定參數之值。
於上述實施形態，作為表示照相機相對於重力方向的姿勢的變數，將重力方向的向量分解為照相機座標系統的X軸方向、Y軸方向及Z軸方向的成分，但不限於此形態。可採用任意的變數，只要是表示照相機相對於重力方向的姿勢的變數即可。例如亦可將以基準座標系統71的座標值所表現的照相機座標系統的姿勢的座標值(基準座標系統71的W軸、P軸及R軸的座標值)，作為表示照相機相對於重力方向的姿勢的變數來算出。
於圖9，表示本實施形態的控制的流程圖。參考圖1、圖2及圖9，作業者預先決定用以設定計算模型的參數的設定資訊。然後，作業者令記憶部42記憶設定資訊63。首先，舉例說明機器人系統3把持工件38的控制。
於步驟81，動作控制部43將照相機6移動到用以拍攝工件38之預先決定的攝像位置。於本實施形態，將照相機6配置於工件38的基準位置之正上方。接著，於步驟82，照相機6的焦點調整機構24將照相機6調焦。本實施形態的焦點調整機構24由於具有自動對焦功能，因此會自動地調焦。攝像控制部58是由照相機6拍攝圖像。
於步驟83，重力方向檢測部51檢測重力方向。例如重力方向檢測部51從記憶部42，取得以基準座標系統71的座標值所表現之表示重力方向的座標值。姿勢檢測部52根據機器人1的位置及姿勢來檢測照相機6的姿勢。例如姿勢檢測部52可藉由基準座標系統71的座標值來檢測照相機座標系統72的姿勢。接著，姿勢檢測部52檢測拍攝圖像時之照相機相對於重力方向的姿勢。
於步驟84，參數設定部53根據關於照相機6的姿勢的變數及設定資訊，來設定用以算出特徵部分的三維之位置的計算模型的參數。
接著，於步驟85，特徵檢測部54藉由進行型樣匹配來檢測圖像中之特徵部分。於此之例，藉由利用板狀部38b的緣部38c的基準圖像進行型樣匹配，來檢測圖像中之緣部38c。特徵位置算出部55檢測圖像中之特徵部分的位置。
接著，於本實施形態的控制例，當無法檢測出工件的特徵部分的位置時，實施變更照相機6相對於工件38的位置而拍攝圖像的控制。例如有時照明的光會反射，特徵部分變白，特徵部分變得不明確。此類情況下，有時藉由移動照相機的位置，可明確地拍攝特徵部分。
於步驟86，圖像處理部50判定是否可檢測到特徵部分的位置。當特徵位置算出部55無法檢測特徵部分的位置時，控制轉移到步驟87。
於步驟87，動作指令生成部59生成變更照相機6的位置的指令。例如動作指令生成部59生成將照相機6往預先決定的方向，以預先決定的移動量進行平行移動的指令。動作指令生成部59可將照相機6，往垂直於照相機座標系統72的Z軸的方向平行移動。參考圖1，例如動作指令生成部59生成將照相機6往照相機座標系統72的X軸的方向移動的指令。
動作指令生成部59將機器人1的動作指令送出至動作控制部43。動作控制部43變更機器人1的位置及姿勢。然後，控制返回步驟82。圖像處理部50重複從步驟82至步驟86的控制。
於步驟86，當特徵位置算出部55可檢測到特徵部分的位置時，控制轉移到步驟88。再者，當以複數次進行機器人的位置及姿勢的變更，仍無法檢測出特徵部分時，亦可中止控制。
於步驟88，特徵位置算出部55根據圖像中之特徵部分的位置，來算出特徵部分的三維之位置。特徵位置算出部55根據圖像中之圖像座標系統73的座標值，來算出基準座標值71的座標值。特徵位置算出部55根據特徵部分的三維之位置，來算出工件的位置。工件的位置可藉由例如基準座標系統71來算出。
於步驟89，動作指令生成部59根據工件38的位置，來算出機器人1的位置及姿勢。然後，於步驟90，動作指令生成部59將驅動機器人1的動作指令送出至動作控制部43。動作控制部43根據動作指令來驅動機器人1及手部5。
參考圖2、圖5及圖9，在將第1工件38配置於第2工件39的凹部39a時，亦可執行與圖9所示之控制同樣的控制。於步驟81，機器人1將照相機6配置在垂直於工件39的表面的方向。於步驟82，照相機6拍攝工件39的表面的圖像。於步驟83，重力方向檢測部51檢測重力方向。姿勢檢測部52檢測照相機相對於重力方向的姿勢。於步驟84，參數設定部53根據照相機6相對於重力方向的姿勢，來算出計算模型的參數。
接著，於步驟85，特徵檢測部54檢測圖像中之工件的特徵部分。例如檢測工件39之凹部39a的角的部分的位置。特徵位置算出部55檢測圖像中之特徵部分的位置。
於步驟86，圖像處理部50判定是否可檢測到特徵部分的位置。當無法檢測特徵部分的位置時，於步驟87，動作指令生成部59變更照相機6的位置。例如將照相機6往垂直於照相機座標系統72的Z軸的方向平行移動。然後，在變更照相機6的位置之後，重複從步驟82至步驟86的控制。
於步驟86，當可檢測到特徵部分的位置時，於步驟88，特徵位置算出部55算出第2工件39的位置。然後，根據第2工件39的位置，算出配置第1工件38時之機器人1的位置及姿勢。亦即，算出於第2工件39的凹部39a插入第1工件38時之機器人1的位置及姿勢。然後，於步驟90驅動機器人。動作控制部43根據動作指令來驅動機器人1及手部5。將第1工件38配置於凹部39a之後，手部5放開工件38。
本實施形態的攝像裝置因應照相機的姿勢，來設定用以算出三維之位置的計算模型的參數，前述三維之位置對應於由視覺感測器所拍攝之圖像中的特定位置。然後，根據與視覺感測器的姿勢相應的參數，來算出特定位置的三維之位置。藉由此控制，可因應照相機的姿勢，精度良好地檢測特徵部分的三維之位置。特別是無須預先固定照相機相對於工件的姿勢，能以與工件的姿勢相應之任意的照相機的姿勢來拍攝圖像，算出誤差少的三維之位置。於本實施形態的攝像裝置，相較於以往的技術，可驅動機器人的範圍擴大，或驅動機器人的模式增多。
又，在視覺感測器的焦點調整機構具有自動地調焦的功能時，重量會變大。又，由於具有移動透鏡的位置的機構，因此透鏡內部的機構的晃動變大。結果，透鏡對於照相機的受光元件之相對位置關係的變化變大。因此，當照 相機具有自動地調焦的功能時，本實施形態的控制效果顯著。
再者，視覺感測器亦可不具有自動地調焦的功能。例如亦可為具備以手動調焦的透鏡的照相機亦可。或，亦可為具備焦點的位置固定的透鏡的照相機。
又，本實施形態的機器人系統具備作為移動視覺感測器的移動裝置的機器人。機器人可變更照相機的姿勢。即使以機器人將照相機的姿勢變化，本實施形態的攝像裝置仍可因應照相機的姿勢來設定參數，可精度良好地檢測工件的三維之位置。
參考圖2，本實施形態的教示操作盤26的顯示部28顯示由參數設定部53所設定的參數之值。作業者可確認顯示於教示操作盤26的顯示部28的參數之值。特別當由特徵位置算出部55所算出的三維之位置不正確時，作業者可確認因應照相機6的姿勢所設定的參數之值。
又，本實施形態的參數設定部53形成為可設定排除了重力的影響時之參數。排除了重力的影響時之參數可預先決定並令記憶部42記憶。參數設定部53可從記憶部42取得此參數。
本實施形態的顯示部28形成為顯示：藉由與照相機相對於重力方向的姿勢對應的參數來算出的特徵部分的三維之位置；及藉由排除了重力的影響時之參數來算出的特徵部分的三維之位置。藉由此構成，作業者可確認因重力的影響所造成的位置的偏離的大小。作業者可確認重力給予圖像的影響的大小。又，作業者可確認圖像中之特徵部分的位置的偏離量、或工件的三維之位置的偏離量。作業者可確認機器人系統的作業的正確性。
於上述實施形態，根據照相機相對於重力方向的姿勢，來設定用以將二維的圖像中之位置轉換成三維之位置的參數，但不限於此形態。參數設定部53可根據變數中包含溫度的設定資訊來設定參數。
參考圖2，本實施形態的機器人系統3是於照相機6，安裝有用以檢測照相機6的本體的溫度的溫度檢測器31。溫度不限於照相機6的本體的溫度，可採用與照相機6的溫度相關聯之任意的溫度。亦可採用例如透鏡的溫度、或機器人系統3周圍的氣溫。
若長時間驅動照相機，照相機內部的電子零件的溫度有時會上升。或，有時驅動透鏡的馬達的溫度會上升。結果，照相機的本體的溫度、透鏡的溫度及支撐透鏡的支撐構件等之溫度會變化，透鏡的畸變或感測器對於透鏡的相對位置等有時會變化。因此，若溫度變化，計算模型的參數有時會變化。因此，除了照相機相對於重力方向的姿勢以外，參數設定部53還可將溫度設為變數，來設定計算模型的參數。
作為此類將溫度加入於變數之參數的設定方法，除了表1所示之照相機相對於重力方向的姿勢的變數以外，還可將溫度追加於變數。亦即，可製作除了表示重力方向的座標值的變數gx、gy、gz以外，還將溫度t設為變數的參數的值之表。或，如次式(13)所例示，亦能以函數f(gx,gy,gz,t)來算出參數，前述函數f(gx,gy,gz,t)除了變數gx、gy、gz以外，還將溫度t設為變數。
[數7]f=f(g x ,g y ,g z ,t)…(13)
藉由此控制，可因應照相機相對於重力方向的姿勢，再加上考慮溫度的影響，來精度良好地檢測三維之位置。特別是照相機包含液體透鏡時，液體透鏡會強烈受到溫度的影響。例如由於液體透鏡是改變表面張力來改變透鏡的曲率，因此強烈受到液體的溫度的影響。因此，藉由根據照相機的姿勢再加上溫度，來設定計算模型的參數，可精度良好地算出三維之位置。
於前述實施形態，在照相機靜止的狀態下進行工件的攝像，但不限於此形態。亦可一面移動照相機，一面拍攝工件。例如參考圖1，可取代架台 95而採用將工件38往水平方向移動的輸送機。
此情況下，可控制機器人1的位置及姿勢，以使照相機6跟隨工件38的移動。例如當工件38藉由輸送機往基準座標系統71的Y軸的方向移動時，照相機6一面往基準座標系統71的Y軸的方向移動一面拍攝。然後，亦可在工件38移動的期間中把持工件38。此類情況下，有時會在照相機6加速的期間中或照相機6減速的期間中拍攝工件38。亦即，有時會在對照相機6施加加速度的期間中拍攝圖像。
參考圖2，本實施形態的圖像處理部50的參數設定部53可將由照相機6拍攝圖像時施加於照相機6的加速度，加到重力加速度上。加速度檢測部56根據位置檢測器23的輸出，來算出照相機座標系統72的原點的位置。加速度檢測部56根據照相機座標系統72的原點的位置及時刻，來算出施加於照相機座標系統72的加速度。亦即，加速度檢測部56算出施加於照相機6的加速度的大小及加速度的方向。
參數設定部53可將施加於照相機座標系統72的加速度，分解為照相機座標系統72的X軸方向的成分ax、Y軸方向的成分ay、及Z軸方向的成分az。照相機的移動所造成的加速度及重力加速度加在一起，施加於照相機座標系統72之加速度的座標軸的成分g’x、g’y、g’z可由次式(14)至次式(16)來表示。
[數8]-a x +g x =g' x …(14) -a y +g y =g' y …(15) -a z +g z =g' z …(16)
如此，對於照相機6，可判斷為照相機座標系統72的座標值(g’x,g’y,g’z)的加速度施加於照相機6。然後，參數設定部53可根據變數g’x、g’y、g’z及如表1所示之設定資訊，來設定參數即變數f’、c’、k’、p’之值。或，參數設 定部53可根據如式(11)及式(12)所示之函數，從變數g’x、g’y、g’z算出計算模型的參數即變數f’、c’、k’、p’。然後，特徵位置算出部55可根據算出的計算模型的參數，來算出特徵部分的三維之位置。
實施一種控制，來將藉由機器人1的驅動而施加於照相機6的加速度，加到重力加速度上，藉此即使在照相機加速或減速時拍攝圖像，仍可精度良好地檢測三維之位置。
再者，於上述實施形態，根據重力方向算出計算模型的參數，利用算出的參數，將由照相機拍攝之二維的圖像的位置轉換成三維之位置，但不限於此形態。亦可根據由重力方向檢測部51所檢測到的重力方向，算出參數即變數f’、c’、k’、p’，利用這些參數來補正以二維的圖像座標系統73所示之圖像的位置。然後，亦可將以二維的圖像座標系統73所示之圖像的補正後之位置，利用排除了重力的影響的參數來轉換成三維之位置。
例如亦可將二維的圖像中之特徵部分的任意位置的座標值(u1,v1)，根據考慮到重力的影響的參數即變數f’、c’、k’、p’，來轉換成補正後的位置的座標值(u1',v1')。亦即，可轉換成沒有重力的影響時所得到之二維的圖像。接著，可利用排除了重力的影響之計算模型的參數，根據圖像中之座標值(u1',v1')來算出三維之位置。如此，可進行將由照相機所取得之圖像，轉換成排除了重力的影響的圖像之圖像處理。之後，可根據圖像的位置，利用排除了重力的影響之參數來算出三維之位置。藉由此方法，亦可進行精度良好的三維之位置的檢測。
於上述實施形態，機器人1變更照相機6的姿勢，但不限於此形態。照相機的位置及姿勢亦可固定。又，變更照相機的姿勢的移動裝置不限於機器人，可採用使照相機的姿勢變化之任意的裝置。
於上述各個控制中，可在功能及作用未變更的範圍內，適當地變更步驟的順序。上述實施形態可適當地組合。於上述各圖，對同一或相等的部分 附上同一符號。再者，上述實施形態為例示，並不限定發明。又，實施形態中包含申請專利範圍所示之實施形態的變更。
1:機器人
2:控制裝置
5:手部
6:照相機
21:機器人驅動裝置
22:手部驅動裝置
23:位置檢測器
24:焦點調整機構
26:教示操作盤
27:輸入部
28:顯示部
31:溫度檢測器
40:控制裝置本體
42:記憶部
43:動作控制部
44:機器人驅動部
45:手部驅動部
50:圖像處理部
51:重力方向檢測部
52:姿勢檢測部
53:參數設定部
54:特徵檢測部
55:特徵位置算出部
56:加速度檢測部
58:攝像控制部
59:動作指令生成部
61:動作程式
63:設定資訊

Claims (8)

  1. 一種攝像裝置，其具備： 視覺感測器，其拍攝對象物； 重力方向檢測部，其檢測重力方向； 姿勢檢測部，其檢測前述視覺感測器相對於重力方向的姿勢； 參數設定部，其設定用以算出三維之位置的參數，前述三維之位置對應於由前述視覺感測器所拍攝之圖像中的特定位置； 記憶部，其記憶設定資訊，前述設定資訊用以設定對應於前述視覺感測器的姿勢的參數； 特徵檢測部，其於前述對象物的圖像中，檢測預先決定的特徵部分；及 特徵位置算出部，其利用由前述參數設定部所設定的參數，來算出特徵部分的三維之位置， 前述參數設定部根據重力方向、前述視覺感測器的姿勢及前述設定資訊來設定參數。
  2. 如請求項1之攝像裝置，其中前述參數設定部是於前述視覺感測器的姿勢變化時，因應前述視覺感測器的姿勢來變更參數之值。
  3. 如請求項1或2之攝像裝置，其具備機器人，前述機器人變更前述視覺感測器的姿勢， 前述姿勢檢測部根據機器人的位置及姿勢、以及在安裝有前述視覺感測器的機器人中前述視覺感測器的位置，來檢測前述視覺感測器相對於重力方向的姿勢。
  4. 如請求項1或2之攝像裝置，其具備檢測溫度的溫度檢測器， 前述參數設定部根據重力方向、前述視覺感測器的姿勢、溫度及前述設定資訊來設定參數。
  5. 如請求項1之攝像裝置，其具備： 機器人，其變更前述視覺感測器的姿勢；及 加速度檢測部，其檢測機器人進行驅動時之前述視覺感測器的加速度， 前述參數設定部根據重力方向、前述視覺感測器的加速度、前述視覺感測器的姿勢及前述設定資訊來設定參數。
  6. 如請求項1、2或5之攝像裝置，其中前述視覺感測器具有自動地調焦的功能。
  7. 如請求項1、2或5之攝像裝置，其具備顯示部，前述顯示部顯示由前述特徵位置算出部所算出的特徵部分的三維之位置， 前述參數設定部形成為可設定排除了重力的影響時之參數， 前述顯示部形成為顯示：藉由根據重力方向及前述視覺感測器的姿勢而設定的參數來算出的特徵部分的三維之位置；及藉由排除了重力的影響時之參數來算出的特徵部分的三維之位置。
  8. 如請求項1、2或5之攝像裝置，其具備顯示部，前述顯示部顯示由前述參數設定部所設定的參數之值。
TW111117025A 2021-05-27 2022-05-05 根據由視覺感測器所拍攝之圖像來算出三維之位置的攝像裝置 TWI898134B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2021/020281 2021-05-27
PCT/JP2021/020281 WO2022249410A1 (ja) 2021-05-27 2021-05-27 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置

Publications (2)

Publication Number Publication Date
TW202247640A TW202247640A (zh) 2022-12-01
TWI898134B true TWI898134B (zh) 2025-09-21

Family

ID=84228480

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111117025A TWI898134B (zh) 2021-05-27 2022-05-05 根據由視覺感測器所拍攝之圖像來算出三維之位置的攝像裝置

Country Status (6)

Country Link
US (1) US12288355B2 (zh)
JP (1) JP7529907B2 (zh)
CN (1) CN117355397A (zh)
DE (1) DE112021007326T5 (zh)
TW (1) TWI898134B (zh)
WO (1) WO2022249410A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025134176A1 (ja) * 2023-12-18 2025-06-26 ファナック株式会社 画像処理装置およびロボットシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200198899A1 (en) * 2017-11-02 2020-06-25 Kabushiki Kaisha Toshiba Picking system
US20200238518A1 (en) * 2019-01-24 2020-07-30 Fanuc Corporation Following robot and work robot system
US20200361092A1 (en) * 2019-05-14 2020-11-19 Fanuc Corporation Robot operating device, robot, and robot operating method
US20200376689A1 (en) * 2019-05-28 2020-12-03 X Development Llc Robot Configuration with Three-Dimensional Lidar

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2512038B2 (ja) 1987-12-01 1996-07-03 松下電器産業株式会社 音場再生装置
JP3792845B2 (ja) 1997-07-24 2006-07-05 キヤノン株式会社 光学装置
JP3377465B2 (ja) * 1999-04-08 2003-02-17 ファナック株式会社 画像処理装置
JP4593968B2 (ja) * 2004-05-14 2010-12-08 キヤノン株式会社 位置姿勢計測方法および装置
JP4976756B2 (ja) * 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
JP2009269110A (ja) 2008-05-02 2009-11-19 Olympus Corp 組立装置
US8654195B2 (en) * 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
JP2011259314A (ja) 2010-06-10 2011-12-22 Fujifilm Corp 撮像装置、画像処理装置及びプログラム
US9036900B2 (en) * 2011-01-21 2015-05-19 University Of Hyogo Three-dimensional shape measurement method and three-dimensional shape measurement device
JP6021533B2 (ja) * 2012-09-03 2016-11-09 キヤノン株式会社 情報処理システム、装置、方法及びプログラム
JP2015532077A (ja) * 2012-09-27 2015-11-05 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ 少なくとも１つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法
US9646384B2 (en) * 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
JP2014097572A (ja) * 2014-02-28 2014-05-29 Seiko Epson Corp 把持ロボットおよび把持方法
WO2015164696A1 (en) * 2014-04-25 2015-10-29 Google Technology Holdings LLC Electronic device localization based on imagery
JP2017003331A (ja) * 2015-06-05 2017-01-05 キヤノン株式会社 被計測物の形状を計測する計測装置、算出装置、算出方法及びプログラム
JP6584208B2 (ja) * 2015-08-07 2019-10-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP2017073753A (ja) * 2015-10-09 2017-04-13 富士通株式会社 補正方法、プログラム及び電子機器
JP6711591B2 (ja) * 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
JP6744709B2 (ja) * 2015-11-30 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法
JP6753688B2 (ja) * 2016-04-26 2020-09-09 蛇の目ミシン工業株式会社 刺繍範囲検出装置、刺繍範囲検出方法、プログラムおよび刺繍模様配置システム
JP6983524B2 (ja) * 2017-03-24 2021-12-17 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6961394B2 (ja) * 2017-05-31 2021-11-05 株式会社キーエンス 画像検査装置、画像検査方法、画像検査装置の設定方法、画像検査プログラム、画像装置の設定検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US10521871B2 (en) * 2017-07-12 2019-12-31 Fanuc Corporation Robot system
JP6568163B2 (ja) * 2017-08-09 2019-08-28 ファナック株式会社 ロボットシステム
JP2019063984A (ja) * 2017-10-02 2019-04-25 キヤノン株式会社 情報処理装置、方法及びロボットシステム
JP6646026B2 (ja) * 2017-10-16 2020-02-14 ファナック株式会社 作業システム、物品に対する作業実施方法、およびロボット
JP6608977B2 (ja) * 2018-01-25 2019-11-20 ファナック株式会社 物品搬送システム
US11260534B2 (en) * 2018-04-04 2022-03-01 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US12008768B2 (en) * 2018-09-25 2024-06-11 Visual Robotics Systems, Inc. Spatially-aware camera and method thereof
US11238297B1 (en) * 2018-09-27 2022-02-01 Apple Inc. Increasing robustness of computer vision systems to rotational variation in images
FR3093215B1 (fr) * 2019-02-22 2021-08-27 Fogale Nanotech Procédé et dispositif de surveillance de l’environnement d’un robot
US11228737B2 (en) * 2019-07-31 2022-01-18 Ricoh Company, Ltd. Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
US11717960B2 (en) * 2020-02-25 2023-08-08 Intelligrated Headquarters, Llc Anti-sway control for a robotic arm with adaptive grasping

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200198899A1 (en) * 2017-11-02 2020-06-25 Kabushiki Kaisha Toshiba Picking system
US20200238518A1 (en) * 2019-01-24 2020-07-30 Fanuc Corporation Following robot and work robot system
US20200361092A1 (en) * 2019-05-14 2020-11-19 Fanuc Corporation Robot operating device, robot, and robot operating method
US20200376689A1 (en) * 2019-05-28 2020-12-03 X Development Llc Robot Configuration with Three-Dimensional Lidar

Also Published As

Publication number Publication date
US20240193808A1 (en) 2024-06-13
TW202247640A (zh) 2022-12-01
WO2022249410A1 (ja) 2022-12-01
JP7529907B2 (ja) 2024-08-06
CN117355397A (zh) 2024-01-05
JPWO2022249410A1 (zh) 2022-12-01
US12288355B2 (en) 2025-04-29
DE112021007326T5 (de) 2024-02-29

Similar Documents

Publication Publication Date Title
KR102532072B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
JP6430986B2 (ja) ロボットを用いた位置決め装置
KR102121972B1 (ko) 로봇, 로봇의 제어장치 및 로봇의 위치 교시 방법
CN112297004B (zh) 对机器人的位置进行控制的机器人装置的控制装置
JP6836571B2 (ja) ロボット装置
JP5670416B2 (ja) ロボットシステム表示装置
CN112549052A (zh) 用于调整机器人支承的部件位置的机器人装置的控制装置
JP2019113895A (ja) ワークを撮像する視覚センサを備える撮像装置
JP7674464B2 (ja) 視覚センサの出力から得られる３次元位置情報を用いるシミュレーション装置
WO2022163580A1 (ja) 視覚センサにて取得される３次元の位置情報から断面画像を生成する処理装置および処理方法
US12128571B2 (en) 3D computer-vision system with variable spatial resolution
TWI898134B (zh) 根據由視覺感測器所拍攝之圖像來算出三維之位置的攝像裝置
JP7733108B2 (ja) 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置
CN117565107A (zh) 机器人空间定位的方法、系统、介质及设备
TW202327835A (zh) 具備三維感測器的機器人裝置及機器人裝置的控制方法
TWI910344B (zh) 根據由視覺感測器所拍攝之圖像來算出三維之位置的攝像裝置
JP7553585B2 (ja) ロボットのツール変形量算出装置、ロボットのツール変形量算出システム、及びロボットのツール変形量算出方法
TW202511037A (zh) 參數修正裝置