TWI780468B - 機器人對人員跟隨之控制方法與系統 - Google Patents
機器人對人員跟隨之控制方法與系統 Download PDFInfo
- Publication number
- TWI780468B TWI780468B TW109127605A TW109127605A TWI780468B TW I780468 B TWI780468 B TW I780468B TW 109127605 A TW109127605 A TW 109127605A TW 109127605 A TW109127605 A TW 109127605A TW I780468 B TWI780468 B TW I780468B
- Authority
- TW
- Taiwan
- Prior art keywords
- robot
- target person
- vector
- obstacle
- parameter
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 71
- 238000001514 detection method Methods 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 17
- 230000006399 behavior Effects 0.000 description 16
- 230000007423 decrease Effects 0.000 description 8
- 239000013256 coordination polymer Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
一種機器人對人員跟隨之系統，包括面朝向第一方向的機器人。機器人包括偵測裝置、控制裝置與移動裝置。偵測裝置用以偵測目標人員與至少一障礙物。控制裝置用以依據目標人員與機器人之間的第一向量產生第一參數，並且依據至少一障礙物與機器人之間的至少一第二向量產生第二參數，並且依據藉由第一與第二參數產生之合力參數以及第一方向與第一向量之間的夾角值產生之驅動命令以驅動機器人。移動裝置用以使機器人執行控制裝置之驅動命令，以使機器人同時閃避至少一障礙物並且跟隨目標人員。此外，一種機器人對人員跟隨的控制方法亦在此揭露。
Description
本發明是有關於一種機器人，且特別是有關於一種機器人對人員跟隨之控制方法與系統。
服務型機器人逐漸代替人工，提供顧客或使用者各種服務，改善人力不足的問題。自走式服務機器人在許多應用中，人們將希望以簡單和直觀的方式與機器人互動，得到需要的服務。人們希望機器人能夠穩定保持在使用者周圍以利使用者進行操作。但機器人需要在擁擠且動態的環境中工作，所以機器人也要能夠使環境中的障礙物不中斷任務的進行。
本發明實施例包含一種機器人對人員跟隨之系統，包括面朝向第一方向的機器人。機器人包括偵測裝置、控制裝置與移動裝置。偵測裝置用以偵測目標人員與至少一障礙物。控制裝置用以依據目標人員與機器人之間的第一向量產生第一參數，並且依據至少一障礙物與機器人之間的至少一第二向量產生第二參數，並且依據藉由第一參數與第二參數產生之第一合力參數以及第一方向與第一向量之間的夾角值產生之驅動命令以驅動機器人。移動裝置用以使機器人執行控制裝置之驅動命令，以使機器人同時閃避至少一障礙物並且跟隨目標人員。
本發明實施例更包含一種機器人對人員跟隨的控制方法，包括以下操作。依據與一目標人員相關的一預儲存資料庫於一機器人偵測的一影像中識別該目標人員；依據該機器人移動朝向的一第一方向以及該機器人與該目標人員之間的一第一向量進行運算以取得該第一方向與該第一向量之間的一夾角值；依據該第一向量、該夾角值以及至少一障礙物與該機器人之間的至少一第二向量進行運算以取得一合力參數；依據該合力參數與該夾角值調整該機器人的一移動方式，以使該機器人同時閃避該至少一障礙物並且跟隨該目標人員。
於本文中，當一元件被稱為「連接」或「耦接」時，可指「電性連接」或「電性耦接」。「連接」或「耦接」亦可用以表示二或多個元件間相互搭配操作或互動。此外，雖然本文中使用「第一」、「第二」、…等用語描述不同元件，該用語僅是用以區別以相同技術用語描述的元件或操作。除非上下文清楚指明，否則該用語並非特別指稱或暗示次序或順位，亦非用以限定本發明。
除非另有定義，本文使用的所有術語(包括技術和科學術語)具有與本發明所屬領域的普通技術人員通常理解的相同的含義。將進一步理解的是，諸如在通常使用的字典中定義的那些術語應當被解釋為具有與它們在相關技術和本發明的上下文中的含義一致的含義，並且將不被解釋為理想化的或過度正式的意義，除非本文中明確地這樣定義。
這裡使用的術語僅僅是為了描述特定實施例的目的，而不是限制性的。如本文所使用的，除非內容清楚地指示，否則單數形式「一」、「一個」和「該」旨在包括複數形式，包括「至少一個」。「或」表示「及/或」。如本文所使用的，術語「及/或」包括一個或多個相關所列項目的任何和所有組合。還應當理解，當在本說明書中使用時，術語「包括」及/或「包含」指定所述特徵、區域、整體、步驟、操作、元件的存在及/或部件，但不排除一個或多個其它特徵、區域整體、步驟、操作、元件、部件及/或其組合的存在或添加。
以下將以圖式揭露本案之複數個實施方式，為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本案。也就是說，在本揭示內容部分實施方式中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之。
第1圖為根據本發明之一實施例所繪示之機器人的示意圖。請參照第1圖，機器人100包括偵測裝置110、控制裝置120與移動裝置130。偵測裝置110用以偵測機器人100的周遭環境，特別是周遭環境中的目標人員以及障礙物。控制裝置120用以依據目標人員以及障礙物的相關資訊計算出合力參數以控制移動裝置130。移動裝置130用以依據合力參數驅動機器人100，使得機器人100在閃避障礙物的同時可以穩定跟隨目標人員。在一些實施例中，障礙物包含目標人員以外之其他人員。
舉例來說，在一些實施例中，偵測裝置110用以偵測第8圖中的目標人員P33與障礙物801的位置，控制裝置120用以依據目標人員P33與障礙物801的位置計算出第8式中的合力參數Ft，移動裝置130用以依據合力參數Ft驅動機器人100，使得機器人100在閃避障礙物801的同時可以穩定跟隨目標人員P33。
在一些實施例中，偵測裝置110包含RGB-D(紅綠藍-深度)攝影機或其他類型的偵測裝置。在一些實施例中，控制裝置120包含電腦、記憶體、硬碟、處理器或其他能夠執行計算或輔助計算的裝置。在一些實施例中，移動裝置130包含輪胎、電動馬達、引擎或其他能夠移動機器人的裝置。本發明實施例不限於上述實施例，各種類型的偵測裝置110、控制裝置120與移動裝置130皆在本發明思及範圍內。
第2A圖為根據本發明系統架構之一實施例所繪示之機器人及其控制方法的流程圖。第2A圖包含步驟S210、S211、S212、S213、S220、S230、S240、S250。在一些實施例中，步驟S210至步驟S250展示了機器人100從偵測目標人員P33與障礙物801至移動以跟隨目標人員P33同時閃避障礙物801的詳細步驟。
在步驟S210，偵測裝置110用以偵測環境資訊，例如拍攝周遭的彩色影像及深度影像。在步驟S211，機器人100依據在步驟S210拍攝的彩色影像識別目標人員。舉例來說，偵測裝置110拍攝第3圖中的影像311，並且從影像311識別目標人員P33。
第2B圖為根據本發明系統架構之一實施例所繪示之機器人及其控制方法的流程圖。更特定而言，第2B圖的流程圖根據一或多個實施例展示在第2A圖中的步驟S211中包括的額外步驟。
如第2B圖所示，在一些實施例中，步驟S211包含步驟S211a與步驟S211b。在步驟S211a，機器人100藉由偵測裝置110進行目標人員的偵測。在步驟S211b，機器人100藉由偵測裝置110與控制裝置120進行目標人員的重新識別。
請參照第3圖，在一些實施例中，機器人100在目標人員P33的後方進行跟隨，因此偵測裝置110只能偵測到目標人員P33的背部影像。由於背部影像可以用於識別的特徵較少，且目標人員P33的影像可能會受到環境光照、目標人員P33的面對方向與姿勢影響，所以機器人100需要在步驟S211b在多種因素的影響下重新識別目標人員P33。在一些實施例中，步驟S211b是藉由開放資源Re-ID深度學習網路實施重新識別目標人員P33。
第3圖為根據本發明之一實施例所繪示之目標人員識別的流程示意圖。第3圖中的步驟S310、S320、S330、S340為步驟S211的一種實施方式。
在步驟S310，偵測裝置110拍攝周遭環境以取得影像311，其中周遭環境包含人員P31、人員P32與目標人員P33。
在步驟S320，控制裝置120從影像311框出分別對應人員P31、人員P32與目標人員P33的影像322、影像324與影像326。在一些實施例中，步驟S320是藉由深度神經網路在影像311上框出不同候選框，再藉由事先訓練好的權重對每個框裡的影像做分類以框出存在人員的影像322、影像324與影像326。在一些實施例中，影像322、影像324與影像326的邊界被稱為邊界盒(Bounding Box)。
在步驟S330，控制裝置120比較影像322、影像324與影像326與資料庫332中儲存的目標人員P33的多個影像，例如影像332a、影像332b與影像332c。在一些實施例中，控制裝置120包含資料庫332。
在步驟S340，控制裝置120對影像322~326的特徵與影像332a~332c進行運算而得出分別對應影像322~326的相似度分數，以從影像322~326中識別對應目標人員P33的影像。在第3圖所示之實施例中，影像322、影像324與影像326的相似度分數分別為0.382、0.404與0.779，其中對應影像326的相似度分數最高，因此判斷影像326為對應目標人員P33的影像。
請參見第2A圖，在步驟S212，控制裝置120對偵測裝置110偵測到的影像中的目標人員進行定位。第4圖為根據本發明之一實施例所繪示之目標人員定位的示意圖。第4圖展示步驟S212的一種實施方式。
如第4圖所示，在一些實施例中，控制裝置120依據偵測裝置110偵測到深度影像資訊，在影像400中框選出對應目標人員P41的邊界盒410，並且將邊界盒410的中心點412定義為目標人員P41在影像400上的二維座標Puq，其中：
Puq=[ut,qt,1]T
;
ut =(ul+ur)/2 ;
qt =ql+(qr-ql)/b 。
其中以影像400 的左上角為(u,q)座標系的原點401，(ut,qt)為中心點412在影像400上的座標值，(ul,ql)與(ur,qr)分別為邊界盒410的左上角座標值與右下角座標值，比例常數b用以決定目標人員P41在垂直方向上的位置。
在一些實施例中，控制裝置120將二維座標Puq轉換為對應真實空間的三維座標Pxyz以完成目標人員P41的定位，其中座標xt、yt、zt分別為目標人員P41在x方向的座標、在y方向的座標與在z方向的座標：
Pxyz=[xt,yt,zt]T
。
在一些實施例中，控制裝置120藉由基本針孔相機模型，將二維座標Puq配合相機內部參數投影至三維座標Pxyz。
請參見第2A圖，在步驟S213，控制裝置120藉由在步驟S212所計算的目標人員座標預估目標人員未來的座標，以追蹤目標人員的座標。第5圖為根據本發明之一實施例所繪示之目標人員座標預估與追蹤的示意圖。第5圖展示步驟S213的一種實施方式。
如第5圖所示，機器人512為機器人100處於時刻k的一種實施例，機器人514為機器人100處於時刻(k+1)的一種實施例。在一些實施例中，目標人員522與目標人員524分別為同目標人員處於時刻k與時刻(k+1)的狀態。
在一些實施例中，機器人512與機器人514的位置座標分別為座標r(k)與座標r(k+1)，角度Q1代表機器人512與機器人514面朝向的方向的角度差異，距離分量lx與ly代表機器人512與機器人514分別在x方向與y方向上的位置差異。座標r(k)與座標r(k+1)的關係可以透過轉換矩陣W(k)表示如下：
r(k+1)=W(k)×r(k) ;
其中，
r(k)=[xr(k),yr(k),1,1]T
;
;
Q1=ωr×t1 ;
lx=vr×t1×sin(Q1) ;
ly=vr×t1×cos(Q1) ;
其中xr(k)與yr(k)分別為機器人512在x方向與y方向上的座標，速度vr與角速度ωr分別為機器人512在時刻k的速度與角速度，時間t1為從時刻k到時刻(k+1)的時間變化量。
在一些實施例中，目標人員522與目標人員524的位置座標分別為座標h(k)與座標h(k+1)。目標人員522在x方向與y方向上的座標分別為xh(k)與yh(k)，目標人員524在x方向與y方向上的座標分別為xh(k+1)與yh(k+1)。目標人員522在x方向與y方向上的速度分量分別為vhx與vhy。座標h(k)與座標h(k+1)的關係可以表示如下：
h(k)=[xh(k),yh(k),1,1]T
;
h(k)=[xh(k+1),yh(k+1),1,1]T
;
xh(k+1)＝xh(k)+vhx×t1 ;
yh(k+1)＝yh(k)+vhy×t1。
在一些實施例中，機器人512與目標人員522都是動態的，對應的座標r(k)與h(k)都不斷的在變化。所以為了更準確地估測使用者下一刻的位置，控制裝置120藉由轉換矩陣W(k)預估h(k+1)如下：
(k+1)＝W-1
(k)×h(k+1)
其中座標(k+1)為藉由卡爾曼濾波器(Extended Kalman Filter)將h(k+1)轉換至下一時刻的座標。
在一些實施例中，控制裝置120藉由不斷更新和修正卡爾曼濾波器預估目標人員524的座標。在一些實施例中，當目標人員524偏離偵測裝置110的偵測範圍或是被其他物體遮蔽時，機器人514可以依據預估的座標值(k+1)進行移動以跟隨目標人員524。機器人514也可以依據預估的座標值(k+1)識別目標人員524並且區別目標人員524與偵測裝置110所偵測到的其他人員。
請參見第2A圖，在步驟S220，控制裝置120藉由在步驟S210所拍攝的影像偵測障礙物。第6圖為根據本發明之一實施例所繪示之障礙物偵測的示意圖。第6圖展示步驟S220的一種實施方式。
如第6圖所示，在一些實施例中，機器人100的周遭環境包含在方位角φ1的障礙物601與在方位角φ2的障礙物602。在一些實施例中，偵測裝置110偵測到從機器人100與方位角φi的障礙物的多個點之間的多個向量Ob(i,j)，其中i,j為整數，不同的j對應在方位角φi的障礙物上的不同點。
在一些實施例中，向量Ob(i,j)為三維的資訊，控制裝置120將向量Ob(i,j)轉為二維的資訊以規劃機器人100的運動。第7圖為根據本發明之一實施例所繪示之三維向量投影的示意圖。如第7圖所示，點701為方位角φi的障礙物上的一個點，點701對應向量Ob(i,j)。請參照第6圖，可以最小化向量Ob(i,j)的絕對值的第j個點被選擇作為代表障礙物601的點。請參照第7圖，向量d(i)為Ob(i,j)在x-y平面，即機器人100移動的平面上的投影向量。具體的投影方式是透過投影矩陣A，對於在方位角φi上的障礙物的第j個點：
Ob(i,j)=[xb(i,j),yb(i,j),zb(i,j)] ;
;
d(i)= Ob(i,j)×A, 其中 j=
。
如果方位角φi上的障礙物與機器人100之間的向量d(i)大小減少，則產生碰撞的可能性將會增加。將每個方位角φi撞到障礙物的可能性進行加總以產生代表環境障礙物的向量ds。機器人100在向量ds的方向產生碰撞的可能性比其他方向高，因此必須先進行閃躲。控制裝置依據ds驅動機器人閃躲。向量ds的公式如下：
如第6圖所示，安全距離DS為機器人100進行避障時的安全距離，如果任何障礙物與機器人100之間的距離大於安全距離DS，則代表該障礙物不會影響機器人100，因此該障礙物不會被納入計算中。為了降低距離較遠的障礙物的影響，a1被設定為一個小於1的指數。向量de為與機器人100具有最短的距離的障礙物對應的向量。舉例來說，在第6圖所示之實施例中只有兩個障礙物，而且向量d(2)的絕對值較向量d(1)的絕對值小，因此向量d(2)在第6圖所示之實施例中可以做為上述公式中的向量de。
在第6圖所示之實施例中，機器人100依據對應障礙物601的向量d(1)與對應障礙物602的向量d(2)計算而得出向量ds，並依據向量ds進行閃避操作。
請參見第2A圖，在步驟S230，機器人100依據在步驟S213識別的目標人員與在步驟S220算出的向量ds同時跟隨目標人員並閃避障礙物。第8圖為根據本發明之一實施例所繪示之機器人同時跟隨目標人員並閃避障礙物的示意圖。第8圖展示步驟S230的一種實施方式。
如第8圖所示，機器人100同時跟隨目標人員P33並閃避障礙物801。在一些實施例中，控制裝置120依據目標人員P33與機器人100之間的向量以及障礙物801的向量ds模擬參數Fa與參數Fr，使得機器人100依據參數Fa與參數Fr進行移動。其中目標人員P3對機器人100有引力，而障礙物801對機器人100有斥力，使得機器人可以同時跟隨目標人員P33並且閃避障礙物801。
第8圖所示之實施例示為了簡單說明而只包含一個障礙物，即障礙物801，因此向量ds就是障礙物801與機器人100之間的向量。在一些其他的實施例中，也可以依據多個障礙物的座標計算向量ds，例如在第6圖所示之實施例中是藉由障礙物601與障礙物602的座標計算向量ds。
在一些實施例中，令機器人100的座標為座標CR，目標人員P33的座標為座標CP，機器人100與目標人員P33之間的向量為向量VPR，機器人100的碰撞半徑為D0，參數ka與參數kr皆為用以調整參數Fa與參數Fr大小的因子，則參數Fa與參數Fr可以表示如下：
Fa=-ka×(CR-CP)=-ka×VPR ；
Fr=
。
其中參數Fr之公式代表若障礙物801與機器人100的距離|ds|，即向量ds的絕對值減少時，參數Fr會變大，並且呈現指數性的上升，但若距離|ds|大於影響碰撞半徑D0，則障礙物801不影響機器人。其中座標CP、座標CP與向量ds皆為二維向量，因此參數Fa與參數Fr亦為二維向量。
在一些實施例中，控制裝置120直接將參數Fa與參數Fr相加以取得合力參數Ft1：
Ft1=Fa+Fr
在一些實施例中，控制裝置120依據機器人100與目標人員P33之間的向量VPR以及機器人面朝向的方向DR之間的夾角值Q2取得權重參數Gf，並且依據權重參數Gf、參數Fa與參數Fr計算合力參數Ft2如下：
Gf=a2×|Q2|/π ；
Ft2=(1+Gf)×Fa+(1-Gf)×Fr ；
其中π為圓周率，a2為一個用以調整權重參數Gf的正實數。在一些實施例中，參數(1+Gf)×Fa對應機器人100跟隨目標人員P33之跟隨行為，參數(1-Gf)×Fr對應機器人100閃避障礙物之避障行為。換言之，在一些實施例中，在機器人100之行為中，參數(1+Gf)×Fa對應機器人100之跟隨行為的權重，參數(1-Gf)×Fr對應機器人100之避障行為的權重。
由上述關於合力參數Ft2與權重參數Gf的公式可知，在一些實施例中，參數Fa對合力參數Ft2的影響與夾角值Q2成正比，而參數Fr對合力參數Ft2的影響與夾角值Q2成反比。在一些實施例中，當權重參數Gf越大時，對應跟隨行為之參數(1+Gf)×Fa增加且對應避障行為之參數(1-Gf)×Fr減少。反之，在一些實施例中，當權重參數Gf越小時，對應跟隨行為之參數(1+Gf)×Fa減少且對應避障行為之參數(1-Gf)×Fr增加。換言之，機器人100的避障行為的權重與夾角值Q2成反比，並且機器人100的跟隨行為的權重與夾角值Q2成正比。在一些實施例中，藉由權重參數Gf調整機器人100之行為使得機器人100能夠在閃避障礙物時迅速回到目標人員P33後方繼續跟隨。除上述公式外，其他藉由夾角值Q2調整合力參數Ft2以影響機器人100的移動方式(例如移動方向或移動速度)的方法皆在本發明思及範圍內。在一些實施例中，為了防止合力參數Ft2過大，權重參數Gf被限制不能大於1。
請參見第2A圖，在步驟S240，控制裝置120依據在步驟S230算出的合力參數Ft2控制機器人100的運動。舉例來說，在一些實施例中，控制裝置120用以依據合力參數Ft1與夾角值Q2產生對應合力參數Ft2的驅動命令以驅動機器人100，而移動裝置用以使機器人100執行控制裝置120之驅動命令，以使機器人同時閃避障礙物800並且跟隨目標人員P33。如上所述，在機器人100依據驅動命令所執行的移動行為中，避障行為在驅動命令中對應的權重與夾角值Q2與權重參數Gf成反比，例如參數(1-Gf)×Fr，並且跟隨行為在驅動命令中對應的權重與夾角值Q2與權重參數Gf成正比，例如參數(1+Gf)×Fa。
在一些實施例中，控制裝置120用以依據合力參數Ft2驅動移動裝置130以調整機器人100的線速度Vf與角速度ωf。首先依據合力參數Ft2、機器人的質量MR與時間間隔dt計算速度VR與對應的x方向速度分量VRx、y方向速度分量VRy、線速度Vc與角速度ωc如下：
VR=[VRx,VRy]=Ft2×dt/MR ;
Vc= VRx×b1 ;
ωc= tan-1
(VRy/VRx)×|VR|×c1 ;
其中b1為常數，c1為係數，c1的單位為長度分之一。
在一些實施例中，機器人100與目標人員P33之間具有安全距離Dse。當機器人100與目標人員P33之間的距離DRH大於緩衝距離Dss時，機器人100的線速度Vf為上述線速度Vc。當機器人100與目標人員P33之間的距離DRH小於緩衝距離Dss時，機器人100的線速度Vf線性下降以保持機器人100與目標人員P33之間的距離大於或等於安全距離Dse：
Vf=
。
類似的，在一些實施例中，當機器人100與目標人員P33之間的向量VPR以及機器人面朝向的方向DR之間的夾角值Q2大於緩衝角度Qss時，機器人100的角速度ωf為上述線速度ωc。當夾角值Q2小於緩衝距離Qss且機器人100與目標人員P33之間的距離DRH小於緩衝距離Dss時，機器人100的角速度ωf線性下降：
ωf=
。
在一些實施例中，機器人100依據上述關於線速度Vf與角速度ωf的公式進行操作，使得機器人100運動行為更加平滑。在一些實施例中，機器人100透過雙輪差動運動模型進行計算以得到移動裝置130的左右兩輪對應的速度。
請參見第2A圖，在步驟S250，機器人100依據在步驟S240算出的線速度Vf與角速度ωf進行移動。
第9圖為根據本發明之一實施例所繪示之機器人跟隨目標人員的軌跡圖。如第9圖所示，在一些實施例中，軌跡901為機器人100跟隨目標人員P33而形成的移動軌跡。第9圖中的三角形代表機器人100在不同的時刻k的位置，r(k)對應機器人在不同時刻k的座標。圓形代表目標人員P33在不同的時刻k的位置，h(k)對應機器人在不同時刻k的座標。菱形代表非目標人員的其他人員，例如人員P31、P32，長方形代表障礙物911與障礙物912。在一些實施例中，r(1)與h(1)分別對應機器人100與目標人員P33的起始點。
第10圖為根據本發明之一實施例所繪示之機器人閃避障礙物同時跟隨目標人員的軌跡圖。第10圖對應第9圖中，在時刻 k=4~9 時，機器人100與目標人員P33的移動軌跡。請參照第9圖與第10圖。在時刻 k=4~9 時，控制裝置120依據障礙物911與障礙物912的位置產生對應的參數Fr以驅動機器人100，使得機器人100的移動方向與目標人員P33不同。然而，此時機器人100可以依據權重參數Gf進行移動，使得機器人100能夠回到目標人員P33後方並且保持跟隨。
第11圖為根據本發明之一實施例所繪示之權重參數在機器人跟隨目標人員時的數值變化圖。第11圖的橫軸為時刻k，縱軸為影響機器人100移動方式的權重參數Gf。在第11圖所示之實施例中，a2設定為2。
請參照第10圖與第11圖。在時刻k=1時，機器人100開始跟隨目標人員P33。在時刻 k=3~8 時，機器人100移動的方向DR因為障礙物911所產生的參數Fr(k=3~8)而漸漸偏離機器人100與目標人員P33之間的向量VPR，使得夾角值Q2與對應的權重參數Gf增加。在機器人100避開障礙物911後繼續跟隨目標人員P33時，權重參數Gf在k=8 時減少。在時刻 k=8~12 時，機器人避開障礙物911，但又因為障礙物912的阻擋，導致夾角值Q2增加，權重參數Gf再次增加。在機器人100避開障礙物912後並且繼續跟隨目標人員P33時，權重參數Gf在k=12 時減少。在時刻 k=18 與 k=25 時，目標人員P33轉彎並偏離機器人100移動的方向DR，使得夾角值Q2與對應的權重參數Gf增加。在時刻 k=28~35 時，偵測裝置110偵測到人員P31與人員P32並且在目標人員P33、人員P31與人員P32中正確辨識出目標人員P33並且保持跟隨目標人員P33。其中人員P32在時刻 k=25~33 時移動，使得人員P32在時刻k=25、29、33時的位置不同。
綜上所述，在本發明實施例中，機器人100依據機器人100與目標人員P33之間的向量VPR、機器人100面朝向的方向DR以及機器人100與障礙物801之間的向量ds產生合力參數Ft2，並且依據合力參數Ft2移動，使得機器人100 可以在閃避障礙物801的同時穩定跟隨目標人員P33。此外，機器人100可以藉由深度神經網路在影像311中的多個人員的影像中正確識別出目標人員P33。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100、512、514:機器人
110:偵測裝置
120:控制裝置
130:移動裝置
S210、S211、S212、S213、S220、S230、S240、S250、S211a、S211b、S310、S320、S330、S340:步驟
P33、P41、522、524:目標人員
P31、P32:人員
322、324、326、311、332a、332b、332c、400:影像
332:資料庫
410:邊界盒
412:中心點
601、602、801、911、912:障礙物
701:點
第1圖為根據本發明之一實施例所繪示之機器人的示意圖。
第2A圖為根據本發明系統架構之一實施例所繪示之機器人及其控制方法的流程圖。
第2B圖為根據本發明系統架構之一實施例所繪示之機器人及其控制方法的流程圖。
第3圖為根據本發明之一實施例所繪示之目標人員識別的流程示意圖。
第4圖為根據本發明之一實施例所繪示之目標人員定位的示意圖。
第5圖為根據本發明之一實施例所繪示之目標人員座標預估與追蹤的示意圖。
第6圖為根據本發明之一實施例所繪示之障礙物偵測的示意圖。
第7圖為根據本發明之一實施例所繪示之三維向量投影的示意圖。
第8圖為根據本發明之一實施例所繪示之機器人同時跟隨目標人員並閃避障礙物的示意圖。
第9圖為根據本發明之一實施例所繪示之機器人跟隨目標人員的軌跡圖。
第10圖為根據本發明之一實施例所繪示之機器人閃避障礙物同時跟隨目標人員的軌跡圖。
第11圖為根據本發明之一實施例所繪示之權重參數在機器人跟隨目標人員時的數值變化圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記)
無
國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記)
無
S210、S211、S212、S213、S220、S230、S240、S250:步驟
Claims (8)
- 一種機器人對人員跟隨之系統，包括面朝向一第一方向的一機器人，該機器人包括：一偵測裝置，用以偵測移動中的一目標人員與至少一障礙物；一控制裝置，用以依據移動中的該目標人員與該機器人之間的一第一向量產生一第一參數，並且依據該至少一障礙物與該機器人之間的至少一第二向量產生一第二參數，並且依據藉由該第一參數與該第二參數產生之一第一合力參數以及該第一方向與該第一向量之間的一夾角值產生之一驅動命令以驅動該機器人；以及一移動裝置，用以使該機器人執行該控制裝置之該驅動命令，以使該機器人同時閃避該至少一障礙物並且跟隨移動中的該目標人員，其中該控制裝置更用以依據該第一合力參數與該夾角值調整該機器人閃避該至少一障礙物之一避障行為以及該機器人跟隨移動中的該目標人員之一跟隨行為，其中，在該機器人依據該驅動命令所執行的一移動行為中，該避障行為在該驅動命令中對應的一權重與該夾角值成反比，並且該跟隨行為在該驅動命令中對應的一權重與該夾角值成正比。
- 如請求項1所述之系統，其中該控制裝置更用以在該偵測裝置無法偵測該目標人員時，依據該目標人 員的一目前位置與一目前速度預估對應該目標人員的一下一位置的該第一向量，使該控制裝置能夠持續追蹤並定位該目標人員。
- 如請求項1所述之系統，其中該控制裝置更用以儲存包含該目標人員的至少一特徵圖的一資料庫；其中該控制裝置更用以藉由該資料庫比對該偵測裝置偵測到的一影像，以在該影像中識別該目標人員。
- 如請求項1所述之系統，其中該偵測裝置更用以偵測以取得對應該至少一障礙物之每一者的該至少一第二向量，其中該控制裝置更用以依據該機器人進行一避障行為時的一安全距離以及該至少一第二向量進行運算以取得對應該至少一第二向量的一第三向量，並且依據該第三向量產生該第二參數，以使該機器人能夠依據該第三向量閃避該至少一障礙物。
- 一種機器人對人員跟隨的控制方法，包括：依據與一目標人員相關的一預儲存資料庫於一機器人偵測的一影像中識別該目標人員；依據該機器人移動朝向的一第一方向以及該機器人與移動中的該目標人員之間的一第一向量進行運算以取得該第一方向與該第一向量之間的一夾角值； 依據該第一向量、該夾角值以及至少一障礙物與該機器人之間的至少一第二向量進行運算以取得一合力參數；以及依據該合力參數與該夾角值調整該機器人的一移動方式，以使該機器人同時閃避該至少一障礙物以及跟隨移動中的該目標人員，其中調整該機器人的一移動方式包括：依據該合力參數與該夾角值調整該機器人閃避該至少一障礙物之一避障行為以及該機器人跟隨移動中的該目標人員之一跟隨行為，其中，在該機器人的該移動方式中，該避障行為的一權重與該夾角值成反比，並且該跟隨行為的一權重與該夾角值成正比。
- 如請求項5所述之控制方法，更包括：在該偵測裝置無法偵測該目標人員時，依據該目標人員的一目前位置與一目前速度預估對應該目標人員的一下一位置的該第一向量，使該控制裝置能夠持續追蹤並定位該目標人員。
- 如請求項5所述之控制方法，更包括：偵測該至少一障礙物之每一者；取得對應該至少一障礙物之每一者的該至少一第二向量；依據該機器人進行一避障行為時的一安全距離以及該至 少一第二向量產生對應該至少一第二向量的一第三向量；以及依據該第三向量，驅動該機器人閃避該至少一障礙物。
- 如請求項5所述之控制方法，其中於一機器人偵測到的一影像中識別該目標人員更包括：儲存該目標人員的至少一特徵圖於該預儲存資料庫；以及比對該機器人偵測的該影像與該預儲存資料庫，以在該影像中識別該目標人員。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109127605A TWI780468B (zh) | 2020-08-13 | 2020-08-13 | 機器人對人員跟隨之控制方法與系統 |
| US17/069,843 US11458627B2 (en) | 2020-08-13 | 2020-10-13 | Method and system of robot for human following |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109127605A TWI780468B (zh) | 2020-08-13 | 2020-08-13 | 機器人對人員跟隨之控制方法與系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202206957A TW202206957A (zh) | 2022-02-16 |
| TWI780468B true TWI780468B (zh) | 2022-10-11 |
Family
ID=80223762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109127605A TWI780468B (zh) | 2020-08-13 | 2020-08-13 | 機器人對人員跟隨之控制方法與系統 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11458627B2 (zh) |
| TW (1) | TWI780468B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4408717A1 (en) * | 2021-10-03 | 2024-08-07 | Tevel Advanced Technologies Ltd. | Novel towing system and method |
| CN115562282B (zh) * | 2022-10-13 | 2025-07-29 | 南京航空航天大学 | 一种基于改进速度障碍的agv动态避障方法 |
| TWI846244B (zh) * | 2022-12-27 | 2024-06-21 | 緯創資通股份有限公司 | 軌跡修正系統及其方法 |
| TWI882616B (zh) * | 2023-12-28 | 2025-05-01 | 法博智能移動股份有限公司 | 自主移動裝置與其控制方法 |
| US20250370467A1 (en) * | 2024-05-29 | 2025-12-04 | Telesair, Inc. | Obstacle avoidance method and related apparatuses for moving device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI558525B (zh) * | 2014-12-26 | 2016-11-21 | 國立交通大學 | 機器人及其控制方法 |
| CN106371459A (zh) * | 2016-08-31 | 2017-02-01 | 京东方科技集团股份有限公司 | 目标跟踪方法及装置 |
| CN108351654A (zh) * | 2016-02-26 | 2018-07-31 | 深圳市大疆创新科技有限公司 | 用于视觉目标跟踪的系统和方法 |
| CN109947119A (zh) * | 2019-04-23 | 2019-06-28 | 东北大学 | 一种基于多传感器融合的移动机器人自主跟随系统及方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2769052B2 (ja) * | 1991-04-09 | 1998-06-25 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 自律移動機械、移動機械の制御装置及び方法 |
| US7211980B1 (en) | 2006-07-05 | 2007-05-01 | Battelle Energy Alliance, Llc | Robotic follow system and method |
| CN103092204B (zh) | 2013-01-18 | 2016-04-13 | 浙江大学 | 一种混合的机器人动态路径规划方法 |
| WO2016126297A2 (en) * | 2014-12-24 | 2016-08-11 | Irobot Corporation | Mobile security robot |
| US10180683B1 (en) | 2015-10-29 | 2019-01-15 | Fellow Robotics Ltd. | Robotic platform configured to identify obstacles and follow a user device |
| CN105955268B (zh) | 2016-05-12 | 2018-10-26 | 哈尔滨工程大学 | 一种考虑局部避碰的uuv动目标滑模跟踪控制方法 |
| TWI611278B (zh) | 2016-08-18 | 2018-01-11 | 南臺科技大學 | 兼具二維或三維跟隨及遙控功能之載具控制模組及控制方法 |
| KR102662949B1 (ko) | 2016-11-24 | 2024-05-02 | 엘지전자 주식회사 | 인공지능 이동 로봇 및 그 제어방법 |
| US11573575B2 (en) * | 2017-04-12 | 2023-02-07 | Lawrence Livermore National Security, Llc | Attract-repel path planner system for collision avoidance |
| KR102100476B1 (ko) | 2018-05-04 | 2020-05-26 | 엘지전자 주식회사 | 복수의 이동 로봇 및 그 제어방법 |
| KR102028346B1 (ko) * | 2019-02-07 | 2019-10-04 | 주식회사 트위니 | 선도 추미 대차 |
| CN109557929B (zh) | 2019-02-18 | 2019-07-05 | 深兰人工智能芯片研究院（江苏）有限公司 | 移动机器人的运动控制方法及装置 |
| US11373397B2 (en) * | 2019-04-16 | 2022-06-28 | LGS Innovations LLC | Methods and systems for operating a moving platform to determine data associated with a target person or object |
| CN110244772B (zh) | 2019-06-18 | 2021-12-03 | 中国科学院上海微系统与信息技术研究所 | 移动机器人的领航跟随系统和领航跟随控制方法 |
| CN111089590B (zh) | 2019-12-09 | 2021-10-15 | 泉州装备制造研究所 | 一种视觉和激光融合的移动机器人跟踪人腿方法 |
| CN111368755A (zh) | 2020-03-09 | 2020-07-03 | 山东大学 | 一种基于视觉的四足机器人行人自主跟随方法 |
-
2020
- 2020-08-13 TW TW109127605A patent/TWI780468B/zh active
- 2020-10-13 US US17/069,843 patent/US11458627B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI558525B (zh) * | 2014-12-26 | 2016-11-21 | 國立交通大學 | 機器人及其控制方法 |
| CN108351654A (zh) * | 2016-02-26 | 2018-07-31 | 深圳市大疆创新科技有限公司 | 用于视觉目标跟踪的系统和方法 |
| CN106371459A (zh) * | 2016-08-31 | 2017-02-01 | 京东方科技集团股份有限公司 | 目标跟踪方法及装置 |
| CN109947119A (zh) * | 2019-04-23 | 2019-06-28 | 东北大学 | 一种基于多传感器融合的移动机器人自主跟随系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11458627B2 (en) | 2022-10-04 |
| US20220048188A1 (en) | 2022-02-17 |
| TW202206957A (zh) | 2022-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI780468B (zh) | 機器人對人員跟隨之控制方法與系統 | |
| Tölgyessy et al. | Foundations of visual linear human–robot interaction via pointing gesture navigation | |
| Truong et al. | “To approach humans?”: A unified framework for approaching pose prediction and socially aware robot navigation | |
| CN105425795B (zh) | 规划最优跟随路径的方法及装置 | |
| RU2662913C2 (ru) | Способ локализации робота в плоскости локализации | |
| Kobayashi et al. | Robotic wheelchair based on observations of people using integrated sensors | |
| Kamezaki et al. | Reactive, proactive, and inducible proximal crowd robot navigation method based on inducible social force model | |
| Loper et al. | Mobile human-robot teaming with environmental tolerance | |
| Gross et al. | Vision-based monte carlo self-localization for a mobile service robot acting as shopping assistant in a home store | |
| Cosgun et al. | Context Aware robot navigation using interactively built semantic maps | |
| CN111612823A (zh) | 一种基于视觉的机器人自主跟踪方法 | |
| Gross et al. | Perses-a vision-based interactive mobile shopping assistant | |
| Han et al. | Optimization‐based humanoid robot navigation using monocular camera within indoor environment | |
| CN114859940A (zh) | 机器人移动控制方法、装置、设备以及存储介质 | |
| Gaoi et al. | Autonomous drone surveillance in a known environment using reinforcement learning | |
| Marchionni et al. | Reem service robot: how may i help you? | |
| Gross et al. | Contribution to vision-based localization, tracking and navigation methods for an interactive mobile service-robot | |
| Pang et al. | A multimodal person-following system for telepresence applications | |
| Sigalas et al. | Visual estimation of attentive cues in HRI: the case of torso and head pose | |
| CN110722547A (zh) | 模型未知动态场景下移动机器人视觉镇定 | |
| Budiharto et al. | A navigation system for service robot using stereo vision and kalman filtering | |
| Pateraki et al. | Using dempster's rule of combination to robustly estimate pointed targets | |
| Mateus et al. | Human-aware navigation using external omnidirectional cameras | |
| Ren et al. | 3D Mapping Considering Object Recognition Result Based on 3D LiDAR Information | |
| Wang et al. | A Discrete Hidden Markov Model-Based Target Tracking Method for Recreation-Assisted Robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GD4A | Issue of patent certificate for granted invention patent |