JP2018121221A - Perimeter monitoring system for work machines - Google Patents
Perimeter monitoring system for work machines Download PDFInfo
- Publication number
- JP2018121221A JP2018121221A JP2017011635A JP2017011635A JP2018121221A JP 2018121221 A JP2018121221 A JP 2018121221A JP 2017011635 A JP2017011635 A JP 2017011635A JP 2017011635 A JP2017011635 A JP 2017011635A JP 2018121221 A JP2018121221 A JP 2018121221A
- Authority
- JP
- Japan
- Prior art keywords
- image
- peripheral
- work machine
- display device
- operation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、作業機械用周辺監視システムに関する。 The present invention relates to a work machine periphery monitoring system.
作業機械の周辺を撮像する撮像装置の撮像画像に基づき、作業機械周辺の周辺画像（例えば、作業機械周辺を真上から見た路面画像と、その路面画像の周りに配置される、作業機械周辺を水平方向に見た水平画像とを組み合わせた視点変換画像）を生成し、キャビン内の表示装置に表示させるシステムが知られている（例えば、特許文献１参照）。 Based on the captured image of the imaging device that captures the periphery of the work machine, the peripheral image of the periphery of the work machine (for example, the road surface image of the periphery of the work machine viewed from directly above, and the periphery of the work machine arranged around the road surface image There is known a system that generates a viewpoint conversion image that combines a horizontal image obtained by viewing the image in a horizontal direction and displays the image on a display device in a cabin (see, for example, Patent Document 1).
しかしながら、表示装置に表示される周辺画像は、作業機械周辺の比較的広い領域に亘るため、周辺画像に含まれる一部領域に対応する作業機械の周辺領域の詳細な様子が把握しにくい可能性がある。 However, since the peripheral image displayed on the display device covers a relatively wide area around the work machine, it may be difficult to grasp the detailed state of the peripheral area of the work machine corresponding to a partial area included in the peripheral image. There is.
そこで、上記課題に鑑み、必要に応じて、オペレータが周辺画像の一部領域に対応する作業機械の周辺領域の詳細な様子を確認することが可能な作業機械用周辺監視システムを提供することを目的とする。 Accordingly, in view of the above problems, it is desirable to provide a work machine periphery monitoring system that allows an operator to check the detailed state of the peripheral area of the work machine corresponding to a partial area of the peripheral image as necessary. Objective.
上記目的を達成するため、本発明の一実施形態では、
作業機械の周辺を撮像する撮像装置と、
前記作業機械の操縦席の周辺に設けられ、前記撮像装置の撮像画像に基づき生成される周辺画像を表示する表示装置と、
前記表示装置に表示される前記周辺画像の一部領域を選択する操作が行われる第１操作部と、を備え、
前記表示装置は、前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域の様子を拡大して表示する、
作業機械用周辺監視システムが提供される。
In order to achieve the above object, in one embodiment of the present invention,
An imaging device for imaging the periphery of the work machine;
A display device that is provided around a cockpit of the work machine and displays a peripheral image generated based on a captured image of the imaging device;
A first operation unit that performs an operation of selecting a partial region of the peripheral image displayed on the display device,
The display device displays an enlarged view of a peripheral region of the work machine corresponding to a partial region of the peripheral image selected by the first operation unit;
A work machine peripheral monitoring system is provided.
上述の実施形態によれば、必要に応じて、オペレータが周辺画像の一部領域に対応する作業機械の周辺領域の詳細な様子を確認することが可能な作業機械用周辺監視システムを提供することができる。 According to the above-described embodiment, it is possible to provide a work machine periphery monitoring system in which an operator can check a detailed state of a peripheral area of a work machine corresponding to a partial area of a peripheral image as necessary. Can do.
以下、図面を参照して発明を実施するための形態について説明する。 Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings.
まず、図１を参照して、本実施形態に係る周辺監視システム１００（図２参照）が搭載される作業機械について説明をする。 First, with reference to FIG. 1, the working machine in which the periphery monitoring system 100 (refer FIG. 2) which concerns on this embodiment is mounted is demonstrated.
図１は、本実施形態に係る周辺監視システム１００が搭載される作業機械の一例を示す図であり、具体的には、ショベルの側面図である。 FIG. 1 is a diagram illustrating an example of a work machine on which the periphery monitoring system 100 according to the present embodiment is mounted, and is specifically a side view of an excavator.
尚、本実施形態に係る周辺監視システム１００は、ショベル以外の作業機械、例えば、ホイールローダ、アスファルトフィニッシャ等に搭載されてもよい。 Note that the periphery monitoring system 100 according to the present embodiment may be mounted on a work machine other than an excavator, for example, a wheel loader, an asphalt finisher, or the like.
本実施形態に係るショベルは、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、作業装置としてのブーム４、アーム５、及びバケット６と、オペレータが搭乗するキャビン１０を備える。 The shovel according to the present embodiment includes a lower traveling body 1, an upper revolving body 3 that is mounted on the lower traveling body 1 so as to be able to swivel via a turning mechanism 2, a boom 4, an arm 5, and a bucket 6 as working devices. And a cabin 10 on which the operator is boarded.
下部走行体１は、例えば、左右１対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、自走する。 The lower traveling body 1 includes, for example, a pair of left and right crawlers, and each crawler is self-propelled by being hydraulically driven by a traveling hydraulic motor (not shown).
上部旋回体３は、旋回油圧モータ、或いは、電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。 The upper swing body 3 rotates with respect to the lower traveling body 1 by being driven by a swing hydraulic motor, an electric motor (both not shown) or the like.
ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５、及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。 The boom 4 is pivotally attached to the center of the front part of the upper swing body 3 so that the boom 4 can be raised and lowered. An arm 5 is pivotally attached to the tip of the boom 4 and a bucket 6 is vertically attached to the tip of the arm 5. It is pivotally attached so that it can rotate. The boom 4, the arm 5, and the bucket 6 are hydraulically driven by a boom cylinder 7, an arm cylinder 8, and a bucket cylinder 9, respectively.
キャビン１０は、オペレータが搭乗する操縦室であり、上部旋回体３の前部左側に搭載される。 The cabin 10 is a cockpit where an operator is boarded, and is mounted on the front left side of the upper swing body 3.
また、本実施形態に係るショベルは、周辺監視システム１００に関連する構成要素として、コントローラ３０、撮像装置４０、画面操作部４４、表示装置５０、音声出力装置５２を備える。 The excavator according to the present embodiment includes a controller 30, an imaging device 40, a screen operation unit 44, a display device 50, and an audio output device 52 as components related to the periphery monitoring system 100.
コントローラ３０は、ショベルの駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。 The controller 30 is a control device that performs drive control of the shovel. The controller 30 is mounted in the cabin 10.
撮像装置４０は、上部旋回体３の上部に取り付けられ、ショベルの周辺を撮像する。撮像装置４０は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。 The imaging device 40 is attached to the upper part of the upper swing body 3 and images the periphery of the excavator. The imaging device 40 includes a rear camera 40B, a left side camera 40L, and a right side camera 40R.
後方カメラ４０Ｂは、上部旋回体３の後端上部に取り付けられ、上部旋回体３の後方を撮像する。 The rear camera 40 </ b> B is attached to the upper part of the rear end of the upper swing body 3 and images the rear of the upper swing body 3.
左側方カメラ４０Ｌは、上部旋回体３の左端上部に取り付けられ、上部旋回体３の左側方を撮像する。 The left side camera 40L is attached to the upper left end of the upper swing body 3 and images the left side of the upper swing body 3.
右側方カメラ４０Ｒは、上部旋回体３の右端上部に取り付けられ、上部旋回体３の右側方を撮像する。 The right side camera 40R is attached to the upper right end of the upper swing body 3 and images the right side of the upper swing body 3.
画面操作部４４（第１操作部、第２操作部の一例）は、キャビン１０内の操縦席の周辺、具体的には、操縦席に着座するオペレータから操作し易い位置に設けられ、オペレータにより表示装置５０に表示される画面上における各種操作が行われる。画面操作部４４は、表示装置５０に表示される画面上の各種操作が可能であれば、任意の構成であってよい。例えば、画面操作部４４は、表示装置５０としての液晶ディスプレイの表示領域に一体として実装されるタッチパネルであってもよいし、表示装置５０とは別体として設けられるタッチパッド、クリックホイール、ジョイスティック等の操作デバイスであってもよい。 The screen operation unit 44 (an example of the first operation unit and the second operation unit) is provided around the cockpit in the cabin 10, specifically, at a position that can be easily operated by an operator seated in the cockpit. Various operations on the screen displayed on the display device 50 are performed. The screen operation unit 44 may have any configuration as long as various operations on the screen displayed on the display device 50 are possible. For example, the screen operation unit 44 may be a touch panel that is integrally mounted on a display area of a liquid crystal display serving as the display device 50, or a touch pad, a click wheel, a joystick, or the like that is provided separately from the display device 50. The operation device may be used.
表示装置５０は、キャビン１０内の操縦席の周辺、具体的には、操縦席に着座するオペレータから視認し易い位置に設けられ、コントローラ３０（具体的には、後述する表示制御部３０２）による制御の下、オペレータに通知する各種画像情報を表示する。表示装置５０は、例えば、液晶ディスプレイである。 The display device 50 is provided in the vicinity of the cockpit in the cabin 10, specifically, at a position that can be easily seen by an operator seated on the cockpit, and is controlled by the controller 30 (specifically, a display control unit 302 described later). Under control, various image information to be notified to the operator is displayed. The display device 50 is, for example, a liquid crystal display.
音声出力装置５２は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置５２は、例えば、スピーカやブザー等である。 The audio output device 52 is provided around the cockpit in the cabin 10 and outputs various types of audio information notified to the operator under the control of the controller 30. The audio output device 52 is, for example, a speaker or a buzzer.
次に、図２を参照して、本実施形態に係る周辺監視システム１００の具体的な構成について説明をする。 Next, a specific configuration of the periphery monitoring system 100 according to the present embodiment will be described with reference to FIG.
図２は、本実施形態に係る周辺監視システム１００の構成の一例を示すブロック図である。 FIG. 2 is a block diagram illustrating an example of the configuration of the periphery monitoring system 100 according to the present embodiment.
周辺監視システム１００は、ショベルの周辺の所定範囲内への所定の物体（本実施形態では、人）の侵入を監視し、所定の物体を検知した場合、警報を出力する。周辺監視システム１００は、コントローラ３０、撮像装置４０、表示装置５０、音声出力装置５２を含む。 The periphery monitoring system 100 monitors the entry of a predetermined object (in this embodiment, a person) into a predetermined range around the excavator, and outputs a warning when a predetermined object is detected. The periphery monitoring system 100 includes a controller 30, an imaging device 40, a display device 50, and an audio output device 52.
コントローラ３０は、周辺監視システム１００における各種制御処理を行う。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、例えば、ＲＯＭに格納される各種プログラムをＣＰＵ上で実行することにより実現される機能部として、人検知部３０１、表示制御部３０２、警報出力部３０３を含む。 The controller 30 performs various control processes in the periphery monitoring system 100. The controller 30 may be realized by arbitrary hardware, software, or a combination thereof. The controller 30 is mainly configured by a microcomputer including a CPU, RAM, ROM, I / O, and the like. The controller 30 includes, for example, a human detection unit 301, a display control unit 302, and an alarm output unit 303 as functional units realized by executing various programs stored in the ROM on the CPU.
撮像装置４０は、上述の如く、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒを含む。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル近傍の地面からショベルの遠方までを含む上下方向の撮像範囲（画角）を有する。後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒは、ショベルの運転中、所定周期（例えば、１／３０秒）毎に、撮像画像を出力し、コントローラ３０に送信する。 As described above, the imaging device 40 includes the rear camera 40B, the left camera 40L, and the right camera 40R. The rear camera 40B, the left side camera 40L, and the right side camera 40R are mounted on the upper part of the upper revolving unit 3 so that the optical axis is obliquely downward, and includes an image in the vertical direction including the ground in the vicinity of the shovel to the far side of the shovel. It has a range (angle of view). The rear camera 40B, the left side camera 40L, and the right side camera 40R output a captured image and transmit it to the controller 30 every predetermined period (for example, 1/30 second) during operation of the excavator.
画面操作部４４は、オペレータによる表示装置５０の画面の操作状態に関する信号をコントローラ３０に送信する。 The screen operation unit 44 transmits a signal related to the operation state of the screen of the display device 50 by the operator to the controller 30.
表示装置５０は、撮像装置４０の撮像画像（スルー画像）や、コントローラ３０（表示制御部３０２）が撮像装置４０の撮像画像に基づき生成する周辺画像（例えば、後述する視点変換画像）等を表示する。 The display device 50 displays a captured image (through image) of the imaging device 40, a peripheral image (for example, a viewpoint conversion image described later) generated by the controller 30 (display control unit 302) based on the captured image of the imaging device 40, and the like. To do.
音声出力装置５２は、コントローラ３０（警報出力部３０３）による制御の下、警報音を出力する。 The audio output device 52 outputs an alarm sound under the control of the controller 30 (alarm output unit 303).
人検知部３０１（物体検知部の一例）は、撮像装置４０により撮像された撮像画像に基づき、ショベルの周辺の所定領域内、例えば、ショベルから所定距離Ｄ１（例えば、５メートル）以内の人を検知する。例えば、人検知部３０１は、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用することにより、撮像画像内の人を認識すると共に、認識した人の実在位置（ショベルから認識した人までの距離Ｄ等）を特定することができる。 The human detection unit 301 (an example of an object detection unit) is configured to search for a person within a predetermined area around the excavator, for example, a predetermined distance D1 (for example, 5 meters) from the excavator, based on the captured image captured by the imaging device 40. Detect. For example, the human detection unit 301 recognizes a person in the captured image by arbitrarily applying various known image processing methods, machine learning-based classifiers, and the like, and recognizes the actual position of the recognized person (recognized from the shovel). The distance D to the person who has done this can be specified.
尚、人検知部３０１は、監視対象である所定の物体として人を検知するが、他の所定の物体、例えば、車両等を検知してもよい。また、人検知部３０１は、撮像装置４０の撮像画像に代えて、或いは、加えて、他のセンサ、例えば、ミリ波レーダ、ＬＩＤＡＲ（LIght Detection And Ranging）、ステレオカメラ等の検出結果（距離画像等）に基づきショベルの周辺の所定の物体を検知してもよい。この場合、これらの他のセンサがショベルに設けられる。 The human detection unit 301 detects a person as a predetermined object to be monitored, but may detect another predetermined object, such as a vehicle. Further, the human detection unit 301 replaces or in addition to the captured image of the image capturing apparatus 40, and also includes detection results (distance images) of other sensors such as a millimeter wave radar, LIDAR (LIght Detection And Ranging), and a stereo camera. Etc.), a predetermined object around the excavator may be detected. In this case, these other sensors are provided on the shovel.
表示制御部３０２は、オペレータの各種操作に応じて、表示装置５０に各種情報画像を表示させる。例えば、表示制御部３０２は、オペレータによる所定操作に応じて、撮像装置４０の撮像画像に基づき周辺画像を生成し、表示装置５０に表示させる。具体的には、表示制御部３０２は、周辺画像として、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの撮像画像に基づき、既知の視点変換処理を行うことにより、視点変換画像（仮想視点から見た画像）を生成し、表示装置５０に表示させる。また、表示制御部３０２は、周辺画像を表示装置５０に表示させる際、周辺画像に写る撮像装置４０の撮像範囲のショベルに対する相対位置関係を明示するため、ショベルを模式的に表すショベル画像を併せて表示装置５０に表示させる。即ち、表示制御部３０２は、ショベル画像と、ショベルと撮像装置４０の撮像範囲との相対位置関係に合わせて、ショベル画像の周囲に配置される周辺画像とを含む監視用画像を生成し、表示装置５０に表示させる。以下、図３を参照して、表示装置５０に表示される監視用画像について説明をする。 The display control unit 302 displays various information images on the display device 50 according to various operations of the operator. For example, the display control unit 302 generates a peripheral image based on the captured image of the imaging device 40 in accordance with a predetermined operation by the operator, and causes the display device 50 to display the peripheral image. Specifically, the display control unit 302 performs a known viewpoint conversion process based on the captured images of the rear camera 40B, the left camera 40L, and the right camera 40R as the peripheral images, thereby generating a viewpoint converted image (virtual viewpoint). The image viewed from the above is generated and displayed on the display device 50. Further, when displaying the peripheral image on the display device 50, the display control unit 302 also shows the shovel image schematically representing the shovel in order to clearly indicate the relative positional relationship with respect to the shovel of the imaging range of the imaging device 40 that appears in the peripheral image. Display on the display device 50. That is, the display control unit 302 generates and displays a monitoring image including a shovel image and a peripheral image arranged around the shovel image in accordance with the relative positional relationship between the shovel and the imaging range of the imaging device 40. It is displayed on the device 50. Hereinafter, the monitoring image displayed on the display device 50 will be described with reference to FIG.
尚、表示制御部３０２の機能は、表示装置５０に内蔵されてもよい。この場合、撮像装置４０（後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒ）の撮像画像、及び人検知部３０１の検知結果等の情報は、それぞれ、撮像装置４０及びコントローラ３０から表示装置５０に入力される。 The function of the display control unit 302 may be built in the display device 50. In this case, information such as a captured image of the imaging device 40 (rear camera 40B, left side camera 40L, right side camera 40R) and a detection result of the human detection unit 301 is displayed from the imaging device 40 and the controller 30 to the display device 50, respectively. Is input.
図３は、表示装置５０に表示される監視用画像の一例を示す図である。 FIG. 3 is a diagram illustrating an example of a monitoring image displayed on the display device 50.
図３に示すように、表示装置５０における横長の長方形の画面（例えば、アスペクト比４：３の画面）には、上述の如く、ショベル画像ＣＧと、ショベル画像ＣＧの周囲に配置される周辺画像ＥＰとを含む監視用画像が表示されている。これにより、オペレータ等は、周辺画像ＥＰに写っている人を含む物体と、ショベルとの位置関係を適切に把握することができる。 As shown in FIG. 3, on the horizontally long rectangular screen (for example, a screen having an aspect ratio of 4: 3) in the display device 50, as described above, the excavator image CG and the peripheral image arranged around the excavator image CG are provided. A monitoring image including the EP is displayed. Thereby, the operator etc. can grasp | ascertain appropriately the positional relationship of the object and the shovel which include the person reflected in the periphery image EP.
本例における周辺画像ＥＰは、ショベル周辺を真上から見た路面画像（俯瞰画像）と、その路面画像の周りに配置される、ショベル周辺を水平方向に見た水平画像とを組み合わせた視点変換画像である。周辺画像（視点変換画像）は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面若しくは曲面を含む一又は複数の平面若しくは曲面で構成される。以下、本実施形態における周辺画像は、上記路面画像と上記水平画像とを組み合わせた視点変換画像である前提で説明を続ける。 The peripheral image EP in this example is a viewpoint conversion that combines a road surface image (overhead image) viewed from directly above the excavator and a horizontal image that is arranged around the road surface image and viewed horizontally around the excavator. It is an image. Peripheral images (viewpoint conversion images) are obtained by projecting captured images of the rear camera 40B, the left camera 40L, and the right camera 40R onto a spatial model, and then projecting the projection image projected onto the spatial model into another two images. It is obtained by reprojecting on a dimensional plane. The space model is a projection target of the captured image in the virtual space, and is configured by one or a plurality of planes or curved surfaces including a plane or curved surface other than the plane on which the captured image is located. Hereinafter, the description will be continued on the assumption that the peripheral image in the present embodiment is a viewpoint conversion image obtained by combining the road surface image and the horizontal image.
また、監視用画像には、ガイドラインＬＮ１が重畳表示される。ガイドラインＬＮ１は、ショベルからの距離が所定距離Ｄ２（＜Ｄ１）の位置を表す。これにより、周辺画像に人を含む物体が写っている場合、オペレータ等は、ショベルからどの程度離れた位置にいるかを把握することができる。 Further, the guideline LN1 is superimposed and displayed on the monitoring image. The guideline LN1 represents a position where the distance from the shovel is a predetermined distance D2 (<D1). Thereby, when the object including a person is reflected in the peripheral image, the operator or the like can grasp how far the excavator is located.
図２に戻り、警報出力部３０３は、人検知部３０１によりショベルから所定距離Ｄ１以内で人を検知した場合、オペレータ等への警報を行う。例えば、警報出力部３０３は、音による警報を出力する。具体的には、警報出力部３０３は、音声出力装置５２を通じて警告音を出力させる。また、例えば、警報出力部３０３は、ショベル周辺の所定範囲内（ショベルから所定距離Ｄ１以内）で距離が近いほど、危険度を表す警報レベルが高い警報を行ってもよい。具体的には、警報出力部３０３は、人検知部３０１により検知された人のショベルからの距離Ｄが、所定距離Ｄ１より小さい所定距離Ｄ２（例えば、２．５メートル）以下であるか否かにより警報レベル（警報の仕様）を変更してもよい。より具体的には、警報出力部３０３は、検知された人のショベルからの距離Ｄが所定距離Ｄ１以下且つ所定距離Ｄ２より大きい場合、比較的危険度が低い注意状態（警報レベル１）であるとして、予備的な警報（例えば、比較的小音量の警告音をスピーカに出力させる）を出力する。また、警報出力部３０３は、検知された人のショベルからの距離が所定距離Ｄ２以下である場合、比較的危険度が高い警戒状態（警報レベル２）であるとして、正式な警報（例えば、比較的大音量の警告音をスピーカ等に出力させる）を出力する。 Returning to FIG. 2, when the person detection unit 301 detects a person within a predetermined distance D <b> 1 from the shovel, the alarm output unit 303 issues an alarm to an operator or the like. For example, the alarm output unit 303 outputs an alarm by sound. Specifically, the warning output unit 303 outputs a warning sound through the voice output device 52. Further, for example, the alarm output unit 303 may perform an alarm with a higher alarm level indicating a danger level as the distance is shorter within a predetermined range around the excavator (within a predetermined distance D1 from the excavator). Specifically, the alarm output unit 303 determines whether or not the distance D from the person's excavator detected by the human detection unit 301 is equal to or smaller than a predetermined distance D2 (for example, 2.5 meters) smaller than the predetermined distance D1. May change the alarm level (alarm specifications). More specifically, the alarm output unit 303 is in a caution state (alarm level 1) with a relatively low risk level when the detected distance D from the excavator of the person is less than the predetermined distance D1 and greater than the predetermined distance D2. A preliminary alarm (for example, a warning sound with a relatively low volume is output to the speaker) is output. In addition, when the detected distance from the excavator of the person is equal to or less than the predetermined distance D2, the alarm output unit 303 determines that the alarm state (alarm level 2) is a relatively high risk level, for example, a formal alarm (for example, comparison) Output a loud warning sound to a speaker or the like.
尚、警報出力部３０３は、表示制御部３０２に表示要求を送ることにより、表示装置５０にショベル周辺に人が存在する旨の警報表示を行ってもよい。 The alarm output unit 303 may display an alarm indicating that there is a person around the shovel on the display device 50 by sending a display request to the display control unit 302.
次に、図４〜図１３を参照して、本実施形態に係る周辺監視システム１００（表示制御部３０２）による特徴的な処理について説明をする。 Next, characteristic processing by the periphery monitoring system 100 (display control unit 302) according to the present embodiment will be described with reference to FIGS.
まず、図４は、本実施形態に係る周辺監視システム１００（表示制御部３０２）による処理の第１例を概略的に示すフローチャートである。本フローチャートによる処理は、例えば、表示装置５０に監視用画像（周辺画像）が表示されている場合に繰り返し実行されてよい。 First, FIG. 4 is a flowchart schematically showing a first example of processing by the periphery monitoring system 100 (display control unit 302) according to the present embodiment. The processing according to this flowchart may be repeatedly executed when a monitoring image (peripheral image) is displayed on the display device 50, for example.
ステップＳ１０２にて、表示制御部３０２は、画面操作部４４に対して、表示装置５０に表示される監視用画像における周辺画像の一部領域を選択して拡大させる操作（拡大操作）が行われたか否かを判定する。拡大操作は、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、表示装置５０に表示される監視用画像における周辺画像の一部領域に対応するタッチパネル上で行われるピンチアウト操作（タッチパネル上に接触させた２本の指を広げるように動作させる操作）である。表示制御部３０２は、画面操作部４４に対して拡大操作が行われた場合、ステップＳ１０６に進み、拡大操作が行われていない場合、今回の処理を終了する。 In step S102, the display control unit 302 performs an operation (enlargement operation) for selecting and enlarging a partial region of the peripheral image in the monitoring image displayed on the display device 50 with respect to the screen operation unit 44. It is determined whether or not. For example, when the screen operation unit 44 is a touch panel mounted on the surface of the display area of the display device 50, the enlargement operation is a touch panel corresponding to a partial area of the peripheral image in the monitoring image displayed on the display device 50. This is a pinch-out operation (operation to operate to spread two fingers in contact with the touch panel). When the enlargement operation is performed on the screen operation unit 44, the display control unit 302 proceeds to step S106, and when the enlargement operation is not performed, the display control unit 302 ends the current process.
尚、ピンチアウト操作では、２本の指を広げる動作量が大きくなる程、選択される監視用画像における周辺画像の一部領域が小さくなり、拡大率が大きくなる。 In the pinch-out operation, the larger the movement amount for spreading two fingers, the smaller the partial area of the peripheral image in the selected monitoring image, and the larger the enlargement ratio.
ステップＳ１０４にて、表示制御部３０２は、画面操作部４４に対する拡大操作で選択された、監視用画像における周辺画像の一部領域を拡大して、表示装置５０に表示させる。以下、周辺画像の一部領域を拡大する前の監視用画像を「通常監視用画像」と称し、周辺画像の一部領域を拡大した画像を「拡大監視用画像」と称する。 In step S <b> 104, the display control unit 302 enlarges a partial region of the peripheral image in the monitoring image selected by the enlargement operation on the screen operation unit 44 and causes the display device 50 to display the enlarged region. Hereinafter, the monitoring image before enlarging the partial area of the peripheral image is referred to as “normal monitoring image”, and the image obtained by enlarging the partial area of the peripheral image is referred to as “enlarged monitoring image”.
例えば、図５は、表示装置５０に表示される拡大監視用画像の一例を示す図であり、具体的には、拡大操作により選択された周辺画像ＥＰの一部領域Ａ１を表す通常監視用画像（図５（ａ））と、一部領域Ａ１が拡大された拡大監視用画像（図５（ｂ））を示す図である。このように、画面操作部４４に対する拡大操作により通常監視用画像の周辺画像ＥＰの一部領域Ａ１が選択されると、その一部領域Ａ１をそのまま拡大した周辺画像ＥＰを含む拡大監視用画像が表示装置５０に表示されてよい。これにより、オペレータ等は、画面操作部４４に対する拡大操作により周辺画像ＥＰの一部領域Ａ１に対応するショベルの周辺領域（即ち、周辺画像ＥＰの一部領域Ａ１に映っているショベルの周辺領域）の様子を拡大させて、当該周辺領域の詳細な様子を確認することができる。 For example, FIG. 5 is a diagram illustrating an example of an enlargement monitoring image displayed on the display device 50. Specifically, the normal monitoring image representing a partial area A1 of the peripheral image EP selected by the enlargement operation. FIG. 5A is a diagram showing an enlarged monitoring image (FIG. 5B) in which a partial area A1 is enlarged. As described above, when the partial area A1 of the peripheral image EP of the normal monitoring image is selected by the enlargement operation on the screen operation unit 44, the enlarged monitoring image including the peripheral image EP obtained by enlarging the partial area A1 as it is. It may be displayed on the display device 50. Thereby, the operator or the like performs an enlargement operation on the screen operation unit 44, and the peripheral area of the shovel corresponding to the partial area A1 of the peripheral image EP (that is, the peripheral area of the shovel shown in the partial area A1 of the peripheral image EP) The detailed state of the peripheral area can be confirmed.
また、図５（ｂ）に示すように、表示制御部３０２は、画面操作部４４に対する拡大操作が行われた場合、周辺画像ＥＰの一部領域Ａ１をそのまま拡大して表示装置５０に表示させる。即ち、周辺画像ＥＰの一部領域Ａ１に対応するショベルの周辺領域の様子を拡大して表示させる際、視点変換画像（路面画像及び水平画像）の視点は、変更されることなく、例えば、周辺画像ＥＰに含まれる路面画像（俯瞰画像）は、ショベルの周辺を真上から見た平面視が維持される態様で拡大され、周辺画像ＥＰに含まれる水平画像は、ショベルの周辺を水平方向に見た水平方向視が維持される態様で拡大される。これにより、例えば、周辺画像ＥＰの一部領域Ａ１に対応するショベルの周辺領域の様子を拡大して表示させる際に、拡大される前の視点と異なる視点から見た視点変換画像に変換される態様で拡大される等により、当該周辺領域の様子が把握しにくくなるような事態を抑制することができる。 Further, as illustrated in FIG. 5B, when an enlargement operation is performed on the screen operation unit 44, the display control unit 302 enlarges the partial area A <b> 1 of the peripheral image EP as it is and displays it on the display device 50. . That is, when the state of the peripheral region of the excavator corresponding to the partial region A1 of the peripheral image EP is enlarged and displayed, the viewpoint of the viewpoint conversion image (road surface image and horizontal image) is not changed, for example, the peripheral region The road surface image (overhead image) included in the image EP is enlarged in such a manner that the planar view of the periphery of the excavator viewed from directly above is maintained, and the horizontal image included in the peripheral image EP extends horizontally around the excavator. It is magnified in such a manner that the viewed horizontal direction is maintained. Thereby, for example, when the state of the peripheral region of the excavator corresponding to the partial region A1 of the peripheral image EP is enlarged and displayed, it is converted into a viewpoint conversion image viewed from a viewpoint different from the viewpoint before being enlarged. It is possible to suppress a situation in which it is difficult to grasp the state of the surrounding area by enlarging the aspect.
また、図５（ｂ）に示すように、表示制御部３０２は、オペレータによる拡大操作が行われた場合、周辺画像ＥＰのショベル画像ＣＧが含まれる一部領域Ａ１を表示装置５０に表示させてよい。即ち、表示制御部３０２は、周辺画像の一部領域を選択する操作が行われた場合、選択された一部領域とショベル画像とを含む拡大監視用画像を表示装置５０に表示させる。これにより、オペレータ等は、周辺画像ＥＰの一部領域Ａ１が拡大表示された場合に、周辺画像ＥＰの一部領域Ａ１に対応するショベルの周辺領域とショベルとの相対位置関係を容易に把握することができる。例えば、表示制御部３０２は、拡大操作として上述のピンチアウト操作が行われたタッチパネル上の座標に対応する通常監視用画像上の座標を中心とする拡大監視用画像を生成する際、拡大監視用画像にショベル画像ＣＧが含まれうる上限の拡大率を設定する。これにより、表示装置５０に表示される拡大監視用画像には、ショベル画像ＣＧが含まれるようになる。 As shown in FIG. 5B, the display control unit 302 causes the display device 50 to display a partial area A1 including the excavator image CG of the peripheral image EP when an enlargement operation is performed by the operator. Good. That is, when an operation for selecting a partial region of the peripheral image is performed, the display control unit 302 causes the display device 50 to display an enlarged monitoring image including the selected partial region and the shovel image. Thereby, when the partial area A1 of the peripheral image EP is enlarged and displayed, the operator or the like easily grasps the relative positional relationship between the peripheral area of the shovel corresponding to the partial area A1 of the peripheral image EP and the shovel. be able to. For example, when the display control unit 302 generates an enlargement monitoring image centered on the coordinates on the normal monitoring image corresponding to the coordinates on the touch panel on which the above-described pinch-out operation has been performed as the enlargement operation, An upper limit enlargement ratio at which the shovel image CG can be included in the image is set. Accordingly, the enlargement monitoring image displayed on the display device 50 includes the excavator image CG.
尚、本例では、一部領域Ａ１に含まれるショベル画像ＣＧも同様に拡大して表示されるが、ショベル画像ＣＧは、拡大されなくてもよい。 In this example, the excavator image CG included in the partial area A1 is also enlarged and displayed, but the excavator image CG may not be enlarged.
また、例えば、図６は、表示装置５０に表示される拡大監視用画像の他の例を示す図である。本例では、画面操作部４４に対する拡大操作により選択された周辺画像ＥＰの一部領域Ａ１を拡大した画像に加えて、当該一部領域のショベルに対する位置関係を示す情報が表示される。具体的には、ショベル画像ＣＧから一部領域Ａ１の中央部に相当する位置（中央位置）に向けた矢印ＡＷと、ショベルから中央位置までの距離を示す距離情報ＤＳＴ（"４．２ｍ"）と、ショベルからの距離が中央位置と同じ位置を示すガイドラインＬＮ２とが重畳表示される。これにより、拡大表示されている周辺画像ＥＰの一部領域Ａ１が、ショベルとどのような位置関係にあるかを容易に把握することができる。また、矢印ＡＷ、距離情報ＤＳＴ、ガイドラインＬＮ２は、ショベルから中央位置までの距離に応じて、異なる色で表示してもよい。例えば、ショベルに人等が近づくほど危険度が高まるため、ショベルから中央位置までの距離が小さくなるにつれて、矢印ＡＷ、距離情報ＤＳＴ、ガイドラインＬＮ２等の色が青（危険度小）、黄色（危険度中）、赤（危険度大）と順に変化する態様であってもよい。このように、選択された一部領域のショベルに対する位置関係を示す情報として危険度に関する情報を重畳表示させてもよい。 For example, FIG. 6 is a diagram illustrating another example of the enlargement monitoring image displayed on the display device 50. In this example, in addition to the image obtained by enlarging the partial area A1 of the peripheral image EP selected by the enlargement operation on the screen operation unit 44, information indicating the positional relationship of the partial area with respect to the shovel is displayed. Specifically, an arrow AW directed from the shovel image CG to a position (center position) corresponding to the center of the partial area A1, and distance information DST ("4.2m") indicating the distance from the shovel to the center position. And the guideline LN2 indicating the same position as the center position from the excavator are superimposed and displayed. Thereby, it is possible to easily grasp the positional relationship of the partial area A1 of the enlarged peripheral image EP with the shovel. The arrow AW, the distance information DST, and the guideline LN2 may be displayed in different colors according to the distance from the excavator to the center position. For example, the risk increases as a person or the like approaches the excavator. Therefore, as the distance from the excavator to the center position decreases, the color of the arrow AW, the distance information DST, the guideline LN2, etc. is blue (low risk), yellow (danger It may be a mode that changes in the order of moderate) and red (high risk). In this way, information regarding the degree of risk may be superimposed and displayed as information indicating the positional relationship of the selected partial region with respect to the excavator.
尚、選択された一部領域のショベルに対する位置関係を示す情報として危険度に関する情報を重畳表示させる場合、色情報ではなく文字情報（例えば、危険度"大"、"中"、"小"等）で、危険度を示してもよい。 In addition, when information on the degree of risk is superimposed and displayed as information indicating the positional relationship of the selected partial area with respect to the shovel, character information (eg, risk level “large”, “medium”, “small”, etc.) is used instead of color information. ) May indicate the degree of danger.
図４に戻り、ステップＳ１０６にて、表示制御部３０２は、画面操作部４４に対して、拡大された周辺画像（即ち、拡大監視用画像）を縮小する操作（縮小操作）が行われたか否かを判定する。縮小操作は、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上で行われるピンチイン操作（タッチパネル上に開いた状態で接触させた２本の指を狭めるように動作させる操作）である表示制御部３０２は、画面操作部４４に対して縮小操作が行われた場合、ステップＳ１０８に進み、画面操作部４４に対して縮小操作が行われていない場合、ステップＳ１１０に進む。 Returning to FIG. 4, in step S <b> 106, the display control unit 302 has performed an operation (reduction operation) for reducing the enlarged peripheral image (that is, the enlarged monitoring image) on the screen operation unit 44. Determine whether. For example, when the screen operation unit 44 is a touch panel mounted on the surface of the display area of the display device 50, the reduction operation is a pinch-in operation performed on the touch panel (two touches in an open state on the touch panel). When the reduction operation is performed on the screen operation unit 44, the display control unit 302 proceeds to step S108, and the reduction operation is performed on the screen operation unit 44. If not, the process proceeds to step S110.
尚、ピンチイン操作では、２本の指を狭める動作量が大きくなる程、縮小率が大きくなる。 In the pinch-in operation, the reduction rate increases as the amount of movement for narrowing two fingers increases.
ステップＳ１０８にて、表示制御部３０２は、ステップＳ１０６における縮小操作により周辺画像が全体表示の状態（即ち、通常監視用画像における周辺画像の情報）に戻るか否かを判定する。表示制御部３０２は、周辺画像が全体表示の状態に戻らない場合、ステップＳ１１２に進み、周辺画像が全体表示に戻る場合、ステップＳ１１４に進む。 In step S108, the display control unit 302 determines whether or not the peripheral image returns to the entire display state (that is, information on the peripheral image in the normal monitoring image) by the reduction operation in step S106. If the peripheral image does not return to the full display state, the display control unit 302 proceeds to step S112. If the peripheral image returns to the full display, the display control unit 302 proceeds to step S114.
一方、ステップＳ１１０にて、表示制御部３０２は、画面操作部４４に対して、拡大された周辺画像（即ち、拡大監視用画像）を更に拡大する操作（拡大操作）が行われたか否かを判定する。表示制御部３０２は、画面操作部４４に対して拡大操作が行われた場合、ステップＳ１１２に進み、画面操作部４４に対して拡大操作が行われていない場合、ステップＳ１０６に戻る。 On the other hand, in step S110, the display control unit 302 determines whether or not an operation (enlargement operation) for further enlarging the enlarged peripheral image (that is, the enlargement monitoring image) is performed on the screen operation unit 44. judge. The display control unit 302 proceeds to step S112 when the enlargement operation is performed on the screen operation unit 44, and returns to step S106 when the enlargement operation is not performed on the screen operation unit 44.
ステップＳ１１２にて、表示制御部３０２は、ステップＳ１１０における拡大操作、或いは、ステップＳ１０６における縮小操作に応じて、拡大監視用画像における周辺画像を拡大、或いは、縮小させて、ステップＳ１０６に戻る。 In step S112, the display control unit 302 enlarges or reduces the peripheral image in the enlargement monitoring image according to the enlargement operation in step S110 or the reduction operation in step S106, and returns to step S106.
一方、ステップＳ１１４にて、表示制御部３０２は、表示装置５０に通常監視用画像を表示させることにより、周辺画像の全体を表示装置５０に表示させ、今回の処理を終了する。 On the other hand, in step S114, the display control unit 302 displays the normal monitoring image on the display device 50, thereby displaying the entire peripheral image on the display device 50, and ends the current process.
このように、本実施例では、表示装置５０は、表示制御部３０２による制御の下、画面操作部４４により選択された周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大して表示する。具体的には、表示装置５０は、画面操作部４４により周辺画像の一部領域が選択された場合、当該一部領域をそのまま拡大した画像を表示する。これにより、オペレータ等は、基本的に、周辺画像の全体を表示させて、ショベルの周辺全般の様子を確認しつつ、必要に応じて、周辺画像の一部領域を拡大表示させて、当該一部領域に対応するショベルの周辺領域の詳細な様子を確認することができる。 As described above, in this embodiment, the display device 50 enlarges the state of the peripheral area of the shovel corresponding to the partial area of the peripheral image selected by the screen operation unit 44 under the control of the display control unit 302. indicate. Specifically, when a partial area of the peripheral image is selected by the screen operation unit 44, the display device 50 displays an image obtained by enlarging the partial area as it is. As a result, the operator or the like basically displays the entire peripheral image, confirms the general surroundings of the excavator, enlarges and displays a partial area of the peripheral image as necessary, and The detailed state of the peripheral area of the excavator corresponding to the partial area can be confirmed.
続いて、図７は、本実施形態に係る周辺監視システム１００（表示制御部３０２）による処理の第２例を概略的に示すフローチャートである。本フローチャートによる処理は、図４の場合と同様、例えば、表示装置５０に通常監視用画像（周辺画像の全体）が表示されている場合に繰り返し実行されてよい。 Next, FIG. 7 is a flowchart schematically showing a second example of processing by the periphery monitoring system 100 (display control unit 302) according to the present embodiment. As in the case of FIG. 4, the process according to this flowchart may be repeatedly executed when, for example, the normal monitoring image (the entire surrounding image) is displayed on the display device 50.
ステップＳ２０２にて、表示制御部３０２は、画面操作部４４に対して、表示装置５０に表示される周辺画像の一部領域を選択する操作（領域選択操作）が行われたか否かを判定する。領域選択操作は、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、表示装置５０に表示される通常監視用画像における周辺画像に予め区分される一部領域に対応するタッチパネル上をタッチする操作である。表示制御部３０２は、画面操作部４４に対して、領域選択操作が行われた場合、ステップＳ２０４に進み、領域選択操作が行われていない場合、今回の処理を終了する。 In step S202, the display control unit 302 determines whether or not an operation (region selection operation) for selecting a partial region of the peripheral image displayed on the display device 50 has been performed on the screen operation unit 44. . For example, when the screen operation unit 44 is a touch panel mounted on the surface of the display area of the display device 50, the region selection operation is preliminarily divided into peripheral images in the normal monitoring image displayed on the display device 50. This is an operation of touching on the touch panel corresponding to the partial area. If an area selection operation is performed on the screen operation unit 44, the display control unit 302 proceeds to step S204. If no area selection operation is performed, the display control unit 302 ends the current process.
ステップＳ２０４にて、表示制御部３０２は、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの領域選択操作で選択された周辺画像の一部領域に対応するショベルの周辺領域を撮像するカメラのスルー画像を表示装置５０に表示させる。 In step S204, the display control unit 302 captures the peripheral region of the excavator corresponding to a partial region of the peripheral image selected by the region selection operation among the rear camera 40B, the left side camera 40L, and the right side camera 40R. A through image of the camera to be displayed is displayed on the display device 50.
例えば、図８は、領域選択操作により表示装置５０に表示されるスルー画像を示す図であり、具体的には、周辺画像ＥＰに予め区分される一部領域ＡＢ，ＡＬ，ＡＲを示す通常監視用画像（図８（ａ））と、一部領域ＡＢ，ＡＬ，ＡＲのうちの何れかを選択することにより表示装置５０に表示されるスルー画像ＴＰ（図８（ｂ））を示す図である。本例では、通常監視用画像の周辺画像ＥＰに予め区分される一部領域ＡＢ，ＡＬ，ＡＲは、それぞれ、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの撮像範囲に対応しており、画面操作部４４に対して、一部領域ＡＢ，ＡＬ，ＡＲの何れかを選択する領域選択操作が行なわれると、対応するカメラのスルー画像ＴＰが表示装置５０に表示されてよい。これにより、オペレータ等は、周辺画像ＥＰの一部領域の様子を、スルー画像として拡大させることができるため、当該一部領域の詳細な様子を確認することができる。 For example, FIG. 8 is a diagram showing a through image displayed on the display device 50 by an area selection operation, and more specifically, normal monitoring showing partial areas AB, AL, AR preliminarily divided into peripheral images EP. FIG. 8B is a diagram showing a working image (FIG. 8A) and a through image TP (FIG. 8B) displayed on the display device 50 by selecting any one of the partial areas AB, AL, AR. is there. In this example, the partial areas AB, AL, AR that are preliminarily divided into the peripheral images EP of the normal monitoring image correspond to the imaging ranges of the rear camera 40B, the left camera 40L, and the right camera 40R, respectively. When a region selection operation for selecting any one of the partial regions AB, AL, and AR is performed on the screen operation unit 44, the through image TP of the corresponding camera may be displayed on the display device 50. As a result, the operator or the like can enlarge the state of the partial area of the peripheral image EP as a through image, so that the detailed state of the partial area can be confirmed.
図７に戻り、ステップＳ２０６にて、表示制御部３０２は、画面操作部４４に対して、表示装置５０の表示内容をスルー画像から通常監視用画像に復帰させる操作（復帰操作）が行われたか否かを判定する。復帰操作は、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上での所定の操作（例えば、ダブルタップ操作等）であってよく、スルー画像に重畳表示される所定のアイコンをタッチパネル上でタッチする操作等であってもよい。表示制御部３０２は、画面操作部４４に対して復帰操作が行われていない場合、ステップＳ２０８に進み、復帰操作が行われた場合、ステップＳ２１２に進む。 Returning to FIG. 7, in step S <b> 206, has the display control unit 302 performed an operation (return operation) for returning the display content of the display device 50 from the through image to the normal monitoring image on the screen operation unit 44? Determine whether or not. For example, when the screen operation unit 44 is a touch panel mounted on the surface of the display area of the display device 50, the return operation may be a predetermined operation (for example, a double tap operation) on the touch panel. For example, an operation of touching a predetermined icon superimposed on the image on the touch panel may be used. When the return operation is not performed on the screen operation unit 44, the display control unit 302 proceeds to step S208, and when the return operation is performed, the display control unit 302 proceeds to step S212.
ステップＳ２０８にて、表示制御部３０２は、画面操作部４４に対して、スルー画像の一部領域を選択して拡大させる操作（拡大操作）、或いは、縮小させる操作（縮小操作）が行われたか否かを判定する。拡大操作及び縮小操作は、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上でのピンチアウト操作及びピンチイン操作であってよい。表示制御部３０２は、画面操作部４４に対して、拡大操作或いは縮小操作が行われた場合、ステップＳ２１０に進み、拡大操作及び縮小操作が行われていない場合、ステップＳ２０６に戻る。 In step S <b> 208, has the display control unit 302 performed an operation (enlargement operation) for selecting and enlarging a partial area of the through image on the screen operation unit 44 or an operation (reduction operation) for reducing it? Determine whether or not. For example, when the screen operation unit 44 is a touch panel mounted on the surface of the display area of the display device 50, the enlargement operation and the reduction operation may be a pinch-out operation and a pinch-in operation on the touch panel. When the enlargement operation or the reduction operation is performed on the screen operation unit 44, the display control unit 302 proceeds to step S210, and when the enlargement operation or the reduction operation is not performed, the display control unit 302 returns to step S206.
ステップＳ２１０にて、表示制御部３０２は、拡大操作或いは縮小操作に応じて、スルー画像を拡大或いは縮小させて表示装置５０に表示させて、ステップＳ２０６に戻る。 In step S210, the display control unit 302 enlarges or reduces the through image according to the enlargement operation or the reduction operation, displays the through image on the display device 50, and returns to step S206.
例えば、図９は、拡大操作により表示装置５０に表示される、拡大されたスルー画像（拡大スルー画像）の一例であり、具体的には、拡大操作により拡大される一部領域Ａ２を表すスルー画像ＴＰ（図９（ａ））と、一部領域Ａ２が拡大された拡大スルー画像ＥＴＰ（図９（ｂ））を示す図である。このように、画面操作部４４に対する拡大操作が行われると、スルー画像の一部領域が拡大されて表示装置５０に表示されてよい。これにより、オペレータ等は、画面操作部４４に対する拡大操作によりスルー画像を拡大させて、領域選択操作により選択された一部領域の更に詳細な様子を確認することができる。 For example, FIG. 9 is an example of an enlarged through image (enlarged through image) displayed on the display device 50 by the enlargement operation. Specifically, the through image representing the partial area A2 to be enlarged by the enlargement operation. FIG. 10 is a diagram illustrating an image TP (FIG. 9A) and an enlarged through image ETP (FIG. 9B) in which a partial area A2 is enlarged. As described above, when an enlargement operation is performed on the screen operation unit 44, a partial region of the through image may be enlarged and displayed on the display device 50. Thereby, the operator or the like can enlarge the through image by the enlargement operation on the screen operation unit 44 and can confirm a more detailed state of the partial area selected by the area selection operation.
尚、縮小操作は、拡大スルー画像を縮小させて表示させるための操作であり、拡大されていない通常のスルー画像を縮小させて表示装置５０に表示させることはできない。 The reduction operation is an operation for reducing and displaying an enlarged through image, and a normal through image that has not been enlarged cannot be reduced and displayed on the display device 50.
図７に戻り、一方、ステップＳ２１２にて、表示制御部３０２は、表示装置５０の表示内容をスルー画像から周辺画像を含む通常監視用画像に復帰させて、今回の処理を終了する。 Returning to FIG. 7, on the other hand, in step S <b> 212, the display control unit 302 returns the display content of the display device 50 from the through image to the normal monitoring image including the peripheral image, and ends the current process.
このように、本実施例では、表示装置５０は、図４の実施例と同様、表示制御部３０２による制御の下、画面操作部４４により選択された周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大して表示する。具体的には、表示装置５０は、画面操作部４４により周辺画像の一部領域が選択された場合、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの画面操作部４４により選択された一部領域に対応するショベルの周辺領域を撮像するカメラの撮像画像（スルー画像）を表示する。これにより、オペレータ等は、基本的に、周辺画像の全体を表示させて、ショベルの周辺全般の様子を確認しつつ、必要に応じて、周辺画像の一部領域をスルー画像として拡大表示させて、当該一部領域に対応するショベルの周辺領域の詳細な様子を確認することができる。 As described above, in the present embodiment, the display device 50, as in the embodiment of FIG. 4, controls the shovel corresponding to a partial area of the peripheral image selected by the screen operation unit 44 under the control of the display control unit 302. Zoom in on the surrounding area. Specifically, when a partial region of the peripheral image is selected by the screen operation unit 44, the display device 50 is selected by the screen operation unit 44 among the rear camera 40B, the left side camera 40L, and the right side camera 40R. The captured image (through image) of the camera that captures the peripheral area of the excavator corresponding to the partial area is displayed. In this way, the operator or the like basically displays the entire peripheral image, confirms the overall state of the excavator, and enlarges a partial area of the peripheral image as a through image as necessary. The detailed state of the peripheral area of the excavator corresponding to the partial area can be confirmed.
続いて、図１０は、本実施形態に係る周辺監視システム１００（表示制御部３０２）による処理の第３例を概略的に示すフローチャートである。本フローチャートによる処理は、図４、図７の場合と同様、例えば、表示装置５０に通常監視用画像（周辺画像の全体）が表示されている場合に繰り返し実行されてよい。 Next, FIG. 10 is a flowchart schematically showing a third example of processing by the periphery monitoring system 100 (display control unit 302) according to the present embodiment. The process according to this flowchart may be repeatedly executed when, for example, the normal monitoring image (entire surrounding image) is displayed on the display device 50, as in the case of FIGS.
ステップＳ３０２にて、表示制御部３０２は、図７のステップＳ２０２と同様、画面操作部４４に対して、表示装置５０に表示される周辺画像の一部領域を選択する操作（領域選択操作）が行われたか否かを判定する。表示制御部３０２は、画面操作部４４に対して、領域選択操作が行われた場合、ステップＳ３０４に進み、領域選択操作が行われていない場合、今回の処理を終了する。 In step S302, the display control unit 302 performs an operation (region selection operation) for selecting a partial region of the peripheral image displayed on the display device 50 on the screen operation unit 44, as in step S202 of FIG. Determine whether it was done. The display control unit 302 proceeds to step S304 when an area selection operation is performed on the screen operation unit 44, and ends the current process when the area selection operation is not performed.
ステップＳ３０４にて、表示制御部３０２は、周辺画像を含む通常監視用画像と、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの領域選択操作で選択された周辺画像の一部領域に対応するショベルの周辺領域を撮像するカメラのスルー画像とを表示装置５０に同時に表示させる。また、表示制御部３０２は、通常監視用画像とスルー画像を同時に表示させる際、通常監視用画像に含まれる周辺画像上において、スルー画像に対応する領域を強調させる。以下、表示装置５０に同時に表示される通常監視用画像及びスルー画像（後述する拡大スルー画像を含む）を合わせて複合監視用画像と称する場合がある。 In step S304, the display control unit 302 displays a part of the normal monitoring image including the peripheral image and the peripheral image selected by the region selection operation among the rear camera 40B, the left side camera 40L, and the right side camera 40R. A through image of a camera that captures the peripheral area of the shovel corresponding to the area is simultaneously displayed on the display device 50. Further, when displaying the normal monitoring image and the through image at the same time, the display control unit 302 emphasizes a region corresponding to the through image on the peripheral image included in the normal monitoring image. Hereinafter, the normal monitoring image and the through image (including an enlarged through image to be described later) simultaneously displayed on the display device 50 may be collectively referred to as a composite monitoring image.
例えば、図１１は、領域選択操作により表示装置５０に同時に表示される通常監視用画像及びスルー画像（複合監視用画像）の一例を示す図であり、具体的には、周辺画像ＥＰに予め区分される一部領域ＡＢ，ＡＬ，ＡＲを示す通常監視用画像（図１１（ａ））と、一部領域ＡＢ，ＡＬ，ＡＲのうちの一部領域ＡＲが選択されることにより表示装置５０に同時に表示される通常監視用画像及びスルー画像ＴＰ（図１１（ｂ））を示す図である。本例では、通常監視用画像の周辺画像ＥＰに予め区分される一部領域ＡＢ，ＡＬ，ＡＲは、図８の場合と同様、それぞれ、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの撮像範囲に対応しており、画面操作部４４に対して、一部領域ＡＢ，ＡＬ，ＡＲの何れかを選択する領域選択操作が行なわれると、通常監視用画像と、対応するカメラのスルー画像ＴＰとが表示装置５０に同時に表示されてよい。これにより、オペレータ等は、周辺画像ＥＰの一部領域の様子を、スルー画像として拡大させることができるため、当該一部領域の詳細な様子を確認することができると共に、同時に表示される通常監視用画像により周辺画像ＥＰの全体に対応するショベル周辺の広範囲の様子も確認することができる。また、本例では、通常監視用画像の周辺画像ＥＰ上において、スルー画像ＴＰに対応する領域（一部領域ＡＲ）を太枠ＦＲ１で囲むことにより、当該領域が強調表示される。これにより、オペレータ等は、スルー画像として表示される領域が、同時に表示される周辺画像のどの領域に対応しているかを容易に把握することができる。 For example, FIG. 11 is a diagram illustrating an example of a normal monitoring image and a through image (composite monitoring image) that are simultaneously displayed on the display device 50 by an area selection operation. Specifically, the image is divided into peripheral images EP in advance. The normal monitoring image (FIG. 11 (a)) showing the partial areas AB, AL, AR to be displayed and the partial area AR among the partial areas AB, AL, AR are selected, thereby causing the display device 50 to It is a figure which shows the image for normal monitoring and the through image TP (FIG.11 (b)) displayed simultaneously. In this example, the partial areas AB, AL, AR that are pre-divided into the peripheral images EP of the normal monitoring image are the rear camera 40B, left camera 40L, and right camera 40R, respectively, as in the case of FIG. When an area selection operation for selecting any of the partial areas AB, AL, and AR is performed on the screen operation unit 44, the normal monitoring image and the corresponding camera through image are supported. TP may be displayed on the display device 50 at the same time. Thereby, the operator or the like can enlarge the state of the partial area of the peripheral image EP as a through image, so that the detailed state of the partial area can be confirmed, and the normal monitoring displayed at the same time It is also possible to confirm the state of a wide area around the excavator corresponding to the entire peripheral image EP. Further, in this example, on the peripheral image EP of the normal monitoring image, the region (partial region AR) corresponding to the through image TP is surrounded by the thick frame FR1, so that the region is highlighted. Thereby, an operator or the like can easily grasp which area of the peripheral image displayed simultaneously corresponds to the area displayed as the through image.
図１０に戻り、ステップＳ３０６にて、表示制御部３０２は、画面操作部４４に対して、表示装置５０の表示内容を通常監視用画像及びスルー画像の同時表示から通常監視用画像の単独表示に復帰させる操作（復帰操作）が行われたか否かを判定する。復帰操作は、図７のステップＳ２０６の場合と同様、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、タッチパネル上での所定の操作（例えば、ダブルタップ操作等）であってよく、スルー画像に重畳表示される所定のアイコンをタッチパネル上でタッチする操作等であってもよい。表示制御部３０２は、画面操作部４４に対して復帰操作が行われていない場合、ステップＳ３０８に進み、復帰操作が行われた場合、ステップＳ３１２に進む。 Returning to FIG. 10, in step S <b> 306, the display control unit 302 changes the display content of the display device 50 from the simultaneous display of the normal monitoring image and the through image to the single display of the normal monitoring image on the screen operation unit 44. It is determined whether or not a return operation (return operation) has been performed. For example, when the screen operation unit 44 is a touch panel mounted on the surface of the display area of the display device 50, the return operation is the same as in step S206 of FIG. Tap operation, etc.), or an operation of touching a predetermined icon superimposed on the through image on the touch panel. When the return operation is not performed on the screen operation unit 44, the display control unit 302 proceeds to step S308, and when the return operation is performed, the display control unit 302 proceeds to step S312.
ステップＳ３０８にて、表示制御部３０２は、画面操作部４４に対して、スルー画像の一部領域を選択して拡大させる操作（拡大操作）、或いは、縮小させる操作（縮小操作）が行われたか否かを判定する。拡大操作及び縮小操作は、図７のステップＳ２０８の場合と同様、例えば、画面操作部４４が、表示装置５０の表示領域の表面に実装されるタッチパネルである場合、スルー画像が表示される表示装置５０の表示領域に対応するタッチパネル上でのピンチアウト操作及びピンチイン操作であってよい。表示制御部３０２は、画面操作部４４に対して、拡大操作或いは縮小操作が行われた場合、ステップＳ３１０に進み、拡大操作及び縮小操作が行われていない場合、ステップＳ３０６に戻る。 In step S <b> 308, has the display control unit 302 performed an operation (enlargement operation) for selecting and enlarging a partial area of the through image on the screen operation unit 44, or an operation for reducing (reduction operation)? Determine whether or not. For example, when the screen operation unit 44 is a touch panel mounted on the surface of the display area of the display device 50, the enlargement operation and the reduction operation are the same as in step S208 of FIG. It may be a pinch-out operation and a pinch-in operation on the touch panel corresponding to 50 display areas. The display control unit 302 proceeds to step S310 when the enlargement operation or the reduction operation is performed on the screen operation unit 44, and returns to step S306 when the enlargement operation or the reduction operation is not performed.
ステップＳ３１０にて、表示制御部３０２は、拡大操作或いは縮小操作に応じて、スルー画像を拡大或いは縮小させて表示装置５０に表示させて、ステップＳ３０６に戻る。この際、表示制御部３０２は、スルー画像と同時に表示される通常監視用画像に含まれる周辺画像上において、スルー画像に対応する強調される領域を変化させる。 In step S310, the display control unit 302 enlarges or reduces the through image according to the enlargement operation or the reduction operation, displays the through image on the display device 50, and returns to step S306. At this time, the display control unit 302 changes the region to be emphasized corresponding to the through image on the peripheral image included in the normal monitoring image displayed simultaneously with the through image.
例えば、図１２は、拡大操作により表示装置５０に同時に表示される複合監視用画像（通常監視用画像及び拡大スルー画像）の一例であり、具体的には、拡大操作により拡大される一部領域Ａ３を表すスルー画像ＴＰを含む複合監視用画像（図１２（ａ））と、一部領域Ａ２が拡大された拡大スルー画像ＥＴＰを含む複合監視用画像（図１２（ｂ））を示す図である。このように、画面操作部４４に対する拡大操作が行われると、図９の場合と同様、スルー画像の一部領域が拡大されて表示装置５０に表示されてよい。これにより、オペレータ等は、画面操作部４４に対する拡大操作によりスルー画像を拡大させて、領域選択操作により選択された一部領域の更に詳細な様子を確認することができる。また、本例では、スルー画像が拡大されるのに応じて、周辺画像ＥＰ上におけるスルー画像に対応する領域が変化するため、当該変化に合わせて、周辺画像ＥＰ上における強調表示される領域は、太枠ＦＲ１（図１２（ａ））で囲まれる領域から、更に狭い太枠ＦＲ２（図１２（ｂ））で囲まれる領域に変化する。これにより、スルー画像が更に拡大表示される場合についても、拡大スルー画像に対応する領域が、同時に表示される周辺画像のどの領域に対応しているかを容易に把握することができる。 For example, FIG. 12 is an example of a composite monitoring image (a normal monitoring image and an enlarged through image) displayed on the display device 50 at the same time by an enlargement operation, and specifically, a partial region enlarged by the enlargement operation. FIG. 12 is a diagram illustrating a composite monitoring image (FIG. 12A) including a through image TP representing A3 and a composite monitoring image including an enlarged through image ETP in which a partial area A2 is enlarged (FIG. 12B). is there. As described above, when an enlargement operation is performed on the screen operation unit 44, a partial region of the through image may be enlarged and displayed on the display device 50, as in the case of FIG. Thereby, the operator or the like can enlarge the through image by the enlargement operation on the screen operation unit 44 and can confirm a more detailed state of the partial area selected by the area selection operation. Further, in this example, as the through image is enlarged, the region corresponding to the through image on the peripheral image EP changes. Therefore, the region to be highlighted on the peripheral image EP corresponds to the change. Then, the region surrounded by the thick frame FR1 (FIG. 12A) changes to a region surrounded by a narrower thick frame FR2 (FIG. 12B). Thereby, even when the through image is further enlarged and displayed, it is possible to easily grasp which region of the peripheral image displayed simultaneously corresponds to the region corresponding to the enlarged through image.
尚、縮小操作は、図７の場合と同様、拡大スルー画像を縮小させて表示させるための操作であり、拡大されていない通常のスルー画像を縮小させて表示装置５０に表示させることはできない。 Note that the reduction operation is an operation for reducing and displaying an enlarged through image as in the case of FIG. 7, and a normal through image that has not been enlarged cannot be reduced and displayed on the display device 50.
図１０に戻り、一方、ステップＳ３１２にて、表示制御部３０２は、表示装置５０の表示内容を通常監視用画像及びスルー画像の同時表示から周辺画像を含む通常監視用画像の単独表示に復帰させて、今回の処理を終了する。 Returning to FIG. 10, on the other hand, in step S312, the display control unit 302 returns the display content of the display device 50 from the simultaneous display of the normal monitoring image and the through image to the single display of the normal monitoring image including the peripheral image. Then, the current process ends.
このように、本実施例では、表示装置５０は、図４、図７の実施例と同様、表示制御部３０２による制御の下、画面操作部４４により選択された周辺画像の一部領域に対応するショベルの領域の様子を拡大して表示する。具体的には、表示装置５０は、画面操作部４４により周辺画像の一部領域が選択された場合、周辺画像と、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、及び右側方カメラ４０Ｒのうちの画面操作部４４により選択された一部領域に対応するショベルの周辺領域を撮像するカメラの撮像画像（スルー画像）とを同時に表示する。これにより、オペレータ等は、基本的に、周辺画像の全体を表示させて、ショベルの周辺全般の様子を確認しつつ、必要に応じて、周辺画像の一部領域をスルー画像として拡大表示させて、当該一部領域に対応するショベルの周辺領域の詳細な様子を確認することができる。また、オペレータ等は、スルー画像と同時に表示される周辺画像により、ショベルの周辺全般の様子も継続して確認することができる。 As described above, in this embodiment, the display device 50 corresponds to a partial region of the peripheral image selected by the screen operation unit 44 under the control of the display control unit 302 as in the embodiments of FIGS. 4 and 7. The state of the excavator area to be enlarged is displayed. Specifically, when a partial region of the peripheral image is selected by the screen operation unit 44, the display device 50 operates the screen of the peripheral image and the rear camera 40B, the left camera 40L, and the right camera 40R. The captured image (through image) of the camera that captures the peripheral region of the excavator corresponding to the partial region selected by the unit 44 is simultaneously displayed. In this way, the operator or the like basically displays the entire peripheral image, confirms the overall state of the excavator, and enlarges a partial area of the peripheral image as a through image as necessary. The detailed state of the peripheral area of the excavator corresponding to the partial area can be confirmed. In addition, the operator and the like can continuously check the overall state of the excavator by using the peripheral image displayed at the same time as the through image.
続いて、図１３は、本実施形態に係る周辺監視システム１００（表示制御部３０２）による処理の第４例を概略的に示すフローチャートである。本フローチャートによる処理は、図４、図７、図１０の場合と同様、例えば、表示装置５０に通常監視用画像（周辺画像の全体）が表示されている場合に繰り返し実行されてよい。 Next, FIG. 13 is a flowchart schematically showing a fourth example of processing by the periphery monitoring system 100 (display control unit 302) according to the present embodiment. The process according to this flowchart may be repeatedly executed when, for example, the normal monitoring image (entire surrounding image) is displayed on the display device 50, as in the case of FIGS.
本フローチャートのステップＳ４０２、Ｓ４０４、及びステップＳ４０６〜Ｓ４１４の処理は、図４のフローチャートのステップＳ１０２、Ｓ１０４、及びステップＳ１０６〜ステップＳ１１４と同じである。以下、図４のフローチャートと異なる部分を中心に説明をする。 The processes in steps S402 and S404 and steps S406 to S414 in this flowchart are the same as steps S102 and S104 and steps S106 to S114 in the flowchart in FIG. In the following, the description will focus on the parts different from the flowchart of FIG.
ステップＳ４０１にて、表示制御部３０２は、人検知部３０１により所定領域内（ショベルからの距離Ｄが所定距離Ｄ１以下の範囲）に人が検知されているか否かを判定する。表示制御部３０２は、人検知部３０１により人が検知されていない場合、ステップＳ４０２に進み、人検知部３０１により人が検知されている場合、今回の処理を終了する。 In step S401, the display control unit 302 determines whether or not a person is detected by the human detection unit 301 within a predetermined area (distance D from the excavator is a predetermined distance D1 or less). If no person is detected by the person detection unit 301, the display control unit 302 proceeds to step S402. If a person is detected by the person detection unit 301, the display control unit 302 ends the current process.
表示制御部３０２は、画面操作部４４に対する拡大操作で選択された、監視用画像における周辺画像の一部領域を拡大して、表示装置５０に表示させる処理（ステップＳ４０４）を行った後、ステップＳ４０５にて、人検知部３０１により所定領域内に人が検知されているか否かを判定する。表示制御部３０２は、人検知部３０１により人が検知されていない場合、ステップＳ４０６に進み、ステップＳ４０６〜Ｓ４１２の処理を行う。一方、表示制御部３０２は、人検知部３０１により人が検知されている場合、ステップＳ４１４に進み、表示装置５０の表示内容を拡大監視用画像から通常監視用画像に復帰させることにより、周辺画像の全体を表示装置５０に表示させ、今回の処理を終了する。 The display control unit 302 performs a process (step S404) of enlarging a partial area of the peripheral image in the monitoring image selected by the enlarging operation on the screen operation unit 44 and displaying it on the display device 50 (step S404). In S405, it is determined whether or not a person is detected in the predetermined area by the person detection unit 301. If no person is detected by the person detection unit 301, the display control unit 302 proceeds to step S406 and performs the processes of steps S406 to S412. On the other hand, if a person is detected by the human detection unit 301, the display control unit 302 proceeds to step S414, and restores the display content of the display device 50 from the enlarged monitoring image to the normal monitoring image, whereby the peripheral image is displayed. Are displayed on the display device 50, and the current process is terminated.
尚、表示制御部３０２は、ステップＳ４０８の処理或いはステップＳ４１０の処理の後、ステップＳ４０５に戻る。 The display control unit 302 returns to step S405 after the process of step S408 or the process of step S410.
このように、本実施例では、表示装置５０は、表示制御部３０２による制御の下、画面操作部４４により選択された周辺画像の一部領域に対応するショベルの周辺領域の様子が拡大されて表示されている状態で、人検知部３０１により所定領域内で人が検知された場合、通常監視用画像を表示する状態、即ち、周辺画像の全体を表示する状態に戻る。これにより、オペレータ等は、周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大表示させている状態でも、人検知部３０１により人が検知されると、自動的に、周辺画像の全体が表示される状態に戻るため、周辺画像全体を見て、検知された人がどこにいるかをすぐに把握することができる。そのため、周辺画像の一部領域に対応するショベルの周辺領域の様子を拡大表示させることによるユーザの利便性を向上させつつ、更に高い安全性を確保することできる。 As described above, in the present embodiment, the display device 50 has an enlarged state of the peripheral region of the shovel corresponding to the partial region of the peripheral image selected by the screen operation unit 44 under the control of the display control unit 302. When the person is detected within the predetermined area by the person detection unit 301 in the displayed state, the normal monitoring image is displayed, that is, the entire surrounding image is displayed. As a result, even if the operator or the like is in a state where the state of the peripheral area of the excavator corresponding to a partial area of the peripheral image is enlarged and displayed, if the person detection unit 301 detects a person, the operator automatically Since the entire screen is displayed again, it is possible to immediately grasp where the detected person is by looking at the entire surrounding image. Therefore, it is possible to ensure higher safety while improving the convenience of the user by enlarging and displaying the state of the peripheral area of the shovel corresponding to a partial area of the peripheral image.
尚、本実施例では、表示制御部３０２は、人検知部３０１により人が検知された場合、通常監視用画像を表示装置５０に表示させるが、通常監視用画像の代わりに、後方カメラ４０Ｂ、左側方カメラ４０Ｌ，及び右側方カメラ４０Ｒのうちの検知された人が存在する領域を撮像するカメラのスルー画像を表示させてもよい。これにより、オペレータ等は、周辺画像の一部領域を拡大表示させている状態でも、人検知部３０１により人が検知されると、自動的に、検知された人が存在する領域を撮像するカメラのスルー画像に切り替わるため、当該スルー画像を見て、検知された人がどこにいるかをすぐに把握することができる。 In the present embodiment, the display control unit 302 displays the normal monitoring image on the display device 50 when a person is detected by the human detection unit 301, but instead of the normal monitoring image, the rear camera 40B, You may display the through image of the camera which images the area | region where the detected person exists among the left side camera 40L and the right side camera 40R. As a result, even when an operator or the like is displaying a partial area of a peripheral image in an enlarged manner, if a person is detected by the human detection unit 301, a camera that automatically captures an area where the detected person exists Therefore, it is possible to immediately grasp where the detected person is by looking at the through image.
また、本実施例では、図４の処理をベースにして、ステップＳ４０１、Ｓ４０５の処理を追加したが、図７の処理をベースにして、ステップＳ４０１、Ｓ４０５に相当する処理を追加してもよい。この場合、ステップＳ２０１の前にステップＳ４０１に相当する処理を追加すると共に、ステップＳ２０４とステップＳ２０６の間に、ステップＳ４０５に相当する処理を追加し、ステップＳ２０８の処理或いはステップＳ２１０の処理の後には、ステップＳ４０５に相当する処理に戻る構成を採用するとよい。これにより、本実施例と同様の作用・効果を得ることができる。また、この場合についても、表示制御部３０２は、人検知部３０１により人が検知された場合、通常監視用画像を表示装置５０に表示させる代わりに、後方カメラ４０Ｂ、左側方カメラ４０Ｌ，及び右側方カメラ４０Ｒのうちの検知された人が存在する領域を撮像するカメラのスルー画像を表示装置５０に表示させてもよい。 In the present embodiment, the processes of steps S401 and S405 are added based on the process of FIG. 4. However, processes corresponding to steps S401 and S405 may be added based on the process of FIG. . In this case, a process corresponding to step S401 is added before step S201, and a process corresponding to step S405 is added between step S204 and step S206. After the process of step S208 or the process of step S210, A configuration that returns to the process corresponding to step S405 may be employed. Thereby, the same operation and effect as the present embodiment can be obtained. Also in this case, the display control unit 302, when a person is detected by the human detection unit 301, instead of displaying the normal monitoring image on the display device 50, the rear camera 40B, the left camera 40L, and the right camera A through image of a camera that captures an area in which the detected person of the direction camera 40R is present may be displayed on the display device 50.
また、図１０の処理をベースにして、ステップＳ４０１、Ｓ４０５に相当する処理を追加してもよい。ステップＳ４０１、Ｓ４０５に相当する処理を追加してもよい。この場合、ステップＳ３０１の前にステップＳ４０１に相当する処理を追加すると共に、ステップＳ３０４とステップＳ３０６の間に、ステップＳ４０５に相当する処理を追加し、ステップＳ３０８の処理或いはステップＳ３１０の処理の後には、ステップＳ４０５に相当する処理に戻る構成を採用するとよい。これにより、表示装置５０は、人検知部３０１によりショベルの周辺の所定領域内で人が検知された場合、周辺画像、及び後方カメラ４０Ｂ、左側方カメラ４０Ｌ，並びに右側方カメラ４０Ｒの何れかのスルー画像の双方を表示する状態から、周辺画像及びスルー画像のうちの周辺画像だけを表示する状態に切り替わる。よって、表示装置５０に表示される周辺画像は、スルー画像と並列に表示されて比較的小さい状態から、単独で表示されて比較的大きい状態に戻るため、オペレータ等は、周辺画像上において、検知された人がどこにいるかを更に把握し易くなる。そのため、周辺画像の一部領域を拡大させて表示させることによるユーザの利便性を向上させつつ、更に高い安全性を確保することできる。また、この場合についても、表示制御部３０２は、人検知部３０１により人が検知された場合、通常監視用画像を表示装置５０に表示させる代わりに、後方カメラ４０Ｂ、左側方カメラ４０Ｌ，及び右側方カメラ４０Ｒのうちの検知された人が存在する領域を撮像するカメラのスルー画像を表示装置５０に表示させてもよい。また、表示制御部３０２は、人検知部３０１により人が検知された場合、表示装置５０に通常監視用画像及びスルー画像を同時に表示させる状態を継続し、後方カメラ４０Ｂ、左側方カメラ４０Ｌ，及び右側方カメラ４０Ｒのうちの検知された人が存在する領域を撮像するカメラのスルー画像を、通常監視用画像と同時に表示させてもよい。 Further, processing corresponding to steps S401 and S405 may be added based on the processing of FIG. Processing corresponding to steps S401 and S405 may be added. In this case, a process corresponding to step S401 is added before step S301, and a process corresponding to step S405 is added between steps S304 and S306. After the process of step S308 or step S310, A configuration that returns to the process corresponding to step S405 may be employed. Thereby, when a person is detected in a predetermined area around the excavator by the human detection unit 301, the display device 50 is any one of the peripheral image, the rear camera 40B, the left camera 40L, and the right camera 40R. The state in which both the through image is displayed is switched to the state in which only the peripheral image and the peripheral image of the through image are displayed. Therefore, since the peripheral image displayed on the display device 50 is displayed in parallel with the through image and returns from a relatively small state to a relatively large state displayed alone, the operator or the like detects the peripheral image on the peripheral image. This makes it easier to understand where the person who was placed is. Therefore, it is possible to ensure higher safety while improving the convenience for the user by enlarging and displaying a partial region of the peripheral image. Also in this case, the display control unit 302, when a person is detected by the human detection unit 301, instead of displaying the normal monitoring image on the display device 50, the rear camera 40B, the left camera 40L, and the right camera A through image of a camera that captures an area in which the detected person of the direction camera 40R is present may be displayed on the display device 50. Further, when a person is detected by the human detection unit 301, the display control unit 302 continues the state in which the normal monitoring image and the through image are simultaneously displayed on the display device 50, and the rear camera 40B, the left camera 40L, and A through image of a camera that captures an area of the right side camera 40R where a detected person is present may be displayed simultaneously with the normal monitoring image.
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 As mentioned above, although the form for implementing this invention was explained in full detail, this invention is not limited to this specific embodiment, In the range of the summary of this invention described in the claim, various Can be modified or changed.
３０ コントローラ
４０ 撮像装置
４４ 画面操作部（第１操作部、第２操作部）
４０Ｂ 後方カメラ
４０Ｌ 左側方カメラ
４０Ｒ 右側方カメラ
５０ 表示装置
１００ 周辺監視システム（作業機械用周辺監視システム）
３０１ 人検知部（物体検知部）
３０２ 表示制御部
30 controller 40 imaging device 44 screen operation unit (first operation unit, second operation unit)
40B Rear camera 40L Left side camera 40R Right side camera 50 Display device 100 Perimeter monitoring system (work machine peripheral monitoring system)
301 Human detection unit (object detection unit)
302 Display control unit
Claims (11)
前記作業機械の操縦席の周辺に設けられ、前記撮像装置の撮像画像に基づき生成される周辺画像を表示する表示装置と、
前記表示装置に表示される前記周辺画像の一部領域を選択する操作が行われる第１操作部と、を備え、
前記表示装置は、前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域の様子を拡大して表示する、
作業機械用周辺監視システム。 An imaging device for imaging the periphery of the work machine;
A display device that is provided around a cockpit of the work machine and displays a peripheral image generated based on a captured image of the imaging device;
A first operation unit that performs an operation of selecting a partial region of the peripheral image displayed on the display device,
The display device displays an enlarged view of a peripheral region of the work machine corresponding to a partial region of the peripheral image selected by the first operation unit;
Perimeter monitoring system for work machines.
請求項１に記載の作業機械用周辺監視システム。 The display device displays an image obtained by enlarging a partial region of the peripheral image selected by the first operation unit when the partial region of the peripheral image is selected by the first operation unit.
The work machine periphery monitoring system according to claim 1.
請求項２に記載の作業機械用周辺監視システム。 When the display device displays an image obtained by enlarging a partial region of the peripheral image selected by the first operation unit, the display device displays information indicating a positional relationship of the partial region with respect to the work machine on the image. indicate,
The work machine periphery monitoring system according to claim 2.
前記表示装置は、前記第１操作部により前記周辺画像の一部領域が選択された場合、前記複数のカメラのうち、前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域を撮像する前記カメラの撮像画像を表示する、
請求項１に記載の作業機械用周辺監視システム。 The imaging device includes a plurality of cameras for imaging each of a plurality of directions viewed from the work machine,
The display device corresponds to a partial region of the peripheral image selected by the first operation unit among the plurality of cameras when the partial region of the peripheral image is selected by the first operation unit. Displaying a captured image of the camera that images a peripheral region of the work machine;
The work machine periphery monitoring system according to claim 1.
請求項４に記載の作業機械用周辺監視システム。 The display device, when a partial region of the peripheral image is selected by the first operation unit, the peripheral image and one of the peripheral images selected by the first operation unit of the plurality of cameras. Simultaneously displaying a captured image of the camera that captures a peripheral region of the work machine corresponding to a partial region;
The work machine periphery monitoring system according to claim 4.
請求項５に記載の作業機械用周辺監視システム。 The display device captures the peripheral image and a peripheral image of the work machine corresponding to a partial region of the peripheral image selected by the first operation unit of the plurality of cameras. And simultaneously highlight the region corresponding to the captured image displayed at the same time on the peripheral image,
The work machine periphery monitoring system according to claim 5.
前記表示装置は、前記複数のカメラのうちの前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域を撮像する前記カメラの撮像画像を表示している状態で、前記第２操作部により当該撮像画像の一部領域が選択された場合、前記第２操作部により選択された当該撮像画像の一部領域を拡大した画像を表示する、
請求項４乃至６の何れか一項に記載の作業機械用周辺監視システム。 A second operation unit for performing an operation of selecting a partial region of a captured image of the camera displayed on the display device;
The display device displays a captured image of the camera that captures a peripheral region of the work machine corresponding to a partial region of the peripheral image selected by the first operation unit among the plurality of cameras. When a partial region of the captured image is selected by the second operation unit in a state, an image obtained by enlarging the partial region of the captured image selected by the second operation unit is displayed.
The work machine periphery monitoring system according to any one of claims 4 to 6.
前記表示装置は、前記第１操作部により選択された前記周辺画像の一部領域を拡大した画像を表示する状態で、前記物体検知部により前記物体が検知された場合、前記周辺画像の全体を表示する状態に戻す、
請求項２又は３に記載の作業機械用周辺監視システム。 An object detection unit for detecting a predetermined object in a predetermined area around the work machine;
The display device displays an image obtained by enlarging a partial area of the peripheral image selected by the first operation unit, and when the object is detected by the object detection unit, the entire peripheral image is displayed. Return to the display state,
The work machine periphery monitoring system according to claim 2 or 3.
前記撮像装置は、前記作業機械から見た複数の方向の各々を撮像する複数のカメラを含み、
前記表示装置は、前記第１操作部により選択された前記周辺画像の一部領域を拡大した画像を表示する状態で、前記物体検知部により前記物体が検知された場合、前記複数のカメラのうちの当該物体が存在する領域を撮像する前記カメラの撮像画像を表示する、
請求項２又は３に記載の作業機械用周辺監視システム。 An object detection unit for detecting a predetermined object in a predetermined area around the work machine;
The imaging device includes a plurality of cameras for imaging each of a plurality of directions viewed from the work machine,
The display device displays an image obtained by enlarging a partial area of the peripheral image selected by the first operation unit, and detects the object by the object detection unit. Displaying a captured image of the camera that captures an area in which the object exists.
The work machine periphery monitoring system according to claim 2 or 3.
前記表示装置は、前記複数のカメラのうちの前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域を撮像する前記カメラの撮像画像を表示している状態で、前記物体検知部により前記物体が検知された場合、前記周辺画像及び前記カメラの撮像画像のうちの前記周辺画像だけを表示する、
請求項４乃至７の何れか一項に記載の作業機械用周辺監視システム。 An object detection unit for detecting a predetermined object in a predetermined area around the work machine;
The display device displays a captured image of the camera that captures a peripheral region of the work machine corresponding to a partial region of the peripheral image selected by the first operation unit among the plurality of cameras. In the state, when the object is detected by the object detection unit, only the peripheral image of the peripheral image and the captured image of the camera is displayed.
The work machine periphery monitoring system according to any one of claims 4 to 7.
前記表示装置は、前記複数のカメラのうちの前記第１操作部により選択された前記周辺画像の一部領域に対応する前記作業機械の周辺領域を撮像するカメラの撮像画像を表示している状態で、前記物体検知部により前記物体が検知された場合、前記複数のカメラのうちの当該物体が存在する領域を撮像する前記カメラの撮像画像を表示する、
請求項４乃至７の何れか一項に記載の作業機械用周辺監視システム。 An object detection unit for detecting a predetermined object in a predetermined area around the work machine;
The display device displays a captured image of a camera that captures a peripheral region of the work machine corresponding to a partial region of the peripheral image selected by the first operation unit among the plurality of cameras. When the object is detected by the object detection unit, a captured image of the camera that captures an area where the object exists among the plurality of cameras is displayed.
The work machine periphery monitoring system according to any one of claims 4 to 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017011635A JP6980391B2 (en) | 2017-01-25 | 2017-01-25 | Peripheral monitoring system for work machines |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017011635A JP6980391B2 (en) | 2017-01-25 | 2017-01-25 | Peripheral monitoring system for work machines |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018121221A true JP2018121221A (en) | 2018-08-02 |
| JP6980391B2 JP6980391B2 (en) | 2021-12-15 |
Family
ID=63045386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017011635A Active JP6980391B2 (en) | 2017-01-25 | 2017-01-25 | Peripheral monitoring system for work machines |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6980391B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020080294A1 (en) * | 2018-10-15 | 2020-04-23 | 日立建機株式会社 | Hydraulic excavator |
| CN113491110A (en) * | 2019-02-28 | 2021-10-08 | 住友重机械工业株式会社 | Display device, shovel, and information processing device |
| CN113661296A (en) * | 2019-03-27 | 2021-11-16 | 住友建机株式会社 | Construction machine and support system |
| JP2023147734A (en) * | 2022-03-30 | 2023-10-13 | 住友重機械工業株式会社 | Display device and display program |
| JP2024096270A (en) * | 2018-10-19 | 2024-07-12 | 住友建機株式会社 | Excavator |
| JP2024132895A (en) * | 2023-03-15 | 2024-10-01 | メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲー | Method for superimposing additional information on image data displayed on a display device of a digital vision system for a vehicle and digital vision system for a vehicle |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7508815B2 (en) * | 2020-03-13 | 2024-07-02 | コベルコ建機株式会社 | Work support server and work support method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006321419A (en) * | 2005-05-20 | 2006-11-30 | Nissan Motor Co Ltd | Video display device and video display method |
| JP2010198519A (en) * | 2009-02-27 | 2010-09-09 | Hitachi Constr Mach Co Ltd | Periphery monitoring device |
| JP2012074929A (en) * | 2010-09-29 | 2012-04-12 | Hitachi Constr Mach Co Ltd | Circumference monitor of work machine |
| JP2012082608A (en) * | 2010-10-08 | 2012-04-26 | Sumitomo (Shi) Construction Machinery Co Ltd | Monitoring device of work machine |
| JP2013034142A (en) * | 2011-08-03 | 2013-02-14 | Nippon Seiki Co Ltd | Peripheral image display device |
| JP2014225803A (en) * | 2013-05-16 | 2014-12-04 | 住友建機株式会社 | Periphery monitoring device for work machine |
| WO2016157462A1 (en) * | 2015-03-31 | 2016-10-06 | 株式会社小松製作所 | Work-machine periphery monitoring device |
| WO2016174953A1 (en) * | 2015-04-28 | 2016-11-03 | 株式会社小松製作所 | Periphery monitoring device for work machine and periphery monitoring method for work machine |
-
2017
- 2017-01-25 JP JP2017011635A patent/JP6980391B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006321419A (en) * | 2005-05-20 | 2006-11-30 | Nissan Motor Co Ltd | Video display device and video display method |
| JP2010198519A (en) * | 2009-02-27 | 2010-09-09 | Hitachi Constr Mach Co Ltd | Periphery monitoring device |
| JP2012074929A (en) * | 2010-09-29 | 2012-04-12 | Hitachi Constr Mach Co Ltd | Circumference monitor of work machine |
| JP2012082608A (en) * | 2010-10-08 | 2012-04-26 | Sumitomo (Shi) Construction Machinery Co Ltd | Monitoring device of work machine |
| JP2013034142A (en) * | 2011-08-03 | 2013-02-14 | Nippon Seiki Co Ltd | Peripheral image display device |
| JP2014225803A (en) * | 2013-05-16 | 2014-12-04 | 住友建機株式会社 | Periphery monitoring device for work machine |
| WO2016157462A1 (en) * | 2015-03-31 | 2016-10-06 | 株式会社小松製作所 | Work-machine periphery monitoring device |
| WO2016174953A1 (en) * | 2015-04-28 | 2016-11-03 | 株式会社小松製作所 | Periphery monitoring device for work machine and periphery monitoring method for work machine |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020080294A1 (en) * | 2018-10-15 | 2020-04-23 | 日立建機株式会社 | Hydraulic excavator |
| JP2020063569A (en) * | 2018-10-15 | 2020-04-23 | 日立建機株式会社 | Hydraulic excavator |
| JP2024096270A (en) * | 2018-10-19 | 2024-07-12 | 住友建機株式会社 | Excavator |
| JP7726614B2 (en) | 2018-10-19 | 2025-08-20 | 住友建機株式会社 | Excavator |
| CN113491110A (en) * | 2019-02-28 | 2021-10-08 | 住友重机械工业株式会社 | Display device, shovel, and information processing device |
| CN113661296A (en) * | 2019-03-27 | 2021-11-16 | 住友建机株式会社 | Construction machine and support system |
| JP2023147734A (en) * | 2022-03-30 | 2023-10-13 | 住友重機械工業株式会社 | Display device and display program |
| JP7657176B2 (en) | 2022-03-30 | 2025-04-04 | 住友重機械工業株式会社 | Display device and display program |
| JP2024132895A (en) * | 2023-03-15 | 2024-10-01 | メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲー | Method for superimposing additional information on image data displayed on a display device of a digital vision system for a vehicle and digital vision system for a vehicle |
| JP7806111B2 (en) | 2023-03-15 | 2026-01-26 | メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲー | Method for superimposing additional information on image data displayed on a display device of a digital vision system for a vehicle, and digital vision system for a vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6980391B2 (en) | 2021-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6980391B2 (en) | Peripheral monitoring system for work machines | |
| JP7108750B2 (en) | System and method | |
| JP7252137B2 (en) | Perimeter monitoring device | |
| JP7092688B2 (en) | Peripheral monitoring system for work machines | |
| CN109314769B (en) | Peripheral monitoring system for construction machinery | |
| JP7009063B2 (en) | Peripheral monitoring system for work machines | |
| CN107075840B (en) | Periphery monitoring device for working machine and periphery monitoring method for working machine | |
| JP6878025B2 (en) | Peripheral monitoring system for work machines | |
| KR101123738B1 (en) | System and method for monitoring safe operation of heavy machinery | |
| JP6577034B2 (en) | Work machine display system and work machine display method | |
| JP6052881B2 (en) | Perimeter monitoring equipment for work machines | |
| WO2016013686A1 (en) | Display system for work machine, display device for work machine, and display method for work machine | |
| WO2014148203A1 (en) | Periphery monitoring device for work machine | |
| CN103797789A (en) | Surrounding monitoring devices for working machines | |
| JP2014181508A (en) | Periphery monitoring apparatus for working machine | |
| JP2013253402A (en) | Surrounding monitoring device for work machine | |
| JP6740259B2 (en) | Work machine | |
| WO2014148204A1 (en) | Periphery monitoring device for work machine | |
| JP6925837B2 (en) | Peripheral monitoring system for work machines | |
| JP6391656B2 (en) | Peripheral monitoring device for work machine and work machine | |
| JP7329928B2 (en) | working machine | |
| EP4279667A1 (en) | Remote operation assistance server and remote operation assistance system | |
| JP2019071677A (en) | Shovel | |
| JP2017193956A (en) | Shovel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200915 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6980391 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |