JP2007011432A - Information processing apparatus and method, program, and recording medium - Google Patents
Information processing apparatus and method, program, and recording medium Download PDFInfo
- Publication number
- JP2007011432A JP2007011432A JP2005187699A JP2005187699A JP2007011432A JP 2007011432 A JP2007011432 A JP 2007011432A JP 2005187699 A JP2005187699 A JP 2005187699A JP 2005187699 A JP2005187699 A JP 2005187699A JP 2007011432 A JP2007011432 A JP 2007011432A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- light
- moving object
- information
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
【課題】 高速でかつ、ロバスト性の高い自律移動を行うことができるようにする。
【解決手段】 自動車101は、走行路面上に存在する障害物103−1、103−2、・・・に取り付けられた光源104−1、104−2、・・・をカメラ102で撮影することにより、光源104が点滅信号として発信する識別情報を取得し、どの方向にどのような障害物があるかを認識することにより、障害物を避けて走行し、矢印111に従って自動車101が自律的に走行することになる。本発明は、自動走行システムなどに適用することができる。
【選択図】図1PROBLEM TO BE SOLVED: To enable autonomous movement with high speed and high robustness.
An automobile 101 photographs with a camera 102 light sources 104-1, 104-2,... Attached to obstacles 103-1, 103-2,. Thus, the identification information transmitted as the blinking signal by the light source 104 is acquired, and the obstacle 101 is recognized in which direction, so that the vehicle 101 travels avoiding the obstacle and the vehicle 101 autonomously follows the arrow 111. I will run. The present invention can be applied to an automatic traveling system and the like.
[Selection] Figure 1
Description
本発明は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、高速でかつ、ロバスト性の高い自律移動を行うことができるようにする情報処理装置および方法、プログラム、並びに記録媒体に関する。 The present invention relates to an information processing device and method, a program, and a recording medium, and more particularly, to an information processing device and method, a program, and a recording medium that can perform autonomous movement at high speed and high robustness.
近年、コンピュータ、通信技術の発展に伴い、車やロボットなどの移動体を自律的に動作させる研究が盛んに行われている。例えば、自動社業界においては、交通システムのインテリジェント化を目指すITS(Intelligent Transport Systems)の一環として、自動走行の研究が行われている。ここでは、自動車などの横方向の操舵制御に、CCD(Charge Coupled Device)カメラによるレーンマーカの検出、DPSG(衛星通信位置検出システム)による自車位置の計測、自動車などの縦方向の制御には、レーザレーダやミリ波レーダを用いた車間距離制御、無線通信による近傍車両の位置情報の取得、などの技術が用いられている。 In recent years, with the development of computers and communication technologies, researches for autonomously moving moving objects such as cars and robots have been actively conducted. For example, in the auto industry, research on automated driving is being conducted as part of ITS (Intelligent Transport Systems) aiming at intelligent transportation systems. Here, for lateral steering control of automobiles, etc., detection of lane markers by CCD (Charge Coupled Device) camera, measurement of own vehicle position by DPSG (Satellite Communication Position Detection System), vertical control of automobiles, etc. Techniques such as inter-vehicle distance control using laser radar and millimeter wave radar and acquisition of position information of nearby vehicles by wireless communication are used.
また、ロボットの分野では、ヒューマノイドロボットなどの自律移動の研究が盛んに行われており、ここでは、ステレオカメラによる距離計測、画像認識の技術を用いた障害物認識、環境に埋め込まれたマーカによる位置の認識などが行われている。 In the field of robots, research on autonomous movement of humanoid robots has been actively conducted. Here, distance measurement using stereo cameras, obstacle recognition using image recognition technology, and markers embedded in the environment are used. Position recognition is performed.
今後は、遠方から複数の障害物の位置と方向を認識することにより、自動車やロボットなどの行動を制御する際に、事前に行動スケジュールを立てられるようになることが期待されている。 In the future, it is expected that an action schedule can be established in advance when controlling the actions of automobiles, robots, etc. by recognizing the positions and directions of a plurality of obstacles from a distance.
また、オブジェクトから発信される点滅信号に基づいて、オブジェクトの空間的な位置の情報を認識する技術も提案されている(例えば、特許文献1参照。)。 A technique for recognizing information on the spatial position of an object based on a blinking signal transmitted from the object has also been proposed (see, for example, Patent Document 1).
しかしながら、ITSで利用されているようなレーザレーダやミリ波レーダは、特定方向の障害物の存在と距離を確認するのみで、複数の障害物があった場合のそれぞれの物体の認識や、正確な位置の特定は困難である。また、カメラによるレーンマーカの検出などでは、近接してセンシング(撮像)することが前提となり、遠方の障害物を検知して、走行経路を制御するなどということは困難である。 However, laser radars and millimeter wave radars such as those used in ITS only confirm the presence and distance of obstacles in a specific direction, and recognize each object when there are multiple obstacles. It is difficult to specify the correct position. Further, detection of a lane marker by a camera, etc. is premised on sensing (imaging) in close proximity, and it is difficult to detect a distant obstacle and control a travel route.
ロボットなどの制御で使用されるステレオカメラや画像認識では演算処理に時間がかかり、高速に動く物体をリアルタイムに制御することは難しく、このような方法は、光の当たり方の変化などの撮影環境の変化や、ノイズによる画質の劣化などに対してロバスト性が高いとは言えない。 Stereo cameras used for control of robots and image recognition take time, and it is difficult to control objects that move at high speed in real time. It cannot be said that the robustness is high with respect to changes in image quality and degradation of image quality due to noise.
このように、従来の技術では、高速でかつ、さまざまな環境にも適用できるロバストな自動走行、自律移動システムを構築することができなかった。 Thus, with the conventional technology, it has been impossible to construct a robust automatic traveling and autonomous moving system that can be applied to various environments at high speed.
本発明はこのような状況に鑑みてなされたものであり、高速でかつ、ロバスト性の高い自律移動を行うことができるようにするものである。 The present invention has been made in view of such a situation, and makes it possible to perform autonomous movement with high speed and high robustness.
本発明の一側面の情報処理装置には、位置が固定された障害物に取り付けられた光源から発せられ、前記障害物に関する情報がコード化された点滅信号を、焦点を調節することが可能な光学系を介して2次元状に配置された受光部で受光する受光手段と、前記受光手段により受光された点滅信号をデコードし、前記障害物に関する情報を取得する取得手段と、前記受光手段において、受光された前記点滅信号に対応する光を受光した前記センサの受光部の位置、および前記取得手段により取得された前記障害物に関する情報に基づいて、移動する物体の動作を制御する制御手段とが設けられている。 The information processing apparatus according to one aspect of the present invention is capable of adjusting the focus of a blinking signal that is emitted from a light source attached to an obstacle whose position is fixed and in which information on the obstacle is coded. In a light receiving means for receiving light by a light receiving portion arranged two-dimensionally via an optical system, an acquisition means for decoding a blinking signal received by the light receiving means and acquiring information about the obstacle, and the light receiving means Control means for controlling the movement of the moving object based on the position of the light receiving unit of the sensor that has received light corresponding to the received blinking signal and information on the obstacle acquired by the acquisition means; Is provided.
前記点滅信号には、障害物を特定する識別情報が含まれ、受光手段は、移動する物体に固定されて取り付けられ、移動する物体が第1の位置にある時に、受光手段は、光源から発せられた光を受光し、移動する物体が第1の位置から移動し、第2の位置にある時に、受光手段は、再び光源から発せられた光を受光し、制御手段は、移動する物体が移動した距離、第1および第2の位置のそれぞれにおいて光を受光したそれぞれの受光部の位置に基づいて、移動する物体からみた光源の方向と光源までの距離を算出するようにすることができる。 The blinking signal includes identification information for identifying an obstacle, the light receiving means is fixedly attached to the moving object, and the light receiving means emits from the light source when the moving object is at the first position. When the moving object moves from the first position and is in the second position, the light receiving means receives the light emitted from the light source again, and the control means detects that the moving object is The direction of the light source viewed from the moving object and the distance to the light source can be calculated based on the distance moved and the position of each light receiving unit that receives light at each of the first and second positions. .
前記点滅信号には、移動する物体を特定する識別情報が含まれ、光源が移動する物体に取り付けられ、受光手段が障害物に取り付けられるようにすることができる。 The blinking signal includes identification information for identifying the moving object, and the light source can be attached to the moving object, and the light receiving means can be attached to the obstacle.
前記点滅信号には、障害物を特定する識別情報が含まれ、受光手段が、移動する物体に2つ以上固定されて取り付けられ、1つの光源から発せられる光を、2つの受光手段で同時に受光し、制御手段は、2つの受光手段のそれぞれにおいて、光を受光した受光部の位置に基づいて、移動する物体からみた光源の方向と光源までの距離を算出するようにすることができる。 The blinking signal includes identification information for identifying an obstacle, and two or more light receiving means are fixedly attached to a moving object, and light emitted from one light source is simultaneously received by the two light receiving means. Then, in each of the two light receiving means, the control means can calculate the direction of the light source viewed from the moving object and the distance to the light source based on the position of the light receiving unit that has received the light.
前記点滅信号には、移動する物体を特定する識別情報が含まれ、光源が移動する物体に取り付けられ、受光手段が障害物に取り付けられるようにすることができる。 The blinking signal includes identification information for identifying the moving object, and the light source can be attached to the moving object, and the light receiving means can be attached to the obstacle.
前記点滅信号には、障害物を特定する識別情報が含まれ、受光手段が、移動する物体上を予め設定された方向に、予め設定された距離だけ移動可能となるように取り付けられ、受光手段が第1の位置にある時に、受光手段は、光源から発せられる光を受光し、受光手段が第2の位置にある時に、受光手段は、再び光源から発せられる光を受光し、制御手段は、受光手段が移動した距離、第1および第2の位置のそれぞれにおいて光を受光したそれぞれの受光部の位置に基づいて、移動する物体からみた光源の方向と光源までの距離を算出するようにすることができる。 The blinking signal includes identification information for identifying an obstacle, and the light receiving means is attached so as to be movable in a preset direction on the moving object by a preset distance. When the light receiving means is at the first position, the light receiving means receives light emitted from the light source. When the light receiving means is at the second position, the light receiving means receives light emitted from the light source again, and the control means The direction of the light source viewed from the moving object and the distance to the light source are calculated based on the distance moved by the light receiving means and the positions of the respective light receiving portions that have received light at each of the first and second positions. can do.
前記点滅信号には、移動する物体を特定する識別情報が含まれ、光源が移動する物体に取り付けられ、受光手段が障害物に取り付けられるようにすることができる。 The blinking signal includes identification information for identifying the moving object, and the light source can be attached to the moving object, and the light receiving means can be attached to the obstacle.
前記点滅信号には、障害物を特定する識別情報および障害物の位置の情報が含まれ、受光手段は、移動する物体に固定されて取り付けられ、それぞれ3つの互いに異なる障害物に取り付けられた、3つの光源から発せられた光を、受光手段で同時に受光し、制御手段は、3つ光源の光を受光したそれぞれの受光部の位置、および点滅信号に含まれる障害物の位置の情報に基づいて、移動する物体からみた光源の方向と光源までの距離を算出するようにすることができる。 The blinking signal includes identification information for identifying an obstacle and information on the position of the obstacle, and the light receiving means is fixedly attached to the moving object and attached to three different obstacles, respectively. The light emitted from the three light sources is simultaneously received by the light receiving means, and the control means is based on the information on the positions of the respective light receiving portions that have received the lights of the three light sources and the position of the obstacle included in the blinking signal. Thus, the direction of the light source viewed from the moving object and the distance to the light source can be calculated.
前記点滅信号には、移動する物体を特定する識別情報および移動する物体の位置の情報が含まれ、光源が移動する物体に取り付けられ、受光手段が障害物に取り付けられ、それぞれ3つの互いに異なる障害物に取り付けられた、3つの受光手段が光源から発せられた光を同時に受光するようにすることができる。 The blinking signal includes identification information for identifying the moving object and information on the position of the moving object. The light source is attached to the moving object, the light receiving means is attached to the obstacle, and each of the three different obstacles. Three light receiving means attached to the object can simultaneously receive light emitted from the light source.
前記点滅信号には、障害物を特定する識別情報および障害物の位置の情報が含まれ、1つの障害物に、それぞれの取り付け位置が予め定められた多角形の頂点を形成されるように、複数の光源が取り付けられ、1つの障害物に取り付けられた3つ以上の互いに異なる光源から発せられた光を、受光手段で同時に受光し、制御手段は、多角形の形状、3つ以上の光源の光を受光したそれぞれの受光部の位置、および点滅信号に含まれる障害物の位置の情報に基づいて、移動する物体からみた光源の方向と光源までの距離を算出するようにすることができる。 The blinking signal includes identification information for identifying an obstacle and information on the position of the obstacle, and each obstacle is formed with a predetermined polygonal vertex at each attachment position. A plurality of light sources are attached, and light emitted from three or more different light sources attached to one obstacle is simultaneously received by the light receiving means, and the control means has a polygonal shape and three or more light sources. The direction of the light source viewed from the moving object and the distance to the light source can be calculated based on the information on the position of each light receiving unit that has received the light and the position of the obstacle included in the blinking signal. .
前記点滅信号には、障害物を特定する識別情報および障害物の位置の情報が含まれ、移動する物体に搭載されたGPS(Global Positioning System)から取得される自律移動体の位置情報と、および点滅信号に含まれる障害物の位置の情報に基づいて、移動する物体からみた光源の方向と光源までの距離を算出するようにすることができる。 The blinking signal includes identification information for identifying the obstacle and information on the position of the obstacle, and the position information of the autonomous mobile body obtained from GPS (Global Positioning System) mounted on the moving object, and The direction of the light source viewed from the moving object and the distance to the light source can be calculated based on the information on the position of the obstacle included in the blinking signal.
前記移動する物体の移動経路の両側に、光源を取り付け、制御手段は、移動する物体を、移動経路に沿って移動させるように制御するようにすることができる。 Light sources may be attached to both sides of the moving path of the moving object, and the control unit may control the moving object to move along the moving path.
前記点滅信号には、移動する物体を特定する識別情報が含まれ、光源が移動する物体に取り付けられ、受光手段が移動経路の両側に取り付けられるようにすることができる。 The blinking signal includes identification information for identifying the moving object, and the light source can be attached to the moving object, and the light receiving means can be attached to both sides of the moving path.
前記点滅信号には、移動する物体に対する動作の指令がさらに含まれ、制御手段は、点滅信号に含まれる指令に基づいて、移動する物体の動作を制御するようにすることができる。 The blink signal further includes an operation command for the moving object, and the control means can control the operation of the moving object based on the command included in the blink signal.
前記点滅信号には、移動する物体の移動経路に関する情報がさらに含まれるようにすることができる。 The blinking signal may further include information related to the moving path of the moving object.
前記移動経路は、予め定められた規格に従って形成される複数の経路が組み合わされて構成され、移動経路に関する情報には、経路の長さとカーブの曲率が含まれるようにすることができる。 The moving route is configured by combining a plurality of routes formed according to a predetermined standard, and the information on the moving route may include the length of the route and the curvature of the curve.
前記移動する物体および障害物に、それぞれ光源と受光手段とが取り付けられ、移動する物体と、障害物の間で光通信が行われるようにすることができる。 A light source and a light receiving unit are attached to the moving object and the obstacle, respectively, so that optical communication can be performed between the moving object and the obstacle.
本発明の一側面の情報処理方法には、位置が固定された障害物に取り付けられた光源から発せられ、前記障害物に関する情報がコード化された点滅信号を、焦点を調節することが可能な光学系を介して2次元状に配置された受光部で受光する受光手段により受光された点滅信号をデコードし、前記障害物に関する情報を取得する取得ステップと、前記受光手段において、受光された前記点滅信号に対応する光を受光した前記センサの受光部の位置、および前記取得ステップの処理により取得された前記障害物に関する情報に基づいて、移動する物体からみた前記障害物の方向と前記障害物までの距離を特定する特定ステップと、前記特定ステップの処理により特定された前記障害物の方向と前記障害物までの距離に応じて前記移動する物体の動作を制御する制御ステップとが含まれる。 In the information processing method according to one aspect of the present invention, it is possible to adjust the focus of a blinking signal that is emitted from a light source attached to an obstacle whose position is fixed and in which information on the obstacle is coded. Decoding the blinking signal received by the light receiving means that receives light in the two-dimensionally arranged light receiving unit via the optical system, and obtaining information about the obstacle; and the light received by the light receiving means Based on the position of the light receiving unit of the sensor that has received the light corresponding to the blinking signal and the information on the obstacle acquired by the processing of the acquiring step, the direction of the obstacle and the obstacle viewed from the moving object A specifying step of specifying a distance to the object, a direction of the obstacle specified by the processing of the specifying step, and a movement of the moving object according to the distance to the obstacle Control steps for controlling the operation.
本発明の一側面のプログラムは、位置が固定された障害物に取り付けられた光源から発せられ、前記障害物に関する情報がコード化された点滅信号を、焦点を調節することが可能な光学系を介して2次元状に配置された受光部で受光する受光手段により受光された点滅信号をデコードし、前記障害物に関する情報の取得を制御する取得制御ステップと、前記受光手段において、受光された前記点滅信号に対応する光を受光した前記センサの受光部の位置、および前記取得制御ステップの処理により取得された前記障害物に関する情報に基づいて、移動する物体からみた前記障害物の方向と前記障害物までの距離の特定を制御する特定制御ステップと、前記特定制御ステップの処理により特定された前記障害物の方向と前記障害物までの距離に応じて前記移動する物体の動作を制御する制御ステップとをコンピュータに実行させる。 A program according to one aspect of the present invention is an optical system that can adjust a focal point of a blinking signal that is emitted from a light source attached to an obstacle whose position is fixed and in which information on the obstacle is coded. A flashing signal received by a light receiving means that receives light in a two-dimensionally arranged light receiving unit, and an acquisition control step for controlling acquisition of information on the obstacle, and the light received by the light receiving means Based on the position of the light receiving unit of the sensor that has received the light corresponding to the blinking signal, and information on the obstacle acquired by the processing of the acquisition control step, the direction of the obstacle and the obstacle viewed from the moving object A specific control step for controlling the specification of the distance to the object, the direction of the obstacle specified by the processing of the specific control step, and the distance to the obstacle. And a control step of controlling the movement of the moving object.
本発明の一側面の情報処理装置および方法、並びにプログラムにおいては、位置が固定された障害物に取り付けられた光源から発せられ、障害物に関する情報がコード化された点滅信号が、焦点を調節することが可能な光学系を介して2次元状に配置された受光部で受光されてデコードされ、障害物に関する情報が取得され、受光された点滅信号に対応する光を受光したセンサの受光部の位置、取得された障害物に関する情報に基づいて、移動する物体からみた障害物の方向と障害物までの距離が特定され、障害物の方向と障害物までの距離に応じて移動する物体の動作が制御される。 In the information processing apparatus, method, and program according to one aspect of the present invention, a blinking signal that is emitted from a light source attached to an obstacle with a fixed position and that encodes information about the obstacle adjusts the focus. The light receiving unit arranged in a two-dimensional manner via an optical system capable of receiving and decoding the information about the obstacle, and receiving the light corresponding to the received blinking signal The direction of the obstacle and the distance to the obstacle as seen from the moving object are specified based on the position and the acquired information on the obstacle, and the movement of the object according to the direction of the obstacle and the distance to the obstacle Is controlled.
本発明の一側面によれば、自律移動を行うことができる。また、本発明の一側面によれば、高速でかつ、ロバスト性の高い自律移動を行うことができる。 According to one aspect of the present invention, autonomous movement can be performed. In addition, according to one aspect of the present invention, it is possible to perform autonomous movement with high speed and high robustness.
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between the configuration requirements of the present invention and the embodiments described in the detailed description of the present invention are exemplified as follows. This description is to confirm that the embodiments supporting the present invention are described in the detailed description of the invention. Accordingly, although there are embodiments that are described in the detailed description of the invention but are not described here as embodiments corresponding to the constituent elements of the present invention, It does not mean that the embodiment does not correspond to the configuration requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.
本発明の一側面は、位置が固定された障害物(例えば、図1の障害物103)に取り付けられた光源(例えば、図1の光源104)から発せられ、前記障害物に関する情報がコード化された点滅信号を、焦点を調節することが可能な光学系(例えば、図2のレンズ162)を介して2次元状に配置された受光部(例えば、図6の受光セル181)で受光する受光手段(例えば、図1のカメラ102)と、前記受光手段により受光された点滅信号をデコードし、前記障害物に関する情報を取得する取得手段(例えば、図5の制御部121)と、前記受光手段において、受光された前記点滅信号に対応する光を受光した前記センサの受光部の位置、および前記取得手段により取得された前記障害物に関する情報に基づいて、移動する物体の動作を制御する制御手段(例えば、図5の移動制御部122)とを備える情報処理装置である。
One aspect of the present invention is that light emitted from a light source (eg,
この情報処理装置は、前記点滅信号には、前記障害物を特定する識別情報が含まれ、前記受光手段は、前記移動する物体に固定されて取り付けられ、前記移動する物体が第1の位置(例えば、図7の移動前の位置)にある時に、前記受光手段は、前記光源から発せられた光を受光し、前記移動する物体が前記第1の位置から移動し、第2の位置(例えば、図7の移動後の位置)にある時に、前記受光手段は、再び前記光源から発せられた光を受光し、前記制御手段は、前記移動する物体が移動した距離、第1および第2の位置のそれぞれにおいて光を受光したそれぞれの受光部の位置(例えば、図7の受光ポイントA1とA2)に基づいて、前記移動する物体からみた前記光源の方向と前記光源までの距離を算出するようにすることができる。 In the information processing apparatus, the blinking signal includes identification information for identifying the obstacle, the light receiving unit is fixedly attached to the moving object, and the moving object is moved to a first position ( For example, when the light receiving means is at a position before movement in FIG. 7, the light receiving means receives light emitted from the light source, the moving object moves from the first position, and a second position (for example, , The light receiving means again receives the light emitted from the light source, and the control means receives the distance traveled by the moving object, the first and second The direction of the light source viewed from the moving object and the distance to the light source are calculated based on the positions of the respective light receiving portions that have received light at each position (for example, the light receiving points A1 and A2 in FIG. 7). Can be.
この情報処理装置は、前記点滅信号には、前記移動する物体を特定する識別情報が含まれ、前記光源が前記移動する物体に取り付けられ、前記受光手段が前記障害物に取り付けられる(例えば、図12に示されるように取り付けられる)ようにすることができる。 In this information processing apparatus, the blinking signal includes identification information for identifying the moving object, the light source is attached to the moving object, and the light receiving means is attached to the obstacle (for example, FIG. 12).
この情報処理装置は、前記点滅信号には、前記移動する物体を特定する識別情報が含まれ、前記光源が前記移動する物体に取り付けられ、前記受光手段が前記障害物に取り付けられる(例えば、図12に示されるように取り付けられる)ようにすることができる。 In this information processing apparatus, the blinking signal includes identification information for identifying the moving object, the light source is attached to the moving object, and the light receiving means is attached to the obstacle (for example, FIG. 12).
この情報処理装置は、前記点滅信号には、前記移動する物体を特定する識別情報が含まれ、前記光源が前記移動する物体に取り付けられ、前記受光手段が前記障害物に取り付けられる(例えば、図12に示されるように取り付けられる)ようにすることができる。 In this information processing apparatus, the blinking signal includes identification information for identifying the moving object, the light source is attached to the moving object, and the light receiving means is attached to the obstacle (for example, FIG. 12).
この情報処理装置は、前記点滅信号には、前記障害物を特定する識別情報および前記障害物の位置の情報が含まれ、前記受光手段は、前記移動する物体に固定されて取り付けられ、それぞれ3つの互いに異なる前記障害物に取り付けられた、3つの前記光源(例えば、図8の点A乃至Cに対応する光源)から発せられた光を、前記受光手段で同時に受光し、前記制御手段は、前記3つ光源の光を受光したそれぞれの受光部の位置、および前記点滅信号に含まれる前記障害物の位置の情報に基づいて、前記移動する物体からみた前記光源の方向と前記光源までの距離を算出するようにすることができる。 In this information processing apparatus, the blinking signal includes identification information for identifying the obstacle and information on the position of the obstacle, and the light receiving means is fixedly attached to the moving object, and 3 Light emitted from three light sources (for example, light sources corresponding to points A to C in FIG. 8) attached to two different obstacles are simultaneously received by the light receiving means, and the control means includes: The direction of the light source viewed from the moving object and the distance to the light source based on the information of the position of each light receiving unit that has received the light of the three light sources and the position of the obstacle included in the blinking signal Can be calculated.
この情報処理装置は、前記点滅信号には、前記移動する物体を特定する識別情報および前記移動する物体の位置の情報が含まれ、前記光源が前記移動する物体に取り付けられ、前記受光手段が前記障害物に取り付けられ(例えば、図12に示されるように取り付けられる)、それぞれ3つの互いに異なる前記障害物に取り付けられた、3つの前記受光手段が前記光源から発せられた光を同時に受光するようにすることができる。 In this information processing apparatus, the blinking signal includes identification information for identifying the moving object and information on the position of the moving object, the light source is attached to the moving object, and the light receiving means is The three light receiving means attached to the obstacle (for example, attached as shown in FIG. 12), each attached to the three different obstacles, simultaneously receive the light emitted from the light source. Can be.
この情報処理装置は、前記点滅信号には、前記障害物を特定する識別情報および前記障害物の位置の情報が含まれ、1つの前記障害物に、それぞれの取り付け位置が予め定められた多角形(例えば各辺の長さが既知の三角形)の頂点を形成されるように、複数の前記光源が取り付けられ(例えば、図9の光源104a−1乃至104c−1のように取り付けられ)、前記1つの障害物に取り付けられた3つ以上の互いに異なる前記光源から発せられた光を、前記受光手段で同時に受光し、前記制御手段は、前記多角形の形状、前記3つ以上の光源の光を受光したそれぞれの受光部の位置、および前記点滅信号に含まれる前記障害物の位置の情報に基づいて、前記移動する物体からみた前記光源の方向と前記光源までの距離を算出するようにすることができる。
In this information processing apparatus, the blinking signal includes identification information for identifying the obstacle and information on the position of the obstacle, and each of the obstacles is a polygon in which each attachment position is predetermined. A plurality of the light sources are attached (for example, attached as
この情報処理装置は、前記移動する物体の移動経路(例えば、図11のレーン)の両側に、前記光源を取り付け、前記制御手段は、前記移動する物体を、前記移動経路に沿って移動させるように制御するようにすることができる。 In this information processing apparatus, the light source is attached to both sides of a moving path (for example, the lane in FIG. 11) of the moving object, and the control unit moves the moving object along the moving path. Can be controlled.
この情報処理装置は、前記点滅信号には、前記移動する物体に対する動作の指令(例えば走行、または停止など)がさらに含まれ、前記制御手段は、前記点滅信号に含まれる指令に基づいて、前記移動する物体の動作を制御するようにすることができる。 In the information processing apparatus, the blinking signal further includes an operation command (for example, traveling or stopping) for the moving object, and the control unit is configured to perform the operation based on the command included in the blinking signal. The movement of the moving object can be controlled.
この情報処理装置は、前記移動経路は、予め定められた規格に従って形成される複数の経路(例えば、図13のレーン303)が組み合わされて構成され、前記移動経路に関する情報には、前記経路の長さとカーブの曲率が含まれるようにすることができる。 In this information processing apparatus, the movement route is configured by combining a plurality of routes (for example, lane 303 in FIG. 13) formed in accordance with a predetermined standard. Length and curve curvature can be included.
本発明の一側面は、位置が固定された障害物(例えば、図1の障害物103)に取り付けられた光源(例えば、図1の光源104)から発せられ、前記障害物に関する情報がコード化された点滅信号を、焦点を調節することが可能な光学系(例えば、図2のレンズ162)を介して2次元状に配置された受光部(例えば、図6の受光セル181)で受光する受光手段(例えば、図1のカメラ102)により受光された点滅信号をデコードし、前記障害物に関する情報を取得する取得ステップ(例えば、図10のステップS102)と、前記受光手段において、受光された前記点滅信号に対応する光を受光した前記センサの受光部の位置、および前記取得ステップの処理により取得された前記障害物に関する情報に基づいて、移動する物体からみた前記障害物の方向と前記障害物までの距離を特定する特定ステップ(例えば、図10のステップS104、S105)と、前記特定ステップの処理により特定された前記障害物の方向と前記障害物までの距離に応じて前記移動する物体の動作を制御する制御ステップ(例えば、図10のステップS107、S109)とを含む情報処理方法である。
One aspect of the present invention is that light emitted from a light source (eg,
以下、図面を参照して、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明を適用した移動制御システムの一実施形態に係る構成例を示す図である。 FIG. 1 is a diagram illustrating a configuration example according to an embodiment of a mobility control system to which the present invention is applied.
同図において、移動する物体である自動車101は、例えば、マイクロコンピュータなどにより構成される移動制御部の制御に従って自律的に走行路面の上を移動(走行)する。自動車101の上部にカメラ102が搭載されている。
In the figure, an
カメラ102は、レンズとイメージセンサを有する構成とされ、撮像した画像に対応する信号を移動制御部に供給する。カメラ102は、レンズを介して集光された光をイメージセンサで検知し、例えば検知した光に対応する信号を出力する。
The
走行路面上には、障害物103−1、103−2、・・・で示される円筒状の障害物が設けられている。障害物103−1、103−2、・・・には、例えば、LED(Light Emitting Diode)などにより構成され、光を発する光源であり所定の間隔で点滅する光源104−1、104−2、・・・がそれぞれ取り付けられている。なお、ここでは、障害物103−1、103−2(光源104−1、104−2)のみに符号が付されているが、それ以外の障害物と光源も同様の構成とされるので、障害物103−1、103−2、・・・(光源104−1、104−2、・・・)のように記載している。また、障害物103−1、103−2、・・・、または光源104−1、104−2、・・・を個々に区別する必要がない場合、それぞれ障害物103または光源104と称する。
Cylindrical obstacles indicated by obstacles 103-1, 103-2,... Are provided on the traveling road surface. The obstacles 103-1, 103-2,... Are composed of, for example, LEDs (Light Emitting Diodes) and the like, are light sources that emit light, and light sources 104-1 and 104-2 that blink at predetermined intervals. ... are attached to each. Here, only the obstacles 103-1 and 103-2 (light sources 104-1 and 104-2) are provided with symbols, but other obstacles and light sources have the same configuration. Obstacles 103-1, 103-2,... (Light sources 104-1, 104-2,...) Are described. .. Or the light sources 104-1, 104-2,... Are individually referred to as the
障害物103の光源104は、光の点滅信号により障害物103を個々に識別することが可能な識別情報を発信する。自動車101は、光源104をカメラ102で撮影することにより、光源104が発信する識別情報を取得し、どの方向にどのような障害物があるかを認識することにより、障害物を避けて走行路面を移動する。この例では、例えば、障害物103−1と障害物103−2との間を通り、それ以降の障害物を避けて進む矢印111に従って自動車101が自律的に走行することになる。
The
図2は、カメラ102による撮像の原理を表している。同図に示されるように、光源104−1の画像は、レンズ162によりイメージセンサ161上の1つのピクセル(画素)171−1に結像される。同様に、光源104−2,104−3の画像は、それぞれレンズ162によりイメージセンサ161上のピクセル171−2,171−3に結像する。なお、実際には、光源104−1乃至104−3は、1つのピクセルではなく、複数のピクセル上に結像される。すなわち、1つの光源は複数のピクセルにより表示されるが、その場合にはその複数のピクセルデータが加算され、その加算された値に基づいてその光源の点滅信号が読み取られる。
FIG. 2 shows the principle of imaging by the
以下においては、説明を簡単にするために、特に断らない限り、1つの光源の画像が1つのピクセルに結像するものとして説明をする。 In the following, in order to simplify the description, it is assumed that an image of one light source is formed on one pixel unless otherwise specified.
障害物103は、例えば、図3に示されるような内部構成を有している。同図において、クロック発生部201は、基準となるクロック信号を、フレーム生成部202に供給する。フレーム生成部202は、クロック発生部201より供給されたクロックに同期して、例えば、障害物103を識別する識別情報などを含むフレームを生成する。
The
送信部203は、フレーム生成部202より供給されたフレームを、例えばマンチェスタ符号に符号化し、その符号化データに基づいて光源104を点滅させることで点滅信号を送信する。すなわち、自動車101のカメラ102に対して、明るさの変化する画像を提示することで情報が提供される。点滅は、基本的には光が出射される期間(第1の期間)と、出射が停止される期間(第2の期間)とで実現されるが、第2の期間において、光は必ずしも完全に出射を停止せずとも、第1の期間と識別できる程度のレベルで出射されていてもよい。
The
制御部204は、クロック発生部201、フレーム生成部402、並びに送信部203の動作を制御する。
The
フレーム生成部202により発生されるフレームは、例えば、図4に示されるフォーマット構成とされる。この実施形態においては、フレームの先頭にスタートビット(Start)が配置され、その次に識別情報が配置され、その次に付加情報が配置され、その次にFCS(Frame Check Sequence)が配置され、最後に、ストップビット(Stop)が配置されている。
The frame generated by the
スタートビットとストップビットは、それぞれフレームのスタート位置と停止位置を表す。識別情報は、障害物103を特定(識別)する情報である。識別情報は、画像を提示する提示元としての障害物103を直接特定する情報とすることができるが、最終的に特定できる情報であれば、間接的に特定する情報とすることもできる。付加情報は、例えば、障害物103から自動車101に提供する識別情報以外の情報であって、障害物103の位置、大きさや形などを表す情報としたり、また、自動車101の走行を制御するコマンド、道案内、地域情報、宣伝といった情報とすることもできる。
The start bit and stop bit represent the start position and stop position of the frame, respectively. The identification information is information that identifies (identifies) the
FCS(Frame Check Sequence)は、エラー訂正のための符号である。 FCS (Frame Check Sequence) is a code for error correction.
自動車101は、例えば、図5に示されるような内部構成を有している。この例では、自動車101に、カメラ102、制御部121、および移動制御部122が設けられている。
The
カメラ102のセンサチップ131は、図6に示されるように、基本的にピクセルアレイ151とアナログメモリアレイ152により構成されている。ピクセルアレイ151は、図2におけるイメージセンサ161に対応する。ピクセルアレイ151には、複数の受光セル181がマトリクス状に配置されている。同様に、アナログメモリアレイ152も複数のメモリセル191がマトリクス状に配置されている。
As shown in FIG. 6, the
ピクセルVデコーダ153は、レンズ162により入射された光に基づく画像のピクセルデータを、各受光セル181の列毎に設けられている垂直信号線182を利用して、受光セル181の行単位で、ピクセルHデコーダ154に転送するか、または、アナログメモリアレイ152の対応するメモリセル191に転送する。ピクセルHデコーダ154は、ピクセルアレイ151より入力されたライン毎のピクセルデータを必要に応じて画像信号として出力する。
The
メモリVデコーダ155は、アナログメモリアレイ152の各メモリセル191に保持されたピクセルデータを、ライン毎にコンパレータ156に出力する。コンパレータ156は、2つのフレームの対応するピクセルデータの大きさを比較し、その比較結果に基づく論理としてのデータをメモリHデコーダ157に出力する。メモリHデコーダ157は、コンパレータ156より入力されたデータを光信号検出結果出力として出力する。
The
なお、センサチップ131においては、ピクセルアレイ151のすべての受光セル181に保持されたピクセルデータだけでなく、その一部の範囲の受光セル181に保持されたピクセルデータだけをアナログメモリアレイ152の対応するメモリセル191に転送し、その一部のピクセルデータについてだけコンパレータ156で比較することが可能である。また、R,G,Bの3色のうちの任意の色成分だけを転送したり、比較することが可能である。
In the
図5の制御部121は、光信号検出結果出力に対して所定の処理を施して、処理結果のデータを移動制御部122に出力する。制御部121は、例えば、光源104から発せられた光を受光した、センサチップ131の受光セルの位置を表す情報を出力したり、符号化データに基づいて光源104を点滅させることで生成された点滅信号をデコードして識別情報や付加情報を取得するなどの処理を行う。移動制御部122は、制御部121から供給されるデータに基づいて、自動車101の加速、減速、進行方向の変更などの制御を行うことにより自動車101を走行させる。
The control unit 121 in FIG. 5 performs predetermined processing on the optical signal detection result output, and outputs the processing result data to the
なお、センサチップ131により、走行路面の景色など通常の画像も撮像されるようにしてもよい。あるいはまた、光源104が発信する点滅信号を受信するためのセンサチップ131と、通常の画像を撮像するためのセンサチップとを別に用意してもよい。この場合、双方のセンサチップにおける光軸や画角を適切に調整し、点滅信号と画像を組み合わせて新しい機能を持たせることも可能となる。例えば、点滅信号の受光ポイントと、点滅信号の受光時に撮像された画像を重ね合わせることにより、障害物103の大きさや形状の認識を画像処理を用いて行うなどすることが可能となる。
It should be noted that a normal image such as a view of the traveling road surface may also be captured by the
自動車101は、同一の光源からの光の点滅信号を、移動しながら2箇所の位置で、カメラ102により撮像する。そして、イメージセンサ161における光源の画像が撮像された画素の位置の変化、つまり視差の情報を用いて、光源までの距離を計算することが可能となる。このようにして、自動車101は、光源104が発信する識別情報を取得して障害物103を認識することにより、障害物103を避けて走行路面を移動する。
The
図7は、障害物103までの距離の算出原理を説明する図である。ここでは、ステレオ視による三角測量の原理と同様にして、カメラ102(自動車101)から光源104(障害物103)までの距離を算出する。
FIG. 7 is a diagram for explaining the calculation principle of the distance to the
自動車101上のカメラ102は、ある位置で光源104からの点滅信号を受信し(撮像し)、その後、速度Vで時間tの間移動した時点で、再び光源104からの点滅信号を受信するものとする。ここで、自動車101の移動した距離Lは、自動車101の速度Vと移動時間tの積として求めることができる。なお、自動車101は、図中上下方向の長さをもつ点線で示されるカメラ102のレンズ162の光軸と垂直な方向に移動するものとする。
The
自動車101の移動前の位置において、光源104から発せられる光は、矢印a11を中心とする光としてレンズ162を介して集光され、イメージセンサ161上のポイントA1に対応する画素に結像したものとする。また、自動車101が距離Lだけ移動した後の位置において、光源104から発せられる光は、矢印a12を中心とする光としてレンズ162を介して集光され、イメージセンサ161上のポイントA2に対応する画素に結像したものとする。この場合、イメージセンサ161上のポイントA1とA2との間の距離が、自動車101の移動前と移動後の2地点における視差Zとなる。なお、ポイントA1とA2の情報は、例えば、イメージセンサ161における水平方向と垂直方向の位置に対応するXY座標の情報として制御部121により生成される。
The light emitted from the
レンズ162の焦点距離をfとすると、2地点での視差Z、焦点距離f、2地点間の距離Lを用いて、レンズ162から光源104までの距離Dを求めることが可能となる。すなわち、距離Dは次式により算出される。
If the focal length of the
D=L×f/Z D = L × f / Z
上述したような計算が、自動車101の移動制御部122で行われることにより、自動車101は、障害物103までの距離を算出する。
The calculation as described above is performed by the
例えば、通常の画像処理により距離計測を行うステレオ視では、撮像された2つの画像の中の同じ位置を検出する(マッチングをとる)ため、演算処理に時間がかかり、また不鮮明な被写体や画質が悪い場合などはマッチングできない時が生ずるが、本発明では、点滅する光信号を検出するので、光源104の位置のマッチングをとるだけで済み、演算処理は容易になりロバスト性も向上する。また、複数の光源がカメラの視野に同時に入ったとしても、それぞれの識別情報を判別することにより、各光源を区別することが可能である。
For example, in stereo vision that performs distance measurement by normal image processing, the same position in two captured images is detected (matching), so it takes time to perform arithmetic processing, and the subject and image quality are unclear. In some cases, however, the matching cannot be performed. However, in the present invention, since the flashing optical signal is detected, it is only necessary to match the position of the
さらに、ポイントA1とA2の位置に基づいて、自動車101は障害物103のある方向を認識することが可能となる。
Furthermore, the
このようにして、自動車101は、カメラ102の視野角に入る複数の障害物までの距離と方向の情報が取得可能となる。また、走行中新たな障害物がカメラ視野に見出されれば、再び同様な操作が行われ、障害物までの距離と方向の情報が取得される(認識される)。これにより、自動車101は、例えば、障害物を回避できる走行経路を決定し、その走行経路に沿って進行方向を制御しながら自律的に走行することができる。
In this way, the
ここでは、レンズ162の光軸に垂直に自動車101が移動した場合を例として説明したが、自動車101の移動方向がレンズ162の光軸と垂直でなかったり、光軸が回転したりするような場合でも、その回転角を知る手段があれば、同様な幾何学的な計算から、レンズから光源までの距離の算出が可能である。
Here, the case where the
また、ここでは、自動車101にカメラ102が1台搭載される場合の例について説明したが、例えば、自動車101上の所定の2箇所に2台のカメラ102−1と102−2が搭載されるようにしてもよい。これにより、1つの光源104の画像を2台のカメラ102−1と102−2により同時に撮像することが可能となる。なお、カメラ102−1と102−2の取り付け位置は既知であり、2台のカメラのそれぞれに、同様のレンズ162およびイメージセンサ161が設けられるものとする。
Here, an example in which one
この場合、同じ光源104からの光信号が、視差の違いにより、それぞれのカメラのイメージセンサ上で異なる座標の位置(ポイント)において同時に受光される。そして、カメラ102−1のイメージセンサ上で光信号を受光したポイント(座標)と、カメラ102−2のイメージセンサ上で光信号を受光したポイント(座標)との間の距離が視差となる。これにより、いわゆるステレオ視の原理から、その視差の大きさと2台のカメラの設置間隔から、光源までの距離を計測することができる。
In this case, optical signals from the same
このようにすることで、自動車101を移動させなくても障害物103までの距離と方向を認識させることができる。
In this way, the distance and direction to the
なお、いまの場合、図7において自動車101が移動した距離とされたた距離Lを2台のカメラ間の固定された間隔に置き換えることによりレンズと光源との間の距離を算出することができる。
In this case, the distance between the lens and the light source can be calculated by replacing the distance L, which is the distance traveled by the
あるいはまた、例えばカメラ102を、自動車101の上部に設けられた所定の長さのレールなどの上に載せ、レール上の一方の端部から他方の端部に、カメラ102が充分速い速度でスライドできるようにすれば、1台のカメラ102で、1つの光源104の画像を異なる2つの地点でほぼ同時に撮影することも可能となる。従って、いわゆるステレオ視の原理から、その視差の大きさとカメラの移動距離(いまの場合、レールの長さ)から、光源までの距離を計測することができる。
Alternatively, for example, the
このようにすることで、やはり自動車101を移動させなくても障害物103までの距離と方向を認識させることができる。
In this way, the distance and direction to the
以上においては、カメラ102を2つの異なる地点に移動させて1つの光源104を撮像することにより、障害物103(光源104)と自分との相対的な位置の関係を認識する例について説明したが、光源104から発せられる信号において、例えば、付加情報として光源104が取り付けられている障害物103の位置を表す情報(例えば、座標など)を付加して発信させるようにすれば、カメラ102を2つの異なる地点に移動させることなく、障害物103(光源104)と自分との相対的な位置の関係を認識させることも可能である。
In the above, an example has been described in which the
このようにすることで、自動車101は、光源104から発信される点滅信号をカメラ102で撮像し、点滅信号をデコードすることにより障害物103の位置の情報を得ることができる。その結果、上述したように2地点で点滅信号を受信しなくても、自動車101は、自分と障害物103との間の距離を算出することが可能となる。
In this way, the
ただしこの場合、1つの地点において、1つの障害物103(光源104)から発せられる点滅信号を受信しただけでは、障害物の絶対的な位置は把握できても、自分と障害物103の位置の相対的関係はわからない。そこで、カメラ102の視野角に3つ以上の障害物103が入るように、障害物103を配置する(またはカメラ102を調整する)。このように3つの障害物103の位置情報信号をそれぞれ取得できれば、一意に自動車101からそれぞれの障害物103までの距離を算出することができる。
However, in this case, if only the blinking signal emitted from one obstacle 103 (light source 104) is received at one point, the absolute position of the obstacle can be grasped. I don't know the relative relationship. Therefore, the
この場合の障害物103までの距離の算出方法について、図8を参照して説明する。同図において、点A乃至Cは、それぞれ3つの光源(例えば、光源104−1乃至104−3)の位置に対応している。なお、ここでは、説明を簡単にするために点A乃至Cにより一辺の長さが距離Kである正三角形が形成されるものとする。
A method for calculating the distance to the
光源104−1(点A)から発せられた光は、矢印a21を中心とする光としてレンズ162により集光され、イメージセンサ161上のポイントP1に対応する画素に結像したものとする。同様に、光源104−2(点B)または光源104−3(点C)から発せられた光は、矢印b21またはc21を中心とする光としてレンズ162により集光され、イメージセンサ161上のポイントP2またはP3に対応する画素に、それぞれ結像したものとする。
It is assumed that light emitted from the light source 104-1 (point A) is collected by the
例えば、レンズ162と点A(光源104−1)との間の距離を求める場合、次のようにして距離の算出が行われる。
For example, when the distance between the
図中左右方向の長さをもつ点線で示され、点Aを通ってからレンズ162の光軸と直角をなす線と、矢印a21またはc21とが交わる点間の距離をHとし、同じ線(点線)が点Bと点Cを結ぶ線と交わる点をC´とする。距離Hは、三角形ABC’に対する正弦定理より、次式のように求めることができる。
In the figure, the distance between the point that is shown by a dotted line having a length in the left-right direction and passes through the point A and is perpendicular to the optical axis of the
H = L × sin(60°) /sin(t) H = L x sin (60 °) / sin (t)
ここで角度tは、点Aと点C´とを結ぶ線が、点C´と点Bとを結ぶ線との間になす角度であり、イメージセンサ上のポイントP1乃至P3の座標から求められる角度u1およびu2に基づいて計算することが可能である。 Here, the angle t is an angle formed between a line connecting the point A and the point C ′ and a line connecting the point C ′ and the point B, and is obtained from the coordinates of the points P1 to P3 on the image sensor. It is possible to calculate based on the angles u1 and u2.
いま、レンズの焦点距離をf、ポイントP1とP3との間の距離である視差をZとすると、レンズ162から点A(光源104−1)までの距離Dは、次式により求めることができる。
Now, assuming that the focal length of the lens is f and the parallax that is the distance between the points P1 and P3 is Z, the distance D from the
D = H×f/Z D = H x f / Z
このようにして自動車101は、障害物103までの距離と方向を認識することが可能となる。また、このようにすることで、自動車101は、障害物103−1(光源104−1)乃至障害物103−3(光源104−3)の位置に対応する自分の位置を認識することが可能となる。これにより、例えば、光源104−1乃至104−3から発せられる信号に含まれる障害物103−1乃至103−3の位置を表す座標と同一の座標系の中で自分の位置を特定することが可能となり、その結果、自分と障害物103の位置の相対的関係を認識することが可能となる。
In this way, the
図9は、本発明を適用した移動制御システムの別の一実施形態に係る構成例を示す図である。この例では、図1と同様に、移動する物体であって、カメラ102を搭載した自動車101が、障害物103−1と障害物103−2との間を通り、それ以降の障害物を避けて進む矢印111に従って自動車101が自律的に走行するが、図1の場合と異なり、複数の障害物103のぞれぞれに、3つの光源104a乃至104cが取り付けられている。なお、それぞれの障害物103において、3つの光源104a乃至104cは、例えば、一辺が同一の長さの正三角形の頂点を構成するように取り付けられており、その正三角形の一辺の長さは、例えば自動車101の制御部121に予め記憶されているものとする。
FIG. 9 is a diagram showing a configuration example according to another embodiment of the mobility control system to which the present invention is applied. In this example, as in FIG. 1, a
光源104a−1乃至104c−1のそれぞれは、自分が取り付けられている障害物103−1の位置を表す情報を、障害物103−1を特定する識別情報とともに、点滅信号として発信する。光源104a−2乃至104c−2のそれぞれは、自分が取り付けられている障害物103−2の位置を表す情報を、障害物103−2を特定する識別情報とともに、点滅信号として発信する。
Each of the
そして、自動車101は、カメラ102により光源104a−1乃至104c−1を同時に撮像し、光源104a−1乃至104c−1から発せられる障害物103−1の位置を表す情報を取得して、図8を参照して上述したように、レンズと光源との間の距離を算出することにより、障害物103−1までの距離と方向を認識する。また、自動車101は、カメラ102により光源104a−2乃至104c−2を同時に撮像し、光源104a−2乃至104c−2から発せられる障害物103−1の位置を表す情報を取得して、図8を参照して上述したように、レンズと光源との間の距離を算出することにより、障害物103−2までの距離と方向を認識する。
Then, the
このようにすれば、カメラ102を2つの異なる地点に移動させて1つの光源104を撮像する必要がないので、図1の場合と比較して、より短時間に障害物までの距離と方向を、自動車101に認識させることができる。
In this way, since it is not necessary to move the
図9の例では、カメラ102を2つの異なる地点に移動させて1つの光源104を撮像することなく、自動車101が障害物103と自分の位置の相対的関係(どの方向にどれだけ離れて障害物103が存在するか)を、正確に認識できるようにするために、1つの障害物に3つの光源を取り付ける例について説明したが、例えば、自動車101が独自に自分の位置の情報(例えば、座標など)を取得することができれば、図9のように1つの障害物に3つの光源を取り付けなくとも、図1のように1つの光源を取り付けるだけで、カメラ102を2つの異なる地点に移動させて1つの光源104を撮像することなく、自動車101が障害物103と自分の位置の相対的関係を、正確に認識できるようにすることができる。
In the example of FIG. 9, without moving the
この場合、例えば、自動車101にGPS(Global Positioning System)システムなどを搭載し、障害物103の位置を表す情報(座標)と同一の座標系における、自分の位置の情報を取得させるようにすればよい。例えば、障害物103の光源104から発せられる点滅信号に含まれる障害物103の位置の情報を、障害物103が存在する地点の緯度経度を表す情報とし、自動車101のGPSにより自分の存在する(走行している)地点の緯度経度を取得させればよい。このようにすれば、自動車101は、障害物103の位置の情報を発信している1つの光源をカメラ102で撮像するだけで、障害物103と自分の位置の相対的関係を正確に認識することができる。
In this case, for example, if the
次に、図10のフローチャートを参照して、自動車101による移動制御処理について説明する。
Next, the movement control process by the
ステップS101において、自動車101の移動制御部122は、自動車101の移動を開始させる。これにより、自動車101は、走行路面上を所定の方向(例えば、前方向)に向かって走行することになる。
In step S101, the
ステップS102において、移動制御部102は、カメラ102(実際には制御部121)から光源104が発する点滅信号に基づく情報を取得する。このとき、例えば、センサチップ131から出力される信号がデコードされて障害物103の識別情報などが取得される。
In step S102, the
ステップS103において、移動制御部122は、新たに障害物103が検知されたか否かを判定する。例えば、ステップS102の処理により、制御部121が障害物103に関する情報(例えば、識別情報など)を移動制御部122に出力した場合、ステップS102において新たに障害物103が検知されたと判定される。なお、センサチップ131から出力される障害物103に関する情報が、既に検知されている障害物103の識別情報を含むものである場合、ステップS103では新たに障害物103が検知されたとは判定されない。
In step S103, the
一方、ステップS103において、新たに障害物103が検知されなかったと判定された場合、後述するステップS104乃至S107の処理がスキップされ、処理はステップS108に進む。
On the other hand, if it is determined in step S103 that no
ステップS103において、新たに障害物103が検知されたと判定された場合、処理は、ステップS104に進み、移動制御部122は、制御部121から出力される、光源104から発せられた光を受光した、センサチップ131の受光セルの位置(受光ポイント)を表す情報などに基づいて、障害物103が存在する方向を特定する。
If it is determined in step S103 that a
ステップS105において、移動制御部122は、制御部121から出力される、光源104から発せられた光を受光した、センサチップ131の受光セルの位置(受光ポイント)を表す情報などに基づいて、図7または図8を参照して上述したように、障害物103までの距離を算出して特定する。
In step S105, the
ステップS106において、移動制御部122は、ステップS105の処理により特定された障害物103までの距離は、閾値以上か否かを判定する。ここで閾値は、例えば、予め設定された距離の値であって、その距離の中で走行中の自動車101が走行する方向を変更して、障害物103を回避することが可能となる距離の値とされる。
In step S106, the
ステップS106において、障害物103までの距離は、閾値以上であると判定された場合、走行しながら障害物103を回避することが可能なので、処理は、ステップS107に進み、移動制御部122は、自動車101の車輪を操舵するなどの制御を行い、自動車101の移動方向を変更する。
If it is determined in step S106 that the distance to the
なお、ステップS106において、障害物103までの距離は、閾値以上ではないと判定された場合、走行しながら障害物103を回避することができないので、処理は、ステップS109に進み、移動制御部122は、自動車101を停止させる。
If it is determined in step S106 that the distance to the
ステップS107の処理の後、処理は、ステップS108に進み、移動制御部122は、移動の終了が指令されたか否かを判定する。例えば、図示せぬリモートコマンダなどから送信される移動を終了させる信号を受信した場合、移動の終了が指令されたと判定され、処理は、ステップS109に進み、移動制御部122は自動車101を停止させる。一方、ステップS108において、移動の終了が指令されていないと判定された場合、処理は、ステップS102に戻り、それ以後の処理が繰り返し実行される。
After the process of step S107, the process proceeds to step S108, and the
このようにして、自動車101の移動が制御される。このようにすることで、自動車101は、障害物103を避けて自律的に走行することが可能となる。
In this way, the movement of the
以上においては、光源104を、障害物103に取り付ける例について説明したが、例えば、図11に示されるように自動車101の走行路面上のレーンを示す白線などの上に光源104を配置するようにしてもよい。このようにすることで、自動車101を、レーンに沿って走行させることが可能となる。
In the above description, the example in which the
また、以上においては、障害物103に光源104が取り付けられ、自動車101に取り付けられたカメラ102で、光源104を撮像する例について説明したが、これとは逆に、自動車101に光源104が取り付けられ、障害物103に取り付けられたカメラ102で光源104を撮像するようにすることも可能である。
In the above description, an example in which the
図12は、本発明を適用した移動制御システムのさらに別の一実施形態に係る構成例を示す図である。この例では、図1と同様に、移動する物体である自動車101が、障害物103−1と障害物103−2との間を通り、それ以降の障害物を避けて進む矢印111に従って自律的に走行するが、図1の場合と異なり、自動車101に光源104が取り付けられ、複数の障害物103−1、103−2、・・・のぞれぞれに、カメラ102−1、102−2、・・・が取り付けられている。
FIG. 12 is a diagram showing a configuration example according to still another embodiment of a mobility control system to which the present invention is applied. In this example, as in FIG. 1, the
図12において、自動車101は、自動車101を特定することができる識別情報や付加情報(例えば、IDコード、自動車101の位置の情報など)を点滅信号として、光源104を用いて発信する。障害物103は、カメラ102により光源104を撮像して、点滅信号をデコードするなどして、自動車101の識別情報や付加情報を取得し、取得した情報に基づいて、自分と自動車101との距離を算出し、自動車101からみてどの方向にどれだけ離れて障害物103が存在するかを表す情報を、例えばRF無線通信などを利用して自動車101に送信し、自動車101はこれを受信する。そして自動車101は、障害物103から受信した情報に基づいて、障害物103までの距離と方向を認識して、障害物103を回避するように自律的に走行する。
In FIG. 12, the
この場合、最初に障害物103において、自動車101と自分(障害物103)との距離と方向が認識されることになるが、自動車101と自分(障害物103)との距離と方向を認識する方法は、上述した場合と同様に複数考えられる。
In this case, the
例えば、障害物103が予め自動車101の走行する方向および速度を知っている場合、図7を参照して上述したように、自動車101の走行中の異なる2地点で光源104を撮像してステレオ視の原理により自動車103と自分(障害物103)との距離と方向を認識することができる。この場合、図7において、光源104がカメラ102に置き換えられ、レンズ162(カメラ102)が光源104に置き換えられた状態となり、幾何学的な関係は変わらないので、上述した場合と同様の式により、自動車101と障害物103の間の距離を計算することができる。
For example, when the
また、1つの障害物に2台のカメラを設置し、ステレオ視の原理で障害物までの距離を計算することも可能であるし、さらに、1台のカメラを、レール上などで充分速くスライドさせて、2つの異なる地点で光源104を撮像させ、ステレオ視の原理で、自動車101までの距離を計算することも可能である。このようにすることで、自動車101を移動させなくても障害物103までの距離と方向を認識させることができる。
It is also possible to install two cameras on one obstacle and calculate the distance to the obstacle based on the principle of stereo vision. Furthermore, one camera can slide quickly enough on a rail. Then, the
また、自動車101の走行路面上の複数の障害物103が、それぞれ自分に取り付けられたカメラ102で自動車101の光源104を撮像することができれば、それらの情報を収集して自動車101の位置を特定することができる。
In addition, if a plurality of
例えば、複数の障害物103と通信可能な演算装置を設けて、障害物103−1乃至103−3の3つの障害物において、それぞれの障害物に取り付けられたカメラ102−1乃至102−3で同時に光源104を撮像して、それぞれのカメラのイメージセンサ上の受光ポイントを表す情報を、障害物103−1乃至103−3の位置を表す情報とともに演算装置に送信させ、演算装置は、障害物103−1乃至103−3から送信された情報に基づいて、図8を参照して上述した場合と同様の原理により、障害物103と自動車101の距離と方向を表す情報を得ることができる。
For example, an arithmetic device capable of communicating with a plurality of
このようにすることで、上述したように2つの異なる地点で光源を撮像して点滅信号を受信しなくても、自動車101と障害物103との間の距離を算出することが可能となる。
In this way, as described above, the distance between the
さらに、自動車101に予め定められた大きさと形状の三角形の頂点を形成するように3つの光源104a乃至104cを設定すれば、それらの光源を同時にカメラ102で受光することにより、光源の位置を特定できる。すなわち上述した図9の場合、1つの障害物に3つの光源が取り付けられる例について説明したが、これとは逆に、1台の自動車に3つの光源が取り付けられることになる。このようにすれば、1台のカメラ102により撮像された点滅信号に基づいて、自動車101と障害物103との位置の相対的関係を正確に認識できる。
Furthermore, if the three
あるいはまた、自動車101にGPSを搭載し、GPSで取得した自動車101の位置の情報を、点滅信号として光源104から発信させるようにしてもよい。このようにすれば、1台のカメラ102により撮像された1つの光源104の点滅信号に基づいて、自動車101と障害物103との位置の相対的関係を正確に認識できる。
Alternatively, a GPS may be mounted on the
また、複数のカメラ102−1、102−2、・・・のそれぞれを、自動車101の走行路面上のレーンを示す白線などの上に配置するようにして、自動車101を、レーンに沿って走行させるようにすることも可能である。
Further, each of the plurality of cameras 102-1, 102-2,... Is arranged on a white line indicating a lane on the traveling road surface of the
ここまで、障害物に光源を取り付け、自動車にカメラを取り付ける場合の例と、自動車に光源を取り付け、障害物にカメラを取り付ける場合の例のそれぞれについて説明したが、例えば、自動車および障害物にそれぞれカメラおよび光源が取り付けられるようにすることも可能である。この場合、自動車と障害物との距離と方向を認識する方法は、上述した全ての例を適用することが可能となるとともに、自動車と障害物の双方が、光源により点滅信号を発信し、またカメラにより点滅信号を受信することが可能となるので、例えば、自動車と障害物において、光通信による通信を行うことも可能となる。 Up to this point, each of the example of attaching a light source to an obstacle and attaching a camera to an automobile and the example of attaching a light source to an automobile and attaching a camera to an obstacle have been described. It is also possible to attach a camera and a light source. In this case, the method for recognizing the distance and direction between the vehicle and the obstacle can be applied to all the examples described above, and both the vehicle and the obstacle transmit a blinking signal using a light source. Since the blinking signal can be received by the camera, for example, communication by optical communication can be performed between an automobile and an obstacle.
図13は、本発明を適用した移動制御システムのさらに別の一実施形態に係る構成例を示す図である。 FIG. 13 is a diagram showing a configuration example according to still another embodiment of a mobility control system to which the present invention is applied.
この例では、自動車の玩具301が自律的に走行する移動する物体とされる。玩具301は、例えば、ユーザが自由に組み合わせることが可能となるように規格化された複数のレーン303−1、303−2、・・・の上を、図中の矢印の方向に走行する。また、玩具301の上部には、レンズとイメージセンサを有するカメラ302が取り付けられており、カメラ302は、撮像した画像に対応する信号を玩具301の移動制御部に供給するように構成されている。
In this example, the
レーン303−1、303−2、・・・のそれぞれには、LEDなどで構成される光源304−1、304−2、・・・が取り付けられている。なお、レーン301−1、301−2、・・・または光源304−1、304−2、・・・を個々に区別する必要がない場合、レーン301、または光源304と称する。 .. Are attached to the lanes 303-1, 303-2,... Note that the lanes 301-1, 301-2,... Or the light sources 304-1, 304-2,.
レーン301は、玩具301が走行可能となる幅を有し、予め規格化された複数の種類の形状を有するように構成される。例えば、レーン301−1は、所定の長さの直線として規格化された形状を有しており、レーン301−2は、所定の半径(R)で所定の長さのカーブとして規格化された形状を有している。また、レーン301の予め定められた所定の部位に光源304が取り付けられる。この例では、レーン301において玩具301の進行方向から見て左下端部に光源304が設けられている。
The
レーン301は、例えば、図3を参照して上述した場合と同様の内部構成を有しており、自分を特定するための識別情報とともに、自分の形状を表す情報を含む付加情報を、光源304からの点滅信号として発信する。玩具301は、例えば、図5を参照して上述した場合と同様の内部構成を有しており、レーン301の光源304から発信される点滅信号をデコードして、レーン301の識別情報と付加情報を取得する。
For example, the
玩具301は、走行中にカメラ302により、これから走行するレーン301の光源304を撮像する。玩具301は、例えば、図7を参照して上述したようにステレオ視の原理から自分と光源104までの距離を算出するとともに、点滅信号をデコードして、これから走行するレーン301の形状(長さ、カーブの半径など)を認識する。
The
このようにすることで、玩具301は、これから走行するレーンの形状およびそのレーンまでの距離を、事前に認識することが可能となり、レーン301上を自律的に走行することが可能となる。
By doing in this way, the
また、このように、光源304からレーン301の形状を表す信号を発信するようにすれば、実際にレーンを敷設しなくても、玩具301を、レーンに沿って自律的に走行させることも可能である。図14は、この場合の例を示す図である。同図において、図13と対応する部分には同一の符号が付されている。
In addition, as described above, if the signal indicating the shape of the
図14の場合、図13の場合と異なり、レーン301は敷設されておらず、光源304のみが取り付けられている。しかし、玩具301は、上述したように、光源304の発する点滅信号に基づいて、これから走行すべき路面の形状およびそこまでの距離を、事前に認識することが可能となるので、玩具301は、あたかも図中点線で示される架空のレーンの上を走行するように、走行コースに沿って自律的に走行することが可能となる。
In the case of FIG. 14, unlike the case of FIG. 13, the
なお、図13または図14に示される例においても、カメラ302の台数、およびカメラ302の取り付け方法、同時に撮像する光源304の数、1つのレーン303に取り付けられる光源304の数、玩具301が自分の位置を取得する方法などについて、上述した場合と同様に、複数の組み合わせが考えられる。さらに、カメラ302がレーン301に取り付けられ、光源304が玩具301に取り付けられるようにすることも可能である。
In the example shown in FIG. 13 or FIG. 14, the number of
また、以上においては、点滅信号に含まれる付加情報として、位置の情報またはレーンの形状などの情報とする例について説明したが、例えば、自動車や玩具などの走行を支援する情報を付加情報として発信するようにしてもよい。走行を支援する情報として、例えば、自動車が障害物の間の距離の値が予め設定された値より小さくなった場合(自動車が障害物に所定の距離まで近づいた場合)自動車を停止させるコマンド(または減速させるコマンド)を発信したり、また、障害物の先にある道路の情報、渋滞状況や事故状況などの交通情報、その他の警告などを発信するようにすれば、より利便性の高い移動制御システムを提供することができる。 Further, in the above, an example in which information such as position information or lane shape is used as additional information included in the blinking signal has been described. However, for example, information supporting driving of a car or a toy is transmitted as additional information. You may make it do. As information for supporting driving, for example, when the value of the distance between the obstacles of the automobile becomes smaller than a preset value (when the automobile approaches the obstacle to a predetermined distance), a command for stopping the automobile ( Or a command to slow down), or information on roads ahead of obstacles, traffic information such as traffic jams and accidents, and other warnings, etc. A control system can be provided.
さらに、識別情報などにより特定される障害物の種類に応じた移動制御を予め自動車や玩具などに設定しておき、例えば、ガードレールを表す点滅信号を取得したら、その信号の発信元から、所定の距離以上離れた位置を走行するといった、定型化された動作をさせることもできる。 Furthermore, if movement control corresponding to the type of obstacle specified by the identification information or the like is set in advance in a car or a toy, for example, when a blinking signal indicating a guardrail is acquired, a predetermined signal is transmitted from the source of the signal. It is also possible to perform a standardized operation such as traveling at a position more than the distance.
以上のように本発明によれば、自律的に移動する物体の移動を適切に制御することが可能となる。例えば、従来の車載用の距離計測装置などには、ミリ派レーダ、赤外レーザレーダなどを用いるものが多いが、これらは、前方の自動車までの距離測定を精度良く行うことができる一方で、1つの送信機から発した信号を1つの受信機で受信するものであるため、前方に物体(障害物)が存在していることは確認できるが、正確な方向を検出するのが困難である。また、従来の車載用の距離計測装置などでは、前方に複数の物体が存在した場合、それらの物体同士の相対的な位置の関係を認識することができない。 As described above, according to the present invention, it is possible to appropriately control the movement of an autonomously moving object. For example, many conventional in-vehicle distance measuring devices use millimeter radars, infrared laser radars, etc., but these can accurately measure the distance to the car ahead, Since the signal emitted from one transmitter is received by one receiver, it can be confirmed that an object (obstacle) is present ahead, but it is difficult to detect an accurate direction. . Further, in the case of a conventional in-vehicle distance measuring device or the like, when there are a plurality of objects in front, it is impossible to recognize the relative positional relationship between these objects.
これに対して本発明では、イメージセンサにより光の点滅信号を検出するので、複数の障害物が近接して存在していても、点滅信号に含まれる識別情報と、点滅信号を受光した受光ポイントに基づいて、それぞれの障害物を独立して認識し、それぞれ障害物までの距離と方向を正確に認識することが可能である。従って本発明によれば、複雑に配置された障害物の回避や、複雑な走行経路を走行させることが可能となる。 On the other hand, in the present invention, since the flashing signal of the light is detected by the image sensor, the identification information included in the flashing signal and the light receiving point that has received the flashing signal even if a plurality of obstacles exist in the vicinity. Based on the above, each obstacle can be recognized independently, and the distance and direction to each obstacle can be recognized accurately. Therefore, according to the present invention, it is possible to avoid obstacles arranged in a complicated manner and to travel on complicated traveling routes.
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図15に示されるような汎用のパーソナルコンピュータ500などに、ネットワークや記録媒体からインストールされる。
The series of processes described above can be executed by hardware, or can be executed by software. When the above-described series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, a general-purpose
図15において、CPU(Central Processing Unit)501は、ROM(Read Only Memory)502に記憶されているプログラム、または記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなども適宜記憶される。
In FIG. 15, a CPU (Central Processing Unit) 501 executes various processes according to a program stored in a ROM (Read Only Memory) 502 or a program loaded from a
CPU501、ROM502、およびRAM503は、バス504を介して相互に接続されている。このバス504にはまた、入出力インタフェース505も接続されている。
The
入出力インタフェース505には、キーボード、マウスなどよりなる入力部506、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部509が接続されている。通信部509は、インターネットを含むネットワークを介しての通信処理を行う。
The input /
入出力インタフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア511が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
A
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア511などからなる記録媒体からインストールされる。
When the above-described series of processing is executed by software, a program constituting the software is installed from a network such as the Internet or a recording medium such as the
なお、この記録媒体は、図15に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア511により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM502や、記憶部508に含まれるハードディスクなどで構成されるものも含む。
The recording medium shown in FIG. 15 is a magnetic disk (including a floppy disk (registered trademark)) on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body. Removable media consisting of optical disks (including CD-ROM (compact disk-read only memory), DVD (digital versatile disk)), magneto-optical disks (including MD (mini-disk) (registered trademark)), or semiconductor memory It includes not only those configured by 511 but also those configured by a
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 The steps of executing the series of processes described above in this specification are performed in parallel or individually even if they are not necessarily processed in time series, as well as processes performed in time series in the order described. It also includes processing.
100 移動制御システム, 101 自動車, 102 カメラ, 103 障害物, 104 光源, 121 制御部, 122 移動制御部, 131 センサチップ, 161 イメージセンサ, 162 レンズ, 202 フレーム生成部, 203 送信部, 204 制御部
DESCRIPTION OF
Claims (20)
前記受光手段により受光された点滅信号をデコードし、前記障害物に関する情報を取得する取得手段と、
前記受光手段において、受光された前記点滅信号に対応する光を受光した前記センサの受光部の位置、および前記取得手段により取得された前記障害物に関する情報に基づいて、移動する物体の動作を制御する制御手段と
を備える情報処理装置。 A blinking signal emitted from a light source attached to an obstacle with a fixed position and encoded with information on the obstacle is arranged two-dimensionally via an optical system capable of adjusting the focus. A light receiving means for receiving light at the light receiving portion;
An acquisition means for decoding the flashing signal received by the light receiving means and acquiring information on the obstacle;
In the light receiving means, the movement of the moving object is controlled based on the position of the light receiving portion of the sensor that has received the light corresponding to the received blinking signal and information on the obstacle acquired by the acquiring means. And an information processing apparatus.
前記受光手段は、前記移動する物体に固定されて取り付けられ、
前記移動する物体が第1の位置にある時に、前記受光手段は、前記光源から発せられた光を受光し、
前記移動する物体が前記第1の位置から移動し、第2の位置にある時に、前記受光手段は、再び前記光源から発せられた光を受光し、
前記制御手段は、前記移動する物体が移動した距離、第1および第2の位置のそれぞれにおいて光を受光したそれぞれの受光部の位置に基づいて、前記移動する物体からみた前記光源の方向と前記光源までの距離を算出する
請求項1に記載の情報処理装置。 The blinking signal includes identification information that identifies the obstacle,
The light receiving means is fixedly attached to the moving object,
When the moving object is at the first position, the light receiving means receives light emitted from the light source,
When the moving object moves from the first position and is in the second position, the light receiving means receives the light emitted from the light source again,
The control means is configured to determine the direction of the light source viewed from the moving object and the direction of the light source based on the distance moved by the moving object and the position of each light receiving unit that receives light at each of the first and second positions. The information processing apparatus according to claim 1, wherein a distance to the light source is calculated.
前記光源が前記移動する物体に取り付けられ、前記受光手段が前記障害物に取り付けられる
請求項2に記載の情報処理装置。 The blinking signal includes identification information that identifies the moving object,
The information processing apparatus according to claim 2, wherein the light source is attached to the moving object, and the light receiving unit is attached to the obstacle.
前記受光手段が、前記移動する物体に2つ以上固定されて取り付けられ、
1つの前記光源から発せられる光を、2つの前記受光手段で同時に受光し、
前記制御手段は、2つの前記受光手段のそれぞれにおいて、前記光を受光した受光部の位置に基づいて、前記移動する物体からみた前記光源の方向と前記光源までの距離を算出する
請求項1に記載の情報処理装置。 The blinking signal includes identification information that identifies the obstacle,
Two or more light receiving means are fixedly attached to the moving object;
The light emitted from one light source is simultaneously received by the two light receiving means,
The control unit calculates a direction of the light source and a distance to the light source as viewed from the moving object based on a position of a light receiving unit that receives the light in each of the two light receiving units. The information processing apparatus described.
前記光源が前記移動する物体に取り付けられ、前記受光手段が前記障害物に取り付けられる
請求項4に記載の情報処理装置。 The blinking signal includes identification information that identifies the moving object,
The information processing apparatus according to claim 4, wherein the light source is attached to the moving object, and the light receiving unit is attached to the obstacle.
前記受光手段が、前記移動する物体上を予め設定された方向に、予め設定された距離だけ移動可能となるように取り付けられ、
前記受光手段が第1の位置にある時に、前記受光手段は、前記光源から発せられる光を受光し、
前記受光手段が第2の位置にある時に、前記受光手段は、再び前記光源から発せられる光を受光し、
前記制御手段は、前記受光手段が移動した距離、第1および第2の位置のそれぞれにおいて光を受光したそれぞれの受光部の位置に基づいて、前記移動する物体からみた前記光源の方向と前記光源までの距離を算出する
請求項1に記載の情報処理装置。 The blinking signal includes identification information that identifies the obstacle,
The light receiving means is mounted on the moving object in a preset direction so as to be movable by a preset distance,
When the light receiving means is in the first position, the light receiving means receives light emitted from the light source;
When the light receiving means is in the second position, the light receiving means receives light emitted from the light source again,
The control means is configured to determine the direction of the light source and the light source as viewed from the moving object based on the distance moved by the light receiving means and the position of each light receiving portion that has received light at each of the first and second positions. The information processing apparatus according to claim 1, wherein a distance to the information is calculated.
前記光源が前記移動する物体に取り付けられ、前記受光手段が前記障害物に取り付けられる
請求項6に記載の情報処理装置。 The blinking signal includes identification information that identifies the moving object,
The information processing apparatus according to claim 6, wherein the light source is attached to the moving object, and the light receiving unit is attached to the obstacle.
前記受光手段は、前記移動する物体に固定されて取り付けられ、
それぞれ3つの互いに異なる前記障害物に取り付けられた、3つの前記光源から発せられた光を、前記受光手段で同時に受光し、
前記制御手段は、前記3つ光源の光を受光したそれぞれの受光部の位置、および前記点滅信号に含まれる前記障害物の位置の情報に基づいて、前記移動する物体からみた前記光源の方向と前記光源までの距離を算出する
請求項1に記載の情報処理装置。 The blinking signal includes identification information for identifying the obstacle and information on the position of the obstacle,
The light receiving means is fixedly attached to the moving object,
The light emitted from the three light sources attached to the three different obstacles is simultaneously received by the light receiving means,
The control means is configured to determine the direction of the light source viewed from the moving object based on the position of each light receiving unit that has received light from the three light sources and the position information of the obstacle included in the blinking signal. The information processing apparatus according to claim 1, wherein a distance to the light source is calculated.
前記光源が前記移動する物体に取り付けられ、前記受光手段が前記障害物に取り付けられ、それぞれ3つの互いに異なる前記障害物に取り付けられた、3つの前記受光手段が前記光源から発せられた光を同時に受光する
請求項8に記載の情報処理装置。 The blinking signal includes identification information for identifying the moving object and information on the position of the moving object,
The light source is attached to the moving object, the light receiving means is attached to the obstacle, and each of the three light receiving means attached to the three different obstacles simultaneously emits light emitted from the light source. The information processing apparatus according to claim 8, which receives light.
1つの前記障害物に、それぞれの取り付け位置が予め定められた多角形の頂点を形成されるように、複数の前記光源が取り付けられ、
前記1つの障害物に取り付けられた3つ以上の互いに異なる前記光源から発せられた光を、前記受光手段で同時に受光し、
前記制御手段は、前記多角形の形状、前記3つ以上の光源の光を受光したそれぞれの受光部の位置、および前記点滅信号に含まれる前記障害物の位置の情報に基づいて、前記移動する物体からみた前記光源の方向と前記光源までの距離を算出する
請求項1に記載の情報処理装置。 The blinking signal includes identification information for identifying the obstacle and information on the position of the obstacle,
A plurality of the light sources are attached to one obstacle so that each attachment position forms a predetermined polygonal vertex,
Light emitted from three or more different light sources attached to the one obstacle is simultaneously received by the light receiving means,
The control means moves based on information on the polygonal shape, the position of each light receiving unit that has received light from the three or more light sources, and the position of the obstacle included in the blinking signal. The information processing apparatus according to claim 1, wherein a direction of the light source viewed from an object and a distance to the light source are calculated.
前記移動する物体に搭載されたGPS(Global Positioning System)から取得される自律移動体の位置情報と、および前記点滅信号に含まれる前記障害物の位置の情報に基づいて、前記移動する物体からみた前記光源の方向と前記光源までの距離を算出する
請求項1に記載の情報処理装置。 The blinking signal includes identification information for identifying the obstacle and information on the position of the obstacle,
Based on the position information of the autonomous moving body acquired from the GPS (Global Positioning System) mounted on the moving object and the position information of the obstacle included in the blinking signal, it is seen from the moving object. The information processing apparatus according to claim 1, wherein a direction to the light source and a distance to the light source are calculated.
前記制御手段は、前記移動する物体を、前記移動経路に沿って移動させるように制御する
請求項1に記載の情報処理装置。 Attach the light source on both sides of the moving path of the moving object,
The information processing apparatus according to claim 1, wherein the control unit controls the moving object to move along the movement path.
前記光源が前記移動する物体に取り付けられ、前記受光手段が前記移動経路の両側に取り付けられる
請求項12に記載の情報処理装置。 The blinking signal includes identification information that identifies the moving object,
The information processing apparatus according to claim 12, wherein the light source is attached to the moving object, and the light receiving unit is attached to both sides of the moving path.
前記制御手段は、前記点滅信号に含まれる指令に基づいて、前記移動する物体の動作を制御する
請求項1に記載の情報処理装置。 The blinking signal further includes an operation command for the moving object,
The information processing apparatus according to claim 1, wherein the control unit controls an operation of the moving object based on a command included in the blinking signal.
請求項9に記載の情報処理装置。 The information processing apparatus according to claim 9, wherein the blinking signal further includes information regarding a moving route of the moving object.
請求項10に記載の情報処理装置。 The information according to claim 10, wherein the movement route is configured by combining a plurality of routes formed according to a predetermined standard, and the information on the movement route includes a length of the route and a curvature of the curve. Processing equipment.
請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the light source and the light receiving unit are attached to the moving object and the obstacle, respectively, and optical communication is performed between the moving object and the obstacle.
前記受光手段において、受光された前記点滅信号に対応する光を受光した前記センサの受光部の位置、および前記取得ステップの処理により取得された前記障害物に関する情報に基づいて、移動する物体からみた前記障害物の方向と前記障害物までの距離を特定する特定ステップと、
前記特定ステップの処理により特定された前記障害物の方向と前記障害物までの距離に応じて前記移動する物体の動作を制御する制御ステップと
を含む情報処理方法。 A blinking signal emitted from a light source attached to an obstacle with a fixed position and encoded with information on the obstacle is arranged two-dimensionally via an optical system capable of adjusting the focus. An acquisition step of decoding the blinking signal received by the light receiving means that receives light at the light receiving unit, and acquiring information about the obstacle;
The light receiving means is viewed from a moving object based on the position of the light receiving unit of the sensor that has received light corresponding to the received blinking signal and information on the obstacle acquired by the processing of the acquiring step. A specific step of identifying a direction of the obstacle and a distance to the obstacle;
An information processing method comprising: a control step of controlling an action of the moving object according to a direction of the obstacle specified by the processing of the specifying step and a distance to the obstacle.
前記受光手段において、受光された前記点滅信号に対応する光を受光した前記センサの受光部の位置、および前記取得制御ステップの処理により取得された前記障害物に関する情報に基づいて、移動する物体からみた前記障害物の方向と前記障害物までの距離の特定を制御する特定制御ステップと、
前記特定制御ステップの処理により特定された前記障害物の方向と前記障害物までの距離に応じて前記移動する物体の動作を制御する制御ステップと
をコンピュータに実行させるプログラム。 A blinking signal emitted from a light source attached to an obstacle with a fixed position and encoded with information on the obstacle is arranged two-dimensionally via an optical system capable of adjusting the focus. An acquisition control step of decoding the blinking signal received by the light receiving means that receives light at the light receiving unit, and controlling acquisition of information about the obstacle;
From the moving object based on the position of the light receiving unit of the sensor that has received the light corresponding to the received blinking signal and information on the obstacle acquired by the processing of the acquisition control step in the light receiving means. A specific control step for controlling the identification of the direction of the obstacle and the distance to the obstacle;
A program that causes a computer to execute a control step of controlling the movement of the moving object in accordance with the direction of the obstacle specified by the processing of the specific control step and the distance to the obstacle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005187699A JP4478885B2 (en) | 2005-06-28 | 2005-06-28 | Information processing apparatus and method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005187699A JP4478885B2 (en) | 2005-06-28 | 2005-06-28 | Information processing apparatus and method, program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007011432A true JP2007011432A (en) | 2007-01-18 |
| JP4478885B2 JP4478885B2 (en) | 2010-06-09 |
Family
ID=37749891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005187699A Expired - Lifetime JP4478885B2 (en) | 2005-06-28 | 2005-06-28 | Information processing apparatus and method, program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4478885B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009036571A (en) * | 2007-07-31 | 2009-02-19 | Toshiba Corp | Position measuring system, position measuring apparatus and position measuring method using visible light communication system |
| JP2009168488A (en) * | 2008-01-11 | 2009-07-30 | Toyota Motor Corp | POSITION INFORMATION ACQUISITION DEVICE, POSITION ESTIMATION DEVICE, AND MOBILE BODY |
| JP2010002225A (en) * | 2008-06-18 | 2010-01-07 | Toshiba Corp | Apparatus, system and method for measuring position by utilizing visible light communication |
| JP2013181963A (en) * | 2012-03-05 | 2013-09-12 | Nikon Corp | Position detection system, position detection device, position detection method and program |
| JP2017026374A (en) * | 2015-07-17 | 2017-02-02 | 国立大学法人 鹿児島大学 | Position specifying system, position specifying method and program |
| JP2017526087A (en) * | 2014-06-12 | 2017-09-07 | テラビー エス ア エスTerabee S.A.S | Dynamic tracking device and automatic guidance method based on 3D time-of-flight camera |
| JP2020062298A (en) * | 2018-10-18 | 2020-04-23 | 株式会社タカラトミー | Road construction tool for car toy with camera |
| JP2020513569A (en) * | 2016-10-31 | 2020-05-14 | ヴィザル・テクノロジー・ソシエテ・ア・レスポンサビリテ・リミテ | Device and method for detecting light modulated signal in video stream |
| WO2021039245A1 (en) * | 2019-08-30 | 2021-03-04 | Necプラットフォームズ株式会社 | Distribution device, aircraft, flight system, method for these, and non-transitory computer readable medium |
| JP2021081445A (en) * | 2013-01-07 | 2021-05-27 | アセンティア イメージング, インコーポレイテッド | Optical guidance system and method using mutually distinct signal-modifying sensors |
| US12130642B2 (en) | 2012-01-03 | 2024-10-29 | Ascentia Imaging, Inc. | Optical guidance systems and methods using mutually distinct signal-modifying sensors |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102749072B (en) * | 2012-06-15 | 2014-11-05 | 易程科技股份有限公司 | Indoor positioning method, indoor positioning apparatus and indoor positioning system |
| CN106604505A (en) * | 2016-12-26 | 2017-04-26 | 广州力控智电信息科技有限公司 | Method and device for acquiring state information of specific lamp in multi-lamp illumination system by means of light flashing |
| CN110891862B (en) | 2017-08-10 | 2023-07-11 | 深圳零零无限科技有限公司 | System and method for obstacle avoidance in a flight system |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5956178A (en) * | 1982-09-25 | 1984-03-31 | Tsubakimoto Chain Co | Remote control system of unmanned transport vehicle |
| JPS6123221A (en) * | 1984-07-11 | 1986-01-31 | Oki Electric Ind Co Ltd | Guiding system of mobile truck |
| JPH04161814A (en) * | 1990-10-26 | 1992-06-05 | Hitachi Zosen Corp | Two-dimensional position and direction measuring apparatus for moving object |
| JPH0573140A (en) * | 1991-09-11 | 1993-03-26 | Matsushita Electric Ind Co Ltd | Position detector |
| JP2000337887A (en) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | Self position-locating system of movable body |
| JP2001325024A (en) * | 2000-05-16 | 2001-11-22 | Matsushita Electric Ind Co Ltd | Mobile work robot |
| JP2002073170A (en) * | 2000-08-25 | 2002-03-12 | Matsushita Electric Ind Co Ltd | Mobile work robot |
| JP2003035515A (en) * | 2001-07-23 | 2003-02-07 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional position detection method and apparatus, and marker for three-dimensional position detection |
| WO2003036829A1 (en) * | 2001-10-23 | 2003-05-01 | Sony Corporation | Data communication system, data transmitter and data receiver |
| JP2004151924A (en) * | 2002-10-30 | 2004-05-27 | Sony Corp | Autonomous mobile robot and control method thereof |
| JP2004216552A (en) * | 2003-01-11 | 2004-08-05 | Samsung Electronics Co Ltd | Mobile robot and its autonomous traveling system and method |
-
2005
- 2005-06-28 JP JP2005187699A patent/JP4478885B2/en not_active Expired - Lifetime
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5956178A (en) * | 1982-09-25 | 1984-03-31 | Tsubakimoto Chain Co | Remote control system of unmanned transport vehicle |
| JPS6123221A (en) * | 1984-07-11 | 1986-01-31 | Oki Electric Ind Co Ltd | Guiding system of mobile truck |
| JPH04161814A (en) * | 1990-10-26 | 1992-06-05 | Hitachi Zosen Corp | Two-dimensional position and direction measuring apparatus for moving object |
| JPH0573140A (en) * | 1991-09-11 | 1993-03-26 | Matsushita Electric Ind Co Ltd | Position detector |
| JP2000337887A (en) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | Self position-locating system of movable body |
| JP2001325024A (en) * | 2000-05-16 | 2001-11-22 | Matsushita Electric Ind Co Ltd | Mobile work robot |
| JP2002073170A (en) * | 2000-08-25 | 2002-03-12 | Matsushita Electric Ind Co Ltd | Mobile work robot |
| JP2003035515A (en) * | 2001-07-23 | 2003-02-07 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional position detection method and apparatus, and marker for three-dimensional position detection |
| WO2003036829A1 (en) * | 2001-10-23 | 2003-05-01 | Sony Corporation | Data communication system, data transmitter and data receiver |
| JP2004151924A (en) * | 2002-10-30 | 2004-05-27 | Sony Corp | Autonomous mobile robot and control method thereof |
| JP2004216552A (en) * | 2003-01-11 | 2004-08-05 | Samsung Electronics Co Ltd | Mobile robot and its autonomous traveling system and method |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009036571A (en) * | 2007-07-31 | 2009-02-19 | Toshiba Corp | Position measuring system, position measuring apparatus and position measuring method using visible light communication system |
| JP2009168488A (en) * | 2008-01-11 | 2009-07-30 | Toyota Motor Corp | POSITION INFORMATION ACQUISITION DEVICE, POSITION ESTIMATION DEVICE, AND MOBILE BODY |
| JP2010002225A (en) * | 2008-06-18 | 2010-01-07 | Toshiba Corp | Apparatus, system and method for measuring position by utilizing visible light communication |
| US12130642B2 (en) | 2012-01-03 | 2024-10-29 | Ascentia Imaging, Inc. | Optical guidance systems and methods using mutually distinct signal-modifying sensors |
| JP2013181963A (en) * | 2012-03-05 | 2013-09-12 | Nikon Corp | Position detection system, position detection device, position detection method and program |
| JP2021081445A (en) * | 2013-01-07 | 2021-05-27 | アセンティア イメージング, インコーポレイテッド | Optical guidance system and method using mutually distinct signal-modifying sensors |
| JP7108331B2 (en) | 2013-01-07 | 2022-07-28 | アセンティア イメージング, インコーポレイテッド | Optical guidance system and method using mutually distinct signal-modifying sensors |
| JP2017526087A (en) * | 2014-06-12 | 2017-09-07 | テラビー エス ア エスTerabee S.A.S | Dynamic tracking device and automatic guidance method based on 3D time-of-flight camera |
| JP2017026374A (en) * | 2015-07-17 | 2017-02-02 | 国立大学法人 鹿児島大学 | Position specifying system, position specifying method and program |
| JP2020513569A (en) * | 2016-10-31 | 2020-05-14 | ヴィザル・テクノロジー・ソシエテ・ア・レスポンサビリテ・リミテ | Device and method for detecting light modulated signal in video stream |
| JP7256746B2 (en) | 2016-10-31 | 2023-04-12 | ヴィザル・テクノロジー・ソシエテ・ア・レスポンサビリテ・リミテ | Apparatus and method for detecting optically modulated signals in a video stream |
| JP7232613B2 (en) | 2018-10-18 | 2023-03-03 | 株式会社タカラトミー | Track builder for car toy with camera |
| JP2020062298A (en) * | 2018-10-18 | 2020-04-23 | 株式会社タカラトミー | Road construction tool for car toy with camera |
| JP2021039403A (en) * | 2019-08-30 | 2021-03-11 | Necプラットフォームズ株式会社 | Delivery devices, flying objects, flight systems, their methods and programs |
| WO2021039245A1 (en) * | 2019-08-30 | 2021-03-04 | Necプラットフォームズ株式会社 | Distribution device, aircraft, flight system, method for these, and non-transitory computer readable medium |
| CN114303112A (en) * | 2019-08-30 | 2022-04-08 | Nec平台株式会社 | Distribution device, aircraft, flight system, methods thereof, and non-transitory computer-readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4478885B2 (en) | 2010-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7808285B2 (en) | Lane Mapping and Navigation | |
| US12196567B2 (en) | Traffic light navigation based on worst time to red estimation | |
| US12264936B2 (en) | Fully aligned junctions | |
| US11755024B2 (en) | Navigation by augmented path prediction | |
| US11851085B2 (en) | Navigation and mapping based on detected arrow orientation | |
| CN116026345B (en) | System and method for vehicle navigation | |
| US12235108B2 (en) | Determination of free space around a vehicle | |
| CN115082914B (en) | Vehicle, method for a vehicle and storage medium | |
| US20220011130A1 (en) | Selective retrieval of navigational information from a host vehicle | |
| US20230005364A1 (en) | Systems and methods for monitoring traffic lane congestion | |
| US12400365B2 (en) | Systems and methods for autonomous vehicle sensor calibration and validation | |
| US20230175852A1 (en) | Navigation systems and methods for determining object dimensions | |
| JP4478885B2 (en) | Information processing apparatus and method, program, and recording medium | |
| WO2021041402A1 (en) | Systems and methods for vehicle navigation | |
| US12423992B2 (en) | Systems and methods for detecting traffic lights | |
| CN108572663A (en) | Target following | |
| JP2019525148A (en) | Crowdsourcing and distribution of sparse maps and lane measurements for autonomous vehicle navigation | |
| WO2019188391A1 (en) | Control device, control method, and program | |
| JP6758160B2 (en) | Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection | |
| JP6984256B2 (en) | Signal processing equipment, and signal processing methods, programs, and mobiles. | |
| CN109964132B (en) | Method, device and system for configuring sensor on moving object | |
| US12553738B2 (en) | Crowd-sourced 3D points and point cloud alignment | |
| WO2019049710A1 (en) | Signal processing device, signal processing method, program, and mobile body |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080509 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090902 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091023 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100218 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100303 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |