JP5872764B2 - 画像表示システム - Google Patents
画像表示システム Download PDFInfo
- Publication number
- JP5872764B2 JP5872764B2 JP2010272018A JP2010272018A JP5872764B2 JP 5872764 B2 JP5872764 B2 JP 5872764B2 JP 2010272018 A JP2010272018 A JP 2010272018A JP 2010272018 A JP2010272018 A JP 2010272018A JP 5872764 B2 JP5872764 B2 JP 5872764B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- unit
- camera
- processing flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
- B60R25/1004—Alarm systems characterised by the type of sensor, e.g. current sensing means
- B60R25/1012—Zone surveillance means, e.g. parking lots, truck depots
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、画像表示システムに関する。
近年、車両の盗難を防止するための盗難防止装置が種々考えられている。例えば、車両のドアロックが壊されたり、フロントガラスなどの窓ガラスが壊されたときに、サイレンなどの警報を鳴らしたり、ランプなどを光らせたりする装置が車両に搭載されている。更に、車両に対して不審者が接近してきた場合、接近する者を検出し、警報を鳴らすとともに、車両の所有者の携帯端末に通知を行う車両用のセキュリティシステムが提案されている。セキュリティシステムの一つとして、車内及び車外の状況を同時に確認する技術が提案されている（例えば、特許文献１参照）。
接近する者を全て検出し、警報を鳴らすシステムの場合、接近する者が不審者でなくとも警報が鳴ることになり、車両が駐車されている場所の近隣者に対して警報音が騒音になる等の迷惑をかけてしまう。また、車両用のセキュリティシステムによって警報が発せられても、車両の所有者は、車両が駐車されている場所に行かなければ状況を把握できないという課題がある。更に、車両が駐車されている場所に車両の所有者が状況を確認しに行っても、警報時の様子を確認することができないという課題がある。本発明は、上記した課題に鑑み、車両に対して接近する者を検出し、接近する者に対して警報を行うか否かの判断を行うための情報を車両の所有者に提供することを目的とする。
画像表示システムは、車両に搭載され、前記車両の周囲を撮影する撮影部と、前記撮影部によって撮影された画像に基づいて、仮想視点からの前記車両と前記車両の周囲とを含む俯瞰画像を作成する画像作成部と、前記俯瞰画像を端末装置に送信する送信部と、を備え、前記画像作成部は、前記端末装置からの要求に応じて前記仮想視点を変更し、変更後の仮想視点からの前記俯瞰画像を作成する。本実施形態による画像表示システムによれば、ユーザは、変更後の仮想視点からの俯瞰画像を確認することができるので、車両の周辺の状況をより正確に確認することが可能となる。
前記画像表示システムは、前記車両周辺の対象物を検知する検知部を更に備え、前記画像作成部は、前記検知部が前記車両周辺の対象物を検知した場合、前記俯瞰画像の作成を開始してもよい。前記画像表示システムにおいて、前記送信部は、前記端末装置からの要求に応じて前記撮影部によって撮影された画像を送信してもよい。前記画像表示システムは、前記車両に搭載され、前記車両の車内の一部と前記車両の周囲の一部とを撮影する第２撮影部を更に備え、前記送信部は、前記端末装置からの要求に応じて前記第２撮影部によって撮影された画像を前記端末装置に送信してもよい。前記画像表示システムにおいて、前記画像作成部は、前記車両周辺の対象物が前記車両に近づいている場合、前記俯瞰画像の作成を開始してもよい。
また、本発明は、コンピュータその他の装置、機械等が上記いずれかの処理を実行する
方法であってもよい。また、本発明は、コンピュータその他の装置、機械等に、以上のいずれかの機能を実現させるプログラムであってもよい。また、本発明は、そのようなプログラムをコンピュータ等が読み取り可能な記録媒体に記録したものでもよい。
方法であってもよい。また、本発明は、コンピュータその他の装置、機械等に、以上のいずれかの機能を実現させるプログラムであってもよい。また、本発明は、そのようなプログラムをコンピュータ等が読み取り可能な記録媒体に記録したものでもよい。
本発明によれば、車両に対して接近する者を検出し、接近する者に対して警報を行うか否かの判断を行うための情報を車両の所有者に提供することができる。
以下、図面を参照して、発明を実施するための形態について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成には限定されない。
図１は、本実施形態に係る画像表示システムの概略図である。図１に示すように、本実施形態に係る画像表示システムは、車両１と、携帯端末２と、サーバ３とによって構成されている。車両１、携帯端末２及びサーバ３は、ネットワーク４によって接続されている。
〈車両１の構成〉
図２は、車両１及び車両１に搭載される車載機の構成を示すブロック図である。図２に示すように、車両は、盗難防止制御を司る制御部１０、第１撮影部１１、第２撮影部１２、画像作成部１３、記憶部１４、表示部１５、操作部１６、周辺監視部１７、データ送受信部１８、警報部１９及びエンジン制御部２０を備えている。制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のコンピュータによって構成されている。ＲＯＭに記憶されている所定のプログ
ラムに従ってＣＰＵが演算処理を行うことにより、制御部１０は各種の処理を行う。
図２は、車両１及び車両１に搭載される車載機の構成を示すブロック図である。図２に示すように、車両は、盗難防止制御を司る制御部１０、第１撮影部１１、第２撮影部１２、画像作成部１３、記憶部１４、表示部１５、操作部１６、周辺監視部１７、データ送受信部１８、警報部１９及びエンジン制御部２０を備えている。制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のコンピュータによって構成されている。ＲＯＭに記憶されている所定のプログ
ラムに従ってＣＰＵが演算処理を行うことにより、制御部１０は各種の処理を行う。
第１撮影部１１は、前方監視カメラであるフロントカメラ３０、左側監視カメラである左サイドカメラ３１、右側監視カメラである右サイドカメラ３２及び後方監視カメラであるバックカメラ３３を有している。フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３は、レンズと撮像素子とを備えており、電子的に画像を取得する。フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３は、車両１の車外の異なる位置にそれぞれ設置される。フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３の向きを任意に変更することが可能である。フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３のマウントにはサーボモータが内蔵されている。サーボモータが制御部１０からの信号に応じて駆動することにより、フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３の向きを任意に変更することが可能である。
図３は、フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３が、車両１に設置される位置を示す図である。フロントカメラ３０は、車両１の前部に設けられる。例えば、車両１の前部のナンバープレート取り付け位置の近傍にフロントカメラ３０を設けるようにしてもよい。フロントカメラ３０の光軸３０Ａは、車両１の直進方向に向けられている。左サイドカメラ３１は、車両１の左側面に設けられる。例えば、車両１のドアミラー４０に左サイドカメラ３１を設けるようにしてもよい。右サイドカメラ３２は、車両１の右側面に設けられる。例えば、車両１のドアミラー４１に右サイドカメラ３２を設けるようにしてもよい。左サイドカメラ３１の光軸３１Ａ及び右サイドカメラ３２の光軸３２Ａは、車両１の左右方向（直進方向に直交する方向）に沿って車両１の外側に向けられている。バックカメラ３３は、車両１の後部に設けられる。例えば、車両１の後部のナンバープレート取り付け位置の近傍にバックカメラ３３を設けるようにしてもよい。バックカメラ３３の光軸３３Ａは、車両１の直進方向の逆方向に向けられている。
フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３には、例えば、魚眼レンズが採用されている。フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３は、１８０度以上の画角θを有している。したがって、フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３を利用した撮影によって、車両１の周辺（全周囲）の撮影が可能となる。第１撮影部１１は、車両１の周辺の撮影画像の動画データを記憶部１４に記憶する。
図２の説明に戻る。第２撮影部１２は、左方向の車室外監視カメラである車内カメラ５０及び右方向の車室外監視カメラである車内カメラ５１を有している。車内カメラ５０及び５１は、レンズと撮像素子とを備えており、電子的に画像を取得する。車内カメラ５０
及び５１は、車両１の車内の異なる位置にそれぞれ設置される。図３に示すように、車内カメラ５０は、車両１の車内方向に向けて右側面のピラー４２に設けられている。したがって、車内カメラ５０は、車両１の車内及び車両１の左側の車外を撮影することが可能である。図３に示すように、車内カメラ５１は、車両１の車内方向に向けて左側面のピラー４３に設けられている。したがって、車内カメラ５１は、車両１の車内及び車両１の右側の車外を撮影することが可能である。車内カメラ５０及び５１の向きを任意に変更することが可能である。車内カメラ５０及び５１のマウントにはサーボモータが内蔵されている。サーボモータが制御部１０からの信号に応じて駆動することにより、車内カメラ５０及び５１の向きを任意に変更することが可能である。第２撮影部１２は、車両１の車内、車両１の左側の車外及び車両１の右側の車外の撮影画像の動画データを記憶部１４に記憶する。
及び５１は、車両１の車内の異なる位置にそれぞれ設置される。図３に示すように、車内カメラ５０は、車両１の車内方向に向けて右側面のピラー４２に設けられている。したがって、車内カメラ５０は、車両１の車内及び車両１の左側の車外を撮影することが可能である。図３に示すように、車内カメラ５１は、車両１の車内方向に向けて左側面のピラー４３に設けられている。したがって、車内カメラ５１は、車両１の車内及び車両１の右側の車外を撮影することが可能である。車内カメラ５０及び５１の向きを任意に変更することが可能である。車内カメラ５０及び５１のマウントにはサーボモータが内蔵されている。サーボモータが制御部１０からの信号に応じて駆動することにより、車内カメラ５０及び５１の向きを任意に変更することが可能である。第２撮影部１２は、車両１の車内、車両１の左側の車外及び車両１の右側の車外の撮影画像の動画データを記憶部１４に記憶する。
フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２、バックカメラ３３、車内カメラ５０及び５１を総称する場合や、フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２、バックカメラ３３、車内カメラ５０及び５１のうちのいずれか一つ以上のカメラを指す場合、本実施形態では、カメラ２００と表記する。
図２の説明に戻る。画像作成部１３は、第１撮影部１１で取得された撮影画像を処理して合成画像を作成する。画像作成部１３は、各種の画像処理が可能なハードウェア回路として構成されている。画像作成部１３は、第１撮影部１１で取得された撮影画像を対象とした調整を行う。具体的には、画像作成部１３は、撮影画像に対して明るさ補正などの画像処理を行う。画像作成部１３は、第１撮影部１１で取得された複数の撮影画像に基づいて、車両１の周辺の任意の仮想視点からみた車両１の周辺の様子を示す合成画像を作成する。
〈画像合成処理〉
画像作成部１３が、第１撮影部１１によって取得された複数の撮影画像に基づいて、車両１の周辺を任意の仮想視点からみた車両１の周辺の様子を示す合成画像を作成する手法について説明する。図４は、合成画像を作成する手法の説明図である。
画像作成部１３が、第１撮影部１１によって取得された複数の撮影画像に基づいて、車両１の周辺を任意の仮想視点からみた車両１の周辺の様子を示す合成画像を作成する手法について説明する。図４は、合成画像を作成する手法の説明図である。
第１撮影部１１のフロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３により同時に撮影が行われると、車両１の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、第１撮影部１１によって取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両１の全周囲を示す情報が含まれる。
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元の立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両１の位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と立体曲面ＳＰの各画素の位置との対応関係、及び、撮影画像Ｐ１〜Ｐ４に含まれる各画素の値に基づいて決定できる。撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３の配置（相互間距離、地上高さ、光軸角度等）に依存する。撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係を示すテーブルデータは、記憶部１４に予め記憶されている。記憶部１４は、例えば、不揮発性メモリである。
記憶部１４に予め記憶された車体の形状やサイズを示すデータが利用され、車両１の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両１のモデルは、
立体曲面ＳＰが設定される三次元空間において、車両１の位置と定められた略半球状の中心部分に配置される。
立体曲面ＳＰが設定される三次元空間において、車両１の位置と定められた略半球状の中心部分に配置される。
立体曲面ＳＰが設定される三次元空間に対して、制御部１０により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、立体曲面ＳＰが設定される三次元空間における車両１の周辺に相当する任意の視点位置に、任意の視野方向に向けて設定される。設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして記憶部１４に記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両１の像が、切り出された画像に対して重畳される。これにより、車両１及び車両１の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成される。
例えば、図４に示すように、視点位置が車両１の位置の略中央の真上位置で、視野方向が略直下方向とした仮想視点ＶＰａが設定された場合、車両１の略真上から車両１を見下ろすように、車両１及び車両１の周辺の領域を示す合成画像ＣＰａが作成される。また、例えば、図４に示すように、視点位置が車両１の位置の左後方で、視野方向が車両１における略前方とした仮想視点ＶＰｂが設定された場合、車両１の左後方から車両１及び車両１の周辺全体を見渡すように、車両１及び車両１の周辺の領域を示す合成画像ＣＰｂが作成される。なお、画像作成部１３が、実際に合成画像を作成する場合、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点に対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。また、合成画像中に示す車両１の像を予めビットマップなどで記憶部１４に用意しておき、画像作成部１３は、仮想視点に応じた向きの車両１の像を作成された合成画像に重畳すればよい。
このように、画像作成部１３は、第１撮影部１１によって取得された複数の撮影画像に基づいて、車両１及び車両１の周辺全体を俯瞰して示す合成画像や、車両１の周辺の一部の周辺領域のみを示す合成画像などを作成することができる。本実施形態では、車両１及び車両１の周辺全体を俯瞰して示す合成画像や、車両１の周辺の一部の周辺領域のみを示す合成画像を、車両１の俯瞰画像と表記する。
図２の説明に戻る。表示部１５は、例えば、タッチパネル機能を備えた液晶などのディスプレイである。操作部１６は、例えば、ユーザによって操作されるハードスイッチなどで構成されている。ユーザからの各種の指示は、操作部１６又はタッチパネルとしての表示部１５によって受け付けられる。
なお、制御部１０は、所定条件が成立すると、画像作成部１３が作成した合成画像を表示部１５に表示させるよう構成することができる。所定条件とは、例えば図示せぬイグニッションスイッチがＯＮとなったことを条件とすることとしてもよい。
周辺監視部１７は、車両１への接近車を検出するもので、例えば、ミリ波を送信して対象物から反射してきた電波を受信し、送信から受信までの時間やドップラー効果によって生じる周波数差等に基づいて、対象物の位置、車両１から対象物までの距離、対象物の速度及び対象物に対する方位（角度θ）を測定する近距離用ミリ波レーダである。周辺監視部１７の監視対象領域は３ｍ程度に設定されている。周辺監視部１７によって検出される対象物は、人間、人間以外の動物、車両等である。ミリ波レーダとして、例えば、ＵＷＢレーダを用いてもよい。周辺監視部１７は、ミリ波以外の電波（マイクロ波等）や、光、レーザ、超音波等を送受信波として用いるレーダであってもよい。周辺監視部１７を車両１のバンパーに埋設してもよい。車両１に対して、複数の周辺監視部１７を設けるように
してもよい。例えば、車両１のフロントバンパー、リアバンパー及びドアに周辺監視部１７を埋設してもよい。
してもよい。例えば、車両１のフロントバンパー、リアバンパー及びドアに周辺監視部１７を埋設してもよい。
図５は、車両１のフロントバンパー、リアバンパー及びドアに周辺監視部１７を埋設した場合の例を示す図である。図５において、周辺監視部１７から伸びている一点鎖線を両端とする範囲は、周辺監視部１７の検出範囲を示している。なお、図５では、周辺監視部１７の検出可能な視野角を１２０度としている。周辺監視部１７の検出範囲や検出可能な視野角は、周辺監視部１７として用いるレーダによって異なるものであり、図５に示す検出範囲及び視野角に限定されるものではない。また、低速走行時の渋滞追従機能などに利用される近距離検知用レーダが車両１に設けられている場合、近距離検知用レーダを周辺監視部１７として用いるようにしてもよい。
更に、周辺監視部１７は、対象物を検出するための監視カメラであってもよい。周辺監視部１７として監視カメラを用いる場合、車両１の周辺を撮影できるように周辺監視部１７を車両１に設置するようにしてもよい。また、フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３を監視カメラとして利用してもよいし、車内カメラ５０及び５１を監視カメラとして利用してもよい。監視カメラを用いる場合、制御部１０は、監視カメラが撮影する映像を解析し、車両１に対して接近している対象物があるか否かを検出する。
周辺監視部１７は、所定間隔（例えば、数十ｍｓ）で、検出範囲内における対象物の有無を検出し、対象物の位置、車両１から対象物までの距離、対象物の速度及び対象物に対する方位の情報を制御部１０に出力する。制御部１０は、周辺監視部１７によって出力された車両１から対象物までの距離、対象物の速度及び対象物に対する方位の情報を受け取る。
図２の説明に戻る。データ送受信部１８は、制御部１０の信号に従って、携帯端末２に、電子メール、車両１の俯瞰画像の静止画データ及び車両１の俯瞰画像の動画データを送信する。また、データ送受信部１８は、携帯端末２から車両１の俯瞰画像の動画データの要求信号を受信する。データ送受信部１８として、例えば、車載データ通信モジュール（Data Communication Module：ＤＣＭ）を用いてもよい。警報部１９は、制御部１０の信
号に従って警報を行う。警報は、例えば、ヘッドライトの点灯、ハザードランプの点滅、ホーンやサイレンによる音の出力、音声出力装置による音声の出力のいずれか１つ以上を含むものである。エンジン制御部２０は、制御部１０の信号に従って車両１に搭載されているエンジンの始動や停止の制御を行う。
号に従って警報を行う。警報は、例えば、ヘッドライトの点灯、ハザードランプの点滅、ホーンやサイレンによる音の出力、音声出力装置による音声の出力のいずれか１つ以上を含むものである。エンジン制御部２０は、制御部１０の信号に従って車両１に搭載されているエンジンの始動や停止の制御を行う。
制御部１０は、盗難防止装置として機能し、所定のセット条件が成立すると警戒モードに移行し周辺監視部１７による対象物の接近を監視する。所定のセット条件とは、例えば、（１）図示せぬイグニッションスイッチがＯＦＦ、かつ（２）全ドアが閉かつロック、が成立することとしてよい。警戒モードでの制御内容については後述する。
〈携帯端末２の構成〉
図６は、携帯端末２の構成を示すブロック図である。図６に示すように、携帯端末２は、制御部６０、通信部６１、報知部６２、操作部６３、表示部６４及び記憶部６５を備えている。携帯端末２は、例えば、ＰＤＡ（Personal Digital Assistant）、携帯電話、ＣＥ（Consumer Electronics）機器など、ネットワーク４に接続可能な情報処理装置（端末装置）を用いることができる。また、携帯端末２に代えて、ネットワーク４にアクセス可能なパーソナルコンピュータ等を用いてもよい。
図６は、携帯端末２の構成を示すブロック図である。図６に示すように、携帯端末２は、制御部６０、通信部６１、報知部６２、操作部６３、表示部６４及び記憶部６５を備えている。携帯端末２は、例えば、ＰＤＡ（Personal Digital Assistant）、携帯電話、ＣＥ（Consumer Electronics）機器など、ネットワーク４に接続可能な情報処理装置（端末装置）を用いることができる。また、携帯端末２に代えて、ネットワーク４にアクセス可能なパーソナルコンピュータ等を用いてもよい。
制御部６０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory
）及びＲＯＭ（Read Only Memory）等のコンピュータによって構成されている。ＲＯＭに記憶されている所定のプログラムに従ってＣＰＵが演算処理を行うことにより、制御部６０は各種の処理を行う。
）及びＲＯＭ（Read Only Memory）等のコンピュータによって構成されている。ＲＯＭに記憶されている所定のプログラムに従ってＣＰＵが演算処理を行うことにより、制御部６０は各種の処理を行う。
通信部６１は、アンテナ６１Ａ、無線回路部６１Ｂ及び通信制御部６１Ｃを有している。アンテナ６１Ａ、無線回路部６１Ｂ及び通信制御部６１Ｃは、携帯端末２の通話及びパケット通信に使用される通信インターフェースである。アンテナ６１Ａは、携帯端末２が無線基地局（図示せず）と通信を行う際の電波の送受信に使用される。無線回路部６１Ｂは、アンテナ６１Ａで受信した電波の復調を行って受信データを生成すると共に、送信データを所定の周波数へ変調してアンテナ６１Ａを介して変調信号を出力する。通信制御部６１Ｃは、無線回路部６１Ｂで生成された復調信号を復号化するとともに、符号化した送信データを無線回路部６１Ｂへ出力して、通信を行わせる等の制御を行う。
報知部６２は、例えばスピーカやバイブレータ等であり、制御部６０からの信号に応じて、音又は振動、若しくは音及び振動等を発生する。操作部６３は、文字、数字等を入力するための操作キー、所定のメニューを選択するための選択キーを有している。また、操作部６３として、タッチパネルを利用してもよい。
表示部６４、例えば、ＬＣＤ（Liquid Crystal Display）やＥＬディスプレイ等であり、各種のデータや画像等の表示を行う。操作部６３としてタッチパネルを利用した場合、例えば、表示部６４の表示領域にタッチパネルを一体的に設けるようにしてもよい。記憶部６５は、フラッシュメモリやＳＲＡＭ（Static RandomAccess Memory）、ＮＶＲＡＭ（Nonvolatile RandomAccess Memory）等から構成されており、送受信したデータ、アプリ
ケーションプログラム等を記憶する。
ケーションプログラム等を記憶する。
〈車両１の俯瞰画像の静止画データの作成及び送信の処理フロー〉
図７は、制御部１０が実行する車両１の俯瞰画像の静止画データの作成及び送信の処理フローの説明図である。図７に示す処理フローは、制御部１０が、警戒モードに移行すると開始され、所定周期毎に繰り返し実行される。図７のステップＳ０１の処理において、制御部１０は、周辺監視部１７の検出結果、即ち対象物の位置、車両１から対象物までの距離、対象物の速度及び対象物に対する方位の情報を受け取る。次に、図７のステップＳ０２の処理において、制御部１０は、対象物の位置、車両１から対象物までの距離、対象物の速度及び対象物に対する方位の情報に基づいて、対象物が車両１の所定範囲に接近してきているか否かを判定する。即ち、制御部１０は、対象物が自車両に対し盗難行為を働く可能性があるかどうかを判定する。
図７は、制御部１０が実行する車両１の俯瞰画像の静止画データの作成及び送信の処理フローの説明図である。図７に示す処理フローは、制御部１０が、警戒モードに移行すると開始され、所定周期毎に繰り返し実行される。図７のステップＳ０１の処理において、制御部１０は、周辺監視部１７の検出結果、即ち対象物の位置、車両１から対象物までの距離、対象物の速度及び対象物に対する方位の情報を受け取る。次に、図７のステップＳ０２の処理において、制御部１０は、対象物の位置、車両１から対象物までの距離、対象物の速度及び対象物に対する方位の情報に基づいて、対象物が車両１の所定範囲に接近してきているか否かを判定する。即ち、制御部１０は、対象物が自車両に対し盗難行為を働く可能性があるかどうかを判定する。
例えば、図８に示すように、符号１００で示す対象物が、符号１０１で示す矢印の方向に進む場合、周辺監視部１７は、所定間隔で、検出範囲内における対象物１００の有無を検出し、対象物１００の位置、車両１から対象物１００までの距離、対象物１００の速度及び対象物１００に対する方位の情報を制御部１０に出力する。そして、制御部１０は、対象物１００が符号１０２で示す位置に到達した時刻Ｔ１及び符号１０２で示す位置における車両１から対象物１００までの距離Ｄ１と、対象物１００が符号１０３で示す位置に到達した時刻Ｔ２及び符号１０３で示す位置における車両１から対象物１００までの距離Ｄ２とを比較する。時刻Ｔ２が時刻Ｔ１よりも遅く、かつ、距離Ｄ２が距離Ｄ１よりも短い場合、制御部１０は、対象物１００が車両１に接近してきていると判定する。
また、例えば、図８に示すように、符号１１０で示す対象物が、符号１１１で示す矢印の方向に進む場合、周辺監視部１７は、所定間隔で、検出範囲内における対象物１１０の有無を検出し、対象物１００の位置、車両１から対象物１１０までの距離、対象物１１０の速度及び対象物１１０に対する方位の情報を制御部１０に出力する。そして、制御部１
０は、対象物１１０が符号１１２で示す位置に到達した時刻Ｔ３及び符号１１２で示す位置における車両１から対象物１１０までの距離Ｄ３と、対象物１１０が符号１１３で示す位置に到達した時刻Ｔ４及び符号１１３で示す位置における車両１から対象物１１０までの距離Ｄ４とを比較する。時刻Ｔ４が時刻Ｔ３よりも遅く、かつ、距離Ｄ４が距離Ｄ３よりも長い場合、制御部１０は、対象物１００が車両１に接近してきていないと判定する。
０は、対象物１１０が符号１１２で示す位置に到達した時刻Ｔ３及び符号１１２で示す位置における車両１から対象物１１０までの距離Ｄ３と、対象物１１０が符号１１３で示す位置に到達した時刻Ｔ４及び符号１１３で示す位置における車両１から対象物１１０までの距離Ｄ４とを比較する。時刻Ｔ４が時刻Ｔ３よりも遅く、かつ、距離Ｄ４が距離Ｄ３よりも長い場合、制御部１０は、対象物１００が車両１に接近してきていないと判定する。
制御部１０により対象物が車両１の所定範囲内に接近してきていないと判定された場合（図７のステップＳ０１の処理においてＮＯの場合）、図７に示す処理フローが終了する。一方、制御部１０により対象物が車両１の所定範囲内に接近してきていると判定された場合（（図７のステップＳ０１の処理においてＹＥＳの場合）、盗難行為におよぶ可能性があると判断して図７のステップＳ０３の処理に進む。図７のステップＳ０３の処理において、制御部１０は、第１撮影部１１の電源をＯＮにするとともに、車両１の周辺の撮影を開始する信号を第１撮影部１１に送る。第１撮影部１１は、車両１の周辺の撮影を開始する信号を制御部１０から受け取ることにより、車両１の周辺の撮影を開始する。第１撮影部１１は、車両１の周辺の撮影画像のデータを記憶部１４に記憶する。上述のように、第１撮影部１１は、フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３を有しているため、記憶部１４には、車両１の周辺の撮影画像のデータが複数記憶される。
尚、撮影を開始する条件として、接近物の方向に関係なく接近物が周辺監視部１７の検知対象範囲内（例えば、周辺監視部１７から３ｍの距離）に入ったことを条件として撮影を開始してもよい。また、周辺監視部１７の検知対象範囲を３ｍとした場合、接近物が検知対象範囲内に入ったことを検出し、更に車両１に近づく第２の所定範囲（例えば、周辺監視部１７から１ｍの距離）以内まで近づいたことを検出したとき撮影を開始するようにしてもよい。
図７のステップＳ０４の処理において、画像作成部１３は、記憶部１４に記憶されている車両１の周辺の撮影画像の動画データに基づいて、車両１の俯瞰画像の静止画データを作成する。画像作成部１３は、車両１の俯瞰画像の静止画データを記憶部１４に記憶する。図７のステップＳ０５の処理において、制御部１０は、車両１の俯瞰画像の静止画データが添付された電子メールを作成し、データ送受信部１８は、車両１の俯瞰画像の静止画データが添付された電子メールを携帯端末２に送信する。車両１の俯瞰画像の静止画データが添付された電子メールの本文には、車両１に対して対象物が接近していることを知らせる旨のメッセージが記載されている。データ送受信部１８が、車両１の俯瞰画像の静止画データが添付された電子メールを携帯端末２に送信すると、図７に示す処理フローが終了する。
〈電子メール及び車両１の俯瞰画像の静止画データの受信の処理フロー〉
図９は、電子メール及び車両１の俯瞰画像の静止画データの受信の処理フローの説明図である。図９に示す処理フローは、例えば、携帯端末２の電源がオンとなることにより開始される。図９のステップＳ０１の処理において、制御部６０は、通信部６１によって電子メールが受信されたか否かを判定する。通信部６１によって電子メールが受信された場合、図９のステップＳ０２の処理に進む。一方、通信部６１によって電子メールが受信されていない場合、図９に示す処理フローが終了する。通信部６１によって電子メールが受信されていないことにより、図９に示す処理フローが終了した場合、所定時間の経過後に再び図９のステップＳ０１の処理を行ってもよい。また、通信部６１によって電子メールが受信されていないことにより、図９に示す処理フローが終了した場合、操作部６３を介したユーザからの指示により、再び図９のステップＳ０１の処理を行ってもよい。
図９は、電子メール及び車両１の俯瞰画像の静止画データの受信の処理フローの説明図である。図９に示す処理フローは、例えば、携帯端末２の電源がオンとなることにより開始される。図９のステップＳ０１の処理において、制御部６０は、通信部６１によって電子メールが受信されたか否かを判定する。通信部６１によって電子メールが受信された場合、図９のステップＳ０２の処理に進む。一方、通信部６１によって電子メールが受信されていない場合、図９に示す処理フローが終了する。通信部６１によって電子メールが受信されていないことにより、図９に示す処理フローが終了した場合、所定時間の経過後に再び図９のステップＳ０１の処理を行ってもよい。また、通信部６１によって電子メールが受信されていないことにより、図９に示す処理フローが終了した場合、操作部６３を介したユーザからの指示により、再び図９のステップＳ０１の処理を行ってもよい。
図９のステップＳ０２の処理において、報知部６２は、制御部６０からの信号に従って
、電子メールの着信動作を行う。例えば、報知部６２は、電子メールを受信したことをユーザに知らせるための音、振動等を発生する。表示部６４は、制御部６０からの信号に従って、電子メールを受信した旨を表示するようにしてもよい。
、電子メールの着信動作を行う。例えば、報知部６２は、電子メールを受信したことをユーザに知らせるための音、振動等を発生する。表示部６４は、制御部６０からの信号に従って、電子メールを受信した旨を表示するようにしてもよい。
図９のステップＳ０３の処理において、制御部６０は、車両１の俯瞰画像の静止画データが添付された電子メールの本文が表示部６４に表示されたか否かを判定する。車両１の俯瞰画像の静止画データが添付された電子メールの本文が表示部６４に表示されている場合、図９のステップＳ０４の処理に進む。一方、車両１の俯瞰画像の静止画データが添付された電子メールの本文が表示部６４に表示されていない場合、図９に示す処理フローが終了する。
なお、俯瞰画像の静止画データの送受信は、電子メールに静止画データを添付して行うだけでなく、例えば、俯瞰画像の保存されている通信ネットワーク上のアドレスを送受信することで行うこともできる。この場合、いわゆるＵＲＬ（Uniform Resource Locator）を使用することができる。例えば、電子メールに付加されているＵＲＬで特定されるネットワーク４上のコンピュータ（サーバ３等）から、通信部６１が静止画データを受信するようにしてもよい。この場合、車両１のデータ送受信部１８が、予め、ネットワーク４上のコンピュータ（サーバ３等）に静止画データを送信しておくようにすればよい。そして、ネットワーク４上のコンピュータ（サーバ３等）が備える記憶部に、静止画データを記憶しておけばよい。また、静止画データを用いず動画データを送受信してもよい。
図９のステップＳ０４の処理において、制御部６０は、記憶部６５に記憶されている画像表示アプリケーションを起動する。制御部６０によって画像表示アプリケーションが実行されることにより、通信部６１は、サーバ３及びネットワーク４を介して、車両１から画像データを取得する。次に、図９のステップＳ０５の処理において、表示部６４は、制御部６０からの信号に従って、車両１の俯瞰画像の静止画を表示する。図１０は、携帯端末２の表示部６４に、車両１の俯瞰画像の静止画が表示された場合の一例を示す図である。図１０に示す携帯端末２は、操作部６３としてタッチパネルが利用されており、表示部６４の表示領域にタッチパネルが一体的に設けられている。なお、なお、図１０において、車両１の俯瞰画像に表示されている対象物１００は簡略化されているが、実際は、対象物１００が不審者であるか否かを識別可能な程度に、車両１の俯瞰画像に対象物１００が表示される。
図９のステップＳ０６の処理において、制御部６０は、車両１の俯瞰画像の動画データの受信要求があるか否かを判定する。車両１の俯瞰画像の動画データの受信要求は、例えば、操作部６３を介したユーザからの入力により行われる。例えば、図１０に示す携帯端末２の表示部６４に表示されている「動画」の文字を含むボタン７０に対して接触操作が行われた場合、制御部６０は、車両１の俯瞰画像の動画データの受信要求があると判定する。例えば、図１０に示す携帯端末２の表示部６４に表示されている「動画」の文字を含むボタン７０に対して接触操作が行われなかった場合、制御部６０は、車両１の俯瞰画像の動画データの受信要求がないと判定する。
車両１の俯瞰画像の動画データの受信要求がある場合、図９のステップＳ０７の処理に進む。一方、車両１の俯瞰画像の動画データの受信要求がない場合、図９に示す処理フローが終了する。
図９のステップＳ０７の処理において、通信部６１は、制御部６０からの信号に従って、車両１の俯瞰画像の動画データの要求信号を車両１に送信する。通信部６１が、車両１の俯瞰画像の動画データの要求信号を車両１に送信すると、図９に示す処理フローが終了する。
〈車両１の俯瞰画像の動画データの作成及び送信の処理フロー〉
図１１は、車両１の俯瞰画像の動画データの作成及び送信の処理フローの説明図である。データ送受信部１８が、車両１の俯瞰画像の静止画データが添付された電子メールを携帯端末２に送信することにより図７に示す処理フローが終了した場合、図１１に示す処理フローが開始される。すなわち、図１１に示す処理フローは、図７のステップＳ０５の処理が終了した後に開始される。
図１１は、車両１の俯瞰画像の動画データの作成及び送信の処理フローの説明図である。データ送受信部１８が、車両１の俯瞰画像の静止画データが添付された電子メールを携帯端末２に送信することにより図７に示す処理フローが終了した場合、図１１に示す処理フローが開始される。すなわち、図１１に示す処理フローは、図７のステップＳ０５の処理が終了した後に開始される。
図１１のステップＳ０１の処理において、制御部１０は、車両１の俯瞰画像の動画データの要求信号をデータ送受信部１８が受信したか否かを判定する。車両１の俯瞰画像の動画データの要求信号をデータ送受信部１８が受信した場合（図１１のステップＳ０１の処理においてＹＥＳの場合）、図１１のステップＳ０２の処理に進む。一方、車両１の俯瞰画像の動画データの要求信号をデータ送受信部１８が受信していない場合（図１１のステップＳ０１の処理においてＮＯの場合）、図１１に示す処理フローが終了する。車両１の俯瞰画像の動画データの要求信号をデータ送受信部１８が受信していないことにより、図１１に示す処理フローが終了した場合、所定時間の経過後に再び図１１のステップＳ０１の処理を行ってもよい。
図１１のステップＳ０２の処理において、画像作成部１３は、記憶部１４に時系列に記憶されている車両１の周辺の撮影画像の動画データに基づいて、車両１の俯瞰画像の動画データを作成する。画像作成部１３は、車両１の俯瞰画像の動画データを記憶部１４に記憶する。図１１のステップＳ０３の処理において、データ送受信部１８は、車両１の俯瞰画像の動画データを携帯端末２に送信する。データ送受信部１８が、車両１の俯瞰画像の動画データを携帯端末２に送信すると、図１１に示す処理フローが終了する。
〈携帯端末２による表示切替の処理フロー（その１）〉
図１２は、携帯端末２による表示切替の処理フローの説明図である。携帯端末２の通信部６１が、車両１の俯瞰画像の動画データの要求信号を車両１に送信することにより図９に示す処理フローが終了した場合、図１２に示す処理フローが開始される。或いは、携帯端末２の通信部６１が、車両１の俯瞰画像の動画データの要求信号を車両１に送信することなく図９に示す処理フローが終了した場合、図１２に示す処理フローが開始される。
図１２は、携帯端末２による表示切替の処理フローの説明図である。携帯端末２の通信部６１が、車両１の俯瞰画像の動画データの要求信号を車両１に送信することにより図９に示す処理フローが終了した場合、図１２に示す処理フローが開始される。或いは、携帯端末２の通信部６１が、車両１の俯瞰画像の動画データの要求信号を車両１に送信することなく図９に示す処理フローが終了した場合、図１２に示す処理フローが開始される。
図１２のステップＳ０１の処理において、通信部６１は、車両１の俯瞰画像の動画データを車両１から受信する。次に、図１２のステップＳ０２の処理において、表示部６４は、車両１の俯瞰画像の動画を表示する。なお、図９に示す処理フローにおいて、携帯端末２の通信部６１が、車両１の俯瞰画像の動画データの要求信号を送信することなく図９に示す処理フローが終了した場合、図１２に示す処理フローにおいて、図１２のステップＳ０１、Ｓ０２の処理は行われない。以下では、表示部６４が、車両１の俯瞰画像の動画を表示した場合について説明するが、図１２のステップＳ０１、Ｓ０２の処理が行われなかった場合は、表示部６４には車両１の俯瞰画像の静止画が表示された状態で、図１２に示す処理フローが行われる。したがって、図１２のステップＳ０１、Ｓ０２の処理が行われなかった場合、車両１の俯瞰画像の動画を車両１の俯瞰画像の静止画と読み替えて、図１２に示す処理フローが行われる。
図１３は、携帯端末２の表示部６４に、車両１の俯瞰画像の動画が表示された場合の一例を示す図である。図１３に示す携帯端末２は、操作部６３としてタッチパネルが利用されており、表示部６４の表示領域にタッチパネルが一体的に設けられている。また、車両１の俯瞰画像の動画データには、制御部１０により後述するマーク８２〜８６が重畳されている。なお、図１３において、車両１の俯瞰画像に表示されている対象物１００は簡略化されているが、実際は、対象物１００が不審者であるか否かを識別可能な程度に、車両
１の俯瞰画像に対象物１００が表示される。
１の俯瞰画像に対象物１００が表示される。
図１２の処理フローの説明に戻る。図１２のステップＳ０３の処理において、制御部６０は、車両１の俯瞰画像における視点位置の変更の要求があるか否かを判定する。車両１の俯瞰画像における視点位置の変更の要求は、例えば、操作部６３を介したユーザからの入力により行われる。視点位置の変更は、図４に示す仮想視点ＶＰの位置を変更することであり、仮想視点ＶＰの位置が変更された場合、変更後の仮想視点ＶＰの位置に応じて車両１の俯瞰画像が新たに作成される。例えば、図１３に示す携帯端末２の表示部６４に表示されている車両１の俯瞰画像に対して接触操作が行われた場合、制御部６０は、車両１の俯瞰画像の動画についての視点位置の変更の要求があると判定する。例えば、図１３に示す携帯端末２の表示部６４に表示されている車両１の俯瞰画像に対して接触操作が行われなかった場合、制御部６０は、車両１の俯瞰画像の動画についての視点位置の変更の要求がないと判定する。
車両１の俯瞰画像の動画についての視点位置の変更の要求がある場合（図１２のステップＳ０３の処理においてＹＥＳの場合）、図１２のステップＳ０４の処理に進む。図１２のステップＳ０４の処理において、通信部６１は、車両１の俯瞰画像の動画についての視点位置の変更の要求の信号と、変更後の視点位置データとを車両１に送信する。例えば、図１３に示す携帯端末２の表示部６４に表示されている車両１の俯瞰画像において符号９０で示す×印の位置に対して接触操作が行われた場合、符号９０で示す×印の位置データが、変更後の視点位置データとなる。通信部６１が、車両１の俯瞰画像の動画についての視点位置の変更の要求の信号を車両１に送信すると、図１２に示す処理フローが終了する。なお、通信部６１が、車両１の俯瞰画像の動画についての視点位置の変更の要求の信号を車両１に送信した場合、変更後の視点位置データに基づいて作成された車両１の俯瞰画像の動画データを通信部６１が受信する。これにより、ユーザは、視点位置が変更された車両１の俯瞰画像の動画を、携帯端末２の表示部６４により確認することが可能となる。
一方、車両１の俯瞰画像の動画についての視点位置の変更の要求がない場合（図１２のステップＳ０３の処理においてＮＯの場合）、図１２のステップＳ０５の処理に進む。図１２のステップＳ０５の処理において、制御部６０は、自動追尾が選択されているか否かの判定を行う。自動追尾とは、第１撮影部１１及び又は第２撮影部１２の撮影方向を、車両１に接近してきている対象物に対して向けることをいう。例えば、図１３に示す携帯端末２の表示部６４に表示されている「自動追尾」の文字を含むボタン８０に対して接触操作が行われた場合、制御部６０は、自動追尾が選択されていると判定する。例えば、図１３に示す携帯端末２の表示部６４に表示されている「自動追尾」の文字を含むボタン８０に対して接触操作が行われなかった場合、制御部６０は、自動追尾が選択されていないと判定する。
自動追尾が選択されている場合（図１２のステップＳ０５の処理においてＹＥＳの場合）、図１２のステップＳ０６の処理に進む。図１２のステップＳ０６の処理において、制御部６０は、カメラ２００の切替の要求が行われているか否かの判定を行う。カメラ２００の切替の要求は、例えば、操作部６３を介したユーザからの入力により行われる。例えば、図１３に示す携帯端末２の表示部６４に表示されているマーク８１から８６に対して接触操作が行われた場合、制御部６０は、カメラ２００の切替の要求が行われたと判定する。
図１３に示す携帯端末２の表示部６４に表示されているマーク８１から８４は、車両１のフロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３にそれぞれ対応している。図１３に示す携帯端末２の表示部６４に表示されているマーク８１に対して接触操作が行われた場合、車両１のフロントカメラ３０によって撮影されて
いる画像を、携帯端末２の表示部６４に表示することが要求されたことになる。したがって、カメラ２００の切替の要求は、携帯端末２の表示部６４に表示する画像の切替を意味する。図１３に示す携帯端末２の表示部６４に表示されているマーク８２から８４についても同様である。
いる画像を、携帯端末２の表示部６４に表示することが要求されたことになる。したがって、カメラ２００の切替の要求は、携帯端末２の表示部６４に表示する画像の切替を意味する。図１３に示す携帯端末２の表示部６４に表示されているマーク８２から８４についても同様である。
図１３に示す携帯端末２の表示部６４に表示されているマーク８５及び８６は、車内カメラ５０及び５１にそれぞれ対応している。図１３に示す携帯端末２の表示部６４に表示されているマーク８５に対して接触操作が行われた場合、車両１の車内カメラ５０によって撮影されている画像を、携帯端末２の表示部６４に表示することが要求されたことになる。図１３に示す携帯端末２の表示部６４に表示されているマーク８６についても同様である。
図１２の処理フローの説明に戻る。カメラ２００の切替の要求が行われている場合（図１２のステップＳ０６の処理においてＹＥＳの場合）、図１２のステップＳ０７の処理に進む。図１２のステップＳ０７の処理において、通信部６１は、自動追尾が選択されたことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を車両１に送信する。カメラ２００の名称は、記憶部６５に予め記憶されている。通信部６１が、自動追尾が選択されたことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を車両１に送信すると、図１２に示す処理フローが終了する。なお、通信部６１が、自動追尾が選択されたことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を車両１に送信した場合、通信部６１は、切替後のカメラ２００による撮影画像の動画データを受信する。
一方、カメラ２００の切替の要求が行われていない場合（図１２のステップＳ０６の処理においてＮＯの場合）、図１２のステップＳ０８の処理に進む。図１２のステップＳ０８の処理において、通信部６１は、自動追尾が選択されたことを示す信号を車両１に送信する。通信部６１が、自動追尾が選択されたことを示す信号を車両１に送信すると、図１２に示す処理フローが終了する。
また、自動追尾が選択されていない場合（図１２のステップＳ０５の処理においてＮＯの場合）、図１２のステップＳ０９の処理に進む。図１２のステップＳ０９の処理において、制御部６０は、カメラ２００の切替の要求が行われているか否かの判定を行う。カメラ２００の切替の要求は、例えば、操作部６３を介したユーザからの入力により行われる。カメラ２００の切替の要求が行われていない場合（図１２のステップＳ０９の処理においてＮＯの場合）、図１２に示す処理フローが終了する。この場合、自動追尾が選択されておらず、かつ、カメラ２００の切替の要求が行われていないので、携帯端末２の表示部６４には、車両１の俯瞰画像の動画が表示された状態が維持される。
一方、カメラ２００の切替の要求が行われている場合（図１２のステップＳ０９の処理においてＹＥＳの場合）、図１２のステップＳ１０の処理に進む。図１２のステップＳ１０の処理において、通信部６１は、自動追尾が選択されていないことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を車両１に送信する。通信部６１が、自動追尾が選択されていないことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を車両１に送信すると、図１２に示す処理フローが終了する。
なお、以上の説明は、図１３の俯瞰画像の動画データを表示する場合について説明したが、図１０の俯瞰画像の静止画を表示する場合に適用してもよい。その場合、俯瞰画像の静止画データにマーク８２〜８６が表示され、また図１０の表示部６４に自動追尾ボタン８０が表示されることになり、俯瞰画像の静止画を表示している状態で、視点位置の変更
や自動追尾の要求を行なうことができる。
や自動追尾の要求を行なうことができる。
〈車両１による表示切替の処理フロー（その１）〉
図１４は、車両１による表示切替の処理フローの説明図である。データ送受信部１８が、車両１の俯瞰画像の静止画データが添付された電子メールを携帯端末２に送信した後に図７に示す処理フローが終了した場合、図１４に示す処理フローが開始される。或いは、データ送受信部１８が、車両１の俯瞰画像の動画データを携帯端末２に送信した後に図１１に示す処理フローが終了した場合、図１４に示す処理フローが開始される。
図１４は、車両１による表示切替の処理フローの説明図である。データ送受信部１８が、車両１の俯瞰画像の静止画データが添付された電子メールを携帯端末２に送信した後に図７に示す処理フローが終了した場合、図１４に示す処理フローが開始される。或いは、データ送受信部１８が、車両１の俯瞰画像の動画データを携帯端末２に送信した後に図１１に示す処理フローが終了した場合、図１４に示す処理フローが開始される。
図１４のステップＳ０１の処理において、制御部１０は、車両１の俯瞰画像についての視点位置の変更の要求の信号、及び、変更後の視点位置データを、データ送受信部１８が受信したか否かを判定する。車両１の俯瞰画像についての視点位置の変更の要求の信号、及び、変更後の視点位置データを、データ送受信部１８が受信した場合（図１４のステップＳ０１の処理においてＹＥＳの場合）、図１４のステップＳ０２の処理に進む。
図１４のステップＳ０２の処理において、画像作成部１３は、変更後の視点位置データに基づいて、変更後の視点位置からみた車両１の俯瞰画像を新たに作成する。すなわち、画像作成部１３は、変更後の視点位置に対応する変更後の仮想視点ＶＰの位置からみた車両１の周辺の様子を示す合成画像を作成する。この場合、画像作成部１３は、車両１の俯瞰画像データを作成する。例えば、図１３に示す携帯端末２の表示部６４に表示されている車両１の俯瞰画像において符号９０で示す×印の位置データが、変更後の視点位置データである場合、画像作成部１３は、図１５に示す車両１の俯瞰画像を作成する。このとき、車両１の俯瞰画像の静止画データについての視点位置の変更の要求の信号をデータ送受信部１８が受信している場合、画像作成部１３は、車両１の俯瞰画像の静止画データを作成する。一方、車両１の俯瞰画像の動画データについての視点位置の変更の要求の信号をデータ送受信部１８が受信している場合、画像作成部１３は、車両１の俯瞰画像の動画データを作成する。なお、図１５において、車両１の俯瞰画像に表示されている対象物１００は簡略化されているが、実際は、対象物１００が不審者であるか否かを識別可能な程度に、車両１の俯瞰画像に対象物１００が表示される。画像作成部１３は、新たに作成した車両１の俯瞰画像データを記憶部１４に記憶する。
図１４のステップＳ０３の処理において、データ送受信部１８は、変更後の視点位置からみた車両１の俯瞰画像データを、携帯端末２に送信する。データ送受信部１８が、新たに作成した車両１の俯瞰画像データを携帯端末２に送信すると、図１４に示す処理フローが終了する。
一方、車両１の俯瞰画像についての視点位置の変更の要求の信号と、変更後の視点位置データとを、データ送受信部１８が受信していない場合（図１４のステップＳ０１の処理においてＮＯの場合）、図１４のステップＳ０４の処理に進む。図１４のステップＳ０４の処理において、制御部１０は、自動追尾が選択されたことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を、データ送受信部１８が受信したか否かを判定する。自動追尾が選択されたことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を、データ送受信部１８が受信した場合（図１４のステップＳ０４の処理においてＹＥＳの場合）、図１４のステップＳ０５の処理に進む。
図１４のステップＳ０５の処理において、制御部１０は、周辺監視部１７から、車両１から対象物までの距離、対象物の速度及び対象物に対する方位（角度θ）等の情報を取得する。そして、制御部１０は、車両１から対象物までの距離及び対象物に対する方位（角度θ）に基づいて、車両１に対して接近している対象物の座標を算出する。
図１４のステップＳ０６の処理において、制御部１０は、算出した座標に基づいて、切替後のカメラ２００の向きを調整することにより、切替後のカメラ２００が、車両１に対して接近している対象物の方向を向くようにする。図１４のステップＳ０７の処理において、データ送受信部１８は、切替後のカメラ２００による撮影画像の動画データを携帯端末２に送信する。データ送受信部１８が、切替後のカメラ２００による撮影画像の動画データを携帯端末２に送信すると、図１４に示す処理フローが終了する。
一方、自動追尾が選択されたことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を、データ送受信部１８が受信していない場合（図１４のステップＳ０４の処理においてＮＯの場合）、図１４のステップＳ０８の処理に進む。
図１４のステップＳ０８の処理において、制御部１０は、自動追尾が選択されていないことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を、データ送受信部１８が受信したか否かを判定する。自動追尾が選択されていないことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を、データ送受信部１８が受信した場合（図１４のステップＳ０８の処理においてＹＥＳの場合）、図１４のステップＳ０９の処理に進む。
図１４のステップＳ０９の処理において、データ送受信部１８は、切替後のカメラ２００による撮影画像の動画データを携帯端末２に送信する。データ送受信部１８が、切替後のカメラ２００による撮影画像の動画データを携帯端末２に送信すると、図１４に示す処理フローが終了する。
一方、自動追尾が選択されていないことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を、データ送受信部１８が受信していない場合（図１４のステップＳ０８の処理においてＮＯの場合）、図１４に示す処理フローが終了する。
〈携帯端末２による表示切替の処理フロー（その２）〉
ユーザは、携帯端末２から車両１に対して指示を与えることにより、第１撮影部１１のフロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３の向きを調整することが可能である。また、ユーザは、携帯端末２から車両１に対して指示を与えることにより、車内カメラ５０及び５１の向きを調整することが可能である。図１６は、携帯端末２によるカメラ２００の撮影方向の変更指示の処理フローの説明図である。通信部６１が、自動追尾が選択されていないことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を車両１に送信することにより図１２の処理が終了した場合、図１６に示す処理フローが開始される。すなわち、図１６に示す処理フローは、図１２のステップＳ１０の処理が終了した後に開始される。
ユーザは、携帯端末２から車両１に対して指示を与えることにより、第１撮影部１１のフロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３の向きを調整することが可能である。また、ユーザは、携帯端末２から車両１に対して指示を与えることにより、車内カメラ５０及び５１の向きを調整することが可能である。図１６は、携帯端末２によるカメラ２００の撮影方向の変更指示の処理フローの説明図である。通信部６１が、自動追尾が選択されていないことを示す信号、カメラ２００の切替の要求信号及び切替後のカメラ２００の名称を車両１に送信することにより図１２の処理が終了した場合、図１６に示す処理フローが開始される。すなわち、図１６に示す処理フローは、図１２のステップＳ１０の処理が終了した後に開始される。
図１６のステップＳ０１の処理において、通信部６１は、切替後のカメラ２００による撮影画像の動画データを車両１から受信する。図１６のステップＳ０２の処理において、表示部６４は、切替後のカメラ２００による撮影画像の動画を表示する。図１７は、携帯端末２の表示部６４に、切替後のカメラ２００による撮影画像の動画が表示された場合の一例を示す図である。図１７に示す携帯端末２は、操作部６３としてタッチパネルが利用されており、表示部６４の表示領域にタッチパネルが一体的に設けられている。図１７においては、切替後のカメラ２００は車内カメラ５０であり、車内カメラ５０による撮影画像の動画が、携帯端末２の表示部６４に表示されている。
図１６のステップＳ０３の処理において、制御部６０は、カメラ２００の座標の指定があるか否かを判定する。例えば、図１７に示す携帯端末２の表示部６４に表示されている画像において、符号９１で示す点線の丸印の位置に対して接触操作が行われた場合、制御
部６０は、カメラ２００の座標の指定があると判定する。
部６０は、カメラ２００の座標の指定があると判定する。
カメラ２００の座標の指定がある場合（図１６のステップＳ０３の処理においてＹＥＳの場合）、図１６のステップＳ０４の処理に進む。図１６のステップＳ０４の処理において、通信部６１は、指定された座標データを車両１に送信する。図１６のステップＳ０５の処理において、通信部６１は、カメラ２００の座標の指定によってカメラ２００の向きが変更された後の撮影画像の動画データを、車両１から受信する。図１６のステップＳ０６の処理において、表示部６４は、カメラ２００の向きが変更された後の撮影画像の動画を表示する。図１８は、携帯端末２の表示部６４に、カメラ２００の向きが変更された後の撮影画像の動画が表示された一例を示す図である。図１８に示す携帯端末２の表示部６４に表示されている画像の中心位置は、図１７に示す携帯端末２の表示部６４に表示されている画像における符号９１で示す点線の○印の位置に対応している。このように、ユーザは、携帯端末２の表示部６４に表示されている画像において接触操作を行うことにより、カメラ２００の向きを任意に変更することが可能である。表示部６４が、カメラ２００の向きが変更された後の撮影画像の動画を表示すると、図１６に示す処理フローが終了する。
一方、カメラ２００の座標の指定がない場合（図１６のステップＳ０３の処理においてＮＯの場合）、図１６に示す処理フローが終了する。この場合、カメラ２００の座標の指定がないため、カメラ２００の向きが変更されない状態で、撮影画像の動画が表示部６４に表示されることになる。
〈車両１による表示変更の処理フロー（その２）〉
図１９は、車両１による表示変更の処理フローの説明図である。図１９に示す処理フローは、図１４のステップＳ０９の処理が終了した後に開始される。図１９のステップＳ０１の処理において、制御部１０は、携帯端末２によって指定された座標データを、データ送受信部１８が受信したか否かを判定する。すなわち、制御部１０は、カメラ２００の座標の指定があるか否かを判定する。
図１９は、車両１による表示変更の処理フローの説明図である。図１９に示す処理フローは、図１４のステップＳ０９の処理が終了した後に開始される。図１９のステップＳ０１の処理において、制御部１０は、携帯端末２によって指定された座標データを、データ送受信部１８が受信したか否かを判定する。すなわち、制御部１０は、カメラ２００の座標の指定があるか否かを判定する。
カメラ２００の座標の指定がある場合（図１９のステップＳ０１の処理においてＹＥＳの場合）、図１９のステップＳ０２の処理に進む。図１９のステップＳ０２の処理において、制御部１０は、受信した座標データに基づいて、フロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２及びバックカメラ３３の向きを変更する。また、図１９のステップＳ０２の処理において、制御部１０は、受信した座標データに基づいて、車内カメラ５０及び５１の向きを変更する。
図１９のステップＳ０３の処理において、データ送受信部１８は、カメラ２００の向きが変更された後の撮影画像の動画データを携帯端末２に送信する。データ送受信部１８が、カメラ２００の向きが変更された後の撮影画像の動画データを携帯端末２に送信した後、図１９に示す処理フローが終了する。
一方、カメラ２００の座標の指定がない場合（図１９のステップＳ０１の処理においてＹＥＳの場合）、図１９のステップＳ０４の処理に進む。図１９のステップＳ０４の処理において、データ送受信部１８は、カメラ２００の向きが変更されない状態の撮影画像の動画データを携帯端末２に送信する。データ送受信部１８が、カメラ２００の向きが変更されない状態の撮影画像の動画データを携帯端末２に送信した後、図１９に示す処理フローが終了する。
〈車両１のバッテリー上り防止の処理フロー〉
図２０、図２１及び図２３は、車両１のバッテリー上り防止の処理フローの説明図であ
る。図２０及び図２３は、車両１で実行される処理フローの説明図であり、図２１は、携帯端末２で実行される処理フローの説明図である。なお、図２０、図２１及び図２３に示す処理フローは、複数回実行されてもよい。
図２０、図２１及び図２３は、車両１のバッテリー上り防止の処理フローの説明図であ
る。図２０及び図２３は、車両１で実行される処理フローの説明図であり、図２１は、携帯端末２で実行される処理フローの説明図である。なお、図２０、図２１及び図２３に示す処理フローは、複数回実行されてもよい。
まず、図２０に示す処理フローについて説明する。図２０に示す処理フローは、所定のタイミングによって開始される。例えば、車両１が備える不図示の時計が、所定時刻になった場合、図２０に示す処理フローが開始されるようにしてもよい。
図２０のステップＳ０１の処理において、制御部１０は、車両１が備える不図示のバッテリーの電圧が所定値以下であるか否かを判定する。車両１のバッテリーの電圧が所定値以下である場合（図２０のステップＳ０１の処理でＹＥＳの場合）、図２０のステップＳ０２の処理に進む。図２０のステップＳ０２の処理において、データ送受信部１８は、車両１のバッテリーの電圧が低下していることを知らせるメッセージを携帯端末２に送信する。データ送受信部１８は、車両１のバッテリーの電圧が低下していることを知らせるメッセージを含むメールを携帯端末２に送信してもよい。データ送受信部１８が、車両１のバッテリーの電圧が低下していることを知らせるメッセージを携帯端末２に送信すると、図２０に示す処理フローが終了する。
一方、車両１のバッテリーの電圧が所定値以下でない場合（図２０のステップＳ０１の処理でＮＯの場合）、図２０のステップＳ０３の処理に進む。図２０のステップＳ０３の処理において、制御部１０は、車両１のバッテリーが所定時間以上連続して使用されているか否かを判定する。所定時間は、例えば、１０分であるが、これに限定されず、他の値であってもよい。車両１のバッテリーが所定時間以上連続して使用されている場合（図２０のステップＳ０３の処理でＹＥＳの場合）、ステップＳ０２の処理に進む。一方、バッテリーが所定時間以上連続して使用されていない場合（図２０のステップＳ０３の処理でＮＯの場合）、図２０に示す処理フローが終了する。
図２１に示す処理フローについて説明する。図２１に示す処理フローは、図２０に示す処理フローに対応するものである。図２１に示すステップＳ０１の処理において、制御部６０は、図２０のステップＳ０２の処理により車両１のバッテリーの電圧が低下していることを知らせるメッセージを、通信部６１が受信したか否かを判定する。また、制御部６０は、車両１のバッテリーの電圧が低下していることを知らせるメッセージを含むメールを、通信部６１が受信したか否かを判定してもよい。車両１のバッテリーの電圧が低下していることを知らせるメッセージを、通信部６１が受信していない場合（図２１に示すステップＳ０１の処理でＮＯの場合）、図２１に示す処理フローが終了する。一方、車両１のバッテリーの電圧が低下していることを知らせるメッセージを、通信部６１が受信した場合（図２１に示すステップＳ０１の処理でＹＥＳの場合）、図２１のステップＳ０２の処理に進む。
図２１のステップＳ０２の処理において、表示部６４は、車両１のバッテリーの電圧が低下していることを知らせるメッセージを表示する。図２２は、携帯端末２の表示部６４に、車両１のバッテリーの電圧が低下していることを知らせるメッセージが表示された場合の一例を示す図である。なお、図２２において、車両１の俯瞰画像に表示されている対象物１００は簡略化されているが、実際は、対象物１００が不審者であるか否かを識別可能な程度に、車両１の俯瞰画像に対象物１００が表示される。
図２１のステップＳ０３の処理において、制御部６０は、車両１が備える不図示のエンジンの始動の要求があるか否かを判定する。エンジンの始動の要求は、例えば、操作部６３を介したユーザからの入力により行われる。エンジンの始動の要求がない場合（図２１のステップＳ０３の処理でＮＯの場合）、図２１に示す処理フローが終了する。一方、エ
ンジンの始動の要求がある場合（図２１のステップＳ０３の処理でＹＥＳの場合）、図２１のステップＳ０４の処理に進む。図２１のステップＳ０４の処理において、通信部６１は、エンジンの始動の要求の信号を車両１に送信する。通信部６１が、エンジンの始動の要求の信号を車両１に送信すると、図２１に示す処理フローが終了する。
ンジンの始動の要求がある場合（図２１のステップＳ０３の処理でＹＥＳの場合）、図２１のステップＳ０４の処理に進む。図２１のステップＳ０４の処理において、通信部６１は、エンジンの始動の要求の信号を車両１に送信する。通信部６１が、エンジンの始動の要求の信号を車両１に送信すると、図２１に示す処理フローが終了する。
図２３に示す処理フローについて説明する。図２３に示す処理フローは、図２１に示す処理フローに対応するものである。図２３に示すステップＳ０１の処理において、制御部１０は、データ送受信部１８がエンジンの始動の要求の信号を、携帯端末２から受信したか否かを判定する。データ送受信部１８がエンジンの始動の要求の信号を、携帯端末２から受信していない場合（図２３に示すステップＳ０１の処理でＮＯの場合）、図２３に示す処理フローが終了する。一方、データ送受信部１８がエンジンの始動の要求の信号を、携帯端末２から受信している場合（図２３に示すステップＳ０１の処理でＹＥＳの場合）、図２３に示すステップＳ０２の処理に進む。図２３に示すステップＳ０２の処理において、エンジン制御部２０は、車両１のエンジンの始動の制御を行う。
〈警報制御の処理フロー〉
図２４及び図２５は、警報制御の処理フローの説明図である。図２４は、携帯端末２で実行される処理フローの説明図であり、図２５は、車両１で実行される処理フローの説明図である。なお、図２４及び図２５に示す処理フローは、複数回実行されてもよい。
図２４及び図２５は、警報制御の処理フローの説明図である。図２４は、携帯端末２で実行される処理フローの説明図であり、図２５は、車両１で実行される処理フローの説明図である。なお、図２４及び図２５に示す処理フローは、複数回実行されてもよい。
まず、図２４に示す処理フローについて説明する。図２４のステップＳ０１の処理において、制御部６０は、警報要求があるか否かを判定する。警報要求は、例えば、操作部６３を介したユーザからの入力により行われる。警報要求がある場合（図２４のステップＳ０１の処理でＹＥＳの場合）、図２４のステップＳ０２の処理に進む。一方、警報要求がない場合（図２４のステップＳ０１の処理でＮＯの場合）、図２４に示す処理フローが終了する。図２４のステップＳ０２の処理において、通信部６１は、警報要求の信号を送信する。通信部６１が、警報要求の信号を送信すると、図２４に示す処理フローが終了する。
図２５に示す処理フローについて説明する。図２５に示す処理フローは、図２４に示す処理フローが終了した後に開始される。図２５のステップＳ０１の処理において、制御部１０は、データ送受信部１８が警報要求の信号を受信したか否かを判定する。データ送受信部１８が警報要求の信号を受信した場合（図２５のステップＳ０１の処理でＹＥＳの場合）、図２５のステップＳ０２の処理に進む。一方、データ送受信部１８が警報要求の信号を受信していない場合（図２５のステップＳ０１の処理でＮＯの場合）、図２５に示す処理フローが終了する。図２５のステップＳ０２の処理において、制御部１０は、警報部１９の制御を行う。警報部１９の制御が行われることにより、例えば、ヘッドライトの点灯、ハザードランプの点滅、ホーンやサイレンによる音の出力、音声出力装置による音声の出力のうちのいずれか１つ以上が実行される。制御部１０が、警報部１９の制御を行うと、図２５に示す処理フローが終了する。
以上の実施形態では、撮影を開始する条件として自車両への対象物の接近を検出した場合について説明した。車両１に加わる振動を検出する図示せぬ振動センサ等他の盗難行為を検出するセンサを用いることにより、振動センサ等他の盗難行為を検出するセンサが、所定条件を検出した場合、撮影を開始するようにしてもよい。
〈本実施形態の作用効果〉
ユーザは、携帯端末２の表示部６４に表示された車両１の俯瞰画像の静止画を視認することにより、車両１の俯瞰画像の静止画の中に映っている対象物が、不審者であるか否かを確認することができる。そして、車両１の俯瞰画像の静止画の中に映っている対象物が
不審者である場合、図２３及び図２４に示す処理フローのように、不審者に対して警報を行うことができる。このように、本実施形態に画像表示システムによれば、車両１に接近してきた対象物が不審者であるか否かを、車両１の俯瞰画像の静止画によって判断することが可能となる。これにより、不審者でない者に対して警報を行うことを防止することができる。
ユーザは、携帯端末２の表示部６４に表示された車両１の俯瞰画像の静止画を視認することにより、車両１の俯瞰画像の静止画の中に映っている対象物が、不審者であるか否かを確認することができる。そして、車両１の俯瞰画像の静止画の中に映っている対象物が
不審者である場合、図２３及び図２４に示す処理フローのように、不審者に対して警報を行うことができる。このように、本実施形態に画像表示システムによれば、車両１に接近してきた対象物が不審者であるか否かを、車両１の俯瞰画像の静止画によって判断することが可能となる。これにより、不審者でない者に対して警報を行うことを防止することができる。
また、携帯端末２の表示部６４に表示された車両１の俯瞰画像の静止画を視認するのみでは、車両１の俯瞰画像の静止画の中に映っている対象物が、不審者であるか否かを確認できない場合もある。また、車両１の俯瞰画像の静止画の中に映っている対象物を、詳しく観察したい場合もある。この場合、ユーザは、車両１の俯瞰画像の動画の送信を要求することにより、携帯端末２の表示部６４に、車両１の俯瞰画像の動画が表示される。ユーザは、携帯端末２の表示部６４に表示された車両１の俯瞰画像の動画を視認することにより、車両１の俯瞰画像の動画の中に映っている対象物が、不審者であるか否かを更に確認することができる。ユーザは、携帯端末２の表示部６４に表示された車両１の俯瞰画像の動画を視認することにより、車両１の周囲の状況や、車両１に近づいてきた対象物をリアルタイムに確認することができる。
携帯端末２の表示部６４に表示された車両１の俯瞰画像の視点位置が変更されると、変更後の視点位置からみた車両１の俯瞰画像が携帯端末２の表示部６４に表示される。ユーザは、携帯端末２の表示部６４に表示された車両１の俯瞰画像の視点位置を変更することにより、変更後の視点位置からみた車両１の俯瞰画像を確認することができる。ユーザは、車両１の俯瞰画像を任意の視点位置からみることにより、車両１の周辺の状況をより正確に確認することが可能となる。したがって、ユーザは、車両１の俯瞰画像の中に映っている対象物が、不審者であるか否かをより正確に確認することが可能となる。
携帯端末２の表示部６４に表示された車両１の俯瞰画像に対して接触操作が行われることにより、携帯端末２の表示部６４に表示する画像の切替が行われる。例えば、車両１の俯瞰画像に替えて、車両１のフロントカメラ３０によって撮影されている画像を、携帯端末２の表示部６４に表示してもよい。また、例えば、車両１の俯瞰画像に替えて、車両１の車内カメラ５０によって撮影されている画像を、携帯端末２の表示部６４に表示してもよい。すなわち、車両１の俯瞰画像と、車両１のフロントカメラ３０、左サイドカメラ３１、右サイドカメラ３２、バックカメラ３３、車内カメラ５０及び５１のいずれかのカメラによって撮影されている画像とを切り替えて、携帯端末２の表示部６４に表示させることが可能である。これにより、ユーザは、所望の映像を選択して視認することが可能となる。したがって、ユーザは、車両１の周辺の状況をより正確に確認することが可能となる。その結果、ユーザは、車両１の俯瞰画像の中に映っている対象物が、不審者であるか否かをより正確に確認することが可能となる。
また、ユーザは、携帯端末２を操作し、自動追尾を選択することにより、第１撮影部１１及び／又は第２撮影部１２の撮影方向を、車両１に接近してきている対象物に対して向けることができる。すなわち、自動追尾が選択されることにより、カメラ２００を車両１に接近してきている対象物に対して向けることができるので、車両１に近づいてきた対象物を中心とした映像をユーザは視認することができる。ユーザは、車両１に近づいてきた対象物を中心とした映像を視認することにより、車両１に近づいてきた対象物をより正確に確認することができる。これにより、車両１に近づいてきた対象物が不審者であるか否かをより正確に確認することができる。
また、本実施形態によれば、車両１のバッテリーの電圧が低下しているとき、ユーザに、車両１のバッテリーの電圧が低下していることを知らせることができる。その結果、ユーザは、車両１のエンジンの始動の要求を行うか否かの判断を行うことができる。携帯端
末２から車両１へ、エンジンの始動の要求の信号が送られることにより、車両１のバッテリー上りを防止することが可能となる。
末２から車両１へ、エンジンの始動の要求の信号が送られることにより、車両１のバッテリー上りを防止することが可能となる。
１ 車両
２ 携帯端末
３ サーバ
４ ネットワーク
１０ 制御部
１１ 第１撮影部
１２ 第２撮影部
１３ 画像作成部
１４ 記憶部
１５ 表示部
１６ 操作部
１７ 周辺監視部
１８ データ送受信部
１９ 警報部
２０ エンジン制御部
３０ フロントカメラ
３１ 左サイドカメラ
３２ 右サイドカメラ
３３ バックカメラ
３０Ａ、３０Ｂ 光軸
４０、４１ ドアミラー
４２、４３ ピラー
５０、５１ 車内カメラ
６０ 制御部
６１ 通信部
６２ 報知部
６３ 操作部
６４ 表示部
６５ 記憶部
１００ 対象物
２００ カメラ
２ 携帯端末
３ サーバ
４ ネットワーク
１０ 制御部
１１ 第１撮影部
１２ 第２撮影部
１３ 画像作成部
１４ 記憶部
１５ 表示部
１６ 操作部
１７ 周辺監視部
１８ データ送受信部
１９ 警報部
２０ エンジン制御部
３０ フロントカメラ
３１ 左サイドカメラ
３２ 右サイドカメラ
３３ バックカメラ
３０Ａ、３０Ｂ 光軸
４０、４１ ドアミラー
４２、４３ ピラー
５０、５１ 車内カメラ
６０ 制御部
６１ 通信部
６２ 報知部
６３ 操作部
６４ 表示部
６５ 記憶部
１００ 対象物
２００ カメラ
Claims (4)
- 車両に搭載され、前記車両の周囲を撮影する撮影部と、
前記撮影部によって撮影された画像の動画に基づいて、仮想視点からの前記車両と前記車両の周囲とを含む俯瞰画像の動画を作成する画像作成部と、
前記俯瞰画像の動画を端末装置に送信する送信部と、
前記車両周辺の対象物を検知する検知部と、を備え、
前記画像作成部は、前記検知部が前記車両周辺の対象物を検知した場合、前記俯瞰画像の動画作成を開始し、前記端末装置からの要求に応じて前記仮想視点を変更し、変更後の仮想視点からの前記俯瞰画像の動画を作成し、
前記撮影部は、前記端末装置からの要求に応じて、前記対象物の座標に基づいて前記対象物の方向を向いて前記対象物を含む前記車両の周囲を撮影する、
画像表示システム。 - 前記送信部は、前記端末装置からの要求に応じて前記撮影部によって撮影された画像の動画を送信する請求項１に記載の画像表示システム。
- 前記車両に搭載され、前記車両の車内の一部と前記車両の周囲の一部とを撮影する第２撮影部を更に備え、
前記送信部は、前記端末装置からの要求に応じて前記第２撮影部によって撮影された画像の動画を前記端末装置に送信する請求項１または２に記載の画像表示システム。 - 前記画像作成部は、前記車両周辺の対象物が前記車両に近づいている場合、前記俯瞰画像の動画の作成を開始する請求項１から３の何れか一項に記載の画像表示システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010272018A JP5872764B2 (ja) | 2010-12-06 | 2010-12-06 | 画像表示システム |
| US13/302,487 US9199607B2 (en) | 2010-12-06 | 2011-11-22 | In-vehicle apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010272018A JP5872764B2 (ja) | 2010-12-06 | 2010-12-06 | 画像表示システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012121384A JP2012121384A (ja) | 2012-06-28 |
| JP5872764B2 true JP5872764B2 (ja) | 2016-03-01 |
Family
ID=46161895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010272018A Expired - Fee Related JP5872764B2 (ja) | 2010-12-06 | 2010-12-06 | 画像表示システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9199607B2 (ja) |
| JP (1) | JP5872764B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230134628A (ko) * | 2022-03-14 | 2023-09-22 | 주식회사 카모스 | 차량용 서라운드 뷰 모니터링 시스템 |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5503660B2 (ja) * | 2009-09-24 | 2014-05-28 | パナソニック株式会社 | 運転支援表示装置 |
| WO2013086249A2 (en) * | 2011-12-09 | 2013-06-13 | Magna Electronics, Inc. | Vehicle vision system with customized display |
| US20130238185A1 (en) * | 2012-03-07 | 2013-09-12 | Cheng-Yi Cho | Car video device enabling wireless transmission to and from portable communication device |
| US20130293683A1 (en) * | 2012-05-03 | 2013-11-07 | Harman International (Shanghai) Management Co., Ltd. | System and method of interactively controlling a virtual camera |
| US10089537B2 (en) | 2012-05-18 | 2018-10-02 | Magna Electronics Inc. | Vehicle vision system with front and rear camera integration |
| JP6003226B2 (ja) * | 2012-05-23 | 2016-10-05 | 株式会社デンソー | 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム |
| JP5629740B2 (ja) * | 2012-09-21 | 2014-11-26 | 株式会社小松製作所 | 作業車両用周辺監視システム及び作業車両 |
| US20140092249A1 (en) * | 2012-09-28 | 2014-04-03 | Ford Global Technologies, Llc | Vehicle perimeter detection system |
| US20140118549A1 (en) * | 2012-10-31 | 2014-05-01 | Nissan North America, Inc. | Automated vehicle periphery monitoring apparatus and image displaying method |
| ITFI20130103A1 (it) * | 2013-05-07 | 2014-11-08 | Andrea Verre | Apparato di monitoraggio ed allarme per veicoli |
| JP6347934B2 (ja) * | 2013-10-11 | 2018-06-27 | 株式会社デンソーテン | 画像表示装置、画像表示システム、画像表示方法、及び、プログラム |
| US20150271452A1 (en) * | 2014-03-21 | 2015-09-24 | Ford Global Technologies, Llc | Vehicle-based media content capture and remote service integration |
| JP2015193280A (ja) * | 2014-03-31 | 2015-11-05 | 富士通テン株式会社 | 車両制御装置及び車両制御方法 |
| JP2016092614A (ja) * | 2014-11-05 | 2016-05-23 | エイディシーテクノロジー株式会社 | 車載カメラシステム |
| JP6413898B2 (ja) * | 2015-04-02 | 2018-10-31 | 株式会社デンソー | 歩行者判定装置 |
| JP6655318B2 (ja) * | 2015-07-28 | 2020-02-26 | 矢崎エナジーシステム株式会社 | 車両防犯システム |
| JP6444835B2 (ja) | 2015-09-07 | 2018-12-26 | 株式会社東芝 | 画像処理装置、画像処理プログラムおよび画像処理システム |
| KR101766077B1 (ko) * | 2015-12-08 | 2017-08-07 | 현대자동차주식회사 | 차량 주변 영상 정보 제공 시스템 및 방법 |
| TWI607911B (zh) * | 2016-04-28 | 2017-12-11 | H P B Optoelectronic Co Ltd | Vehicle safety protection system and method |
| TWI613106B (zh) * | 2016-05-05 | 2018-02-01 | 威盛電子股份有限公司 | 車輛周圍影像處理方法及裝置 |
| JP6684153B2 (ja) * | 2016-05-31 | 2020-04-22 | トヨタホーム株式会社 | 防犯システム |
| KR101793223B1 (ko) * | 2016-07-13 | 2017-11-03 | 모바일 어플라이언스 주식회사 | 차량 운전 보조장치 |
| JP6756225B2 (ja) * | 2016-10-04 | 2020-09-16 | 株式会社オートネットワーク技術研究所 | 車載更新システム、車載更新装置及び更新方法 |
| DE102017200160A1 (de) | 2017-01-09 | 2018-07-12 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Überwachen eines abgestellten Kraftfahrzeugs |
| DE102017200165A1 (de) | 2017-01-09 | 2018-07-12 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Betreiben eines abgestellten Kraftfahrzeugs |
| JP6658642B2 (ja) * | 2017-03-24 | 2020-03-04 | トヨタ自動車株式会社 | 車両用視認装置 |
| US10144390B1 (en) | 2017-05-17 | 2018-12-04 | Deere & Company | Work vehicle start system and method with optical verification for authorizing remote start |
| US10018171B1 (en) | 2017-05-17 | 2018-07-10 | Deere & Company | Work vehicle start system and method with virtual walk-around for authorizing remote start |
| US10132259B1 (en) | 2017-05-17 | 2018-11-20 | Deere & Company | Work vehicle start system and method with engine cycling |
| CN109547766B (zh) | 2017-08-03 | 2020-08-14 | 杭州海康威视数字技术股份有限公司 | 一种全景图像生成方法及装置 |
| CN107592498B (zh) * | 2017-08-28 | 2020-03-10 | 深圳市盛路物联通讯技术有限公司 | 一种基于智能摄像头的小区管理方法及相关设备 |
| JP6998726B2 (ja) * | 2017-10-24 | 2022-01-18 | 圭史朗 金森 | 監視装置、監視システム、監視方法及び監視プログラム |
| JP7112191B2 (ja) * | 2017-10-24 | 2022-08-03 | 株式会社デンソーテン | 画像処理装置及び画像処理方法 |
| CN108082120A (zh) * | 2017-12-20 | 2018-05-29 | 深圳市沃特沃德股份有限公司 | 汽车防盗方法及装置 |
| JP7209321B2 (ja) * | 2018-02-20 | 2023-01-20 | 株式会社ユピテル | システム及びプログラム |
| JP2019151304A (ja) * | 2018-03-06 | 2019-09-12 | アイシン精機株式会社 | 周辺監視装置 |
| JP6568981B2 (ja) * | 2018-05-29 | 2019-08-28 | 株式会社デンソーテン | 画像表示装置、画像表示システム、画像表示方法、及び、プログラム |
| CN109353308B (zh) * | 2018-09-21 | 2020-07-31 | 北京长城华冠汽车技术开发有限公司 | 车辆报警装置和系统 |
| JP7128096B2 (ja) * | 2018-11-26 | 2022-08-30 | 本田技研工業株式会社 | 映像表示装置 |
| JP7200645B2 (ja) * | 2018-12-11 | 2023-01-10 | トヨタ自動車株式会社 | 車載装置、プログラム、及び車両 |
| JP6725734B2 (ja) * | 2019-08-05 | 2020-07-22 | 株式会社デンソーテン | 画像表示装置、画像表示システム、画像表示方法、及び、プログラム |
| US20230020069A1 (en) * | 2019-12-19 | 2023-01-19 | Sony Semiconductor Solutions Corporation | A camera system for a mobile device, a method for localizing a camera and a method for localizing multiple cameras |
| JP7585852B2 (ja) * | 2021-02-17 | 2024-11-19 | 株式会社アイシン | 開閉体制御装置 |
| US20230110938A1 (en) * | 2021-09-24 | 2023-04-13 | Magna Electronics Inc. | Vehicular vision system with remote display feature |
| JP7749473B2 (ja) * | 2022-01-28 | 2025-10-06 | 株式会社デンソーテン | 車載装置および車載装置の制御方法 |
| JP2024052375A (ja) * | 2022-09-30 | 2024-04-11 | 株式会社東海理化電機製作所 | 表示システム |
| JP2024052376A (ja) * | 2022-09-30 | 2024-04-11 | 株式会社東海理化電機製作所 | 遠隔監視システム |
| JP2024125011A (ja) * | 2023-03-03 | 2024-09-13 | トヨタ自動車株式会社 | 情報処理装置、ユーザ端末、情報処理方法、および、プログラム |
| WO2025153886A1 (ja) * | 2024-01-17 | 2025-07-24 | ロベルト•ボッシュ•ゲゼルシャフト•ミト•ベシュレンクテル•ハフツング | 処理システムおよび処理方法 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002316602A (ja) * | 2001-04-24 | 2002-10-29 | Matsushita Electric Ind Co Ltd | 車載カメラの撮像画像表示方法及びその装置 |
| JP4059309B2 (ja) * | 2001-05-07 | 2008-03-12 | 松下電器産業株式会社 | 車載カメラの画像表示制御方法及びその装置 |
| JP3870779B2 (ja) * | 2001-12-20 | 2007-01-24 | 株式会社デンソー | 自動車の監視システム |
| JP4076071B2 (ja) * | 2002-08-19 | 2008-04-16 | アルパイン株式会社 | 移動体間の通信方法及び車両通信装置 |
| JP3972891B2 (ja) * | 2003-11-06 | 2007-09-05 | 株式会社デンソー | 車両監視システム |
| CN1950674A (zh) * | 2004-04-30 | 2007-04-18 | 日本先锋公司 | 地点搜索装置、导航装置、地点搜索方法、地点搜索程序和记录地点搜索程序的信息记录媒体 |
| JP4322775B2 (ja) * | 2004-10-21 | 2009-09-02 | 富士通テン株式会社 | 車両盗難予防装置 |
| JP2006154759A (ja) * | 2004-10-29 | 2006-06-15 | Fujitsu Ten Ltd | 画像補間装置、および表示装置 |
| JP2006302017A (ja) * | 2005-04-21 | 2006-11-02 | Toyota Motor Corp | 加害行為検出装置 |
| JP4956915B2 (ja) * | 2005-05-20 | 2012-06-20 | 日産自動車株式会社 | 映像表示装置及び映像表示方法 |
| JP4797720B2 (ja) * | 2006-03-15 | 2011-10-19 | オムロン株式会社 | 監視装置および方法、画像処理装置および方法、並びにプログラム |
| JP4325642B2 (ja) * | 2006-05-31 | 2009-09-02 | ソニー株式会社 | 移動体カメラシステム |
| JP5010228B2 (ja) * | 2006-10-12 | 2012-08-29 | アルパイン株式会社 | 施設検索装置 |
| JP4572889B2 (ja) * | 2006-11-20 | 2010-11-04 | 株式会社デンソー | 自動車用ユーザーもてなしシステム |
| JP5105880B2 (ja) * | 2007-01-10 | 2012-12-26 | アルパイン株式会社 | 車両状況監視装置及び画像処理装置 |
| JP4420113B2 (ja) * | 2008-01-16 | 2010-02-24 | 株式会社デンソー | 画像データ更新装置、及びプログラム |
| JP2009196593A (ja) * | 2008-02-25 | 2009-09-03 | Denso Corp | 車上荒らし予防装置 |
| JP5574579B2 (ja) * | 2008-05-29 | 2014-08-20 | アルパイン株式会社 | レーダ監視装置 |
| JP4840452B2 (ja) * | 2009-01-22 | 2011-12-21 | 株式会社デンソー | 車両周辺表示装置 |
| JP5142047B2 (ja) * | 2009-02-26 | 2013-02-13 | アイシン・エィ・ダブリュ株式会社 | ナビゲーション装置及びナビゲーション用プログラム |
| JP5223811B2 (ja) * | 2009-08-06 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法 |
| JP5640433B2 (ja) * | 2010-04-07 | 2014-12-17 | 日産自動車株式会社 | 画像情報提供装置および画像情報提供方法 |
| US8836784B2 (en) * | 2010-10-27 | 2014-09-16 | Intellectual Ventures Fund 83 Llc | Automotive imaging system for recording exception events |
-
2010
- 2010-12-06 JP JP2010272018A patent/JP5872764B2/ja not_active Expired - Fee Related
-
2011
- 2011-11-22 US US13/302,487 patent/US9199607B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230134628A (ko) * | 2022-03-14 | 2023-09-22 | 주식회사 카모스 | 차량용 서라운드 뷰 모니터링 시스템 |
| KR102727926B1 (ko) * | 2022-03-14 | 2024-11-11 | 주식회사 카모스 | 차량용 서라운드 뷰 모니터링 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9199607B2 (en) | 2015-12-01 |
| US20120140073A1 (en) | 2012-06-07 |
| JP2012121384A (ja) | 2012-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5872764B2 (ja) | 画像表示システム | |
| JP7252137B2 (ja) | 周辺監視装置 | |
| CN101844542B (zh) | 智能型车辆行驶安全辅助系统 | |
| JP4434224B2 (ja) | 走行支援用車載装置 | |
| US9767675B2 (en) | Mobile autonomous surveillance | |
| US8947219B2 (en) | Warning system with heads up display | |
| JP2010257249A (ja) | 車載防犯装置 | |
| EP2930070A1 (en) | Monitoring system | |
| WO2007112169A2 (en) | Vision based alert system using portable device with camera | |
| US20190258247A1 (en) | Remote vehicle control device, remote vehicle control system, and remote vehicle control method | |
| JP2020149088A (ja) | 車両防犯装置 | |
| KR20100064628A (ko) | 텔레매틱스 시스템 및 이를 이용한 제어 방법 | |
| JP2013041489A (ja) | 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム | |
| US20050275510A1 (en) | Vehicular anti-theft system capable of supplying images related to a vehicle status to an authorized driver | |
| JP2011100409A (ja) | 車載用電子機器及びプログラム | |
| JP2019145951A (ja) | 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法 | |
| WO2020083318A1 (zh) | 平视显示系统、显示方法和汽车 | |
| JP7112191B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2024000838A (ja) | 通知システムおよび通知方法 | |
| JP2004094696A (ja) | 車両警報装置およびシステム | |
| JP3655119B2 (ja) | 状況情報提供装置及びその方法 | |
| JP2019079250A (ja) | 画像処理装置及び画像処理方法 | |
| JP7103773B2 (ja) | 画像処理装置及び画像処理方法 | |
| US12459498B2 (en) | System and method for providing useful information following an impact event | |
| JP2010026620A (ja) | 車両運転支援装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140418 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140902 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141202 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20141210 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20150109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160114 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5872764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |