JP2013051678A - Image distribution device - Google Patents
Image distribution device Download PDFInfo
- Publication number
- JP2013051678A JP2013051678A JP2012167316A JP2012167316A JP2013051678A JP 2013051678 A JP2013051678 A JP 2013051678A JP 2012167316 A JP2012167316 A JP 2012167316A JP 2012167316 A JP2012167316 A JP 2012167316A JP 2013051678 A JP2013051678 A JP 2013051678A
- Authority
- JP
- Japan
- Prior art keywords
- image
- wireless terminal
- received
- image distribution
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 127
- 238000000034 method Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 29
- 238000012545 processing Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000012544 monitoring process Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】カメラ画像配信サービス加入者の閲覧環境に応じて画像配信装置の負荷を低減させ、監視カメラが撮影した画像を加入者端末に表示できる仕組みを提供する。
【解決手段】撮像装置が撮影する画像を無線端末に配信する画像配信装置が、撮像装置が設置されている拠点のアドレスを記憶し、無線端末から、画像の配信を要求した拠点を特定できるアドレスを含んだ画像配信要求を受け付け、画像配信要求を受け付けた無線端末に、画像配信装置からの画像取得要求を受けた撮像装置から取得した画像を配信し、受け付けた拠点を特定できるアドレスと、拠点データに記憶する拠点アドレスに従って、画像配信要求を受け付けた無線端末に画像を配信するかいなかを判断し、画像を配信しないと判断した場合には、画像配信要求を受け付けた無線端末に、画像配信要求を受け付けた無線端末からの画像取得要求を受けた撮像装置から取得した画像の表示が可能な情報を送信する。
【選択図】図1The present invention provides a mechanism capable of reducing the load of an image distribution apparatus according to a browsing environment of a subscriber of a camera image distribution service and displaying an image taken by a surveillance camera on a subscriber terminal.
An image distribution device that distributes an image captured by an imaging device to a wireless terminal stores an address of a base where the imaging device is installed, and an address that can identify the base from which the image is requested to be distributed from the wireless terminal An image distribution request including the address, and the wireless terminal that has received the image distribution request distributes the image acquired from the imaging device that has received the image acquisition request from the image distribution device, In accordance with the base address stored in the data, it is determined whether to distribute the image to the wireless terminal that has received the image distribution request. If it is determined not to distribute the image, the image distribution is performed to the wireless terminal that has received the image distribution request. Information that can display the image acquired from the imaging device that has received the image acquisition request from the wireless terminal that has received the request is transmitted.
[Selection] Figure 1
Description
画像配信装置及び制御方法とプログラムに関する。 The present invention relates to an image distribution apparatus, a control method, and a program.
近年、カメラ画像配信サービスといったWEBサイトでは監視カメラにより撮影された画像をWEBサーバが管理し、端末のWEBブラウザを介して配信している。携帯電話のWEBブラウザからもこのようなWEBサイトを閲覧することが可能となった。
監視カメラと無線通信端末が通信する技術としては以下のような技術が開示されている。
In recent years, on a WEB site such as a camera image distribution service, an image captured by a surveillance camera is managed by a WEB server and distributed via a WEB browser of a terminal. Such a WEB site can be browsed from a WEB browser of a mobile phone.
The following technologies are disclosed as technologies for communication between the surveillance camera and the wireless communication terminal.
先行文献1においては、公衆無線通信回線を使用すると通信料金がかかるので、無線通信端末が所定の位置にいることを検出して、監視カメラと無線通信端末が近距離無線通信にて所定の時間動作するように制御する技術が開示されている。
監視カメラに接続された複数の画像配信装置同士が通信する技術としては以下のような技術が開示されている。
In
The following technologies are disclosed as technologies for communication between a plurality of image distribution apparatuses connected to a monitoring camera.
先行文献2においては、異なる管理所における同じ名称の監視カメラを識別するために、画像配信サーバが配信要求パケットのヘッダからネットワークアドレスを検出し、画像配信サーバに割り当てられたネットワークアドレスと同じネットワークアドレスか他の管理所のネットワークアドレスであるかを判定する技術が開示されている。
In
カメラ画像配信サービスにおいて、監視カメラで監視するモニター画像(映像)を、閲覧者に安定的に高品質なリアルタイム画像を供給する必要があるため、画像を端末に配信する装置には高い画像配信性能が求められている。画像配信装置から閲覧する端末に対して、画像配信の停止や、画像配信の遅れのない高い画像配信性能を確保するためには、画像を配信するサーバとしての装置の設備を増強したり、契約者数といった閲覧者の閲覧状況を的確に把握する必要があるが、従来技術ではカメラ画像配信サービス閲覧者の直近の閲覧環境に素早く対応して、画像配信装置における画像配信の量を調整することはできないといった問題がある。 In the camera image distribution service, it is necessary to stably supply a high-quality real-time image to the viewer for the monitor image (video) monitored by the monitoring camera. Is required. In order to ensure high image distribution performance without stopping image distribution or delay in image distribution for terminals viewed from the image distribution device, the equipment of the device serving as the image distribution server can be enhanced or contracted. Although it is necessary to accurately grasp the browsing status of the viewer, such as the number of viewers, the conventional technology quickly adjusts the amount of image delivery in the image delivery device in response to the immediate viewing environment of the viewer of the camera image delivery service. There is a problem that can not be.
本願発明は、カメラ画像配信サービス加入者の閲覧環境に応じて画像配信装置の負荷を低減させ、監視カメラが撮影した画像を加入者端末に表示できる仕組みを提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a mechanism that can reduce the load of an image distribution apparatus according to the viewing environment of a subscriber of a camera image distribution service and display an image captured by a surveillance camera on a subscriber terminal.
本願発明は、無線端末および撮像装置に通信可能に接続され、前記撮像装置が撮影する画像を前記無線端末に配信する画像配信装置であって、前記撮像装置が設置されている拠点のアドレスである拠点データを記憶する拠点データ記憶手段と、前記無線端末から、前記撮像装置が撮影する画像の配信を要求した拠点を特定できるアドレスを含んだ画像配信要求を受け付ける受付手段と、前記画像配信要求を受け付けた無線端末に、前記画像配信装置からの画像取得要求を受けた撮像装置から取得した画像を配信する画像配信手段と、前記受け付けた拠点を特定できるアドレスと、前記拠点データに記憶する拠点アドレスに従って、前記画像配信要求を受け付けた無線端末に前記画像配信装置からの画像取得要求を受けた撮像装置から取得した画像を配信するかいなかを判断する判断手段と、前記判断手段が前記画像を配信しないと判断した場合には、前記画像配信要求を受け付けた無線端末に、前記画像配信要求を受け付けた無線端末からの画像取得要求を受けた撮像装置から取得した画像の表示が可能な情報を送信する画像表示情報送信手段と、を備えることを特徴とする。 The present invention is an image distribution apparatus that is communicably connected to a wireless terminal and an imaging apparatus and distributes an image captured by the imaging apparatus to the wireless terminal, and is an address of a base where the imaging apparatus is installed Base data storage means for storing base data, accepting means for receiving an image distribution request including an address that can specify the base from which the imaging device has requested distribution of images taken from the wireless terminal, and the image distribution request. Image distribution means for distributing the image acquired from the imaging device that has received the image acquisition request from the image distribution device to the received wireless terminal, an address that can identify the received base, and a base address stored in the base data According to the above, the wireless terminal that has received the image distribution request is acquired from the imaging apparatus that has received the image acquisition request from the image distribution apparatus. A determination means for determining whether or not to distribute an image; and if the determination means determines that the image is not distributed, a wireless terminal that has received the image distribution request from a wireless terminal that has received the image distribution request And an image display information transmitting means for transmitting information capable of displaying an image acquired from the imaging apparatus that has received the image acquisition request.
また、画像表示情報送信手段は前記表示が可能な情報を送信するとともに、前記画像配信要求を受け付けた無線端末に、前記表示が可能な情報に基づいて撮像装置から取得した画像を所定の位置に配置するフレームを送信するフレーム送信手段をさらに備えることを特徴とする。 The image display information transmitting means transmits the information that can be displayed, and the image acquired from the imaging device based on the information that can be displayed to a wireless terminal that has received the image distribution request at a predetermined position. It further comprises frame transmission means for transmitting a frame to be arranged.
また、複数の撮像装置と当該複数の撮像装置それぞれが設置されている拠点のアドレスを対応づけたグループデータを記憶するグループデータ記憶手段と、前記無線端末から、複数の撮像装置が撮影する複数画像の配信要求を受け付ける複数画像受付手段と、前記受付手段が受け付けた拠点を特定できるアドレスと、前記グループデータに記憶されている拠点アドレスに従って、前記複数画像の配信要求を受け付けた無線端末に配信する複数画像の中に、前記画像配信装置からの画像取得要求を受けた撮像装置から取得する画像があるかいなかを判断する複数拠点判断手段と、をさらに備え、前記画像表示情報送信手段はさらに、前記複数拠点判断手段により取得する画像があると判断した場合には、前記複数画像の配信要求を受け付けた無線端末に、前記複数画像の配信要求を受け付けた無線端末からの画像取得要求を受けた撮像装置から取得した画像の表示が可能な情報を送信することを特徴とする。 In addition, a group data storage unit that stores group data in which a plurality of imaging devices and addresses of bases where the plurality of imaging devices are installed are associated, and a plurality of images captured by the plurality of imaging devices from the wireless terminal A plurality of image receiving means for receiving the distribution request, an address for identifying the base received by the receiving means, and the base address stored in the group data, to the wireless terminal that has received the multiple image distribution request. A plurality of site determination means for determining whether or not there is an image to be acquired from an imaging device that has received an image acquisition request from the image distribution device, and the image display information transmission means further includes: If it is determined that there is an image to be acquired by the multiple site determination means, the request for distribution of the multiple image has not been accepted. Terminal, and transmits the plurality of images and information capable of displaying images acquired from the imaging device which receives the image acquisition request from the wireless terminal to the distribution request is accepted for.
また、前記画像配信要求を受け付けた無線端末が受信する前記表示が可能な情報には、画像を直接取得するべく、前記画像取得要求をする撮像装置が設置されている拠点のアドレスが含まれていることを特徴とする。 Further, the displayable information received by the wireless terminal that has received the image distribution request includes the address of the base where the imaging device that makes the image acquisition request is installed in order to directly acquire the image. It is characterized by being.
また、前記画像配信要求を受け付けた無線端末が受信する前記表示が可能な情報には、画像を直接取得するべく、前記画像取得要求をする撮像装置のローカルIPアドレスが含まれていることを特徴とする。 Further, the displayable information received by the wireless terminal that has received the image distribution request includes a local IP address of the imaging apparatus that makes the image acquisition request in order to directly acquire an image. And
また、前記前記撮像装置が撮影する画像の配信を要求した拠点を特定できるアドレスは、前記画像配信要求を前記画像配信装置に中継する場合に取得されるルータ装置のネットワークアドレスであることを特徴とする。
また、前記受付手段が受け付ける画像配信要求は画像を配信する撮像装置の特定情報をさらに含んでいることを特徴とする。
In addition, the address that can identify the base that requested distribution of the image captured by the imaging device is a network address of a router device that is acquired when the image distribution request is relayed to the image distribution device. To do.
The image distribution request received by the receiving unit further includes identification information of an imaging device that distributes an image.
本願発明により、カメラ画像配信サービス加入者の閲覧環境に応じて画像配信装置の負荷を低減させ、監視カメラが撮影した画像を加入者端末に表示できる仕組みを提供することが可能となる。 According to the present invention, it is possible to provide a mechanism capable of reducing the load on the image distribution apparatus according to the browsing environment of the subscriber of the camera image distribution service and displaying the image taken by the monitoring camera on the subscriber terminal.
図1を説明する。
図1は、本願発明の画像配信システムのシステム構成図である。
Referring to FIG.
FIG. 1 is a system configuration diagram of an image distribution system according to the present invention.
100は画像配信サーバ(画像配信装置)であり、無線端末(携帯電話)200と通信可能に接続され、ネットワークカメラ(監視カメラ)201,206が撮影した画像を無線端末200に配信する画像配信サービスのWEBサイトである。さらにネットワークカメラ201が撮影し、画像配信サーバ100に送信された画像を保存することもできる。画像配信サーバ100は、通信回線(インターネット回線)300を介してネットワークカメラ201、無線LANアクセスポイント202、携帯電話網の基地局203と通信可能に接続されている。
200は無線端末であり、無線端末のWEBブラウザを介して、画像配信サーバ100のWEBコンテンツ(画像配信サービス)にアクセスすることができる。無線端末から画像配信サーバ100のWEBコンテンツ(画像配信サービス)にアクセスする通信方法としては、携帯電話網の基地局203を介して通信する3G回線を使用する方法や、無線LANアクセスポイント202を介して通信するWi−Fiを使用する方法がある。尚、無線端末200とは、スマートフォンや携帯電話であり、無線LANアクセスポイント202と無線通信が可能な端末である。
201は撮像装置であり、設置された場所での画像を撮影するパンチルトカメラである。撮像装置は、通信回線(インターネット回線)300を介して画像配信サーバ100と通信可能に接続されている。尚、撮像装置201とは、監視カメラ、ネットワークカメラであり、画像配信装置と通信が可能な端末である。
202は無線LANアクセスポイントである。無線端末200とWi−Fiにて無線通信する。
Reference numeral 201 denotes an imaging apparatus, which is a pan / tilt camera that captures an image at an installed location. The imaging device is communicably connected to the
203は携帯電話基地局である。無線端末200と3G回線にて通信する。無線端末200は、携帯電話基地局203を介して画像配信装置とインターネット通信(3G回線)が可能である。
204は中継装置であり、無線端末200と画像配信装置100とのネットワーク通信を中継するルータである。中継装置204はネットワークアドレスとして例えば「200.50.1.80」を持っている。本願発明において拠点のネットワークアドレスとして使用される。
A
205は中継装置であり、撮像装置201と画像配信装置100とのネットワーク通信を中継するルータである。中継装置205はネットワークアドレスとして例えば「220.1.5.6」を持っている。本願発明において拠点のネットワークアドレスとして使用される。
図2を説明する。
図2は画像配信サーバ100及び無線端末200のハードウエア構成を示す図である。
図2において、401はCPUで、システムバス404に接続される各デバイスやコントローラを統括的に制御する。
FIG. 2 will be described.
FIG. 2 is a diagram illustrating a hardware configuration of the
In FIG. 2, 401 is a CPU that comprehensively controls each device and controller connected to the
ROM402あるいは外部メモリ411には、CPU401の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
In the
403はRAMで、CPU401の主メモリ、ワークエリア等として機能する。CPU401は、処理の実行に際して必要なプログラム等をROM402あるいは外部メモリ411からRAM403にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
405は入力コントローラで、キーボード(KB)409や不図示のマウス等のポインティングデバイス等からの入力を制御する。
An
406はビデオコントローラで、表示部410への表示を制御する。なお、表示部410はCRTだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。また表示部は指やペン等にてユーザが表示画面内の対象位置を指定するタッチパネル機能を含むものであってもよい。
A
407はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶するハードディスク(HD)や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ411へのアクセスを制御する。
408は通信I/Fコントローラで、ネットワーク(通信回線)300を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
なお、CPU401は、例えばRAM403内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、CRT上での表示を可能としている。また、CPU401は、CRT上の不図示のマウスカーソル等でのユーザ指示を可能とする。
Note that the
本発明を実現するための後述する各種プログラムは、外部メモリ411に記録されており、必要に応じてRAM403にロードされることによりCPU401によって実行されるものである。さらに、上記プログラムの実行時に用いられるデータファイル及びデータテーブル等も、外部メモリ411に格納されており、これらについての詳細な説明も後述する。
図3を説明する。
Various programs to be described later for realizing the present invention are recorded in the
FIG. 3 will be described.
ステップS101では、まず、無線端末200のWEBブラウザを起動し、本願発明のWEBコンテンツ(画像配信サービス)にアクセスする。その後、ユーザログイン要求(ログイン情報)を画像配信装置100に送信する。
In step S101, first, the WEB browser of the
撮像装置201が撮影するリアルタイム画像(映像)を無線端末200で閲覧(モニター)するために、無線端末200は、撮像装置が撮影する画像の配信要求を画像配信装置100に送信する。
In order to view (monitor) a real-time image (video) captured by the imaging apparatus 201 on the
ログインユーザが閲覧したいユーザ所望の撮像装置を特定するために、ここで無線端末200は撮像装置を特定する情報(カメラID)を画像配信要求と共に送信する。
なお、ここで送信する撮像装置を特定する情報(カメラID)は、複数画像の配信要求をするために、複数送信してもよい。
In order to specify an imaging device desired by the logged-in user, the
Note that a plurality of pieces of information (camera IDs) specifying the imaging device to be transmitted may be transmitted in order to request distribution of a plurality of images.
この配信要求の時に、無線端末の拠点ネットワークアドレスとして、配信要求が中継装置204を経由する時に、中継装置204から自動で取得された中継装置204のネットワークアドレスが画像配信装置100に更に送信される。つまり無線端末の拠点ネットワークアドレスとして、中継装置204を特定可能なネットワークアドレス「200.50.1.80」が画像配信装置100に送信される。
At the time of this distribution request, as the base network address of the wireless terminal, when the distribution request passes through the
ステップS102では、画像配信装置100は、無線端末200から、撮像装置を特定する情報(カメラID)および無線端末200の拠点ネットワークアドレス「200.50.1.80」を含む撮像装置が撮影する画像の配信要求を受け付ける。
ステップS103では、画像配信装置100は、カメラIDにより特定された撮像装置の拠点ネットワークアドレスを取得する(アドレス取得手段)。
In step S <b> 102, the
In step S103, the
取得方法の一例として、アドレス取得手段は、外部メモリ411が記憶するアドレス記憶手段(ネットワークカメラ情報データ)を参照し、カメラID(例えばA01)により特定された撮像装置の拠点ネットワークアドレス(例えば「200.50.1.80」)を取得する。
例えば「200.50.1.80」は勝どき支店に設置された監視カメラの通信を中継する中継装置のネットワークアドレスである。
As an example of the acquisition method, the address acquisition unit refers to the address storage unit (network camera information data) stored in the
For example, “200.50.1.80” is the network address of the relay device that relays the communication of the surveillance camera installed in the Kachidoki branch.
取得方法の一例として、アドレス取得手段は、カメラID(例えばA01)により特定された撮像装置の拠点ネットワークアドレス(例えば「200.50.1.80」)を、中継装置204を参照し取得する。
As an example of the acquisition method, the address acquisition unit acquires the base network address (for example, “200.50.1.80”) of the imaging device specified by the camera ID (for example, A01) with reference to the
更に、ステップS102で受け付けた配信要求に含まれる撮像装置を特定する情報から、特定された撮像装置のローカルIPを取得する(ローカルIP取得手段)。 Further, the local IP of the specified imaging device is acquired from the information specifying the imaging device included in the distribution request received in step S102 (local IP acquisition means).
取得方法の一例として、ローカルIP取得手段は、外部メモリ411が記憶するローカルIP記憶手段(ネットワークカメラ情報データ)を参照し、カメラID(例えばA01)により特定された撮像装置のローカルIP(例えば「198.168.1.10」)を取得する。
As an example of the acquisition method, the local IP acquisition unit refers to the local IP storage unit (network camera information data) stored in the
取得方法の一例として、ローカルIP取得手段は、カメラID(例えばA01)により特定された撮像装置のローカルIP(例えば「198.168.1.1」)を、撮像装置201を参照し取得する。 As an example of the acquisition method, the local IP acquisition unit acquires the local IP (for example, “198.168.1.1”) of the imaging apparatus specified by the camera ID (for example, A01) with reference to the imaging apparatus 201.
ステップS104では、画像配信装置100は、ステップS102で受け付けた拠点ネットワークアドレス(例えば「200.50.1.80」)とステップS103で取得した拠点ネットワークアドレス(例えば「200.50.1.80」)に従って、配信要求を受け付けた無線端末と無線端末に画像を配信する撮像装置とが同一拠点のネットワーク配下であるかを判定するために、配信要求を受け付けた無線端末に、画像配信装置100を介して撮像装置が撮影する画像を配信するかいなかを判断する(画像配信判断手段)。
In step S104, the
画像配信判断手段はステップS102で複数(2個以上)の撮像装置を特定する情報(カメラID)を受け付けた場合は、特定する情報(カメラID)の数を判断し、特定する情報(カメラID)毎に判定して、その後(ステップS103以降)の処理を分けてもよい。複数の場合、フレーム情報の画像を表示する枠や、撮像装置から送信される画像の数も複数になることは言うまでもない。 When receiving information (camera ID) for specifying a plurality (two or more) of imaging devices in step S102, the image distribution determining means determines the number of information (camera ID) to be specified, and specifies information (camera ID). ) And the subsequent processing (after step S103) may be divided. Needless to say, in the case of a plurality of frames, the number of frames for displaying images of frame information and the number of images transmitted from the imaging apparatus are also plural.
ここで、ステップS102で受け付けた無線端末の拠点ネットワークアドレスは、配信要求を画像配信装置に中継する、画像配信装置と通信可能に接続された第1の中継装置204のネットワークアドレス(例えば「200.50.1.80」)である。
Here, the base network address of the wireless terminal received in step S102 is the network address of the
ここで、ステップS103で取得された撮像装置の拠点ネットワークアドレスは、撮像装置が撮影する画像を画像配信装置に中継する、画像配信装置と通信可能に接続された第2の中継装置205のネットワークアドレス(例えば「200.50.1.80」)である。
Here, the base network address of the imaging device acquired in step S103 is the network address of the
つまり、ネットワーク判定手段は、第1の中継装置のネットワークアドレスと、第2の中継装置のネットワークアドレスとが一致するかいなかに従って、配信要求を受け付けた無線端末と無線端末に画像を配信する撮像装置とが同一拠点のネットワーク配下であるかを判定する。
ここで、同一の拠点ネットワーク配下である(ネットワークアドレスが一致する)と判定した場合にはステップS105に進む。
ここで、同一の拠点ネットワーク配下ではない(ネットワークアドレスが一致しない)と判定した場合にはAに進む。
In other words, the network determination unit distributes the image to the wireless terminal that has received the distribution request and the wireless terminal according to whether the network address of the first relay device matches the network address of the second relay device. Are under the network of the same base.
Here, if it is determined that they are under the same base network (network addresses match), the process proceeds to step S105.
Here, if it is determined that they are not under the same base network (network addresses do not match), the process proceeds to A.
ステップS105では、画像配信装置100は、撮像装置が撮影する画像を、無線端末に画像を配信する撮像装置から画像配信装置を介さずに取得した画像を表示可能なフレーム情報(WEB画面)503を、配信要求を受け付けた無線端末に送信する(フレーム情報送信手段)。
ここで、フレーム情報は、配信要求を受け付けた無線端末と、撮影した画像を配信する撮像装置とを接続するセッション情報(接続要求)を含んでいる。
フレーム情報とは撮影画像が含まれない、撮影画像を配置する枠がある、撮影画像が空の状態のWEB画面情報である。
In step S <b> 105, the
Here, the frame information includes session information (connection request) for connecting the wireless terminal that has received the distribution request and the imaging device that distributes the captured image.
The frame information is WEB screen information in which the photographed image is empty, the photographed image is not included, there is a frame for arranging the photographed image, and the photographed image is empty.
更に、ステップS103で取得した撮像装置201のローカルIP(例えば「198.168.1.1」)をセッション情報として無線端末200に送信する(ローカルIP送信手段)。これにより無線端末200に対して、接続要求の送信先である撮像装置201のローカルIP(例えば「192.168.1.1」)を通知することができる。
Furthermore, the local IP (for example, “198.168.1.1”) of the imaging apparatus 201 acquired in step S103 is transmitted as session information to the wireless terminal 200 (local IP transmission unit). Thereby, it is possible to notify the
ステップS106では、無線端末200は、撮像装置201のローカルIPが書かれたセッション情報を含んだフレーム情報を画像配信装置100から受信する。
In step S <b> 106, the
ステップS107では、無線端末200は、撮像装置201から画像配信装置を介さずに画像を直接取得するために、ステップS106で受信したセッション情報(例えば「198.168.1.1」)に従って、接続要求(画像配信要求)を撮像装置201に送信する。
In step S107, the
無線端末200は、接続要求(画像配信要求)を送信する前に、ステップS106で受信した撮像装置201の固有のローカルIP(例えば「198.168.1.1」)だけでなく、無線端末200自身の固有のローカルIP(例えば「192.168.1.10」)を自動で取得し、接続要求に含めるセッション情報に追加する。これにより撮像装置201に対して、画像配信の送信先である無線端末200のローカルIP(例えば「192.168.1.10」)を通知することができる。
Before transmitting the connection request (image distribution request), the
ステップS108では、撮像装置201は、無線端末200から接続要求(画像配信要求)を受信し、撮像装置201のローカルIP(例えば「198.168.1.1」)と無線端末200自身のローカルIP(例えば「192.168.1.10」)を利用して、無線端末200とのセッションを確立する。
In step S108, the imaging apparatus 201 receives a connection request (image distribution request) from the
ステップS109では、撮像装置201は、画像配信装置100を介さず、中継装置205(例えばネットワークアドレス「200.50.1.80」)及び無線LANアクセスポイント202を介して無線端末200に撮像装置201が撮影した画像502を送信する。
ステップS110では、無線端末200は、撮像装置201が撮影し、配信した画像502を受信する。
ステップS111では、無線端末200は、撮影画像が空の状態のフレーム情報503にステップS110で受信した画像502をはめ込む(合成する)。
ステップS112では、無線端末200は、画面(図5)を表示部に無線端末200のWEBブラウザが表示する。
図4を説明する。
ステップS201では、画像配信装置100は、ステップS102でカメラIDに特定された撮像装置201に画像配信要求を送信する。
ステップS202では、撮像装置201は、画像配信装置100から画像配信要求を受信する。
In step S <b> 109, the imaging apparatus 201 does not pass through the
In step S110, the
In step S111, the
In step S112, the
FIG. 4 will be described.
In step S201, the
In step S <b> 202, the imaging apparatus 201 receives an image distribution request from the
ステップS203では、撮像装置201は、中継装置205(例えばネットワークアドレス「220.1.5.6」)を介して画像配信装置100に撮像装置201が撮影した画像502を送信(配信)する。
例えば「222.1.5.6」は浜松町本社に設置された監視カメラの通信を中継する中継装置のネットワークアドレスである。
ステップS204では、画像配信装置100は、撮像装置201が撮影し、配信した画像502を受信する。
In step S203, the imaging apparatus 201 transmits (distributes) the
For example, “222.1.5.6” is a network address of a relay device that relays communication of a surveillance camera installed at the Hamamatsucho head office.
In step S <b> 204, the
ステップS205では、画像配信装置100は、撮影画像が空の状態のフレーム情報503にステップS204で受信した画像502をはめ込み(合成し)、画面(図5)を生成する。
ステップS206では、画像配信装置100は、画面(図5)を、配信要求を送信した無線端末200に送信(表示指示)する。
ステップS207では、無線端末200は、画面(図5)を受信する。
ステップS208では、無線端末200は、画面(図5)を表示部に無線端末200のWEBブラウザ(または画像配信専用アプリ画面)が表示する。
図5を説明する。
図5は本願発明の無線端末200である。
501はWEBブラウザを起動する操作ボタンである。
502は撮像装置201が撮影した監視画像(監視映像)であり、フレーム情報(WEB画面)においては画像502をはめ込む枠である。
503は監視画像配信サービスのフレーム情報(WEB画面)である。
図6を説明する。
図6は撮像装置201、206のハードウエア構成を示す図である。
図6において、601はCPUで、システムバス604に接続される各デバイスやコントローラを統括的に制御する。
In step S205, the
In step S206, the
In step S207, the
In step S208, the
FIG. 5 will be described.
FIG. 5 shows a
FIG. 6 will be described.
FIG. 6 is a diagram illustrating a hardware configuration of the
In FIG. 6,
ROM602あるいは外部メモリ611には、CPU601の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
In the
603はRAMで、CPU601の主メモリ、ワークエリア等として機能する。CPU601は、処理の実行に際して必要なプログラム等をROM602あるいは外部メモリ611からRAM603にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
607はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶するハードディスク(HD)や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ511へのアクセスを制御する。
608は通信I/Fコントローラで、ネットワーク(通信回線)300を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
612はカメラ制御部であり、画像(映像)の撮影を制御する。
本発明を実現するための後述する各種プログラムは、外部メモリ611に記録されており、必要に応じてRAM603にロードされることによりCPU601によって実行されるものである。さらに、上記プログラムの実行時に用いられるデータファイル及びデータテーブル等も、外部メモリ611に格納されており、これらについての詳細な説明も後述する。
図7を説明する。
Various programs to be described later for realizing the present invention are recorded in the
FIG. 7 will be described.
図7は、画像配信装置100が記憶するデータベースであり、ネットワークカメラ情報データとして拠点ネットワークアドレス(ルータアドレス)別に管理するネットワークカメラを、ネットワークカメラ(カメラID)毎にローカルIP(カメラIP)を一意に対応づけて記憶し(ローカルIP記憶手段)、拠点ネットワークアドレス(ルータアドレス)毎にネットワークカメラ(カメラID)を対応づけて記憶している(アドレス記憶手段)。
各撮像装置が設置されている拠点のアドレスを対応づけた拠点データである。画像配信装置100が記憶する(拠点データ記憶手段)
図8を説明する。
FIG. 7 shows a database stored in the
This is base data that associates the address of the base where each imaging device is installed. Stored by the image distribution apparatus 100 (base data storage means)
FIG. 8 will be described.
S301でスマートフォン(無線端末)は、図11の画面を表示している。ユーザの操作によりリアルタイム監視映像配信アプリケーションである監視アイコン1103が押下される。
In S301, the smartphone (wireless terminal) displays the screen of FIG. A
図11の1102は無線端末のデスクトップトップ画面であり、監視アイコン1103が押下されると無線端末は画像配信要求を画像配信装置100に送信する。1101はWi−Fi通信の電波受信感度を示しており、無線LANアクセスポイント202に接続されている。
11 denotes a desktop top screen of the wireless terminal. When the
S302で無線端末は、無線アクセスポイントを介してスマートフォン(無線端末)から画面表示のHTTPリスエストをWEBサーバ(画像配信装置)に送る。 In S302, the wireless terminal sends an HTTP request for screen display from the smartphone (wireless terminal) to the WEB server (image distribution apparatus) via the wireless access point.
このHTTPリスエストの送信毎に、無線アクセスポイントが接続されているルータの外側(インターネット側)のネットワークアドレスが含まれたHTTPリスエストを画像配信装置100に送っている。
Each time this HTTP request is transmitted, an HTTP request including the network address outside the router (Internet side) to which the wireless access point is connected is sent to the
スマートフォンから3Gの回線を使用するHTTPリクエストの場合には、拠点毎のルータを経由しないためルータ(中継装置)のアドレスを取得できず拠点の判定ができない。よって無線アクセスポイントを経由してWEBサーバに画面表示のリスエストを送っている場合に適用することができる。 In the case of an HTTP request using a 3G line from a smartphone, the address of the router (relay device) cannot be acquired because the router does not pass through the router for each base, and the base cannot be determined. Therefore, it can be applied when a screen display request is sent to the WEB server via the wireless access point.
画像配信要求とともに、ユーザIDとパスワードも送信され、自動ログインが完了する。図10のような、ログイン画面にてユーザが予め、ユーザ情報を登録しておくことで、この自動ログインが可能となる。
また、ここでは図示しないグループデータ選択画面を表示し、ユーザ所望のグループデータ(図15)をユーザにより選択させてもよい。
Along with the image distribution request, the user ID and password are also transmitted, and automatic login is completed. When the user registers user information in advance on the login screen as shown in FIG. 10, this automatic login is possible.
Further, a group data selection screen (not shown) may be displayed here, and the user desired group data (FIG. 15) may be selected by the user.
S303で画像配信装置100は、無線端末から、撮像装置が撮影する画像の配信を要求した拠点を特定できるアドレスを含んだ画像配信要求を受け付ける(受付手段)。
なお。ここでは図12のように複数の撮像装置が撮影する複数画像(映像)の配信要求を受け付けてもよい。
In step S <b> 303, the
Note that. Here, as shown in FIG. 12, a request for distributing a plurality of images (videos) taken by a plurality of imaging devices may be received.
図12の1201は無線端末が表示するリアルタイム映像配信画面である。1202は読み出したグループデータ名が表示されている。1203〜1206は6つの配置枠と配置枠に配置された画像(リアルタイム映像)であり、リアルタイム映像配信画面が表示されている間、所定の間隔で画像(リアルタイム映像)が更新される。1209は読み出したユーザ名が表示されている。1210は別の操作メニューに移行するボタンである。
画像配信要求には無線端末側から、画像を配信する撮像装置を特定するための情報(カメラID、ポート番号等)をさらに含んでいてもよい。
ログイン情報(ユーザID)でユーザを識別し、ユーザが登録しているグループデータを参照することが可能となる。
1201 in FIG. 12 is a real-time video distribution screen displayed by the wireless terminal. A
The image distribution request may further include information (camera ID, port number, etc.) for specifying the imaging device that distributes the image from the wireless terminal side.
The user can be identified by the login information (user ID), and the group data registered by the user can be referred to.
S304で画像配信装置100は、画面内の映像を一覧表示(例えば6映像)する配置枠毎にそれぞれ、拠点ネットワークアドレス+ポート番号(カメラの識別番号)が一覧表示グループとして予めユーザにより画像配信装置の中に設定登録されているので、ログインデータから該当するグループデータ(図15)を読み出す。
In S <b> 304, the
S305で画像配信装置100は、全ての配置枠(A〜F)の拠点判定が完了したかを判定し、S306の以降の処理をループさせるステップである。完了した場合はS313に巣進む。
In step S305, the
S306で画像配信装置100は、受け取ったHTTPリスエストに記載されているルータの外側(インターネット側)のネットワークアドレスを解析しスマートフォンが今或る拠点(ルータの位置)が何処なのかを判断している。
In S <b> 306, the
画像配信装置100は受け取ったルータの外側(インターネット側)のネットワークアドレスにより無線端末が今居る拠点(ルータの位置)が何処なのかが分かるので、スマホが今居る拠点と各配置枠それぞれに設定登録されている拠点ネットワークアドレスとを比較し、各配置枠ごとに拠点の一致判定をしている。
The
S306以降の処理では、無線端末が今居る拠点と一致する配置枠に対しては、ユーザにより予め設定されている拠点ネットワークアドレス+ポート番号(カメラの番号)ではなく、映像の取得先としてカメラのローカルIPに変更した取得先情報を配置枠に埋め込む。サーバは拠点のネットワークアドレスがないのでここでは映像を取得できなくなる。このままで、無線端末のWEBブラウザに送信すると、無線端末のWEBブラウザが受け取った取得先情報に従って、無線端末のWEBブラウザが対象のカメラに映像の配信リクエストを送り、無線端末のWEBブラウザが今居る拠点のネットワークアドレス+ポート番号カメラのローカルIPの情報から映像を取得する In the processing after S306, for the arrangement frame that matches the base where the wireless terminal is currently located, instead of the base network address + port number (camera number) set in advance by the user, The acquisition source information changed to the local IP is embedded in the arrangement frame. Since the server does not have a base network address, the video cannot be acquired here. If it is transmitted to the WEB browser of the wireless terminal as it is, the WEB browser of the wireless terminal sends a video distribution request to the target camera according to the acquisition destination information received by the WEB browser of the wireless terminal, and the WEB browser of the wireless terminal is now Base network address + port number Obtain video from the camera's local IP information
尚この場合の映像の配置枠へのはめ込み合成処理は無線端末のブラウザ側で一覧表示画面を無線端末に送信された後に行っているので、映像は画像配信装置100を介さずに直接無線端末に配信される。
In this case, since the inset composition processing of the video to the frame is performed after the list display screen is transmitted to the wireless terminal on the browser side of the wireless terminal, the video is directly transmitted to the wireless terminal without going through the
一方無線端末が今居る拠点と一致しない配置枠に対しては、ユーザにより予め設定されているそれぞれ拠点のネットワークアドレス+ポート番号(カメラのID)の情報を映像の取得先情報として配置枠に埋め込み、画像配信装置100が対象のカメラに映像の配信リクエストを送り、画像配信装置100が拠点のネットワークアドレス+ポート番号(カメラの番号)の情報から映像を取得する。尚この場合の映像の配置枠へのはめ込み合成処理は画像配信装置100側で一覧表示画面を無線端末に送信する前に行っているので、映像は画像配信装置100を介して配信されることになる。
On the other hand, for an arrangement frame that does not match the base where the wireless terminal is currently located, information on the network address + port number (camera ID) of each base preset by the user is embedded in the arrangement frame as video acquisition destination information. Then, the
6つ全ての配置枠(A〜F)それぞれに対して、受け付けた拠点を特定できるアドレスと、拠点データに記憶する拠点アドレスに従って、画像配信要求を受け付けた無線端末に画像配信装置からの画像取得要求を受けた撮像装置から取得した画像を配信するかいなかを判断する(判断手段)。 For each of all six placement frames (A to F), the wireless terminal that received the image distribution request acquires the image from the image distribution apparatus according to the address that can identify the received base and the base address stored in the base data. It is determined whether or not to distribute the image acquired from the imaging device that has received the request (determination means).
ここで、撮像装置が撮影する画像の配信を要求した拠点を特定できるアドレスとは、画像配信要求を画像配信装置100に中継する場合に取得されるルータ装置の外側(WAN側)のアドレスでもよく、拠点毎(会社毎)のネットワーク環境を分類できるなアドレスである.
また、この判断手段は画像配信要求を受け付けた無線端末に画像配信装置を介して撮像装置から取得した画像を配信するかいなかを判断してもよい。
Here, the address that can specify the base that requested distribution of the image captured by the imaging device may be an address outside the router device (WAN side) that is acquired when the image distribution request is relayed to the
In addition, the determination unit may determine whether to distribute the image acquired from the imaging device via the image distribution device to the wireless terminal that has received the image distribution request.
さらにここでは、無線端末から複数の撮像装置が撮影する複数画像の配信要求を受け付けた場合には、無線端末に配信する複数画像の中に、画像配信装置からの画像取得要求を受けた撮像装置から取得する画像があるかいなかも判断している(複数拠点判断手段)。
S307で画像配信装置100は、図15から6つ全ての配置枠(A〜F)それぞれ別に中継装置(ルータ)のアドレスを取得する。
S308で画像配信装置100は、6つ全ての配置枠(A〜F)それぞれ別に中継装置(ルータ)にリクエストを送信する。
S309で画像配信装置100は、6つ全ての配置枠(A〜F)それぞれ別に中継装置(ルータ)から映像を取得する。
S310で画像配信装置100は、中継装置(ルータ)から取得した映像を6つ全ての配置枠(A〜F)それぞれ別に配置する。
Further, here, when receiving a distribution request for a plurality of images taken by a plurality of imaging devices from a wireless terminal, the imaging device that has received an image acquisition request from the image distribution device among the plurality of images distributed to the wireless terminal It is also determined whether there is an image to be acquired from (multi-site determination means).
In step S <b> 307, the
In step S308, the
In step S <b> 309, the
In S310, the
S311で画像配信装置100は、受け付けた拠点を特定できるアドレスから6つ全ての配置枠(A〜F)それぞれ別に中継装置(ルータ)のアドレスを取得する。
S312で画像配信装置100は、6つ全ての配置枠(A〜F)それぞれ別の表示が可能な情報(無線端末から要求されるリクエスト)を生成する。
S313で画像配信装置100は以下のように振る舞う。
In step S <b> 311, the
In S <b> 312, the
In S313, the
S306において画像を配信すると判断した枠に関しては、画像配信要求を受け付けた無線端末に、画像配信装置からの画像取得要求を受けた撮像装置から取得した画像を配信する(画像配信手段)。逆にS306において画像を配信しないと判断した枠に関しては、画像配信要求を受け付けた無線端末に、撮像装置から取得した画像は配信しない。 With respect to the frame determined to distribute the image in S306, the image acquired from the imaging device that has received the image acquisition request from the image distribution device is distributed to the wireless terminal that has received the image distribution request (image distribution means). On the other hand, for the frame determined not to distribute the image in S306, the image acquired from the imaging device is not distributed to the wireless terminal that has received the image distribution request.
S306において画像を配信しないと判断した枠に関しては、画像配信要求を受け付けた無線端末に、画像配信要求を受け付けた無線端末からの画像取得要求を受けた撮像装置から取得した画像の表示が可能な情報(無線端末から要求されるリクエスト)を送信する(画像表示情報送信手段)。逆にS306において画像を配信すると判断した枠に関しては、画像配信要求を受け付けた無線端末に、画像配信要求を受け付けた無線端末からの画像取得要求を受けた撮像装置から取得するための画像の表示が可能な情報は送信しない。 With respect to the frame determined not to distribute the image in S306, the wireless terminal that has received the image distribution request can display the image acquired from the imaging device that has received the image acquisition request from the wireless terminal that has received the image distribution request. Information (request requested from the wireless terminal) is transmitted (image display information transmitting means). On the other hand, with respect to the frame determined to distribute the image in S306, the wireless terminal that has received the image distribution request displays the image to be acquired from the imaging device that has received the image acquisition request from the wireless terminal that has received the image distribution request. No information that can be sent.
表示が可能な情報(無線端末から要求されるリクエスト)には、画像を直接取得するために必要な、画像取得要求を送信する撮像装置が設置されている拠点を特定するためのアドレスが含まれている。
表示が可能な情報には、画像を直接取得するために必要な、画像の取得を要求する撮像装置自身を特定するためにローカルIPアドレスが含まれている。
The information that can be displayed (request requested from the wireless terminal) includes an address that is necessary for directly acquiring an image and for specifying the base where the imaging device that transmits the image acquisition request is installed. ing.
The information that can be displayed includes a local IP address for specifying the image capturing apparatus itself that requests image acquisition, which is necessary for directly acquiring the image.
画像表示情報送信手段は、複数拠点判断手段により取得する画像があると判断した場合にも無線端末に、無線端末からの画像取得要求を受けた撮像装置から取得した画像の表示が可能な情報を送信している。 The image display information transmitting unit displays information that enables the wireless terminal to display the image acquired from the imaging device that has received the image acquisition request from the wireless terminal even when it is determined that there is an image to be acquired by the multiple site determining unit. Sending.
または無線端末の画像配信専用アプリが、配信された画像を配置する配置枠(フレーム)をテンプレートとして無線端末に予め記憶している場合には、画像配信装置100はS313の処理で、表示情報(無線端末から要求されるリクエスト)と画像のみを無線端末に送信すればよい。
Alternatively, when the image distribution-dedicated application of the wireless terminal stores in the wireless terminal in advance a layout frame (frame) for placing the distributed image as a template, the
S313ではさらに、画像配信装置100が撮像装置から取得した画像や無線端末からの画像取得要求を受けた撮像装置から取得した画像の表示が可能な情報のみならず、表示が可能な情報に基づいて撮像装置から取得した画像を所定の位置に配置するためのフレーム枠(フレーム画面)を送信してもよい(フレーム送信手段)。
S314で無線端末は、S313で送信された全データを受信する。
Further, in S313, based on information that can be displayed as well as information that can be displayed by the
In S314, the wireless terminal receives all data transmitted in S313.
S315で無線端末は、送信された全データの中に表示が可能な情報(無線端末から要求されるリクエスト)があるかいなかを判断する。ある場合(はい)はS316に進む。ない場合(いいえ)S321に進む。
S316で無線端末は、表示が可能な情報がある枠のみの処理である。中継装置(ルータ)のアドレスを取得する。
S317で無線端末は、6つ全ての配置枠(A〜F)それぞれ別に中継装置(ルータ)にリクエストを送信する。
S318で無線端末は、6つ全ての配置枠(A〜F)それぞれ別に中継装置(ルータ)から映像を取得する。
S319で無線端末は、中継装置(ルータ)から取得した映像を6つ全ての配置枠(A〜F)それぞれ別に配置する。
In step S315, the wireless terminal determines whether there is information (request requested from the wireless terminal) that can be displayed in all the transmitted data. If yes (Yes), go to S316. If not (No), the process proceeds to S321.
In S316, the wireless terminal performs processing only for a frame having information that can be displayed. Get the address of the relay device (router).
In S317, the wireless terminal transmits a request to the relay apparatus (router) for each of all six arrangement frames (A to F).
In S318, the wireless terminal acquires video from the relay device (router) for each of all six placement frames (A to F).
In S319, the wireless terminal arranges the images acquired from the relay device (router) separately for all the six arrangement frames (A to F).
S320で無線端末は、図14の状態の画面を表示している。見た目は図12であるが取得ルートが図14のようになる。図13と比べると、1401と1402のリアルタイム映像の取得(更新)速度や間隔が速くなる。 In S320, the wireless terminal displays the screen in the state of FIG. Although it looks like FIG. 12, the acquisition route is as shown in FIG. Compared with FIG. 13, the acquisition (update) speed and interval of 1401 and 1402 are increased.
図13、図14、図16、図17は無線端末が表示するリアルタイム映像配信画面であり、各枠に配信されている各画像の取得ルートを便宜上表したものであり取得ルートは表示されないが、各画像毎に取得ルートを別途表示させても問題ない。
S321で無線端末は、図13の状態の画面を表示している。見た目は図12(または画像配信専用アプリ画面)であるが取得ルートが図13のようになる。
図9を説明する。
13, 14, 16, and 17 are real-time video distribution screens displayed by the wireless terminal, which represent the acquisition route of each image distributed to each frame for convenience and the acquisition route is not displayed. There is no problem even if the acquisition route is displayed separately for each image.
In S321, the wireless terminal displays the screen in the state of FIG. It looks like FIG. 12 (or an image distribution dedicated application screen), but the acquisition route is as shown in FIG.
FIG. 9 will be described.
S401で無線端末は、図16の状態の画面を表示している。図14の画面の変形例である。図14と比較すると各枠に配置される画像(映像)のサイズが均一ではなくサイズが大きい主画像1602とサイズが小さい副画像1603が表示されている。 S402で無線端末では、副画像にある画像を拡大して主画像の位置に表示させるために、ユーザの操作により副画像1603が押下(タッチ)される。
In S401, the wireless terminal displays the screen in the state of FIG. It is a modification of the screen of FIG. Compared with FIG. 14, a
S403で画像配信装置100は、副画像1603の枠が押下されたかいなかを判断する。副画像1603の枠が押下された(はい)と判断した場合にはS403に進む。副画像1603の枠が押下されていない(いいえ)と判断した場合には現状が維持され、S401に戻る。
In step S403, the
S404で画像配信装置100は、副画像1603の枠が押下された(はい)と判断した場合には、副画像にある画像を拡大して主画像の位置(メイン枠)に表示させ、主画像にある画像を縮小して副画像の位置(サブ枠)に表示させるための制御を実行する。この時に配信する画像のS306の判断にて決定された、画像取得ルートがメイン枠とサブ枠にて異なっている場合には、メイン枠とサブ枠にそれぞれ決定された画像取得ルートをスワップする制御を行う。ここで画像取得ルートをスワップする制御を行うために、副画像1603の枠が押下された(はい)と判断した場合には、S305のステップに戻って、各配置枠に対する画像取得ルートの決定処理を再度行ってもよく、S305のステップ以降で決定された後の画像取得ルートのデータを画像配信装置100が保持することで画像取得ルートをスワップする制御を行ってもよい。
If the
S405で無線端末は、図17の状態の画面を表示している。画像取得ルートをスワップする制御により、図16と比べると端末が取得した主画像1701とサーバが取得した副画像1702の画像取得ルートがスワップしている。 図15を説明する。
In S405, the wireless terminal displays the screen in the state of FIG. By the control of swapping the image acquisition route, the image acquisition route of the
図15は、複数の撮像装置と当該複数の撮像装置それぞれが設置されている拠点のアドレスを対応づけたグループデータである。画像配信装置100が記憶している(グループデータ記憶手段)。
1501はリアルタイム映像配信画面にログイン可能なユーザを識別するためのユーザIDであり図10の1002、図12の1209と対応する。
FIG. 15 shows group data in which a plurality of imaging devices and addresses of bases where the plurality of imaging devices are installed are associated with each other. Stored by the image distribution apparatus 100 (group data storage means).
図10の1001はユーザ認証するためのログイン画面であり、GOボタン1004が押下されると無線端末はユーザIDとパスワード1003を画像配信装置100に送信する。
1502は複数カメラの撮影グループを識別するためのグループIDであり図12の1202と対応する。
1503は6つの配置枠を分けるための番号であり、A〜Fは図12の1203〜1208にそれぞれ対応する。
1504は複数のカメラそれぞれが設置される場所(会社)を識別するための拠点IDである。
1505は複数のカメラそれぞれが設置される拠点の中継装置のアドレスであり、S306で判断するために利用される。
1506は複数のカメラそれぞれが持つ固有のIDであり、カメラを特定する場合に利用される。
1507は複数のカメラそれぞれのローカルネットワークのIPアドレスであり、重複しているものもある。
1508は複数のカメラそれぞれが設置されている場所(環境)をさらに分類したものである。例えは、レジ、駐車場、玄関など類似するカテゴリ毎に分類され、他拠点間で同じカテゴリの映像を図12のように一覧表示されるので、ユーザは他拠点間の状況を比較して閲覧することができる。
なお、複数のルータが同一の中に拠点にあるといったサブネット化された環境においては、同一拠点の中でルータが複数に分岐されてしまう場合も想定される。この場合実質的に同一拠点の中で無線端末とカメラが直接通信することは可能であるので、VPNのような仮想ローカル環境を構築することや、同一拠点の中の複数のルータをグループ化(複数ルータアドレスのグループデータを予め設定)することで無線端末から同一拠点のネットワーク中にある複数のルータを経由させてカメラ映像取得要求をカメラに送信することは可能である。 It should be noted that in a subnetted environment where a plurality of routers are located at the same base, there may be a case where the router is branched into a plurality of branches within the same base. In this case, since it is possible for the wireless terminal and the camera to communicate directly within the same base, it is possible to construct a virtual local environment such as VPN, or group multiple routers within the same base ( By setting group data of a plurality of router addresses in advance, it is possible to transmit a camera image acquisition request from a wireless terminal to a camera via a plurality of routers in a network at the same site.
また、本願発明におけるプログラムは、図3、図4、図8、図9に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本願発明の記憶媒体は処理方法をコンピュータが実行可能なプログラムとして、外部メモリに記憶されている。 Further, the program according to the present invention is a program capable of executing the processing method of the flowcharts shown in FIGS. 3, 4, 8, and 9, and the storage medium of the present invention is a program capable of executing the processing method by the computer. Is stored in the external memory.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本願発明の目的が達成されることは言うまでもない。 As described above, a recording medium that records a program that implements the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by executing reading.
この場合、記録媒体から読み出されたプログラム自体が本願発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,DVD−ROM,磁気テープ,不揮発性のメモリカード,ROM,EEPROM,シリコンディスク等を用いることができる。 As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk or the like can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program is actually It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the processing and the processing is included.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
また、本願発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。また、本願発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本願発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本願発明の効果を享受することが可能となる。 The present invention may be applied to a system constituted by a plurality of devices or an apparatus constituted by one device. It goes without saying that the present invention can also be applied to a case where the invention is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can enjoy the effects of the present invention.
さらに、本願発明を達成するためのプログラムをネットワーク上のサーバ,データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本願発明の効果を享受することが可能となる。
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本願発明に含まれるものである。
Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention.
In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.
100 画像配信サーバ(画像配信装置)
200 スマートフォン(無線端末)
201 ネットワークカメラ(撮像装置)
401 CPU
403 RAM
202 無線LANアクセスポイント
206 ネットワークカメラ(撮像装置)
100 Image distribution server (image distribution device)
200 Smartphone (wireless terminal)
201 Network camera (imaging device)
401 CPU
403 RAM
202 Wireless
Claims (10)
前記撮像装置が設置されている拠点のアドレスである拠点データを記憶する拠点データ記憶手段と、
前記無線端末から、前記撮像装置が撮影する画像の配信を要求した拠点を特定できるアドレスを含んだ画像配信要求を受け付ける受付手段と、
前記画像配信要求を受け付けた無線端末に、前記画像配信装置からの画像取得要求を受けた撮像装置から取得した画像を配信する画像配信手段と、
前記受け付けた拠点を特定できるアドレスと、前記拠点データに記憶する拠点アドレスに従って、前記画像配信要求を受け付けた無線端末に前記画像配信装置からの画像取得要求を受けた撮像装置から取得した画像を配信するかいなかを判断する判断手段と、
前記判断手段が前記画像を配信しないと判断した場合には、前記画像配信要求を受け付けた無線端末に、前記画像配信要求を受け付けた無線端末からの画像取得要求を受けた撮像装置から取得した画像の表示が可能な情報を送信する画像表示情報送信手段と、
を備えることを特徴とする画像配信装置。 An image distribution device that is communicably connected to a wireless terminal and an imaging device and distributes an image captured by the imaging device to the wireless terminal,
Base data storage means for storing base data which is an address of a base where the imaging device is installed;
An accepting unit that accepts an image delivery request including an address that can identify a base that requested delivery of an image captured by the imaging device from the wireless terminal;
Image distribution means for distributing an image acquired from an imaging device that has received an image acquisition request from the image distribution device to a wireless terminal that has received the image distribution request;
Distributes the image acquired from the imaging device that has received the image acquisition request from the image distribution device to the wireless terminal that has received the image distribution request according to the address that can identify the received base and the base address stored in the base data A judgment means for judging whether or not,
If the determination unit determines not to distribute the image, the image acquired from the imaging device that has received the image acquisition request from the wireless terminal that has received the image distribution request to the wireless terminal that has received the image distribution request Image display information transmitting means for transmitting information that can be displayed,
An image distribution apparatus comprising:
前記無線端末から、複数の撮像装置が撮影する複数画像の配信要求を受け付ける複数画像受付手段と、
前記受付手段が受け付けた拠点を特定できるアドレスと、前記グループデータに記憶されている拠点アドレスに従って、前記複数画像の配信要求を受け付けた無線端末に配信する複数画像の中に、前記画像配信装置からの画像取得要求を受けた撮像装置から取得する画像があるかいなかを判断する複数拠点判断手段と、
をさらに備え、
前記画像表示情報送信手段はさらに、前記複数拠点判断手段により取得する画像があると判断した場合には、前記複数画像の配信要求を受け付けた無線端末に、前記複数画像の配信要求を受け付けた無線端末からの画像取得要求を受けた撮像装置から取得した画像の表示が可能な情報を送信することを特徴とする請求項1または請求項2に記載の画像配信装置。 Group data storage means for storing group data in which a plurality of imaging devices and addresses of bases where the plurality of imaging devices are installed are associated;
A plurality of image receiving means for receiving distribution requests for a plurality of images taken by a plurality of imaging devices from the wireless terminal;
From the image distribution device, a plurality of images to be distributed to the wireless terminal that has received the distribution request for the plurality of images in accordance with the address that can identify the base received by the reception unit and the base address stored in the group data. A plurality of site determination means for determining whether there is an image to be acquired from the imaging device that has received the image acquisition request;
Further comprising
When the image display information transmitting unit further determines that there is an image to be acquired by the plurality of site determining unit, the wireless terminal that has received the multiple image distribution request is the wireless terminal that has received the multiple image distribution request. The image distribution apparatus according to claim 1 or 2, wherein information capable of displaying an image acquired from an imaging apparatus that has received an image acquisition request from a terminal is transmitted.
前記撮像装置が設置されている拠点のアドレスである拠点データを記憶する拠点データ記憶手段と、
前記無線端末から、前記撮像装置が撮影する画像の配信を要求した拠点を特定できるアドレスを含んだ画像配信要求を受け付ける受付手段と、
前記画像配信要求を受け付けた無線端末に、前記画像配信装置を介して撮像装置から取得した画像を配信する画像配信手段と、
前記受け付けた拠点を特定できるアドレスと、前記拠点データに記憶する拠点アドレスに従って、前記画像配信要求を受け付けた無線端末に前記画像配信装置を介して撮像装置から取得した画像を配信するかいなかを判断する判断手段と、
前記判断手段が前記配信しないと判断した場合には、前記画像配信要求を受け付けた無線端末に、前記画像配信装置を介さずに撮像装置から取得した画像の表示が可能な情報を送信する画像表示情報送信手段と、
を備えることを特徴とする画像配信装置。 An image distribution device that is communicably connected to a wireless terminal and an imaging device and distributes an image captured by the imaging device to the wireless terminal,
Base data storage means for storing base data which is an address of a base where the imaging device is installed;
An accepting unit that accepts an image delivery request including an address that can identify a base that requested delivery of an image captured by the imaging device from the wireless terminal;
Image distribution means for distributing an image acquired from an imaging device via the image distribution device to a wireless terminal that has received the image distribution request;
Judgment whether to distribute the image acquired from the imaging device via the image distribution device to the wireless terminal that has received the image distribution request according to the address that can identify the received location and the location address stored in the location data. A judgment means to
When the determination unit determines not to distribute, an image display that transmits information that can display an image acquired from the imaging device without passing through the image distribution device to the wireless terminal that has received the image distribution request. Information transmission means;
An image distribution apparatus comprising:
前記画像配信装置の受付手段が、前記無線端末から、前記撮像装置が撮影する画像の配信を要求した拠点を特定できるアドレスを含んだ画像配信要求を受け付ける受付工程と、
前記画像配信装置の画像配信手段が、前記画像配信要求を受け付けた無線端末に、前記画像配信装置からの画像取得要求を受けた撮像装置から取得した画像を配信する画像配信工程と、
前記画像配信装置の判断手段が、前記受け付けた拠点を特定できるアドレスと、前記拠点データに記憶する拠点アドレスに従って、前記画像配信要求を受け付けた無線端末に前記画像配信装置からの画像取得要求を受けた撮像装置から取得した画像を配信するかいなかを判断する判断工程と、
前記画像配信装置の画像表示情報送信手段が、前記判断工程が前記画像を配信しないと判断した場合には、前記画像配信要求を受け付けた無線端末に、前記画像配信要求を受け付けた無線端末からの画像取得要求を受けた撮像装置から取得した画像の表示が可能な情報を送信する画像表示情報送信工程と、
を含むことを特徴とする制御方法。 A base data storage unit that is communicably connected to a wireless terminal and an imaging apparatus, distributes an image captured by the imaging apparatus to the wireless terminal, and stores base data that is an address of a base where the imaging apparatus is installed. A method for controlling an image distribution apparatus comprising:
An accepting step in which an accepting unit of the image delivery apparatus accepts an image delivery request including an address that can identify a base that requested delivery of an image captured by the imaging device from the wireless terminal;
An image distribution step in which an image distribution unit of the image distribution apparatus distributes an image acquired from an imaging apparatus that has received an image acquisition request from the image distribution apparatus to a wireless terminal that has received the image distribution request;
The determination unit of the image distribution apparatus receives an image acquisition request from the image distribution apparatus to a wireless terminal that has received the image distribution request according to an address that can identify the received base and a base address stored in the base data. A determination step of determining whether or not to distribute the image acquired from the imaging device;
When the image display information transmitting unit of the image distribution apparatus determines that the determination step does not distribute the image, the wireless terminal that has received the image distribution request is sent to the wireless terminal that has received the image distribution request. An image display information transmitting step for transmitting information capable of displaying an image acquired from an imaging device that has received an image acquisition request;
The control method characterized by including.
前記画像配信装置を、
前記無線端末から、前記撮像装置が撮影する画像の配信を要求した拠点を特定できるアドレスを含んだ画像配信要求を受け付ける受付手段と、
前記画像配信要求を受け付けた無線端末に、前記画像配信装置からの画像取得要求を受けた撮像装置から取得した画像を配信する画像配信手段と、
前記受け付けた拠点を特定できるアドレスと、前記拠点データに記憶する拠点アドレスに従って、前記画像配信要求を受け付けた無線端末に前記画像配信装置からの画像取得要求を受けた撮像装置から取得した画像を配信するかいなかを判断する判断手段と、
前記判断手段が前記画像を配信しないと判断した場合には、前記画像配信要求を受け付けた無線端末に、前記画像配信要求を受け付けた無線端末からの画像取得要求を受けた撮像装置から取得した画像の表示が可能な情報を送信する画像表示情報送信手段と、
して機能させることを特徴とするプログラム。 A base data storage unit that is communicably connected to a wireless terminal and an imaging apparatus, distributes an image captured by the imaging apparatus to the wireless terminal, and stores base data that is an address of a base where the imaging apparatus is installed. A program that can be read and executed by an image distribution apparatus provided
The image delivery device;
An accepting unit that accepts an image delivery request including an address that can identify a base that requested delivery of an image captured by the imaging device from the wireless terminal;
Image distribution means for distributing an image acquired from an imaging device that has received an image acquisition request from the image distribution device to a wireless terminal that has received the image distribution request;
Distributes the image acquired from the imaging device that has received the image acquisition request from the image distribution device to the wireless terminal that has received the image distribution request according to the address that can identify the received base and the base address stored in the base data A judgment means for judging whether or not,
If the determination unit determines not to distribute the image, the image acquired from the imaging device that has received the image acquisition request from the wireless terminal that has received the image distribution request to the wireless terminal that has received the image distribution request Image display information transmitting means for transmitting information that can be displayed,
A program characterized by making it function.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012167316A JP5354070B2 (en) | 2011-07-29 | 2012-07-27 | Image distribution device. |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011167492 | 2011-07-29 | ||
| JP2011167492 | 2011-07-29 | ||
| JP2012167316A JP5354070B2 (en) | 2011-07-29 | 2012-07-27 | Image distribution device. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013051678A true JP2013051678A (en) | 2013-03-14 |
| JP5354070B2 JP5354070B2 (en) | 2013-11-27 |
Family
ID=48013359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012167316A Expired - Fee Related JP5354070B2 (en) | 2011-07-29 | 2012-07-27 | Image distribution device. |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5354070B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016103728A (en) * | 2014-11-28 | 2016-06-02 | キヤノンマーケティングジャパン株式会社 | Management server, monitoring system, control method thereof, and program |
| JP2017200242A (en) * | 2017-08-10 | 2017-11-02 | キヤノンマーケティングジャパン株式会社 | Management server and control method and program thereof |
| JP2019017082A (en) * | 2018-09-06 | 2019-01-31 | キヤノンマーケティングジャパン株式会社 | Management server, system, and control method and program thereof |
| JP7587779B1 (en) | 2024-05-30 | 2024-11-21 | タイムリープ株式会社 | Remote customer service system, remote customer service method, and remote customer service program |
| WO2025006899A1 (en) * | 2023-06-30 | 2025-01-02 | Soracom Global, Inc. | System and method facilitating cloud-based video stream processing |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006048174A (en) * | 2004-07-30 | 2006-02-16 | A・T・Gジャパン株式会社 | Home security system |
| JP2006074752A (en) * | 2005-08-08 | 2006-03-16 | Ipex:Kk | Information supply system using communication line |
-
2012
- 2012-07-27 JP JP2012167316A patent/JP5354070B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006048174A (en) * | 2004-07-30 | 2006-02-16 | A・T・Gジャパン株式会社 | Home security system |
| JP2006074752A (en) * | 2005-08-08 | 2006-03-16 | Ipex:Kk | Information supply system using communication line |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016103728A (en) * | 2014-11-28 | 2016-06-02 | キヤノンマーケティングジャパン株式会社 | Management server, monitoring system, control method thereof, and program |
| JP2017200242A (en) * | 2017-08-10 | 2017-11-02 | キヤノンマーケティングジャパン株式会社 | Management server and control method and program thereof |
| JP2019017082A (en) * | 2018-09-06 | 2019-01-31 | キヤノンマーケティングジャパン株式会社 | Management server, system, and control method and program thereof |
| WO2025006899A1 (en) * | 2023-06-30 | 2025-01-02 | Soracom Global, Inc. | System and method facilitating cloud-based video stream processing |
| JP7587779B1 (en) | 2024-05-30 | 2024-11-21 | タイムリープ株式会社 | Remote customer service system, remote customer service method, and remote customer service program |
| JP2025180823A (en) * | 2024-05-30 | 2025-12-11 | タイムリープ株式会社 | Remote customer service system, remote customer service method, and remote customer service program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5354070B2 (en) | 2013-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7956891B2 (en) | Camera control apparatus and method, and camera control system | |
| CN103997688B (en) | intelligent interactive system, device and method | |
| US6714238B2 (en) | Video/audio communication system with confirmation capability | |
| US9473741B2 (en) | Teleconference system and teleconference terminal | |
| JP6182911B2 (en) | Transmission terminal, transmission system, program | |
| KR101748370B1 (en) | Operation System And Method For Identification Code, and Device supporting the same | |
| JP5354070B2 (en) | Image distribution device. | |
| CN109388620A (en) | A kind of method and the first electronic equipment of striding equipment access data | |
| US20190082215A1 (en) | Display control method, terminal, and non-transitory computer readable recording medium storing a computer program | |
| CN103957444A (en) | System and method for data sharing through cloud | |
| US20250150565A1 (en) | Display terminal, displaying method, and recording medium | |
| JP6802477B2 (en) | Information processing system, information processing device, its control method and program | |
| CN114629932A (en) | Electronic equipment and cooperation method between electronic equipment | |
| JP2017108356A (en) | Image management system, image management method, and program | |
| US20250337854A1 (en) | Display terminal, communication system, and display method | |
| JP2019101964A (en) | Network system, mobile terminal, and program for connection | |
| US20250159353A1 (en) | Information processing system, communication system, and image transmission method | |
| EP3125494B1 (en) | Terminal, communication method, and carrier means | |
| JP6201122B2 (en) | Management server, monitoring system, and control method and program therefor | |
| KR101529139B1 (en) | Method and apparatus for providing user interface menu of multi-angle video capturing | |
| KR20180099765A (en) | Information input method, apparatus, program, and storage medium | |
| JP5914166B2 (en) | Remote access device, remote control system, remote control method, and program | |
| KR101517000B1 (en) | A method and apparatus for matching a terminal and an external equipment by using a NFC tagging | |
| JP2017062794A (en) | Information processing device, information processing system, control method thereof, and program | |
| CN115801752B (en) | Cloud terminal control method and device, computer equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130531 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130531 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130812 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5354070 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |