[go: up one dir, main page]

JP2007049681A - Network camera device and video frame transmission method of network camera device - Google Patents

Network camera device and video frame transmission method of network camera device Download PDF

Info

Publication number
JP2007049681A
JP2007049681A JP2006173623A JP2006173623A JP2007049681A JP 2007049681 A JP2007049681 A JP 2007049681A JP 2006173623 A JP2006173623 A JP 2006173623A JP 2006173623 A JP2006173623 A JP 2006173623A JP 2007049681 A JP2007049681 A JP 2007049681A
Authority
JP
Japan
Prior art keywords
video frame
request
transmission method
unit
network camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006173623A
Other languages
Japanese (ja)
Other versions
JP4914127B2 (en
JP2007049681A5 (en
Inventor
Akihiro Takanezawa
哲広 高根澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006173623A priority Critical patent/JP4914127B2/en
Priority to US11/428,952 priority patent/US7877777B2/en
Publication of JP2007049681A publication Critical patent/JP2007049681A/en
Publication of JP2007049681A5 publication Critical patent/JP2007049681A5/ja
Priority to US12/961,549 priority patent/US8302142B2/en
Application granted granted Critical
Publication of JP4914127B2 publication Critical patent/JP4914127B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】 ライブ表示用の映像フレームの送信方法と録画用の映像フレームの送信方法とを選択的に実行処理する。
【解決手段】 撮影部において生成された映像フレームをクライアント装置に送信するためのネットワークカメラ装置において、受信された映像フレームの送信方法のリクエストが録画用の映像フレームの送信方法のリクエストである場合、撮影部において生成された各映像フレームを保持手段に一時的に保持し、保持された各映像フレームを通信手段に送信させる処理を実行する。受信された映像フレームの送信方法のリクエストがライブ表示用の映像フレームの送信方法のリクエストである場合、撮影部において生成された映像フレームの中で最も新しいフレームを通信手段に送信させる処理を繰り返し実行する。
【選択図】 図１PROBLEM TO BE SOLVED: To selectively execute a transmission method of a video frame for live display and a transmission method of a video frame for recording.
In a network camera device for transmitting a video frame generated in a photographing unit to a client device, when a request for a transmission method of a received video frame is a request for a transmission method of a video frame for recording, Each video frame generated in the photographing unit is temporarily held in the holding unit, and processing for causing the communication unit to transmit each held video frame is executed. When the request for the transmission method of the received video frame is a request for the transmission method of the video frame for live display, the process of repeatedly transmitting the newest frame among the video frames generated in the photographing unit to the communication means is repeatedly executed. To do.
[Selection] Figure 1

Description

本発明は、ネットワークを介してカメラで撮影した映像を送信する技術に関するものである。   The present invention relates to a technique for transmitting video captured by a camera via a network.

ネットワークを介してカメラから出力されたライブ映像を表示し、ＨＤＤなどの記憶装置に保存する技術が存在する（特許文献１参照）。
特開平１１−２０５７８１号公報 There is a technique for displaying live video output from a camera via a network and storing it in a storage device such as an HDD (see Patent Document 1).
JP-A-11-205781

帯域が可変なネットワークにおいてデータの送受信を行う場合は、特有の揺らぎによるランダムな遅延や、アクセスの集中による輻輳が発生する。すなわち、従来の技術では、撮影から表示までに要する時間が長くなるという課題や、録画する映像フレームが抜けてしまうという課題がある。   When data is transmitted / received in a network with a variable bandwidth, random delay due to characteristic fluctuations and congestion due to access concentration occur. That is, the conventional technique has a problem that the time required from shooting to display becomes long and a problem that a video frame to be recorded is lost.

上述した目的を達成するために、撮影部において生成された映像フレームをクライアント装置に送信するためのネットワークカメラ装置において、クライアント装置と通信する通信手段と、前記通信手段において、前記クライアント装置の映像フレームの送信方法のリクエストが受信された場合、受信された映像フレームの送信方法のリクエストが録画用の映像フレームの送信方法のリクエストであるか、あるいはライブ表示用の映像フレームの送信方法のリクエストであるかを判断する制御手段とを有し、前記制御手段は、受信された映像フレームの送信方法のリクエストが録画用の映像フレームの送信方法のリクエストである場合、前記撮影部において生成された各映像フレームを前記通信手段に送信させる処理を実行し、受信された映像フレームの送信方法のリクエストがライブ表示用の映像フレームの送信方法のリクエストである場合、最新のフレームを前記通信手段に送信させる処理を繰り返し実行することを特徴とするネットワークカメラ装置を提供する。   In order to achieve the above-described object, in a network camera device for transmitting a video frame generated in a photographing unit to a client device, a communication unit that communicates with the client device, and a video frame of the client device in the communication unit When a request for a transmission method is received, a request for a transmission method of a received video frame is a request for a transmission method of a video frame for recording, or a request for a transmission method of a video frame for live display Control means for determining whether the received video frame transmission method request is a video frame transmission method request for recording. A process for transmitting the frame to the communication means is executed, and the received image is received. If the request transmission method of the frame is a request for transmitting method of the video frames for the live display, to provide a network camera apparatus characterized by repeatedly executing the processing for transmitting the latest frame to the communication unit.

本発明によれば、ライブ表示用の映像フレームの送信方法と録画用の映像フレームの送信方法とを選択的に実行処理することが可能となる。そのため、クライアント装置側の個々の要求に対応した映像フレームの送信を行うことができる。   According to the present invention, it is possible to selectively execute a transmission method of a video frame for live display and a transmission method of a video frame for recording. Therefore, it is possible to transmit a video frame corresponding to each request on the client device side.

（第１の実施の形態）
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。 (First embodiment)
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.

図１はネットワークカメラ装置の構成図である。図１において、ネットワークカメラ装置１は撮影した映像をネットワークに送信する。撮影部１１は被写体を撮影し、映像フレームを出力する。   FIG. 1 is a configuration diagram of a network camera device. In FIG. 1, a network camera device 1 transmits a captured video to a network. The photographing unit 11 photographs a subject and outputs a video frame.

撮影用一時記憶部１５は、撮影部１１内の処理に際して映像フレームを一時記憶する。処理部１２は、ネットワークカメラ装置全体を制御する。一時記憶部１３は、撮影した映像フレームを一時記憶する。通信部１４は、クライアント装置との通信を制御する。通信用一時記憶部１６は、通信部１４の処理に際して通信データを一時記憶する。   The temporary shooting storage unit 15 temporarily stores a video frame during processing in the shooting unit 11. The processing unit 12 controls the entire network camera device. The temporary storage unit 13 temporarily stores captured video frames. The communication unit 14 controls communication with the client device. The communication temporary storage unit 16 temporarily stores communication data when the communication unit 14 performs processing.

撮影部１１は、ＣＣＤなどの撮像素子、撮像素子からの画像信号をＡ／Ｄ変換し、色信号処理および圧縮処理などを行う画像処理回路、および撮影部１１を制御する制御回路を有する。また、撮影部１１は、画像処理回路によって得られた映像フレームごとに撮影時刻の情報を付加する。   The imaging unit 11 includes an image sensor such as a CCD, an image processing circuit that performs A / D conversion on an image signal from the image sensor and performs color signal processing and compression processing, and a control circuit that controls the imaging unit 11. The photographing unit 11 adds photographing time information for each video frame obtained by the image processing circuit.

撮影用一時記憶部１５は、撮影部１１の撮影の処理において映像フレームを一時記録する半導体メモリなどの揮発性メモリを有する。   The photographing temporary storage unit 15 includes a volatile memory such as a semiconductor memory that temporarily records a video frame in the photographing process of the photographing unit 11.

処理部１２は、プログラムを記憶するＲＯＭ，ＲＯＭから読み出したプログラムを一時的に記憶するＲＡＭを有する。さらに、処理部１２は、ＲＡＭによって一時的に記憶されたプログラムに基づいてネットワークカメラ装置１の全体を制御するＣＰＵなどの処理装置を有する。   The processing unit 12 includes a ROM that stores programs, and a RAM that temporarily stores programs read from the ROM. Further, the processing unit 12 includes a processing device such as a CPU that controls the entire network camera device 1 based on a program temporarily stored in the RAM.

一時記憶部１３は、ハードディスクやフラッシュメモリなどの不揮発性メモリを有する。通信用一時記憶部１６は、通信部１４から送信する映像フレームもしくはクライアント装置から受信したリクエストを一時記憶する半導体メモリなどの揮発性メモリを有する。   The temporary storage unit 13 includes a nonvolatile memory such as a hard disk or a flash memory. The communication temporary storage unit 16 includes a volatile memory such as a semiconductor memory that temporarily stores a video frame transmitted from the communication unit 14 or a request received from the client device.

通信部１４は、映像フレームの送信およびクライアント装置からのリクエストの受信を行う通信回路である。通信部１４は、クライアント装置から受信したリクエストを処理部１２に出力すると、通信用一時記憶部１６に記憶したリクエストを削除する。   The communication unit 14 is a communication circuit that transmits video frames and receives requests from client devices. When the communication unit 14 outputs the request received from the client device to the processing unit 12, the communication unit 14 deletes the request stored in the communication temporary storage unit 16.

ネットワークカメラ装置１は、ライブ表示用の映像フレームの送信方法と録画用の映像フレームの送信方法を有する。なお、「ライブ表示」とは、クライアント装置において、ネットワークカメラ装置１の撮影部１１において生成され、通信部１４から配信された映像フレームをリアルタイム表示することを指す。   The network camera device 1 has a method for transmitting a video frame for live display and a method for transmitting a video frame for recording. Note that “live display” refers to real-time display of a video frame generated in the photographing unit 11 of the network camera device 1 and distributed from the communication unit 14 in the client device.

図２は、本実施の形態におけるネットワークカメラシステムの全体構成図である。図２において、ネットワークカメラ装置１の構成は、図１と同様であるのでその説明を省略する。表示装置２および記録装置３は、クライアント装置として機能するものである。表示装置２および記録装置３は、ネットワークカメラ装置１とインターネットなどのネットワークを介して通信できる。   FIG. 2 is an overall configuration diagram of the network camera system according to the present embodiment. 2, the configuration of the network camera device 1 is the same as that in FIG. The display device 2 and the recording device 3 function as client devices. The display device 2 and the recording device 3 can communicate with the network camera device 1 via a network such as the Internet.

表示装置２は、通信部２１，処理部２２，および映像表示部２３を有する。   The display device 2 includes a communication unit 21, a processing unit 22, and a video display unit 23.

通信部２１は、ネットワークを介してネットワークカメラ装置１などとの情報のやり取りを行う回路である。例えば、通信部２１は、ネットワークカメラ装置１に対してライブ表示用の映像フレームの送信リクエストあるいはフレームレートのリクエストを送信する。このリクエストには、記録装置３およびネットワークカメラ１のアドレスが含まれる。処理部２２は、プログラムを記憶するＲＯＭ，ＲＯＭから読み出したプログラムを一時的に記憶するＲＡＭ，ＲＡＭによって一時的に記憶されたプログラムに基づいて表示装置２全体を制御するＣＰＵからなる。映像表示部２３は、ＬＣＤなどのディスプレイデバイスからなり、ネットワークカメラ装置１から配信された映像フレームに基づいて映像を表示する。   The communication unit 21 is a circuit that exchanges information with the network camera device 1 and the like via a network. For example, the communication unit 21 transmits a transmission request for a video frame for live display or a request for a frame rate to the network camera device 1. This request includes the addresses of the recording device 3 and the network camera 1. The processing unit 22 includes a ROM that stores a program, a RAM that temporarily stores a program read from the ROM, and a CPU that controls the entire display device 2 based on the program temporarily stored by the RAM. The video display unit 23 includes a display device such as an LCD, and displays video based on the video frames distributed from the network camera device 1.

記録装置３は、通信部３１，映像記録部３２，および処理部３３を有する。   The recording device 3 includes a communication unit 31, a video recording unit 32, and a processing unit 33.

通信部３１は、ネットワークを介してネットワークカメラ装置１などとの情報のやり取りを行う回路である。例えば、通信部３１は、ネットワークカメラ装置に対してライブ表示用の映像フレームの送信リクエストあるいはフレームレートのリクエストを送信する。映像記録部３２は、ハードディスクドライブなどの大容量の不揮発性の記録媒体を有する。処理部３３は、プログラムを記憶するＲＯＭ，ＲＯＭから読み出したプログラムを一時的に記憶するＲＡＭ，ＲＡＭによって一時的に記憶されたプログラムに基づいて表示装置２全体を制御するＣＰＵなどの処理装置からなる。   The communication unit 31 is a circuit that exchanges information with the network camera device 1 and the like via a network. For example, the communication unit 31 transmits a live display video frame transmission request or a frame rate request to the network camera device. The video recording unit 32 includes a large-capacity nonvolatile recording medium such as a hard disk drive. The processing unit 33 includes a processing device such as a ROM for storing a program, a RAM for temporarily storing a program read from the ROM, and a CPU for controlling the entire display device 2 based on the program temporarily stored by the RAM. .

図６は、処理部１２が実行する送信方法の選択処理に関するフローチャートである。   FIG. 6 is a flowchart regarding a transmission method selection process executed by the processing unit 12.

処理部１２は、通信部１４が受信したクライアント装置からのリクエストを解析する。解析の結果、リクエストが録画用の映像フレームの送信リクエストであると判別した場合（Ｓ６０１／Ｙｅｓ）、処理部１２は、撮影部１１に対して録画用の撮影処理を実行させる。それとともに、処理部１２は、録画用の映像フレームの送信処理の実行を開始する。   The processing unit 12 analyzes the request from the client device received by the communication unit 14. As a result of the analysis, when it is determined that the request is a request for transmission of a video frame for recording (S601 / Yes), the processing unit 12 causes the photographing unit 11 to execute a photographing process for recording. At the same time, the processing unit 12 starts executing transmission processing of video frames for recording.

一方、リクエストが録画用の映像フレームの送信リクエストでないと判別した場合（Ｓ６０１／Ｎｏ）、処理部１２は、ライブ表示用の映像フレームの送信リクエストであるか否かを判別する（Ｓ６０２）。   On the other hand, if it is determined that the request is not a video frame transmission request for recording (S601 / No), the processing unit 12 determines whether the request is a video frame transmission request for live display (S602).

ライブ表示用の映像フレームの送信リクエストであると判別した場合（Ｓ６０２／Ｙｅｓ）、処理部１２は、撮影部１１に対してライブ表示用の撮影処理を実行させるとともに、ライブ表示用の映像フレームの送信処理を実行する（Ｓ６０４）。   When it is determined that the request is a transmission request for a video frame for live display (S602 / Yes), the processing unit 12 causes the shooting unit 11 to perform a shooting process for live display and also displays a video frame for live display. A transmission process is executed (S604).

ライブ表示用の映像フレームの送信リクエストでないと判別した場合（Ｓ６０２／Ｎｏ）、リクエストに対してエラー信号を通信部１４に返信させる（Ｓ６０３）。   When it is determined that the request is not a transmission request for a video frame for live display (S602 / No), an error signal is returned to the communication unit 14 in response to the request (S603).

図３〜５はネットワークカメラ装置１から送信される映像フレームの時刻を示すタイミングチャートである。   3 to 5 are timing charts showing the times of video frames transmitted from the network camera device 1.

図３〜５において、「Ｔ１」は、撮影部１１において、被写体を撮影することによって得られた画像信号に基づいて映像フレームが生成される時刻を示す。なお、実際には、撮影部１１の撮像素子の撮影時刻と、映像フレームが生成される生成時刻とは微妙に異なるが、以下では、等価なものとして説明する。また、撮影部１１の撮像素子の撮影間隔と映像フレームの生成間隔に関しても等価なものとして説明する。   3 to 5, “T1” indicates a time at which the video frame is generated based on the image signal obtained by shooting the subject in the shooting unit 11. In practice, the shooting time of the image sensor of the shooting unit 11 and the generation time at which the video frame is generated are slightly different, but the following description will be made as equivalent. Further, the description will be made assuming that the shooting interval of the image sensor of the shooting unit 11 and the generation interval of the video frame are equivalent.

「Ｔ２」は、通信部１４において、映像フレームをクライアント装置に送信した時刻を示す。「Ｔ３」は、表示装置２または記録装置３などのクライアント装置が映像フレームを受信する時刻を示す。Ｔ１１はネットワークカメラ装置１から送信する映像フレームのフレームレートに対応する映像フレームの時間間隔である。   “T2” indicates the time at which the communication unit 14 transmits the video frame to the client device. “T3” indicates a time at which a client device such as the display device 2 or the recording device 3 receives a video frame. T11 is a time interval of video frames corresponding to the frame rate of the video frames transmitted from the network camera device 1.

図３は、ネットワークカメラ装置１からクライアント装置に、遅延することなく映像フレームが送信された場合のタイミングチャートを示している。図３は、ライブ表示用と録画用の両方の映像フレーム送信処理におけるタイミングチャートを示している。   FIG. 3 shows a timing chart when a video frame is transmitted without delay from the network camera device 1 to the client device. FIG. 3 shows a timing chart in video frame transmission processing for both live display and recording.

図３において、ある時刻ｔ１に撮影部１１で生成された映像フレームは、処理部１２の処理によって通信部１４に出力される。撮影部１１から通信部１４への映像フレームの出力はＴ１からＴ２への矢印で示される。また、撮影部１１から通信部１４へ映像フレームの出力に要した時間はＴ２１である。   In FIG. 3, the video frame generated by the photographing unit 11 at a certain time t <b> 1 is output to the communication unit 14 by the processing of the processing unit 12. The output of the video frame from the photographing unit 11 to the communication unit 14 is indicated by an arrow from T1 to T2. The time required for outputting the video frame from the photographing unit 11 to the communication unit 14 is T21.

そして、時刻ｔ１で撮影部１１で生成された映像フレームは、通信部１４からクライアント装置に送信される。通信部１４からクライアント装置への送信はＴ２からＴ３の矢印で示され、クライアント装置への送信に要した時間はＴ３１である。   Then, the video frame generated by the photographing unit 11 at time t1 is transmitted from the communication unit 14 to the client device. Transmission from the communication unit 14 to the client device is indicated by arrows from T2 to T3, and the time required for transmission to the client device is T31.

図３に示す遅延することなく映像フレームが送信された場合のタイミングチャートでは、Ｔ２１とＴ３１の合計が映像フレームの時間間隔Ｔ１１よりも小さくなる。そして、時刻ｔ１から時間Ｔ１１経過後に撮影部１１において映像フレームが生成され、同様の処理が繰り返される。   In the timing chart when the video frame is transmitted without delay shown in FIG. 3, the sum of T21 and T31 is smaller than the time interval T11 of the video frame. Then, after the time T11 has elapsed from time t1, a video frame is generated in the photographing unit 11, and the same processing is repeated.

図４は、ネットワークの輻輳などにより送信が遅延した場合のライブ表示用の映像フレームの送信処理におけるタイミングチャートである。   FIG. 4 is a timing chart in transmission processing of a video frame for live display when transmission is delayed due to network congestion or the like.

図４において、時刻ｔ２において生成された映像フレームの通信部１４への出力は、時間Ｔ２２経過後に完了する。そして、通信部１４からクライアント装置へ時間Ｔ３２後に映像フレームの送信が完了する。   In FIG. 4, the output of the video frame generated at time t2 to the communication unit 14 is completed after the time T22 has elapsed. Then, the transmission of the video frame is completed after the time T32 from the communication unit 14 to the client device.

ネットワークの輻輳などにより、映像フレームの送信にかかる時間Ｔ３２はＴ３１と比べて大きくなっている。すなわち、図４のタイミングチャートは、撮影部１１からクライアント装置に映像フレームの送信が完了する時間であるＴ２２とＴ３２の合計が映像フレームの生成間隔Ｔ１１よりも大きくなる場合を示している。ライブ表示用の映像フレームの送信処理では、映像フレームの生成間隔より直前の映像フレームの送信時間が長い場合、直前の映像フレームの送信完了に応じて次の映像フレームの送信処理が開始される。   Due to network congestion and the like, the time T32 required to transmit the video frame is longer than T31. That is, the timing chart of FIG. 4 shows a case where the sum of T22 and T32, which is the time for completing transmission of the video frame from the photographing unit 11 to the client device, is larger than the video frame generation interval T11. In the transmission process of the video frame for live display, when the transmission time of the immediately preceding video frame is longer than the generation interval of the video frame, the transmission process of the next video frame is started in response to the completion of the transmission of the immediately preceding video frame.

処理部１２は、時刻ｔ２からＴ１１時間経過後の時刻ｔ３に撮影部１１で生成された映像フレームを通信部１４に送信する。通信部１４は、時刻ｔ２からＴ１１＋Ｔ１２後の時刻ｔ５まで、前の映像フレームの送信を行っている。そのため、時刻ｔ３で生成された映像フレームのクライアント装置への転送は、時刻ｔ５に開始されることになる。なお、ｔ３で生成された映像フレームに対して、クライアント装置に送信されるまでの間に送信処理が行われていない時間（Ｔ１２−Ｔ２３）が存在している。   The processing unit 12 transmits the video frame generated by the photographing unit 11 to the communication unit 14 at time t3 after the elapse of T11 time from time t2. The communication unit 14 transmits the previous video frame from time t2 to time t5 after T11 + T12. Therefore, the transfer of the video frame generated at time t3 to the client device starts at time t5. Note that there is a time (T12-T23) in which transmission processing is not performed before the video frame generated at t3 is transmitted to the client device.

時刻ｔ５に撮影部１１で生成された映像フレームの撮影部１１から通信部１４への送信にかかる時間は、時間Ｔ２４である。そして、時刻ｔ５に撮影部１１で生成された映像フレームの通信部１４からクライアント装置への送信にかかかる時間は、時間Ｔ３４である。ここで、時間Ｔ２４，Ｔ３４が時刻ｔ３において生成された映像フレームの送信処理とそれぞれ同じである（Ｔ２３＝Ｔ２４、Ｔ３３＝Ｔ３４）とする。この場合、撮影されてからクライアント装置に送信されるまでの時間は、時刻ｔ５において生成された映像フレームの方が時刻ｔ３で生成された映像フレームよりも短い。   The time required for transmission of the video frame generated by the photographing unit 11 from the photographing unit 11 to the communication unit 14 at time t5 is time T24. The time taken to transmit the video frame generated by the photographing unit 11 from the communication unit 14 to the client device at time t5 is time T34. Here, it is assumed that the times T24 and T34 are the same as the transmission processing of the video frame generated at time t3 (T23 = T24, T33 = T34). In this case, the time from shooting to transmission to the client device is shorter for the video frame generated at time t5 than for the video frame generated at time t3.

ライブ表示用の送信において、撮影されてからクライアント装置に送信されるまでに要する時間を短くすることが目的である。そのため、ライブ表示用の映像フレームの送信処理では、映像フレームの生成間隔より送信処理に時間を要した場合、映像フレームの送信完了にともなって、処理部１２が撮影部１１に映像フレームの生成を指示する。そして、生成された映像フレームをクライアント装置に送信する。撮影部１１において生成された映像フレームを送信する。すなわち、図４のタイミングチャートにおいて、時刻ｔ３では映像フレームの撮影と送信は行わず、時刻ｔ５で撮影部１１において生成された映像フレームを送信する処理が実行される。   The purpose of the transmission for live display is to shorten the time required from the shooting to the transmission to the client device. Therefore, in the transmission process of the video frame for live display, when the transmission process takes time from the generation interval of the video frame, the processing unit 12 generates the video frame to the photographing unit 11 with the completion of the transmission of the video frame. Instruct. Then, the generated video frame is transmitted to the client device. The video frame generated in the imaging unit 11 is transmitted. That is, in the timing chart of FIG. 4, the process of transmitting the video frame generated in the imaging unit 11 is performed at time t5 without capturing and transmitting the video frame at time t3.

図５は、ネットワークの輻輳などにより送信が遅延した場合の録画用の映像フレーム送信処理におけるタイミングチャートである。   FIG. 5 is a timing chart in video frame transmission processing for recording when transmission is delayed due to network congestion or the like.

図５において、時刻ｔ２において、撮影部１１で生成された映像フレームのクライアント装置への送信は遅延している。時刻ｔ２において生成された映像フレームのクライアント装置への送信完了時間Ｔ２２＋Ｔ３２は、映像フレームの生成間隔Ｔ１１よりも大きい。   In FIG. 5, at time t2, transmission of the video frame generated by the photographing unit 11 to the client device is delayed. The transmission completion time T22 + T32 of the video frame generated at time t2 to the client device is longer than the video frame generation interval T11.

録画用の映像フレームの送信処理において、映像フレームのリアルタイム性は重要でない。録画用の映像フレームの送信処理では、生成された映像フレームを確実に送信することを優先して処理が行われる。   In transmission processing of video frames for recording, the real-time property of video frames is not important. In the transmission process of the video frame for recording, the process is performed with priority given to reliably transmitting the generated video frame.

図５のタイミングチャートの時刻ｔ３において、通信部１４は、前の映像フレーム（時刻ｔ２において生成された映像フレーム）をクライアント装置に送信している状態である。そして、前の映像フレームの送信が完了した時刻ｔ５に時刻ｔ３で生成された映像フレームの送信が開始される。   At time t3 in the timing chart of FIG. 5, the communication unit 14 is in a state of transmitting the previous video frame (the video frame generated at time t2) to the client device. Then, transmission of the video frame generated at time t3 is started at time t5 when transmission of the previous video frame is completed.

図７は、処理部１２によって実行されるライブ表示用の映像フレームの送信処理を示すフローチャートである。ライブ表示用の映像フレームの送信処理は、撮影部１１より取得される最新の映像フレームを送信する処理が行われる。   FIG. 7 is a flowchart showing a live display video frame transmission process executed by the processing unit 12. In the transmission process of the video frame for live display, a process of transmitting the latest video frame acquired from the photographing unit 11 is performed.

処理部１２は、クライアント装置からの映像送信のリクエスト、もしくは予め設定されたネットワークカメラ装置１の設定値に基づいて、撮影部１１において生成される映像フレームのフレームレートを決定する。なお、図７の処理におけるクライアント装置は表示装置２である。そして、決定されたフレームレート（枚／秒）の値に対応する映像フレームの生成間隔（撮影間隔）を算出する（Ｓ７０１）。   The processing unit 12 determines the frame rate of the video frame generated in the photographing unit 11 based on a video transmission request from the client device or a preset setting value of the network camera device 1. Note that the client device in the processing of FIG. Then, a video frame generation interval (shooting interval) corresponding to the determined frame rate (frames / second) is calculated (S701).

処理部１２は、撮影部１１に撮影動作を開始させ、算出した間隔ごとに映像フレームを生成させる。そして、処理部１２は、撮影用一時記憶部１５に記憶された映像フレームを取得する（Ｓ７０２）。   The processing unit 12 causes the photographing unit 11 to start a photographing operation, and generates a video frame at every calculated interval. Then, the processing unit 12 obtains a video frame stored in the photographing temporary storage unit 15 (S702).

処理部１２は、撮影部１１から取得した映像フレームを通信部１４に出力し、通信用一時記憶部１６に記憶させる。そして、処理部１２は、通信部１４に対してリクエストの送信元のクライアント装置に通信用一時記憶部１６に記憶された映像フレームを送信させる（Ｓ７０３）。   The processing unit 12 outputs the video frame acquired from the imaging unit 11 to the communication unit 14 and stores the video frame in the communication temporary storage unit 16. Then, the processing unit 12 causes the communication unit 14 to transmit the video frame stored in the communication temporary storage unit 16 to the client device that has transmitted the request (S703).

次に、処理部１２は、前回の映像フレームが撮影部１１において生成され、出力が開始された時刻（撮影時刻）からの時間が、ステップＳ７０１で算出した撮影間隔と同じになったか否かを判別する（Ｓ７０４）。出力が開始された時刻（撮影時刻）からの時間が撮影間隔となっていない場合（Ｓ７０４／Ｎｏ）、処理部１２は、待機する（Ｓ７０５）。   Next, the processing unit 12 determines whether or not the time from the time (shooting time) when the previous video frame is generated in the shooting unit 11 and output is started is the same as the shooting interval calculated in step S701. A determination is made (S704). When the time from the start of output (shooting time) is not the shooting interval (S704 / No), the processing unit 12 stands by (S705).

一方、出力が開始された時刻（撮影時刻）からの時間が撮影間隔を超えている場合（Ｓ７０４／Ｙｅｓ）、処理部１２は、Ｓ７０３で通信部１４に命令した映像フレームの送信が完了しているかを確認する（Ｓ７０６）。通信部１４が映像フレームの送信を完了していない場合（Ｓ７０６／Ｎｏ）、処理部１２は、通信部１４にＳ７０３で命令した映像フレームの送信処理を継続させる（Ｓ７０７）。   On the other hand, when the time from the time when the output is started (shooting time) exceeds the shooting interval (S704 / Yes), the processing unit 12 completes the transmission of the video frame commanded to the communication unit 14 in S703. (S706). When the communication unit 14 has not completed transmission of the video frame (S706 / No), the processing unit 12 continues the transmission process of the video frame instructed by the communication unit 14 in S703 (S707).

通信部１４がＳ７０３で命令した映像フレームの通信を完了している場合（Ｓ７０６／Ｙｅｓ）、映像フレームの送信を継続するか否かを判断する。処理部１２は、クライアント装置から送信終了のリクエストを受信しているか否か、あるいは、クライアント装置の通信状況などに基づいて、映像フレーム送信の継続の可否判断をする（Ｓ７０８）。   If the communication unit 14 has completed the communication of the video frame commanded in S703 (S706 / Yes), it is determined whether or not to continue the transmission of the video frame. The processing unit 12 determines whether or not the video frame transmission can be continued based on whether or not a transmission end request has been received from the client device, or based on the communication status of the client device (S708).

映像フレームの送信を継続する場合（Ｓ７０８／Ｙｅｓ）、処理部１２は、Ｓ７０２からの処理を繰り返し実行する。すなわち、撮影間隔内で直前の映像フレームの送信処理が完了している場合、処理部１２は、算出された撮影間隔で撮影部１１から映像フレームを取得する。また、撮影間隔を超えて直前の映像フレームの送信処理が完了した場合、処理部１２は、最新の映像フレームを送信するために、送信が完了したときに撮影部１１から映像フレームを取得する。   When the transmission of the video frame is continued (S708 / Yes), the processing unit 12 repeatedly executes the processing from S702. That is, when the transmission process of the immediately preceding video frame is completed within the shooting interval, the processing unit 12 acquires the video frame from the shooting unit 11 at the calculated shooting interval. When the transmission process of the immediately preceding video frame is completed beyond the shooting interval, the processing unit 12 acquires the video frame from the shooting unit 11 when the transmission is completed in order to transmit the latest video frame.

映像の送信を継続しない場合（Ｓ７０８／Ｎｏ）、処理部１２は、映像送信のための撮影と送信の制御処理を終了する。   When the video transmission is not continued (S708 / No), the processing unit 12 ends the shooting and transmission control processing for video transmission.

図８は、処理部１２によって実行される録画用の映像フレームの送信処理フローチャートである。また、図９は、処理部１２によって実行される録画用の映像フレームの送信処理フローチャートである。録画用の映像フレームの送信処理は、撮影部１１より取得した各映像フレームをすべて送信する処理が行われる。なお、図８，９の処理におけるクライアント装置は録画装置３である。   FIG. 8 is a flowchart of video recording transmission processing executed by the processing unit 12. FIG. 9 is a flowchart of a recording video frame transmission process executed by the processing unit 12. The video frame transmission process for recording is a process of transmitting all the video frames acquired from the photographing unit 11. The client device in the processing of FIGS.

図８において、処理部１２は、クライアント装置からの映像送信のリクエスト、もしくは予め設定されたネットワークカメラ装置１の設定値に基づいて、撮影部１１において生成される映像フレームのフレームレートを決定する。そして、処理部１２は、決定されたフレームレートの値に対応する映像フレームの生成間隔（撮影間隔）を算出する（Ｓ８０１）。   In FIG. 8, the processing unit 12 determines the frame rate of the video frame generated in the photographing unit 11 based on a video transmission request from the client device or a preset value of the network camera device 1. Then, the processing unit 12 calculates a video frame generation interval (shooting interval) corresponding to the determined frame rate value (S801).

処理部１２は、撮影部１１に映像フレームの生成処理を実行させる。そして、処理部１２は、撮影用一時記憶部１５に記憶された映像フレームを取得する（Ｓ８０２）。そして、処理部１２は、撮影部１１から取得した映像フレームを一時記憶部１３に記憶する（Ｓ８０３）。   The processing unit 12 causes the photographing unit 11 to execute video frame generation processing. Then, the processing unit 12 obtains the video frame stored in the photographing temporary storage unit 15 (S802). Then, the processing unit 12 stores the video frame acquired from the photographing unit 11 in the temporary storage unit 13 (S803).

処理部１２は、直前のＳ８０２で撮影した時刻から、Ｓ８０１で算出した撮影間隔が経過するまで次の処理の実行を待機する（Ｓ８０４）。   The processing unit 12 waits for execution of the next process from the time of shooting at the previous S802 until the shooting interval calculated at S801 elapses (S804).

処理部１２は、映像の送信を継続するか否かを、送信終了のリクエストの受信の有無、クライアント装置の通信状況などに基づいて判断する（Ｓ８０５）。   The processing unit 12 determines whether or not to continue the transmission of the video based on whether or not a transmission end request has been received, the communication status of the client device, and the like (S805).

映像の送信を継続する場合（Ｓ８０５／Ｙｅｓ）、処理部１２は、Ｓ８０２からＳ８０４までの処理を繰り返す。映像の送信を継続しない場合（Ｓ８０５／Ｎｏ）、処理部１２は、映像送信のための撮影の制御処理を終了する。   When the video transmission is continued (S805 / Yes), the processing unit 12 repeats the processing from S802 to S804. When the video transmission is not continued (S805 / No), the processing unit 12 ends the shooting control process for video transmission.

図９おいて、処理部１２は、まず、Ｓ９０１において、同時に実行される図８の処理により一時記憶部１３に映像フレームを記憶したか否かを確認する。   In FIG. 9, the processing unit 12 first checks in step S901 whether or not a video frame has been stored in the temporary storage unit 13 by the processing of FIG.

一時記憶部１３に映像フレームが記憶されていない場合（Ｓ９０１／Ｎｏ）、処理部１２は、一時記憶部に映像フレームが記憶されているかを判断する処理を継続する。   When the video frame is not stored in the temporary storage unit 13 (S901 / No), the processing unit 12 continues the process of determining whether the video frame is stored in the temporary storage unit.

一時記憶部１３に映像フレームが記憶されている場合（Ｓ９０１／Ｙｅｓ）、処理部１２は、記憶された映像フレームの中から、最も古い時刻に撮影された映像フレームを検索する（Ｓ９０２）。この検索処理は、映像フレームごとに付加されている撮影時刻情報を参照する処理が行われる。   When the video frame is stored in the temporary storage unit 13 (S901 / Yes), the processing unit 12 searches the stored video frame for the video frame shot at the oldest time (S902). In this search process, a process of referring to shooting time information added for each video frame is performed.

次に、処理部１２は、Ｓ９０２において検索された映像フレームを通信部１４に送り、通信用一時記憶部１６に記憶させる。そして、処理部１２は、通信部１４に対して、映像フレームのリクエストの送信元のクライアント装置に通信用一時記憶部１６に記憶された映像フレームを送信させる（Ｓ９０３）。   Next, the processing unit 12 sends the video frame searched in S902 to the communication unit 14, and stores it in the communication temporary storage unit 16. Then, the processing unit 12 causes the communication unit 14 to transmit the video frame stored in the communication temporary storage unit 16 to the client device that has transmitted the request for the video frame (S903).

処理部１２は、Ｓ９０３において通信部１４から映像フレームの送信の完了通知を受けると、Ｓ９０２で検索された映像フレームを一時記憶部１３から削除する（Ｓ９０４）。   Upon receiving a video frame transmission completion notification from the communication unit 14 in S903, the processing unit 12 deletes the video frame searched in S902 from the temporary storage unit 13 (S904).

処理部１２は、映像の送信を継続するか否かを、送信終了のリクエストの受信の有無、映像送信先の通信状況などに基づいて判断する（Ｓ９０５）。   The processing unit 12 determines whether or not to continue the transmission of the video based on whether or not a transmission end request has been received, the communication status of the video transmission destination, and the like (S905).

映像の送信を継続する場合（Ｓ９０５／Ｙｅｓ）、処理部１２は、Ｓ９０１からＳ９０４の処理を繰り返す。映像の送信を継続しない場合（Ｓ９０５／Ｎｏ）、処理部１２は、映像送信のための送信の制御処理を終了する。   When the video transmission is continued (S905 / Yes), the processing unit 12 repeats the processing from S901 to S904. When the video transmission is not continued (S905 / No), the processing unit 12 ends the transmission control process for video transmission.

以上説明したように、本実施の形態によれば、クライアント装置の要求に応じて適切な映像フレームの配信を行うことができる。   As described above, according to the present embodiment, an appropriate video frame can be distributed in response to a request from a client device.

（第２の実施の形態）
次に、第２の実施形態について説明する。 (Second Embodiment)
Next, a second embodiment will be described.

第２の実施形態は、録画用の映像フレームの送信処理が第１の実施の形態と異なる。その他は同じ構成・処理であるので、説明を省略する。   The second embodiment differs from the first embodiment in the transmission process of video frames for recording. Others are the same configuration and processing, and thus the description is omitted.

図１０は、処理部１２によって実行される録画用の映像送信処理を示すフローチャートである。図１０において、図８と同じ符号のＳ８０１，８０２，８０４，８０５は同じ処理を示すので、その説明を省略する。   FIG. 10 is a flowchart showing a video transmission process for recording executed by the processing unit 12. In FIG. 10, S801, 802, 804, and 805 having the same reference numerals as those in FIG.

処理部１２は、通信部１４の処理状態に関する情報を通信部１４より取得する。そして、処理部１２は、この通信部１４が通信部１４の処理状態に関する情報に基づいて、録画用の映像送信の処理における映像フレームの送信処理を現在実行中であるか否かを判断する（Ｓ１００３）。   The processing unit 12 acquires information regarding the processing state of the communication unit 14 from the communication unit 14. Then, the processing unit 12 determines whether or not the communication unit 14 is currently executing a video frame transmission process in the video transmission process for recording based on the information regarding the processing state of the communication unit 14 ( S1003).

通信部１４が録画用の映像送信の処理における映像フレームの送信を実行中である場合（Ｓ１００３／Ｙｅｓ）、処理部１２は、取得した映像フレームを通信部１４から送信することなく一時記憶部１３に記憶する（Ｓ１００５）。すなわち、直前の映像フレームの送信が完了していない場合、処理部１２は、取得した映像フレームを通信部１４から送信することなく一時記憶部１３に記憶する。   When the communication unit 14 is executing transmission of a video frame in the video transmission process for recording (S1003 / Yes), the processing unit 12 transmits the acquired video frame from the communication unit 14 without transmitting the acquired video frame. (S1005). That is, when the transmission of the previous video frame is not completed, the processing unit 12 stores the acquired video frame in the temporary storage unit 13 without transmitting from the communication unit 14.

通信部１４が録画用の映像送信の処理における映像フレームの送信を実行中でない場合（Ｓ１００３／Ｎｏ）、処理部１２は、取得した映像フレームを通信部１４の通信用一時記憶部１６に記憶させる。そして、通信部１４にリクエストの送信元であるクライアント装置に送信させる（Ｓ１００４）。   When the communication unit 14 is not executing video frame transmission in the video transmission process for recording (S1003 / No), the processing unit 12 stores the acquired video frame in the communication temporary storage unit 16 of the communication unit 14. . Then, the communication unit 14 is transmitted to the client apparatus that is the transmission source of the request (S1004).

図１０における録画用の映像フレームの送信方法においては、通信状態によっては映像フレームが送信されずに一時記憶部１３に記憶されることがある。一時記憶部１３に記憶された映像フレームは、撮影の時刻やＩＤなどの映像フレームを特定する情報を含む再送のリクエストを受けてネットワークカメラ装置１から送信される。   In the video frame transmission method for recording in FIG. 10, the video frame may be stored in the temporary storage unit 13 without being transmitted depending on the communication state. The video frame stored in the temporary storage unit 13 is transmitted from the network camera apparatus 1 in response to a retransmission request including information specifying the video frame such as the shooting time and ID.

図１１は、一時記憶部１３に記憶された映像フレームの再送のリクエストによる処理部１２で行われる映像フレームの送信の制御処理を示すフローチャートであり、図１１を参照しながら動作を説明する。   FIG. 11 is a flowchart showing a video frame transmission control process performed by the processing unit 12 in response to a video frame retransmission request stored in the temporary storage unit 13, and the operation will be described with reference to FIG.

処理部１２は、受信したリクエストが映像フレームの再送のリクエストであるか否かを判断する（Ｓ１１０１）。   The processing unit 12 determines whether or not the received request is a request for retransmission of a video frame (S1101).

再送のリクエストでない場合（Ｓ１１０１／Ｎｏ）、処理部１２による再送の処理を終了する。再送のリクエストである場合（Ｓ１１０１／Ｙｅｓ）、処理部１２は、再送のリクエストによって時刻指定された映像フレームを、一時記憶部１３に記憶されている映像フレームの中から検索する（Ｓ１１０２）。   If the request is not a retransmission request (S1101 / No), the retransmission process by the processing unit 12 is terminated. When the request is a retransmission request (S1101 / Yes), the processing unit 12 searches the video frame stored in the temporary storage unit 13 for the video frame whose time is specified by the retransmission request (S1102).

検索の結果、処理部１２は、指定された映像フレームが一時記憶部１３に存在するか否かを判断する（Ｓ１１０３）。   As a result of the search, the processing unit 12 determines whether or not the designated video frame exists in the temporary storage unit 13 (S1103).

一時記憶部に指定された映像フレームが存在しない場合（Ｓ１１０３／Ｎｏ）、処理部１２は、再送のリクエストを送信したクライアント装置に対してエラー通知を行い、再送の処理を終了する。   When the video frame designated in the temporary storage unit does not exist (S1103 / No), the processing unit 12 notifies the client apparatus that has transmitted the retransmission request an error, and ends the retransmission process.

一時記憶部に指定された映像フレームが存在する場合（Ｓ１１０３／Ｙｅｓ）、処理部１２は、検索された映像フレームを通信部１４の通信用一時記憶部１６に記憶させる。そして、処理部１２は、通信部１４に対して再送のリクエストの送信元に送信させ、再送処理を終了させる（Ｓ１１０４）。   If the designated video frame exists in the temporary storage unit (S1103 / Yes), the processing unit 12 stores the retrieved video frame in the communication temporary storage unit 16 of the communication unit 14. Then, the processing unit 12 causes the communication unit 14 to transmit to the transmission source of the retransmission request, and terminates the retransmission process (S1104).

図１２は、記録装置３がネットワークカメラ装置１から映像フレームを受信したときに処理部３３が実行する動作処理のフローチャートを示している。   FIG. 12 shows a flowchart of operation processing executed by the processing unit 33 when the recording device 3 receives a video frame from the network camera device 1.

記録装置３において、処理部３３は、受信した映像フレームに付加された当該映像フレームの生成時刻情報（撮影部１１の撮影時刻情報）を取得する（Ｓ１２０１）。   In the recording device 3, the processing unit 33 acquires generation time information of the video frame added to the received video frame (shooting time information of the shooting unit 11) (S1201).

処理部３３は、処理部３３のＲＡＭに記憶されたフレームレートのリクエストの履歴情報に基づいて、Ｓ１２０１で取得した撮影時刻のときのフレームレート（撮影間隔）を推定する（Ｓ１２０２）。なお、記録装置３から出力されるフレームレートのリクエストには、映像フレームの生成時刻（撮影部１１の撮影時刻）とそのときのフレームレートを指定するコマンドが含まれる。   Based on the frame rate request history information stored in the RAM of the processing unit 33, the processing unit 33 estimates the frame rate (shooting interval) at the shooting time acquired in S1201 (S1202). The frame rate request output from the recording device 3 includes a command for designating the generation time of the video frame (the shooting time of the shooting unit 11) and the frame rate at that time.

処理部３３は、Ｓ１２０１において得られた映像フレームの生成時刻と、その直前の映像記録部３２に記録された映像フレームの生成時刻とに基づいて、受信した映像フレームとその直前の映像フレームの生成間隔（撮影間隔）を求める。処理部３３は、求めた映像フレームの間隔とＳ１２０２で推定した撮影間隔から、受信した映像フレームの撮影時刻の周辺に映像フレームの抜けがないか否かを解析する（Ｓ１２０３）。   The processing unit 33 generates the received video frame and the immediately preceding video frame based on the generation time of the video frame obtained in S1201 and the generation time of the video frame recorded in the immediately preceding video recording unit 32. Find the interval (shooting interval). The processing unit 33 analyzes whether or not there is a missing video frame around the shooting time of the received video frame from the obtained video frame interval and the shooting interval estimated in S1202 (S1203).

映像フレームの抜けが存在する場合（Ｓ１２０４／Ｙｅｓ）、処理部３３は、映像フレームの抜けている部分の再送リクエストを生成し、ネットワークカメラ装置１に送信する（Ｓ１２０５）。再送リクエストには、Ｓ１２０２で推定した撮影間隔と、Ｓ１２０１において得られた映像フレームの生成時刻とに基づいて求められた取得していない映像フレームの生成時刻（撮影部１１の撮影時刻）情報が含まれる。また、再送リクエストには、さらに記録装置３およびネットワークカメラ１のアドレスが含まれる。   If there is a missing video frame (S1204 / Yes), the processing unit 33 generates a retransmission request for the missing video frame and transmits it to the network camera device 1 (S1205). The retransmission request includes information on the generation time (shooting time of the shooting unit 11) of an unacquired video frame obtained based on the shooting interval estimated in S1202 and the generation time of the video frame obtained in S1201. It is. The retransmission request further includes addresses of the recording device 3 and the network camera 1.

映像フレームの抜けが存在しない場合（Ｓ１２０４／Ｎｏ）、処理部３３は、受信した映像フレームを映像記録部３２に記録する（Ｓ１２０６）。   If there is no missing video frame (S1204 / No), the processing unit 33 records the received video frame in the video recording unit 32 (S1206).

以上説明したように、録画用の映像フレームのリクエストに対しては、映像フレームが抜けた場合に再送を行うため、確実な映像フレームの記録が可能となる。また、一時記憶部１３には、連続した映像フレームが蓄積される可能性が少なくなる。そのため、長期間にわたって映像フレームが記録されないことがなくなる。   As described above, since a video frame request for recording is retransmitted when the video frame is lost, it is possible to record the video frame reliably. Further, the possibility that consecutive video frames are accumulated in the temporary storage unit 13 is reduced. As a result, video frames are not recorded over a long period of time.

なお、上述した各実施の形態では、ネットワークカメラ装置１において、撮影部１が生成する映像フレームの間隔（フレームレート）を処理部が制御する形態を示した。さらに、本願発明は、撮影部１１と、ネットワークカメラ装置１のその他の構成とが物理的かつ機能的に分離され、ケーブルなどによってしていてもよい。   In each of the above-described embodiments, the network camera device 1 has shown a form in which the processing unit controls the interval (frame rate) between video frames generated by the photographing unit 1. Further, in the present invention, the photographing unit 11 and the other configuration of the network camera device 1 may be physically and functionally separated and may be configured by a cable or the like.

すなわち、処理部１２が設定したフレームレートではなく、撮影部１１において予め設定されたフレームレート（例えば、３０フレーム／秒）で配信された映像フレームを処理部１２が受動的に処理する形態においても適用することができる。この形態の場合、図７のライブ用の映像フレームの送信処理は、次のようになる。まず、Ｓ７０１において、撮影間隔を算出する処理に代えて、撮影間隔（映像フレームの生成間隔）に関する情報を撮影部１１より取得する。これは、Ｓ７０４の判断に用いるための処理である。そして、Ｓ７０２において、撮影間隔ごとに撮影部１１より取得した映像フレームを一時記憶部１３に記憶する。一時記憶部１３に記憶される映像フレームは、撮影部１１から新たな映像フレームが取得されるごとに更新される。すなわち、一時記憶部１３に記憶される映像フレームは常に最新の映像フレームが記憶されることになる。そして、Ｓ７０３において、処理部１２は、一時記憶部１３に記憶された最新の映像フレームを通信部１４に送信させる。一方、図８の録画用の映像フレームの送信処理は、Ｓ８０１において、撮影間隔を算出する処理に代えて、撮影間隔（映像フレームの生成間隔）に関する情報を撮影部１１より取得する処理が行われる。これは、Ｓ７０４の判断に用いるための処理である。   In other words, not in the frame rate set by the processing unit 12 but also in a mode in which the processing unit 12 passively processes video frames distributed at a frame rate preset in the photographing unit 11 (for example, 30 frames / second). Can be applied. In the case of this embodiment, the live video frame transmission process of FIG. 7 is as follows. First, in step S <b> 701, information regarding the shooting interval (video frame generation interval) is acquired from the shooting unit 11 instead of the process of calculating the shooting interval. This is a process used for the determination in S704. In step S <b> 702, the video frame acquired from the imaging unit 11 is stored in the temporary storage unit 13 at each imaging interval. The video frame stored in the temporary storage unit 13 is updated every time a new video frame is acquired from the imaging unit 11. That is, the latest video frame is always stored as the video frame stored in the temporary storage unit 13. In step S <b> 703, the processing unit 12 causes the communication unit 14 to transmit the latest video frame stored in the temporary storage unit 13. On the other hand, in the transmission process of the video frame for recording shown in FIG. 8, a process of acquiring information related to the shooting interval (video frame generation interval) from the shooting unit 11 is performed instead of the process of calculating the shooting interval in S801. . This is a process used for the determination in S704.

ネットワークカメラ装置の構成図Configuration diagram of network camera device ネットワークカメラシステムの全体構成図Overall configuration diagram of network camera system ネットワークカメラ装置１から送信される映像フレームの時刻を示すタイミングチャートの一例An example of a timing chart showing the time of a video frame transmitted from the network camera device 1 ネットワークカメラ装置１から送信される映像フレームの時刻をタイミングチャートの一例An example of a timing chart showing the time of a video frame transmitted from the network camera device 1 ネットワークカメラ装置１から送信される映像フレームの時刻を示すタイミングチャートの一例An example of a timing chart showing the time of a video frame transmitted from the network camera device 1 処理部１２によって実行される映像フレームの送信方法の選択処理を示すフローチャートThe flowchart which shows the selection process of the transmission method of the video frame performed by the process part 12 第１の実施形態において、処理部１２によって実行されるライブ用の映像フレームの生成・送信処理フローチャートIn the first embodiment, a live video frame generation / transmission process flowchart executed by the processing unit 12 第１の実施形態において、処理部１２によって実行される録画用の映像フレームの生成処理フローチャートIn the first embodiment, a recording video frame generation processing flowchart executed by the processing unit 12. 第１の実施形態において、処理部１２によって実行される録画用の映像フレームの送信処理フローチャートIn the first embodiment, a recording video frame transmission processing flowchart executed by the processing unit 12. 第２の実施形態において、処理部１２によって実行される録画用の映像フレームの生成・送信処理フローチャートIn the second embodiment, a video frame generation / transmission process flowchart for recording executed by the processing unit 12 第２の実施形態において、処理部１２によって実行される再送リクエストの応答処理フローチャートIn the second embodiment, a response process flowchart of a retransmission request executed by the processing unit 12 第２の実施形態において、記録部３によって実行される記録映像の受信時の処理フローチャートIn the second embodiment, a processing flowchart at the time of reception of a recorded video executed by the recording unit 3

符号の説明Explanation of symbols

１ ネットワークカメラ装置
２ 表示装置
３ 記録装置
１１ 撮影部
１２ 処理部
１３ 一時記憶部
１４ 通信部 DESCRIPTION OF SYMBOLS 1 Network camera apparatus 2 Display apparatus 3 Recording apparatus 11 Image pick-up part 12 Processing part 13 Temporary storage part 14 Communication part

Claims (10)

撮影部において生成された映像フレームをクライアント装置に送信するためのネットワークカメラ装置において、
クライアント装置と通信する通信手段と、
前記通信手段において、前記クライアント装置の映像フレームの送信方法のリクエストが受信された場合、受信された映像フレームの送信方法のリクエストが録画用の映像フレームの送信方法のリクエストであるか、あるいはライブ表示用の映像フレームの送信方法のリクエストであるかを判断する制御手段とを有し、
前記制御手段は、
受信された映像フレームの送信方法のリクエストが録画用の映像フレームの送信方法のリクエストである場合、前記撮影部において生成された各映像フレームを前記通信手段に送信させる処理を実行し、
受信された映像フレームの送信方法のリクエストがライブ表示用の映像フレームの送信方法のリクエストである場合、最新の映像フレームを前記通信手段に送信させることを特徴とするネットワークカメラ装置。 In a network camera device for transmitting a video frame generated in a photographing unit to a client device,
Communication means for communicating with the client device;
In the communication means, when a request for a video frame transmission method of the client device is received, the received video frame transmission method request is a request for a video frame transmission method for recording, or a live display Control means for determining whether the request is a request for a video frame transmission method,
The control means includes
When the received video frame transmission method request is a recording video frame transmission method request, a process of causing the communication means to transmit each video frame generated in the imaging unit is executed.
The network camera device, wherein when the received request for a transmission method of a video frame is a request for a transmission method of a video frame for live display, the latest video frame is transmitted to the communication unit. 請求項１において、映像フレームを一時的に保持する保持手段を有し、
受信された映像フレームの送信方法のリクエストが録画用の映像フレームの送信方法のリクエストである場合、前記制御手段は、前記撮影部において生成された時刻順に前記保持手段に保持された各映像フレームを送信する処理を実行させることを特徴とするネットワークカメラ装置。 In Claim 1, It has a holding means to hold a picture frame temporarily,
When the received video frame transmission method request is a request for recording video frame transmission method, the control unit displays each video frame held in the holding unit in the order of time generated in the photographing unit. A network camera device, characterized by causing a process to be transmitted to be executed. 請求項１において、映像フレームを一時的に保持する保持手段を有し、
前記保持手段に保持される映像フレームは、前の映像フレームの送信が映像フレームの生成間隔より遅れたことにより、前記撮影ユニットにおいて生成された時刻順に各映像フレームを送信されなかった映像フレームであり、前記制御手段は、前記クライアント装置からの再送リクエストに応じて前記保持手段に保持される映像フレームを前記通信手段に送信させることを特徴とするネットワークカメラ装置。 In Claim 1, It has a holding means to hold a picture frame temporarily,
The video frame held in the holding means is a video frame in which each video frame was not transmitted in the order of time generated in the photographing unit because transmission of the previous video frame was delayed from the generation interval of the video frame. The control unit causes the communication unit to transmit a video frame held in the holding unit in response to a retransmission request from the client device. 請求項１ないし請求項３のいずれか１項において、前記撮影部が分離されていることを特徴とするネットワークカメラ装置。   The network camera device according to claim 1, wherein the photographing unit is separated. 撮影部において生成された映像フレームをクライアント装置に送信するためのネットワークカメラ装置の映像フレーム送信方法であって、
クライアント装置と通信するための通信部において、前記クライアント装置の映像フレームの送信方法のリクエストが受信された場合、受信された映像フレームの送信方法のリクエストが録画用の映像フレームの送信方法のリクエストであるか、あるいはライブ表示用の映像フレームの送信方法のリクエストであるかを処理部が判断する判断ステップと、
受信された映像フレームの送信方法のリクエストが録画用の映像フレームの送信方法のリクエストである場合、前記処理部が、撮影部において生成された各映像フレームを前記通信部に送信させる第１の映像フレーム送信ステップと、
受信された映像フレームの送信方法のリクエストがライブ表示用の映像フレームの送信方法のリクエストである場合、最新のフレームを送信する処理を繰り返し実行する第２の映像フレーム送信ステップとを有することを特徴とするネットワークカメラ装置の映像フレーム送信方法。 A video frame transmission method of a network camera device for transmitting a video frame generated in a photographing unit to a client device,
In the communication unit for communicating with the client device, when a request for the transmission method of the video frame of the client device is received, the request for the transmission method of the received video frame is a request for the transmission method of the video frame for recording. A determination step in which the processing unit determines whether there is a request for a transmission method of a video frame for live display;
When the received video frame transmission method request is a recording video frame transmission method request, the processing unit causes the communication unit to transmit each video frame generated in the imaging unit. A frame transmission step;
A second video frame transmission step of repeatedly executing a process of transmitting the latest frame when the received video frame transmission method request is a live display video frame transmission method request. A video frame transmission method for a network camera device. 請求項５に記載の第１の映像フレーム送信ステップにおいて、
受信された映像フレームの送信方法のリクエストが録画用の映像フレームの送信方法のリクエストである場合、前記処理部が、前記撮影部において生成された時刻順に一時記憶部に記憶された各映像フレームを前記通信部に送信させることを特徴とするネットワークカメラ装置の映像フレーム送信方法。 In the first video frame transmission step according to claim 5,
When the received video frame transmission method request is a recording video frame transmission method request, the processing unit displays each video frame stored in the temporary storage unit in the order of time generated in the photographing unit. A video frame transmission method for a network camera device, characterized by causing the communication unit to transmit. 請求項５に記載の第１の映像フレーム送信ステップにおいて、
一時記憶部に記憶される映像フレームは、前の映像フレームの送信が映像フレームの生成間隔より遅れたことにより、前記撮影部において生成された時刻順に各映像フレームを送信されなかった映像フレームであり、前記処理部が、前記クライアント装置からの再送リクエストに応じて前記保持部に保持される映像フレームを前記通信部に送信させることを特徴とするネットワークカメラ装置の映像フレーム送信方法。 In the first video frame transmission step according to claim 5,
The video frame stored in the temporary storage unit is a video frame in which each video frame is not transmitted in the order of time generated in the photographing unit because transmission of the previous video frame is delayed from the generation interval of the video frame. A video frame transmission method for a network camera device, wherein the processing unit causes the communication unit to transmit a video frame held in the holding unit in response to a retransmission request from the client device. 請求項５ないし請求項７のいずれか１項において、前記撮影部が分離されていることを特徴とするネットワークカメラ装置の映像フレーム送信方法。   8. The video frame transmission method for a network camera device according to claim 5, wherein the photographing unit is separated. 請求項５ないし請求項８のいずれか１項に記載の映像フレーム送信方法をコンピュータに実行させるためのプログラム。   The program for making a computer perform the video frame transmission method of any one of Claim 5 thru | or 8. 請求項９に記載のプログラムを記憶したコンピュータ可読メモリ。   A computer-readable memory storing the program according to claim 9.
JP2006173623A 2005-07-11 2006-06-23 Network camera device and video frame transmission method of network camera device Expired - Fee Related JP4914127B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006173623A JP4914127B2 (en) 2005-07-11 2006-06-23 Network camera device and video frame transmission method of network camera device
US11/428,952 US7877777B2 (en) 2006-06-23 2006-07-06 Network camera apparatus and distributing method of video frames
US12/961,549 US8302142B2 (en) 2006-06-23 2010-12-07 Network camera apparatus and distributing method of video frames

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005201558 2005-07-11
JP2005201558 2005-07-11
JP2006173623A JP4914127B2 (en) 2005-07-11 2006-06-23 Network camera device and video frame transmission method of network camera device

Publications (3)

Publication Number Publication Date
JP2007049681A true JP2007049681A (en) 2007-02-22
JP2007049681A5 JP2007049681A5 (en) 2009-07-09
JP4914127B2 JP4914127B2 (en) 2012-04-11

Family

ID=37852111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006173623A Expired - Fee Related JP4914127B2 (en) 2005-07-11 2006-06-23 Network camera device and video frame transmission method of network camera device

Country Status (1)

Country Link
JP (1) JP4914127B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142861A (en) * 2005-11-18 2007-06-07 Matsushita Electric Ind Co Ltd Network camera, network camera system, and monitoring method
WO2017130269A1 (en) * 2016-01-25 2017-08-03 オリンパス株式会社 Image transmission apparatus, image communication system, image transmission method, and program
JP2017225164A (en) * 2017-08-09 2017-12-21 キヤノン株式会社 Receiving device, receiving method, transmitting device, transmitting method, and program
WO2018235258A1 (en) * 2017-06-23 2018-12-27 オリンパス株式会社 Image transmission system, imaging terminal, display terminal, adjustment method, adjustment assisting method, adjustment program, and adjustment assisting program
WO2018235259A1 (en) * 2017-06-23 2018-12-27 オリンパス株式会社 Image transmission system, imaging terminal, display terminal, adjustment method, adjustment assisting method, adjustment program, and adjustment assisting program
CN112369039A (en) * 2018-07-18 2021-02-12 奥林巴斯株式会社 Wireless communication device, wireless communication system, wireless communication method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077857A (en) * 2000-08-31 2002-03-15 Hitachi Ltd Multimedia data transmission device
JP2003018525A (en) * 2001-07-04 2003-01-17 Fujitsu Ltd Network storage type video camera system
JP2003219397A (en) * 2002-01-17 2003-07-31 Toshiba Corp Video distribution server and video distribution system
JP2003324710A (en) * 2002-05-08 2003-11-14 Fujitsu General Ltd Network camera system
JP2004200863A (en) * 2002-12-17 2004-07-15 Nec Corp Digital broadcast receiving system and digital broadcast receiving method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077857A (en) * 2000-08-31 2002-03-15 Hitachi Ltd Multimedia data transmission device
JP2003018525A (en) * 2001-07-04 2003-01-17 Fujitsu Ltd Network storage type video camera system
JP2003219397A (en) * 2002-01-17 2003-07-31 Toshiba Corp Video distribution server and video distribution system
JP2003324710A (en) * 2002-05-08 2003-11-14 Fujitsu General Ltd Network camera system
JP2004200863A (en) * 2002-12-17 2004-07-15 Nec Corp Digital broadcast receiving system and digital broadcast receiving method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142861A (en) * 2005-11-18 2007-06-07 Matsushita Electric Ind Co Ltd Network camera, network camera system, and monitoring method
US9113065B2 (en) 2005-11-18 2015-08-18 Panasonic Intellectual Property Management Co., Ltd. Network camera, network camera system and monitoring method
WO2017130269A1 (en) * 2016-01-25 2017-08-03 オリンパス株式会社 Image transmission apparatus, image communication system, image transmission method, and program
US10764616B2 (en) 2016-01-25 2020-09-01 Olympus Corporation Image transmission apparatus, image transmission method, and recording medium
WO2018235258A1 (en) * 2017-06-23 2018-12-27 オリンパス株式会社 Image transmission system, imaging terminal, display terminal, adjustment method, adjustment assisting method, adjustment program, and adjustment assisting program
WO2018235259A1 (en) * 2017-06-23 2018-12-27 オリンパス株式会社 Image transmission system, imaging terminal, display terminal, adjustment method, adjustment assisting method, adjustment program, and adjustment assisting program
US11050548B2 (en) 2017-06-23 2021-06-29 Olympus Corporation Image transmission system, imaging terminal, display terminal, adjustment method, adjustment assistance method, and non-transitory computer-readable recording medium storing program
US11089169B2 (en) 2017-06-23 2021-08-10 Olympus Corporation Image transfer system, imaging terminal, display terminal, and adjustment method
JP2017225164A (en) * 2017-08-09 2017-12-21 キヤノン株式会社 Receiving device, receiving method, transmitting device, transmitting method, and program
CN112369039A (en) * 2018-07-18 2021-02-12 奥林巴斯株式会社 Wireless communication device, wireless communication system, wireless communication method, and program

Also Published As

Publication number Publication date
JP4914127B2 (en) 2012-04-11

Similar Documents

Publication Publication Date Title
US8302142B2 (en) Network camera apparatus and distributing method of video frames
US9467509B2 (en) Device control method and computer-readable recording medium
JPH1042185A (en) Imaging server and its method and medium
US20190141105A1 (en) Backfill of video stream
JP7105675B2 (en) Transmission device, server device, transmission method and program
JP4914127B2 (en) Network camera device and video frame transmission method of network camera device
JP2016046598A (en) Communication device, communication method, and program
US20190158551A1 (en) Transmission device, receiving device, communication system, and computer program product
JP6289076B2 (en) Information processing apparatus, information processing method, and program
US9277261B2 (en) Information processing apparatus and control method thereof
JP5078538B2 (en) Image reproducing apparatus, processing method thereof, and program thereof
JP2004356829A (en) Data reception / reproduction method and data reception / reproduction device
KR102602898B1 (en) Server device, information processing method, and non-transitory computer readable recording medium
KR102291293B1 (en) Transmission device, comunication system, transmission method, and non-transitory computer readable recording medium
JP2025028932A (en) TRANSMISSION DEVICE, SERVER DEVICE, TRANSMISSION METHOD, AND PROGRAM
CN113315997A (en) Transmission device, server device, transmission method, and program
JP4640075B2 (en) Imaging apparatus and imaging program
JP4640074B2 (en) Imaging apparatus and imaging program
KR20250056958A (en) Imaging device and its control method and program, and system
JP2005117229A (en) Image transmission device
JP2014207613A (en) Imaging apparatus and imaging method
JP2023146067A (en) Imaging system, recording device, recording method and program
JP2020188439A (en) Imaging device, control method and program
JP2017208672A (en) Video supply device, video acquisition device, control method and program thereof, and video supply system
JP2017212544A (en) Controller, control method and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090525

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120120

R151 Written notification of patent or utility model registration

Ref document number: 4914127

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees