[go: up one dir, main page]

JP5072261B2 - 撮像装置、通信装置、システム、通信方法及びプログラム - Google Patents

撮像装置、通信装置、システム、通信方法及びプログラム Download PDF

Info

Publication number
JP5072261B2
JP5072261B2 JP2006128477A JP2006128477A JP5072261B2 JP 5072261 B2 JP5072261 B2 JP 5072261B2 JP 2006128477 A JP2006128477 A JP 2006128477A JP 2006128477 A JP2006128477 A JP 2006128477A JP 5072261 B2 JP5072261 B2 JP 5072261B2
Authority
JP
Japan
Prior art keywords
video data
received
determination
imaging device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006128477A
Other languages
English (en)
Other versions
JP2007300549A5 (ja
JP2007300549A (ja
Inventor
博英 立川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006128477A priority Critical patent/JP5072261B2/ja
Priority to US11/739,554 priority patent/US7663665B2/en
Publication of JP2007300549A publication Critical patent/JP2007300549A/ja
Publication of JP2007300549A5 publication Critical patent/JP2007300549A5/ja
Application granted granted Critical
Publication of JP5072261B2 publication Critical patent/JP5072261B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4135Peripherals receiving signals from specially adapted client devices external recorder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、撮像装置、通信装置、システム、通信方法及びプログラムに関する。
映像サーバやネットワークカメラからの映像情報をリアルタイムにネットワーク配信し、ディスプレイ装置等で視聴したり、ストレージ装置等で記録したりする際に、通信路等でエラーが発生すると再送が実施されるシステムがある。
特開平10−70523号公報
しかしながら高品位画像等の大容量なストリームデータを配信する場合、再送を実施するとリアルタイム性が損なわれ、映像遅延が大きくなるといった不具合が発生する問題がある。
本発明はこのような問題点に鑑みなされたもので、低遅延、且つ確実なデータ保存が可能なストリームデータの配信を行なうことを目的とする。
そこで、前記問題を解決するため、本発明は、記憶部を有する撮像装置であって、受信した映像データを表示する表示装置と、受信した映像データを記憶する通信装置と、に映像データを送信可能な送信手段と、前記送信手段が送信する映像データを前記記憶部に記憶させる記憶制御手段と、前記通信装置からの映像データを正常に受信できたか否かの応答に基づき、前記送信手段が、前記表示装置と、前記通信装置と、に映像データを送信した際に前記通信装置で前記映像データを正常に受信できたか否かを判断する判断手段と、
前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信する受信手段と、前記判断手段において前記通信装置で正常に受信できなかったと判断された、前記記憶部に記憶されている映像データを、前記受信手段において前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信すると、前記通信装置に対して再送するよう制御する再送制御手段と、を有することを特徴とする。
係る構成とすることにより、低遅延、且つ確実なデータ保存が可能なストリームデータの配信を行なうことができる。
なお、撮像装置とは、例えば、後述するデジタルビデオカメラ装置、又はカメラ装置等に対応する。また、通信装置とは、例えば、後述するストレージ装置、又はディスプレイ装置等に対応する。
本発明によれば、低遅延、且つ確実なデータ保存が可能なストリームデータの配信を行なうことができる。
以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、本実施形態に係るシステムを構成する各装置の一例のハードウェア構成図である。デジタルビデオカメラ装置(撮像装置)1は、撮像した映像をネットワークに出力する。ディスプレイ装置(表示装置)2は、ネットワークを介して転送された映像ストリームデータをデコードして表示する。ストレージ装置(記憶装置)3は、ネットワークを介して転送された映像ストリームデータを蓄積保存する。なお、本実施の形態における映像ストリームデータとは、ネットワークを介して転送された映像データを受信処理と並行して、ディスプレイ装置2ではディスプレイ上に映像を表示処理したり、ストレージ装置3上に記憶処理したりするためのデータを指す。
CPU4は、デジタルビデオカメラ装置1の制御を実行するコントローラ(処理ユニット)である。CPU4は、例えばローカルストレージ8等に記憶されているプログラムを実行することにより、後述するデジタルビデオカメラ装置1の機能を提供したり、後述するフローチャート等の処理を実行したりする。
撮像部5は、撮像素子、A/D変換器等からなり、デジタルビデオカメラ装置1への画像取り込みを行う。エンコーダ6は、撮像部5で撮像した画像をMPEGやH.264等の映像ストリームデータへエンコードする回路である。通信部7は、デジタルビデオカメラ装置1と外部機器との通信処理を行う回路を有する。ローカルストレージ8は、デジタルビデオカメラ装置1に設けられたFlashメモリ等の比較的低容量な記憶装置である。
CPU10は、ディスプレイ装置2の全体を統括制御するコントローラ(処理ユニット)。CPU10は、例えばディスプレイ装置2の不図示のメモリ等に記憶されているプログラムを実行することにより、後述するディスプレイ装置2の機能を提供する。
ディスプレイ11は、ディスプレイ装置2の表示を受け持つ液晶デバイス等である。デコーダ12は、ネットワークを介して転送された映像ストリームデータを映像情報へ復号する回路である。通信部13は、ディスプレイ装置2に設けられ、通信処理を行う回路を有する。
CPU15は、ストレージ装置3全体の統括制御を行うコントローラ(処理ユニット)である。CPU15は、例えばストレージ17等に記憶されているプログラムを実行することにより、後述するストレージ装置3の機能を提供する。
通信部16は、ストレージ装置3に設けられ、通信処理を行う回路を有する。大容量ストレージ17は、HDD等の記録デバイスである。
ここで、デジタルビデオカメラ装置1は、撮像した映像に関する映像ストリームデータを、ディスプレイ装置2と、ストレージ装置3とへ、ユニキャスト通信する。ディスプレイ装置2は、映像ストリームデータを受け取ると、リアルタイムな映像をディスプレイ11に表示する。また、ストレージ装置3は、映像ストリームデータをストレージ17に蓄積する。
図2は、ユニキャスト通信に係るシーケンス図である。図2に示す様に、デジタルビデオカメラ装置1と、ディスプレイ装置2と、ストレージ装置3とは、映像ストリームデータの転送に先立ち、それぞれ調停フェイズ(100、101)を実行する。この調停フェイズ(100、101)の目的は、映像ストリームデータのソースとなるデジタルビデオカメラ装置1を中心に構成される映像ストリームネットワークの構成を各構成デバイス(1、2、3)に伝達し、設定することである。
調停フェイズ(100、101)を経て各構成デバイス(1、2、3)には、図3のテーブルに示す様な情報が記憶される。図3は、テーブルの一例を示す図(その1)である。
なお、これらの調停フェイズは、デジタルビデオカメラ装置1とディスプレイ装置2との間(101)、デジタルビデオカメラ装置1とストレージ装置3との間(100)でそれぞれユニキャスト通信を用いて実施される。
以上の調停が終了すると、デジタルビデオカメラ装置1における映像ストリームデータのエンコード処理が開始される。
エンコーダ6でエンコードされた映像ストリームデータは、CPU4によって読み出され、出力する通信形式に合わせてパケット形式に加工された後、ローカルストレージ8へ移される。その後、CPU4は、ローカルストレージ8に記憶された通信パケットを随時読み出し、通信部7へ送る。通信パケット(映像ストリームデータ1)を受けた通信部7は、ネットワークを介して映像ストリームデータ1の転送を開始(102、103)する。
映像ストリームデータ1(102)を受けたストレージ装置3のCPU15は、通信部16で受信した映像ストリームデータ1(102)に対してCRC等の計算を行いデータの信憑性を検証する。その検証に基づいて、CPU15は、映像ストリームデータ1を正しく受信できたか否かを判断する。
CPU15は、映像ストリームデータ1を正しく受信できたと判断すると、デジタルビデオカメラ装置1へACK(104)を返す。更に、CPU15は、正常に受信できた映像ストリームデータ1を通信パケットスタイルから映像ストリームスタイルに変更し、随時ストレージ17へ保存する。
一方、映像ストリームデータ1(103)を受けたディスプレイ装置2のCPU10は、通信部13で受信した映像ストリームデータ1(103)の信憑性検査を行わず、受信データを通信パケットスタイルから映像ストリームスタイルに変更する。又は、CPU10は、通信部13で受信した映像ストリームデータ1(103)の信憑性検査を実施し、パケットエラーが発生していても何もせず、受信データを通信パケットスタイルから映像ストリームスタイルに変更する。なお、ここで、信憑性検査等の処理は、ディスプレイ装置2のCPU10ではなく、通信部13等において行うようにしてもよい。但し、以下では説明の簡略化のため、CPU10が行うものとして説明を行なう。
デコーダ12は、CPU10から受け取った映像ストリームデータ1を映像化し、ディスプレイ11に表示する。
ここで、映像ストリームデータを送信するデジタルビデオカメラ装置1のCPU4は、調停フェイズ(100、101)によって、MACアドレス00:35:62:45:1e:32がストレージ装置3であると認識している。よって、CPU4は、ストレージ装置3のMACアドレス(又はIPアドレス)からのACKを待ち、ACK(104)が返されたら映像ストリームデータ1のワークエリアをローカルストレージ8から削除する(105)。
以降、CPU4によって、順次映像ストリームデータの転送が実施される。映像ストリームデータ2の送信(106、107)を受けたストレージ装置3のCPU15において、CRCエラー等が検出された場合、その旨を伝えるためにCPU15は、デジタルビデオカメラ装置1へNACK(108)を返す。NACK(108)を受けたデジタルビデオカメラ装置1のCPU4は、ローカルストレージ8上の映像ストリームデータ2に対応するワークエリアの削除処理を行わず、前記ワークエリアをそのまま保存する。なお、ローカルストレージ8をFlashメモリ等のシリコンディスクを用いて実装する場合、ワークエリアの作成や削除は、デジタルビデオカメラ装置1に搭載したOSのファイル管理システム等を用いて実現する。これについては後でより詳細に述べる。
図2に示されるように、映像ストリームデータ3の送信(109、110)では、ディスプレイ装置2で受信エラーが発生している。しかしながら、前述したように、ディスプレイ装置2のCPU10では信憑性検査は実施せず、受信データを通信パケットスタイルから映像ストリームスタイルに変更した後、無条件にデコーダ12へ送るため、ディスプレイ11に表示される映像に乱れが生じる。
一方、ストレージ装置3のCPU15では、映像ストリームデータ3の受信に成功しているため、その旨を伝えるべくACK(111)を返す。ACK(111)を受けたデジタルビデオカメラ装置1のCPU4は、映像ストリームデータ3のワークエリアをローカルストレージ8から削除する(112)。
また、映像ストリームデータ4の送信(113、114)では、ストレージ装置3のCPU15は、通信があったことさえ認識できない状況に合った場合の例を示している。このような状況でCPU15は、ACKやNACKを返すことができないため、デジタルビデオカメラ装置1(又はCPU4)は、一定のタイムアウト時間を予め設けておき、その期間にACK/NACKが返らない場合は、通信に失敗したと判断する。したがって、デジタルビデオカメラ装置1では、NACK受信時と同様にローカルストレージ8上の映像ストリームデータ4に対応するワークエリアの削除処理を行わず、前記ワークエリアをそのまま保存する。
これまで、デジタルビデオカメラ装置1と、ストレージ装置3と、の間の通信エラー発生した場合に実施される処理について述べてきたが、ここで、ディスプレイ11がオフ(117)された場合を考える。ディスプレイ11がオフ(117)されるとは、以下のケースが考えら得る。
1:ディスプレイの電源がオフされる(但し、主電源ではない。)。
2:ディスプレイに表示しているカメラ映像がその他の映像に切り替わる。
3:ディスプレイで視聴中の映像が一時停止状態に設定される。
4:ディスプレイの前から人がいなくなる(赤外線センサ等を利用。)。
ディスプレイがオフ(117)されると、ディスプレイ装置2のCPU10からストレージ装置3に対してDisplay Offを通知するパケット(120)が送信される。パケット(120)を受けたストレージ装置3のCPU15は、デジタルビデオカメラ装置1に対してResend Request通知パケット(122)を送信する。
Resend Request通知パケット(122)を受けたデジタルビデオカメラ装置1のCPU4は、ローカルストレージ8に蓄積された、これまで発生したエラーパケット(映像ストリームデータ)を順次読み出す。そして、CPU4は、エラーパケット(映像ストリームデータ)を通信部7からストレージ装置3に再送信(123、126)する。CPU4は、再送信に成功したエラーパケットを随時ローカルストレージから削除する(125、128)。
デジタルビデオカメラ装置1のCPU4は、蓄積されたエラーパケットの再送(123〜128)が完了したら、引き続き映像ストリームデータ6の転送(129)を行うが、ディスプレイ11がオフ状態の間は、転送エラーが発生する度に再送を行う。
ディスプレイ11がオン状態へ移行すると(131)、ディスプレイ装置2のCPU10は、Display On通知パケット(132)をストレージ装置3へ送信する。パケット(132)を受けたストレージ装置3のCPU15は、デジタルビデオカメラ装置1に対してResend Suspend Request通知パケット(134)を送信する。
Resend Suspend Request通知パケット(134)を受けたデジタルビデオカメラ装置1のCPU4は、それ以降の映像ストリームデータの転送先をディスプレイ2に対しても割り当てる。また、同時に、CPU4は、ストレージ装置3への転送エラー発生毎の再送処理を停止し、ローカルストレージ8へのエラーパケット蓄積を再開する。
以上の処理を実施することで、デジタルビデオカメラ装置1から転送された映像の表示遅延の少ないディスプレイ装置2への表示と、確実なストレージ装置3へのデータストリームの保存が可能となる。
ここで、デジタルビデオカメラ装置1に設けられたローカルストレージ8の管理方法について2種類の方法を説明する。一つめの方法は、前述した様に、CPU4等が、OSのファイルシステムを利用して、エンコード後にパケット形式へ変更したパケット毎に、ローカルストレージ8に保存する際の時刻情報をファイル名として適用し保存する方法である。この場合のファイル名の例を以下に示す。
ファイル名(日時+シリアルナンバー) 221015_XXXXX等
CPU4は、OSのファイルシステムを利用して、このようなファイル名を適用したファイルをパケット毎に作成してローカルストレージ8に保存し、転送に成功したファイルを削除していけば、転送に失敗したファイル名だけが残る。そのため、CPU4が、再送処理を行う際は、古い日時を示すファイル名を検索し、同一の日時のファイル名が複数有る場合は、シリアル番号の小さいファイルを優先して再送すればよい。CPU4が、このようなファイルシステムを利用して再送データの管理を行う方法は、可変長のパケットを利用して映像ストリームデータの転送する場合には効率的である。
もう一つの方法は、CPU4が、ローカルストレージ8を固定長に予め分割しておき、そのそれぞれにIndexをつけて、そのステータスを管理する方法である。図4は、ローカルストレージ管理テーブルの一例を示す図である。なお、ローカルストレージ管理テーブルは、ローカルストレージ8の所定のエリア、又は図示されていない、デジタルビデオカメラ装置1のメモリ等に格納されている。
図4に示されるように、実際のローカルストレージ8は、512bytesのセクタ単位で管理されると仮定する。無線LAN等の通信手段を用いた場合の最大ペイロード値は1500bytesであるため、ヘッダを付加する余地を考慮して、4セクタを1管理単位として使用/未使用テーブル上の1byteを対応させる。なお、ローカルストレージ管理テーブル(使用/未使用テーブル)は、使用中のIndexは、"1"にセットされ、未使用のIndexは、"0"にクリアされるものとする。
このようなローカルストレージ管理テーブルを設けた上でデジタルビデオカメラ装置1のCPU4が映像ストリームデータをリアルタイム転送する際の処理の一例を、図5を用いて説明する。図5は、映像ストリームデータのリアルタイム転送処理の一例を示すフローチャートである。
CPU4は、エンコーダ6でエンコードされた映像ストリームデータを、通信形式に合わせてパケット形式に加工するためにローカルストレージ8へ移す際に、図4に示したローカルストレージ管理テーブル(使用/未使用テーブル)を参照する。即ち、CPU4は、ローカルストレージ管理テーブルの内、"0"クリアされているIndexを検索する(150)。
そして、CPU4は、検索結果に基づいて、未使用エリアが有るか否かを判定する(151)。CPU4は、未使用エリアが有ると判定すると(151においてY)、152に進み、未使用エリアが無いと判定すると(151においてN)、160に進む。
152において、CPU4は、発見した空きセクタをワークエリアとして設定すると共に、前記ワークエリアに対応するIndexをセットする。一方、160において、CPU4は、エラー処理(Error処理)を実行して、図5に示す処理を終了する。
ワークエリアが決定した後、CPU4は、エンコーダ6にエンコード済データが存在するか否かを判定する(153)。CPU4は、エンコーダ6にエンコード済データが存在すると判定すると(153においてY)、154に進み、エンコーダ6にエンコード済データが存在しないと判定すると(153においてN)、図5に示す処理を終了する。
154において、CPU4は、エンコード済データをエンコーダ6からワークメモリへ移動する。続いて、CPU4は、前記ワークメモリを利用して、エンコード済みデータから映像ストリームパケットを生成する(155)。なお、このとき、CPU4は、後で、ストレージ装置3において、映像ストリームデータの修復時に利用できる様、パケットの一部にシーケンス番号を付加する。
次に、CPU4は、生成した映像ストリームデータパケットを通信部7へコピーする(156)。156の処理は、コピーであるため、ワークメモリ上に生成した映像ストリームデータパケットは消去されない。通信部7は、入手した映像ストリームデータパケットに対する通信処理を実施し(157)、その結果をCPU4へ通知する。
CPU4は、通信部7からの通知に基づいて、通信が成功したか否かを判定する(158)。CPU4は、通信が成功したと判定すると(158においてY)、159に進み、通信が成功しなかったと判定すると(158においてN)、次の映像ストリームデータパケット生成に利用可能な新たなワークエリアを検索するため、150に戻る。159において、CPU4は、同一のワークエリアを用いて次の映像ストリームデータパケットを生成する様に設定する(159)。
以上の処理を繰り返すことによって、CPU4は、通信に失敗した映像ストリームデータパケットが保存されたワークエリアのみを残しながら、映像ストリームデータの通信を継続することができる。
また、ディスプレイ11がオフ状態中に、デジタルビデオカメラ装置1のCPU4が映像ストリームデータを再送する際の処理の一例を、図6を用いて説明する。図6は、映像ストリームデータの再送処理の一例を示すフローチャートである。
CPU4は、図4に示したローカルストレージ管理テーブル(使用/未使用テーブル)を参照する。即ち、CPU4は、ローカルストレージ管理テーブルの内、"1"にセットされているIndexを検索する(170)。
そして、CPU4は、検索結果に基づいて、使用エリアが有ると判定すると(171においてY)、172に進み、使用エリアが無いと判定すると(171においてN)、図6に示す処理を終了する。ここで、使用エリアが無いということは、再送に必要な映像ストリームデータパケットが存在しないことを表す。
172において、CPU4は、Indexが"1"にセットされているワークエリアを次の再送用データエリアとして決定して(172)、前記ワークエリアに保存された映像ストリームデータパケットを通信部7へコピー(173)する。
ここで、再送は確実に行われる必要があるため、CPU4(又は通信部7)は、再送カウンタCを適当な値に初期化する(174)。通信部7は、入手した映像ストリームデータパケットに対する再送処理を実施し(175)、その結果をCPU4へ通知する。
CPU4は、通信部7からの通知に基づいて、再送処理が成功したか否かを判定する。CPU4は、再送処理に成功したと判定すると(176においてY)、180に進み、再送処理に失敗したと判定すると(176においてN)、177に進む。
180において、CPU4は、前記ワークエリアに対応するIndexを"0"クリアする。続いて、CPU4は、ディスプレイ11がオフ状態のままか否かを判定する(181)。CPU4は、例えば、ストレージ装置3より、Resend Suspend Request通知パケットを受け取ったか否かに応じて、ディスプレイ11がオフ状態のままか否かを判定する。
CPU4は、ディスプレイ11がオフ状態のままであると判定すると(181においてN)、182に進み、ディスプレイ11がオン状態になったと判定すると(181においてY)、図6に示す再送処理を終了する。
182において、CPU4は、エンコーダ6にエンコード済データが存在するか否かを判定する(182)。CPU4は、エンコーダ6にエンコード済データが存在すると判定すると(182においてY)、エンコード済データを優先して送信するため、図6に示す再送処理を終了する。CPU4は、エンコーダ6にエンコード済データが存在しないと判定すると(182においてN)、次の再送ワークエリア検索のため170の処理に戻る。
一方、177において、CPU4は、再送カウンタCをカウントダウンする。続いて、CPU4は、再送カウンタCが0か否かを判定する(178)。CPU4は、再送カウンタCが0であると判定すると(178においてY)、179に進み、再送カウンタCが0でないと判定すると(178においてN)、175の処理に戻る。
179において、CPU4は、再送カウンタCをカウントダウンさせながら、再送を繰り返したが、正常な再送を行うことができなかったとして、エラー処理(Error処理)を実行し、図6に示す処理を終了する。
以上の処理を繰り返すことによって、CPU4は、ディスプレイ11がオフ状態の際に、通信に失敗した映像ストリームデータパケットをワークエリアから逐次読み出して、映像ストリームデータパケットの再送を実行することができる。
次に、ストレージ装置3で受信する映像ストリームデータにエラーが有った場合のストレージ17への保存処理について説明する。デジタルビデオカメラ装置1は、ディスプレイ装置2において映像ストリームの表示を行っている間、通信中の映像ストリームデータにエラーが発生しても再送を行わない。したがって、ストレージ装置3には、欠落部の存在する映像ストリームデータが保存される。
この保存した映像ストリームデータの欠落部の補填は、ディスプレイ装置2の停止又は休止中に行われる通信エラーした映像ストリームデータパケットの再送によって行われる。この際、ストレージ装置3(又はCPU15)は、映像ストリームデータパケットに付加されたシーケンス番号(155)を利用することで、映像ストリームデータの欠落部の補填を効率的に行うことができる。
しかしながら、何らかの原因でデジタルビデオカメラ装置1との通信リンクが切断され、映像ストリームデータの欠落部の補填が不可能な状況に陥ると、欠落の存在する映像ストリームデータがストレージ装置3保存されることになる。このような場合、欠落部以降の映像が正常に再生できない等の不具合が生じることがある。
このような不具合を無くすため、CPU15は、通信エラー発生部分の前後で映像を一旦カットして、別ファイルとしてストレージ17に保存する。そして、CPU15は、全てのデータを受信してから映像ストリームデータ全体を一本の映像ストリームとして再結合する。
図7は、代表的なビデオストリーム方式であるMPEG−2のビデオストリームの構造の一例を示す図である。図7に示されるように、通常、1本の映像ストリームは、1本のプログラム、即ちシーケンスレイヤの1単位と同一となる。1本のプログラムは複数のGOP(Group of Picture)ユニットに分割可能であり、通常MPEG−2のビデオストリームを分割する場合、GOP単位で分割される。以下、フレーム又はフィールド単位のピクチャーレイヤ、変換単位の複数ラインからなるスライスレイヤ、変換単位の最低ブロックから成るマクロブロックレイヤ、各DCT変換単位からなるブロックレイヤ、と続く。
ここで、図8は、欠落部の存在する映像ストリームデータをストレージ17に保存した場合のGOPレイヤ構成の一例を示す図である。図8に示す様な分布で通信エラーが発生した場合、CPU15は、欠落部が含まれる直前のGOPユニットまでをFile1としてストレージ17に保存する。また、CPU15は、通信エラーが発生したGOPユニット(複数でも可)をFile2として保存し、欠落部が含まれる次のGOPユニット以降をFile3としてストレージ17に保存する。
その後、CPU15は、再送によって、欠落部のあるFile2の補填が完了したら、File1、File2、File3を繋ぎ合わせて一本の映像ストリームデータとして、この映像ストリームデータをストレージ17に再保存する。
以上の処理を行うことで、何らかの理由によって通信エラー部分の補填が行われなくても、エラー部分以外の映像ストリームを確実にストレージ17に保存することができる。
(第2の実施形態)
第1の実施形態では、常時、ストレージ17が動作してデジタルビデオカメラ装置1の撮像データを保存しているが、ディスプレイ11は切り換え等の理由で休止時間が存在する様なケース(監視カメラ等)についての例を示した。第2の実施形態では、玄関等に配置されたカメラ装置を例に、カメラ装置からディスプレイ装置と、ストレージ装置と、にマルチキャスト通信で映像ストリームデータを通信する例を示す。
図9は、本実施形態に係るシステムを構成する各装置の一例のハードウェア構成図である。201は、撮像した映像をネットワーク出力する、玄関等に配置されたカメラ装置である。202は、ネットワーク入力された映像ストリームデータをデコードして表示する、リビング等に配置されたディスプレイ装置である。203は、ネットワーク出力された映像ストリームデータを蓄積保存する、書斎等に配置されたストレージ装置である。
204は、玄関ドア等に付けられた呼び出しスイッチである。205は、カメラ装置201の制御を受け持つCPUである。CPU204は、例えばローカルストレージ209等に記憶されているプログラムを実行することにより、後述するカメラ装置201の機能を提供したり、後述するフローチャート等の処理を実行したりする。
206は、カメラ装置1への画像取り込みを行う撮像部である。207は、撮像部206で撮像した画像をMPEGやH.264等の映像ストリームデータへエンコードするエンコーダである。208は、カメラ装置201と外部機器との通信処理を行う通信部である。209は、カメラ装置201に設けられたFlashメモリ等の比較的低容量なローカルストレージである。
210は、ディスプレイ装置202の制御を受け持つCPUである。CPU210は、例えばディスプレイ装置202のメモリ等に記憶されているプログラムを実行することにより、後述するディスプレイ装置202の機能を提供する。
211は、ディスプレイ装置202の表示を受け持つディスプレイである。212は、ネットワーク入力された映像ストリームデータを映像情報へ復号するデコーダである。213は、ディスプレイ装置202に設けられ、通信処理を行う通信部である。
215は、ストレージ装置203の制御を受け持つCPUである。CPU215は、例えばストレージ217等に記憶されているプログラムを実行することにより、後述するストレージ装置203の機能を提供する。
216は、ストレージ装置203に設けられ、通信処理を行う通信部である。217は、ストレージ装置203に設けられたHDD等の大容量ストレージである。
220は、ディスプレイ装置202の設置されたリビング等から無線でカメラ装置201を制御するリモコンである。
ここで、デジタルビデオカメラ装置201は、撮像した映像に関する映像ストリームデータを、ディスプレイ装置202と、ストレージ装置203とへ、マルチキャスト通信する。ディスプレイ装置202は、映像ストリームデータを受け取ると、リアルタイムな映像をディスプレイ11に表示する。また、ストレージ装置3は、映像ストリームデータをストレージ17に蓄積する。
図10は、マルチキャスト通信に係るシーケンス図である。図10に示す様に、カメラ装置201と、ディスプレイ装置202と、ストレージ装置203と、リモコン220とは、映像ストリームデータの転送に先立ち、それぞれ調停フェイズ(299、300、301)を実行する。この調停フェイズ(299、300、301)の目的は、映像ストリームデータのソースとなるカメラ装置201を中心に構成される映像ストリームネットワークの構成を各構成デバイス(201、202、203、220)に伝達し、設定することである。
調停フェイズ(299、300、301)を経て各構成デバイス(201、202、203、220)には、図11に示す様なテーブルが記憶される。図11は、テーブルの一例を示す図(その2)である。
なお、調停フェイズは、カメラ装置201と、ディスプレイ装置202と、の間(300)で、ユニキャスト通信を用いて実施される。また、調停フェイズは、カメラ装置201と、ストレージ装置203と、の間(299)で、ユニキャスト通信を用いて実施される。また、調停フェイズは、カメラ装置201と、リモートコントローラ220と、の間(301)で、ユニキャスト通信を用いて実施される。
以上の調停が終了し、カメラ装置201に接続された呼び出しスイッチ204が押されると、カメラ装置201における映像ストリームデータのエンコード処理が開始される。
エンコーダ207でエンコードされた映像ストリームデータは、CPU205によって読み出され、出力する通信形式に合わせてパケット形式に加工された後、ローカルストレージ209へ移される。その後、CPU205は、ローカルストレージ209に用意した通信パケットを随時読み出し、通信部208へ送る。通信パケット(映像ストリームデータ1)を受けた通信部208は、映像ストリームデータ1のネットワーク出力を開始(303)する。
なお、同映像ストリームデータ1の通信はマルチキャストにて行われ、再送に関する手当を必要とするのはストレージ装置203のみなので、CPU205は、複数パケットに対応したACKをまとめて入手可能なブロック転送(Block ACK転送)を行う。このため、カメラ装置201(又はCPU205)は、ACKを待つことなく、映像ストリームデータ1に引き続き、映像ストリームデータ2〜4をマルチキャスト送信(303)する。
一方、映像ストリームデータ1〜4(303)を受けたストレージ装置203のCPU215は、通信部216で受信した映像ストリームデータ1〜4(303)のCRC等の計算をそれぞれ行いデータの信憑性を検証する。そして、CPU215は、検証結果等に基づいて、映像ストリームデータ1〜4を正しく受信できたか否かを判断する。
そして、CPU215は、映像ストリームデータ1〜4の各々の映像ストリームデータの受信可否の判断結果を、ストレージ217等に記憶しておく。更に、CPU215は、正常に受信できた映像ストリームデータを通信パケットスタイルから映像ストリームスタイルに変更し、随時ストレージ217へ保存する。
その後、カメラ装置201のCPU205は、これまで送信した映像ストリームデータ群の受信状況を知るため、Block ACKリクエストをストレージ装置203へユニキャスト送信(304)する。Block ACKリクエスト(304)を受けたストレージ装置203のCPU215は、先ほど記憶しておいた各々の映像ストリームデータの受信可否の判断結果に基づいて、返信用のパケットを生成する。そして、CPU215は、Block ACK(305)をカメラ装置201へ返送する。
ここで、カメラ装置201(又はCPU205)は、返送されたBlock ACKパケット(305)を解析することで、通信に失敗した映像ストリームデータの有無とその番号を知ることができる。よって、CPU205は、通信に成功した映像ストリームデータを順次ローカルストレージ209上から削除する(308)。
ここで、ユーザ等のリモートコントローラ220操作によって、リモートコントローラ220から、Display On(Resend Suspend Request)パケット(307)がそれぞれの装置(201、202、203)へ、マルチキャスト通信される。Display Onパケット(307)を受けたディスプレイ装置202のCPU210は、ディスプレイ211を起動し、映像の表示を開始する。Display Onパケット(307)を受けたカメラ装置201CPU205は、ストレージ装置203との映像ストリームデータ通信において通信エラーが発生しても、再送処理を逐次行わず、ディスプレイ211がOffされるまで再送処理を禁止する。
このため、CPU205は、以降の映像ストリームデータ5〜8のマルチキャスト送信(309)において、映像ストリームデータ6の送信にエラーが発生したことがBlock ACKパケット(312)から判明しても、その再送は行わない。そして、CPU205は、通信に成功した映像ストリームデータ5、7、8に対応するローカルストレージのみを削除する(313)。
一方、映像ストリームデータ5〜8(309)を受けたディスプレイ装置202のCPU210は、通信部213で受信した映像ストリームデータ5〜8(309)の信憑性検査を行わない。そして、CPU210は、受信データを通信パケットスタイルから映像ストリームスタイルに変更する。又は、CPU210は、通信部213で受信した映像ストリームデータ5〜8(309)の信憑性検査を実施し、パケットエラーが発生していても何もせず、受信データを通信パケットスタイルから映像ストリームスタイルに変更する。なお、ここで、信憑性検査等の処理は、ディスプレイ装置202のCPU210ではなく、通信部213等において行うようにしてもよい。但し、以下では説明の簡略化のため、CPU210が行うものとして説明を行なう。
デコーダ212は、CPU210から受け取った映像ストリームデータ5〜8を映像化し、ディスプレイ211に表示する。
以降、リモートコントローラ220からDisplay Off(Resend Request)のパケット(319)が、カメラ装置201に送信されるまで、CPU205において、順次映像ストリームデータの転送が行われる。前述した通り、その間に通信エラーした映像ストリームデータパケット(映像ストリームデータ6、12)は、カメラ装置201のローカルストレージ209へ蓄積される。
ここで、リモートコントローラ220からDisplay Off(Resend Request)のパケット(319)がそれぞれ装置(201、202、203)へマルチキャスト送信される。Display Offパケット(319)を受けたディスプレイ装置202のCPU210は、ディスプレイ211における映像の表示を停止し、休止状態に入る。
また、Display Onパケット(307)を受けたカメラ装置201のCPU205は、ローカルストレージ209に蓄積された通信エラーした映像ストリームデータパケットの再送を実施する(320)。なお、カメラ装置201における、ストレージ装置203への映像ストリームデータの保存は、呼び出しスイッチ204が押されたタイミング(302)から開始され、次の何れかの条件が成立するまで継続される。
1:リモートコントローラ220からDisplay Offパケットが送信(319)されるまで。
2:呼び出しスイッチ204が押されてから一定時間(1分間等)経過するまで。
3:カメラ装置201の撮像映像に動きが無くなるまで。
前記1の条件でストレージ装置203への保存を中止する場合、カメラ装置201は、図10のシーケンス図における(324)以降の処理は行わず終了する。また、前記2、3の条件でストレージ装置203への保存を中止する場合、カメラ装置201は、タイムアウト又は動き検出がオフとなる(328)まで、同様の処理を継続し、終了する。
なお、システムは、マルチキャスト通信と、ユニキャスト通信と、を混在させて、ディスプレイ装置202が有効な場合だけ、マルチキャスト通信を行うようにすることもできる。この場合のシーケンス図を図12に示す。図12は、マルチキャスト通信と、ユニキャスト通信と、を混在させた場合のシーケンス図である。
図12に示されるシーケンス図と、図10に示されるシーケンス図と、の相違は、ディスプレイ装置202が稼働状態にある時だけマルチキャスト通信が実施され、ディスプレイ装置202が休止状態にあるときはユニキャスト通信が実施される点である。
以上、上述した各実施形態によれば、低遅延、且つ確実なデータ保存が可能なストリームデータの配信を行なうことができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本実施形態に係るシステムを構成する各装置の一例のハードウェア構成図である。 ユニキャスト通信に係るシーケンス図である。 テーブルの一例を示す図(その1)である。 ローカルストレージ管理テーブルの一例を示す図である。 映像ストリームデータのリアルタイム転送処理の一例を示すフローチャートである。 映像ストリームデータの再送処理の一例を示すフローチャートである。 代表的なビデオストリーム方式であるMPEG−2のビデオストリームの構造の一例を示す図である。 欠落部の存在する映像ストリームデータをストレージ17に保存した場合のGOPレイヤ構成の一例を示す図である。 本実施形態に係るシステムを構成する各装置の一例のハードウェア構成図である。 マルチキャスト通信に係るシーケンス図である。 テーブルの一例を示す図(その2)である。 マルチキャスト通信と、ユニキャスト通信と、を混在させた場合のシーケンス図である。
符号の説明
1 デジタルビデオカメラ装置
2 ディスプレイ装置
3 ストレージ装置
201 カメラ装置
202 ディスプレイ装置
203 ストレージ装置

Claims (11)

  1. 記憶部を有する撮像装置であって、
    受信した映像データを表示する表示装置と、受信した映像データを記憶する通信装置と、に映像データを送信可能な送信手段と、
    前記送信手段が送信する映像データを前記記憶部に記憶させる記憶制御手段と、
    前記通信装置からの映像データを正常に受信できたか否かの応答に基づき、前記送信手段が、前記表示装置と、前記通信装置と、に映像データを送信した際に前記通信装置で前記映像データを正常に受信できたか否かを判断する判断手段と、
    前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信する受信手段と、
    前記判断手段において前記通信装置で正常に受信できなかったと判断された、前記記憶部に記憶されている映像データを、前記受信手段において前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信すると、前記通信装置に対して再送するよう制御する再送制御手段と、
    を有することを特徴とする撮像装置。
  2. 前記判断手段において前記通信装置で正常に受信できたと判断された映像データを前記記憶部から削除する削除手段を更に有し、
    前記再送制御手段は、前記記憶部に記憶されている映像データを、前記受信手段において前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信すると、前記通信装置に対して再送するよう制御することを特徴とする請求項1に記載の撮像装置。
  3. 前記受信手段は、映像データの再送要求を、前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知として受信することを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記受信手段において前記通信装置から映像データの再送保留要求を受信すると、前記判断手段において前記通信装置で正常に受信できなかったと判断された、前記記憶部に記憶されている映像データの前記通信装置に対する再送を停止し、前記表示装置と、前記通信装置と、への映像データの送信を再開するよう制御することを特徴とする請求項3に記載の撮像装置。
  5. 記憶部を有する通信装置であって、
    ネットワークを介して通信可能な撮像装置から送信された映像データを受信する受信手段と、
    前記受信手段で受信された映像データに対して誤り検出を行い、検出結果に基づいて前記映像データを正常に受信したか否かを判定する判定手段と、
    前記判定手段での判定の結果に応じて、前記撮像装置からの映像データを正常に受信できたか否かを前記撮像装置に対して応答する応答手段と、
    前記判定手段で正常に受信しなかったと判定された映像データよりも前に前記判定手段で正常に受信したと判定された映像データの第1ファイルと、前記判定手段で正常に受信しなかったと判定された映像データよりも後に前記判定手段で正常に受信したと判定された映像データの第2ファイルと、を前記記憶部に記憶させる記憶制御手段と、
    前記撮像装置から映像データを受信し、表示する表示装置から、前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信すると、前記撮像装置に対して前記判定手段で正常に受信しなかったと判定された映像データの再送要求を送信する送信手段と、
    前記送信手段で送信された再送要求に応じて前記撮像装置から再送された映像データと、前記記憶部に記憶されている前記第1ファイル及び前記第2ファイルと、を繋ぎ合わせる処理手段と、
    を有することを特徴とする通信装置。
  6. 第1の記憶部を有する撮像装置と、第2の記憶部を有する通信装置と、を含むシステムであって、
    前記撮像装置は、
    ネットワークを介して通信可能な、受信した映像データを表示する表示装置と、前記通信装置と、に映像データを送信可能な送信手段と、
    前記送信手段が送信する映像データを前記第1の記憶部に記憶させる記憶制御手段と、
    前記通信装置からの映像データを正常に受信できたか否かの応答に基づき、前記送信手段が、前記表示装置と、前記通信装置と、に映像データを送信した際に前記通信装置で前記映像データを正常に受信できたか否かを判断する判断手段と、
    前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信する受信手段と、
    前記判断手段において前記通信装置で正常に受信できなかったと判断された、前記第1の記憶部に記憶されている映像データを、前記受信手段において前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信すると、前記通信装置に対して再送するよう制御する再送制御手段と、
    を有し、
    前記通信装置は、
    前記撮像装置から送信された映像データを受信する受信手段と、
    前記受信手段で受信された映像データに対して誤り検出を行い、検出結果に基づいて前記映像データを正常に受信したか否かを判定する判定手段と、
    前記判定手段での判定の結果に応じて、前記撮像装置からの映像データを正常に受信できたか否かを前記撮像装置に対して応答する応答手段と、
    前記判定手段で正常に受信しなかったと判定された映像データよりも前に前記判定手段で正常に受信したと判定された映像データの第1ファイルと、前記判定手段で正常に受信しなかったと判定された映像データよりも後に前記判定手段で正常に受信したと判定された映像データの第2ファイルと、を前記第2の記憶部に記憶させる記憶制御手段と、
    前記撮像装置から映像データを受信し、表示する表示装置から、前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信すると、前記撮像装置に対して前記判定手段で正常に受信しなかったと判定された映像データの再送要求を送信する送信手段と、
    前記送信手段で送信された再送要求に応じて前記撮像装置から再送された映像データと、前記第2の記憶部に記憶されている前記第1ファイル及び前記第2ファイルと、を繋ぎ合わせる処理手段と、
    を有することを特徴とするシステム。
  7. 記憶部を有する撮像装置が行う通信方法であって、
    受信した映像データを表示する表示装置と、受信した映像データを記憶する通信装置と、に映像データを送信可能な送信ステップと、
    前記送信ステップで送信された映像データを前記記憶部に記憶させる記憶制御ステップと、
    前記通信装置からの映像データを正常に受信できたか否かの応答に基づき、前記送信ステップで、前記表示装置と、前記通信装置と、に映像データが送信された際に前記通信装置で前記映像データを正常に受信できたか否かを判断する判断ステップと、
    前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信する受信ステップと、
    前記判断ステップにおいて前記通信装置で正常に受信できなかったと判断された、前記記憶部に記憶されている映像データを、前記受信ステップにおいて前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信すると、前記通信装置に対して再送するよう制御する再送制御ステップと、
    を含むことを特徴とする通信方法。
  8. 記憶部を有する通信装置が行う通信方法であって、
    ネットワークを介して通信可能な撮像装置から送信された映像データを受信する受信ステップと、
    前記受信ステップで受信された映像データに対して誤り検出を行い、検出結果に基づいて前記映像データを正常に受信したか否かを判定する判定ステップと、
    前記判定ステップでの判定の結果に応じて、前記撮像装置からの映像データを正常に受信できたか否かを前記撮像装置に対して応答する応答ステップと、
    前記判定ステップで正常に受信しなかったと判定された映像データよりも前に前記判定ステップで正常に受信したと判定された映像データの第1ファイルと、前記判定ステップで正常に受信しなかったと判定された映像データよりも後に前記判定ステップで正常に受信したと判定された映像データの第2ファイルと、を前記記憶部に記憶させる記憶制御ステップと、
    前記撮像装置から映像データを受信し、表示する表示装置から、前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信すると、前記撮像装置に対して前記判定ステップで正常に受信しなかったと判定された映像データの再送要求を送信する送信ステップと、
    前記送信ステップで送信された再送要求に応じて前記撮像装置から再送された映像データと、前記記憶部に記憶されている前記第1ファイル及び前記第2ファイルと、を繋ぎ合わせる処理ステップと、
    を含むことを特徴とする通信方法。
  9. 第1の記憶部を有する撮像装置と、第2の記憶部を有する通信装置と、を含むシステムにおける通信方法であって、
    前記撮像装置が、ネットワークを介して通信可能な、受信した映像データを表示する表示装置と、前記通信装置と、に映像データを送信可能な送信ステップと、
    前記撮像装置が、前記送信ステップで送信された映像データを前記第1の記憶部に記憶させる記憶制御ステップと、
    前記撮像装置が、前記通信装置からの映像データを正常に受信できたか否かの応答に基づき、前記送信ステップで、前記表示装置と、前記通信装置と、に映像データが送信された際に前記通信装置で前記映像データを正常に受信できたか否かを判断する判断ステップと、
    前記撮像装置が、前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信する受信ステップと、
    前記撮像装置が、前記判断ステップにおいて前記通信装置で正常に受信できなかったと判断された、前記第1の記憶部に記憶されている映像データを、前記受信ステップにおいて前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信すると、前記通信装置に対して再送するよう制御する再送制御ステップと、
    前記通信装置が、前記撮像装置から送信された映像データを受信する受信ステップと、
    前記通信装置が、前記受信ステップで受信された映像データに対して誤り検出を行い、検出結果に基づいて前記映像データを正常に受信したか否かを判定する判定ステップと、
    前記通信装置が、前記判定ステップでの判定の結果に応じて、前記撮像装置からの映像データを正常に受信できたか否かを前記撮像装置に対して応答する応答ステップと、
    前記通信装置が、前記判定ステップで正常に受信しなかったと判定された映像データよりも前に前記判定ステップで正常に受信したと判定された映像データの第1ファイルと、前記判定ステップで正常に受信しなかったと判定された映像データよりも後に前記判定ステップで正常に受信したと判定された映像データの第2ファイルと、を前記第2の記憶部に記憶させる記憶制御ステップと、
    前記通信装置が、前記撮像装置から映像データを受信し、表示する表示装置から、前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信すると、前記撮像装置に対して前記判定ステップで正常に受信しなかったと判定された映像データの再送要求を送信する送信ステップと、
    前記通信装置が、前記送信ステップで送信された再送要求に応じて前記撮像装置から再送された映像データと、前記第2の記憶部に記憶されている前記第1ファイル及び前記第2ファイルと、を繋ぎ合わせる処理ステップと、
    を含むことを特徴とする通信方法。
  10. 記憶部を有するコンピュータに、
    受信した映像データを表示する表示装置と、受信した映像データを記憶する通信装置と、に映像データを送信可能な送信手順と、
    前記送信手順で送信された映像データを前記記憶部に記憶させる記憶制御手順と、
    前記通信装置からの映像データを正常に受信できたか否かの応答に基づき、前記送信手順で、前記表示装置と、前記通信装置と、に映像データが送信された際に前記通信装置で前記映像データを正常に受信できたか否かを判断する判断手順と、
    前記表示装置が前記コンピュータから受信した映像データを表示しない状態であることを示す通知を受信する受信手順と、
    前記判断手順において前記通信装置で正常に受信できなかったと判断された、前記記憶部に記憶されている映像データを、前記受信手順において前記表示装置が前記コンピュータから受信した映像データを表示しない状態であることを示す通知を受信すると、前記通信装置に対して再送するよう制御する再送制御手順と、
    を実行させることを特徴とするプログラム。
  11. 記憶部を有するコンピュータに、
    ネットワークを介して通信可能な撮像装置から送信された映像データを受信する受信手順と、
    前記受信手順で受信された映像データに対して誤り検出を行い、検出結果に基づいて前記映像データを正常に受信したか否かを判定する判定手順と、
    前記判定手順での判定の結果に応じて、前記撮像装置からの映像データを正常に受信できたか否かを前記撮像装置に対して応答する応答手順と、
    前記判定手順で正常に受信しなかったと判定された映像データよりも前に前記判定手順で正常に受信したと判定された映像データの第1ファイルと、前記判定手順で正常に受信しなかったと判定された映像データよりも後に前記判定手順で正常に受信したと判定された映像データの第2ファイルと、を前記記憶部に記憶させる記憶制御手順と、
    前記撮像装置から映像データを受信し、表示する表示装置から、前記表示装置が前記撮像装置から受信した映像データを表示しない状態であることを示す通知を受信すると、前記撮像装置に対して前記判定手順で正常に受信しなかったと判定された映像データの再送要求を送信する送信手順と、
    前記送信手順で送信された再送要求に応じて前記撮像装置から再送された映像データと、前記記憶部に記憶されている前記第1ファイル及び前記第2ファイルと、を繋ぎ合わせる処理手順と、
    を実行させることを特徴とするプログラム。
JP2006128477A 2006-05-02 2006-05-02 撮像装置、通信装置、システム、通信方法及びプログラム Expired - Fee Related JP5072261B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006128477A JP5072261B2 (ja) 2006-05-02 2006-05-02 撮像装置、通信装置、システム、通信方法及びプログラム
US11/739,554 US7663665B2 (en) 2006-05-02 2007-04-24 Communication device and method for transferring video-stream data to a display device and a storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006128477A JP5072261B2 (ja) 2006-05-02 2006-05-02 撮像装置、通信装置、システム、通信方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2007300549A JP2007300549A (ja) 2007-11-15
JP2007300549A5 JP2007300549A5 (ja) 2009-06-18
JP5072261B2 true JP5072261B2 (ja) 2012-11-14

Family

ID=38662631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006128477A Expired - Fee Related JP5072261B2 (ja) 2006-05-02 2006-05-02 撮像装置、通信装置、システム、通信方法及びプログラム

Country Status (2)

Country Link
US (1) US7663665B2 (ja)
JP (1) JP5072261B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009136724A2 (en) * 2008-05-09 2009-11-12 Lg Electronics Inc. Device and method for multicast in wireless local access network
JP5410720B2 (ja) * 2008-09-25 2014-02-05 日立コンシューマエレクトロニクス株式会社 ディジタル情報信号送受信装置、およびディジタル情報信号送受信方法
JP2010103656A (ja) * 2008-10-22 2010-05-06 Hitachi Ltd コンテンツ送信装置、コンテンツ受信装置
JP5337499B2 (ja) * 2009-01-14 2013-11-06 日立コンシューマエレクトロニクス株式会社 データ送信装置、およびデータ送信方法
JP5523014B2 (ja) * 2009-08-18 2014-06-18 キヤノン株式会社 情報処理システム、情報処理装置及びその制御方法
JP6416465B2 (ja) * 2013-09-12 2018-10-31 株式会社日立国際電気 画像監視システムおよび画像送信方法
JP2015095705A (ja) * 2013-11-11 2015-05-18 株式会社 日立産業制御ソリューションズ 映像監視システム
JP6486654B2 (ja) * 2014-11-06 2019-03-20 株式会社キッズウェイ 画像表示システム
KR102316351B1 (ko) * 2015-01-12 2021-10-22 한화테크윈 주식회사 카메라 시스템 및 그 제어 방법
CN110620889B (zh) * 2018-06-20 2022-04-05 杭州海康威视数字技术股份有限公司 视频监控系统、网络硬盘录像机及数据传送方法
CN113553467A (zh) * 2020-04-24 2021-10-26 华为技术有限公司 视频处理方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1070523A (ja) 1996-08-28 1998-03-10 Kokusai Electric Co Ltd パケット伝送方法及び装置
US6701058B1 (en) * 1998-12-28 2004-03-02 Fuji Photo Film Co., Ltd. Image capturing and recording system utilizing wireless communication and image transmission-reception method thereof
US7016595B1 (en) * 1999-05-28 2006-03-21 Nikon Corporation Television set capable of controlling external device and image storage controlled by television set
JP3655130B2 (ja) * 1999-07-26 2005-06-02 株式会社エヌ・ティ・ティ・ドコモ 同報通信方法、その同報通信方法を用いる移動通信システム、及び移動局
JP3777279B2 (ja) * 1999-12-20 2006-05-24 富士通株式会社 データ通信システム並びにデータ受信端末及びデータ送信端末
JP2002084239A (ja) * 2000-09-06 2002-03-22 Nippon Telegr & Teleph Corp <Ntt> メディア情報配信システムおよびメディア情報配信方法
JP4767443B2 (ja) * 2001-07-04 2011-09-07 富士通株式会社 ネットワーク蓄積型ビデオカメラシステム
JP2003264790A (ja) * 2002-03-08 2003-09-19 Olympus Optical Co Ltd 動画像伝送および記録装置
JP2004056393A (ja) * 2002-07-18 2004-02-19 Fujitsu Ltd 再生データの保存結果の修復システム
JP4115784B2 (ja) * 2002-09-11 2008-07-09 三菱電機株式会社 再送制御方法および通信装置
JP2005348015A (ja) * 2004-06-02 2005-12-15 Fujitsu Ltd リアルタイム・ストリーミングデータ受信装置

Also Published As

Publication number Publication date
US7663665B2 (en) 2010-02-16
US20070261091A1 (en) 2007-11-08
JP2007300549A (ja) 2007-11-15

Similar Documents

Publication Publication Date Title
US7663665B2 (en) Communication device and method for transferring video-stream data to a display device and a storage device
CN109889543B (zh) 视频传输的方法、根节点、子节点、p2p服务器和系统
US8792520B2 (en) Communication apparatus and method of transferring data
US7370129B2 (en) Retry strategies for use in a streaming environment
CN109120383B (zh) 无人机及其地面站、数据传输方法
CN103533450A (zh) 一种媒体流可靠传输和接收的方法以及装置
CN1469581A (zh) 恢复保存的再生数据的恢复系统
US9697328B2 (en) Transmission apparatus, transmission method, reception apparatus, reception method, and computer program
CN1662002A (zh) 在客户机和服务器之间传送消息文件的方法
CN101127715B (zh) 简单网络管理协议中数据包传送的可靠性保证方法
JP2009212796A (ja) 送信装置、データ転送システム、データ転送方法およびデータ転送プログラム
JP2013013003A (ja) データ処理装置、データ処理方法、およびデータ処理プログラム
JP5682292B2 (ja) 映像配信装置及び映像配信方法
US20110243217A1 (en) Moving picture transmission apparatus, moving picture transmission system, moving picture transmission method, and program
JP2011211616A (ja) 動画像伝送装置、動画像伝送システム、動画像伝送方法およびプログラム
US10721171B2 (en) Data transfer system and corresponding methods
JP2006121282A (ja) 無線通信装置及び無線通信システム
JP5338594B2 (ja) データ受信方法、データ送受信システム、およびデータ受信機
CN101552688A (zh) 通信系统
JP2006279436A (ja) マルチメディア通信システムおよび再送用データ削除方法
JP3719253B2 (ja) データ受信ノード
JP3678238B2 (ja) データ転送方法
JP3714341B2 (ja) データ転送方法
JP2011223494A (ja) 通信装置および通信プログラム
JP5966502B2 (ja) データ受信方法及び装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120821

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees