[go: up one dir, main page]

JP2018037784A - 画像送信装置、画像送信方法、プログラム - Google Patents

画像送信装置、画像送信方法、プログラム Download PDF

Info

Publication number
JP2018037784A
JP2018037784A JP2016168025A JP2016168025A JP2018037784A JP 2018037784 A JP2018037784 A JP 2018037784A JP 2016168025 A JP2016168025 A JP 2016168025A JP 2016168025 A JP2016168025 A JP 2016168025A JP 2018037784 A JP2018037784 A JP 2018037784A
Authority
JP
Japan
Prior art keywords
image
transmission
unit
trigger
digest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016168025A
Other languages
English (en)
Inventor
一樹 野上
Kazuki Nogami
一樹 野上
野口 誠
Makoto Noguchi
誠 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016168025A priority Critical patent/JP2018037784A/ja
Priority to PCT/JP2017/020625 priority patent/WO2018042794A1/ja
Priority to US16/324,645 priority patent/US11601582B2/en
Publication of JP2018037784A publication Critical patent/JP2018037784A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407Monitoring of transmitted content, e.g. distribution time, number of downloads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542Blocking scenes or portions of the received content, e.g. censoring scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】リアルタイムの撮像画像の配信等のユースケースにおいて不都合・不適切な撮像内容が生じたときに、そのような画像の送信を適切に防止し、また視聴者に故障等の疑義を生じさせないようにする。
【解決手段】送信部により、遅延処理部で遅延された第1の画像の送信を実行させる。この間に切替トリガを検知したら、送信部により送信させる画像を、第1の画像から再生部で再生された第2の画像に切り替えるようにする。
【選択図】図5

Description

本技術は画像送信装置、画像送信方法、プログラムに関し、特に画像信号のストリーミング送信についての技術分野に関する。
近年、下記特許文献1に記載されているように、撮影している動画や静止画等の画像コンテンツを、ネットワークを経由してライブ配信することが可能なビデオカメラ等が知られている。
また、不特定多数に画像をリアルタイム配信できるサービスも普及している。
なお下記特許文献2にはテレビ電話において送話者側のリアルタイム画像に代えてあらかじめ撮影された画像を用いた顔画像を送信することが記載されている。
下記特許文献3には、動画像からダイジェスト画像として適切な区間を抽出する技術が開示されている。
特開2003−78901号公報 特開2003−309829号公報 特開2010−62621号公報
ところで、例えばビデオカメラで撮像したリアルタイムの動画像をストリーミング配信することを考えたときに、その配信中に不適切な画像が撮像されてしまう恐れがある。
ここでいう不適切な画像とは、いわゆる放送事故と呼ばれるような画像や、一般的には問題の無い画像であっても撮像者や配信者にとっては送信したくないと感じるシーンの画像、さらには個人情報の保護の観点から配信を控えたい画像など、様々なものがある。
リアルタイムストリーミング配信の際に、そのような不適切な画像を撮像してしまった場合、仮に撮像者が直ぐに気づいて配信を止めたとしても、配信を止めるまでの期間、一部不適切画像が配信されてしまうという問題がある。
また、配信そのものを止めてしまうと、視聴者側の端末では画像再生が行われず、黒画の状態に陥ってしまう。視聴者にとっては、機器の故障と誤認してしまうこともある。
そこで本技術は、より適切に不適切画像の送信を防止できるようにするとともに、視聴者にとっても、配信中断によって故障等と誤認することがないようにすることを目的とする。
本技術に係る画像送信装置は、第1の画像を所定時間、遅延させる遅延処理部と、第2の画像を再生する再生部と、画像を送信する送信部と、前記遅延処理部により遅延された第1の画像を送信中に切替トリガを検知すると、前記第1の画像から前記再生部により再生される第2の画像に切り替えて送信させる制御部と、を備える。
例えば第1の画像のストリーミング送信(ネットワーク配信)を考える。この第1の画像について、所定時間、遅延させて送信する。この所定時間は、リアルタイム性を大きく損なわない時間であるとともに、人が動画内の或る画像内容を認識してから、送信が当該画像内容に至る前に、その画像内容に応じた操作を完了できる余裕のある時間である。例えば所定時間は、数秒〜数10秒、或いは1分程度が想定される。ユーザの操作(操作による切替トリガ発生)に応じて、制御部が制御することで、送信する動画を第1の画像から第2の画像に切り替える。すると、送信されている動画は、遅延されている第1の画像から第2の画像(再生画像)に切り替えられる。
上記した本技術に係る画像送信装置においては、撮像部を備え、前記第1の画像は前記撮像部で撮像された画像であることが考えられる。
つまり画像送信装置を、撮像装置として実現する。そして撮像部で撮像している動画のストリーミング送信を行うこと等を想定する。その場合に撮像動画としての第1の画像を所定時間遅延させて送信する。
上記した本技術に係る画像送信装置においては、前記制御部は、前記切替トリガの検知に応じて、該トリガ検知直前までの前記第1の画像のフレームの送信完了を待たずに、前記第2の画像に切り替えて送信させるように制御することが考えられる。
第1の画像は遅延されて送信されるため、切替トリガ検知のタイミングでは、まだ切替トリガの発生タイミングの直前のフレームまでの送信が完了していないことが通常考えられる。しかしながら、その未送信フレームの送信を待たずに、切替トリガ検知で即座に第2の画像の送信に切り替えるようにする。
上記した本技術に係る画像送信装置においては、前記制御部は、前記第1の画像の送信再開トリガの検知に応じて、該送信再開トリガ検知から前記遅延処理部の遅延時間だけ経過した時点に、前記第1の画像に切り替えて送信させるように制御することが考えられる。
第1の画像は遅延されて送信されるため、選択部で第1の画像の送信再開トリガ検知のタイミングで直ぐに第1の画像を送信するようにすると、送信再開トリガより前の時点のフレームの画像が送信されることになる。このようなことがないように遅延時間分だけ待機してから選択部で第1の画像が送信されるように制御する。
上記した本技術に係る画像送信装置においては、前記第1の画像についてのダイジェスト画像を生成して記録媒体に記憶させるダイジェスト画像生成部を備え、前記制御部は、前記切替トリガに応じて前記第2の画像を送信させている期間に、前記再生部に、前記ダイジェスト画像を再生させることが考えられる。
入力される第1の画像について、リアルタイムにダイジェスト画像を生成して記憶していくようにする。そして送信が第1の画像から第2の画像に切り替えられる場合に、第2の画像としてダイジェスト画像が再生され、送信されるようにする。
上記した本技術に係る画像送信装置においては、前記ダイジェスト画像は、前記切替トリガが検知された時点から前記第1の画像の送信再開トリガが検知される時点までの期間を除く前記第1の画像から生成されるようにすることが考えられる。
つまり送信が停止される期間の第1の画像の画像はダイジェスト画像に含まないようにする。
上記した本技術に係る画像送信装置においては、前記第1の画像について記録媒体に記録していく処理が行われるとともに、前記ダイジェスト画像は、記録媒体への記録が開始されたフレーム以降の前記第1の画像を用いて生成されるようにすることが考えられる。
第1の画像は、例えば撮像により取得された画像であり、これは記録媒体に記録されていくようにする。ダイジェスト画像は記録開始時点以降の画像とする。
上記した本技術に係る画像送信装置においては、前記ダイジェスト画像は、前記送信部による送信の対象となったフレーム以降の前記第1の画像を用いて生成されるようにすることが考えられる。
第1の画像(例えば撮像により取得された画像)について、送信対象となったフレーム以降の画像からダイジェスト画像を生成する。
上記した本技術に係る画像送信装置においては、前記制御部は、前記切替トリガに応じて前記第2の画像に切り替えて送信させる場合に、前記再生部に、記録媒体にあらかじめ記録されていた既存動画を再生させることが考えられる。
あらかじめ、切替トリガ発生時に送信する、第1の画像に代わる動画を用意しておく。そして送信が第1の画像から第2の画像に切り替えられる場合に、用意した既存動画が第2の画像として再生され、送信されるようにする。
上記した本技術に係る画像送信装置においては、複数の前記既存動画がそれぞれカテゴリ情報とともに記憶され、前記制御部は、前記切替トリガに応じて前記第2の画像に切り替えて送信させる場合に、前記第1の画像の画像内容から判定したカテゴリ情報と各既存動画のカテゴリ情報を比較した結果により選択した既存動画を前記再生部に再生させることが考えられる。
あらかじめ用意する既存動画については、動画内容のジャンル等を示すカテゴリ情報を付加しておく。また制御部は、第1の画像についてカテゴリを判定する。そして送信が第1の画像から第2の画像に切り替えられる場合に、第1の画像に合致する既存動画を再生させ、第2の画像とする。
上記した本技術に係る画像送信装置においては、前記制御部は、前記第2の画像を送信させている期間には、前記再生部に、記録媒体にあらかじめ記憶されていた既存動画を再生させた後、前記ダイジェスト画像を再生させる制御を行うことが考えられる。
つまり第2の画像として、既存動画とダイジェスト画像が順次再生され、送信されるようにする。
上記した本技術に係る画像送信装置においては、前記制御部は、前記第1の画像の送信再開トリガの検知の時点から、該送信再開トリガ検知から前記遅延処理部の遅延時間だけ経過した時点までの期間は、前記再生部で前記ダイジェスト画像が再生されているように制御することが考えられる。
例えば送信再開トリガがあったら、第2の画像としてダイジェスト画像が再生されるようにする。もしくは、送信再開トリガが検知される前からダイジェスト画像が再生されているようにする。そして選択部で第2の画像から第1の画像の選択状態に切り替えられるまで、ダイジェスト画像が送信される状態とする。
本技術に係る画像送信方法は、前記遅延処理部、前記再生部、前記送信部と、を備えた画像送信装置の画像送信方法として、前記遅延処理部で遅延された前記第1の画像を送信させる手順と、切替トリガを検知する手順と、前記切替トリガの検知に応じて、前記再生部で再生された前記第2の画像に切り替えて送信させる手順とを実行する。
本技術に係るプログラムは、以上の各手順を画像送信装置の制御装置に実行させるプログラムである。
本技術によれば、第1の画像の送信中に不適切なシーンが発見された場合に、余裕をもって第2の画像の送信に切り替えることができ、不適切な画像が送信されてしまうことをより有効に防止できる。また視聴者側では引き続き動画を視聴する状態となるため、機器の故障等と誤認することもない。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態の配信システムのブロック図である。 画像送信装置の実施の形態である撮像装置のブロック図である。 実施の形態のストリーミング遅延時間設定の説明図である。 実施の形態の撮像画像と送信画像の説明図である。 実施の形態の動画切替時の撮像画像と送信画像の説明図である。 実施の形態の各種動作期間の説明図である。 実施の形態のストリーミング送信の際の処理のフローチャートである。 実施の形態のストリーミング送信の際の処理のフローチャートである。 実施の形態の再生動画送信処理のフローチャートである。 実施の形態の既存動画選択処理のフローチャートである。 実施の形態の既存動画選択処理のフローチャートである。 実施の形態の再生動画送信処理のフローチャートである。 実施の形態の再生動画送信処理のフローチャートである。 実施の形態の撮像蔵置と別体の画像送信装置のブロック図である。
以下、実施の形態を次の順序で説明する。
<1.ストリーミング配信システム>
<2.画像送信装置となる撮像装置の構成>
<3.画像送信動作>
<4.処理例>
<5.画像送信装置の他の例>
<6.まとめ及び変形例>

なお実施の形態では、請求項でいう第1の画像の例は、撮像装置で撮像している撮像画像信号による画像とし、第2の画像の例は、記録媒体から再生した再生画像信号による画像とする。撮像画像信号については単に「撮像画像」とも表記し、再生画像信号については単に「再生画像」とも表記する。
<1.ストリーミング配信システム>
図1に実施の形態の画像送信装置を含むストリーミング配信システムの構成例を示す。
このストリーミング配信システムは、撮像装置101で撮像した画像をリアルタイムにストリーミング配信できるシステムである。
撮像装置101はいわゆるビデオカメラであるとともに、撮像画像をほぼリアルタイムで送信したり、内部の記録媒体から再生した動画(再生画像)を送信する機能を有する。
ネットワーク102は、例えばインターネット等の通信網である。インターネットに限らず、LAN(Local Area Network)、仮想専用網(Virtual Private Network)、イントラネット、エキストラネット、電話回線網、移動体通信網、衛星通信網等、CATV(Community Antenna TeleVision)通信網などでもよい。不特定又は特定のユーザが利用できる通信網であればよい。
配信管理サーバ103は、ストリーミング配信を管理・実行するサーバである。ネットワーク102を介して配信元(撮像装置101)からの動画を受信するとともに、要求さされた端末装置104に配信する処理を行う。
端末装置104は、不特定又は特定のユーザによって操作される情報処理装置である。例えば、通信機能を備えたPC(Personal Computer)、テレビジョン受像器、スマートフォンやタブレット端末などの携帯端末装置などが想定される。
撮像者100は、撮像装置101を用いて動画像の撮像を行う。撮像装置101は、撮像画像を、ネットワーク102を介して配信管理サーバ103に送信する。
視聴者となるユーザは、端末装置104によりストリーミング配信される動画を視聴することができる。ストリーミング配信画像を視聴したい場合、ユーザは端末装置104から配信管理サーバ103に配信要求を送信する操作を行う。
配信管理サーバ103は端末装置104からの要求に応じて、撮像装置101から送信されてきた動画を配信する。端末装置104は受信した動画を表示させる。これによって端末装置104を使用するユーザは、撮像装置101で撮像されている撮像画像(現在撮像者100が撮像しているシーン)をほぼリアルタイムで視聴することができる。
なお「ほぼリアルタイム」と表現しているのは、配信過程で生ずる時間差により厳密にリアルタイムの視聴とはならないという意味もあるが、本実施の形態の場合、撮像装置101は、撮像画像を所定時間遅延させて送信することにもよる。本実施の形態では、5秒から30秒程度、或いは長くても1分程度の遅延時間を設けることを想定している。
但し視聴者の感覚としてこの程度の遅延は、リアルタイムの視聴と認識できる程度の遅れであるため、「ほぼリアルタイム」と表現している。
以上のシステムにおいて、撮像装置101が請求項でいう画像送信装置の実施の形態となる。
また、図1では撮像装置101Aと画像送信装置107を例示している。これは画像送信装置107が請求項でいう画像送信装置の実施の形態となる場合の例である。
撮像装置101Aはいわゆるビデオカメラとして動画を撮像する機能を有する。撮像装置101Aで得られた撮像信号は画像送信装置107に送信される。
画像送信装置107は、ストリーミング配信のために、撮像装置101Aから供給された撮像画像や内部の記録媒体から再生した動画(再生画像)を、ネットワーク102を介して配信管理サーバ103に送信する機能を有する。
この撮像装置101Aと画像送信装置107の動作については、図14で後述する。
<2.画像送信装置となる撮像装置の構成>
図1に示した撮像装置101、即ち請求項にいう画像送信装置の例となる撮像装置101の構成例を図2で説明する。
図2に示すように、撮像装置101は撮像部31を有する。撮像部31は光学系やイメージャを有する。光学系としては例えばカバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系により、被写体からの光がイメージャに集光される。イメージャは、例えば、CMOS(Complementary Metal Oxide Semiconductor)型、CCD(Charge Coupled Device)型などの撮像素子を有する。このイメージャでは、撮像素子での光電変換で得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段の画像入力処理部11に出力する。
画像入力処理部11は、撮像部31から入力された撮像信号(動画像データ)に対して各種の信号処理を施す。例えば撮像信号に対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を施す。またR,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)したり、記憶、表示、送信等の目的に応じて必要な解像度変換処理を実行したりする。
ビデオエンコーダ13は、撮像信号について必要なエンコード処理を行う。例えば撮像信号としての画像データを記録媒体34へ記録するために記録用のエンコード処理を行う。
記録再生部19は記録媒体34に対する記録再生動作を行う。
記録再生部19及び記録媒体34の実際の態様は多様に考えられる。例えば記録媒体は撮像装置101に内蔵されるフラッシュメモリとし、記録再生部19はその読み出し/書き込みを行うメモリコントローラとされてもよい。
また記録媒体34は撮像装置101に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)であり、記録再生部19は該メモリカードに対して記録再生アクセスを行うカード記録再生部とされてもよい。
また記録再生部19と記録媒体34は、HDD(Hard Disk Drive)として実現されることもある。
記録再生部19は、後述するコントローラ10の指示に応じて、各種のデータを記録媒体に記録し、また記録媒体34に記録された各種のデータを再生することができる。
例えば記録再生部19は、ビデオエンコーダ13で記録用にエンコードされた撮像画像を記録媒体34に記録する処理を行う。
また記録再生部19は、記録媒体34にあらかじめ記録されている動画データ(説明上、「既存動画」という)を再生する処理を行う。また記録再生部19は、記録媒体34に記録した撮像画像を再生する処理を行う。
また記録再生部19は、後述するダイジェスト画像生成部18でのダイジェスト画像生成のための撮像画像の記録媒体34からの読み出しや、作成されたダイジェスト画像の記録媒体34への記録、さらには記録媒体34からのダイジェスト画像の再生も行う。
ビデオデコーダ14は記録再生部19によって記録媒体34から再生され、転送されてきた画像データのデコード処理を行う。即ち撮像画像、既存動画、ダイジェスト画像などが記録媒体34から再生された場合に、それらをデコードする。そしてデコードした画像データを画像出力処理部12に転送する。
画像出力処理部12は、撮像装置101に設けられた表示部32での表示出力のための処理を行う。
表示部32は撮像者100に対して各種表示を行う表示部であり、例えば撮像装置101の筐体上に形成されるLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、LCDや有機ELディスプレイ等を用いて形成されてもよい。
画像出力処理部12は、表示部32に表示を実行させる表示ドライバとしての処理を行う。即ち画像出力処理部12は、コントローラ10の指示に基づいて表示部32に各種表示を実行させる。例えば画像出力処理部12は、記録媒体34から再生されビデオデコーダ14でデコードされた画像データに基づいて表示部32を駆動し、再生動画を表示させる。
また画像出力処理部12には、画像入力処理部11で表示用に解像度変換された撮像画像の画像データが供給されている。画像出力処理部12コントローラ10の指示に応じて、当該撮像画像の画像データに基づいて表示部32を駆動することで撮像中のいわゆるスルー画(被写体のモニタリング画像)を表示部32に表示させる。
また画像出力処理部12はコントローラ10の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
操作部33は、撮像部31が各種操作入力を行うための入力デバイスを総括して示している。ユーザ入力部15は操作部33の操作を検知し、入力された操作に応じた信号をコントローラ10へ送る。
操作部33としては、例えば撮像装置101の筐体上に設けられた各種操作子や、タッチパッド、表示部32に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン(レリーズボタン)、フォーカスリング等が考えられる。
またタッチパネルと表示部32に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
或いはタッチパッド等によりユーザのタップ操作を検出する形態もある。
更に別体のリモートコントローラが操作部33とされる場合もある。
特に本実施の形態の場合、スタンバイ(撮像部31による撮像の開始)、撮像開始(撮像信号の記録媒体への記録開始)、送信開始(ストリーミング送信の開始)を指示するための操作子が操作部33の1つとして用意されている。
また後述する切替トリガや撮像画像送信再開トリガを発生させるための操作子が操作部33の1つとして用意されている。
遅延処理部17は撮像画像としての画像データについて、バッファメモリ16を用いた遅延処理を行う。
即ち遅延処理部17は、ビデオエンコーダ13から出力された画像データをバッファメモリ16に書き込み、一定時間バッファリングを行う。一定時間経過した後、遅延処理部17は、バッファメモリ16から画像データを読み出して、セレクタ部20の第1入力端TAに出力する。即ちバッファリング時間を遅延時間として撮像画像の画像データを遅延させる。
セレクタ部20は、コントローラ10の指示に応じて第1入力端TAと第2入力端TBのいずれかを選択して、入力された画像データをストリーミング送信部21に供給する。
第2入力端TBには、記録再生部19によって記録媒体34から再生された画像データ(再生画像)が供給される。
ストリーミング送信部21は、メモリ22からネットワーク送信に必要なIPアドレスやポート番号などの送信先情報を取得したうえで、セレクタ部20から入力された画像データについて、ストリーミングに必要なパケット処理を行う。
通信部35はネットワーク102を介しての配信管理サーバ103等の各種機器との通信を行う。
ストリーミング送信部21でパケット処理された画像データは、通信部35を介して、目的の送信先、例えば配信管理サーバ103にストリーミング送信される。
従ってセレクタ部20で選択される撮像画像(第1の画像)又は再生画像(第2の画像)のいずれかの画像データがストリーミング送信されることになる。
ダイジェスト動画生成部18は、記録再生部19によって記録媒体34に記録された撮像画像を元に、例えば撮像画像としての動画内容の特徴的なシーンを抽出してダイジェスト画像を生成する。そして生成したダイジェスト画像を記録再生部19によって記録媒体34に記録させる。
ダイジェスト画像の生成手法は多様に考えられるが、例えば上掲した特許文献3に開示されている手法を用いることができる。
コントローラ10は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを備えたマイクロコンピュータ(演算処理装置)により構成される。
CPUがROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置101全体を統括的に制御する。
RAMは、CPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、ストリーミング送信のために後述する処理を実行するためのプログラムも記憶される。なおコントローラ10にストリーミング送信のための処理を実行させるプログラムは、記録媒体34に記憶されてもよい。
このようなコントローラ10は、プログラム及びユーザ入力部15から送信される操作情報に応じて図2の各部の制御を行う。例えば撮像部31の撮像動作、画像入力処理部11、ビデオエンコーダ13、ビデオデコーダ14の処理の実行指示、画像出力処理部12による表示動作の指示、記録再生部19の記録再生動作の指示、ダイジェスト画像生成部18によるダイジェスト画像生成処理の開始、中断、停止等の制御、遅延処理部17の遅延処理の開始や遅延時間の設定、セレクタ部20の切替制御、ストリーミング送信部21の送信処理の制御等を行う。
なお遅延処理部17がバッファメモリ16を用いて撮像画像を遅延させる遅延時間は、例えば10秒などの或る固定値に設定してもよいし、何らかの情報に応じて可変されるようにしてもよい。またユーザが操作により選択できるようにしてもよい。例えばコントローラ10はユーザの操作に応じて表示部32に、カメラのメニュー画面より図3のような遅延時間設定画面60を表示させる。ユーザ(撮像者100等)が任意の遅延時間をスピンボタン61より選択して、遅延時間を指定する。これに応じてコントローラ10が遅延時間を設定し、遅延処理部17の処理を制御する。
なお、遅延時間は、例えば5秒から30秒程度の間とすることが通常考えられるが、1分程度、もしくはそれ以上長くまで選択できるようにしてもよい。但しリアルタイム性を有するストリーミング配信という前提で配信するのであれば、ほぼリアルタイムと言える範囲の遅延時間とすることが適切である。
<3.画像送信動作>
以上の構成による撮像装置101の動作について説明する。撮像装置101は、撮像部31で撮像した撮像画像をほぼリアルタイムでストリーミング送信することができ、また記録再生部19で記録媒体34から再生した再生画像をストリーミング送信することができる。
撮像画像のストリーミング送信を行う場合、コントローラ10の指示に応じて遅延処理部17は、撮像画像をバッファメモリ16に取り込み、遅延させた撮像画像を生成する。そしてセレクタ部20がコントローラ10の指示に応じて第1入力端TAを選択していることで、遅延された撮像画像がストリーミング送信部21に供給され、ストリーミング送信が実行される。
一方、記録再生部19で再生された再生画像は、遅延されずにそのままセレクタ部20の第2入力端TBに供給される。再生画像のストリーミング送信を行う場合、コントローラ10の指示に応じてセレクタ部20が第2入力端TBを選択することで、再生画像がストリーミング送信部21に供給され、ストリーミング送信が実行される。
特に本実施の形態の場合、撮像画像のストリーミング送信中に、撮像者100等のユーザ操作に応じて、緊急的に再生画像のストリーミング送信に切り替えることができるようにしている。例えば撮像しているシーンとして、不適切な画像が発生した場合である。なお、不適切な画像とは、例えば撮像者100等、送信側のユーザが判断するものであり、ここではその内容は問わない。撮像者100等が送信すべきでないと考える画像であれば不適切画像に該当する。
図4に、通常時の撮像画像とストリーミング送信画像の動作遷移例を示す。
図4には、撮像画像としての各フレームF1、F2・・・と、ストリーミング送信画像としての各フレームF1、F2・・・を示している。図における縦の破線は遅延処理部17の遅延時間TDに相当する時間間隔としている。なお図4に示す各フレームF1、F2・・・は、あくまで説明の便宜上で示しているもので、1フレームの時間が遅延時間TDに相当するわけではない。実際にはフレームF1とフレームF2の間には多数のフレームが存在する。
時点t2にストリーミング送信の開始を指示する送信開始操作が行われたとすると、その時点に撮像されたフレームF2以降が、遅延時間TDだけ遅れて、ストリーミング送信画像として送信される。
時点t7にストリーミング送信の停止を指示する送信停止操作が行われると、その送信停止操作の直前のフレームF6の送信が完了した時点t8にストリーミング送信が終了される。
つまり送信開始/終了によって指示された時間範囲に撮像されたシーンが、遅延時間TDだけ遅延されてストリーミング送信される。
図5は撮像中に不適切な画像が生じてしまった場合を示している。
撮像画像におけるフレームF4が不適切画像であったとする。
なお図5に示す各フレームF1、F2・・・も図4と同じく、あくまで説明の便宜上で示しているもので、実際には不適切な画像が1つのフレームだけに生ずるというものではない。実際には撮像者100が認識できる時間長、例えば1秒から10数秒などの時間、配信には適さないシーンが撮像されてしまっている状況を、図5では説明上、1つのフレームF4で表現しているものである。
時点t2にストリーミング送信の開始を指示する送信開始操作が行われたとすると、その時点に撮像されたフレームF2以降が、遅延時間TDだけ遅れて、ストリーミング送信画像とされる。
ここで、フレームF4に代表して示す、不適切画像が撮像されてしまっている複数フレーム期間の或る時点t4に、撮像者100等がその不適切シーンに気づいたとする。撮像者100等はこのときに切替操作を行うことができる。なお「撮像者100等」とは、撮像者100とともに撮像装置101の周辺に居て各種の操作が可能な人を指している。
切替操作に応じて即座にセレクタ部20が第2入力端TBに切り替えられ、また記録再生部19によって記録媒体34からの動画再生が行われる。図5におけるフレームcF1,cF2は再生画像を示している。つまりストリーミング送信される画像は、時点t4の切替操作に応じて即座に再生画像に切り替えられる。
そしてフレームF4の不適切画像は、すでに撮像されているが、遅延処理部17の遅延時間内に切替制御が行われることで、送信されないことになる。
またこの場合、切替操作時点で、切替操作の直前のフレームF3がまだ送信されていなくとも、それを待たずに即座に切り替えられるようにしている。従って、切替操作の時点t4より遅延時間TDだけ前の時点からの撮像画像も、送信されないことになる。
その後、撮像されているシーンが不適切ではない状態となった或る時点t5で、撮像者100等により撮像画像送信再開操作が行われると、その時点のフレームF5以降が送信対象となる。撮像画像は遅延されるため、時点t5から遅延時間TDだけ遅れて、フレームF5からの撮像画像のストリーミング送信が再開される。
なお時点t5から遅延時間TDが経過するまでの期間は、フレームcF2で代表して示しているように、再生画像の送信が継続される。
時点t7に送信停止操作が行われると、その送信停止操作直前のフレームF6の送信が完了した時点t8にストリーミング送信が終了される。
この図5のように、撮像画像のストリーミング送信中に、撮像者100等の切替操作により、撮像画像から再生画像に差し替えられて送信される。当然、不適切なシーンは既に撮像されているが、送信は遅延されているため、不適切画像が送信されないようにすることができる。
図6に撮像装置101の記録開始から撮像画像送信再開までの動作についての各種のタイミングを例示する。
時点t0は、撮像者100の記録開始操作により、撮像装置101で撮像記録が開始されるタイミングを示している。即ち撮像部31で撮像され、ビデオエンコーダ13でエンコードした撮像画像としての画像データを記録再生部19によって記録媒体34に記録させる動作(撮像動画記録)が時点t0に開始される。
図6Aはこの撮像動作記録が実行される期間を示している。撮像動画記録は、時点t0以降、撮像記録の停止操作が行われる時点(図示せず)まで継続される。
図6Bはストリーミング送信についての期間を示している。時点t2で撮像者100等により送信開始操作が行われると、その遅延時間TD後の時点t3から撮像画像(第1の画像)の送信が開始される。
不適切画像の発生により時点t4で切替操作が行われると、即座に再生画像の送信に切り替えられる。
時点t5に撮像画像送信再開操作が行われると、遅延時間TD後の時点t6までは再生画像の送信が継続され、時点t6に撮像画像の送信が再開される。
図6C、図6Dは、ダイジェスト画像生成部18によるダイジェスト画像の対象とする撮像画像の範囲を示している。
図6Cは、撮像画像の記録を開始する時点t0から記録された撮像画像を用いてダイジェスト画像を生成する例である。ダイジェスト画像の生成及び記録媒体34への記録処理は時点t0から開始することができる。
図6Dは、送信開始タイミングである時点t2以降の撮像画像を用いてダイジェスト画像を生成する例である。ダイジェスト画像の生成及び記録媒体34への記録処理は時点t2から開始することができる。
図6C、図6Dのいずれの場合も、時点t4〜t5の期間の撮像画像はダイジェスト画像生成の対象としない。また時点t5以降の撮像画像、つまり送信再開後の撮像画像はダイジェスト画像生成の対象とする。
図6Cの例の場合、ダイジェスト画像には、ストリーミング送信開始前のシーンの画像が含まれる可能性がある。従って、いわゆる未公開シーンを含めたダイジェスト画像を生成したい場合は、この図6Cの例が好適である。
図6Dの例の場合、ダイジェスト画像は、ストリーミング送信された範囲での内容となる。従って、配信により公開した範囲内でダイジェスト画像を生成したい場合は、この図6Dの例が好適である。
図6E、図6F、図6G、図6H、図6Iは、切替操作に応じて撮像画像に代替させる再生画像の例を示している。
図6Eは記録媒体34に記録されている既存動画を再生して送信する例である。
既存動画としては、撮像者100等があらかじめ指定したコンテンツを選択して再生してもよいし、何らかの情報に応じてコントローラ10が選択したコンテンツを再生してもよい。
図6Fはその時点で記録媒体34に記録されているダイジェスト画像を再生して送信する例である。即ち時点t0〜t4までの撮像画像、又は時点t2〜t4までの撮像画像を用いて生成されたダイジェスト画像を再生して送信する例である。なお、ダイジェスト画像は全てのダイジェストシーンを1つのコンテンツとしてまとめておく必要は無い。時点t0(又は時点t2)以降、抽出したシーン毎に、ダイジェスト画像ファイルを形成して記録していき、再生時にはそれら複数のファイルを連続して再生すれば、一連のダイジェスト画像とすることができる。従って、時点t4でそれまでに記録されたダイジェスト画像ファイルを選択して再生することは可能である。
ダイジェスト画像として再生できる時間長が短い場合、撮像画像送信再開までの間、ダイジェスト画像をリピート再生させることが考えられる。
図6Gは既存動画を再生して送信し、その後ダイジェスト画像を再生して送信する例である。特に、時点t4から撮像画像送信再開操作が行われた時点t5まで既存動画を再生/送信する。そして時点t5から時点t6までダイジェスト画像を再生し送信する。
この場合、撮像画像送信の再開が決まった時点でダイジェスト画像が送信され、そのダイジェスト画像が遅延時間TDだけ送信された後、ほぼリアルタイムの撮像画像の送信が開始されることになる。
図6Hは切替操作が行われた時点t4からダイジェスト画像が再生及び送信され、その後、ある時点で既存動画に切り替えられる例である。この場合、突然の切替操作に応じてダイジェスト画像が再生/送信されることで、視聴者にとっては、リアルタイムの画像からそれまでのダイジェスト画像に切り替わることで違和感を少なくすることができる。
ダイジェスト画像の再生が終了した時点で、既存動画とすることで、ダイジェスト画像の再生時間長が短い場合に、リピートばかりしてしまう事態を避けることができる。
図6Iは時点t4から既存動画を再生して送信し、その後ダイジェスト画像を再生して送信する例である。ダイジェスト画像に切り替えるタイミングは特に規定していない点が図6Gと異なる。例えば、既存動画としての1つのコンテンツが再生終了したらダイジェスト画像を再生し送信するような例が想定される。
<4.処理例>
撮像装置101が図4,図5,図6で説明した動作を行うためのコントローラ10の制御処理例を説明する。
図7〜図13は撮像画像のストリーミング送信を行うためのコントローラ10の処理例を示している。図7は既に撮像部31での撮像が開始されているスタンバイ状態からの処理を示している。
コントローラ10は図7のステップS101で記録開始トリガを監視する。記録開始トリガの1つとして撮像者100等による記録開始操作の検知がある。なお、タイマー設定等による自動的な記録開始を行う場合、その開始時刻検知が記録開始トリガとなる。また外部機器からの指示により撮像記録を開始する場合、その指示情報が記録開始トリガとなる。さらに何らかのセンサによる状況検知、或いは被写体の画像解析などの結果、記録開始トリガを得る場合もある。
後述する送信開始トリガ、送信停止トリガ、記録停止トリガ、切替トリガ、撮像画像送信再開トリガも同様に各種考えられるが、ここではこれらのトリガは撮像者100等のユーザ操作に基づくトリガとして説明し、トリガとなり得る各種の例については変形例として後述する。
例えば記録開始操作として記録開始トリガを検知したらコントローラ10は処理をステップS101からS102に進め、撮像動画記録の開始制御を行う。即ち記録再生部19による記録媒体34への撮像動画の記録を開始させる(図6の時点t0参照)。
ステップS103でコントローラ10は、ダイジェスト画像の対象となる開始フレームを設定する。即ち記録を開始したフレームナンバを開始フレームとする。
ステップS104でコントローラ10はダイジェスト画像生成部18に、ダイジェスト画像の生成を開始させる。以降、生成されるダイジェスト画像の構成部分は逐次記録再生部19によって記録媒体34に記録されていく。
なお、このステップS103,S104の処理が行われるのは図6Cの例の場合となる。図6Dの例とする場合、ステップS103,S104をステップS106からS120に進む際に行えばよい。
ステップS105でコントローラ10は、記録停止トリガを監視する。
またステップS106でコントローラ10は送信開始トリガを監視する。
撮像者100等の送信開始操作等による送信開始トリガを検知したらコントローラ10はステップS106からS120に進み、セレクタ部20で第1入力端TAが選択されるように制御する。
ステップS121でコントローラ10は遅延処理部17に遅延処理の開始を指示する。
ステップS122でコントローラ10は、ストリーミング送信部21にストリーミング送信処理の開始を指示する。
以上により、図4で示したような撮像画像のストリーミング送信が開始される。図6で言えば、時点t2に送信開始トリガが検知され、時点t3からストリーミング送信が開始されるようにする処理である。
ストリーミング送信中は、コントローラ10はステップS123で送信停止トリガを監視し、またステップS124で切替トリガを監視する。
撮像者100等の送信停止操作等による送信停止トリガを検知した場合、コントローラ10はステップS123からS130に進み、遅延されている撮像画像の送信完了を待機する。例えば図4の時点t7に送信停止トリガを検知した後、遅延時間TDが経過する時点t8まで待機する処理である。
送信停止トリガ発生時点のフレームまでの送信が完了したことを検知したらコントローラ10はステップS130からS131に進み、ストリーミング送信部21にストリーミング送信処理の停止を指示する。
またステップS132でコントローラ10は遅延処理部17に遅延処理の停止を指示する。
以上によりストリーミング送信は停止される(図4の時点t8参照)。但しこの時点では撮像動画記録は継続させている。コントローラ10はステップS105で記録停止トリガを監視し、またステップS106で送信開始トリガを監視する。再び送信開始トリガを検知したら、コントローラ10はステップS120、S121、S122の処理で、ストリーミング送信を開始させることになる。
ステップS105で記録停止トリガを検知した場合、コントローラ10はステップS110に進む。ステップS110でコントローラ10は、撮像動画記録の停止制御を行う。即ち記録再生部19による記録媒体34への撮像動画の記録を停止させ撮像装置101をスタンバイ状態に戻す。
またステップS111でダイジェスト画像の生成対象範囲としての終端フレームを設定する。これは記録を終了したときの最後のフレームとなる。
ダイジェスト画像生成部18は、基本的には、ステップS104で設定された開始フレームからステップS111で設定された終端フレームまでの範囲の撮像画像を用いて、特徴を有するシーンを抽出し、ダイジェスト画像を生成することになる。
なおダイジェスト画像生成部18によるダイジェスト画像生成処理は、生成完了時点で適宜終了される。コントローラ10は例えばダイジェスト画像生成部18からの終了通知により生成完了を認識すればよい。
ストリーミング送信中に、例えば撮像者100等による切替操作に基づく切替トリガを検知した場合、コントローラ10はステップS124から図8のステップS140に進む。この時点でコントローラ10はダイジェスト画像の生成対象範囲としての終端フレームを設定する。図6Aの時点t4の撮像画像のフレームがこれに相当する。
ダイジェスト画像生成部18は、ステップS103で設定された開始フレームから、このステップS140で設定された終端フレームの範囲でダイジェスト画像生成を行うことになる。
なお実際には、時点t4のフレームは、不適切画像となっている可能性があるため、切替トリガ発生時点(時点t4)より所定時間(例えば5秒、10秒など)さかのぼったフレームをダイジェスト画像の生成対象範囲としての終端フレームとすることが望ましい。ダイジェスト画像内に不適切画像部分が含まれる可能性をより低くするためである。
ステップS141でコントローラ10は、セレクタ部20が第2入力端TBを選択するように制御する。そしてステップS142でコントローラ10は、再生動画送信制御を行う。ここでは記録再生部19によって記録媒体34からの動画コンテンツの再生を指示する。これにより図6Bの時点t4以降として再生画像が送信される状態となる。
再生画像の送信中(図6Bの時点t4〜t6)には、コントローラ10はステップS143で送信停止トリガを監視する。またステップS144で撮像画像送信再開トリガが発生済となったか否かを監視する。
送信停止トリガを検知した場合は、コントローラ10はステップS149で動画再生停止制御を行う。即ち記録再生部19によって記録媒体34からの動画コンテンツの再生を停止させる。そして図7のステップS131に戻って、ストリーミング送信部21にストリーミング送信処理の停止を指示し、ステップS132で遅延処理部17に遅延処理の停止を指示して、ステップS105,S106の監視ループに戻る。
以上は、再生画像の送信中に、撮像者100等が例えば撮像画像の送信再開をあきらめて送信停止操作を行ったような場合となる。
再生画像の送信中に、送信停止トリガが検知されず、また撮像画像送信再開トリガが発生済となってもいなければ、後述する図9又は図12又は図13で示すようなステップS142の処理に戻る。
またステップS144で撮像画像送信再開トリガが発生済と判断されるのは、或る時点で撮像画像送信再開操作が検知された後となる。この場合、ステップS145で撮像画像送信再開トリガが発生してから遅延時間相当時間が経過したか否かを確認する。経過していなければステップS142に戻る。即ち、撮像画像送信再開トリガが発生してから遅延時間を経過していないために再生画像送信が継続している期間である。図6Bの時点t5〜t6の間に相当する。
その後、撮像画像送信再開トリガが発生してから遅延時間を経過したことを確認したらコントローラ10はステップS145からS146に進み、セレクタ部20で第1入力端TAが選択されるように制御する。
ステップS147でコントローラ10は、記録再生部19に記録媒体34からの動画再生を停止させる。
またステップS148でコントローラ10は、ダイジェスト画像の生成対象範囲の再開フレームを設定する。これは時点t6に送信が再開されるフレーム(時点t5で撮像されたフレーム)とする。ダイジェスト画像生成部18は、この再開フレームから、次にステップS111もしくはS140で設定される終端フレームまでの範囲の撮像画像も、ダイジェスト画像生成に用いるようにする。
以上で、撮像画像のストリーミング送信状態に戻るため、コントローラ10は図7のステップS123,S124の監視ループに戻る。
ここで図8のステップS142の再生動画送信制御の例を説明する。
図9はステップS142の再生動画送信制御の例である。
コントローラ10は図9のステップS201で既存動画選択を行う。即ち記録媒体34に記録されている動画コンテンツのうちの1つを選択する。そしてステップS202でその選択した既存動画の再生を記録再生部19に指示する。
これによって既存動画が再生され、ストリーミング送信されることになる。
コントローラ10は、上述のように再生画像送信中はステップS143,S144,145の監視処理を行いながらステップS142の処理を行うが、ステップS142を繰り返す際には、図9のステップS203の処理として、再生している動画コンテンツの再生が終了したか否かを確認する。再生終了に至っていなければそのまま動画再生を継続させてステップS143,S144,145の監視処理に進む。
或る動画コンテンツの再生が終了した際には、コントローラ10は、ステップS203からS201に進み、再び既存動画選択を行う。そしてステップS202でその選択した既存動画の再生を記録再生部19に指示する。これによって順次既存動画が再生され、ストリーミング送信されていくことになる。
以上の図9は図6Eのように、1又は複数の既存動画が再生画像として送信される場合の処理例となる。撮像画像のストリーミング送信が中断されて再生画像が代替される期間長は撮像者100等の操作に応じたものとなるため不明である。そのため1又は複数の既存動画が選択されて再生されるようにしている。
図9のステップS201の既存動画の選択手法は多様に考えられるが、いくつか例を挙げる。
図10Aは、コントローラ10がステップS301としてランダムに動画コンテンツを選択する例である。
図10Bは、撮像者100等があらかじめ代替送信する動画コンテンツを選択できるようにした例である。例えば撮像者100等が設定メニューなどによる操作によって、切替操作の際に代替送信する動画コンテンツを選択している場合、それを選択する。
コントローラ10は、ステップS310で撮像者100等によるあらかじめの動画コンテンツの指定の有無を確認する。そして指定されていればステップS311で当該指定された動画コンテンツを選択する。指定されていなければステップS312でランダムに動画コンテンツを選択する。
このようにすることで、不適切画像発生により緊急に切替が行われる場合、あらかじめ撮像者100等が指定した動画コンテンツが再生されて送信されることになる。撮像者100等は、配信している撮像画像の代替画像として適切な動画コンテンツを選んでおくことができる。例えば結婚式等のイベントを撮像して配信する場合に、結婚式のイメージに合致した動画を選択しておけば、再生画像に切替を行った際に、視聴者に大きな違和感を与えないようにすることができる。
図11は配信している撮像画像に合った動画コンテンツをコントローラ10が選択する例である。
コントローラ10はステップS320で撮像画像のカテゴリを判定する。例えばスポーツ、自然風景、結婚式等のイベント、音楽イベント等のカテゴリを判定する。なお実際の判定処理は記録開始時点からの画像解析などにより行っておけばよい。
ステップS321では、カテゴリ判定ができたか否かを確認する。カテゴリが不明の場合は、ステップS325に進み、ランダムに動画コンテンツを選択する。
カテゴリが判定できた場合は、コントローラ10はステップS322に進み、記録媒体34に記録された動画コンテンツのうちで同一のカテゴリの情報が付加されている動画コンテンツを検索する。なおこのために、記録媒体34に記録された動画コンテンツには、それぞれカテゴリ情報が付加されているものとする。
撮像画像とカテゴリが共通する動画コンテンツが抽出されたら、コントローラ10はステップS323からS324に進み、その共通カテゴリの動画コンテンツを再生する動画コンテンツとして選択する。なお、共通カテゴリのものとして複数の動画コンテンツが抽出された場合は、その中から1つを選択すればよい。
共通カテゴリの動画コンテンツが記録媒体34に記録されていなければ、コントローラ10はステップS323からS325に進み、ランダムに動画コンテンツを選択する。
このような既存動画選択により、再生画像に切替を行った際に、視聴者に大きな違和感を与えない再生画像を送信できる可能性を高めることができる。
続いて図8のステップS142の再生動画送信処理の他の例を図12で説明する。これはダイジェスト動画の再生を考慮した処理例である。
コントローラ10は図12のステップS200でダイジェスト画像の再生が可能か否かを判断する。即ち現時点で、1つ以上のダイジェスト画像ファイルが生成されて記録媒体34に記録されているか否かを確認する。
ダイジェスト画像の再生が可能でなければコントローラ10はステップS201で既存動画選択を行う。即ち図10A、図10B、又は図11のような手法で記録媒体34に記録されている動画コンテンツのうちの1つを選択する。そしてステップS202でその選択した既存動画の再生を記録再生部19に指示する。
これによって図6Eに示したように既存動画が再生されストリーミング送信される。
一方、ダイジェスト画像の再生が可能であれば、コントローラ10はステップS210でダイジェスト画像を選択する。そしてステップS202でその選択したダイジェスト画像の再生を記録再生部19に指示する。
これによって図6Fに示したようにダイジェスト画像が再生されストリーミング送信される。
コントローラ10は、上述のように再生画像送信中は図8のステップS143,S144,145の監視処理を行いながらステップS142の処理を行うが、ステップS142を繰り返す際には、図12のステップS211の処理として、再生している動画コンテンツ(既存動画又はダイジェスト画像)の再生が終了したか否かを確認する。再生終了に至っていなければそのまま動画再生を継続させてステップS143,S144,145の監視処理に進む。
或る動画コンテンツの再生が終了した際には、コントローラ10は、ステップS211からS212に進み、再生していたのがダイジェスト画像であるか既存動画であるかで処理を分岐する。
それまで既存動画を再生していたのであれば、コントローラ10はステップS201に進み、再び既存動画選択を行う。そしてステップS202でその選択した既存動画の再生を記録再生部19に指示する。従って順次既存動画が再生され、ストリーミング送信されていくことになる(図6E)。
またそれまでダイジェスト画像を再生していたのであれば、コントローラ10はステップS210に進み、再びダイジェスト画像の選択を行う。ダイジェスト画像ファイルが複数記録されていれば、それらを順次選択してもよいし、同じダイジェスト画像を再び選択してもよい。そしてステップS202でその選択したダイジェスト画像の再生を記録再生部19に指示する。従って順次ダイジェスト画像が再生され、ストリーミング送信されていくことになる(図6F)。
続いて図8のステップS142の再生動画送信処理のさらに他の例を図13で説明する。図13は、図6Gの例を実現する処理例である。
コントローラ10は図13のステップS201で既存動画選択を行う。即ち図10A、図10B、又は図11のような手法で記録媒体34に記録されている動画コンテンツのうちの1つを選択する。そしてステップS202でその選択した既存動画の再生を記録再生部19に指示する。
これによって既存動画が再生され、ストリーミング送信されることになる。図6Eの時点t4以降の状態である。
コントローラ10は、上述のように再生画像送信中はステップS143,S144,145の監視処理を行いながらステップS142の処理を行うが、ステップS142を繰り返す際には、図13のステップS250で撮像画像送信再開トリガを監視している。
撮像画像送信再開トリガが発生するまでの期間では、ステップS252で、再生している既存動画の再生が終了したか否かを確認する。再生終了に至っていなければそのまま動画再生を継続させてステップS143,S144,145の監視処理に進む。
また動画コンテンツの再生が終了した際には、コントローラ10は、ステップS252からS253に進み、再生していたのがダイジェスト画像か既存動画かで処理を分岐する。この時点は既存動画であるので、コントローラ10はステップS201で再び既存動画選択を行う。そしてステップS202でその選択した既存動画の再生を記録再生部19に指示する。これによって図6の時点t4からt5の期間では、1又は複数の既存動画が再生され、ストリーミング送信されていくことになる。
撮像画像送信再開トリガを検知したら、コントローラ10はステップS250からS251に進み、ダイジェスト動画を選択する。そしてステップS202でその選択したダイジェスト画像の再生を記録再生部19に指示する。
これによって図6Gの時点t5以降、ダイジェスト画像が再生されストリーミング送信される。
その後は図8のステップS145で遅延時間相当の時間の経過が確認されるまで、図13の処理が繰り返されるが、その場合、コントローラ10はステップS250からS252に進み、再生しているダイジェスト画像としての動画コンテンツの再生が終了したか否かを確認する。再生終了に至っていなければそのまま動画再生を継続させてステップS143,S144,145の監視処理に進む。
また動画コンテンツの再生が終了した際には、コントローラ10は、ステップS252からS253に進み、この場合はそれまでダイジェスト画像を再生していたので、ステップS251で再びダイジェスト画像を選択する。そしてステップS202でその選択したダイジェスト画像の再生を記録再生部19に指示する。
これによって図6の時点t5からt6の期間では、1又は複数のダイジェスト画像が再生され、ストリーミング送信されていくことになる。
<5.画像送信装置の他の例>
続いて他の実施の形態として、図14により撮像装置101Aと画像送信装置107を用いる例を説明する。即ち撮像装置101Aで撮像した撮像画像を、画像送信装置107がストリーミング送信するようにした例である。
図14に示すように、撮像装置101Aは、例えば撮像部31,画像信号処理部
52、送信部53を有する。
撮像部31で撮像した撮像画像信号について画像信号処理部52で必要な信号処理を行って送信部53に供給する。
送信部53は、画像信号処理部52で処理された撮像画像信号を画像送信装置107に送信するためのエンコード及び送信処理を行う。
なお送信部53と、画像送信装置107の受信部40の間の通信方式は、有線接続通信を行うものでも良いし、近距離無線通信、例えば赤外線通信、WIFIやブルートゥース等の規格の無線通信などによるものとしてもよい。
画像送信装置107は、受信部40で撮像装置101Aから撮像画像信号を受信し、画像入力処理部11に供給する。
画像送信装置107の構成は、図2の撮像装置101とほぼ同様の構成を備えており、同一の構成部分は同一符号を付して説明を省略する。
即ちこの画像送信装置107は、別体の撮像装置101Aで撮像された撮像画像をストリーミング送信することができる。その際には、撮像画像を遅延処理部17で所定時間遅延させて送信する。また切替トリガに応じて、記録媒体34からの再生画像のストリーミング送信に切り替えるようにしている。即ち上述した撮像装置101と同様の動作を行うことができる。
画像送信装置107は、専用機器として構成されてもよいし、PC、スマートフォンなどとされ、アプリケーションソフトウエアにより図示する各部の機能を実現しても良い。
このような構成により、ネットワーク配信機能を有さない撮像装置101Aを用いても、画像送信装置107に撮像画像を供給することで、ネットワーク配信を行うことができ、また不適切画像の配信防止に有効となる。
<6.まとめ及び変形例>
以上の実施の形態では次のような効果を得ることができる。
実施の形態の画像送信装置(図2の撮像装置101又は図14の画像送信装置107)は、送信する動画としての撮像画像(第1の画像)を所定時間遅延させる遅延処理部17を有する。また送信する動画としての再生画像(第2の画像)を記録媒体34から再生することができる記録再生部19(再生部)を有する。
また画像送信装置は、画像を送信する送信部として、セレクタ部20で選択された画像信号をストリーミング送信するストリーミング送信部21を有する。
また画像送信装置は、遅延処理部17により遅延された第1の画像を送信中に切替トリガを検知すると、第1の画像から記録再生部19により再生される第2の画像に切り替えて送信する制御部を備える。具体的には制御部として、セレクタ部20で第1入力端TAを選択させ、遅延処理部17で遅延された撮像画像のストリーミング送信をストリーミング送信部21に実行させるとともに、切替トリガの検知に応じて、セレクタ部20で第2入力端TBを選択させるように制御するコントローラ10を備えている。
この場合、撮像画像のストリーミング送信(ネットワーク配信)として、リアルタイム性を大きく損なわない撮像画像送信が可能とされている。
そして撮像者100等のユーザ操作などによる切替トリガ発生に応じて、送信する動画を撮像画像から再生画像に切り替える。これにより、撮像画像による画像内容として送信するには不適切なシーンがあった場合に、撮像者100等が切替操作を行うことで、不適切なシーンの送信を未然に防ぐことができる。
特に、撮像画像にある程度の遅延時間を与えて送信していることで、撮影画像をリアルタイムにストリーミング配信しているときに、放送事故につながる不適切画像を撮像してしまったような場合、撮像者100等の判断で、不適切画像の配信を余裕をもって回避することができる。
また視聴者にとっては視聴している撮像画像が突然中断されることになるが、再生画像として動画が視聴できる状態となるため、例えば視聴している機器の故障などと誤認することもない。また撮像画像の中断中に動画を楽しめることにもなる。
また実施の形態の撮像装置101は、撮像部31を備え、撮像部31で撮像された動画(撮像画像)を第1の画像として送信する。つまりビデオカメラ等の撮像装置101を画像送信装置とし、撮像した画像をそのまま送信するような態様を実現できる。
これにより撮像装置101によるリアルタイム配信オペレーションが可能となる。
またその場合に、例えば撮像しているシーンとして不適切なシーンが発生した場合、撮像者100等が切替操作を行うことで、リアルタイム性のある送信であるにも関わらず、不適切なシーンの送信を未然に防ぐことができる。
特に撮像者100は、被写体を注視しているため不適切シーンを確実かつ迅速に発見できる。そして撮像者100が使用する撮像装置101が画像送信装置としての機能を備えていることで、不適切シーンを発見したときに即座に切替操作を行い、不適切シーンの送信を的確に防止できる。
実施の形態では、図5で説明したように、切替トリガの検知に応じて、該トリガ検知直前までの撮像画像のフレームの送信完了を待たずに(つまり図5のフレームF3までの送信完了を待たずに即座に)、セレクタ部20で再生画像を選択させるように制御している(図7のS124、図8のS141、S142参照)。
撮像画像は遅延されて送信されるため、切替トリガ検知のタイミングでは、まだ切替トリガの発生タイミングの直前のフレームまでの送信が完了していないことが通常考えられる。具体的には、切替トリガ発生タイミングから遅延時間TDに相当する時間を経過しなければ、切替トリガ発生時点の直前のフレームまでは送信完了しない。
しかしながら実施の形態では、その未送信フレームの送信を待たずに、切替トリガ検知で即座に再生画像の送信に切り替える。
例えば撮像者100等が撮像画像において不適切なシーンに気づいて切替操作を行った場合において、その不適切なシーンがどの時点から生じていたかは必ずしも明確ではない。またシーン内容にもよるため、不適切シーンの開始時点の判断は困難である。換言すれば、切替トリガ発生時点より前のフレームも不適切画像である可能性は高い。
さらには、撮像者100等は、不適切画像を認識した後に切替操作を行うことが多いと考えられるため、切替操作時点の直前に撮像されたシーンも不適切画像であると考えることが妥当である。
そこで、切替トリガのタイミングで、即座に再生画像(第2の画像)に切り替える。これにより切替トリガのタイミングの直前、具体的には遅延時間TDに相当する時間だけ前の画像からの送信が停止される。これにより不適切な画像の送信が行われることをより確実に防止できる。
またユーザの操作をトリガとする場合、ユーザの不適切なシーンに気づくことが遅れたり、操作が遅れたりする場合も想定されるが、トリガタイミングより前の撮像画像も送信を止めることになるため、気づきの遅れや操作の遅れもある程度はカバーできるという効果もある。
実施の形態では、コントローラ10は、撮像画像送信再開トリガの検知に応じて、該トリガ検知から遅延時間TDだけ経過した時点に、セレクタ部20で撮像画像を選択させるように制御する(図8のステップS144、S145、S146、図5参照)。
撮像画像は遅延されて送信されるため、セレクタ部20が撮像画像送信再開トリガの検知タイミングで直ぐに第1入力端TAを選択するようにすると、撮像画像送信再開トリガより前の時点に撮像されたフレームの画像が送信されることになる。もし、送信再開トリガの際に直ぐに撮像画像に切り替えるとすると、遅延処理部17の遅延時間が長いほど、送信再開トリガの時点よりも前の撮像シーンが長く送信されることになってしまう。すると不適切なシーンが含まれる可能性も生ずる。
このようなことがないように遅延時間分だけ待機してからセレクタ部20で撮像画像が選択されるように制御し、撮像画像(第1の画像)としては、撮像画像送信再開トリガが発生した後の時点のシーンから送信されるようにしている。これにより遅延時間の影響で不適切なシーンの送信が行われることを防止できる。
また、このように対処をすることで、遅延処理を継続していても再開の際に問題は生じないことになり、遅延処理の停止、再開は不要で、コントローラ10のオペレーションを簡略化できる。
もちろん、遅延時間を待機している期間は、そのまま再生画像を送信していればよい。つまり再生停止制御は、セレクタ部20を第1入力端TAに切り替えた後である図8のステップS147の時点で行うようにしている。これにより視聴者側で動画が表示されないような事態を生じさせないようにすることができる。
実施の形態では、撮像画像(第1の画像)についてのダイジェスト画像を生成して記録媒体34に記憶させるダイジェスト画像生成部18を備え、コントローラ10は、切替トリガに応じてセレクタ部20で再生画像(第2の画像)を選択させる場合に、記録再生部19にダイジェスト画像を再生させる例を述べた(図6F、図6G、図6H、図6I、図12,図13参照)。
これにより、不適切シーンが発生したなどとして撮像画像(第1の画像)から再生画像(第2の画像)に切り替えられたときに、視聴者にはダイジェスト画像が届けられることになる。従って、それまでの視聴内容からの切替に違和感が無く、自然に視聴を続けられる状態とすることができる。
例えばリアルタイムの撮像画像において不適切シーンが発生したときに、視聴者はそれまでの撮像画像のダイジェスト画像を見ることになり、不適切シーンの発生をあまり意識せずに視聴を続けるような状態とすることができる。
実施の形態では、ダイジェスト画像は、切替トリガが検知された時点から撮像画像送信再開トリガが検知される時点までの期間の撮像画像を除いて、撮像画像から生成される。即ち図6C、図6Dに示したように、送信が停止される期間の撮像画像はダイジェスト画像に含めないようにする(図7のステップS103、S111、図8のステップS140,S148参照)
これにより、撮像画像のダイジェスト画像であっても、撮像画像における不適切シーン等を含まないようにでき、配信するコンテンツとして適切な内容のダイジェスト画像を生成できる。
実施の形態では図6Cに、ダイジェスト画像は、記録媒体34への記録が開始されたフレーム以降の撮像画像を用いて生成される例を述べた。
撮像画像の記録を開始するのは、例えば送信に先立って適切な撮像が開始された時点である。つまり記録に値するシーンの撮像が開始された時点以降と推定することができる。従って、記録開始時点以降の撮像画像を用いてダイジェスト画像を生成することで、適切な範囲で特徴的なシーンを集めたダイジェスト画像を生成できる。撮像画像の送信に先立って撮像画像の記録が開始されている場合は、視聴者は送信されていないシーンの一部を見ることができる場合が生じ、いわゆる未公開画像を含むダイジェスト画像を生成できるようになる。
実施の形態では図6Dに、ダイジェスト画像は、ストリーミング送信の対象となったフレーム以降の撮像画像を用いて生成される例を述べた。
即ち送信対象となった範囲からダイジェスト画像を生成することで、送信内容として適切と判断された内容のみを含むダイジェスト画像となる。そして送信内容に沿ったダイジェスト画像が生成できる。
実施の形態では、切替トリガに応じてセレクタ部20で再生画像を選択させる場合に、記録再生部19に、記録媒体34にあらかじめ記憶されていた既存動画を再生させる例を述べた(図6E、図6G、図6H、図6I参照)。
これにより、不適切シーンが発生したなどとして撮像画像(第1の画像)から再生画像(第2の画像)に切り替えられたときに、視聴者には既存動画が届けられる。あらかじめ適切な既存動画を用意しておくことで、不適切な送信とはならない。
特に撮像者100等が、あらかじめ再生させる既存動画を指定しておくことで、撮像者100等の意思に沿って適切な動画コンテンツが代替送信される。例えば違和感のない動画を代替配信できる。
また再生画像の配信中は、視聴者は、その再生画像を楽しむことができる。
実施の形態では、複数の既存動画がそれぞれカテゴリ情報とともに記憶され、コントローラ10は、切替トリガに応じてセレクタ部20で再生画像を選択させる場合に、撮像画像の画像内容から判定したカテゴリ情報と各既存動画のカテゴリ情報を比較した結果により選択した既存動画を記録再生部19に再生させる例を述べた(図11参照)。
これにより撮像画像の内容に応じて選択された既存動画が第2の画像として再生される。このため、あまりに内容的にかけはなれたり、雰囲気が違いすぎるような動画に切り替えられるということにならず、視聴者に違和感を抱かせない。例えばスポーツの試合を撮像して送信していたときに、不適切シーンが生じたとして第2の画像に切り替える場合に、スポーツ動画としての既存動画が再生・送信される。従って視聴者にとっては代替画像への切替による不自然さを感じにくくなる。
なお、カテゴリ情報の比較として一致するものを選択する例を挙げたが、一致に限らず、撮像画像のカテゴリに類似するカテゴリの既存動画を選択してもよい。
実施の形態では、図6G、図6Iのように、セレクタ部20で再生画像を選択させている期間において、記録再生部19に、既存動画を再生させた後、ダイジェスト画像を再生させる制御を行う例を述べた。
これにより撮像画像における不適切シーンが既存動画とダイジェスト画像により代替される。再生画像の後半がダイジェスト画像となるようにすることで、撮像画像の送信再開時のつながりがスムースに感じられるようになる。視聴者にとっては、撮像画像が突然に既存動画に切り替えられることになるが、その後ダイジェスト画像となることで、これまでの撮像画像内容を思い出した上で、現在の撮像画像に移行するものとなるため、不自然さが低減されるとともに、つづきの撮像画像の視聴に戻りやすい。
実施の形態では、図6Gのように、撮像画像送信再開トリガの検知の時点t5から、該送信再開トリガ検知から遅延処理部の遅延時間TDだけ経過した時点t6までの期間は、記録再生部19でダイジェスト画像が再生されているように例を述べた(図13参照)。
これにより再生画像が送信されている期間の後半、特には撮像画像の送信が再開される直前の期間はダイジェスト画像が送信される。従って視聴者は、ダイジェスト画像から例えばリアルタイムの撮像画像に切り替えられた配信画像を視聴することになる。従って撮像画像の送信再開時にスムースで違和感のない視聴感が得られる。また遅延時間が例えば30秒や1分程度などのように長い場合、撮像画像送信再開トリガから、実際に撮像画像の送信の再開までの時間が30秒や1分程度などとなる。この間にダイジェスト画像を視聴できることで、視聴者は中断前のシーンを思い出して、再開された視聴を楽しむことができる。
ところで実施の形態では、記録開始トリガ、送信開始トリガ、送信停止トリガ、記録停止トリガ、切替トリガ、撮像画像送信再開トリガを、撮像者100等の操作入力としての例で述べたが、トリガの例は各種考えられる。
例えば図7のステップS101で監視する記録開始トリガとしては、タイマー設定等による自動的な記録開始を行う場合、その開始時刻検知が記録開始トリガとなる。また外部機器からの指示により撮像記録を開始する場合、その指示情報が記録開始トリガとなる。さらに何らかのセンサによる状況検知、或いは被写体の画像解析などの結果により撮像記録を開始する場合、それらの検出信号、結果信号が記録開始トリガを得る場合もある。
ステップS106で監視する送信開始トリガも同様である。タイマー設定によるトリガ、外部機器からの指示によるトリガ、センサや撮像画像解析による状況検知信号によるトリガが考えられる。
送信停止トリガ、記録停止トリガについても、同様である。
切替トリガ及び撮像画像送信再開トリガについては、不適切シーンの判断に応じたものとなるため、通常はユーザ操作が想定される。しかし、不適切シーンを画像解析により自動判定することもできる。
例えば特定のシーンの特徴、特定の物体形状、その他の不適切画像条件として登録しておく。撮像画像に関しては毎フレームもしくは間欠的なフレーム毎に画像解析を行い、登録した不適切画像条件に合致しているか否かを判定して、不適切画像か否かを判断し、切替トリガや撮像画像送信再開トリガを発生させる。
例えば特定のマーク、特定の個人の顔などを配信しないようにしたいというような要望がある場合に適用できる。
なお実施の形態では、記録再生部19による再生は切替トリガ発生時に開始する例を述べたが、切替トリガが発生していない時点で再生を実行していてもよい。その場合、コントローラ10は切替トリガ発生時にセレクタ部20を第2入力端TBに切り替えるのみで代替画像の送信に切り替えることができる。
また、撮像画像のストリーミング送信が中断されて再生画像が代替される期間長は撮像者100等の操作に応じたものとなるため不明である。いつまでも再生画像の送信が続いてしまう事態も想定される。そこで、再生画像の送信が或る上限時間継続したら、ストリーミング送信を強制終了させるような処理も考えられる。
実施の形態は、現在撮像している撮像画像をほぼリアルタイムで送信する場合の動作例として述べたが、本開示の技術は再生画像をストリーミング送信する場合にも適用できる。
例えば或る再生コンテンツを再生してストリーミング送信する。この場合、再生コンテンツは遅延されて送信される。このストリーミング送信の際に、送信者が、再生画像内に配信に適さない画像を発見したとする。このときに切替操作を行うことで、他の動画コンテンツの送信に切り替えられるようにするものである。
このような場合にも本技術は有効である。つまり第1の画像は、再生画像信号による画像である場合もある。
本発明の実施の形態のプログラムは、第1の画像を所定時間、遅延させる遅延処理部17と、第2の画像を再生する記録再生部19と、画像を送信するストリーミング送信部21とを備えた画像送信装置のコントローラ10に図7,図8の処理を実行させるプログラムである。
即ち実施の形態のプログラムは、セレクタ部20で撮像画像を選択させることで、遅延処理部17で遅延された撮像画像のストリーミング送信をストリーミング送信部21に実行させる手順(S120、S121、S122)と、切替トリガを検知する手順(S124)と、切替トリガの検知に応じて、セレクタ部20で再生画像を選択させ、記録再生部19で再生された再生画像に切り替えてのストリーミング送信をストリーミング送信部21に実行させる手順(S141,S142)を、撮像装置101や画像送信装置107の制御装置(コントローラ10)に実行させるプログラムである。
このようなプログラムにより本実施の形態の撮像装置101や画像送信装置107の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)第1の画像を所定時間、遅延させる遅延処理部と、
第2の画像を再生する再生部と、
画像を送信する送信部と、
前記遅延処理部により遅延された第1の画像を送信中に切替トリガを検知すると、前記第1の画像から前記再生部により再生される第2の画像に切り替えて送信させる制御部と、を備えた
画像送信装置。
(2)撮像部を備え、
前記第1の画像は前記撮像部で撮像された画像である
上記(1)に記載の画像送信装置。
(3)前記制御部は、前記切替トリガの検知に応じて、該トリガ検知直前までの前記第1の画像のフレームの送信完了を待たずに、前記第2の画像に切り替えて送信させるように制御する
上記(1)又は(2)に記載の画像送信装置。
(4)前記制御部は、前記第1の画像の送信再開トリガの検知に応じて、該送信再開トリガ検知から前記遅延処理部の遅延時間だけ経過した時点に、前記第1の画像に切り替えて送信させるように制御する
上記(1)乃至(3)のいずれかに記載の画像送信装置。
(5)前記第1の画像についてのダイジェスト画像を生成して記録媒体に記憶させるダイジェスト画像生成部を備え、
前記制御部は、前記切替トリガに応じて前記第2の画像を送信させている期間に、前記再生部に、前記ダイジェスト画像を再生させる
上記(1)乃至(4)のいずれかに記載の画像送信装置。
(6)前記ダイジェスト画像は、前記切替トリガが検知された時点から前記第1の画像の送信再開トリガが検知される時点までの期間を除く前記第1の画像から生成される
上記(5)に記載の画像送信装置。
(7)前記第1の画像について記録媒体に記録していく処理が行われるとともに、
前記ダイジェスト画像は、記録媒体への記録が開始されたフレーム以降の前記第1の画像を用いて生成される
上記(5)又は(6)に記載の画像送信装置。
(8)前記ダイジェスト画像は、前記送信部による送信の対象となったフレーム以降の前記第1の画像を用いて生成される
上記(5)又は(6)に記載の画像送信装置。
(9)前記制御部は、前記切替トリガに応じて前記第2の画像に切り替えて送信させる場合に、前記再生部に、記録媒体にあらかじめ記録されていた既存動画を再生させる
上記(1)乃至(4)のいずれかに記載の画像送信装置。
(10)複数の前記既存動画がそれぞれカテゴリ情報とともに記憶され、
前記制御部は、前記切替トリガに応じて前記第2の画像に切り替えて送信させる場合に、前記第1の画像の画像内容から判定したカテゴリ情報と各既存動画のカテゴリ情報を比較した結果により選択した既存動画を前記再生部に再生させる
上記(9)に記載の画像送信装置。
(11)前記制御部は、前記第2の画像を送信させている期間には、前記再生部に、記録媒体にあらかじめ記憶されていた既存動画を再生させた後、前記ダイジェスト画像を再生させる制御を行う
上記(5)乃至(8)のいずれかに記載の画像送信装置。
(12)前記制御部は、前記第1の画像の送信再開トリガの検知の時点から、該送信再開トリガ検知から前記遅延処理部の遅延時間だけ経過した時点までの期間は、前記再生部で前記ダイジェスト画像が再生されているように制御する
上記(5)乃至(8)のいずれかに記載の画像送信装置。
(13)第1の画像を所定時間、遅延させる遅延処理部と、
第2の画像を再生する再生部と、
画像を送信する送信部と、
を備えた画像送信装置の画像送信方法として、
前記遅延処理部で遅延された前記第1の画像を送信させる手順と、
切替トリガを検知する手順と、
前記切替トリガの検知に応じて、前記再生部で再生された前記第2の画像に切り替えて送信させる手順と、を実行する
画像送信方法。
(14)第1の画像を所定時間、遅延させる遅延処理部と、
第2の画像を再生する再生部と、
画像を送信する送信部と、
を備えた画像送信装置の制御装置に、
前記遅延処理部で遅延された前記第1の画像を送信させる手順と、
切替トリガを検知する手順と、
前記切替トリガの検知に応じて、前記再生部で再生された前記第2の画像に切り替えて送信させる手順と、
を実行させるプログラム。
10…コントローラ、11…画像入力処理部、12…画像出力処理部、13…ビデオエンコーダ、14…ビデオデコーダ、15…ユーザ入力部、16…バッファメモリ、17…遅延処理部、18…ダイジェスト動画生成部、19…記録再生部、20…セレクタ部、21…ストリーミング送信部、22…メモリ、31…撮像部、32…表示部、33…操作部、34…記録媒体、35…通信部、40…受信部、52…画像信号処理部、53…送信部、100…撮像者、101…101A 撮像装置、102…ネットワーク、103…配信管理サーバ、104…端末装置、107…画像送信装置

Claims (14)

  1. 第1の画像を所定時間、遅延させる遅延処理部と、
    第2の画像を再生する再生部と、
    画像を送信する送信部と、
    前記遅延処理部により遅延された第1の画像を送信中に切替トリガを検知すると、前記第1の画像から前記再生部により再生される第2の画像に切り替えて送信させる制御部と、を備えた
    画像送信装置。
  2. 撮像部を備え、
    前記第1の画像は前記撮像部で撮像された画像である
    請求項1に記載の画像送信装置。
  3. 前記制御部は、前記切替トリガの検知に応じて、該トリガ検知直前までの前記第1の画像のフレームの送信完了を待たずに、前記第2の画像に切り替えて送信させるように制御する
    請求項1に記載の画像送信装置。
  4. 前記制御部は、前記第1の画像の送信再開トリガの検知に応じて、該送信再開トリガ検知から前記遅延処理部の遅延時間だけ経過した時点に、前記第1の画像に切り替えて送信させるように制御する
    請求項1に記載の画像送信装置。
  5. 前記第1の画像についてのダイジェスト画像を生成して記録媒体に記憶させるダイジェスト画像生成部を備え、
    前記制御部は、前記切替トリガに応じて前記第2の画像を送信させている期間に、前記再生部に、前記ダイジェスト画像を再生させる
    請求項1に記載の画像送信装置。
  6. 前記ダイジェスト画像は、前記切替トリガが検知された時点から前記第1の画像の送信再開トリガが検知される時点までの期間を除く前記第1の画像から生成される
    請求項5に記載の画像送信装置。
  7. 前記第1の画像について記録媒体に記録していく処理が行われるとともに、
    前記ダイジェスト画像は、記録媒体への記録が開始されたフレーム以降の前記第1の画像を用いて生成される
    請求項5に記載の画像送信装置。
  8. 前記ダイジェスト画像は、前記送信部による送信の対象となったフレーム以降の前記第1の画像を用いて生成される
    請求項5に記載の画像送信装置。
  9. 前記制御部は、前記切替トリガに応じて前記第2の画像に切り替えて送信させる場合に、前記再生部に、記録媒体にあらかじめ記録されていた既存動画を再生させる
    請求項1に記載の画像送信装置。
  10. 複数の前記既存動画がそれぞれカテゴリ情報とともに記憶され、
    前記制御部は、前記切替トリガに応じて前記第2の画像に切り替えて送信させる場合に、前記第1の画像の画像内容から判定したカテゴリ情報と各既存動画のカテゴリ情報を比較した結果により選択した既存動画を前記再生部に再生させる
    請求項9に記載の画像送信装置。
  11. 前記制御部は、前記第2の画像を送信させている期間には、前記再生部に、記録媒体にあらかじめ記憶されていた既存動画を再生させた後、前記ダイジェスト画像を再生させる制御を行う
    請求項5に記載の画像送信装置。
  12. 前記制御部は、前記第1の画像の送信再開トリガの検知の時点から、該送信再開トリガ検知から前記遅延処理部の遅延時間だけ経過した時点までの期間は、前記再生部で前記ダイジェスト画像が再生されているように制御する
    請求項5に記載の画像送信装置。
  13. 第1の画像を所定時間、遅延させる遅延処理部と、
    第2の画像を再生する再生部と、
    画像を送信する送信部と、
    を備えた画像送信装置の画像送信方法として、
    前記遅延処理部で遅延された前記第1の画像を送信させる手順と、
    切替トリガを検知する手順と、
    前記切替トリガの検知に応じて、前記再生部で再生された前記第2の画像に切り替えて送信させる手順と、を実行する
    画像送信方法。
  14. 第1の画像を所定時間、遅延させる遅延処理部と、
    第2の画像を再生する再生部と、
    画像を送信する送信部と、
    を備えた画像送信装置の制御装置に、
    前記遅延処理部で遅延された前記第1の画像を送信させる手順と、
    切替トリガを検知する手順と、
    前記切替トリガの検知に応じて、前記再生部で再生された前記第2の画像に切り替えて送信させる手順と、
    を実行させるプログラム。
JP2016168025A 2016-08-30 2016-08-30 画像送信装置、画像送信方法、プログラム Pending JP2018037784A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016168025A JP2018037784A (ja) 2016-08-30 2016-08-30 画像送信装置、画像送信方法、プログラム
PCT/JP2017/020625 WO2018042794A1 (ja) 2016-08-30 2017-06-02 画像送信装置、画像送信方法、プログラム
US16/324,645 US11601582B2 (en) 2016-08-30 2017-06-02 Image transmission apparatus and image transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016168025A JP2018037784A (ja) 2016-08-30 2016-08-30 画像送信装置、画像送信方法、プログラム

Publications (1)

Publication Number Publication Date
JP2018037784A true JP2018037784A (ja) 2018-03-08

Family

ID=61300345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016168025A Pending JP2018037784A (ja) 2016-08-30 2016-08-30 画像送信装置、画像送信方法、プログラム

Country Status (3)

Country Link
US (1) US11601582B2 (ja)
JP (1) JP2018037784A (ja)
WO (1) WO2018042794A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200087695A (ko) * 2019-01-11 2020-07-21 캐논 가부시끼가이샤 촬상 장치 및 그 제어 방법, 및 컴퓨터 프로그램
WO2023120263A1 (ja) * 2021-12-20 2023-06-29 ソニーグループ株式会社 情報処理装置及び情報処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7699944B2 (ja) * 2021-03-30 2025-06-30 キヤノン株式会社 通信装置、制御方法、およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002261710A (ja) 2001-03-01 2002-09-13 Sony Corp 番組放送システムおよび番組放送方法
JP2003078901A (ja) 2001-08-30 2003-03-14 Canon Inc 動画配信システム、撮影装置、動画配信制御装置、動画配信方法、及び記憶媒体
JP2003309829A (ja) 2002-04-15 2003-10-31 Matsushita Electric Ind Co Ltd 携帯動画電話装置
JP2004248150A (ja) 2003-02-17 2004-09-02 Kyocera Corp 動画像配信システム、配信サーバ、携帯端末及び動画像配信方法
US8136133B2 (en) * 2007-11-13 2012-03-13 Walker Digital, Llc Methods and systems for broadcasting modified live media
JP4645707B2 (ja) 2008-09-01 2011-03-09 ソニー株式会社 コンテンツデータ処理装置
US20110179445A1 (en) * 2010-01-21 2011-07-21 William Brown Targeted advertising by context of media content
US9788079B2 (en) * 2014-03-05 2017-10-10 Ricoh Co., Ltd. Generating enhanced advertisements based on user activity

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200087695A (ko) * 2019-01-11 2020-07-21 캐논 가부시끼가이샤 촬상 장치 및 그 제어 방법, 및 컴퓨터 프로그램
JP2020113898A (ja) * 2019-01-11 2020-07-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP7280698B2 (ja) 2019-01-11 2023-05-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US11778319B2 (en) 2019-01-11 2023-10-03 Canon Kabushiki Kaisha Image capturing apparatus that can distribute recorded content at a set time, and control method and non-transitory computer-readable storage medium
KR102714392B1 (ko) 2019-01-11 2024-10-08 캐논 가부시끼가이샤 촬상 장치 및 그 제어 방법, 및 컴퓨터 프로그램
WO2023120263A1 (ja) * 2021-12-20 2023-06-29 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
US11601582B2 (en) 2023-03-07
US20210281899A1 (en) 2021-09-09
WO2018042794A1 (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
JP5161220B2 (ja) マルチメディア番組の管理方法、サーバ、端末、信号、及び対応するコンピュータプログラム
CN1998228A (zh) 图像拾取系统、图像拾取设备和图像拾取方法
US10542213B2 (en) Imaging apparatus
US8797412B2 (en) Image capturing apparatus
US9357194B2 (en) Imaging apparatus for minimizing repetitive recording of moving image data of a similar scene on a recording medium
CN101945216A (zh) 摄像装置和动态图像再现方法
RU2507610C2 (ru) Устройство записи информации и способ управления им
WO2018042794A1 (ja) 画像送信装置、画像送信方法、プログラム
WO2021251127A1 (ja) 情報処理装置、情報処理方法、撮像装置、画像転送システム
US9042706B2 (en) Image processing apparatus and image processing method
JP2007214663A (ja) テレビ放送視聴録画システム、録画再生装置及び視聴装置
US20220321924A1 (en) Communication apparatus, control method, and recording medium
WO2020189057A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2012156587A (ja) 動画記録装置
JP5713701B2 (ja) 動画記録装置
US20150150040A1 (en) Interactive audio/video broadcast system, method for operating the same and user device for operation in the interactive audio/video broadcast system
JP2016538798A (ja) マルチポイント拡散の方法
JP2006005609A (ja) 情報処理装置
JP2012156808A (ja) 画像伝送システムおよび画像再生装置
JP2024019365A (ja) ストリーミングデータを取り扱う方法、システム及びコンピュータプログラム
JP5657223B2 (ja) 撮像装置、画像再生システム及び画像再生方法
JP6034113B2 (ja) 映像コンテンツ配信装置
JP2011259232A (ja) 表示装置及びその制御方法、プログラム並びに記録媒体
JP5963921B2 (ja) デジタルカメラ及びカメラの合成画像表示方法
JP5774731B2 (ja) デジタルカメラ及びデジタルカメラの合成画像表示方法