JP2019068187A - 情報処理装置、情報処理装置の制御方法、及びプログラム - Google Patents
情報処理装置、情報処理装置の制御方法、及びプログラム Download PDFInfo
- Publication number
- JP2019068187A JP2019068187A JP2017190181A JP2017190181A JP2019068187A JP 2019068187 A JP2019068187 A JP 2019068187A JP 2017190181 A JP2017190181 A JP 2017190181A JP 2017190181 A JP2017190181 A JP 2017190181A JP 2019068187 A JP2019068187 A JP 2019068187A
- Authority
- JP
- Japan
- Prior art keywords
- video
- display
- reproduction
- processing apparatus
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Telephone Function (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【解決手段】符号・復号処理部(213)は、外部装置から受信したストリーミングのための映像データに基づく映像を再生する。CPU(201)は、再生される映像を表示するための、予め保持された再生用画面を表示部(207)に表示させる。RAM(203)は、外部装置から受信した映像データを、再生するために所定の記憶領域にバッファする。そして、CPU(201)は、再生中の映像に関するユーザの操作を受け付けるための操作UIを、再生中の映像とともに再生用画面に表示可能であり、再生用画面への操作UIの表示の有無に応じて、RAM(203)の映像データのバッファサイズを変更する。
【選択図】図2
Description
本実施形態は、本発明の情報処理装置の一例である情報端末と、撮影映像をライブストリーミングデータとして送信可能な撮像装置(カメラ)と、を含む通信システムを例に挙げて説明する。図1は本実施形態のカメラ100の一構成例を示した図であり、図2は本実施形態の情報端末200の一構成例を示した図である。なお、カメラ100は、撮影機能をメイン機能として有するいわゆるデジタルスチルカメラやデジタルビデオカメラの他、カメラ機能付きの情報端末やタブレット端末であってもよい。また、カメラ機能を有するものに限定されず、例えば映像配信サーバなどを用いることも可能である。また、情報端末200は、一般的なパーソナルコンピュータの他、いわゆるスマートフォンやタブレット端末などの携帯型の情報端末、テレビジョン受像機などであってもよい。
図1のカメラ100は、光学系113、撮像素子114、操作部105、表示部107、コネクタ/アンテナ109、記録媒体112を有する。また、カメラ100は、CPU101、ROM102、RAM103、入力処理部104、出力処理部106、通信制御部108、記録媒体制御部111、カメラ信号処理部115、符号・復号処理部116を有する。これらは内部バス110により接続されており、内部バス110を介して互いにデータのやりとりを行うことができるようにされている。
符号・復号処理部116は、CPU101による制御に基づき、カメラ信号処理部115で処理されたデジタルデータを所定のビットレート、フォーマット形式で圧縮符号化する。また、符号・復号処理部116は、映像圧縮符号化データの復号化も行う。
なお、操作部105としてタッチパネルが用いられる場合、操作部105と表示部107とは一体的な構成として使用されることになる。タッチパネルは光の透過率が表示部107の表示を妨げないように構成され、表示部107の表示面の上層側に配設される。そして、タッチパネルにおける入力座標と、表示部107上の表示座標とが対応付けられることで、恰もユーザが表示部107上に表示された画面を直接的に操作可能であるかのようなGUIが実現される。
ここまで、カメラ100及び情報端末200の構成について説明したが、各装置の構成は本実施形態で説明したものに限定されない。例えば、1つのプロセッサなどのハードウェアが入力信号やプログラムに応じて複数の手段として機能してもよい。また、複数のハードウェアが協働して動作することで1つの手段として機能してもよい。
前述の図1に示したカメラ100と図2に示した情報端末200とからなる通信システムにおいて、ライブストリーミングが行われる場合、カメラ100は撮影映像データを情報端末200に送信し、情報端末200は受信した映像データを画面に表示する。以下、本実施形態の通信システムにおけるライブストリーミングの動作について、図1〜図8の各図を参照しながら説明する。
(2)カメラ100は、ストリーミングデータを一定時間のセグメントに分割し、そのセグメント取得先を列挙したプレイリストを作成する。ライブストリーミングの場合には、定期的にセグメントが生成されるため、新しいセグメントが生成されると、動的に新しい内容のプレイリストに更新(削除、追記)するスライドウインドウ型プレイリストを用いる。
(3)情報端末200は、プレイリストを取得・解析し、列挙順にセグメントデータ取得先からデータ取得を行い、所定の記憶領域としての受信バッファにデータを一時的に蓄積(バッファリング)する。
(4)情報端末200は、受信バッファに蓄積したデータの再生表示、または保存を行う。
(5)カメラ100と情報端末200は、プレイリスト終了(ストリーミング終了)まで、(2)〜(4)の動作を繰り返す。
このため、本実施形態では、操作UIを情報端末200に予め用意しておき、通信遅延が生じていても操作UIに影響が及ばないようにしている。さらに、本実施形態において図7の縦向き姿勢のように操作UIを表示している場合、情報端末200は、受信バッファのバッファサイズを小さくして、映像の遅延の影響を極力小さくしつつ操作UIとの親和性を高めている。つまり、受信バッファサイズを小さくすることで、カメラ100から送信された映像と情報端末200に表示されている映像との間のタイムラグを少なくし、映像を観つつユーザにより行われた操作の意図が、カメラ100側に即座に反映されるようにしている。一方、本実施形態の場合、図8の横向き姿勢のように、操作UIを非表示にした場合、受信バッファのバッファサイズを大きくして、通信遅延の影響を受け難くして、高画質の映像の視聴の継続を可能としている。つまり、受信バッファサイズを大きくすることで、情報端末200に表示される映像を途切れ難くしている。このように、本実施形態の情報端末200は、予め用意されている操作UIの表示の有無に基づき、遠隔操作と映像表示の親和性優先か又は途切れ難い映像表示を行う画質優先の、何れがユーザの意図であるのかを判定してバッファサイズを変更している。これにより、本実施形態の情報端末200では、カメラ100からのライブストリーミングの映像を表示する際に、ユーザの意図を適切に反映したスムーズな映像表示が可能となる。
先ず、カメラ100は、操作部105を介してユーザからライブストリーミングモードの実行指示が入力されると、CPU101の制御により、通信制御部108を通信可能状態とする。
カメラ100のCPU101は、プレイリスト410の最初の行411には識別子タグを記述し、次(2行目)の行412にはプレイリストバージョンを示すタグとバージョンを記述する。図4には、バージョンが"3"の例を挙げている。またCPU101は、3行目の行413にはセグメントデータ302の時間を示すタグとその時間(秒)を、整数または小数の値で記述する。本実施形態では、セグメントデータ時間長をTs=0.5(秒)としていることから、図4の例でも時間は"0.5"秒なされている。さらに、CPU101は、4行目の行414にはセグメントデータ302の取得先パス(クエリパラメータを含む)を記述する。なお、3行目の行413と4行目の行414はセグメントデータ302に関する情報として、必ず続けて記述する必要がある。このプレイリスト410は、セグメント情報(行413,414の情報)を記録した図3のプレイリスト301の内容例となる。
情報端末200は、ライブストリーミング開始後、ステップS305において、約Ts(秒)後に、ステップS304で取得したプレイリスト取得先へ、プレイリスト取得要求(HTTP GETメソッド)を行う。
また、情報端末200は、ステップS307において、受信したプレイリスト410を解析し、セグメント情報の取得先に対してセグメント取得要求(HTTP GETメソッド)を行う。
そして、カメラ100は、ステップS308において、応答セグメントとして、要求されたセグメントデータ302を送信する。
また例えば、ユーザにより端末RECボタン707の操作を介した記録指示の入力があった場合、CPU201は、前述の復号化されたデータ、またはセグメントデータ302からヘッダなどを除いたデータ部を、記録媒体212に記録保存させる。この記録の際には、順次受信したセグメントデータを結合したデータが記録される。
なお、情報端末200のステップS305,S307における要求処理では、情報端末またはアプリケーションの固有のIDが付加される。そして本実施形態のカメラ100は、最初に要求のあったIDの情報端末からの要求のみに対してストリーミングを行う。つまり、本実施形態のカメラ100と情報端末200は1対1接続でのみストリーミングを行うものとする。
しかしながら、実際には、輻輳などにより通信が定期的に行えなくなることがある。
図5は、ライブストリーミングにおいて、情報端末200の受信バッファ500のデータ蓄積状態の一例を説明する図である。図5の例では、セグメント(seq=1)からセグメント(seq=3)までの通信の後に輻輳が生じた場合を挙げている。また、図5の例の場合、受信バッファ500のバッファサイズは、例えばセグメントデータ時間長Ts×3分のデータ量(セグメントデータ三つ分)に相当するサイズであるとする。
次に、ステップS602において、CPU201は、所定時間が経過したか否かの判定を行う。CPU201は、所定時間が経過したと判定した場合にはS603へ処理を進め、一方、所定時間が経過していないと判定した場合にはS606へ処理を進める。ここで、所定時間としては、カメラ100が生成する所定の時間長Tsと同等の時間にすることが望ましい。
例えば図6に示す処理では、操作UIの表示中はバッファサイズを設定済みのサイズとし、操作UIを表示しない状態ではバッファサイズを最大とした。しかし、操作UIの表示中はバッファサイズを設定しうる最小値(これはバッファサイズ0、つまりバッファしない設定を含む)とし、操作UIを表示しない状態ではバッファサイズを設定済みのサイズとしてもよい。これは以下の理由による。すなわち、そもそもユーザがバッファを設定する意図は、ユーザが視聴において許容できる遅延を設定しているともいえる。つまり、ユーザが設定したバッファサイズは、視聴をメインとした状態(本実施形態では図8の状態)において適用する方がユーザの意図に適った表示方法とも言えるからである。いずれの方法を採用するにせよ、操作UIが表示されている状態の方が、表示されていない状態よりも遅延が少ない状態になっていることが重要である。
本発明は、上述の各実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
Claims (8)
- 情報処理装置であって、
外部装置から受信したストリーミングのための映像データに基づき、映像を再生する再生手段と、
前記再生手段により再生される映像を表示するための、前記情報処理装置に予め保持された再生用画面を表示部に表示する表示制御手段と、
前記外部装置から受信した映像データを、前記再生手段による再生のために所定の記憶領域にバッファするバッファ手段とを有し、
前記表示制御手段は、再生中の映像に関するユーザの操作を受け付けるための操作部を、前記再生中の映像とともに前記再生用画面に表示可能であり、
前記再生用画面への前記操作部の表示の有無に応じて、前記バッファ手段は前記映像データのバッファサイズを変更することを特徴とする情報処理装置。 - 前記操作部は、前記外部装置を遠隔操作するための操作部を含み、
前記遠隔操作のための操作部への操作に応じて前記外部装置を遠隔操作する遠隔操作手段をさらに有することを特徴とする請求項1に記載の情報処理装置。 - 情報処理装置の姿勢を検出する検出手段をさらに有し、
前記表示制御手段は、前記検出された姿勢に応じて、前記映像データに基づく前記映像の表示の向きを決定するとともに、前記操作部を含む前記再生用画面を表示させるか否かを決定し、
前記バッファ手段は、前記操作部を含まない前記再生用画面が表示される場合、前記バッファサイズを、前記操作部を含む前記再生用画面が表示される場合よりも大きくすることを特徴とする請求項1または2に記載の情報処理装置。 - 前記表示制御手段は、長方形の前記画面の長辺が重力方向に対して直角方向となる姿勢が前記情報処理装置の姿勢として検出された場合に、前記画面に前記操作部を表示しないことを特徴とする請求項3に記載の情報処理装置。
- 前記所定の記憶領域に前記映像データが蓄積されていない状態になった回数を計測する計測手段をさらに有し、
前記バッファ手段は、前記計測された回数が所定の閾値未満である場合には前記バッファサイズを変更しないことを特徴とする請求項1から4の何れか1項に記載の情報処理装置。 - 前記バッファサイズを、自動で変更するか手動で変更するかを設定する設定手段を有し、
前記バッファ手段は、前記設定手段により前記バッファサイズを手動で変更するよう設定されている場合には、前記バッファサイズを変更しないことを特徴とする請求項1から5の何れか1項に記載の情報処理装置。 - 情報処理装置の制御方法であって、
外部装置から受信したストリーミングのための映像データに基づき、映像を再生する再生工程と、
前記再生工程により再生される映像を表示するための、前記情報処理装置に予め保持された再生用画面を表示部に表示する表示制御工程と、
前記外部装置から受信した映像データを、前記再生工程による再生のために所定の記憶領域にバッファするバッファ工程とを有し、
前記表示制御工程では、再生中の映像に関するユーザの操作を受け付けるための操作部を、前記再生中の映像とともに前記再生用画面に表示可能であり、
前記再生用画面への前記操作部の表示の有無に応じて、前記バッファ工程では前記映像データのバッファサイズを変更することを特徴とする情報処理装置の制御方法。 - コンピュータを、請求項1から6の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017190181A JP2019068187A (ja) | 2017-09-29 | 2017-09-29 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017190181A JP2019068187A (ja) | 2017-09-29 | 2017-09-29 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019068187A true JP2019068187A (ja) | 2019-04-25 |
Family
ID=66340076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017190181A Pending JP2019068187A (ja) | 2017-09-29 | 2017-09-29 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019068187A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111918134A (zh) * | 2019-05-08 | 2020-11-10 | 南宁富桂精密工业有限公司 | 修正视讯串流流量的方法、机顶盒及计算机可读存储介质 |
| JP2023172597A (ja) * | 2022-05-24 | 2023-12-06 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
| JP7809591B2 (ja) | 2022-05-24 | 2026-02-02 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005197818A (ja) * | 2003-12-26 | 2005-07-21 | Canon Sales Co Inc | 携帯情報端末、画像配信サーバ装置、及び画像配信システム、並びに該システムにおける携帯情報端末の表示方法、プログラム、及び記憶媒体 |
| JP2006074441A (ja) * | 2004-09-02 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 画像受信装置及び画像受信方法、並びに画像伝送システム |
| JP2006211394A (ja) * | 2005-01-28 | 2006-08-10 | Toshiba Corp | 折り畳み型携帯端末装置 |
| JP2008288667A (ja) * | 2007-05-15 | 2008-11-27 | Nec Personal Products Co Ltd | 情報処理装置、情報処理方法及び情報処理システム |
| JP2011146998A (ja) * | 2010-01-15 | 2011-07-28 | Hitachi Consumer Electronics Co Ltd | コンテンツ受信機及びコンテンツ受信機における受信パケットデータの処理方法 |
| US20140267899A1 (en) * | 2013-03-13 | 2014-09-18 | Comcast Cable Communications, Llc | Methods And Systems For Intelligent Playback |
| JP2015023417A (ja) * | 2013-07-18 | 2015-02-02 | キヤノン株式会社 | 通信装置、撮像装置およびそれらの制御方法、並びにプログラム |
| KR20170089363A (ko) * | 2016-01-26 | 2017-08-03 | 정승환 | Ip카메라를 기반으로한 스마트폰 영상 제공 시스템 및 방법 |
-
2017
- 2017-09-29 JP JP2017190181A patent/JP2019068187A/ja active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005197818A (ja) * | 2003-12-26 | 2005-07-21 | Canon Sales Co Inc | 携帯情報端末、画像配信サーバ装置、及び画像配信システム、並びに該システムにおける携帯情報端末の表示方法、プログラム、及び記憶媒体 |
| JP2006074441A (ja) * | 2004-09-02 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 画像受信装置及び画像受信方法、並びに画像伝送システム |
| JP2006211394A (ja) * | 2005-01-28 | 2006-08-10 | Toshiba Corp | 折り畳み型携帯端末装置 |
| JP2008288667A (ja) * | 2007-05-15 | 2008-11-27 | Nec Personal Products Co Ltd | 情報処理装置、情報処理方法及び情報処理システム |
| JP2011146998A (ja) * | 2010-01-15 | 2011-07-28 | Hitachi Consumer Electronics Co Ltd | コンテンツ受信機及びコンテンツ受信機における受信パケットデータの処理方法 |
| US20140267899A1 (en) * | 2013-03-13 | 2014-09-18 | Comcast Cable Communications, Llc | Methods And Systems For Intelligent Playback |
| JP2015023417A (ja) * | 2013-07-18 | 2015-02-02 | キヤノン株式会社 | 通信装置、撮像装置およびそれらの制御方法、並びにプログラム |
| KR20170089363A (ko) * | 2016-01-26 | 2017-08-03 | 정승환 | Ip카메라를 기반으로한 스마트폰 영상 제공 시스템 및 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111918134A (zh) * | 2019-05-08 | 2020-11-10 | 南宁富桂精密工业有限公司 | 修正视讯串流流量的方法、机顶盒及计算机可读存储介质 |
| CN111918134B (zh) * | 2019-05-08 | 2022-06-21 | 南宁富联富桂精密工业有限公司 | 修正视讯串流流量的方法、机顶盒及计算机可读存储介质 |
| JP2023172597A (ja) * | 2022-05-24 | 2023-12-06 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
| JP7809591B2 (ja) | 2022-05-24 | 2026-02-02 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7632530B2 (ja) | 画像通信システム、通信端末、通信方法、提供方法、及びプログラム | |
| JPWO2013132828A1 (ja) | 通信システムおよび中継装置 | |
| JP2016123137A (ja) | 画像通信装置および撮像装置 | |
| KR20170023885A (ko) | 음성 또는 영상 통화 중 컨텍스트 정보 합성 및 전송 기법 | |
| US9055204B2 (en) | Image capture device with network capability and computer program | |
| JP2012217166A (ja) | 画像送信装置、画像記録装置及び画像記録方法 | |
| US9445142B2 (en) | Information processing apparatus and control method thereof | |
| US20170070699A1 (en) | Information processing apparatus, image capturing apparatus, and control methods for the same | |
| JP6360300B2 (ja) | 通信装置、撮像装置およびそれらの制御方法、並びにプログラム | |
| JP7792761B2 (ja) | 通信装置およびその制御方法 | |
| JP6257197B2 (ja) | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 | |
| JP6289076B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2019068187A (ja) | 情報処理装置、情報処理装置の制御方法、及びプログラム | |
| JP2008154073A (ja) | 撮像装置および撮像システム | |
| US20150373073A1 (en) | Image pickup apparatus, control method and recording medium | |
| US11470234B2 (en) | Wireless camera and method of video streaming | |
| JP2017112455A (ja) | 情報処理装置 | |
| JP6254862B2 (ja) | 撮像装置およびその制御方法、システム、並びにプログラム | |
| JP2017208672A (ja) | 映像供給装置、映像取得装置、それらの制御方法及びプログラム、並びに映像供給システム | |
| JP2025126680A (ja) | 通信装置およびその制御方法、プログラム、記憶媒体 | |
| JP2017046183A (ja) | 送信装置、受信装置及び通信システム | |
| JP2025127306A (ja) | ビットレート制御装置、ビットレート制御方法、及びコンピュータプログラム | |
| JP2015032953A (ja) | 撮像システム、情報通信端末およびプログラム | |
| JP2017022553A (ja) | 撮像記録装置及び撮像記録装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200826 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210525 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211102 |