JP2018198074A - 通信装置、その制御方法、およびプログラム - Google Patents

Abstract

【課題】ユーザが意図する装置間で画面共有行う。【解決手段】無線ネットワークを介して他の通信装置と画面共有を行う通信装置は、表示部に表示される画像をキャプチャして共有画像を生成し、該通信装置を識別できる確認画像を取得し、共有画像または確認画像を該他の通信装置に送信する。通信装置は、無線接続が確立した後に確認画像を送信し、該確認画像を送信した後、画面共有を行うとユーザの操作により決定された場合に、共有画像を送信する。【選択図】 図2

Description

本発明は、通信装置、その制御方法、およびプログラムに関し、特にディスプレイに表示される画像をネットワークを介して他の装置に送信することにより画面共有をするために用いて好適な技術に関する。

近年、ディスプレイ画面をワイヤレスでミラーリングする技術がWi-Fi CERTIFIED Miracast（登録商標）等で提案されている（非特許文献1）。ミラーリングとは送信装置のディスプレイ画面をネットワークを介して受信装置へ伝送することにより画面を共有する技術である。また、非特許文献1において送信装置と受信装置が直接無線ネットワークで接続する方法として、Wi-Fi Direct（登録商標）が提案されている。また、無線ネットワーク接続時のセキュリティ設定を簡素化する方法として、Wi-Fi Protected Setup（登録商標)が提案されている。WPSには、パスワードにより設定を行うPIN方式、プッシュボタンにより設定を行うPBC方式、および近距離無線通信(NFC)を使用して設定を行うNFC方式などがある。このように、Wi-Fi CERTIFIED Miracast（登録商標）によってユーザは直接無線ネットワークを介して簡単な操作で画面を共有することができる。

また、特許文献1および特許文献2では、受信装置が認証パスワードを表示し、送信装置から受信装置に表示されたパスワードを入力することによってネットワーク接続の認証をするための技術が提案されている。

"Wi-Fi CERTIFIED Miracast | Wi-Fi Alliance", http://www.wi-fi.org/discover-wi-fi/wi-fi-certified-miracast

特開2011-118243号公報 特開2003-069923号公報

従来、送信装置が画面共有を行うために無線ネットワークに接続する場合、送信装置は受信装置を探索した結果を表示し、ユーザはその探索結果から受信装置を選択することで画面共有を行う受信装置を決定していた。また、受信装置の中には、ユーザ操作なしに、送信装置との無線ネットワーク接続確立を行うものがある。送信装置が、このような受信装置と無線ネットワークを介して画面共有を行う場合、ユーザは自身が選択した受信装置へ画像が送信されるかを、事前に送信装置の画面で確認することができない、という課題があった。このため、ユーザが画面共有を行う受信装置の選択を誤ってしまうと、ユーザが望まない受信装置へ共有画像を送信してしまう可能性があった。

また、特許文献1および特許文献2では、パスワードを用いない認証方法で無線ネットワーク接続をした際に、画面送信先の装置が正しいかを確認する方法についての提案はされていなかった。

本発明は、上記課題に鑑みてなされたものであり、ユーザが意図する装置間で画面共有行うことを目的とする。

上記目的を達成するための一手段として、本発明の通信装置は以下の構成を備える。すなわち、画像を、他の通信装置に表示させるために送信する第一の送信手段と、前記通信装置の前記表示部に表示されている表示画像を、前記他の通信装置に表示させるために送信する第二の送信手段と、前記保持画像を前記他の通信装置に送信する場合に、画像の表示に関する情報として、前記保持画像の表示に関する情報を前記他の通信装置に通知する第一の通知手段と、前記第一の送信手段によって前記保持画像を前記他の通信装置に送信した後に前記第二の送信手段による前記他の通信装置への前記表示画像の送信を行うかどうかを決定する決定手段と、前記決定手段により前記表示画像の送信を行うと決定された場合は、前記他の通信装置に前記保持画像が送信された後に、前記第二の送信手段による前記他の通信装置への前記表示画像の送信が行われるように制御し、前記決定手段により前記表示画像の送信を行わないと決定された場合は、前記他の通信装置に前記保持画像が送信された後に、前記第二の送信手段による前記他の通信装置への前記表示画像の送信が行われないように制御する制御手段と、前記決定手段により前記表示画像の送信を行うと決定された場合に、前記第二の送信手段による前記表示画像の送信が行われる前に、前記表示画像の表示に関する情報を前記他の通信装置に通知する第二の通知手段と、を有する。

以上の構成からなる本発明によれば、ユーザが意図する装置間で画面共有行うことが可能となる。

実施形態1、2に係る送信装置100と、受信装置200の接続形態を示す図。 実施形態1に係る送信装置100の内部構成例を示すブロック図。 実施形態1に係る画面共有処理のシーケンスの一例を示す図。 実施形態1に係る接続先選択画面の一例を示す図。 実施形態1に係る画面共有確認判定制御の一例を示す図。 実施形態1に係る画面共有確認画面の一例を示す図。 実施形態1に係る画面共有選択判定制御の一例を示す図。 実施形態1に係る共有画面の一例を示す図。 実施形態2に係る送信装置900の内部構成例を示すブロック図。 実施形態2に係る画面共有処理のシーケンスの一例を示す図。 実施形態2に係る画面共有確認送信画像の一例を示す図。 実施形態2に係る画面共有確認画面表示の一例を示す図。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態1＞
本実施形態では、送信装置と受信装置が送信確認画像を共有することにより、共有画面の送信を確認する方法について説明する。

図1は、実施形態1に係る送信装置100と、受信装置200の接続形態を示す図である。送信装置100と受信装置200は、無線ネットワーク300を介して相互に無線接続されている。送信装置100は、受信装置200から無線ネットワーク300を介して送信される画像配信リクエストに従って、画像データの送信を開始、一時停止、または終了する。送信装置100は、本実施形態内にて特に記載のない動作に関して、Wi-Fi CERTIFIED Miracast（登録商標）の規格に従う。送信装置100の具体的な例としては、カメラ、ビデオカメラ、スマートフォン、携帯電話、PC等が挙げられるが、後述のハードウェア構成及びモジュール構成を満たすものであれば、これらに限定されない。

一方、受信装置200は、送信装置100から無線ネットワーク300を介して送信される画像データを受信し、該画像データを表示する。受信装置200は、本実施形態内にて特に記載のない動作に関して、Wi-Fi CERTIFIED Miracast（登録商標）の規格に従う。受信装置200の具体的な例としては、スマートフォン、携帯電話、PC、テレビ、プロジェクター等が挙げられるが、後述のハードウェア構成及びモジュール構成を満たすものであれば、これらに限定されない。無線ネットワーク300は、例えばホームネットワークとしての無線LAN(Wireless LAN)であるが、これに限定されない。

図2は、実施形態1に係る送信装置100の内部構成例を示すブロック図である。バス101は、各種データの転送経路である。例えば、キャプチャ部108によってキャプチャされたデジタルデータは、バス101を介して所定の処理部に送られる。通信部102は、受信装置200に対して画像データや制御情報の送受信を行う。一般的に画像データは情報量が大きいため、通信部102は、ネットワークを介して画像データを送受信する場合、エンコード部109で圧縮符号化されたデータを用いる。

また本実施形態では、データ転送プロトコルとしてRTP(Real-time Transport Protocol)を用い、再生制御プロトコルとしてはRTSP(Real Time Streaming Protocol)を用いるものとする。RTPは、IETF(The Internet Engineering Task Force)によりRFC3550で標準化された、動画像や音声などのマルチメディアデータをネットワークを介してリアルタイムに送受信するためのプロトコルである。RTPの下位層のトランスポートプロトコルとして、UDPやHTTP、HTTPS、TCPを利用することが可能である。RTSPは、RFC2326で標準化された、ストリーミングを制御するためのプロトコルであり、RTSPの下位層のトランスポートプロトコルとしてはTCPが用いられる。また、本実施形態のエンコーダ部103は、多重化方式としてMPEG-2 TSを用いるため、通信部102はMPEG-2 TSデータのRTPペイロードフォーマットを規定しているRFC2250に従って画像データをパケット化するものとする。尚、エンコーダ部103によるパケット化処理は、これに限定されるものではない。

表示部103は、映像の表示を行う。表示部103として、例えば、液晶ディスプレイが用いられる。操作部104は、ユーザからの入力（操作情報）を受け付ける。操作部104として、例えば、マウスやキーボード、タッチスクリーンが用いられる。通信制御部105は、受信装置へ送信する画像データや制御情報の通信制御を行う。また、通信制御部105は、受信装置200から無線ネットワーク300を介して送信される遠隔操作情報の受信機能を有していてもよく、その場合は受信装置200で入力されたユーザ指示を、操作部104の入力として扱うことも可能である。

表示制御部106は、表示部103に表示される画像や文字の表示制御を行う。操作制御部107は、操作部104から入力される操作情報の制御を行う。キャプチャ部108は、表示部103に表示された画像をキャプチャし画像データを生成する。キャプチャされる画像には、例えば画像に重ねて表示される操作ボタン等のOSD情報も含まれる。エンコード部109は、画像データをMPEG-4 AVC/H.264方式にて圧縮符号化し、更にMPEG-2 TS方式にて多重化する処理を行う。MPEG-2 TSは、符号化された画像や音声等のメディアデータを多重化、伝送するためのコンテナ形式であり、本実施形態の多重化方式として利用される。

記憶部110は、送信装置100が動作するプログラムおよび制御データを保存するROMおよびRAMで構成される。アプリケーション制御部111は、記憶部110に保存された送信装置100で動作するアプリケーションプログラムを制御する。確認画像生成部112は、送信装置100に表示される画面を他の装置と共有するか否か（画面共有を行うか否か）を確認するための画面共有確認画面を生成する。画面共有確認部113は、画面共有を行うか否かをユーザに選択させるための画面共有確認を行うか否かを判定する。画面共有判定部114は、画面共有を行うか否かを判定する。

続いて、本実施形態の送信装置100と受信装置200による画像送受信制御について、図3を用いて説明する。図3は、実施形態1に係る、送信装置100と受信装置200が接続を開始し、送信装置100が画像を送信するまでのシーケンスの一例を示す図である。上から下へ時系列順にステップを記載している図である。

ステップS301にて、送信装置100の通信制御部105は、接続先となる装置を探索開始する。探索の方法として、例えば、送信装置100は、Wi-Fi Direct（登録商標）が規定するプロセスであるDevice Discoveryを実行する。Device Discoveryでは、無線LANマネージメントフレームであるProbe RequestおよびProbe Responseを用いた無線フレーム送受信により、複数の装置は、互いの装置を探索する。一定時間経過または、ユーザからのデバイス探索終了操作により、処理はステップS302へ進む。

ステップS302にて、送信装置100の表示部103は、表示制御部106において生成された受信装置のリストを表示する。受信装置のリストは、ステップ301にて送信装置100が受信装置から受信した、受信装置を一意に識別可能な情報のリストである。この情報として、例えば、受信装置200から受信したBeaconフレームや、Probe Responseフレームなどに含まれるP2P Information Element(以下、P2P IEと称す)の情報が使用される。また、P2P IEのP2P Device Info attributeに含まれる、P2P Device AddressやDevice Nameの情報も、受信装置を一意に識別可能な情報である。

図4は、ステップS302にて送信装置100の表示部103が表示する接続先選択画面400の例である。接続先選択画面400において、受信装置のリスト401が表示されている。ここで、受信装置200は、受信装置のリスト401において、Device Nameから取得されたMiracast_Sink-001であるとする。受信装置のリスト401において、ユーザの操作により任意の受信装置が選択され、「実行」ボタン404が押下されると、接続先選択画面400が閉じられて、処理はステップS303に進む。

尚、送信装置100の表示部103は、画面共有先の確認をするか否かの選択画面を表示しても良い。画面共有先の確認をするか否かの選択画面の例として、図4に画面共有先確認選択402を示した。画面共有先確認選択402はチェックボックスである。送信装置は、ユーザの操作により、画面共有先確認選択402がチェックされ、「実行」ボタン404が押下されると、図5を用いて後述する画面共有確認が行われる。尚、受信装置のリスト401における受信装置の選択と、画面共有先確認選択402のチェックを解除したい場合は、ユーザは「キャンセル」ボタン403を押下する。

本実施形態では、ステップS302にて、ユーザの操作により、受信装置200が選択されたとすると、ステップS303にて、送信装置100の通信制御部105は、受信装置200と無線ネットワーク接続を開始する。ここで、送信装置100は無線ネットワークのセキュリティ設定方法としてWi-Fi Protected Setup(登録商標）（以下WPSと称す)を使用する。WPSによるセキュリティ設定方法は、パスワードによるPIN方式、プッシュボタンによるPBC方式、および近距離無線通信(NFC)を使用するNFC方式などがある。無線ネットワーク接続が完了すると、処理はステップS304へ進む。

ステップS304にて、送信装置100の通信制御部105は、受信装置200と能力情報を交換する。能力情報とは、送信装置100または受信装置200が取り扱い可能な画像の情報や、UIBC(User Input Back Channel)機器の情報などである。ここで、UIBC機器情報とは、受信装置200が送信装置100を遠隔操作するための情報である。UIBC機器情報には、遠隔操作が有効であるか否かの情報、および遠隔操作を行う操作機器種別の情報が含まれる。操作機器種別は、例えばマウスやキーボードなどである。能力情報の交換は、例えば、Wi-Fi CERTIFIED Miracast （登録商標）（以下、Miracastと称する)におけるRTSPメッセージ交換により行われる。具体的には、送信装置100と受信装置200は、Miracastに規定される、M1(OPTION)、M2(OPTION)、M3(GET_PARAMETER)、M4(SET_PARAMETER)により、能力情報を交換する。

能力情報の交換の際、送信装置100の画面共有確認部113は、受信装置200へ画面共有確認画像を送信するか否かの判定（画面共有確認判定）を実施しても良い。画面共有確認判定方法については、図5を用いて後述する。この画面共有確認判定において、送信先の装置の確認を行う場合には、送信装置100は、RTSP M4リクエストメッセージによってUIBC機器情報の受信を無効に設定しても良い。具体的には、送信装置100は、RTSP M4リクエストにおいてwfd-uibc-settingパラメータをdisableに設定する。送信装置100は、UIBC機器情報の受信を無効に設定することにより、後のステップで行われる画面共有選択を受信装置200から操作されることが防止できる。能力情報の交換が終わると、処理はステップS305へ進む。

ステップS305にて、送信装置100の通信制御部105は、受信装置200との間で画像送信セットアップを行う。画像送信セットアップとは、例えば、MiracastにおけるRTSPメッセージ交換により行われる。このメッセージ交換は、具体的には、Miracastに規定される、M5(SET_PARAMETER)によるTrigger SETUP、M6(SETUP)、およびM5(SET_PARAMETER)によるTrigger PLAY、M7(PLAY)によるメッセージ交換である。ここで、送信装置100の通信制御部105は、ステップS304にて画面共有確認部113による画面共有確認判定の結果に応じて、以降の処理を分岐する。すなわち、画面共有確認部113が画面共有確認を行う場合には処理はステップS306に進む。画面共有確認を行わない場合には処理はステップS312に進む。

ステップS306にて、送信装置100の表示部103は、画面共有確認画像を表示する。画面共有確認画像は、確認画像生成部112により生成され、表示制御部106を通じて表示部103に表示される。画面共有確認画像は、例えば後述の図6のように送信装置100が一意に識別できる画像とする。また、表示部103は、画面共有確認画像を表示領域全てを使用して全画面で表示してもよい。表示部103が全画面を使って表示することにより、ユーザが共有したい共有画面を表示部103に表示させないようにすることができる。また、共有画面とは、例えば後述の図8のような送信装置100のアプリケーション制御部111で動作するアプリケーションによって表示される画面とする。表示部103が画面共有確認画像を表示した後に、処理はステップS307に進む。

ステップS307にて、送信装置100の通信制御部105は、画面共有確認画像を受信装置200へ送信する。画像の送信は、Real-time Transport Protocol(以下、RTPと称す)が用いられる。このとき、送信画像は、送信装置100に表示している画像がキャプチャされて生成される。具体的には、まず、送信装置100のキャプチャ部108は、表示部103に表示されている画像をキャプチャする。続いて送信装置100のエンコード部109は、キャプチャ部108によりキャプチャした画像を符号化して、受信装置200で受信可能な送信画像を生成する。画面共有確認画像の送信開始後、処理はステップS308へ進む。

ステップS308にて、送信装置100の画面共有判定部114は、画面共有をするか否かを判定する。画面共有判定部114での判定方法は、図7を用いて後述する。画面共有をすると判定されたのであれば、処理はステップS309へ進む。画面共有をしないと判定されたのであれば、処理はステップS311へ進む。

ステップS309にて、送信装置100の通信制御部105は、画面共有を行うための共有画像を受信装置200へ送信する。画像の送信および生成は、ステップS307と同様にRTPを用い、送信装置100のエンコード部109により表示画像をキャプチャすることにより実現される。ここで、送信装置100の表示部103は、共有画像を表示する。共有画像とは、例えばアプリケーション制御部111によって生成される画像である。図8は、共有画像の一例を示す図である。送信装置100の表示部103に表示している画面は共有画面であるため、キャプチャ部108により生成される送信画像は共有画像となる。なお、共有画像は表示部103に表示可能な範囲の一部を占める画像であってもよい。共有画像の送信を開始後、処理はステップS310へ進む。

ステップS310にて、送信装置100の通信制御部105は、受信装置200に対してUIBC機器情報を有効に設定する。具体的には、通信制御部105は、RTSP M4リクエストにおいてwfd-uibc-settingパラメータをenableに設定する。通信制御部105は、UIBC機器情報を有効に設定することにより、以降受信装置200からの遠隔操作を許可する。

ステップ308にて画面共有をしないと判定された場合、ステップS311にて、送信装置100の通信制御部105は、受信装置200との無線ネットワーク接続を切断して、本シーケンスを終了する。また、ステップS304にて画面共有確認を行わないと判定された場合、ステップS312にて、送信装置100の通信制御部105は、共有画像を受信装置200へ送信する。共有画像の生成および送信方法は、ステップS309と同様のため、ここでは説明を省略する。

図5は、ステップS304における、送信装置100の画面共有確認判定制御の一例を示す図である。画面共有確認判定制御は、図2の画面共有確認部113で実施され、画面共有確認を行うか否かが判定される。ステップS501にて、送信装置100の画面共有確認部113は、画面共有確認条件を満たすか否かを判定する。画面共有確認条件を満たすのであれば、画面共有確認部113は画面共有確認を行うと判定する(ステップS502)。画面共有確認条件を満たさないのであれば、画面共有確認部113は画面共有確認を行わないと判定する(ステップS503)。ここで、画面共有確認条件とは、例えば以下の4つの条件のいずれかまたは組み合わせである。

一つ目は、図4の接続先選択画面400の画面共有先確認選択402がチェックされたこと（「画面共有先を確認する」が選択された場合）である。二つ目は、送信装置100の通信部102が無線ネットワーク接続を確立した際に用いたWPSのセキュリティ設定方法が、特定の方法であったことである。具体的には、セキュリティ設定方法がプッシュボタンによって行われるPBC方式の場合である。セキュリティ設定方法がパスワードを受信装置へ表示するPIN方式や、タッチ操作により接続先を特定するNFC方式を用いた場合は、画面共有確認部113は画面共有確認を行わないと判定する。三つ目は、送信装置100のアプリケーション制御部111により表示された画像データ種別が、機密扱いのデータ種別であったことである。四つ目は、送信装置100のアプリケーション制御部111によって表示された画像データ種別が、著作権保護扱いのデータ種別であったことである。

図7は、ステップS308における、送信装置100の画面共有判定制御の一例を示す図である。画面共有判定制御は、図2の画面共有判定部114で実施される。図6に、画面共有確認画面の一例を示す。送信装置100の操作制御部107は、表示部103に表示される画面共有確認画面において、ユーザによるボタン押下を検知し、この検知に基づいて、画面共有判定部114は、画面共有を行うか否かを判定する。ユーザは、受信装置200に表示された画面共有画像を視認して、画面共有を許可するか否かを決定し、ボタンを押下する。

ステップS701にて、操作制御部107は、画面共有確認画面において「はい」ボタン601が押下されたことを判定する。「はい」ボタン601が押下されたのであれば、画面共有判定部114は、画面共有を行うと判定する(ステップS702)。「いいえ」ボタン602が押下されたのであれば、画面共有判定部114は、画面共有を行わないと判定し、無線ネットワーク接続を切断する処理を行う(ステップS703)。なお、送信装置100の通信制御部105が、受信装置200で入力されたユーザ指示を検知可能であれば、該検知に応じて、画面共有判定部114は、画面共有を行うか否かを判定してもよい。

このように本実施形態によれば、送信装置は画面共有前に、画像送信先をユーザに視認するための画面共有確認画像を送信する。ユーザは、画面共有を行う受信装置に表示された画面共有確認画像を視認して画面共有を許可するか否かを決定する。これにより、ユーザが望まない受信装置へ共有画像を送信する可能性を減らすことができる。

＜実施形態2＞
本実施形態では、送信装置があらかじめ作成した送信確認画像を送信することにより、共有画面の送信を確認する方法について説明する。実施形態1と同様である点に関して、ここでは説明を省略する。

図1に関しては、実施形態1と同じであるので説明を省略する。図9は、実施形態2に係る送信装置900の内部構成例を示すブロック図である。図9に示すように、本実施形態の送信装置900は、確認画像記憶部901を備える。同図において、図2と同じ部分には同じ番号を付与し、説明を省略する。

確認画面記憶部901は、受信装置200へ送信する送信確認画像を保持する。画面共有確認画像は、MPEG-4 AVC/H.264方式にて圧縮符号化され、更にMPEG-2 TS方式にて多重化された画像データである。画面共有確認画像は、例えば後述の図11に示す画面共有確認送信画像1100のように、送信装置900が一意に識別できる画像とする。また、画面共有確認画像の生成に関し、送信装置900は、あらかじめROMに生成済みの画像を保持しても良いし、送信装置900のシステム起動時や図10に示すシーケンスの開始時などに、エンコード部109によって動的に生成された画像をRAMに保持しても良い。画面共有確認画像形式は、全ての受信装置で表示可能でなければならないため、Miracastにてサポートが必須と規定されている画像形式を使用することが望ましい。

続いて、本実施形態の送信装置900と受信装置200による画像送受信制御について、図10を用いて説明する。図10は、実施形態2に係る、送信装置900と受信装置200が接続を開始し、送信装置900が画像を送信するまでのシーケンスの一例を示す図である。上から下へ時系列順にステップを記載している図である。

ステップS1001にて、送信装置900の通信制御部105は、接続先となる装置を探索開始する。本ステップの処理は、図3のステップS301と同様であるため、説明を省略する。一定時間経過または、ユーザからのデバイス探索終了操作により、処理はステップS1002へ進む。ステップS1002にて、送信装置900の表示部103は、表示制御部106において生成した受信装置のリストを表示する。本ステップの処理は、図3のステップS302と同様であるため、説明を省略する。受信装置のリスト401においてユーザ操作により受信装置が選択されると、接続先選択画面400は閉じられ、処理はステップS1003に進む。

ステップS1003にて、送信装置900の通信制御部105は、受信装置200と無線ネットワーク接続を開始する。本ステップの処理は、図3のステップS303と同様であるため、説明を省略する。無線ネットワーク接続が完了すると、処理はステップS31004へ進む。ステップS1004にて、送信装置900の通信制御部105は、受信装置200と能力情報を交換する。本ステップは、図3のステップS304と能力情報の交換方法は同じである。M4(SET_PARAMETER)のwfd-video-formatsパラメータで送信する送信画像情報として、後のステップS1007で送信する確認画像記憶部901に保持された共有確認画像の画像解像度やリフレッシュレート情報などが使用される点が異なる。能力情報の交換が終わると、処理はステップS1005へ進む。

ステップS1005にて、送信装置900の通信制御部105は、受信装置200と画像送信セットアップを行う。本ステップの処理は、図3のステップS305と同様であるため、説明を省略する。画面共有確認を行う場合には、処理はステップS1006に進む。画面共有確認を行わない場合には、処理はステップS1013に進む。ステップS1006にて送信装置900の表示部103は、画面共有確認画像を表示する。画面共有確認画像は、送信装置900の確認画像生成部112において生成され、表示制御部106を通じて表示部103に表示される。ここで画面共有確認画像は、実施形態1と同様に、例えば後述の図6のように送信装置900が一意に識別できる画像とする。

図12に、表示部103における画面共有確認画面の表示例を示す。図12の画面共有確認画面表示1200において、共有画像800を視認しやすい右下に画面共有確認画像600が表示されている。これより、ユーザは、画面共有を行う画面と、画面共有確認画面を同時に確認することができる。表示部103が画面共有確認画像を表示した後、処理はステップS1007へ進む。

ステップS1007にて、送信装置900の通信制御部105は、確認画像記憶部901に保存された送信確認画像を受信装置200へ送信する。図11に、送信確認画像1100の一例を示す。図11に示されるように、送信確認画像1100は、送信装置900が一意に識別できる画像とする。また画像の送信は、図3のステップS307と同様RTPを用いる。送信装置100は、送信用確認画像1100の送信開始後、処理はステップS1008へ進む。

ステップS1008にて、送信装置100の画面共有判定部114は、画面共有をするか否かを判定する。本ステップの処理は、図3のステップS308と同様であるため、説明を省略する。画面共有をすると判定されたのであれば、処理はステップS1009へ進む。画面共有をしないと判定されたのであれば、処理はステップS1012へ進む。

ステップS1009にて、送信装置900の通信制御部105は、送信画像を切り替えるため、受信装置200へAVフォーマットの変更を通知する。AVフォーマットの変更はRTSP M4(SET_PARAMETER)メッセージにより通知する。具体的には、RTSP M4リクエストにおいてwfd-video-formatsパラメータを使用して後のステップS1010で送信する共有画像の解像度やリフレッシュレートなどの画像情報を通知する。AVフォーマットの通知が終了すると、ステップS1010へ進む。

ステップS1010にて、送信装置900の通信制御部105は、画面共有を行うための共有画像を受信装置200へ送信する。本ステップの処理は、図3のステップS309と同様であるため、説明を省略する。共有画像の送信開始後、処理はステップS1011へ進む。ステップS1011にて、送信装置900の通信制御部105は、受信装置200へUIBC機器情報を有効に設定する。本ステップの処理は、図3のステップS310と同様であるため、説明を省略する。ステップS1012にて送信装置900の通信制御部105は、受信装置200との無線ネットワーク接続を切断して、本シーケンスを終了する。ステップS1013にて送信装置900の通信制御部105は、共有画像を受信装置200へ送信する。共有画像の生成および送信方法は、ステップS309と同様のため、ここでは説明を省略する。

このように本実施形態によれば、送信装置は画面共有前に、予め用意した送信確認画面を送信する。画面共有を行う受信装置に表示された画面共有確認画像を視認して画面共有を許可するか否かを決定する。これにより、ユーザが望まない受信装置へ共有画像を送信する可能性を減らすことができる。これにより、ユーザが望まない受信装置へ共有画像を送信する可能性を減らすことができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

100 送信装置、 101 バス、 102 通信部、 103 表示部、 104 操作部、 105 通信制御部、 106 表示制御部、 107 操作制御部、 108 キャプチャ部、 109 エンコード部、 110 記憶部、 111 アプリケーション制御部、 112 確認画像生成部、 113 画面共有確認部、 114 画面共有判定部、 200 受信装置、 300 無線ネットワーク

Claims (12)

1. 通信装置であって、
   前記通信装置の記憶部に記憶されており、前記通信装置の表示部に表示されていない保持画像を、他の通信装置に表示させるために送信する第一の送信手段と、
   前記通信装置の前記表示部に表示されている表示画像を、前記他の通信装置に表示させるために送信する第二の送信手段と、
   前記保持画像を前記他の通信装置に送信する場合に、画像の表示に関する情報として、前記保持画像の表示に関する情報を前記他の通信装置に通知する第一の通知手段と、
   前記第一の送信手段によって前記保持画像を前記他の通信装置に送信した後に前記第二の送信手段による前記他の通信装置への前記表示画像の送信を行うかどうかを決定する決定手段と、
   前記決定手段により前記表示画像の送信を行うと決定された場合は、前記他の通信装置に前記保持画像が送信された後に、前記第二の送信手段による前記他の通信装置への前記表示画像の送信が行われるように制御し、
   前記決定手段により前記表示画像の送信を行わないと決定された場合は、前記他の通信装置に前記保持画像が送信された後に、前記第二の送信手段による前記他の通信装置への前記表示画像の送信が行われないように制御する制御手段と、
   前記決定手段により前記表示画像の送信を行うと決定された場合に、前記第二の送信手段による前記表示画像の送信が行われる前に、前記表示画像の表示に関する情報を前記他の通信装置に通知する第二の通知手段と、
   を有することを特徴とする通信装置。
2. 前記第一の通知手段によって通知される前記保持画像の表示に関する情報とは、前記保持画像の解像度とリフレッシュレートとの少なくとも一方であることを特徴とする請求項１に記載の通信装置。
3. 前記第二の通知手段によって通知される前記表示画像の表示に関する情報とは、前記表示画像の解像度とリフレッシュレートとの少なくとも一方であることを特徴とする請求項１または２に記載の通信装置。
4. 前記第一の送信手段によって前記保持画像を送信する場合に、前記保持画像とは異なる画像であって、前記第二の送信手段による前記表示画像の送信を行うかどうかのユーザ操作を受け付ける画像を前記表示部に表示する表示制御手段を更に有し、
   前記決定手段は、受け付けた前記ユーザ操作に基づいて、前記第二の送信手段による前記表示画像の送信を行うかどうかを決定することを特徴とする請求項１から３の何れか一項に記載の通信装置。
5. 前記保持画像は、前記通信装置を一意に識別できる画像であることを特徴とする請求項１から４の何れか一項に記載の通信装置。
6. 前記他の通信装置からの遠隔操作をするための情報の受信を無効に設定する設定手段を更に有し、
   前記第一の送信手段は、前記設定手段により前記他の通信装置からの前記遠隔操作のための情報の受信が無効に設定された後に前記保持画像を送信することを特徴とする請求項１から５の何れか一項に記載の通信装置。
7. 前記表示部に表示された画像のキャプチャをして画像データを取得する取得手段を更に有し、
   前記第二の送信手段は、前記取得手段によって取得された前記画像データを送信することを特徴とする請求項１から６の何れか一項に記載の通信装置。
8. 前記通信装置は、前記第一の送信手段による前記保持画像の送信を、前記他の通信装置との無線接続を介して行い、前記決定手段により前記第二の送信手段による前記表示画像の送信を行わないと決定した場合、前記無線接続を切断することを特徴とする請求項１から７の何れか一項に記載の通信装置。
9. 前記第一の送信手段は、Ｗｉ-Ｆｉ Ｍｉｒａｃａｓｔ規格に従って、前記保持画像を送信することを特徴とする請求項１から８の何れか一項に記載の通信装置。
10. 前記第二の送信手段は、Ｗｉ-Ｆｉ Ｍｉｒａｃａｓｔ規格に従って、前記表示画像を送信することを特徴とする請求項１から９の何れか一項に記載の通信装置。
11. 通信装置の制御方法であって、
    前記通信装置の記憶部に記憶されており、前記通信装置の表示部に表示されていない保持画像を、他の通信装置に表示させるために送信する第一の送信工程と、
    前記通信装置の前記表示部に表示されている表示画像を、前記他の通信装置に表示させるために送信する第二の送信工程と、
    前記保持画像を前記他の通信装置に送信する場合に、画像の表示に関する情報として、前記保持画像の表示に関する情報を前記他の通信装置に通知する第一の通知工程と、
    前記第一の送信工程において前記保持画像を前記他の通信装置に送信した後に前記第二の送信工程における前記他の通信装置への前記表示画像の送信を行うかどうかを決定する決定工程と、
    前記決定工程において前記表示画像の送信を行うと決定された場合は、前記他の通信装置に前記保持画像が送信された後に、前記第二の送信工程における前記他の通信装置への前記表示画像の送信が行われるように制御し、
    前記決定工程において前記表示画像の送信を行わないと決定された場合は、前記他の通信装置に前記保持画像が送信された後に、前記第二の送信工程における前記他の通信装置への前記表示画像の送信が行われないように制御する制御工程と、
    前記決定工程において前記表示画像の送信を行うと決定された場合に、前記第二の送信工程における前記表示画像の送信が行われる前に、前記表示画像の表示に関する情報を前記他の通信装置に通知する第二の通知工程と、
    を有することを特徴とする通信装置。
12. 請求項１から１０の何れか一項に記載の通信装置の各手段としてコンピュータを機能させるためのプログラム。

Images