JP2018152724A - 情報端末装置、情報処理システム、情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】本発明によれば、外部機器と連携する際に連携する外部機器において実現しようとする機能を効率良く達成するために必要な機能を発動させることにより、各機器との連携を効率化することができる。【解決手段】情報端末装置は、１以上の代替機能を実現する機能実現部と、連携する１以上の外部機器との間で通信を行う通信部と、連携モードにおいて、前記機能実現部の前記代替機能を実現させつつ、前記通信部を介して前記外部機器の所定の機能に関する設定を行う連携準備モードを実行し、前記連携準備モード終了後に前記外部機器の前記所定の機能を実現させる本連携モードに移行する制御部とを具備する。【選択図】図１

Description

本発明は、複数の機器を連携して所望の機能を実現する、いわゆるＩｏＴ（Internet of Things）の情報処理に好適な情報端末装置、情報処理システム、情報処理方法及び情報処理プログラムに関する。

近年、スマートフォンやタブレットＰＣ、ノートＰＣなどの携帯情報端末と他の機器（外部機器）を連携させて、遠隔操作や情報管理の一元化、これまでの様々な制約を超えた機器制御の技術が模索されている。

例えば、イメージセンサやマイクロホン等のセンサによって、画像情報や音声情報等の情報を取得する撮影機器や録音機器を、スマートフォン等の情報端末装置によって制御することが考えられる。スマートフォンをリモコン装置として利用し、表示パネル上に撮影機器や録音機器等の制御用の画面を表示して、タッチ操作によって撮影や録音の動作を制御することが可能である。

更に、ＩｏＴでは、無線、有線を介して他の機器を操作するリモコン装置としての利用だけでなく、スマートフォンやタブレットＰＣ等を制御機器として利用して外部機器から情報収集を行うことで、外部機器だけでは果たせない機能の達成も可能になると考えられる。

このような機器連携の１例として、例えば特許文献１には、検索された無線通信機器が自車内に存在するものか否かを判別して制御を行う技術が開示されている。

特開２００９−２６７６６６号公報

しかしながら、特許文献１の検索機能の提案では、迅速な接続や機能の起動を達成することはできない。

本発明は、各機器との連携を効率化することができる情報端末装置、情報処理システム、情報処理方法及び情報処理プログラムを提供することを目的とする。

本発明の一態様による情報端末装置は、１以上の代替機能を実現する機能実現部と、連携する１以上の外部機器との間で通信を行う通信部と、連携モードにおいて、前記機能実現部の前記代替機能を実現させつつ、前記通信部を介して前記外部機器の所定の機能に関する設定を行う連携準備モードを実行し、前記連携準備モード終了後に前記外部機器の前記所定の機能を実現させる本連携モードに移行する制御部とを具備する。

また、本発明の一態様による情報処理システムは、所定の機能を実現する１以上の外部機器と、前記所定の機能と同種の１以上の代替機能を実現する機能実現部と、連携する１以上の前記外部機器との間で通信を行う通信部と、連携モードにおいて、前記機能実現部の前記代替機能を実現させつつ、前記通信部を介して前記外部機器の所定の機能に関する設定を行う連携準備モードを実行し、前記連携準備モード終了後に前記外部機器の前記所定の機能を実現させる本連携モードに移行する制御部とを有する情報端末装置と具備する。

また、本発明の一態様による情報処理方法は、所定の機能を実現する１以上の外部機器との間で通信部により通信を行い、連携モードにおいて、前記所定の機能と同種の代替機能を実現させつつ、前記通信部を介して前記外部機器の所定の機能に関する設定を行う連携準備モードを実行し、前記連携準備モード終了後に前記外部機器の前記所定の機能を実現させる本連携モードに移行する。

また、本発明の一態様による情報処理プログラムは、コンピュータに、所定の機能を実現する１以上の外部機器との間で通信部により通信を行う手順と、連携モードにおいて、前記所定の機能と同種の代替機能を実現させつつ、前記通信部を介して前記外部機器の所定の機能に関する設定を行う連携準備モードを実行し、前記連携準備モード終了後に前記外部機器の前記所定の機能を実現させる本連携モードに移行する手順とを実行させる。

本発明によれば、各機器との連携を効率化することができるという効果を有する。

本発明の第１の実施の形態に係る情報端末装置を含む情報処理システムを示すブロック図。 撮影機器１０及びスマートフォン３０の外観を示す説明図。 レコーダ２０の外観を示す説明図。 収音範囲の判定方法を説明するためのフローチャート。 収音範囲の判定方法を説明するための説明図。 撮影の様子を示す説明図。 撮影の様子を示す説明図。 撮影の様子を示す説明図。 スマートフォン３０による制御（スマホ制御）を示すフローチャート。 連携機器の制御を示すフローチャート。 スマートフォン３０の画面表示を示す説明図。 スマートフォン３０の画面表示を示す説明図。 スマートフォン３０の画面表示を示す説明図。 スマートフォン３０の画面表示を示す説明図。 スマートフォン３０の画面表示を示す説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

図１は本発明の一実施の形態に係る情報端末装置を含む情報処理システムを示すブロック図である。図１は情報端末装置を構成するタブレットＰＣやスマートフォン３０と、外部機器である撮影機器１０及びレコーダ２０とによって情報処理システムを構成した例を示している。図２は撮影機器１０及びスマートフォン３０の外観を示す説明図であり、図３はレコーダ２０の外観を示す説明図である。

本実施の形態においては、外部機器は通信機能を有し、他の機器と通信を行って連携した処理が可能な機器である。情報端末装置は、情報処理機能のみならず、近年、様々な機能を盛り込んで発展して来たが、さらには、他の機器との連携でさらにその利用シーンを広げる傾向になる。つまり、ここでも、この外部機器との間で通信が可能であり、自機の機能だけでなく外部機器の機能を活用して、有効な連携処理を行う連携モードで動作可能である。この場合において、情報端末装置は、各外部機器の各種機能と自機機能との同様の、または関連する機能について、起動に要する時間や性能等を考慮、判定、想定し、例えば各外部機器との通信の順番の制御や機能の切り換え制御等を最適化することで、高い効果や性能を得るようになっている。
例えば、情報端末装置は、連携する外部カメラや外部レコーダに撮像や録音を分担する場合には、情報端末装置自体が有する撮像機能や録音機能を利用しながら、各外部機器の機能の設定や切換え等の連携処理を行うことで、高画質、高音質の動画記録を行うこともできる。各機器の機能、性能等は、予め、情報端末装置の記録部等に入力されていてもよく、通信によって把握できるようにしたり、通信の結果によって判定したり、類推したりするようなシステムとしても良い。この場合、外部機器が、自身の名称、ＩＤや機能を送信したり性能を送信したりするようにしておけばよい。通信で行う場合は、例えば、下記のように所望のデータを取得する。

情報端末装置は、このような連携モードにおいて、高い効果や性能を得る連携を可能にするために、先ず連携準備モードで動作して連携に役立つ外部機器への設定等を実行し、外部機器を試運転させて外部機器から所望のデータが得られることを確認するようになっている。この連携して役立つ外部機器は、情報端末装置が、データベース等で、名称、ＩＤなどから判定できるようにしてもよいし、情報端末装置の内蔵機能が起動された時、その機能によって外部機器側が、それを確認して自ら連携を開始してもよい。この場合、外部機器は、情報端末装置に得た情報を入力して、それが役立つかどうかは、取得した後に情報端末装置が、取捨選択できるような構成でもよい。また、情報端末装置は、例えば、連携準備モードにおいて所望のデータが得られたことを確認した後、実際に外部機器の機能を利用する本連携モードに移行するようになっていてもよい。
つまり、ここでの情報端末装置は、画像や音声、その他の特定情報を取得する特定の内蔵機能を起動する内蔵機能起動用入力部を有する。そして、上記特定の内蔵機能起動に伴って、外部機器との間で通信を行う通信部を使って、上記通信部で得た上記外部機器からの上記画像、音声、その他の情報と、上記内蔵機能による取得情報を連携記録または連携再生可能にする制御部とを具備したことによって、（ａ）内蔵した機能で得た相当する情報より高性能、好条件で得られた情報や、（ｂ）内蔵した機能で得られた情報に添付、補足するような情報、（ｃ）あるいは、内蔵した機能では撮り逃した情報などを有効利用できるようになっている。

先ず、図２及び図３を参照して、スマートフォン３０、撮影機器１０及びレコーダ２０の外観について説明する。

図２に示すように、スマートフォン３０（図１）の筐体３０ａには取り付け器具４１が着脱自在に取り付けられるようになっており、取り付け器具４１にはレンズ型のカメラ１０（図１）を取り付けるための取付部４２が設けられている。レンズ型のカメラ１０は撮像部１２が収納された鏡筒４３を有しており、鏡筒４３の基端側に取付部４４が設けられている。この取付部４４を取り付け器具４１の取付部４２に、嵌込み又はねじ込み等によって取り付けることができるようになっている。また、スマートフォン３０には筐体３０ａの背面の両端にマイクロホン（マイク）用の開孔３７Ｌ，３７Ｒが設けられていると共に、背面中央にレンズ３２ａが設けられている。なお、カメラとしてはレンズ型に限定されものではない。

図３に示すように、レコーダ２０の筐体２０ａは、側面の両端にステレオマイクロホン（ステレオマイク）２２Ｌ，２２Ｒが設けられて、側面の中央には、無指向性のセンターマイクロホン（センターマイク）２２Ｃが設けられている。

図１において、情報端末装置であるスマートフォン３０には第１通信部３３ａ及び第２通信部３３ｂが設けられている。外部機器であり撮像機能を有するカメラ１０には第１通信部１３ａ及び第２通信部１３ｂが設けられている。また、外部機器であり収音機能を有するレコーダ２０には第１通信部２３ａ及び第２通信部２３ｂが設けられている。第１通信部１３ａ，２３ａ，３３ａ及び第２通信部１３ｂ，２３ｂ，３３ｂは、有線又は無線による通信が可能である。第１通信部１３ａ，２３ａ，３３ａ及び第２通信部１３ｂ，２３ｂ，３３ｂは、例えば、ＷｉＦｉ等の無線ＬＡＮによる高速通信やブルートゥース（登録商標）等の近距離無線による通信が可能である。例えば、第１通信部１３ａ，２３ａ，３３ａは近距離通信が可能で、第２通信部１３ｂ，２３ｂ，３３ｂはＷｉＦｉ通信が可能に構成されていてもよい。

なお、常時接続では、電力が短時間しか保たない機器の場合、ＷｉＦｉを間欠的に行って、あらかじめ通信開始設定を早めに行うような工夫を併用すれば、ブルートゥースを用いなくてもよい。消費電力を気にすることなく、ペアリングが不要で瞬時に接続が可能な、近接無線通信（ＮＦＣやトランスファージェット等）を第１通信部に採用してもよい。第１通信は、第２通信より頻繁な通信を行いたいので、消費電力がより少ない事が好ましい。近距離と書いたのは、通信時の消費電力量を下げたいからで、電池などで駆動される機器の電池の持続時間を長くしたいからである。

スマートフォン３０とカメラ１０とは、第１通信部３３ａ，１３ａを介して相互に通信可能に構成されていると共に、第２通信部３３ｂ，１３ｂを介して相互に通信可能に構成されている。また、スマートフォン３０とレコーダ２０とは、第１通信部３３ａ，２３ａを介して相互に通信可能に構成されていると共に、第２通信部３３ｂ，２３ｂを介して相互に通信可能に構成されている。

外部機器であるカメラ１０には制御部１１が設けられている。制御部１１は、例えば、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。制御部１１は、カメラ１０の各部を制御する。

カメラ１０には鏡筒４３内に光学系１２ａが収納された撮像部１２が設けられており、光学系１２ａは、鏡筒４３内にピント合わせによりフォーカス（合焦）状態に設定するために可動されるフォーカスレンズやフォーカス状態で変倍するズームレンズ等（図示せず）を有する。また、光学系１２ａは、これらのレンズ及び絞りを駆動する図示しない機構部を有する。

撮像部１２にはＣＣＤやＣＭＯＳセンサ等によって構成された図示しない撮像素子が設けられており、光学系１２ａによって被写体光学像が撮像素子の撮像面に導かれるようになっている。制御部１１は光学系１２ａの機構部を制御して、これらのフォーカスレンズ、ズームレンズ及び絞りを駆動制御するようになっている。撮像素子は被写体光学像を光電変換して撮像画像を得る。

また、カメラ１０には操作部１５も設けられており、操作部１５は、ユーザ操作に基づく操作信号を制御部１１に与える。制御部１１は、操作部１５からの操作信号に基づいて、カメラ１０の各部を制御することもできるようになっている。また、カメラ１０には時計部１６も設けられており、時計部１６は時刻情報を制御部１１に供給するようになっている。

撮影制御部１１ａは、撮像部１２の撮像素子に駆動信号を供給して、被写体を撮像させるようになっている。ピント・画角制御部１１ｂは、操作部１５のユーザ操作に基づいて或いはスマートフォン３０の指定に基づくピント制御及びズーム制御によって、光学系１２ａの各レンズを駆動してフォーカシング及びズーミングを行うようになっている。

ピント・画角情報取得部１１ｃは、ズームレンズ、フォーカスレンズ等のレンズ状態、絞り状態等のレンズに関するレンズ情報及び画角等の撮影に関する情報等の少なくとも１つを含む撮影情報を取得する。ピント・画角情報取得部１１ｃは、取得した情報をピント・画角制御部１１ｂに出力する。ピント・画角制御部１１ｂは、ピント・画角情報取得部１１ｃの出力に基づいて撮像部１２を制御して、ピント及び撮影画角を調整するようになっている。

また、ピント・画角情報取得部１１ｃは、取得した撮影情報を、第１通信部１３ａを介してスマートフォン３０に転送することができるようになっている。

制御部１１は、撮像部１２からの撮像画像が与えられ、所定の画像信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を施した後、記録部１４に与えて記録することができる。記録部１４としては例えばＩＣメモリを採用することができる。制御部１１は、撮像画像を第２通信部１３ｂを介してスマートフォン３０に転送することもできるようになっている。

本実施の形態においては、記録部１４には、連携するスマートフォン３０との間で連携に関する情報を記録する連携情報部１４ａを有している。

また、カメラ１０には仰角方位センサ１７も設けられている。仰角方位センサ１７は、カメラ１０の撮像部１２の姿勢を検出して検出結果を制御部１１に出力するようになっている。制御部１１は仰角方位センサ１７の検出結果に基づいて、撮像部１２の撮影方向を判定することができる。なお、制御部１１は、撮像部１２の撮影方向に関する情報についても撮影情報としてスマートフォン３０の制御部３１に出力するようになっている。

また、カメラ１０には、画像特徴抽出部１８が設けられている。画像特徴抽出部１８は、撮像部１２が取得した画像の画像特徴を抽出して抽出結果を制御部１１に供給することができるようになっている。制御部１１は、抽出された画像特徴の情報を第１通信部１３ａを介してスマートフォン３０に転送することができるようになっている。

第１通信部１３ａは、スマートフォン３０に設けられた第１通信部３３ａとの間で所定の伝送路を介して通信が可能である。また、第２通信部１３ｂは、スマートフォン３０に設けられた第２通信部３３ｂとの間で所定の伝送路を介して通信が可能である。

制御部１１は、スマートフォン３０との間で第２通信部１３ｂ，３３ｂを介して通信が確立すると、スマートフォン３０の制御部３１に従って撮影が制御されると共に、撮影に関する各種情報（撮影情報）をスマートフォン３０に転送することができるようになっている。また、制御部１１は、スマートフォン３０との間で第２通信部１３ｂ，３３ｂを介して通信が確立すると、撮像部１２が取得した撮像画像をスマートフォン３０に転送することができるようになっている。

外部機器であるレコーダ２０には制御部２１が設けられている。制御部２１は、例えば、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。制御部２１は、レコーダ２０の各部を制御する。

レコーダ２０にはＳＴ（ステレオ）収音部２２が設けられている。ＳＴ収音部２２は、筐体２０ａの外部に露出したマイク２２Ｌ，２２Ｒ，２２Ｃにより、周囲音を収音して音声信号を制御部２１に供給することができるようになっている。

また、レコーダ２０には操作部２５も設けられており、操作部２５は、ユーザ操作に基づく操作信号を制御部２１に与える。制御部２１は、操作部２５からの操作信号に基づいて、レコーダ２０の各部を制御することもできるようになっている。また、レコーダ２０には時計部２６も設けられており、時計部２６は時刻情報を制御部２１に供給するようになっている。

収音制御部２１ａは、ＳＴ収音部２２が収音して取得した音声信号に対して所定の信号処理を施した後、記録部２４に与えて記録することができる。記録部２４としては例えばＩＣメモリを採用することができる。制御部２１は、収音した音声信号を第２通信部２３ｂを介してスマートフォン３０に転送することもできるようになっている。

本実施の形態においては、記録部２４には、連携するスマートフォン３０との間で連携に関する情報を記録する連携情報部２４ａを有している。

また、収音制御部２１ａはビームフォーミング部２１ｂを制御する。ビームフォーミング部２１ｂは、収音制御部２１ａに制御されて、ＳＴ収音部２２における指向性を制御可能である。即ち、ビームフォーミング部２１ｂは、ＳＴ収音部２２の出力音声信号に対して、最も感度が高くなる方向（以下、ビーム方向という）を制御することができるようになっている。なお、制御部２１はビーム方向に関する情報をスマートフォン３０の制御部３１に出力するようになっていてもよい。

第１通信部２３ａは、スマートフォン３０に設けられた第１通信部３３ａとの間で所定の伝送路を介して通信が可能である。また、第２通信部２３ｂは、スマートフォン３０に設けられた第２通信部３３ｂとの間で所定の伝送路を介して通信が可能である。

制御部２１は、スマートフォン３０との間で第１通信部２３ａ，３３ａを介して通信が確立すると、スマートフォン３０の制御部３１に従って収音が制御されると共に、収音に関する各種情報（収音情報）をスマートフォン３０に転送することができるようになっている。また、制御部２１は、スマートフォン３０との間で第２通信部２３ｂ，３３ｂを介して通信が確立すると、ＳＴ収音部２２が取得した音声信号をスマートフォン３０に転送することができるようになっている。

情報端末装置であるスマートフォン３０には制御部３１が設けられている。制御部３１は、例えば、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。制御部３１は、スマートフォン３０の各部を制御する。制御部３１は、第１通信部３３ａ，１３ａを介してカメラ１０の制御部１１に対して撮像素子を駆動するための駆動制御信号を送信すると共に、制御部１１から送信された撮影情報を受信するようになっている。また、制御部３１は、第２通信部３３ｂ，１３ｂを介してカメラ１０からの撮像画像を受信する。

また、制御部３１は、第１通信部３３ａ，２３ａを介してレコーダ２０の制御部２１に対して収音を制御するための制御信号を送信すると共に、制御部２１から送信されたビーム方向に関する情報を受信するようになっている。また、制御部３１は、第２通信部３３ｂ，２３ｂを介してレコーダ２０からの音声信号を受信する。

本実施の形態においては、スマートフォン３０には、機能実現部としての内蔵表カメラ部３２が設けられている。内蔵表カメラ部３２は、ＣＣＤやＣＭＯＳセンサ等によって構成された図示しない撮像素子が設けられており、この撮像素子の撮像面には、筐体３０ａに設けられたレンズ３２ａを介して入射した被写体光学像が入射するようになっている。内蔵表カメラ部３２は、制御部３１に制御されて被写体を撮像し、撮像画像を制御部３１に出力することができる。制御部３１は、内蔵表カメラ部３２の撮像に際して、ピント制御、露出制御、ホワイトバランス制御、画角制御等の各種撮影制御を行うことができるようになっている。

また、スマートフォン３０には、機能実現部としての内蔵収音部３７が設けられている。内蔵収音部３７は、筐体３０ａの背面側の端部に設けたマイクロホン３７ａＬ，３７ａＲ（図５参照）を有している。内蔵収音部３７は、制御部３１に制御されて、マイク３７ａＬ，３７ａＲによって周囲音を収音して、音声信号を制御部３１に出力することができる。制御部３１は、内蔵収音部３７の収音に際して、ビームフォーミングによるビーム方向の調整を行うことができるようなっていてもよい。

なお、図１では、内蔵収音部３７はステレオマイクを用いた例を説明したが、モノラルマイクを用いてもよい。また、図２ではマイク３７ａＬ，３７ａＲを筐体３０ａの両端に配置した例を示したが、マイク３７ａＬ，３７ａＲを筐体３０ａのいずれの位置に配置してもよい。

制御部３１は、第２通信部３３ｂを介して受信した撮像画像（以下、外部カメラ画像ともいう）及び内蔵表カメラ部３２からの撮像画像（以下、内蔵カメラ画像ともいう）に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。また、制御部３１は、第２通信部３３ｂを介して受信した音声信号（以下、外部収音音声ともいう）及び内蔵収音部３７からの音声信号（以下、内蔵収音音声ともいう）に対して、所定の信号処理を行う。

制御部３１は、撮像画像及び音声信号の記録及び再生に関する処理を行うことができる。例えば、制御部３１は、信号処理後の撮影画像及び音声信号を圧縮処理し、圧縮後の画像及び音声を記録部３４に与えて記録させることができる。記録部３４としては、例えばＩＣメモリ等の各種記録媒体を採用することができ、記録部３４は記録媒体に画像情報及び音声情報等を記録可能である。

表示制御部３８は表示に関する各種処理を実行する。表示制御部３８は、制御部３１から信号処理後の撮影画像が与えられて、表示部３９に与えて表示させることができる。表示部３９は、ＬＣＤ等の表示画面３９ａ（図５参照）を有しており、表示制御部３８から与えられた画像を表示する。また、表示制御部３８は、各種メニュー表示等を表示部３９の表示画面３９ａに表示させることもできるようになっている。制御部３１は、記録部３４に記録されている撮像画像を読み出して伸張処理することができる。表示制御部３８は伸張処理された撮像画像を表示部３９に与えることで、記録画像の再生が可能である。

スマートフォン３０には、操作部３５も配設されている。内蔵機能起動用入力部としての操作部３５は、スマートフォン３０に設けられた図示しないスイッチ、キー、ソフトウェアキーボード等の各種の操作部によって構成され、ユーザ操作に基づく操作信号を発生して、制御部３１に出力するようになっている。制御部３１は、操作信号に基づいて、各部を制御する。

表示部３９の表示画面３９ａ上には、操作部３５として図示しないタッチパネルも設けられている。タッチパネルは、ユーザが指で指し示した表示画面３９ａ上の位置に応じた操作信号を発生することができる。この操作信号は、制御部３１に供給される。これにより、制御部３１は、ユーザが表示画面３９ａ上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

なお、表示画面３９ａは、スマートフォン３０の筐体３０ａの例えば前面の略全域を占めるように配設されており、ユーザは、内蔵表カメラ部３２による撮影時に表示部３９の表示画面３９ａ上に表示された撮像画像を確認することができ、撮像画像を確認しながら撮影操作を行うことができる。

本実施の形態においては、制御部３１は、各外部機器と連携して各種機能を実現する連携モードでの動作を行うことができるようになっている。本実施の形態においては、外部機器で利用される機能が、どのような内部機能で補助できるかをあらかじめ決めておく工夫を行っている。即ち、外部機器に対応して、どの内部機能が代用できるかを示す代用データベースである機能別ガイド部３４ａが記録部３４に設けられている。機能別ガイド部３４ａは、外部機器を制御するアプリケーションソフトなどで、書き込みがなされるようにしても良い。また、第１通信部３３ａを介して伝送される情報をここに関連づけて記録しておいてもよい。

本実施の形態においては、制御部３１は、機能別ガイド部３４ａの情報に基づいて、外部機器であるカメラ１０及びレコーダ２０の連携情報部１４ａ，２４ａに連携のために必要な情報を転送して記録させるようになっている。カメラ１０の制御部１１は、連携情報部１４ａに記録された連携のための情報に従って各部を制御する。また、レコーダ２０の制御部２１は、連携情報部２４ａに記録された連携のための情報に従って各部を制御する。

例えば、制御部３１は、スマートフォン３０が有する機能と外部機器の機能とを比較し、連携する外部機器で達成すべき機能と同一の機能（以下、代替機能という）をスマートフォン３０が有している場合には、機能別ガイド部３４ａの情報に基づいて、スマートフォン３０の代替機能を用いるか外部機器の機能を用いるかを選択すると共に、外部機器の機能を実現する場合の外部機器に対する設定等を行う。

一般的には、スマートフォン３０は、常時電源が投入されてアプリケーションの起動状態又は起動待機状態であることが多く、内蔵表カメラ部３２及び内蔵収音部３７は、ユーザが動画撮影等のための操作を行った直後から撮像及び収音が可能である。これに対し、外部機器であるカメラ１０及びレコーダ２０は、撮像性能及び収音性能は、一般的にはスマートフォン３０よりも優れているが、ユーザが希望する画像や音声を取得するためには、所定のセッティングが必要である。例えば、カメラ１０において良好な画像を取得するためには、カメラの配置、向きやピント調整や画角調整等のセッティングを綿密に行った方がよい。また、レコーダ２０においても、良好な音声を取得するためには、レコーダ２０の位置、向きや録音レベル等のセッティングを綿密に行った方がよい。

本実施の形態においては、制御部３１は、連携モードにおいては、最初に連携準備モードで動作し、次いで本連携モードに移行するようになっている。制御部３１は、連携準備モードにおいて、先ず代替機能を実行しながら、機能別ガイド部３４ａの情報に基づいて所定のアプリケーションを起動することで、第１通信部３３ａ，１３ａ，２３ａを介して各種設定情報を外部機器に送信して、カメラ１０及びレコーダ２０にこのような各種設定を順次実行させる。制御部３１は、連携準備モードにおいて、外部機器が設定を行った結果所望の画像及び音声が得られることを第２通信部３３ｂ，１３ｂ，１３ｂを介した情報によって確認する。例えば、制御部３１は、後述する外部カメラ画像範囲や収音範囲が所定の範囲内にあることによって所望の画像及び音声が得られたものと判定してもよく、また、例えば、外部カメラ画像が合焦状態にあるか否か収音レベルが所定の範囲内にあるか否か等によって、所望の画像及び音声が得られたものと判定してもよい。

制御部３１は、連携準備モードにおいて所望の画像及び音声等が得られたものと判定した場合には連携を開始してもよいものと判断して本連携モードに移行し、代替機能から外部機器の機能に切り換えを行うようになっている。なお、制御部３１は、外部機器の機能への切り換え後においても、代替機能を同時に実行させるようになっていてもよい。また、制御部３１は、本連携モード中においても、受信情報の品質の判定結果又はユーザの指示等に応じて、適宜連携準備モードに遷移して、外部機器への再設定を行うようになっていてもよい。

なお、制御部３１は、第１通信部３３ａ，１３ａ，２３ａ及び第２通信部３３ｂ，１３ｂ，２３ｂによる通信が確立したことで、代替機能から外部機器の機能への切り換えの準備が整ったものとして、外部機器の機能への切り換えを行うようになっていてもよい。

スマートフォン３０は、画像特徴抽出部４０ａ及び音声特徴抽出部４０ｂを有している。画像特徴抽出部４０ａは、外部カメラ画像及び内蔵カメラ画像の画像特徴を抽出して抽出結果を制御部３１に供給することができるようになっている。なお、制御部３１は、カメラ１０から外部カメラ画像についての画像特徴を受信してもよい。この場合には、画像特徴抽出部４０ａにおいて外部カメラ画像の画像特徴の抽出処理を省略できる。制御部３１は、入力された画像特徴の情報によって、内蔵カメラ画像中の外部カメラ画像の画像部分の範囲（以下、外部カメラ画像範囲ともいう）を判定することができるようになっている。

音声特徴抽出部４０ｂは、外部収音音声及び内蔵収音音声の音声特徴を抽出して抽出結果を制御部３１に供給することができるようになっている。なお、制御部３１は、レコーダ２０から外部収音音声についての音声特徴を受信してもよい。この場合には、音声特徴抽出部４０ｂにおいて外部収音音声の音声特徴の抽出処理を省略できる。制御部３１は、入力された２つの音声特徴の情報及び画像特徴の情報によって、外部収音音声の収音範囲を判定することができるようになっている。

例えば、制御部３１は、内蔵収音部３７による内蔵収音音声及び外部収音音声の音声特徴として、波形や周波数分析結果を採用して両者の比較等を行うことで、外部収音音声の収音範囲を判定してもよい。制御部３１は、外部収音音声の収音範囲の判定結果に基づいて、収音範囲を画像中央等の所定位置に位置させるためのビームフォーミング情報を求めて、レコーダ２０に送信するようになっていてもよい。

実施の形態においては、制御部３１は、求めた外部収音音声の収音範囲、即ち、レコーダ２０のＳＴ収音部２２の収音範囲を示す表示を、内蔵カメラ画像又は外部カメラ画像中に、表示することができるようになっている。

図４は収音範囲の判定方法を説明するためのフローチャートであり、図５は収音範囲の判定方法を説明するための説明図である。

図５はスマートフォン３０の内蔵表カメラ部３２による画角Ｖｒでの撮像範囲がＷｄｉｓｐである位置に図示しない収音対象（例えば複数の演奏者）が位置する場合を例に示している。スマートフォン３０の内蔵収音部３７は、筐体３０ａの開孔３７Ｌ，３７Ｒ（図２参照）に対応する位置に、夫々左マイク３７ａＬ、右マイク３７ａＲが配設されている。左マイク３７ａＬは一点鎖線で示す収音範囲で収音を行って内蔵収音音声ＳｓＬを取得する。また、右マイク３７ａＲは破線で示す収音範囲で収音を行って、内蔵収音音声ＳｓＲを取得する。また、レコーダ２０は左右のマイク２２Ｌ，２２Ｒによって破線に示す収音範囲で収音を行って、外部収音音声Ｓｒを取得する。

スマートフォン３０の制御部３１は、図４のステップＳ５１において、例えば第２通信部３３ｂを介してレコーダ２０の外部収音音声Ｓｒを受信して取得する。制御部３１は、ステップＳ５２において、レコーダ２０からの外部収音音声と左マイク３７ａＬとの例えば波形比較を行って、外部収音音声Ｓｒと内蔵収音音声ＳｓＬとが略一致している否かの判定を行う。また、制御部３１は、ステップＳ５４において、レコーダ２０からの外部収音音声Ｓｒと右マイク３７ａＲとの例えば波形比較を行って、外部収音音声Ｓｒと内蔵収音音声ＳｓＲとが略一致している否かの判定を行う。

制御部３１は、ステップＳ５２において、外部収音音声Ｓｒと内蔵収音音声ＳｓＬとが略一致していると判定した場合には、次のステップＳ５３において、内蔵表カメラ部３２の撮像範囲Ｗｄｉｓｐの左側の位置に対応する画面位置に、収音範囲を示す補助表示を表示する。また、制御部３１は、ステップＳ５４において、外部収音音声Ｓｒと内蔵収音音声ＳｓＲとが略一致していると判定した場合には、次のステップＳ５５において、内蔵表カメラ部３２の撮像範囲Ｗｄｉｓｐの右側の位置に対応する画面位置に、収音範囲を示す補助表示を表示する。

制御部３１は、ステップＳ５２，Ｓ５４において、ＮＯ判定を行った場合には、次のステップＳ５６に処理を移行する。制御部３１は、ステップＳ５６において、左マイク３７ａＬからの内蔵収音音声ＳｓＬと右マイク３７ａＲからの内蔵収音音声ＳｓＲとにそれぞれ重み付けを付して加重平均を求める。制御部３１は、重み付けの割合を変更しながら加重平均結果と外部収音音声Ｓｒとの類似度を調べ、最も高い類似度が得られる重み付けの割合に応じて、補助表示の位置を決定する。例えば、重み付けの割合が１：１の場合に類似度が最も高くなるときには、補助表示を撮像範囲Ｗｄｉｓｐの中央位置に対応する画面位置に表示する。

次に、このように構成された実施の形態の動作について図６Ａ乃至図１０を参照して説明する。図６Ａ〜図６Ｃは撮影の様子を示す説明図である。図７はスマートフォン３０による制御（スマホ制御）を示すフローチャートであり、図８は連携機器の制御を示すフローチャートである。図９Ａ〜図９Ｅはスマートフォン３０の画面表示を示す説明図であり、表示部３９の表示画面３９ａ上の表示例を示している。

撮影者５１はスマートフォン３０に取り付けた取り付け器具４１にレンズ型のカメラ１０を装着する。図６Ａ〜図６Ｃはこの状態を示している。撮影者５１は、例えば、スマートフォン３０の筐体３０ａ及び鏡筒４３を左手５２で把持して、表示部３９の表示画面３９ａ上に表示されたスルー画５５を見ながら被写体６０を視野範囲に捉えた状態で、例えば動画撮影を行う。なお、図６Ａ〜図６Ｃでは、被写体６０は、楽器を演奏する３人の演奏家であり、この３人による演奏を、演奏家から所定距離の位置に配置したレコーダ２０によって収音する例を示している。
カメラ１０はスマートフォン３０よりも高画質の被写体画像を得ることが可能である。また、図６Ａ〜図６Ｃは、スマートフォン３０に取り付けるレンズ型のカメラ１０を採用する例を示しているが、カメラ１０として一般的なデジタルカメラ等を採用した場合には、このカメラ１０を三脚等によって固定して配置することも可能である。スマートフォン３０はユーザが保持しており、被写体６０に対する位置が制限される場合があるのに対し、三脚等によって固定されるカメラ１０は被写体６０の撮影に好適な位置に設置することができる場合があり、より一層理想的な画像の取得が可能である。
レコーダ２０はスマートフォン３０よりも高音質の収音が可能である。レコーダ２０についても、被写体６０に対して録音に理想的な位置に配置することが比較的容易であり、スマートフォン３０よりも一層理想的な音声の取得が可能である。
しかし、理論的にはそうであっても、実使用シーンでは、三脚で固定されたカメラ１０の三脚の位置がずれたり、適切な位置に配置したはずのレコーダ２０の近くにノイズ源が来たりすることもあり、むしろ、把持しているスマートフォン３０の方が、こまめに状況対処が可能であったりもする。このように、連携での機能実現は、必ずしも思い通りにならないので、同じ機能をスマートフォン３０が同時に働かせて、得られた結果を後で取捨選択できるようにしてもよい。つまり、ここでのスマートフォン３０は、１以上の代替機能を実現する機能実現部があり、連携する１以上の外部機器を想定していて、これらとの間で通信を行う通信部を有するものである。この連携モードにおいて、前記機能実現部の前記代替機能を実現させつつ、前記通信部を介して前記外部機器の所定の機能に関する設定を行う連携準備モードを実行することを想定しているが、連携した結果が最初から最後まで良いかどうかはわからず、動画中の画面切換のような場合には、両方の画像が必要である場合もある。したがって、通信部で得た外部機器からの情報と、上記内蔵機能による取得情報を連携記録または連携再生可能にする制御部を有する。ただし、想定通りになる場合も多いので、この制御部は、前記連携準備モード終了後に前記外部機器の前記所定の機能を実現させる本連携モードに移行するような制御を行ってもよい。

（スマートフォン制御）
スマートフォン３０の制御部３１は、図７のステップＳ１において機能別アイコンの一覧表示を行う。図９Ａはこの場合におけるスマートフォン３０の表示画面３９ａ上の機能別一覧表示６１の一例を示している。表示画面３９ａ上に表示された機能別一覧表示６１には、ＳＮＳモードを選択するためのアイコン６１ａ、メールモードを選択するアイコン６１ｂ、電話モードを選択するアイコン６１ｃ、カメラモードを選択するアイコン６１ｅ及び連携モード（連携動画）を指定するためのアイコン６１ｄが含まれる。

制御部３１は、次のステップＳ２においてユーザにより選択された機能が連携モードであるか否かを判定する。連携モード以外が選択された場合には、制御部３１は、選択されたモードに対応する下位機能のアイコン（図示省略）を表示する（ステップＳ３）。制御部３１は、下位機能のアイコンが選択されたか否かを判定し（ステップＳ４）、選択された場合には選択されたアイコンに対応する機能を起動する（ステップＳ５）。

制御部３１は、次のステップＳ６において起動した機能の終了操作が行われたか否かを判定し、終了操作が行われるまでステップＳ６の判定を繰り返す。制御部３１は、終了操作が行われた場合には、処理をステップＳ１に戻す。なお、制御部３１は、ステップＳ４においてアイコンが選択されない場合には、ステップＳ７に移行して戻る操作が行われた否かを判断する。制御部３１は、戻る操作が行われると処理をステップＳ３に戻し、戻る操作が行われなければ処理をステップＳ１に戻す。

いま、ユーザが機能別一覧表示６１上の連携モード用のアイコン６１ｄをタップ操作するものとする。そうすると、制御部３１は、ステップＳ２において連携モードが指定されたものと判定し、処理をステップＳ１１に移行する。なお、表示制御部３８は、選択されたモードを示すために、アイコン６１ｄを他のアイコンと異なる表示にする。図９Ａの例では、各アイコンを囲む実線の枠によって選択されていないモードを示し、太線の枠によって選択モードを示している。図９Ａの例は連携モードが選択されていることを示している。

連携モードにおいては、制御部３１は、先ず第１通信部３３ａを介した通信（以下、第１通信という）によって、機能別ガイド部３４ａの情報に基づいてスマートフォン３０と連携可能な連携対象の外部機器（以下、連携機器という）を検索する。次に制御部３１は、ステップＳ１２において、機能別ガイド部３４ａの情報に基づいて、連携機器の機能をスマートフォン３０の内蔵機能で代用可能であるか否かを判定し、代用可能である場合には内蔵機能（即ち代替機能）で代用して（ステップＳ１３）、ステップＳ１４に移行する。即ち、本実施の形態においては、アイコン６１ｄをタップ操作することで、スマートフォン３０が内蔵する代替機能が自動的に起動する。なお、代替機能が存在する場合でも、ユーザが操作部３５の操作を行うことで、明示的に代替機能を起動させるようになっていてもよい。代替機能のみならず、付加機能を起動してもよい。例えば、コンサートの画像取得であれば、その時の演目や奏者の情報などが、記録されているサーバなどにアクセスして、その情報を取得するような場合がある。アクセス可能なサーバが、それをスマートフォンに伝えても良く、スマートフォンが、その旨をサーバ等に問い合わせ、サーバ等が該当情報を検索してもよい。第１通信が通信可能であれば、連携機器が、自身の名称やＩＤを通信相手に返すような処理を行ってもよい。これによって、スマートフォン側が、それを見て、例えば記録部内のデータベース等で、その機器が連携に値するかどうかを判定する。ただし、スマートフォン側の操作や設定や判断に間違いや失敗もあるので、連携機器側が自身の性能等を発信するようにして、スマートフォンにアピールを行うことによって、連携判定を補助するような情報を発信してもよい。また、全ての連携や必要情報の取捨選択をスマートフォン側に委ねるのではなく、連携する外部機器側の制御部が連携の必要性を判定して連携開始してもよい。このような工夫で、スマートフォンで失敗した情報取得を、連携機器が変わりに行って、フェールセーフとしたり失敗防止策としたりすることが可能となる。連携機器の基本性能が良くても、環境などによっては、必要な連携にふさわしい性能を出せない機器もあるので、取得できる情報をトライアルで送ってみる制御を併用してもよい。スマートフォン側は、これを見て連携を行うかを判定する。例えば、音声を比較再生してユーザに選ばせるようなユーザーインターフェースを併設すればよい。その他、外部機器（連携機器）の電池の残量や持続可能時間、他の機器からもアクセスされる場合のビジー処理などを、ここで取得したりして連携を判断してもよく、ユーザが、連携時間を短くする設定を行ったりしてネゴシエーションしたりしてもよい。制御部３１は、スマートフォン３０に対応する代替機能が存在しない場合には、ステップＳ１２からステップＳ１４に処理を移行する。

ところで、連携機器としては、一時のみ通信して連携のためのセッティングを行えばよい外部機器（以下、一時接続推奨機器という）と、連携のためには常時通信して接続しておいた方がよい外部機器（常時接続推奨機器）とがある。例えば、被写体の撮像画像については、被写体６０の演奏中は常にスマートフォン３０において画像を表示させておいた方が撮像の確認等の点で有効であり、この画像伝送のために常時通信を行って接続しておいた方がよい。即ち、カメラ１０は常時接続推奨機器となる。一方、音声については、被写体６０による生演奏を聴きながら同時に収音した音声を聴く必要は殆どない。従って、収音音声を常時伝送する必要はなく、レコーダ２０は一時接続推奨機器となる。

伝送の制限を考慮すると、連携する外部機器のうち一時接続推奨機器を先に接続してセッティングを行い、一時接続推奨機器のセッティング後に、常時接続推奨機器のセッティングを行った方がよい。そこで、制御部３１は、ステップＳ１４において、先ず、連携機器として一時接続推奨機器が存在するか否かを機能別ガイド部３４ａの情報を基に判定する。一時接続推奨機器が存在しない場合には、制御部３１は、次のステップＳ１９において常時接続推奨機器が存在するか否かを機能別ガイド部３４ａの情報を基に判定する。

制御部３１は、ステップＳ１４において一時接続推奨機器が存在と判定した場合には、第１通信によって当該一時接続推奨機器と通信を開始する。なお、接続する連携機器をユーザが選択可能なように、制御部３１は、ステップＳ１１において、図９Ｂに示す連携機器選択表示を表示する。

図９Ｂは連携機器選択表示６２の一例を示している。表示画面３９ａ上に表示された連携機器選択表示６２には、被写体を内蔵カメラ画像により表示する領域６２ａ、外部カメラを指定するボタン６２ｂ、外部レコーダ（Ｒｅｃ）を指定するボタン６２ｃ、連携機器を確定するための選択ボタン６２ｄ、戻るボタン６２ｅ、内蔵収音音声の記録レベルを示すレベル表示６２ｆ、選択された連携機器に推奨される設定を示すメッセージ表示６２ｇ及びメッセージ表示６２ｇに示す設定をワンタッチで実行するためのワンタッチボタン６２ｈを含む。

ボタン６２ｂ，６２ｃは、連携機器として選択されている機器を示すと共に、ユーザによって連携機器を選択するためのボタンである。ユーザのボタン６２ｂの操作によって、常時接続推奨機器であるカメラ１０を選択することができ、ボタン６２ｃの操作によって、一時接続推奨機器であるレコーダ２０を選択することができる。

制御部３１は、ステップＳ１４において、検索された連携機器が一時接続推奨機器であった場合には、ボタン６２ｃが選択されていることを示す表示にする。なお、常時接続推奨機器のみが存在する場合には、ボタン６２ｂが選択されていることを示す表示となる。

選択ボタン６２ｄが操作されると、制御部３１は選択されている外部機器を決定して連携準備モードに移行する（ステップＳ１５）。なお、この段階では、外部機器の機能は利用されておらず、領域６２ａには内蔵カメラ画像が表示され、レベル表示６２ｆは、内蔵収音音声の記録レベルを示している。

また、メッセージ表示６２ｇによって、選択されている連携機器について推奨される設定についての情報が表示されており、ワンタッチボタン６２ｈは、その推奨設定をワンタッチで実行するためのものである。

いま、外部機器としてレコーダ２０が選択されている状態で、選択ボタン６２ｄがタップされるものとする。そうすると、制御部３１は、連携準備モードを設定して連携準備モード表示を表示する。図９Ｃは、レコーダ２０が選択された場合の連携準備モード表示６３を示している。このとき、どのような連携を行うかは、自動で行っても、表示部に一覧表示された機器から手動で選択するようにしてもよい。複数の候補がある場合は、性能を比較表示したり、トライアルで情報取得して比較できるようにしたりして、ユーザの選択を補助する。選択用のユーザーインターフェースを設けて、ユーザに手動セレクト、音声で命令等を行わせる。こうしてユーザの選択の結果を、その時の状況（画像や音声や日時、場所などの情報で判定可能）ごとに蓄積、学習することによって機械学習等で自動化することも出来る。もちろん、特定のプログラムで判断、分岐して自動選択してもよい。人工知能を併用してもよく、こうした場合には、さらに多くの判定項目を使った分岐としてもよい。熟練のユーザでないと判断が困難な場合があるが、熟練ユーザに選んで貰った結果を繰り返し学習するうちに、一般ユーザが使えるように機械学習がされるようにしてもよい。

制御部３１は、ステップＳ１５において連携準備モードに移行すると、ステップＳ１６において設定を開始する。ここでは、特定の機器同士が通信に必要なプロトコルの用意や、所定のデータを送受信等して、機器連携の通信を確実にできるようにしている。レコーダ２０からの音声信号は、第２通信部３３ｂを介した通信（以下、第２通信という）によって、スマートフォン３０に転送される。図６Ｂでは矢印６５ｂによって、レコーダ２０からスマートフォン３０への音声のデータ転送を示している。

制御部３１は、機能別ガイド部３４ａの情報に基づいて、自動的に最適な初期設定を設定することができる。例えば、制御部３１は、レコーダ２０のバランス調整及び指向性（収音範囲）調整について、機能別ガイド部３４ａの情報に基づく設定を行う。図９ｃでは、この設定前の初期状態における収音範囲が破線の補助表示６４ａによって示され、実線の補助表示６４ｂによって補正後の収音範囲が示されている。また、バランス調整については、補正後のバランスに応じたレベル表示６３ｂＲ，６３ｂＬが表示されている。

ユーザがユーザ操作によって設定を変えたい場合には、バランスボタン６３ｃ又は指向性ボタン６３ｄを操作して設定した項目を指定する。例えば、画面上の領域６３ａに表示された内蔵カメラ画像６４上において、タッチ操作をすると、表示制御部３８によって収音範囲がそのタッチ操作位置に変化する表示となる。その状態で指向性ボタン６３ｄを操作すると、タッチ操作によって指定された内蔵カメラ画像６４上の位置に対応した収音範囲に設定するための設定情報が制御部３１によってレコーダ２０に転送される。また、左右のレベル表示６３ｂＲ，６３ｂＬの所定の位置をタッチ操作すると、当該位置に対応した左右の録音レベルを設定するための設定情報が生成される。この状態でユーザがバランスボタン６３ｃをタッチすると、このバランスを指定するための情報が制御部３１によってレコーダ２０に転送される。図６Ａでは矢印６５ａによって、スマートフォン３０からレコーダ２０へのデータ転送を示している。

連携開始ボタン６３ｅは、設定内容を確定して本連携モードに移行すると共に、図９Ｂの連携機器選択表示６２に戻るためのボタンである。制御部３１は、ステップＳ１７において、設定が終了したか否かを判定しており、設定が終了するまで、ステップＳ１６，Ｓ１７の処理を繰り返す。図９Ｃの表示状態でユーザが連携開始ボタン６３ｅをタップすると、制御部３１は、バランス及び指向性に関する設定情報を確定する。また、この連携開始ボタン６３ｅの操作によって、以後、レコーダ２０は本連携モードに移行する（ステップＳ１８）。

なお、ユーザが戻るボタン６３ｆを操作すると、制御部３１は、設定情報を確定することなく、連携準備モード移行前の設定値に戻すための情報をレコーダ２０に送信して、連携機器選択表示６２に戻す（図７では図示省略）。なお、ステップＳ１８における本連携モードでは、スマートフォン３０とレコーダ２０との間で通信を行う必要は無く、レコーダ２０は、連携準備モードにおけるセッティングに従って収音を行う。

いま、図９Ｂの連携機器選択表示６２が表示されている状態で、外部機器検索結果に対するステップＳ１９の判定により又はユーザの指定により、外部カメラが選択されるものとする。そうすると、制御部３１は、外部カメラの連携準備モードに移行して、図９Ｄの連携準備モード表示６５を表示する（ステップＳ２０）。連携準備モード表示６５では、カメラボタン６５ｃ及びレコーダボタン６５ｄによって、本連携モードに移行した外部機器が示されている。図９Ｄは、ハッチングによってレコーダ２０のみが本連携モードに移行していることが分かる。

制御部３１は、ステップＳ２０において連携準備モードに移行すると、ステップＳ２１において設定を開始する。例えば、制御部３１は、機能別ガイド部３４ａの情報に基づいて、自動的に最適な初期設定を設定する。例えば、制御部３１は、カメラ１０の画角調整等について、機能別ガイド部３４ａの情報に基づく設定を行う。図９Ｄでは、領域６５ａにおいて、機能別ガイド部３４ａの情報に基づく初期状態における外部カメラ画像６６が表示される。即ち、カメラ１０からの撮像画像は、第２通信部３３ｂを介した第２通信によって、スマートフォン３０に転送される。図６Ｃでは矢印６６ｂによって、カメラ１０からスマートフォン３０への外部カメラ画像のデータ転送を示している。

なお、レベル表示６５ｂＲ，６５ｂＬは、既に連携が開始されているレコーダ２０による収音レベルを示している。ユーザがユーザ操作によって画角の設定を変更したい場合には、例えば、領域６５ａ上におけるピンチイン又はピンチアウト操作等によって、画角の変更が可能である。また、領域６５ａ上のスワイプ操作によって、表示画角又は録画画角を変更することも可能である。なお、ユーザ操作等によって、カメラ１０の撮像範囲の一部のみを記録又は表示する場合には、スマートフォン３０の内蔵表カメラ部３２によって内蔵カメラ画像を取得しておき、記録部３４に記録させるようになっていてもよい。ユーザ操作に基づく画角等の設定情報は、制御部３１によってカメラ１０に転送される。

制御部３１は、ステップＳ２２において、設定が終了したか否かを判定しており、設定が終了するまで、ステップＳ２１，Ｓ２２の処理を繰り返す。ここで、ユーザが連携開始ボタン６５ｆをタップ操作するものとする。そうすると、制御部３１は、カメラ１０に対する設定情報を確定し、確定した情報をカメラ１０に送信する。また、この連携開始ボタン６３ｅの操作によって、以後、カメラ１０は本連携モードに移行する（ステップＳ２３）。

また、図９Ｄの表示状態で、ユーザがレコーダボタン６５ｄをタップするものとする。そうすると、制御部３１は、図９Ｃのレコーダ用の連携準備モード表示６３を表示して、レコーダ２０に関しては連携準備モードに戻す（図７では図示省略）。また、図９Ｄの表示状態で、ユーザが内蔵カメラボタン６５ｅをタップするものとする。そうすると、制御部３１は、図９Ｅに示すように、領域６５ａに内蔵カメラ画像６８を表示する。

なお、図９Ｅの例では、内蔵カメラ画像６８には収音範囲を示す補助表示６８ａが表示されている。また、図９Ｅでは、カメラボタン６５ｃのハッチングによって、カメラ１０が本連携モードに設定されていることが分かる。制御部３１は、この収音範囲を示す補助表示を、図９Ｄの外部カメラ画像６６中に表示するようにしてもよい。

制御部３１は、ステップＳ１９においてＮＯ判定を行った場合又はステップＳ２３において本連携モードを開始すると、次のステップＳ２５において、代替機能を停止するか又は機能制限を行う。これにより、制御部３１は、スマートフォン３０によって代用された収音機能及び撮影録画機能を停止する。このように、スマートフォン３０は、レコーダ２０及びカメラ１０との本連携モードを開始するまでは、これらの機能の代替機能を起動しており、レコーダ２０及びカメラ１０に対して所望のセッティングが行われるまでの期間においても、代替機能によって、撮像、録音及びその記録や表示が可能である。
さらに、制御部３１は、本連携モード時においても、代替機能を継続して実現するようになっていてもよい。この場合には、外部機器とスマートフォン３０との両方で情報を取得することが可能である。例えば、カメラ１０において、ズームアップにより被写体６０の３人の演奏家のうちの一人のみを撮像中において、スマートフォン３０において被写体６０の全員を撮像しておくことも考えられる。この場合には、連携準備モード時にカメラ１０において撮像されていない画像をスマートフォン３０において取得できるという利点だけでなく、カメラ１０とスマートフォン３０とは互いに補いながら撮像画像を得ることができ、自機が得られない画像を相手の機器において取得することが可能である。例えば、スマートフォン３０から見れば、内蔵した機能では撮り逃した情報を、カメラ１０の撮像機能を有効利用して取得することができることになる。
また、スマートフォンと外部機器との間で、互いに取得した情報を相手の機器が取得した情報に添付又は補足する情報として利用することも可能である。例えば、外部機器として、ウェアラブル型のヘルス機器を採用し、マラソン大会において利用するシーンを想定する。この場合には、スマートフォン３０の図示しないＧＰＳ機能等により、ユーザの走る速度の情報を記録しながら、ヘルス機器によって脈拍や血圧等を測定してその情報を合わせて記録するという利用法も考えられる。また、例えば、ユーザが登山を行う場合に、ヘルス機器によって脈拍や血圧等を測定してその情報を記録すると共に、スマートフォン３０によって取得した画像を記録することにより、急な上り坂等を画像から判断してそのときの体調の変化等を確認することもできる。

なお、上述したように、本連携モードであっても、レコーダ２０はスマートフォン３０にデータを送信する必要はなく、スマートフォン３０とレコーダ２０との間において通信は行われない。

制御部３１は、次のステップＳ２６において、カメラ１０及びレコーダ２０における機能の終了を判定しており、機能が終了していない期間には、制御部３１は、ステップＳ２７において、カメラ１０及びレコーダ２０の各種設定について必要ならば調整を行う。制御部３１は、カメラ１０及びレコーダ２０における機能が終了したものと判定すると、ステップＳ２８において連携機器から取得すべき関連ファイル等を受信して記録部３４に記録する。例えば、制御部３１は、レコーダ２０に記録された録音データの転送を要求し、この要求に応じて転送された録音データを記録部３４に記録する。また、制御部３１は、本連携モード時にカメラ１０からの撮像画像を記録していない場合には、本連携モード終了後に、カメラ１０において記録された動画等についても、必要に応じて転送を要求し、この要求に応じて転送された画像データを記録部３４に記録する。

（連携機器制御）
図８は連携機器であるカメラ１０のカメラ制御及びレコーダ２０のレコーダ制御を示している。

図８のステップＳ３１において、カメラ１０の制御部１１及びレコーダ２０の制御部２１は、第１通信部１３ａ，２３ａによる第１通信の待機状態である。ステップＳ３２において、制御部１１は、カメラ１０単体での操作、例えば撮影操作等が発生したか否かを判定し、制御部２１は、レコーダ２０単体での操作、例えば録音操作等が発生したか否かを判定する。撮影や録音操作等が発生すると、制御部１１，２１は、ステップＳ３２からステップＳ３３に移行して、操作に応じた制御を行った後、処理をステップＳ３１に戻す。

制御部１１，２１は、単体での操作が発生していないと判定した場合には、ステップＳ３２からステップＳ３４に移行して、第１通信が発生したか否かを判定する。ステップＳ３４での第１通信では、この第１通信が通信可能であれば、この連携機器が、自身の名称やＩＤを通信相手に返すような処理を行う。これによって、スマートフォン３０側が、それを見て、例えば記録部内のデータベース等で、その機器が連携に値するかどうかを判定してもよいし、連携機器側が自身の性能等を発信するようにして、これを補助してもよい。また、全ての連携や必要情報の取捨選択をスマートフォン３０側に委ねるのではなく、必要性を判定して連携を開始してもよい。このような工夫で、スマートフォン３０で失敗した情報取得を、連携機器が変わりに行って、フェールセーフとしたり失敗防止策としたりすることが可能となる。性能が良くても、環境などによっては、必要な連携にふさわしくない機器もある。例えば、ノイズ源が近くにあったりする場合もあるので、取得できる情報を短時間だけ取得し、トライアルで送ってみる制御を併用してもよい。また、電池の残量や持続可能時間を送信して、連携時の条件を伝えるようにする改良も可能である。さらに、該当するスマートフォン３０とは異なる他の機器からもアクセスされる場合もあるので、それらの中での優先度やビジー処理などを、ここで伝えたり、ネゴシエーションしたりしてもよい。制御部１１，２１は、第１通信を検出しない場合には処理をステップＳ３１に戻す。また、制御部１１，２１は第１通信が発生したものと判定した場合には、ステップＳ３５に処理を移行する。

制御部１１，２１は、ステップＳ３５において、連携準備モードが開始されたか否かを判定する。上述したように、スマートフォン３０の制御部３１は、図７のステップＳ１５において、先ず一時接続推奨機器であるレコーダ２０に対して連携準備モードを開始している。これにより、レコーダ２０の制御部２１は、ステップＳ３６において第２通信が必要であるか否かを判定する。バランス調整及び指向性調整のために第２通信によって音声を送信する場合には、制御部２１は、ステップＳ３７において第２通信を開始し、ステップＳ３８において、収音中の音声信号をスマートフォン３０に送信すると共に、スマートフォン３０から送信された設定情報等を受信して、この設定情報等に応じたセッティングを行う。
スマートフォン３０の制御部３１は、機能別ガイド部３４ａの情報により、外部機器の機能及びその特徴については把握している。しかし、機能別ガイド部３４ａの情報中に連携しようとする外部機器の機能やその特徴の情報が保持されていない場合を考慮して、外部機器の制御部１１，２１は、自機が有する機能やその特徴の情報をスマートフォン３０に送信するようになっている。制御部３１は、スマートフォン３０が保持する機能と外部機器の機能とを比較し、同一の機能又は類似する機能について、代替機能を発動させながら、外部機器の機能を選択し、またその機能について達成すべき特徴が得られるように設定を行う。これにより、各外部機器は、指定された設定を行う。例えば、制御部２１は左右のマイク２２Ｌ，２２Ｒの録音レベル調整等を行う。

制御部２１は、ステップＳ３９において本連携モードが開始されたか否かを判定する。制御部３１は、本連携モードが開始されるまでステップＳ３８の制御を繰り返し、本連携モードが開始されると処理をステップＳ４０に移行する。

一方、スマートフォン３０の制御部３１は、図７のステップＳ２０において、カメラ１０に対する連携準備モードを開始する。制御部１１は、ステップＳ３５において、連携準備モードが開始されたものと判定すると、ステップＳ３６において第２通信が必要であるか否かを判定する。ピントや画角等の調整には画像を伝送する必要があり、制御部１１はステップＳ３７において第２通信を開始し、第２通信によって撮像中の撮像画像をスマートフォン３０に送信する（ステップＳ３８）。また、制御部１１は、スマートフォン３０から送信された設定情報等を受信して、この設定情報等に応じたセッティングを行う。例えば、制御部１１はピント・画角制御部１１ｂにより、画角を調整する。

制御部１１は、ステップＳ３９において本連携モードが開始されたか否かを判定する。制御部３１は、本連携モードが開始されるまでステップＳ３８の制御を繰り返し、本連携モードが開始されると処理をステップＳ４０に移行する。

制御部１１，２１は、ステップＳ４０において、第２通信が必要であるか否かを判定する。上述したように、一時接続推奨機器であるレコーダ２０においては、機能を実行中であってもスマートフォン３０との間で接続の必要はないので、ステップＳ４０から処理をステップＳ４１に移行して第２通信を終了する。一方、常時接続推奨機器であるカメラ１０においては、撮像中の画像を伝送するためにスマートフォン３０に接続する必要があるので、ステップＳ４０から処理をステップＳ４２に移行して第２通信を継続する。なお、連携準備モードにおいて第２通信が使用されていない連携機器も存在する。このような連携機器においては、ステップＳ４２において第２通信が開始される。

制御部１１，２１は、ステップＳ４２において、必要に応じて、取得した撮像画像や収音音声を第２通信を介してスマートフォン３０に送信する。なお、レコーダ２０は収音音声の送信の必要が無く、ステップＳ４２においては、特にデータの送信は行わない。一方、カメラ１０は、ステップＳ４２において撮像画像を第２通信によりスマートフォン３０に送信する。

制御部１１，２１は、ステップＳ４３において、連携モードが終了したか否かを判定する。制御部１１，２１は、連携モードが終了するまでステップＳ４２の処理を繰り返し、連携モードが終了すると、処理をステップＳ４４に移行してモードの初期化を行う。連携準備モードにおいて、連携機器であるカメラ１０及びレコーダ２０は、スマートフォン３０の制御部３１によって、ユーザが希望するセッティングが施されている。制御部１１，２１は、ステップＳ４４においてモードの初期化を行うことで、スマートフォン３０による設定を元の状態に戻すようになっている。

このように本実施の形態においては、情報端末装置と複数の連携機器とを連携モードで動作させる場合には、機能別ガイド部の情報に基づいて、情報端末装置が代替機能を有する場合には、この代替機能を動作させながら各連携機器に連携準備モードを設定して所望の設定を行い、設定終了後に本連携モードに移行して代替機能から各連携機器の機能への移行を行う。これにより、自機能及び外部機器の各機能について起動に要する時間や性能等に応じた最適な連携制御が可能である。また、連携に際して、一時接続が推奨される機器の間で先に連携を行い、その後常時接続が推奨される機器と連携するようになっており、連携に必要な通信を有効に用いた連携が可能である。また、収音機能を有する外部機器との連携に際しては、収音範囲を示す補助表示を情報端末装置に表示することができ、収音機器の配置の参考にすることができると共に、理想的な収音のためのビームフォーミング制御を収音範囲の可視化により簡単化することができる。
近年、通信可能な外部機器の種類も増加している一方で、携帯情報端末自身が有するセンサ類、カメラ類なども、操作部や表示部と共に進化しており、こうしたＩｏＴの環境下における機器連携の最適化は重要な課題となっているが、以上説明したように、本発明は、このような最適な機器連携を可能としており、外部機器と連携する際に連携する外部機器において実現しようとする機能を効率良く達成するために必要な機能を発動させることにより、このような課題を解決するものである。

なお、上記実施の形態においては、連携する外部機器としては、画像を取得するカメラと、音声を取得するレコーダとについて説明したが、情報端末装置と通信可能な種々の装置を採用することができる。

上記各実施の形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。

画像のような大きな容量のデータと、それに付随した比較的小容量のデータを送るシステムであれば、コンシューマ分野のみならず、産業用、医療用の分野でも使える。例えば、撮像部と表示部または操作部が別体になっている構成の画像機器であれば応用が可能である。例えば、身体や機械などの内側の検査をする時に、撮像部を内部に入れて、まず、身体や機械などの表面を操作部側で撮影して無駄な時間を軽減する。また、第２通信での内部の撮像部からの観察画像転送に先立って第１通信で位置の情報だけを先に出して、位置合わせを行うような用途にも使える。そうすれば他の観察を先に行い、第２通信の待ち時間なく次の観察や診断に早く入れる。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。特に、分岐などは単純化して記載しているが、人工知能などを使って機械学習する場合には、さらに多くの判定項目を使った分岐としてもよい。例えば、どのような状況で、どの機器と連携するかなどは、すでに記載した通り、実際に取得した情報が有効であるかどうかなど、判断が困難な場合があるが、ユーザに選んで貰った結果を繰り返し学習するうちに、機械学習がされるようにしてもよく、その判断が状況によって変化する場合などは、その状況も考慮した深層学習としてもよい。

なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

［付記項１］
被写体の撮像画像を取得する画像取得部と、
前記被写体方向からの音を収音して内蔵収音音声を取得する収音部と、
前記被写体方向からの音を収音して外部収音音声を取得する収音装置から前記外部収音音声を取得する外部収音音声取得部と、
前記収音部が収音した内蔵収音音声と前記外部収音音声取得が取得した前記外部収音音声との比較によって、前記外部収音音声の収音範囲と前記撮像画像との位置関係を求める収音位置算出部と、
前記撮像画像中に前記収音位置を示す補助表示を表示する表示制御部と
を具備したことを特徴とする情報端末装置。
［付記項２］
特定情報を取得する特定の内蔵機能を起動する内蔵機能起動用入力部と、
上記特定の内蔵機能起動に伴って、外部機器との間で通信を行う通信部と、
上記通信部で得た上記外部機器からの情報と、上記内蔵機能による取得情報を連携記録または連携再生可能にする制御部と
を具備したことを特徴とする情報端末装置。

１０…カメラ、１１，２１，３１…制御部、１２…撮像部、１３ａ，２３ａ，３３ａ…第１通信部、１３ｂ，２３ｂ，３３ｂ…第２通信部、１４，２４，３４…記録部、２２…ＳＴ収音部、３２…内蔵表カメラ部、３７…内蔵収音部、３９…表示部。

Claims (10)

1. １以上の代替機能を実現する機能実現部と、
   連携する１以上の外部機器との間で通信を行う通信部と、
   連携モードにおいて、前記機能実現部の前記代替機能を実現させつつ、前記通信部を介して前記外部機器の所定の機能に関する設定を行う連携準備モードを実行し、前記連携準備モード終了後に前記外部機器の前記所定の機能を実現させる本連携モードに移行する制御部と
   を具備したことを特徴とする情報端末装置。
2. 前記制御部は、連携に際して前記通信部と一時的に接続することが推奨された外部機器である一時接続推奨機器に対して前記連携準備モード及び本連携モードを実行した後、連携に際して前記通信部と常時に接続することが推奨された外部機器である常時接続推奨機器に対して前記連携準備モード及び本連携モードを実行する
   ことを特徴とする請求項１に記載の情報端末装置。
3. 前記制御部は、前記通信部を制御して、記録部に記録された機能別ガイド部の情報に基づいて、前記連携する１以上の外部機器を検索する
   ことを特徴とする請求項１又は２に記載の情報端末装置。
4. 前記制御部は、前記通信部を制御して、記録部に記録された機能別ガイド部の情報に基づいて、連携する外部機器が一時接続推奨機器であるか常時接続推奨機器であるかを判定する
   ことを特徴とする請求項１乃至３のいずれか１つに記載の情報端末装置。
5. 前記制御部は、前記本連携モード開始によって、前記代替機能を停止させる
   ことを特徴とする請求項１乃至４のいずれか１つに記載の情報端末装置。
6. 所定の機能を実現する１以上の外部機器と、
   前記所定の機能と同種の１以上の代替機能を実現する機能実現部と、連携する１以上の前記外部機器との間で通信を行う通信部と、連携モードにおいて、前記機能実現部の前記代替機能を実現させつつ、前記通信部を介して前記外部機器の所定の機能に関する設定を行う連携準備モードを実行し、前記連携準備モード終了後に前記外部機器の前記所定の機能を実現させる本連携モードに移行する制御部とを有する情報端末装置と
   具備したことを特徴とする情報処理システム。
7. 所定の機能を実現する１以上の外部機器との間で通信部により通信を行い、
   連携モードにおいて、前記所定の機能と同種の代替機能を実現させつつ、前記通信部を介して前記外部機器の所定の機能に関する設定を行う連携準備モードを実行し、前記連携準備モード終了後に前記外部機器の前記所定の機能を実現させる本連携モードに移行する情報処理方法。
8. 前記連携モードにおいて、連携に際して前記通信部と一時的に接続することが推奨された外部機器である一時接続推奨機器に対して前記連携準備モード及び本連携モードを実行した後、連携に際して前記通信部と常時に接続することが推奨された外部機器である常時接続推奨機器に対して前記連携準備モード及び本連携モードを実行する
   ことを特徴とする請求項７に記載の情報処理方法。
9. コンピュータに、
   所定の機能を実現する１以上の外部機器との間で通信部により通信を行う手順と、
   連携モードにおいて、前記所定の機能と同種の代替機能を実現させつつ、前記通信部を介して前記外部機器の所定の機能に関する設定を行う連携準備モードを実行し、前記連携準備モード終了後に前記外部機器の前記所定の機能を実現させる本連携モードに移行する手順と
   を実行させるための情報処理プログラム。
10. 前記連携モードにおいて、連携に際して前記通信部と一時的に接続することが推奨された外部機器である一時接続推奨機器に対して前記連携準備モード及び本連携モードを実行した後、連携に際して前記通信部と常時に接続することが推奨された外部機器である常時接続推奨機器に対して前記連携準備モード及び本連携モードを実行する
    ことを特徴とする請求項９に記載の情報処理プログラム。

Images