JP2008129946A - 画像制御装置及びその制御方法 - Google Patents

Abstract

【課題】画像の制御に関する操作性・柔軟性を更に向上したユーザインタフェースを有する画像制御装置を提供する。
【解決手段】画像制御装置（システム）は、画像入力手段としてのネットワークカメラ１００と、画像表示手段としてのデジタルＴＶ１２０及び操作手段としてのリモコン１３０とから構成される。ネットワークカメラ１００は、撮像手段１０１、駆動手段１０２、カメラ制御手段１０３、操作モード切替手段１０４、画像認識手段１０５、領域抽出手段１０６、領域選択手段１０７を備える。また、選択領域制御手段１０８、画像送信手段１０９、操作情報受信手段１１０を備える。
【選択図】図１

Description

本発明は、観察している画像領域に対して、所定の領域を好適に選択する画像制御装置及びその制御方法に関する。

近年、インターネットの普及と共にテレビやカメラといった製品もアナログからデジタルへとデジタル化が進み、従来に比べてより高度な機能を一般に扱うことができるようになってきた。

例えば、コンピュータ端末や携帯電話、デジタルＴＶといった所定の画像表示装置で画像を観察しながら画像内に含まれる所定の領域を選択し、その領域をプリセットとして設定する操作を行うことが可能となっている。同様に、トリミング領域として切り出し、或いは解像度を落として表示させるといった操作を行うことも可能となっている。

このように所定の領域を選択する技術としては、表示された画像画面上で任意の２点を指定し、それらを対角線とする矩形領域を範囲として選択する技術（特許文献１参照）がある。また、任意の領域の中心点を指定し、続いてその点を中心として領域の拡大・縮小を指定する技術（特許文献２参照）がある。また、予め定められた大きさの矩形を移動させて任意の領域を選択する技術（特許文献３参照）がある。

また、人物指定を行いたい場合の操作性向上のための提案として、特許文献４には以下の技術が提案されている。即ち、画像認識技術を用いて人物の顔を検出し、複数の領域が検出された際に自動的或いはユーザに選択させることにより、任意の領域を選択する技術が提案されている。
特開２００１−１４５０９４号公報 特開２００４−１７２６５５号公報 特開平９−１１６８８６号公報 特開２００５−８６６８２号公報

しかしながら、デジタル製品の高機能化に伴い、リモコン等の操作ボタンの数も増えてしまい、機械操作に不慣れな利用者は所望の操作を行うのにどう操作して良いか迷ってしまうという問題が起きており、機能の増加と共に操作性の向上が求められている。

例えば、特許文献１で示す技術は、画像表示装置がコンピュータ端末であり、マウスを用いて領域を選択することが主として想定されているため、携帯電話やデジタルＴＶ等の画像表示装置の操作ボタンを用いて領域を選択する際には適していない。

また、特許文献２で示す技術では、中心点を指定する作業とそこから領域の範囲を調整する作業の２つの作業が必要となるので、少なからず煩雑である。

また、特許文献３で示す技術では、領域を選択するための矩形が予め用意されているため、選択したい領域と同等の大きさの矩形が用意されていない場合には一回り大きな領域を選択する必要が生じる。

そのため、本来選択する必要のない範囲まで選択領域に含まれてしまうことになる。また、予め形状が決められているため、例えば家の輪郭といった細かな領域指定を行うことができない。

特許文献４で示される技術では、画像認識を行うので、上述した家の輪郭といった領域を抽出することは可能になる。しかし、実際には家を選択領域として選ぶ場合もあれば、人物を選ぶ場合もあり、選択領域としてはあらゆる大きさ・形状のものが考えられる。

特許文献４では、予め画像認識する対象を限定して画像抽出を行っており、選択する領域を柔軟に切り替える技術に関しては述べられていない。

本発明の目的は、画像の制御に関する操作性・柔軟性を更に向上したユーザインタフェースを有する画像制御装置を提供することにある。

上記目的を達成するために、請求項１記載の画像制御装置は、画像入力手段と、前記画像入力手段により入力された画像を表示する画像表示手段と、前記画像表示手段の画像表示機能に関係する操作を行う操作手段と、前記画像入力手段により入力された画像から物体を認識する画像認識手段と、前記画像認識手段により得られる物体情報を元に前記物体に関わる領域を抽出する領域抽出手段と、前記領域抽出の実行に応じて前記操作手段を領域操作のために機能させ、前記領域抽出手段により抽出された抽出領域に対して抽出領域の範囲制御或いは抽出領域の変更を行うことにより、抽出領域の領域選択を行う領域選択手段と、前記領域選択手段によって選択された１つ或いは複数の前記抽出領域に対して、所定の制御を行う選択領域制御手段とを備えることを特徴とする。

請求項１２記載の画像制御方法は、画像入力ステップと、前記画像入力ステップにより入力された画像を表示する画像表示ステップと、前記画像表示ステップによる画像表示に際して、所定の操作手段を用いて画像表示機能に関係する操作を行う操作ステップと、前記画像入力ステップにより入力された画像から物体を認識する画像認識ステップと、前記画像認識ステップにより得られる物体情報を元に前記物体に関わる領域を抽出する領域抽出ステップと、前記領域抽出の実行に応じて前記操作手段を領域操作のために機能させ、前記領域抽出ステップにより抽出された抽出領域に対して抽出領域の範囲制御或いは抽出領域の変更を行うことにより、抽出領域の領域選択を行う領域選択ステップと、前記領域選択ステップによって選択された１つ或いは複数の前記抽出領域に対して、所定の制御を行う選択領域制御ステップとを備えることを特徴とする。

本発明によれば、携帯電話やデジタルＴＶなどの操作ボタンを用いて画像から所定の領域を選択・制御することが可能となり、領域選択を行う際の作業をより容易で柔軟に実現することができるようになる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

本実施の形態では、遠隔地に設置されているネットワークカメラの映像を、リモコンを用いて操作可能なデジタルＴＶで観察する場合を考えるものとする。この場合、本発明の画像制御装置は、ネットワークカメラが画像入力手段となり、デジタルＴＶが画像表示手段となり、リモコンが操作手段として扱われる。

図１は、本発明の実施の形態に係る画像制御装置のシステム構成図である。

上述したように、画像制御装置（システム）は、ネットワークカメラ１００と、デジタルＴＶ１２０及びリモコン１３０とから構成される。

ネットワークカメラ１００は、撮像手段１０１、駆動手段１０２、カメラ制御手段１０３、操作モード切替手段１０４、画像認識手段１０５、領域抽出手段１０６、領域選択手段１０７を備える。また、選択領域制御手段１０８、画像送信手段１０９、操作情報受信手段１１０を備える。

カメラ制御手段１０３によって制御された駆動手段１０２が撮像手段１０１の方向の変更を行い、撮像手段１０１は駆動手段１０２によって向けられた方向の映像を撮影する。

操作モード切替手段１０４は、ネットワークカメラ１００の映像をデジタルＴＶ１２０で観察している人（以下、ユーザと呼ぶ）のリモコン操作に応じて、ネットワークカメラ１００の操作モードを、映像観察モード或いは領域選択モードの何れかに切り替える。

画像認識手段１０５は、前述した操作モードが領域選択モードに設定されている際に、撮像手段１０１から送られてくる映像内に含まれる建物や人などの各物体（以下、オブジェクトと呼ぶ）をそれぞれ個別の画像として認識する。この画像を認識する技術に関しては、本発明の主眼には含まれないため詳細の説明は割愛する。

領域抽出手段１０６は、前述した操作モードが領域選択モードに設定されている際に、画像認識により認識された各オブジェクトの中から、画像処理を施して１つ或いは複数の領域の抽出を行う。

領域選択手段１０７は、前述した操作モードが領域選択モードに設定されている際に、ユーザが行うリモコン操作に応じて、抽出したオブジェクト領域の拡大・縮小、或いは抽出するオブジェクトの変更などを行い、所望の領域を選択する。

選択領域制御手段１０８は、前述した操作モードが領域選択モードに設定されている際に、ユーザが行うリモコン操作に応じて、領域選択手段１０７によって選択された領域に対して所定の処理を施す。

画像送信手段１０９は、撮像手段１０１から送られてくる映像を画像表示装置であるデジタルＴＶ１２０に送信する。前述した操作モードが領域選択モードに設定されている際には、画像処理を施して１つ或いは複数の領域を抽出した状態の映像を送信する。

操作情報受信手段１１０は、ユーザがリモコン１３０を用いて行った操作情報のうち、ネットワークカメラ１００の制御に関わる操作情報をデジタルＴＶ１２０から受信する。

画像表示手段であるデジタルＴＶ１２０は、画像受信手段１２１、画像表示手段１２２、操作情報受信手段１２３、操作情報送信手段１２４を備える。

画像受信手段１２１は、ネットワークカメラ１００から送信される映像を受信し、その受信した映像を画像表示手段１２２により表示する。画像表示手段１２２は、ユーザがリモコン１３０を用いて操作を行った際に、所定のユーザインタフェースを表示することも可能である。

また、ユーザがリモコン１３０を用いて行った操作情報を操作情報受信手段１２３で受信し、その中でネットワークカメラ１００の制御に関わる操作情報を操作情報送信手段１２４によりネットワークカメラ１００に送信する。

操作手段（表示制御手段）であるリモコン１３０は、画像操作手段１３１と操作情報送信手段１３２を備える。

画像操作手段１３１では、ユーザのリモコン１３０のボタン操作による各種操作情報を受け付け、その操作情報を操作情報送信手段１３２によりデジタルＴＶ１２０に送信する。

次に本実施の形態において、ユーザが操作するデジタルＴＶ１２０のリモコン１３０の構成について説明する。

図２は、図１におけるリモコンの構成図である。

図２において、リモコン１３０には、電源ボタン２１１、数字ボタン２１２、選局ボタン２１３、音量ボタン２１４、十字キー２１５、決定ボタン２１６、モード切替ボタン２１７、他様々なボタンが備えられている。

続いて本実施の形態の動作について、ネットワークカメラ１００から図３に示すようなカメラ映像３００が撮影されている場合で説明する。

ユーザは遠隔地に設置されたネットワークカメラ１００の映像を観察する際に、モード切替ボタン２１７により以下のように映像モードを切り替える。即ち、単にカメラの向きや画角を制御しながら映像を観察したい場合の映像モードと、映像に含まれるある特定の領域に対してモザイク処理を施し、或いはプリセット位置に設定する場合の映像モードとをモード切替ボタン２１７に切り替え選択する。

図４は、図２におけるモード切替ボタンを押した際に、図１におけるデジタルＴＶの画像表示手段によって表示される操作モード選択画面を示す図である。

操作モード選択画面４００において、ユーザは十字キー２１５の上下ボタンを押して映像観察モード４０１或いは領域選択モード４０２の何れかの操作モードを選択し、決定ボタン２１６を押して操作モードを決定する。

この、ユーザが決定した操作モードの情報は、デジタルＴＶ１２０を通じてネットワークカメラ１００に対して通知される。操作モードのデフォルトでの設定は映像観察モードとなっており、ユーザは十字キー２１５や音量ボタン２１４を操作することにより、カメラ映像３００に対して、ネットワークカメラ１００のパン・チルト・ズーム操作を行うことができる。

ユーザがリモコン１３０のボタン操作により操作モードを設定した場合、その情報はネットワークカメラ１００内の操作モード切替手段１０４に格納される。格納された操作モードが映像観察モードである場合には、画像認識手段１０５、領域抽出手段１０６、領域選択手段１０７、及び選択領域制御手段１０８の各機能は非活性化される。

そして、撮像手段１０１で撮影されたカメラ映像３００は、そのまま画像送信手段１０９より送出され、デジタルＴＶ１２０内の画像表示手段１２２によって表示される。

これに対し、格納された操作モードが領域選択モードであった場合には、画像認識手段１０５、領域抽出手段１０６、領域選択手段１０７、及び選択領域制御手段１０８の各機能が活性化される。

そして、撮像手段１０１で撮影されたカメラ映像３００は、まず画像認識手段１０５によって映像内に含まれる各オブジェクトの画像認識が行われる。図５に画像認識を行った結果の模式図を示す。

画像認識手段１０５により、カメラ映像３００からエリア５０１〜エリア５１１の領域がオブジェクトとして認識されている。画像認識手段１０５は、これらオブジェクト認識した各領域を領域のサイズ及びその位置データと共にデータベースに登録する。

図６に本実施の形態でオブジェクト認識した領域の情報を格納したデータベースを示す。

図６において、データベース６００にはエリア５０１〜エリア５１１のそれぞれに対して、その領域のサイズと中心点の座標が格納される。格納するサイズの値としては、座標から計算される絶対値、或いは他の領域と比較した場合の相対値の何れかの値が格納される。

画像認識手段１０５により、カメラ映像に含まれるオブジェクトが認識されると、次に領域抽出手段１０６により、領域の抽出が行われる。本実施の形態では、映像画面内の最も中心に位置するオブジェクトの領域をデフォルトの領域として抽出する。

図７にエリア５０３をデフォルトの領域として抽出した図を示す。

図７では、抽出された領域７０１が枠線で囲われて明示される。なお、本実施の形態では抽出した領域を四角形で表示しているが、図８の領域８０１で示すようにオブジェクトの形状そのもので領域を抽出させても良いものとする。

また、本実施の形態では抽出した領域を枠線で表示しているが、本発明における抽出領域の表示方法はこれに限定されず、例えば色を付けて表示するといったように種種変形応用可能である。

ユーザが領域選択モードを指定した場合には、図７で示すように抽出した領域７０１が表示された映像７００が画像送信手段１０９より送出され、デジタルＴＶ１２０内の画像表示手段１２２によって表示される。

ユーザは、領域選択モードを指定した場合には、リモコン１３０の十字キー２１５の上下左右の各ボタンを押すことにより選択する領域を変更することができる。ネットワークカメラ１００は、ユーザにより十字キー２１５の各ボタンが押されたことを受信すると、領域選択手段１０７により、選択する領域の範囲の拡大や縮小、或いは選択する領域の変更を行う。

図９にユーザがカメラ映像９００の状態から十字キー２１５の上下左右ボタンをそれぞれ押した場合に新たに選択される領域を示す。

ユーザにより十字キー２１５の上ボタンが押された場合には、領域選択手段１０７は、領域抽出手段１０６で各エリアのサイズや位置情報を格納したデータベース６００を参照する。そして、現在抽出されている領域９１０を含んだ上でさらに一回り大きい領域９１１を選択する。

下ボタンが押された場合にはその反対に、現在抽出されている領域９１０内で一回り小さい領域９１４を選択する。また、左ボタンが押された場合には、現在抽出されている領域９１０に対して同じかより左側にある、同程度の大きさの異なる領域９１２を選択する。

右ボタンが押された場合にはその反対に、現在抽出されている領域９１０に対して同じかより右側にある、同程度の大きさの異なる領域９１３を選択する。左右ボタンが押された際に同程度の大きさの領域が他に存在しない場合には、それぞれ左側、或いは右側に存在する領域を選択する。

領域選択手段１０７は、このように一回り大きい領域や一回り小さい領域、或いは異なる領域としてどの領域を選択するかを判断するために、領域抽出手段１０６で抽出した各エリアのサイズや位置情報を格納したデータベース６００を参照する。そして、その情報を元に領域の選択を行う。

ユーザは十字キー２１５のボタン操作により所望の領域の選択を行って決定ボタン２１６を押すことでその領域に対してどのような処理をするかを選択することができる。

図１０は、ユーザが領域を選択して決定ボタンを押した際にデジタルＴＶの画像表示手段によって表示される領域制御方法選択画面を示す図である。

領域制御方法選択画面１０００において、ユーザは十字キー２１５の上下ボタンを押して選択した領域に対して処理１００１から処理１００５の中でどのような処理を施すかを選択し、決定ボタン２１６を押して領域の制御方法を決定する。この、ユーザが決定した領域制御方法の情報はデジタルＴＶ１２０を通じてネットワークカメラ１００に対して通知される。

ネットワークカメラ１００の選択領域制御手段１０８は、ユーザが選択した領域制御方法に応じて、領域に対して所定の処理を施す。

図１１にユーザがエリア１１００の領域に対して可視制限１００１を設定した場合を、図１２にユーザがエリア１２００の領域に対してパン・チルト・ズーム操作１００４を設定した場合を示す。

このように、ユーザはデジタルＴＶ１２０により映像を観察する場合であっても、リモコン１３０の簡単なボタン操作で所望の領域を選択することが可能となり、所望の処理を簡単に実現することが可能となる。

尚、本実施の形態では、ユーザが領域を選択するために十字キー２１５のみを用いて操作する実施の形態を説明した。しかし、本発明は上記の実施の形態に限定されず、例えば十字キー２１５と音量ボタン２１４を併用しても良い。この場合、十字キー２１５により選択領域の変更を行い、音量ボタン２１４により選択範囲の拡大・縮小といった割り当てを行すことができ、種種変形応用可能であることは勿論である。

また、本実施の形態では、デジタルＴＶ１２０のリモコン１３０のボタンとして操作モード選択用のボタンを専用に用意した。しかし、本発明は上記の実施の形態に限定されず、例えばメニューボタンの中で操作モードの選択が選べるような構成であっても良く、種種変形応用可能であることは勿論である。

また、本実施の形態では、操作モード切替手段１０４、画像認識手段１０５、領域抽出手段１０６、領域選択手段１０７、及び選択領域制御手段１０８の各機能は全てネットワークカメラ１００側に入っている。しかし、上記の実施の形態に限定されず、それらの機能の全てが画像表示手段であるデジタルＴＶ１２０側に入っていても、両方に分担して入っていたとしても本発明の範疇にあることは勿論である。

また、本実施の形態では、画像入力手段と画像表示手段と操作手段がそれぞれ別の装置に含まれている。しかし、上記の実施の形態に限定されず、例えばデジタルカメラのようにそれらの手段が全て１つの装置に含まれている場合であっても、本発明の範疇にあることは勿論である。

さらに、本実施の形態では、選択する領域として静止画像のみを選択対象としていたが、本発明は上記の実施の形態に限定されず、動画像であったとしても同様に選択することができることは勿論である。

本発明の実施の形態に係る画像制御装置のシステム構成図である。 図１におけるデジタルＴＶのリモコンの構成図である。 図１におけるネットワークカメラで撮影されている映像を示す図である。 図１における画像表示手段に表示される操作モード選択画面を示す図である。 図１における画像認識手段により画像認識を行った結果の模式図である。 図１における画像認識手段によりオブジェクト認識した領域の情報を格納したデータベースを示す図である。 図１における領域抽出手段により抽出されたデフォルトの領域を示す図である（１）。 図１における領域抽出手段により抽出されたデフォルトの領域を示す図である（２）。 図２における十字キーの上下左右ボタンをそれぞれ押した場合に新たに選択される領域を示す図である。 図１における画像表示手段に表示される 領域制御方法選択画面を示す図である。 領域に図１０における可視制限を設定した場合を示す図である。 領域に図１０におけるパン・チルト・ズーム操作を設定した場合を示す図である。

符号の説明

１００ ネットワークカメラ（画像入力手段）
１０１ 撮像手段
１０２ 駆動手段
１０３ カメラ制御手段
１０４ 操作モード切替手段
１０５ 画像認識手段
１０６ 領域抽出手段
１０７ 領域選択手段
１０８ 選択領域制御手段
１０９ 画像送信手段
１１０ 操作情報受信手段
１２０ デジタルＴＶ（画像表示手段）
１２１ 画像受信手段
１２２ 画像表示手段
１２３ 操作情報受信手段
１２４ 操作情報送信手段
１３０ リモコン（操作手段）
１３１ 画像操作手段
１３２ 操作情報送信手段

Claims (22)

1. 画像入力手段と、
   前記画像入力手段により入力された画像を表示する画像表示手段と、
   前記画像表示手段の画像表示機能に関係する操作を行う操作手段と、
   前記画像入力手段により入力された画像から物体を認識する画像認識手段と、
   前記画像認識手段により得られる物体情報を元に前記物体に関わる領域を抽出する領域抽出手段と、
   前記領域抽出の実行に応じて前記操作手段を領域操作のために機能させ、前記領域抽出手段により抽出された抽出領域に対して抽出領域の範囲制御或いは抽出領域の変更を行うことにより、抽出領域の領域選択を行う領域選択手段と、
   前記領域選択手段によって選択された１つ或いは複数の前記抽出領域に対して、所定の制御を行う選択領域制御手段と、
   を備えることを特徴とする画像制御装置。
2. 前記操作手段は、抽出された領域に対して、抽出領域の拡大及び縮小、或いは異なる抽出領域への切り替えを行うことを特徴とする請求項１記載の画像制御装置。
3. 前記選択領域制御手段は、選択された領域をプリセットとして設定することを特徴とする請求項１記載の画像制御装置。
4. 前記選択領域制御手段は、選択された領域をトリミング領域として切り出すことを特徴とする請求項１記載の画像制御装置。
5. 記選択領域制御手段は、選択された領域に対して所定の画像補正を行うことを特徴とする請求項１記載の画像制御装置。
6. 記選択領域制御手段は、選択された領域に対して可視範囲制限の設定を行うことを特徴とする請求項１記載の画像制御装置。
7. 前記選択領域制御手段は、選択された領域に対してパン・チルト・ズームのカメラ操作を行うことを特徴とする請求項１記載の画像制御装置。
8. 前記領域抽出手段は、画像認識を行って領域の抽出を行う際に、認識した形状で領域を抽出することを特徴とする請求項１記載の画像制御装置。
9. 前記領域抽出手段は、認識した画像を含む所定の形状で領域を抽出することを特徴とする請求項１記載の画像制御装置。
10. 前記領域抽出手段は、抽出した画像を複数個候補として表示し、ユーザが候補画像から１つを選択することで、所望の領域を抽出することを特徴とする請求項１記載の画像制御装置。
11. 前記画像表示手段により表示される画像を閲覧するモードと、表示画像から所定の領域を選択するモードとを切り替える操作モード切替手段を備えることを特徴とする請求項１記載の画像制御装置。
12. 画像入力ステップと、
    前記画像入力ステップにより入力された画像を表示する画像表示ステップと、
    前記画像表示ステップによる画像表示に際して、所定の操作手段を用いて画像表示機能に関係する操作を行う操作ステップと、
    前記画像入力ステップにより入力された画像から物体を認識する画像認識ステップと、
    前記画像認識ステップにより得られる物体情報を元に前記物体に関わる領域を抽出する領域抽出ステップと、
    前記領域抽出の実行に応じて前記操作手段を領域操作のために機能させ、前記領域抽出ステップにより抽出された抽出領域に対して抽出領域の範囲制御或いは抽出領域の変更を行うことにより、抽出領域の領域選択を行う領域選択ステップと、
    前記領域選択ステップによって抽出された１つ或いは複数の前記抽出領域に対して、所定の制御を行う選択領域制御ステップと、
    を備えることを特徴とする画像制御方法。
13. 前記操作ステップは、抽出された領域に対して、抽出領域の拡大及び縮小、或いは異なる抽出領域への切り替えを行うことを特徴とする請求項１２記載の画像制御方法。
14. 前記選択領域制御ステップは、選択された領域をプリセットとして設定することを特徴とする請求項１２記載の画像制御方法。
15. 前記選択領域制御ステップは、選択された領域をトリミング領域として切り出すことを特徴とする請求項１２記載の画像制御方法。
16. 記選択領域制御ステップは、選択された領域に対して所定の画像補正を行うことを特徴とする請求項１２記載の画像制御方法。
17. 記選択領域制御ステップは、選択された領域に対して可視範囲制限の設定を行うことを特徴とする請求項１２記載の画像制御方法。
18. 前記選択領域制御ステップは、選択された領域に対してパン・チルト・ズームのカメラ操作を行うことを特徴とする請求項１２記載の画像制御方法。
19. 前記領域抽出ステップは、画像認識を行って領域の抽出を行う際に、認識した形状で領域を抽出することを特徴とする請求項１２記載の画像制御方法。
20. 前記領域抽出ステップは、認識した画像を含む所定の形状で領域を抽出することを特徴とする請求項１２記載の画像制御方法。
21. 前記領域抽出ステップは、抽出した画像を複数個候補として表示し、ユーザが候補画像から１つを選択することで、所望の領域を抽出することを特徴とする請求項１２記載の画像制御方法。
22. 前記画像表示ステップにより表示される画像を閲覧するモードと、表示画像から所定の領域を選択するモードとを切り替える操作モード切替ステップを備えることを特徴とする請求項１２記載の画像制御方法。

Images