JPH06303601A - 画像通信装置 - Google Patents
画像通信装置Info
- Publication number
- JPH06303601A JPH06303601A JP5086535A JP8653593A JPH06303601A JP H06303601 A JPH06303601 A JP H06303601A JP 5086535 A JP5086535 A JP 5086535A JP 8653593 A JP8653593 A JP 8653593A JP H06303601 A JPH06303601 A JP H06303601A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- face
- picture
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 230000000007 visual effect Effects 0.000 abstract 4
- 238000010586 diagram Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】 （修正有）
【構成】 送信画像を入力する固定した位置にあるカメ
ラＡ２１と任意の場所に設置する少なくとも一つのカメ
ラＢ２２〜２５によって入力した画像から顔画像を検出
する顔画像検出手段と、目画像を検出する目画像検出手
段と、目の画像面積を計算する計算手段と、最も目画像
面積値の大きい顔の画像を選択し、目画像が無い場合は
カメラＡの画像を選択する画像選択手段を具備する画像
通信装置。 【効果】 被写体の顔の位置や向きに左右されずに視線
を捉えた顔画像を表示。
ラＡ２１と任意の場所に設置する少なくとも一つのカメ
ラＢ２２〜２５によって入力した画像から顔画像を検出
する顔画像検出手段と、目画像を検出する目画像検出手
段と、目の画像面積を計算する計算手段と、最も目画像
面積値の大きい顔の画像を選択し、目画像が無い場合は
カメラＡの画像を選択する画像選択手段を具備する画像
通信装置。 【効果】 被写体の顔の位置や向きに左右されずに視線
を捉えた顔画像を表示。
Description
【０００１】
【産業上の利用分野】本発明は、テレビ電話装置やテレ
ビ会議装置、マルチメディア分散会議装置のような画像
通信機器における、視線一致の技術に関する。
ビ会議装置、マルチメディア分散会議装置のような画像
通信機器における、視線一致の技術に関する。
【０００２】
【従来の技術】従来の画像通信装置の例として文献［末
武国弘、吉川研一、「視線一致型小型テレビ電話装置の
開発」、昭和６３年度信学秋季全大、D-38］に記載され
ているものについて説明する。例えば、相手側の通信端
末と通信回線を介して画像信号を送受信する通信手段
と、前記通信端末で受信した相手側の動画または静止画
の顔画像を画像表示部（１）が表示する。画像表示部
（１）は表示面を上向きに設置しており、画像表示部
（１）の真上に半透明鏡がある。半透明鏡は４５゜に傾
いており、画像表示部（１）が表示する相手側の画像を
反射し、反射された相手側の画像を画像表示部（２）に
表示する。一方、半透明鏡の直前に位置するカメラは、
半透明鏡を通して画像表示部（２）正面の送信側の画像
を入力する。その結果、送信側は前記画像表示部（２）
に映し出される相手側の画像を見ながら送信側の画像を
送信し、視線の一致した会議を行うことができる画像通
信装置が報告されている。
武国弘、吉川研一、「視線一致型小型テレビ電話装置の
開発」、昭和６３年度信学秋季全大、D-38］に記載され
ているものについて説明する。例えば、相手側の通信端
末と通信回線を介して画像信号を送受信する通信手段
と、前記通信端末で受信した相手側の動画または静止画
の顔画像を画像表示部（１）が表示する。画像表示部
（１）は表示面を上向きに設置しており、画像表示部
（１）の真上に半透明鏡がある。半透明鏡は４５゜に傾
いており、画像表示部（１）が表示する相手側の画像を
反射し、反射された相手側の画像を画像表示部（２）に
表示する。一方、半透明鏡の直前に位置するカメラは、
半透明鏡を通して画像表示部（２）正面の送信側の画像
を入力する。その結果、送信側は前記画像表示部（２）
に映し出される相手側の画像を見ながら送信側の画像を
送信し、視線の一致した会議を行うことができる画像通
信装置が報告されている。
【０００３】
【発明が解決しようとする課題】しかし、前述の視線一
致型小型テレビ電話装置では、カメラが画像表示部
（２）の奥に設置される為、カメラの被写体を捉える範
囲が狭く、操者の顔の位置はかなり限定されてしまう。
一方、操者側はキーボード操作や手元の資料などに目を
通すことが多く、顔の動きは一定していない。その結
果、相手側の画像表示部（２）には、視線の一致しない
画像が多く映るという問題点を有していた。
致型小型テレビ電話装置では、カメラが画像表示部
（２）の奥に設置される為、カメラの被写体を捉える範
囲が狭く、操者の顔の位置はかなり限定されてしまう。
一方、操者側はキーボード操作や手元の資料などに目を
通すことが多く、顔の動きは一定していない。その結
果、相手側の画像表示部（２）には、視線の一致しない
画像が多く映るという問題点を有していた。
【０００４】そこで本発明はこのような問題点を解決す
るもので、その目的とするところは、ある許容範囲内に
おいて、被写体の顔の位置や向きに左右されずに視線を
捉えた最適な顔画像を表示することを目的とする。
るもので、その目的とするところは、ある許容範囲内に
おいて、被写体の顔の位置や向きに左右されずに視線を
捉えた最適な顔画像を表示することを目的とする。
【０００５】
【課題を解決するための手段】上記目的を達成するため
に、相手側の通信端末と通信回線を介して画像信号を送
受信する通信手段と、前記通信端末で受信した相手側の
動画または静止画の顔画像を表示する画像表示部（１）
と、前記画像表示部（１）が表示する相手側の画像を反
射する半透明鏡と、前記半透明鏡により反射した相手側
の画像を表示する画像表示部（２）と前記半透明鏡を通
して送信側の画像を入力するカメラＡよりなる画像通信
装置において、第１の発明画像通信装置は、送信画像を
入力するカメラＢと、前記カメラＡと前記カメラＢの画
像を切り替える画像切り替えスイッチとを具備すること
を特徴とする。
に、相手側の通信端末と通信回線を介して画像信号を送
受信する通信手段と、前記通信端末で受信した相手側の
動画または静止画の顔画像を表示する画像表示部（１）
と、前記画像表示部（１）が表示する相手側の画像を反
射する半透明鏡と、前記半透明鏡により反射した相手側
の画像を表示する画像表示部（２）と前記半透明鏡を通
して送信側の画像を入力するカメラＡよりなる画像通信
装置において、第１の発明画像通信装置は、送信画像を
入力するカメラＢと、前記カメラＡと前記カメラＢの画
像を切り替える画像切り替えスイッチとを具備すること
を特徴とする。
【０００６】第２の発明の画像通信装置は、カメラＢに
よって入力した送信側の画像から顔画像を検出する顔画
像検出手段と、前記カメラＢの画像から顔画像を検出し
た場合にカメラＢの画像を選択し、前記カメラＢの画像
から顔画像を検出できない場合にカメラＡの画像を選択
する画像選択手段を具備することを特徴とする。
よって入力した送信側の画像から顔画像を検出する顔画
像検出手段と、前記カメラＢの画像から顔画像を検出し
た場合にカメラＢの画像を選択し、前記カメラＢの画像
から顔画像を検出できない場合にカメラＡの画像を選択
する画像選択手段を具備することを特徴とする。
【０００７】第３の発明の画像通信装置は、送信画像を
入力する少なくとも一つのカメラＢと、前記カメラＡ及
び前記カメラＢによって入力した画像から目画像を検出
する目画像検出手段と、前記目画像から目の画像面積を
計算する計算手段と、前記カメラＡ及び前記カメラＢの
画像から最も目画像面積値の大きい顔画像のある画像を
選択し、目画像が無い場合はカメラＡの画像を選択する
画像選択手段を具備することを特徴とする。
入力する少なくとも一つのカメラＢと、前記カメラＡ及
び前記カメラＢによって入力した画像から目画像を検出
する目画像検出手段と、前記目画像から目の画像面積を
計算する計算手段と、前記カメラＡ及び前記カメラＢの
画像から最も目画像面積値の大きい顔画像のある画像を
選択し、目画像が無い場合はカメラＡの画像を選択する
画像選択手段を具備することを特徴とする。
【０００８】第３の発明の画像通信装置は、顔画像を検
出する回数をある一定の時間のごとに行う遅延手段を有
することを特徴とする。
出する回数をある一定の時間のごとに行う遅延手段を有
することを特徴とする。
【０００９】
【作用】上記第１の発明の画像通信装置によれば、送信
画像を入力するカメラＢによって任意の場所に置くこと
ができる。また、操者の顔の位置や向きが変わってもカ
メラＡに比べて捉え易く、例えば操者が手元の資料など
に目を通しながら相手に説明する場合、手元の資料から
視線を向けやすい場所にカメラＢを置くことにより操者
はカメラＡまで視線を戻すという動作せずに、自然な動
作で説明をすることができる。
画像を入力するカメラＢによって任意の場所に置くこと
ができる。また、操者の顔の位置や向きが変わってもカ
メラＡに比べて捉え易く、例えば操者が手元の資料など
に目を通しながら相手に説明する場合、手元の資料から
視線を向けやすい場所にカメラＢを置くことにより操者
はカメラＡまで視線を戻すという動作せずに、自然な動
作で説明をすることができる。
【００１０】上記第２の発明の画像通信装置によれば、
カメラＢによって入力した送信側の画像から顔画像を検
出する顔画像検出手段と、前記カメラＢの画像から顔画
像を検出した場合にカメラＢの画像を選択し、前記カメ
ラＢの画像から顔画像を検出できない場合にカメラＡの
画像を選択する画像選択手段により、会議または打ち合
せ等に重要な顔画像を送信し、顔画像のない無駄な画像
を取り除くことができる。また、操者が資料の図等を相
手に説明したい場合にカメラＡの画像を選択することに
より相手に説明することができる。
カメラＢによって入力した送信側の画像から顔画像を検
出する顔画像検出手段と、前記カメラＢの画像から顔画
像を検出した場合にカメラＢの画像を選択し、前記カメ
ラＢの画像から顔画像を検出できない場合にカメラＡの
画像を選択する画像選択手段により、会議または打ち合
せ等に重要な顔画像を送信し、顔画像のない無駄な画像
を取り除くことができる。また、操者が資料の図等を相
手に説明したい場合にカメラＡの画像を選択することに
より相手に説明することができる。
【００１１】上記第３の発明の画像通信装置によれば、
送信画像を入力するカメラＡ及び少なくとも一つのカメ
ラＢにより、カメラが捉える範囲が全体的に広がり、操
者の顔の位置や向きが変わっても顔画像を検出しやす
い。さらに、前記カメラＡと前記カメラＢによって入力
した画像から目画像を検出する目画像検出手段により、
視線を検出した画像を選択することができる。また、計
算手段により検出した目画像の面積を求め、全てのカメ
ラの画像から最も目画像面積値の大きい画像を選択する
画像選択手段により、更に視線を捉えた画像を選択する
ことができる。
送信画像を入力するカメラＡ及び少なくとも一つのカメ
ラＢにより、カメラが捉える範囲が全体的に広がり、操
者の顔の位置や向きが変わっても顔画像を検出しやす
い。さらに、前記カメラＡと前記カメラＢによって入力
した画像から目画像を検出する目画像検出手段により、
視線を検出した画像を選択することができる。また、計
算手段により検出した目画像の面積を求め、全てのカメ
ラの画像から最も目画像面積値の大きい画像を選択する
画像選択手段により、更に視線を捉えた画像を選択する
ことができる。
【００１２】上記第４の発明の画像通信装置によれば、
顔画像を検出する回数をある一定の時間のごとに行う遅
延手段により、顔画像検出が連続して起こる為に相手の
顔が捉えにくくなることを防ぎ、最適な顔画像を送信す
ることができる。
顔画像を検出する回数をある一定の時間のごとに行う遅
延手段により、顔画像検出が連続して起こる為に相手の
顔が捉えにくくなることを防ぎ、最適な顔画像を送信す
ることができる。
【００１３】
【実施例】（実施例１）以下、画像通信装置について図
面を参照しながら各々説明する。
面を参照しながら各々説明する。
【００１４】図１は、従来の画像通信装置の一実施例を
示す構成図である。相手側の通信端末１０と通信回線１
４を介して画像信号を送受信する通信手段と、上記通信
端末１０で受信した相手側の動画または静止画の顔画像
を画像表示部（１）１２が表示する。画像表示部（１）
１２は表示面を上向きに設置しており、画像表示部
（１）１２の真上に半透明鏡１１がある。半透明鏡１１
は４５゜に傾いており、画像表示部（１）１２が表示す
る相手側の顔画像を反射し、反射された相手側の顔画像
を画像表示部（２）１３に表示する。一方、半透明鏡１
１の直前に位置するカメラ２１（カメラＡ）は、半透明
鏡１１を透過して画像表示部（２）１３正面の送信側の
顔画像を入力する。その結果、送信側は前記画像表示部
（２）１３に映し出す相手側の顔画像を見ながら送信側
の顔画像を送信し、視線の一致した会議を行う画像通信
装置において、図２は、実施例１における画像通信装置
の一実施例の構成図である。カメラ２２（カメラＢ）の
構成は小型ＣＣＤカメラと高さを調整する三脚から構成
し、任意の場所に置いて送信画像を入力するカメラ２２
である。例えば、操者が手元の資料に目を通しながら相
手に説明する場合、手元の資料から視線を向けやすい場
所にカメラ２２を置くとよい。また、画像切り替えスイ
ッチ３１によりカメラ２１とカメラ２２の画像を切り替
え、その結果、視線が互いに一致する画像通信装置が実
現する。
示す構成図である。相手側の通信端末１０と通信回線１
４を介して画像信号を送受信する通信手段と、上記通信
端末１０で受信した相手側の動画または静止画の顔画像
を画像表示部（１）１２が表示する。画像表示部（１）
１２は表示面を上向きに設置しており、画像表示部
（１）１２の真上に半透明鏡１１がある。半透明鏡１１
は４５゜に傾いており、画像表示部（１）１２が表示す
る相手側の顔画像を反射し、反射された相手側の顔画像
を画像表示部（２）１３に表示する。一方、半透明鏡１
１の直前に位置するカメラ２１（カメラＡ）は、半透明
鏡１１を透過して画像表示部（２）１３正面の送信側の
顔画像を入力する。その結果、送信側は前記画像表示部
（２）１３に映し出す相手側の顔画像を見ながら送信側
の顔画像を送信し、視線の一致した会議を行う画像通信
装置において、図２は、実施例１における画像通信装置
の一実施例の構成図である。カメラ２２（カメラＢ）の
構成は小型ＣＣＤカメラと高さを調整する三脚から構成
し、任意の場所に置いて送信画像を入力するカメラ２２
である。例えば、操者が手元の資料に目を通しながら相
手に説明する場合、手元の資料から視線を向けやすい場
所にカメラ２２を置くとよい。また、画像切り替えスイ
ッチ３１によりカメラ２１とカメラ２２の画像を切り替
え、その結果、視線が互いに一致する画像通信装置が実
現する。
【００１５】（実施例２）以下、画像通信装置について
図面を参照しながら各々説明する。図３は、実施例２に
おける画像通信装置の一実施例の構成図であり、図４
は、本発明の顔画像検出手段を備えた制御部３０の一実
施例を示す図である。顔画像検出手段を備えた制御部３
０はカメラ２１（カメラＡ）及びカメラ２２（カメラ
Ｂ）に接続している。制御部３０の顔画像検出手段は、
特開平１−３１４３８５号公報で既に知られている方法
を参考にする。例えば、カメラの画像をＣｎ=Ｃｎ+1
（ｎは画像数）４０とする時、カメラ２２の画像はＣ1
であり、肌色領域抽出４１を行い、肌色領域が抽出でき
なければ画像選択手段によりカメラ２１の画像選択５１
を行う。肌色領域抽出４１行うだけでは顔画像であるか
判断できない為、肌色領域に囲まれた非肌色領域抽出４
２を行う。肌色領域に囲まれた非肌色領域の抽出ができ
なければ画像選択手段よりカメラＡの画像選択５１を行
うする。次に、肌色領域囲まれた非肌色領域抽出４２か
ら顔の特徴となる目画像候補、鼻画像候補、口画像候補
の有無の判断４３を行う。図５は、顔画像特徴照合手段
の一実施例を示す図である。目画像候補の形状と目の一
般的な形状を照合する目画像照合５０を行い、画像候補
が一致した場合は目画像決定５２として鼻画像照合５３
を行い、一致しない場合は画像選択手段よりカメラＡの
画像選択５１を行う。鼻画像候補の形状と鼻の一般的な
の形状を照合する鼻画像照合５３を行い、画像候補が一
致した場合は鼻画像決定５４として口画像照合５５を行
い、一致しない場合は画像選択手段によりカメラＡの画
像選択５１を行う。口画像候補の形状と口の一般的な形
状の照合する口画像照合５５を行い、画像候補が一致し
た場合は口画像決定５６とする。すなわち全ての照合を
行い、画像候補が一致した場合を顔画像検出５７（図４
の顔画像検出４４と同一）とする上記の顔画像検出手段
を用いる。次に制御部３０の画像選択手段により、それ
まで送信していた画像から顔画像検出５７の画像表示切
り換え４８行う。その結果、視線が互いに一致する画像
通信装置が実現する。
図面を参照しながら各々説明する。図３は、実施例２に
おける画像通信装置の一実施例の構成図であり、図４
は、本発明の顔画像検出手段を備えた制御部３０の一実
施例を示す図である。顔画像検出手段を備えた制御部３
０はカメラ２１（カメラＡ）及びカメラ２２（カメラ
Ｂ）に接続している。制御部３０の顔画像検出手段は、
特開平１−３１４３８５号公報で既に知られている方法
を参考にする。例えば、カメラの画像をＣｎ=Ｃｎ+1
（ｎは画像数）４０とする時、カメラ２２の画像はＣ1
であり、肌色領域抽出４１を行い、肌色領域が抽出でき
なければ画像選択手段によりカメラ２１の画像選択５１
を行う。肌色領域抽出４１行うだけでは顔画像であるか
判断できない為、肌色領域に囲まれた非肌色領域抽出４
２を行う。肌色領域に囲まれた非肌色領域の抽出ができ
なければ画像選択手段よりカメラＡの画像選択５１を行
うする。次に、肌色領域囲まれた非肌色領域抽出４２か
ら顔の特徴となる目画像候補、鼻画像候補、口画像候補
の有無の判断４３を行う。図５は、顔画像特徴照合手段
の一実施例を示す図である。目画像候補の形状と目の一
般的な形状を照合する目画像照合５０を行い、画像候補
が一致した場合は目画像決定５２として鼻画像照合５３
を行い、一致しない場合は画像選択手段よりカメラＡの
画像選択５１を行う。鼻画像候補の形状と鼻の一般的な
の形状を照合する鼻画像照合５３を行い、画像候補が一
致した場合は鼻画像決定５４として口画像照合５５を行
い、一致しない場合は画像選択手段によりカメラＡの画
像選択５１を行う。口画像候補の形状と口の一般的な形
状の照合する口画像照合５５を行い、画像候補が一致し
た場合は口画像決定５６とする。すなわち全ての照合を
行い、画像候補が一致した場合を顔画像検出５７（図４
の顔画像検出４４と同一）とする上記の顔画像検出手段
を用いる。次に制御部３０の画像選択手段により、それ
まで送信していた画像から顔画像検出５７の画像表示切
り換え４８行う。その結果、視線が互いに一致する画像
通信装置が実現する。
【００１６】（実施例３）以下、画像通信装置について
図面を参照しながら各々説明する。図６は、本発明の画
像通信装置の実施例の構成図を示す。カメラ２１（カメ
ラＡ）は送信側の操者１５の正面の顔画像を入力し、カ
メラ２２〜２５（少なくとも一つのカメラＢ）のうち、
カメラ２２は操者の左側に向いた顔画像を入力し、カメ
ラ２３は操者の右側に向いた顔画像を入力し、カメラ２
４は操者の上側に向いた顔画像を入力し、カメラ２５は
操者の下側に向いた顔画像を入力し、全てのカメラは制
御部３０に接続している。図７は、視線の一致した顔画
像を制御する制御部３０の実施例を示す全体図である。
制御部３０の目画像検出手段により全てのカメラ２１〜
２５が入力した画像から顔画像を検出し、次に目画像を
検出する。顔画像及び目画像を検出する方法は、特開平
１−３１４３８５号公報で既に知られている方法を参考
にする。例えば、少なくとも一つののカメラからの画像
をＣｎ=Ｃｎ+1（ｎは画像数）４０とする時、例えばカ
メラ２１及びカメラ２２〜２５の場合はＣ5であり、肌
色領域の抽出４１を行う。この時、肌色領域が無い場合
は、画像選択手段５１によりカメラ２１からの画像を選
択する。肌色領域抽出４１だけでは顔画像であるか判断
できない為、肌色領域囲まれた非肌色領域抽出４２を行
う。次に、肌色領域囲まれた非肌色領域抽出４２から顔
の特徴となる目画像候補、鼻画像候補、口画像候補の有
無の確認を顔画像特徴照合４３により行う。図５は、顔
画像特徴照合４３を行うの実施例を示す。目画像候補の
形状と目の一般的な形状を照合する目画像照合５０を行
い、画像候補が一致した場合は目画像決定５２として鼻
画像照合５３行い、一致しない場合は画像選択手段５１
によりカメラ２１からの画像を選択する。鼻画像候補の
形状と鼻の一般的な形状を照合する鼻画像照合部５３を
行い、画像候補が一致した場合は鼻画像決定５４として
口画像照合部５５に進み、一致しない場合は画像選択手
段５１によりカメラ２１からの画像を選択する。口画像
候補の形状と口の一般的な形状を照合する口画像照合５
５を行い、画像候補が一致した場合は口画像決定５６と
する。すなわち全ての照合で画像候補が一致した場合を
顔画像５７（図４の顔画像検出４４と同一）とする。次
に、前記目画像から計算手段により目の画像面積の計算
４５を行い、画像選択手段により目の画像面積の比較４
６を行い、全てのカメラ２１〜２５の顔画像から目の画
像面積が最大である顔画像の選択４７を行い、画像切り
替えスイッチによりそれまで送信していた画像から画像
表示切り換え４８を行う。また画像選択手段５１によっ
て画像から顔画像を検出できない場合に、カメラ２１か
らの画像を選択する。その結果、視線が互いに一致する
画像通信装置が実現する。
図面を参照しながら各々説明する。図６は、本発明の画
像通信装置の実施例の構成図を示す。カメラ２１（カメ
ラＡ）は送信側の操者１５の正面の顔画像を入力し、カ
メラ２２〜２５（少なくとも一つのカメラＢ）のうち、
カメラ２２は操者の左側に向いた顔画像を入力し、カメ
ラ２３は操者の右側に向いた顔画像を入力し、カメラ２
４は操者の上側に向いた顔画像を入力し、カメラ２５は
操者の下側に向いた顔画像を入力し、全てのカメラは制
御部３０に接続している。図７は、視線の一致した顔画
像を制御する制御部３０の実施例を示す全体図である。
制御部３０の目画像検出手段により全てのカメラ２１〜
２５が入力した画像から顔画像を検出し、次に目画像を
検出する。顔画像及び目画像を検出する方法は、特開平
１−３１４３８５号公報で既に知られている方法を参考
にする。例えば、少なくとも一つののカメラからの画像
をＣｎ=Ｃｎ+1（ｎは画像数）４０とする時、例えばカ
メラ２１及びカメラ２２〜２５の場合はＣ5であり、肌
色領域の抽出４１を行う。この時、肌色領域が無い場合
は、画像選択手段５１によりカメラ２１からの画像を選
択する。肌色領域抽出４１だけでは顔画像であるか判断
できない為、肌色領域囲まれた非肌色領域抽出４２を行
う。次に、肌色領域囲まれた非肌色領域抽出４２から顔
の特徴となる目画像候補、鼻画像候補、口画像候補の有
無の確認を顔画像特徴照合４３により行う。図５は、顔
画像特徴照合４３を行うの実施例を示す。目画像候補の
形状と目の一般的な形状を照合する目画像照合５０を行
い、画像候補が一致した場合は目画像決定５２として鼻
画像照合５３行い、一致しない場合は画像選択手段５１
によりカメラ２１からの画像を選択する。鼻画像候補の
形状と鼻の一般的な形状を照合する鼻画像照合部５３を
行い、画像候補が一致した場合は鼻画像決定５４として
口画像照合部５５に進み、一致しない場合は画像選択手
段５１によりカメラ２１からの画像を選択する。口画像
候補の形状と口の一般的な形状を照合する口画像照合５
５を行い、画像候補が一致した場合は口画像決定５６と
する。すなわち全ての照合で画像候補が一致した場合を
顔画像５７（図４の顔画像検出４４と同一）とする。次
に、前記目画像から計算手段により目の画像面積の計算
４５を行い、画像選択手段により目の画像面積の比較４
６を行い、全てのカメラ２１〜２５の顔画像から目の画
像面積が最大である顔画像の選択４７を行い、画像切り
替えスイッチによりそれまで送信していた画像から画像
表示切り換え４８を行う。また画像選択手段５１によっ
て画像から顔画像を検出できない場合に、カメラ２１か
らの画像を選択する。その結果、視線が互いに一致する
画像通信装置が実現する。
【００１７】（実施例４）以下、画像通信装置について
図面を参照しながら各々説明する。
図面を参照しながら各々説明する。
【００１８】上記第４の本発明によれば、図８は、本発
明の遅延手段を有する制御部３０の実施例を示す図であ
る。制御部３０はカメラ２１（カメラＡ）及びカメラ２
２（カメラＢ）の画像を入力し、顔画像を検出する。制
御部３０の顔画像検出手段は、特開平１−３１４３８５
号公報で既に知られている方法を参考にする。例えば、
カメラの画像をＣｎ=Ｃｎ+1（ｎは画像数）４０とする
時、顔画像を検出する回数をある一定の時間のごとに行
う遅延部６０により、顔画像検出が連続して起こる為に
相手の顔が捉えにくくなることを防ぎ、カメラ２２の画
像はＣ1であり、肌色領域抽出４１を行い、肌色領域が
抽出できなければ画像選択手段５１によりカメラ２１の
画像を選択する。肌色領域抽出４１だけでは顔画像であ
るか判断できない為、肌色領域に囲まれた非肌色領域抽
出４２を行う。肌色領域に囲まれた非肌色領域の抽出が
できなければ画像選択手段５１よりカメラＡの画像を選
択する。次に、肌色領域囲まれた非肌色領域抽出４２か
ら顔の特徴となる目画像候補、鼻画像候補、口画像候補
の有無の判断４３を行う。次に、画像選択手段によりそ
れまで送信していた画像から顔画像検出５７の画像表示
切り換え４８行う。その結果、視線が互いに一致する画
像通信装置が実現する。
明の遅延手段を有する制御部３０の実施例を示す図であ
る。制御部３０はカメラ２１（カメラＡ）及びカメラ２
２（カメラＢ）の画像を入力し、顔画像を検出する。制
御部３０の顔画像検出手段は、特開平１−３１４３８５
号公報で既に知られている方法を参考にする。例えば、
カメラの画像をＣｎ=Ｃｎ+1（ｎは画像数）４０とする
時、顔画像を検出する回数をある一定の時間のごとに行
う遅延部６０により、顔画像検出が連続して起こる為に
相手の顔が捉えにくくなることを防ぎ、カメラ２２の画
像はＣ1であり、肌色領域抽出４１を行い、肌色領域が
抽出できなければ画像選択手段５１によりカメラ２１の
画像を選択する。肌色領域抽出４１だけでは顔画像であ
るか判断できない為、肌色領域に囲まれた非肌色領域抽
出４２を行う。肌色領域に囲まれた非肌色領域の抽出が
できなければ画像選択手段５１よりカメラＡの画像を選
択する。次に、肌色領域囲まれた非肌色領域抽出４２か
ら顔の特徴となる目画像候補、鼻画像候補、口画像候補
の有無の判断４３を行う。次に、画像選択手段によりそ
れまで送信していた画像から顔画像検出５７の画像表示
切り換え４８行う。その結果、視線が互いに一致する画
像通信装置が実現する。
【００１９】
【発明の効果】以上説明したように、上記第１の発明に
よれば、送信画像を入力するカメラＢによって任意の場
所に置くことができる。また、操者の顔の位置や向きが
変わってもカメラＡに比べて捉え易く、例えば操者が手
元の資料などに目を通しながら相手に説明する場合、手
元の資料から視線を向けやすい場所にカメラＢを置くこ
とにより操者はカメラＡまで視線を戻すという動作せず
に、自然な動作で説明をすることができるという効果を
有する。
よれば、送信画像を入力するカメラＢによって任意の場
所に置くことができる。また、操者の顔の位置や向きが
変わってもカメラＡに比べて捉え易く、例えば操者が手
元の資料などに目を通しながら相手に説明する場合、手
元の資料から視線を向けやすい場所にカメラＢを置くこ
とにより操者はカメラＡまで視線を戻すという動作せず
に、自然な動作で説明をすることができるという効果を
有する。
【００２０】第２の本発明では、カメラＢによって入力
した送信側の画像から顔画像を検出する顔画像検出手段
と、前記カメラＢの画像から顔画像を検出した場合にカ
メラＢの画像を選択し、前記カメラＢの画像から顔画像
を検出できない場合にカメラＡの画像を選択する画像選
択手段により、会議または打ち合せ等に重要な顔画像を
送信し、顔画像のない無駄な画像を取り除くことができ
る。また、操者が資料の図等を相手に説明したい場合に
カメラＡの画像を選択することにより相手に説明するこ
とができるという効果を有する。
した送信側の画像から顔画像を検出する顔画像検出手段
と、前記カメラＢの画像から顔画像を検出した場合にカ
メラＢの画像を選択し、前記カメラＢの画像から顔画像
を検出できない場合にカメラＡの画像を選択する画像選
択手段により、会議または打ち合せ等に重要な顔画像を
送信し、顔画像のない無駄な画像を取り除くことができ
る。また、操者が資料の図等を相手に説明したい場合に
カメラＡの画像を選択することにより相手に説明するこ
とができるという効果を有する。
【００２１】上記第３の発明によれば、送信画像を入力
するカメラＡ及び少なくとも一つのカメラＢにより、カ
メラが捉える範囲が全体的に広がり、操者の顔の位置や
向きが変わっても顔画像を検出しやすい。さらに、前記
カメラＡと前記カメラＢによって入力した画像から目画
像を検出する目画像検出手段により、視線を検出した画
像を選択することができる。また、計算手段により検出
した目画像の面積を求め、全てのカメラの画像から最も
目画像面積値の大きい画像を選択する画像選択手段によ
り、更に視線を捉えた画像を選択することができるとい
う効果を有する。
するカメラＡ及び少なくとも一つのカメラＢにより、カ
メラが捉える範囲が全体的に広がり、操者の顔の位置や
向きが変わっても顔画像を検出しやすい。さらに、前記
カメラＡと前記カメラＢによって入力した画像から目画
像を検出する目画像検出手段により、視線を検出した画
像を選択することができる。また、計算手段により検出
した目画像の面積を求め、全てのカメラの画像から最も
目画像面積値の大きい画像を選択する画像選択手段によ
り、更に視線を捉えた画像を選択することができるとい
う効果を有する。
【００２２】上記第４の本発明によれば、顔画像を検出
する回数をある一定の時間のごとに行う遅延手段によ
り、顔画像検出が連続して起こる為に相手の顔が捉えに
くくなることを防ぎ、最適な顔画像を送信することがで
きるという効果を有する。
する回数をある一定の時間のごとに行う遅延手段によ
り、顔画像検出が連続して起こる為に相手の顔が捉えに
くくなることを防ぎ、最適な顔画像を送信することがで
きるという効果を有する。
【図１】 従来の画像通信装置の一実施例を示す構成
図。
図。
【図２】 本発明の画像通信装置の一実施例を示す構成
図。
図。
【図３】 本発明の画像通信装置の一実施例を示す構成
図。
図。
【図４】 本発明の制御部の顔画像検出手段の一実施例
を示す図。
を示す図。
【図５】 本発明の顔画像特徴照合手段の一実施例を示
す図。
す図。
【図６】 本発明の画像通信装置の一実施例の構成図。
【図７】 本発明の制御部の一実施例を示す全体図であ
る。
る。
【図８】 本発明の遅延手段を有する制御部の一実施例
を示す図。
を示す図。
１０ … 通信端末 １１ … 半透明鏡 １２ … 画像表示部（１） １３ … 画像表示部（２） １４ … 通信回線 １５ … 操者 ２１ … カメラＡ ２２ … カメラＢ ２３ … カメラＢ ２４ … カメラＢ ２５ … カメラＢ ３０ … 制御部 ３１ … 画像切り替えスイッチ ４０ … 画像Ｃｎ=Ｃｎ+1（ｎは画像数） ４１ … 肌色領域抽出 ４２ … 肌色領域に囲まれた非肌色領域抽出 ４３ … 顔画像特徴照合手段 ４４ … 顔画像検出 ４６ … 目の画像面積の計算 ４７ … 目の画像面積が最大である画像の選択 ４８ … 画像表示切り替え ５０ … 目画像照合 ５１ … 画像選択手段 ５２ … 目画像決定 ５３ … 鼻画像照合 ５４ … 鼻画像決定 ５５ … 口画像照合 ５６ … 口画像決定 ５７ … 顔画像検出 ６０ … 遅延手段
Claims (4)
- 【請求項１】相手側の通信端末と通信回線を介して画像
信号を送受信する通信手段と、 前記通信端末で受信した相手側の動画または静止画の顔
画像を表示する画像表示部（１）と、 前記画像表示部（１）が表示する相手側の顔画像を反射
する半透明鏡と、 前記半透明鏡により反射した相手側の顔画像を表示する
画像表示部（２）と、 前記半透明鏡を通して送信側の顔画像を入力するカメラ
Ａよりなる画像通信装置において、 送信画像を入力するカメラＢと、 前記カメラＡと前記カメラＢの画像を切り替える画像切
り替えスイッチを具備することを特徴とした画像通信装
置。 - 【請求項２】 請求項１記載の画像通信装置において、 カメラＢによって入力した送信側の画像から顔画像を検
出する顔画像検出手段と、 前記カメラＢの画像から顔画像を検出した場合にカメラ
Ｂの画像を選択し、前記カメラＢの画像から顔画像を検
出できない場合にカメラＡの画像を選択する画像選択手
段を具備することを特徴とした画像通信装置。 - 【請求項３】 請求項１または請求項２に記載の画像通
信装置において、 送信画像を入力する少なくとも一つのカメラＢと、 前記カメラＡ及び前記カメラＢによって入力した画像か
ら目画像を検出する目画像検出手段と、 前記目画像から目の画像面積を計算する計算手段と、 前記カメラＡ及び前記カメラＢの画像から最も目画像面
積値の大きい顔画像のある画像を選択し、目画像が無い
場合はカメラＡの画像を選択する画像選択手段を具備す
ることを特徴とした画像通信装置。 - 【請求項４】 請求項１または請求項２または請求項３
に記載の画像通信装置において、 顔画像を検出をある一定の時間のごとに行う遅延手段を
有することを特徴とした画像通信装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5086535A JPH06303601A (ja) | 1993-04-13 | 1993-04-13 | 画像通信装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5086535A JPH06303601A (ja) | 1993-04-13 | 1993-04-13 | 画像通信装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06303601A true JPH06303601A (ja) | 1994-10-28 |
Family
ID=13889699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5086535A Pending JPH06303601A (ja) | 1993-04-13 | 1993-04-13 | 画像通信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06303601A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08201721A (ja) * | 1995-01-25 | 1996-08-09 | Kozo Kagi Kofun Yugenkoshi | 映像表示装置およびマルチメディア表示装置 |
| DE19510737A1 (de) * | 1995-03-24 | 1996-10-02 | Thomson Brandt Gmbh | Kommunikationsendgerät |
| JP2000132693A (ja) * | 1998-10-27 | 2000-05-12 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
| JP2005051554A (ja) * | 2003-07-29 | 2005-02-24 | Mitsubishi Electric Corp | 応答コールセンターシステムの顧客端末及びオペレータ端末 |
| JP2014049797A (ja) * | 2012-08-29 | 2014-03-17 | Canon Inc | カメラ付き表示装置 |
-
1993
- 1993-04-13 JP JP5086535A patent/JPH06303601A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08201721A (ja) * | 1995-01-25 | 1996-08-09 | Kozo Kagi Kofun Yugenkoshi | 映像表示装置およびマルチメディア表示装置 |
| DE19510737A1 (de) * | 1995-03-24 | 1996-10-02 | Thomson Brandt Gmbh | Kommunikationsendgerät |
| JP2000132693A (ja) * | 1998-10-27 | 2000-05-12 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
| JP2005051554A (ja) * | 2003-07-29 | 2005-02-24 | Mitsubishi Electric Corp | 応答コールセンターシステムの顧客端末及びオペレータ端末 |
| JP2014049797A (ja) * | 2012-08-29 | 2014-03-17 | Canon Inc | カメラ付き表示装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7677817B2 (en) | Device comprising camera elements | |
| JP3565707B2 (ja) | 観察者トラッキング自動立体表示装置、画像トラッキングシステム、および画像トラッキング方法 | |
| JP5433935B2 (ja) | 画面表示制御方法、画面表示制御方式、電子機器及びプログラム | |
| KR101231518B1 (ko) | 카메라 제어 장치, 카메라 시스템, 전자 회의 시스템 및카메라 제어 방법 | |
| US6208373B1 (en) | Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users | |
| US20060044399A1 (en) | Control system for an image capture device | |
| US20060125928A1 (en) | Scene and user image capture device and method | |
| GB2294605A (en) | Video conference system providing parallax correction and a sense of presence | |
| US6563528B2 (en) | Video conference system | |
| JPH1124603A (ja) | 情報表示装置及び情報収集装置 | |
| JPH09101477A (ja) | 情報表示装置 | |
| JPH09200714A (ja) | テレビ電話付き画像処理装置 | |
| JPH06303601A (ja) | 画像通信装置 | |
| JPH1196366A (ja) | ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置 | |
| US20060192847A1 (en) | Display apparatus, and display control method for the display apparatus | |
| JP2008182321A (ja) | 画像表示システム | |
| JPH11237581A (ja) | ヘッドマウントディスプレイ装置 | |
| JP3389102B2 (ja) | ネットワーク会議画像処理装置 | |
| EP3599763B1 (en) | Method and apparatus for controlling image display | |
| JP5796052B2 (ja) | 画面表示制御方法、画面表示制御方式、電子機器及びプログラム | |
| JP5845079B2 (ja) | 表示装置およびｏｓｄ表示方法 | |
| KR101233787B1 (ko) | 입체 메인화면이 표시되는 휴대단말기 | |
| JP3721624B2 (ja) | Ｔｖ電話システム | |
| JPH09179502A (ja) | ディスプレイ装置 | |
| JPS63210613A (ja) | 視線方向検出装置 |