[go: up one dir, main page]

JP6178321B2 - 画像のためのir信号捕捉 - Google Patents

画像のためのir信号捕捉 Download PDF

Info

Publication number
JP6178321B2
JP6178321B2 JP2014535708A JP2014535708A JP6178321B2 JP 6178321 B2 JP6178321 B2 JP 6178321B2 JP 2014535708 A JP2014535708 A JP 2014535708A JP 2014535708 A JP2014535708 A JP 2014535708A JP 6178321 B2 JP6178321 B2 JP 6178321B2
Authority
JP
Japan
Prior art keywords
image
radiator
signal
emitter
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014535708A
Other languages
English (en)
Other versions
JP2015501574A (ja
Inventor
スンイル・キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Empire Technology Development LLC
Original Assignee
Empire Technology Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Empire Technology Development LLC filed Critical Empire Technology Development LLC
Publication of JP2015501574A publication Critical patent/JP2015501574A/ja
Application granted granted Critical
Publication of JP6178321B2 publication Critical patent/JP6178321B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Stroboscope Apparatuses (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Description

本明細書では特に明記しない限り、本項で述べる手法は本出願での特許請求の範囲に対する従来技術ではなく、本項に含むことによって従来技術であると認めるものではない。
Microsoft(登録商標)のKinectの発売以来、深さカメラは多くの人々が用いるデバイスとなっている。Kinectの場合は、深さ情報は構造化光を用いて抽出することができる。本明細書で用いられる「構造化光」という用語は、対象物上に特定の赤外線パターンを投影するプロセスを指すことができ、対象物上に投影されたパターンがどれだけ歪みを受けたか(たとえば、投影されたパターンの歪みの程度)に少なくとも部分的に基づいて、深さ情報を計算することができる。
本明細書では、構造化光画像の捕捉に関連するいくつかの例示の方法、装置、およびシステムについて述べられる。1つの例ではこのような装置は、第1の赤外線(IR)放射器、第2のIR放射器、画像捕捉デバイス、プロセッサ、および/または信号保持媒体を含むことができる。第1のIR放射器は第1のIR信号を放射するように構成することができる。第2のIR放射器は第2のIR信号を放射するように構成することができる。画像捕捉デバイスは第1および第2のIR信号を受け取るように構成することができる。プロセッサは、第1のIR放射器、第2のIR放射器、および/または画像捕捉デバイスに通信可能に結合することができる。信号保持媒体は、その上に記憶された機械可読命令を含むことができ、機械可読命令はプロセッサによって実行されたとき、コンピューティングデバイスが、それぞれ第1のIR放射器からの第1のIR信号および第2のIR放射器からの第2のIR信号の放射を交互パターンで容易にすることを動作的に可能にすることができる。
他の例では構造化光画像の捕捉に関連する装置は、赤外線(IR)放射器、画像捕捉デバイス、プロセッサ、および/または信号保持媒体を含むことができる。IR放射器は、IR信号を放射し、実質的に水平方向、実質的に垂直方向、または実質的に水平および垂直方向のうちの、少なくとも1つに移動するように構成することができる。画像捕捉デバイスは、IR放射器の1つまたは複数の位置からIR信号を受け取るように構成することができる。プロセッサは、IR放射器および画像捕捉デバイスに通信可能に結合することができる。信号保持媒体は、その上に記憶された機械可読命令を含むことができ、機械可読命令はプロセッサによって実行されたとき、コンピューティングデバイスがIR放射器を移動することを動作的に可能にすることができる。
他の例では、構造化光画像の捕捉に関連する画像処理の方法は、画像捕捉デバイスにおいて、第1のIR放射器から第1の赤外線(IR)信号を受け取ることを含むことができる。第2のIR信号は、画像捕捉デバイスにおいて第2のIR放射器から受け取ることができる。第1のIR放射器から受け取った第1のIR信号から影の領域が検出されるかどうかの判定を行うことができる。第1のIR放射器からの第1のIR信号の放射、および第2のIR放射器からの第2のIR信号の放射は交互パターンで容易にすることができる。
他の例では、構造化光画像の捕捉に関連する画像処理の方法は、画像捕捉デバイスにおいて、第1の位置におけるIR放射器から第1の赤外線(IR)信号を受け取ることを含むことができる。IR放射器は、実質的に水平方向、実質的に垂直方向、または実質的に水平および垂直方向のうちの、少なくとも1つに移動するように構成することができる。IR放射器は第2の位置に移動することができる。画像捕捉デバイスにおいて第2の位置におけるIR放射器から第2のIR信号を受け取ることができる。
他の例では製品は、プロセッサによって実行されたとき、コンピューティングデバイスが構造化光画像を捕捉することを動作的に可能にする、機械可読命令がその上に記憶された信号保持媒体を含むことができる。たとえば、画像捕捉デバイスにおいて第1のIR放射器から第1の赤外線(IR)信号を受け取ることができる。画像捕捉デバイスにおいて第2のIR放射器から第2のIR信号を受け取ることができる。第1のIR放射器から受け取った第1のIR信号から影の領域が検出されるかどうかの判定を行うことができる。第1のIR放射器からの第1のIR信号の放射、および第2のIR放射器からの第2のIR信号の放射は、交互パターンで容易にすることができる。
他の例では製品は、プロセッサによって実行されたとき、コンピューティングデバイスが構造化光画像を捕捉することを動作的に可能にする、機械可読命令がその上に記憶された信号保持媒体を含むことができる。たとえば、画像捕捉デバイスにおいて、第1の位置におけるIR放射器から第1の赤外線(IR)信号を受け取ることができ、IR放射器は、実質的に水平方向、実質的に垂直方向、または実質的に水平および垂直方向のうちの、少なくとも1つに移動するように構成することができる。IR放射器は第2の位置に移動することができる。画像捕捉デバイスにおいて、第2の位置におけるIR放射器から第2のIR信号を受け取ることができる。
上記の概要は例示のみであり、何ら限定するものではない。図面を参照することによりおよび以下の詳細な説明により、上述の例示的な態様、実施形態、および特徴に加えて、他の態様、実施形態、および特徴が明らかとなるであろう。
主題については、本明細書の結びの部分において具体的に指摘され明瞭に特許請求される。本開示の上記その他の特徴は、添付の図面と併せ読まれる、以下の詳細な説明および添付の特許請求の範囲から、より十分に明らかとなるであろう。これらの図面は本開示によるいくつかの実施形態のみを示し、したがってその範囲を限定すると見なされるべきでないとの理解により、本開示について添付の図面の使用を通して追加の具体性および詳細によって説明する。
本開示の少なくともいくつかの実施形態により構成された例示の構造化光デバイスを示す図である。 本開示の少なくともいくつかの実施形態により構成された、対象物の画像を捕捉する例示の構造化光デバイスを示す図である。 本開示の少なくともいくつかの実施形態により構成された、例示の捕捉された対象物の画像を示す図である。 本開示の少なくともいくつかの実施形態により構成された、構造化光画像を捕捉するための例示のプロセスを示す図である。 本開示の少なくともいくつかの実施形態により構成された例示のコンピュータプログラム製品を示す図である。 本開示の少なくともいくつかの実施形態により構成された他の例示の構造化光デバイスを示す図である。 本開示の少なくともいくつかの実施形態により構成された、2次元構造化光画像を捕捉するための他の例示のプロセスを示す図である。 本開示の少なくともいくつかの実施形態により構成された他の例示のコンピュータプログラム製品を示す図である。 本開示の少なくともいくつかの実施形態により構成されたコンピューティングデバイスの例示的実施形態のブロック図である。
以下の説明では、特許請求される主題の十分な理解を得るために、さまざまな例を具体的な詳細と共に示す。しかし当業者には、特許請求される主題は、本明細書で開示される具体的な詳細のいくつかまたはそれより多くを有せずに実施できることが理解されるであろう。さらにいくつかの場合には、特許請求される主題が不必要に不明瞭になるのを避けるために、良く知られている方法、手順、システム、構成要素、および/または回路については詳細に述べていない。
以下の詳細な説明では、本明細書の一部となる添付の図面を参照する。図面では特に言及されない限り同様な記号は、通常は同様な構成要素を識別する。詳細な説明、図面、および特許請求の範囲で述べられる例示的実施形態は、限定するためのものではない。本明細書に示される主題の趣旨および範囲から逸脱せずに他の実施形態を利用することができ、他の変更を行うことができる。本明細書で全体として述べられ図に示される本開示の態様は、多種多様な異なる構成に配置し、置き換え、組み合わせ、および設計できることは容易に理解され、それらのすべては明確に企図され、本開示の一部となる。
本開示は中でも、第1および第2のIR信号からの画像の捕捉に関連する方法、装置、およびシステムを対象とする。
上述のように、深さ情報は構造化光を用いて抽出することができる。しかしいくつかの構造化光技法では、対象物のシルエットに沿って影の領域が形成され得る。このような影の領域においては構造化光パターンを見ることができないので、深さ情報は抽出できない。
図1は、本開示の少なくともいくつかの実施形態により構成された例示の構造化光デバイスを示す。図示の例では構造化光デバイス100は、第1の赤外線(IR)放射器102、第2のIR放射器104、画像捕捉デバイス106、プロセッサ108、および/または信号保持媒体110を含むことができる。
第1のIR放射器102は、第1のIR信号を放射するように構成することができる。同様に第2のIR放射器104は、第2のIR信号を放射するように構成することができる。本明細書で用いられる「構造化光」という用語は、対象物上に特定の赤外線パターンを投影するプロセスを指すことができ、対象物上に投影されたパターンがどれだけ歪みを受けたか(たとえば、投影されたパターンの歪みの程度)に少なくとも部分的に基づいて、深さ情報を計算することができる。
以下でより詳しく述べられるように第1のIR放射器102および第2のIR放射器104は、放射を交互に行うことができ、それにより第1のIR放射器102が第1のIR信号を放射している間は、第2のIR放射器104は第2のIR信号を放射することができない。同様に第1および第2のIR信号の間の干渉を避けるために、第2のIR放射器104が第2のIR信号を放射している間は、第1のIR放射器102は第1のIR信号を放射することができない。以下でより詳しく述べられるようにこのように交互に行うことは、第1のIR放射器102と第2のIR放射器104の間でいつ切り換えるかを決定するプロセッサ108によって管理される。たとえば、プロセッサ108は、第1のIR放射器102と第2のIR放射器104との間でいつ切り換えるかを、時間インデックスに少なくとも部分的に基づいて決定することができる。このような時間インデックスは、第1のIR放射器102および第2のIR放射器104の一方からいつ放射を開始するか、このような放射がどれだけ継続するか、および/または第1のIR放射器102および第2のIR放射器104の他方にいつ切り換えるかを示すことができる。また深さ映像の最終生成物を30フレーム/秒にて利用するためには、たとえば、第1のIR放射器102および第2のIR放射器104は交互に動作できるので、60フレーム/秒にて映像を取得することができる。
いくつかの例では第1のIR放射器102および第2のIR放射器104は、互いに所定の間隔だけ離れて配置することができる。他の例では第1のIR放射器102および第2のIR放射器104は、それぞれ第1のIR放射器102および/または第2のIR放射器104を移動するように構成された1つまたは複数のトラック(図示せず)上に配置することができる。たとえば、第1のIR放射器102および/または第2のIR放射器104は、実質的に水平方向、実質的に垂直方向、または実質的に垂直と質的に水平方向の両方、のうちの少なくとも1つに移動することができる(たとえば、図6の構造化光デバイス600によってより良く示すことができるように)。たとえば、以下でより詳しく述べられるようにこのような例では、第1のIR放射器102および/または第2のIR放射器104は、読み出しの間に交互の位置に移動することができる。
画像捕捉デバイス106は、第1および第2のIR信号を受け取るように構成することができる。いくつかの例では画像捕捉デバイス106は、相補型金属酸化膜半導体(CMOS)デバイスを含むことができる。たとえば、CMOSデバイスは単色CMOSセンサを含むことができる。いくつかの例では画像捕捉デバイス106は、電荷結合素子(CCD)を含むことができる。いくつかの例では画像捕捉デバイス106は、個別のIRセンサおよび個別の可視スペクトルセンサ(たとえば、赤−緑−青タイプの可視スペクトルセンサ)を含むことができる。
プロセッサ108は、第1のIR放射器102、第2のIR放射器104、および/または画像捕捉デバイス106に通信可能に結合することができる。信号保持媒体110は、その上に記憶された機械可読命令を含むことができ、機械可読命令はプロセッサ108によって実行されたとき、コンピューティングデバイス(たとえば、図9のコンピューティングデバイス900)が、それぞれ第1のIR放射器102からの第1のIR信号および第2のIR放射器104からの第2のIR信号の放射を交互パターンで容易にすることを動作的に可能にすることができる。
動作時には機械可読命令は、コンピューティングデバイスが、受け取った第1および第2のIR信号に少なくとも部分的に基づいて対象物の画像の深さを確定することを動作的に可能にすることができる。追加としてまたは代替として機械可読命令は、第1のIR放射器から受け取った第1のIR信号から影の領域が検出されるかどうかを、コンピューティングデバイスが判定することを動作的に可能にすることができる。このような例では、第1のIR放射器102から受け取った第1の信号から影の領域が検出されると判定された場合は、構造化光デバイス100は、第2のIR放射器104から受け取った第2のIR信号に対応する画像を利用することができる。同様に、第1のIR放射器102から受け取った第1のIR信号から影の領域が検出されないと判定された場合は、構造化光デバイス100は、第1のIR放射器102から受け取った第1のIR信号に対応する画像を利用することができる。
図2は、本開示の少なくともいくつかの実施形態により構成された、対象物200の画像を捕捉する例示の構造化光デバイス100を示す。図示の例では画像捕捉デバイス106は、個別のIRセンサ202と、個別の可視スペクトルセンサ204(たとえば、赤−緑−青タイプの可視スペクトルセンサ)とを含んで示される。
図示のように対象物200(たとえば、ユーザの頭部)は、構造化光デバイス100によって捕捉することができる。たとえば、第1のIR放射器102は、時間インデックスnにおいてIR信号206を放射することができる。このような時間インデックスnは、いつ第1のIR放射器102から放射を開始するか、どれだけ長くこのような放射が継続するか、および/またはいつ第2のIR放射器104に切り換えるかを示すことができる。このような例ではこの時点では、干渉を避けるために第2のIR放射器104はIR信号207を放射することはできない。たとえば、第1のIR放射器102および第2のIR放射器104が同時に放射した場合は、1つより多いIRパターンが一緒に混合され得るので、深さを計算することができなくなる。
図示のように第1のIR放射器102からのIR信号206は、結果として対象物200(たとえば、ユーザの顔の右側)上に形成された影の領域208を生じ得る。この影の領域を取り除くために、時間インデックスn+1において第1のIR放射器102の代わりに第2のIR放射器104がIR信号207を放射することができる。このような時間インデックスn+1は、いつ第2のIR放射器104から放射を開始するか、どれだけ長くこのような放射が継続するか、および/またはいつ第1のIR放射器102に切り換えるかを示すことができる。第2のIR放射器104の位置の方が第1のIR放射器102より見通しが良い場合は、第2のIR放射器104からのIR信号207は、影の領域208を低減(または除去)することができる。第2のIR放射器104からのIR信号207が影の領域208を低減(または除去)した場合は、第1のIR放射器102に関連する画像の代わりに、第2のIR放射器104に関連する画像を使用するように選択することができる。
代替として、第2のIR放射器104に関連する画像からの深さ情報の一部分を、第1のIR放射器102に関連する画像からの深さ情報の一部分と共に用いることができる。このような例では影の領域を最小化または除去するために、時間nにおける画像に関連する深さ情報と、時間n+1における画像に関連する深さ情報とを利用することができる。したがって30フレーム/秒で深さ映像を捕捉するために、実際には60フレーム/秒での映像を取得することができる。
動作時には構造化光デバイス100は、顔認識、単一ユーザの人体検出、複数ユーザの検出、他の対象物の認識または検出など、および/またはそれらの組み合わせのために利用することができる。たとえば、顔画像認識のためなど、深さ情報を顔に関連付けることができる顔認識のために構造化光デバイス100を利用することができる。ユーザの顔面上に影の領域208が形成される場合には、影の領域208を低減(または除去)するための第2のIR放射器104からのIR信号207がなければ、深さ情報は不正確となり得る。他の例では、腕(たとえば、テニスのゲームでのサーブする腕)などの人体の一部がユーザの人体の後ろに隠され得る場合に、単一ユーザの人体検出のために構造化光デバイス100を利用することができる。このような場合には、影の領域208を低減(または除去)するための第2のIR放射器104からのIR信号207がなければ、ユーザの腕を追跡することが難しくなり得る。他の例では、多くの影が形成され得る複数ユーザの検出に、構造化光デバイス100を利用することができる。このような例では、影の領域208を低減(または除去)するための第2のIR放射器104からのIR信号207がなければ、ユーザによって形成される影により、各ユーザ上の深さ情報の抽出が妨げられ得る。
図3は、本開示の少なくともいくつかの実施形態により構成された、例示の捕捉された対象物の画像を示す。図示の例では深さ画像300が示される。単一のIR放射器によって深さ画像300が発生される。絵の右側の白い部分は影の領域302である。影の領域302は、単一のIR放射器が絵の左に位置するので、顔の右側上にはIRパターンが現れないことを示す。影の領域302は肩の上にも存在する。
影の領域の原因の他の例は、2人のユーザが存在する、および/またはユーザの一部分(たとえば、腕)が単一のIR放射器から離れて位置する状況が含まれ得る。たとえば、第1のユーザによって形成される影は、第2のユーザに影響を及ぼし得る。したがって第2のユーザについての正確な深さ情報を取得することが難しくなり得る。同様にユーザの腕が単一のIR放射器から離れて位置する場合は、ユーザの腕の場所および/または位置についての正確な深さ情報を取得することが難しくなり得る。
図4は本開示の少なくともいくつかの実施形態により構成された、構造化光画像を捕捉するための例示のプロセス400を示す。図示の例ではプロセス400、および本明細書で述べられる他のプロセスは、ハードウェア、ソフトウェア、および/またはファームウェアによって行うことができる処理ステップ、機能動作、事象および/または作用などとして述べることができる、さまざまな機能ブロックまたは処置を示す。当業者なら本開示に照らして、図4に示される機能ブロックに対する数多くの代替形態を、さまざまな実装形態において実施できることを認識するであろう。たとえば、図4に示されるようなプロセス400は、ブロックまたは処置の1つの特定の順序を含むことができるが、これらのブロックまたは処置が示される順序は、特許請求される主題を必ずしもいずれかの特定の順序に限定するものではない。同様に特許請求される主題の範囲から逸脱せずに、図4に示されない介在する処置、および/または図4に示されない追加の処置を使用することができ、および/または図4に示される処置のいくつかを削除することができる。プロセス400は、例示の動作402、404、406、および/または408によって示されるような1つまたは複数の機能動作を含むことができる。
図示のようにプロセス400は、構造化光デバイス(たとえば、図1の構造化光デバイス100を参照)において実施することができる、構造化光画像を捕捉するように実施することができる。処理は動作402の「第1の赤外線信号を受け取る」において開始することができ、第1の赤外線(IR)信号を受け取ることができる。たとえば、第1の赤外線(IR)信号は、画像捕捉デバイスにおいて第1のIR放射器から受け取ることができる。
処理は動作402から、動作404の「第2の赤外線信号を受け取る」に進むことができ、第2の赤外線(IR)信号を受け取ることができる。たとえば、第2のIR信号は、画像捕捉デバイスにおいて第2のIR放射器から受け取ることができる。
処理は動作404から動作406の「影の領域が検出されるかどうかを判定する」に進むことができ、影の領域が検出されるかどうかの判定を行うことができる。たとえば、第1のIR放射器から受け取った第1のIR信号から、影の領域が検出されるかどうかの判定を行うことができる。いくつかの例では影の領域が検出されるかどうかの判定は、受け取った第1および第2のIR信号に少なくとも部分的に基づいて画像の深さを確定することを含むことができる。
処理は動作406から動作408の「第1のIR放射器からの放射と第2のIR放射器からの放射を交互パターンで容易にする」に進むことができ、第1のIR放射器からの放射と第2のIR放射器からの放射は、交互パターンで容易にすることができる。たとえば、第1のIR放射器からの第1のIR信号の放射、および第2のIR放射器からの第2のIR信号の放射は、交互パターンで容易にすることができる。
動作時にはプロセス400は、第1のIR放射器から受け取った第1の信号から影の領域が検出されると判定された場合は、第2のIR放射器から受け取った第2のIR信号に対応する画像を利用する動作を含むことができる。同様にプロセス400は、第1のIR放射器から受け取った第1のIR信号から影の領域が検出されないと判定された場合は、第1のIR放射器から受け取った第1のIR信号に対応する画像を利用する動作を含むことができる。
上記ではプロセス400について、図1の構造化光デバイス100に関連して述べたが、いくつかの例ではプロセス400は、図6の構造化光デバイス600において実施することができる。たとえば、以下でより詳しく述べられるように、第1のIR放射器および第2のIR放射器は、実質的に水平方向、実質的に垂直方向、または実質的に垂直と実質的に水平方向の両方、のうちの少なくとも1つに第1および第2のIR放射器を移動するように構成されたトラック上に配置された第1のIR放射器および第2のIR放射器のそれぞれを含むことができる。このような例では第1および/または第2のIR放射器は、読み出しの間に交互の位置に移動することができる。
動作時にはプロセス400は、影の領域を取り除くことによって深さ情報を取得するように動作することができる。たとえば、2つ以上のIR放射器(または1つまたは複数の可動のIR放射器、たとえば、図6を参照)を利用することができる。対象物の第1の画像は、オン状態の第1のIR放射器を用いて(または第1の位置における第1のIR放射器を用いて)捕捉することができる。このような例では干渉を避けるために、他のIR放射器は赤外線を放射することはできない。同様に対象物の第2の画像は、オン状態の第2のIR放射器を用いて(または第2の位置における第1のIR放射器を用いて)捕捉することができる。同様に干渉を避けるために、第2のIR放射器を除いて他のIR放射器は赤外線を放射することはできない。追加のIR放射器(たとえば、M個までのIR放射器)(および/または追加の位置)を用いて、追加の画像を捕捉することができる。
いくつかの例では、取得されたM個の画像を用いて、影の領域なしに深さ画像を生成することができる。たとえば、影の領域は、取得されたM個の画像から画像ごとをベースとして検出することができる。画像の一部が影の領域として検出された場合は、置き換えとしてより良い画像を用いることができる。たとえば、影の領域を有する画像に関連するIRパターン情報は、影の領域のない(または低減された)画像(たとえば、別のIR放射器によって取得された、または別の位置において取得された画像)に関連するIRパターン情報と置き換えることができる。追加としてまたは代替として深さ映像は、影のない(または低減された)領域に関連するIR放射器(またはIR放射器位置)からの繰り返される画像を捕捉することによって、影の領域なしに(または低減されて)捕捉することができ、または深さ映像は、取得されたM個の画像から最良の画像を繰り返し選択することによって、影の領域なしに(または低減されて)捕捉することができる。
図5は、本開示の少なくともいくつかの例により構成された、例示のコンピュータプログラム製品500を示す。プログラム製品500は、信号保持媒体502を含むことができる。信号保持媒体502は、1つまたは複数のプロセッサによって実行されたとき、コンピューティングデバイスが図4に関連して上述した機能をもたらすことを動作的に可能にすることができる、1つまたは複数の機械可読命令504を含むことができる。したがってたとえば、構造化光デバイス100(たとえば、図1を参照)は、媒体502によって伝達される命令504に応答して、図4に示される処置の1つまたは複数を始めることができる。
いくつかの実装形態では信号保持媒体502は、非限定的にハードディスク装置、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、デジタルテープ、メモリなどの非一時的なコンピュータ可読媒体506を含むことができる。いくつかの実装形態では信号保持媒体502は、非限定的にメモリ、書込み/読出し(R/W)CD、R/W DVDなどの記録可能媒体508を含むことができる。いくつかの実装形態では信号保持媒体502は、非限定的にデジタルおよび/またはアナログ通信媒体(たとえば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど)の通信媒体510を含むことができる。
図6は、本開示の少なくともいくつかの実施形態により構成された、他の例示の構造化光デバイスを示す。図示の例では構造化光デバイス600は、1つまたは複数の赤外線(IR)放射器602、1つまたは複数のトラック604、画像捕捉デバイス106、プロセッサ108、および/または信号保持媒体110を含むことができる。
IR放射器602はIR信号を放射するように構成することができる。IR放射器602は、実質的に水平方向、実質的に垂直方向、または実質的に水平および垂直方向のうちの、少なくとも1つに移動するように構成することができる。たとえば、IR放射器602は、1つまたは複数のトラック604上に配置することができる。このようなトラック604はIR放射器602を、実質的に水平方向、実質的に垂直方向、または実質的に水平および垂直方向のうちの、少なくとも1つに移動するように構成することができる。画像捕捉デバイス106は、IR放射器602の1つまたは複数の位置からIR信号を受け取るように構成することができる。
プロセッサ108は、IR放射器602および画像捕捉デバイス106に通信可能に結合することができる。信号保持媒体110は、その上に記憶された機械可読命令を含むことができ、機械可読命令はプロセッサによって実行されたとき、コンピューティングデバイスがIR放射器602を移動することを動作的に可能にすることができる。たとえば、IR放射器602はトラック604によって移動することができる。
動作時には機械可読命令は、コンピューティングデバイスが、IR放射器602の1つまたは複数の位置からのIR信号に少なくとも部分的に基づいて、画像の深さを確定することを動作的に可能にすることができる。追加としてまたは代替として機械可読命令は、コンピューティングデバイスが、シルエット(silhouetted)対象物を確定することを動作的に可能にすることができる。たとえば、構造化光パターンを有しない対象物は、シルエット対象物と見なすことができる。追加としてまたは代替として機械可読命令は、コンピューティングデバイスが、部分的に不明瞭な対象物から完全な対象物画像を推定することを動作的に可能にすることができる。
いくつかの例では機械可読命令は、コンピューティングデバイスが、IR放射器の第1の位置から受け取った第1のIR信号から影の領域が検出されるかどうかを判定することを動作的に可能にすることができる。このような例では、IR放射器602の第1の位置から受け取った第1のIR信号から影の領域が検出されると判定された場合は、構造化光デバイス600は、IR放射器602を第2の位置に移動し、IR放射器602の第2の位置から受け取った第2のIR信号に対応する画像を利用することができる。同様にIR放射器602の第1の位置から受け取った第1のIR信号から影の領域が検出されないと判定された場合は、構造化光デバイス600は、IR放射器602を第2の位置に移動し、IR放射器602の第1の位置から受け取った第1のIR信号に対応する画像を利用することができる。
図7は、本開示の少なくともいくつかの実施形態により構成された、構造化光画像を捕捉するための他の例示のプロセス700を示す。図示の例ではプロセス700は、例示の動作702、704、および/または706によって示されるような1つまたは複数の機能動作を含むことができる。
図示のようにプロセス700は、構造化光デバイス(たとえば、図6の構造化光デバイス600を参照)において実施することができる、構造化光画像を捕捉するように実施することができる。処理は動作702の「第1の赤外線信号を受け取る」において開始することができ、第1の赤外線(IR)信号を受け取ることができる。たとえば、第1の赤外線(IR)信号は、第1の位置においてIR放射器から画像捕捉デバイスにおいて受け取ることができる。このような例ではIR放射器は、実質的に水平方向、実質的に垂直方向、または実質的に水平および垂直方向のうちの、少なくとも1つに移動するように構成することができる。
処理は動作702から動作704の「IR放射器を移動する」に進むことができ、IR放射器を移動することができる。たとえば、IR放射器は、第2の位置に移動することができる。
処理は動作704から動作706の「第2の赤外線信号を受け取る」に進むことができ、第2のIR信号を受け取ることができる。たとえば、第2のIR信号は、第2の位置におけるIR放射器から画像捕捉デバイスにおいて受け取ることができる。
いくつかの例ではプロセス700は、IR放射器の第1の位置から受け取った第1のIR信号から影の領域が検出されるかどうかを判定する動作を含むことができる。このような例ではプロセス700は、IR放射器の第1の位置から受け取った第1のIR信号から影の領域が検出されると判定された場合は、IR放射器の第2の位置から受け取った第2のIR信号に対応する画像を利用する動作を含むことができる。同様にプロセス700は、IR放射器の第1の位置から受け取った第1のIR信号から影の領域が検出されないと判定された場合は、IR放射器の第1の位置から受け取った第1のIR信号に対応する画像を利用する動作を含むことができる。いくつかの例では影の領域が検出されるかどうかの判定は、受け取った第1および第2のIR信号に少なくとも部分的に基づいて画像の深さを確定することを含むことができる。
図8は、本開示の少なくともいくつかの例により構成された例示のコンピュータプログラム製品800を示す。プログラム製品800は信号保持媒体802を含むことができる。信号保持媒体802は、1つまたは複数のプロセッサによって実行されたとき、コンピューティングデバイスが図7に関連して上述した機能をもたらすことを動作的に可能にすることができる、1つまたは複数の機械可読命令804を含むことができる。したがってたとえば、構造化光デバイス600(たとえば、図6を参照)は、媒体802によって伝達される命令804に応答して、図7に示される処置の1つまたは複数を始めることができる。
いくつかの実装形態では信号保持媒体802は、非限定的にハードディスク装置、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、デジタルテープ、メモリなどの非一時的なコンピュータ可読媒体806を含むことができる。いくつかの実装形態では信号保持媒体802は、非限定的にメモリ、書込み/読出し(R/W)CD、R/W DVDなどの記録可能媒体808を含むことができる。いくつかの実装形態では信号保持媒体802は、非限定的にデジタルおよび/またはアナログ通信媒体(たとえば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど)の通信媒体810を含むことができる。
図9は、本開示の少なくともいくつかの実施形態により構成された、当業者によって実施され得るものなどの、例示のコンピューティングデバイス900を示すブロック図である。1つの例示の構成901ではコンピューティングデバイス900は、1つまたは複数のプロセッサ910、およびシステムメモリ920を含むことができる。メモリバス930は、プロセッサ910とシステムメモリ920の間の通信のために用いることができる。
所望の構成に応じてプロセッサ910は、非限定的にマイクロプロセッサ(μP)、マイクロコントローラ(μC)、デジタル信号プロセッサ(DSP)、またはそれらの任意の組み合わせを含む、任意のタイプのものとすることができる。プロセッサ910は、レベル1キャッシュ911およびレベル2キャッシュ912などの1つまたは複数のレベルのキャッシュと、プロセッサコア913と、レジスタ914とを含むことができる。プロセッサコア913は、演算論理ユニット(ALU)、浮動小数点ユニット(FPU)、デジタル信号処理コア(DSPコア)、またはそれらの任意の組み合わせを含むことができる。メモリコントローラ915はプロセッサ910と共に用いることができ、またはいくつかの実装形態ではメモリコントローラ915はプロセッサ910の内部の一部でもよい。
所望の構成に応じてシステムメモリ920は、非限定的に揮発性メモリ(RAMなど)、不揮発性メモリ(ROM、フラッシュメモリなど)、またはそれらの任意の組み合わせを含む、任意のタイプのものとすることができる。システムメモリ920は、オペレーティングシステム921、1つまたは複数のアプリケーション922、およびプログラムデータ924を含むことができる。アプリケーション922は、図4のプロセス400および/または図7のプロセス700に関連して述べられた機能ブロックおよび/または処置を含む、本明細書で述べられる機能を行うように構成された画像捕捉アルゴリズム923を含むことができる。プログラムデータ924は、画像誘導アルゴリズム923と共に用いるための画像データ925を含むことができる。いくつかの例示的実装形態ではアプリケーション922は、画像を捕捉するための誘導をもたらすことの実施が、本明細書で述べられるようにもたらされるように、オペレーティングシステム921上でプログラムデータ924と共に動作するように構成することができる。たとえば、構造化光デバイス100(たとえば、図1を参照)、および/または構造化光デバイス600(たとえば、図6を参照)は、画像の捕捉の実装形態が本明細書で述べられるように実現できるように、コンピューティングデバイス900のすべてまたは一部分を備えることができ、アプリケーション922のすべてまたは一部分を行うことができる。この述べられた基本構成は、図9では破線901内の構成要素によって示される。
コンピューティングデバイス900は追加的な特徴または機能、および基本構成901と任意の必要なデバイスおよびインターフェースとの間の通信を容易にするための追加的なインターフェースを有することができる。たとえば、バス/インターフェースコントローラ940は、ストレージインターフェースバス941を通じて、基本構成901と1つまたは複数のデータストレージ装置950との間の通信を容易にするために用いることができる。データストレージ装置950は、取外し式ストレージ装置951、非取外し式ストレージ装置952、またはそれらの組み合わせとすることができる。取外し式ストレージおよび非取外し式ストレージ装置の例としては、いくつかの例を挙げるとフレキシブルディスク装置およびハードディスク装置(HDD)などの磁気ディスク装置、コンパクトディスク(CD)装置またはデジタル多用途ディスク(DVD)装置などの光ディスク装置、ソリッドステートドライブ(SSD)、およびテープ装置が含まれる。コンピュータ記憶媒体の例には、コンピュータ可読命令、データ構造体、プログラムモジュール、その他のデータなどの情報を記憶するための任意の方法および技術で実現された揮発性および不揮発性、取外し式および非取外し式媒体を含むことができる。
システムメモリ920、取外し式ストレージ951、および非取外し式ストレージ952は、すべてコンピュータ記憶媒体の例である。コンピュータ記憶媒体は、非限定的にRAM,ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)もしくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または所望の情報を記憶するために用いることができ、コンピューティングデバイス900によってアクセスすることができる他の任意の媒体を含む。任意のこのようなコンピュータ記憶媒体はデバイス900の一部とすることができる。
コンピューティングデバイス900はまた、バス/インターフェースコントローラ940を通じて、さまざまなインターフェース装置(たとえば、出力インターフェース、周辺インターフェース、および通信インターフェース)から基本構成901への通信を容易にするためのインターフェースバス942を含むことができる。例示の出力インターフェース960は、グラフィック処理ユニット961およびオーディオ処理ユニット962を含み、これらは1つまたは複数のA/Vポート963を通じて、ディスプレイまたはスピーカなどのさまざまな外部装置と通信するように構成することができる。例示の周辺インターフェース960は、シリアルインターフェースコントローラ971、またはパラレルインターフェースコントローラ972を含むことができ、これらは1つまたは複数のI/Oポート973を通じて、入力装置(たとえば、キーボード、マウス、ペン、音声入力装置、タッチ入力装置など)、または他の周辺装置(たとえば、プリンタ、スキャナなど)などの外部装置と通信するように構成することができる。例示の通信インターフェース980は、ネットワークコントローラ981を含み、これは1つまたは複数の通信ポート982を通じて、ネットワーク通信を通して1つまたは複数のその他のコンピューティングデバイス990と通信するのを容易にするように構成することができる。通信接続は通信媒体の一例である。通信媒体は典型的には、搬送波または他の伝送機構などの変調されたデータ信号の中のコンピュータ可読命令、データ構造体、プログラムモジュール、または他のデータによって具現化することができ、任意の情報伝達媒体を含むことができる。「変調されたデータ信号」は、信号内に情報を符号化するように信号の特性の1つまたは複数が設定または変化される信号とすることができる。例として非限定的に通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、および音響、無線周波数(RF)、赤外線(IR)その他の無線媒体などの、無線媒体を含むことができる。本明細書で用いるコンピュータ可読媒体という用語は、記憶媒体および通信媒体の両方を含むことができる。
コンピューティングデバイス900は、携帯電話、携帯情報端末(PDA)、パーソナルメディアプレーヤ装置、無線Web視聴装置、パーソナルヘッドセット装置、特定用途向け装置、または上記の機能のいずれかを含む複合装置などの、小型の可搬(または携帯)電子装置の一部分として実現することができる。コンピューティングデバイス900はまた、ラップトップコンピュータおよび非ラップトップコンピュータ構成の両方を含むパーソナルコンピュータとして実現することができる。さらにコンピューティングデバイス900は、無線基地局、または他の無線システムまたは装置の一部として実現することができる。
上記の詳細な説明のいくつかの部分は、コンピュータメモリなどのコンピューティングシステムメモリ内に記憶されたデータビットまたは2値デジタル信号に対する、操作のアルゴリズムまたは記号表現によって述べられた。これらのアルゴリズムの記述または表現は、データ処理技術における当業者によって、当業者の業務について他の当業者に伝達するために用いられる技法の例である。アルゴリズムは、ここでおよび一般に、所望の結果に繋がる自己完結の動作のシーケンス、または同様な処理と見なされる。この関連において、動作または処理は物理量の物理的操作を必要とするものである。必ずしもそうでない場合もあるが通常はこのような量は、記憶し、転送し、組み合わせ、比較し、あるいは操作することができる電気または磁気信号の形をとることができる。主に一般的な使い方の理由から、時に、このような信号をビット、データ、値、要素、記号、文字、語、数、数字などとして参照することが便利であることが証明されている。しかしすべてのこれらおよび同様の用語は適当な物理量に関連付けられるものであって、単に便宜上のラベルであることが理解されるべきである。別段の指定がない限り、以下の考察から明らかなように、本明細書の考察を通して「処理」、「演算」、「計算」、「判定」などの用語の使用は、コンピューティングデバイスのメモリ、レジスタもしくは他の情報記憶装置、伝送装置、または表示装置内の物理的電子的または磁気的な量として表されるデータを操作または変換する、コンピューティングデバイスの処置または処理を指すことが理解されるべきである。
特許請求される主題は、範囲において、本明細書で述べられる特定の実装形態に限定されない。たとえば、いくつかの実装形態は、たとえば、装置でまたは装置の組み合わせ上で動作するように使用されるなど、ハードウェアにおけるものとすることができ、他の実装形態はソフトウェアおよび/またはファームウェアにおけるものとすることができる。同様に、特許請求される主題はこの点に関して範囲において限定されないが、いくつかの実装形態は、信号保持媒体、記憶媒体および/または複数の記憶媒体などの、1つまたは複数の製品を含むことができる。たとえば、CD−ROM、コンピュータディスク、フラッシュメモリなどのこの記憶媒体は、命令をその上に記憶することができ、命令はたとえば、コンピューティングシステム、コンピューティングプラットフォームまたは他のシステムなどのコンピューティングデバイスによって実行されたときに、結果としてたとえば、前述の実装形態の1つなどの特許請求される主題による、プロセッサの実行を生じることができる。1つの可能性としてコンピューティングデバイスは、1つまたは複数の処理ユニットもしくはプロセッサ、ディスプレイ、キーボード、および/またはマウスなどの1つまたは複数の入力/出力装置、およびスタティックランダムアクセスメモリ、ダイナミックランダムアクセスメモリ、フラッシュメモリ、および/またはハードディスク装置などの1つまたは複数のメモリを含むことができる。
システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に(いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になり得るという点で)コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび/またはシステムおよび/または他の技術をもたらすことができるさまざまな達成手段があり(たとえば、ハードウェア、ソフトウェア、および/またはファームウェア)、好ましい達成手段は、プロセスおよび/またはシステムおよび/または他の技術が導入される状況によって異なる。たとえば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび/またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。または、さらに別の代替案として、実装者は、ハードウェア、ソフトウェア、および/またはファームウェアの何らかの組み合わせを選択することができる。
前述の詳細な説明では、ブロック図、フローチャート、および/または例の使用によって、装置および/またはプロセスのさまざまな実施形態を説明してきた。そのようなブロック図、フローチャート、および/または例が1つまたは複数の機能および/または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および/または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組み合わせにより、個別におよび/または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、1つまたは複数のコンピュータ上で動作する1つまたは複数のコンピュータプログラムとして(たとえば、1つまたは複数のコンピュータシステム上で動作する1つまたは複数のプログラムとして)、1つまたは複数のプロセッサ上で動作する1つまたは複数のプログラムとして(たとえば、1つまたは複数のマイクロプロセッサ上で動作する1つまたは複数のプログラムとして)、ファームウェアとして、あるいは実質上それらの任意の組み合わせとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに/またはソフトウェアおよび/もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。さらに、本明細書に記載された主題のメカニズムをさまざまな形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フレキシブルディスク、ハードディスクドライブ(HDD)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および/またはアナログ通信媒体(たとえば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど)の通信タイプの媒体が含まれるが、それらには限定されない。
本明細書で説明したやり方で装置および/またはプロセスを記載し、その後そのように記載された装置および/またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および/またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインターフェース、およびアプリケーションプログラムのうちの1つもしくは複数、タッチパッドもしくはスクリーンなどの1つもしくは複数の相互作用装置、ならびに/またはフィードバックループおよびコントロールモータを含むコントロールシステム(たとえば、位置検知用および/もしくは速度検知用フィードバック、コンポーネントの移動用および/もしくは数量の調整用コントロールモータ)を含むことを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング/通信システムおよび/またはネットワークコンピューティング/通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。
本明細書に記載された主題は、さまざまなコンポーネントをしばしば例示しており、これらのコンポーネントは、他のさまざまなコンポーネントに包含されるか、または他のさまざまなコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例示にすぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の2つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の2つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の2つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および/もしくは物理的に相互作用するコンポーネント、ならびに/またはワイヤレスに相互作用可能な、および/もしくはワイヤレスに相互作用するコンポーネント、ならびに/または論理的に相互作用する、および/もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。
本明細書における実質的にすべての複数形および/または単数形の用語の使用に対して、当業者は、状況および/または用途に適切なように、複数形から単数形に、および/または単数形から複数形に変換することができる。さまざまな単数形/複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
通常、本明細書において、特に添付の特許請求の範囲(たとえば、添付の特許請求の範囲の本体部)において使用される用語は、全体を通じて「オープンな(open)」用語として意図されていることが、当業者には理解されよう(たとえば、用語「含む(including)」は、「含むがそれに限定されない(including but not limited to)」と解釈されるべきであり、用語「有する(having)」は、「少なくとも有する(having at least)」と解釈されるべきであり、用語「含む(includes)」は、「含むがそれに限定されない(includes but is not limited to)」と解釈されるべきである、など)。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。たとえば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも1つの(at least one)」および「1つまたは複数の(one or more)」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「1つまたは複数の」または「少なくとも1つの」および「a」または「an」などの不定冠詞を含む場合であっても、不定冠詞「a」または「an」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に1つのそのような記載を含む発明に限定する、ということを示唆していると解釈されるべきではない(たとえば、「a」および/または「an」は、通常、「少なくとも1つの」または「1つまたは複数の」を意味すると解釈されるべきである)。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、通常、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう(たとえば、他の修飾語なしでの「2つの記載(two recitations)」の単なる記載は、通常、少なくとも2つの記載、または2つ以上の記載を意味する)。さらに、「A、BおよびC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(たとえば、「A、B、およびCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。「A、B、またはC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(たとえば、「A、B、またはCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。2つ以上の代替用語を提示する事実上いかなる離接する語および/または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方(one of the terms)、当該用語のいずれか(either of the terms)、または両方の用語(both terms)を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。たとえば、句「AまたはB」は、「A」または「B」あるいは「AおよびB」の可能性を含むことが理解されよう。
本明細書において「一実装形態」、「1つの実装形態」、「いくつかの実装形態」、または「他の実装形態」とは、1つまたは複数の実装形態に関連して述べられる特定の特徴、構造、または特性が、少なくともいくつかの実装形態に含まれ得ることを意味することができるが、必ずしもすべての実装形態においてではない。上記の説明における「一実装形態」、「1つの実装形態」、または「いくつかの実装形態」というさまざまな表現は、必ずしもすべてが同じ実装形態を指すものではない。
本明細書ではさまざまな方法およびシステムを用いていくつかの例示の技法について説明し示してきたが、当業者には、特許請求される主題から逸脱せずにさまざまな他の変更を行うことができ、等価なものを置き換え得ることが理解されるべきである。さらに本明細書で述べられる主要な概念から逸脱せずに、特許請求される主題の教示に対して、特定の状況を適合するように多くの変更を行うことができる。したがって特許請求される主題は、開示された特定の例に限定されるものではなく、特許請求される主題は、添付の特許請求の範囲に包含されるすべての実装形態、およびそれらの等価なものも含み得ることが意図される。

Claims (10)

  1. 赤外線(IR)放射器であって、対象物にIR信号を放射し、水平方向、垂直方向、または水平および垂直方向うちの、少なくとも1つに移動するように構成された、IR放射器と、
    前記IR放射器の1つまたは複数の位置からIR信号を受け取るように構成された、前記対象物の画像を補足するための画像捕捉用デバイスと、
    前記IR放射器および前記画像捕捉用デバイスに通信可能に結合されたコンピュータデバイスと、
    械可読命令がその上に記憶された機械可読ストレージ媒体と
    を備える装置であって、
    前記命令は、前記コンピュータデバイスのプロセッサによる実行に応じて、前記コンピュータデバイスに、
    第1の位置で前記IR放射器から受け取った第1のIR信号に対応する前記対象物の画像において影の領域が検出されるかどうかを判定すること;
    前記影の領域が検出されないと判定した場合、前記対象物の深さ情報を取得するために、前記第1のIR信号に対応する前記対象物の前記画像を利用すること;
    前記影の領域が検出されると判定した場合、前記IR放射器を第2の位置に移動させ、前記影の領域の影響を低減させた前記対象物の深さ情報を取得するために、前記第1のIR信号に対応する前記対象物の前記画像と、前記第2の位置で前記IR放射器から受け取った第2のIR信号に対応する前記対象物の画像とを利用すること;
    を行わせる、
    装置。
  2. 前記IR放射器が、トラック上に配置される、請求項1に記載の装置。
  3. 前記画像捕捉デバイスが相補型金属酸化膜半導体(CMOS)デバイスを備える、請求項1に記載の装置。
  4. 前記CMOSデバイスが単色CMOSセンサを備える、請求項3に記載の装置。
  5. 前記画像捕捉デバイスが電荷結合素子(CCD)を備える、請求項1に記載の装置。
  6. 対象物の画像を補足するように構成された画像捕捉用デバイスにおいて、水平方向、垂直方向、または水平および垂直方向のうちの、少なくとも1つに移動するように構成された第1の位置におけるIR放射器から第1の赤外線(IR)信号を受け取ること、
    前記第1の位置で前記IR放射器から受け取った前記第1のIR信号に対応する前記対象物の画像において影の領域が検出されるかどうかを判定すること、
    前記影の領域が検出されないと判定した場合、前記対象物の深さ情報を取得するために、前記第1のIR信号に対応する前記対象物の前記画像を利用すること、
    前記影の領域が検出されると判定した場合、前記IR放射器を第2の位置に移動させ、前記影の領域の影響を低減させた前記対象物の深さ情報を取得するために、前記第1のIR信号に対応する前記対象物の前記画像と、前記第2の位置で前記IR放射器から受け取った第2のIR信号に対応する前記対象物の画像とを利用すること、
    を含む画像処理の方法。
  7. 前記IR放射器が、トラック上に配置されたIR放射器を備える、請求項6に記載の方法。
  8. 前記画像捕捉デバイスが相補型金属酸化膜半導体(CMOS)デバイスを備える、請求項6に記載の方法。
  9. 前記画像捕捉デバイスが電荷結合素子(CCD)を備える、請求項6に記載の方法。
  10. 機械可読命令がその上に記憶されたコンピュータ可読ストレージ媒体を備え、プロセッサによる実行に応じて前記機械可読命令は、コンピューティングデバイスが、
    対象物の画像を補足するように構成された画像捕捉用デバイスにおいて、水平方向、垂直方向、または水平および垂直方向のうちの、少なくとも1つに移動するように構成された第1の位置におけるIR放射器から第1の赤外線(IR)信号を検出すること
    前記第1の位置で前記IR放射器から受け取った前記第1のIR信号に対応する前記対象物の画像において影の領域が検出されるかどうかを判定すること、
    前記影の領域が検出されないと判定した場合、前記対象物の深さ情報を取得するために、前記第1のIR信号に対応する前記対象物の前記画像を利用すること、
    前記影の領域が検出されると判定した場合、前記IR放射器を第2の位置に移動させ、前記影の領域の影響を低減させた前記対象物の深さ情報を取得するために、前記第1のIR信号に対応する前記対象物の前記画像と、前記第2の位置で前記IR放射器から受け取った第2のIR信号に対応する前記対象物の画像とを利用すること、
    を動作的に可能にする、製品。
JP2014535708A 2011-11-04 2011-11-04 画像のためのir信号捕捉 Expired - Fee Related JP6178321B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/059413 WO2013066351A1 (en) 2011-11-04 2011-11-04 Ir signal capture for images

Publications (2)

Publication Number Publication Date
JP2015501574A JP2015501574A (ja) 2015-01-15
JP6178321B2 true JP6178321B2 (ja) 2017-08-09

Family

ID=48192535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014535708A Expired - Fee Related JP6178321B2 (ja) 2011-11-04 2011-11-04 画像のためのir信号捕捉

Country Status (5)

Country Link
US (2) US8976249B2 (ja)
JP (1) JP6178321B2 (ja)
KR (1) KR101566812B1 (ja)
CN (1) CN103918252B (ja)
WO (1) WO2013066351A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6447516B2 (ja) * 2013-12-27 2019-01-09 ソニー株式会社 画像処理装置、および画像処理方法
KR101582726B1 (ko) 2013-12-27 2016-01-06 재단법인대구경북과학기술원 스테레오 타입의 거리 인식 장치 및 방법
US10440355B2 (en) * 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
US9846924B2 (en) * 2016-03-28 2017-12-19 Dell Products L.P. Systems and methods for detection and removal of shadows in an image
CN106954058B (zh) * 2017-03-09 2019-05-10 深圳奥比中光科技有限公司 深度图像获取系统和方法
CN108171150B (zh) * 2017-12-26 2021-09-10 信利光电股份有限公司 一种用于面部识别的触控模组
US10643336B2 (en) * 2018-03-06 2020-05-05 Sony Corporation Image processing apparatus and method for object boundary stabilization in an image of a sequence of images

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0616147B2 (ja) * 1986-03-26 1994-03-02 チノン株式会社 カメラ
CA2166255C (en) * 1995-12-28 2001-12-18 John V. Taglione Multi-channel optical transceiver
US5862844A (en) * 1996-05-03 1999-01-26 Nartron Corporation Methods and systems for controlling a dispensing apparatus
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
KR100319548B1 (ko) * 1999-03-22 2002-01-05 김재한 게이트 통과 객체의 방향 검출 및 통보 장치
US6341016B1 (en) 1999-08-06 2002-01-22 Michael Malione Method and apparatus for measuring three-dimensional shape of object
US6775014B2 (en) * 2001-01-17 2004-08-10 Fujixerox Co., Ltd. System and method for determining the location of a target in a room or small area
US6911639B2 (en) * 2001-05-07 2005-06-28 Silicon Video, Inc. CMOS system for capturing an image and a method thereof
JP2003016429A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
JP2004110804A (ja) * 2002-08-28 2004-04-08 Fuji Xerox Co Ltd 3次元画像撮影装置及び方法
US7242818B2 (en) 2003-01-17 2007-07-10 Mitsubishi Electric Research Laboratories, Inc. Position and orientation sensing with a projector
KR100615576B1 (ko) * 2003-02-06 2006-08-25 주식회사 고영테크놀러지 3차원형상 측정장치
US7738725B2 (en) * 2003-03-19 2010-06-15 Mitsubishi Electric Research Laboratories, Inc. Stylized rendering using a multi-flash camera
US7206449B2 (en) * 2003-03-19 2007-04-17 Mitsubishi Electric Research Laboratories, Inc. Detecting silhouette edges in images
US7103227B2 (en) * 2003-03-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality images of naturally illuminated scenes
US20060261931A1 (en) * 2003-08-15 2006-11-23 Ziyi Cheng Automobile security defence alarm system with face identification and wireless communication function
US7084989B2 (en) 2004-04-19 2006-08-01 Sick Ivp Aktiebolag Measuring apparatus and method in a distribution system
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US8248458B2 (en) 2004-08-06 2012-08-21 University Of Washington Through Its Center For Commercialization Variable fixation viewing distance scanned light displays
US7463772B1 (en) 2004-09-13 2008-12-09 Google Inc. De-warping of scanned images
US20060125658A1 (en) * 2004-12-10 2006-06-15 Deutsches Zentrum For Luft-Und Raumfahrt E.V. System for assisting navigation operation of moving objects
US7660458B1 (en) 2004-12-14 2010-02-09 Google Inc. Three-dimensional model construction using unstructured pattern
US8888593B2 (en) * 2005-10-26 2014-11-18 Sony Computer Entertainment Inc. Directional input for a video game
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US7822263B1 (en) 2005-12-28 2010-10-26 Prokoski Francine J Method and apparatus for alignment, comparison and identification of characteristic tool marks, including ballistic signatures
KR20070081773A (ko) * 2006-02-13 2007-08-17 스마트 와이어레스 가부시키가이샤 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치
JP4740826B2 (ja) 2006-02-23 2011-08-03 株式会社神戸製鋼所 形状測定装置、形状測定方法
JP4899534B2 (ja) * 2006-02-28 2012-03-21 ソニー株式会社 監視カメラ
US7763005B2 (en) * 2006-03-02 2010-07-27 Covidien Ag Method for using a pump set having secure loading features
WO2008052006A2 (en) * 2006-10-23 2008-05-02 Xenogen Corporation Apparatus and methods for fluorescence guided surgery
GB2456482B (en) * 2006-11-08 2011-08-17 Univ East Anglia Detecting illumination in images
JP2008131292A (ja) * 2006-11-20 2008-06-05 Olympus Corp 撮像装置
US9215384B2 (en) * 2007-07-09 2015-12-15 Flir Systems Ab Method of processing an infrared image, infrared image capturing system and computer readable medium
US8384780B1 (en) * 2007-11-28 2013-02-26 Flir Systems, Inc. Infrared camera systems and methods for maritime applications
US8107083B2 (en) 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
US7969583B2 (en) 2008-03-05 2011-06-28 General Electric Company System and method to determine an object distance from a reference point to a point on the object surface
JP5055191B2 (ja) * 2008-04-24 2012-10-24 パナソニック株式会社 3次元形状計測方法および装置
WO2009157129A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
US8319666B2 (en) * 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
JP2010276607A (ja) * 2009-05-27 2010-12-09 Koh Young Technology Inc 3次元形状測定装置および測定方法
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
CN102118554B (zh) 2010-01-04 2014-07-02 鸿富锦精密工业(深圳)有限公司 监控系统
CA2746481C (en) * 2010-02-03 2017-06-13 Nintendo Co., Ltd. Game system, controller device, and game process method
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
KR20120023268A (ko) * 2010-09-01 2012-03-13 삼성전자주식회사 디스플레이 장치 및 그 영상 생성 방법
CN101986717B (zh) * 2010-11-11 2012-12-12 昆山龙腾光电有限公司 立体显示用图像数据生成系统
CN102580269B (zh) * 2011-01-14 2016-05-18 富泰华工业(深圳)有限公司 具有求救功能的电子装置及其求救方法
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US20140320392A1 (en) * 2013-01-24 2014-10-30 University Of Washington Through Its Center For Commercialization Virtual Fixtures for Improved Performance in Human/Autonomous Manipulation Tasks
US9292923B2 (en) * 2013-03-06 2016-03-22 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to monitor environments

Also Published As

Publication number Publication date
JP2015501574A (ja) 2015-01-15
CN103918252B (zh) 2017-06-06
US20150145960A1 (en) 2015-05-28
US8976249B2 (en) 2015-03-10
US20140247364A1 (en) 2014-09-04
CN103918252A (zh) 2014-07-09
KR101566812B1 (ko) 2015-11-13
WO2013066351A1 (en) 2013-05-10
US9398288B2 (en) 2016-07-19
KR20140057379A (ko) 2014-05-12

Similar Documents

Publication Publication Date Title
JP6178321B2 (ja) 画像のためのir信号捕捉
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
US11413525B2 (en) Device for interfacing with a computing program using a projected pattern
JP5807130B2 (ja) ジェスチャー・ベースのゲーム・システムのための安全な方式
US9055267B2 (en) System and method of input processing for augmented reality
US11683468B2 (en) Coordination of multiple structured light-based 3D image detectors
JP6075122B2 (ja) システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
JP5575228B2 (ja) ベースステーションの移動検出および補償
US9013402B2 (en) Information processing device, information processing method, and program
TW202105331A (zh) 一種人體關鍵點檢測方法及裝置、電子設備和電腦可讀儲存介質
KR20180053364A (ko) 카메라들의 수를 줄인 가상 현실 헤드 장착형 장치들 및 그 동작 방법들
CN103136746A (zh) 图像处理装置和图像处理方法
JP2014533347A (ja) レーザー深度マップの範囲拡張方法
JP2011253539A (ja) パターンに基づくコンピュータビジョンを用いるコンピュータ装置のための入力
Xiao et al. Lumitrack: low cost, high precision, high speed tracking with projected m-sequences
US20130002577A1 (en) Adaptive user interface
US20120293630A1 (en) Method and apparatus for multi-camera motion capture enhancement using proximity sensors
US10126123B2 (en) System and method for tracking objects with projected m-sequences
JP2017084055A (ja) 情報処理装置、動作制御方法及び動作制御プログラム
US20140211990A1 (en) Position-setup for gesture-based game system
US12443267B2 (en) Silhouette-based limb finder determination
KR20090111913A (ko) 모션 검출 방법 및 장치
WO2020050910A1 (en) Compact color and depth imaging system
EP2359312B1 (en) Compensating for blooming of a shape in an image
US20070083820A1 (en) Input association

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20141003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141014

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151102

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20151214

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20151228

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160121

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170713

R150 Certificate of patent or registration of utility model

Ref document number: 6178321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees