[go: up one dir, main page]

TWI721290B - 使用反射光源的智能物體追蹤 - Google Patents

使用反射光源的智能物體追蹤 Download PDF

Info

Publication number
TWI721290B
TWI721290B TW107124848A TW107124848A TWI721290B TW I721290 B TWI721290 B TW I721290B TW 107124848 A TW107124848 A TW 107124848A TW 107124848 A TW107124848 A TW 107124848A TW I721290 B TWI721290 B TW I721290B
Authority
TW
Taiwan
Prior art keywords
light source
light
image
reflected light
scene
Prior art date
Application number
TW107124848A
Other languages
English (en)
Other versions
TW201913171A (zh
Inventor
錢昊
Original Assignee
大陸商杭州他若信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商杭州他若信息科技有限公司 filed Critical 大陸商杭州他若信息科技有限公司
Publication of TW201913171A publication Critical patent/TW201913171A/zh
Application granted granted Critical
Publication of TWI721290B publication Critical patent/TWI721290B/zh

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/041—Allowing quick release of the apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/10—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2014—Undercarriages with or without wheels comprising means allowing pivoting adjustment around a vertical axis
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • F16M13/04—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or holding steady relative to, a person, e.g. by chains, e.g. rifle butt or pistol grip supports, supports attached to the chest or head
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703—Details
    • G01S1/7032—Transmitters
    • G01S1/7038—Signal details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2035—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction
    • F16M11/2042—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction constituted of several dependent joints
    • F16M11/205—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. gimbals
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2035—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction
    • F16M11/2064—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction for tilting and panning
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/24—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other
    • F16M11/242—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other by spreading of the legs
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M2200/00—Details of stands or supports
    • F16M2200/04—Balancing means
    • F16M2200/041—Balancing means for balancing rotational movement of the head
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M2200/00—Details of stands or supports
    • F16M2200/04—Balancing means
    • F16M2200/044—Balancing means for balancing rotational movement of the undercarriage
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一種用於物體追蹤的方法。該方法包括：捕捉場景的圖像序列；基於沿該圖像序列的局部光變化的模式，檢測該場景中的反射光源；回應於檢測到該反射光源，將該反射光源在該圖像序列的至少一個圖像中的位置與該至少一個圖像內的目標位置進行比較以生成結果；以及基於該結果生成用於改變相機設備的視場的控制信號，使得在該視場內該反射光源與該目標位置實質對準，其中該反射光源發射物體反射光。

Description

使用反射光源的智能物體追蹤
本發明涉及一種用於目標追蹤的方法、追蹤控制器及非暫態電腦可讀儲存介質。
視場(FOV)是相機成像的場景的範圍。視場內的物體將出現在由該相機捕捉和/或輸出的圖像中。例如，視場可對應於一立體角(solid angle)，相機鏡頭在該立體角內將光輸入投射至該相機的光學感測器。
一般而言，一方面，本發明涉及一種用於物體追蹤的方法。該方法包括：捕捉場景的圖像序列；基於沿該圖像序列的局部光變化(local light change)的模式，通過硬體處理器檢測該場景中的反射光源；回應於檢測到該反射光源、通過該硬體處理器將該反射光源在該圖像序列的至少一個圖像中的位置與該至少一個圖像內的目標位置進行比較以生成結果；以及基於該結果，通過該硬體處理器生成用於改變相機設備的視場的控制信號，使得在該視場內該反射光源與該目標位置實質對準，其中該反射光源發射物體反射光(object-reflected light)。
一般而言，一方面，本發明涉及一種用於物體追蹤的系統。該系統包括：配置成發射頻閃光的遠程光發射器；物體的反射區域，其中 該反射區域被配置成反射由該遠程光發射器產生的該頻閃光；以及追蹤控制器，該追蹤控制器被配置用以：獲得場景的圖像序列；基於沿該圖像序列的局部光變化的模式檢測該場景中的反射光源；回應於檢測到該反射光源，比較該反射光源在該圖像序列的至少一個圖像中的位置與該至少一個圖像內的目標位置以生成結果；並且基於該結果生成用於改變相機設備的視場的控制信號，使得在該視場內該反射光源與該目標位置實質對準，其中該反射光源發射物體反射光，該物體反射光由該反射區域反射該頻閃光而產生。
一般而言，一方面，本發明涉及一種非暫態電腦可讀儲存介質，其儲存用於物體追蹤的指令。這些指令在由電腦處理器執行時，包括功能用以：捕捉場景的圖像序列；基於沿該圖像序列的局部光變化的模式，檢測該場景中的反射光源；回應於檢測到該反射光源，比較該反射光源在該圖像序列的至少一個圖像中的位置以及該至少一個圖像內的目標位置以生成結果；以及基於該結果生成用於改變相機設備的視場的控制信號，使得在該視場內該反射光源與該目標位置實質對準，其中該反射光源發射物體反射光。
通過以下說明和所附申請專利範圍，本發明的其他方面將是明顯易懂的。
100:系統
114:光發射器
115:頻閃光
116:物體反射光
140:場景
111:相機鏡頭
120:追蹤控制器
110:相機設備
130:相機設備支架
142:物體
141:視場(FOV)
143:反射光源
121:硬體處理器
122:記憶體
126a:圖像A
127a:位置A
126:圖像序列
124:光變化模式
125:位移
128:移動參數
127:目標位置
123:資源庫
120:追蹤控制器
201:相機移動設備
213b:背面
209-1:旋轉軸線
203:傾斜軸
220:相機鏡頭
221:支架
203-1:傾斜軸線
213:傾斜馬達
209:旋轉軸
219:旋轉馬達
222:手持握桿
800:相機移動設備手持握桿
220-1:視場(FOV)
213:傾斜馬達
201:相機移動設備
222:手持握桿
800:相機移動設備手持握桿
321:手持位置A
323:傾斜運動
322:手持位置B
221:支架
331:附加旋轉馬達
209-2:附加旋轉軸線
203-1:傾斜軸線
201:相機移動設備
213:傾斜馬達
219:旋轉馬達
222:手持握桿
209-1:旋轉軸線
800:相機移動設備手持握桿
400a:亮水準
400b:暗水準
124:光變化模式
410:時間段A
420:時間段B
430:時間段C
401a:時間點A
401b:時間點B
401c:時間點C
126:圖像序列
126a:圖像A
126b:圖像b
126c:圖像C
127:目標位置
125:位移
143:光源
126d:相減結果
600:視頻記錄
143:反射光源
142:物體
126a:圖像A
126x:圖像X
126:圖像序列
700:計算系統
708:輸出設備
704:非持久記憶體
702:電腦處理器
706:持久記憶體
712:通訊介面
710:輸出設備
720:網路
722:節點X
724:節點Y
726:客戶端設備
第1.1圖和第1.2圖示出了根據本發明的一個或多個實施方式的系統的示意性框圖。
第2圖示出了根據本發明的一個或多個實施方式的方法流程 圖。
第3.1圖、第3.2圖、第3.3圖、第4圖、第5圖和第6圖示出了根據本發明的一個或多個實施方式的各種示例。
第7.1圖和第7.2圖示出了根據本發明的一個或多個實施方式的計算系統。
現在將參照附圖詳細描述本發明的具體實施方式。為了一致性，各個附圖中相同的元件可由相同的參考數字表示。
在本發明的實施方式的以下詳細說明中，陳述了若干具體細節以提供對本發明更通透的理解。然而，所屬技術領域中具有通常知識者應理解的是，本發明無需這些具體細節也可實施。在其他情況中，為了避免不必要地使本說明複雜化，因此省略已知特徵的詳細描述。
在以下說明中，在本發明的各種不同實施方式中，關於一附圖描述的任意組件可等同於關於任意其他附圖描述的、具有相同命名的一個或多個組件。為簡潔起見，這些組件的至少一部分是通過各種不同的標記而隱含識別的。而且，將不會針對每個附圖重複這些組件的說明。因此，每個附圖中的組件的每個實施方式通過引用而併入，並且被視為可選地存在於具有一個或多個相同命名的組件的每個其他附圖中。此外，根據本發明的各種實施方式，附圖中組件的任意描述應被解讀為是可選的實施方式，其可相對於關於其他任意附圖中對應的具有相同命名的組件而描述的實施方式而添加、結合或替換地進行實施。在各附圖中，黑色實心共線點表示，可以可選地存在與該實心共線點之前和/或之後的組件類似的額外組 件。而且，連接附圖中各組件的實線或虛線表示相連組件之間的關係。虛線表示該關係可不包括任何物理連接或物理元件，或者可不與任何物理連接或物理元件相關聯。
在整個說明書中，可使用序數(例如，第一、第二、第三等)作為元件(即，本申請中的任何名詞)的形容詞。這些序數的使用並非暗示或構成該元件的特定順序、也非將任何元件限定為僅具有單個，除非另外通過使用術語“之前”、“之後”、“單個”以及其他此類措辭明確指明。相反，這些序數的使用是為了區分不同的元件。舉例來說，第一元件不同於第二元件，並且第一元件可包括多於一個的元件，而且第一元件在元件順序方面可以在該第二元件之後(或之前)。
一般而言，本發明的實施方式提供了用於追蹤相機設備的視場(FOV)中的物體的系統、方法及電腦可讀介質。在本發明的一個或多個實施方式中，在捕捉對應於視場的圖像序列時，反射光源附接在該物體上。在一個或多個實施方式中，反射光源是反射區域，該反射區域反射來自遠程光發射器的頻閃光，以沿圖像序列產生局部強度變化的模式。基於局部強度變化的模式，在視場中檢測反射光源。回應於檢測到反射光源，比較反射區域的位置和圖像內的目標位置以產生結果，例如位移或移動參數。因此，基於該結果產生控制信號以控制相機設備支架。具體地，相機設備支架基於控制信號調節視場，使得反射光源或反射區域與目標位置在視場內實質對準。在一個或多個實施方式中，圖像序列是視頻記錄的一部分，並且控制信號使該物體在視頻記錄中顯現於視場內的目標位置處。
第1.1圖示出了根據一個或多個實施方式的系統(100)。在 一個或多個實施方式中，可省略、重複和/或替換第1.1圖中示出的一個或多個模組和元件。相應地，本發明的實施方式不應被視為受限於第1.1圖所示模組的具體佈置。
如第1.1圖所示，系統(100)包括具有相機鏡頭(111)的相機設備(110)、追蹤控制器(120)、相機設備支架(130)、場景(140)、相機鏡頭(111)的視場(FOV)(141)、顯現於視場(141)內的物體(142)、附接到物體(142)的反射光源(143)、以及發射頻閃光(115)的光發射器(114)，該頻閃光(115)照射在反射光源(143)上以產生物體反射光(116)。此外，相機設備(110)、追蹤控制器(120)，和相機設備支架(130)可通訊地彼此耦合。在本發明的一個或多個實施方式中，兩個或更多個光發射器(114)、相機設備(110)、追蹤控制器(120)和相機設備支架(130)被整合到單個設備中。例如，追蹤控制器(120)的至少一部分可以包括在相機設備(110)中。在另一示例中，追蹤控制器(120)的至少一部分可以包括在相機設備支架(130)中。在又一示例中，追蹤控制器(120)的一部分包括在相機設備(110)中，而追蹤控制器(120)的另一部分包括在相機設備支架(130)中。類似地，光發射器(114)可以與相機設備(110)、追蹤控制器(120)或相機設備支架(130)整合。
在本發明的一個或多個實施方式中，光發射器(114)是發射光的任何設備。例如，光發射器(114)可以作為泛光發射器，跨越大角度(例如，超過45度的平面角，1平方弧度的立體角等)發射光。在另一示例中，光發射器(114)可以作為准直光發射器發射准直光束。光發射器(114)可以和物體(142)分開一定距離，例如1米或更多，並被稱為遠程光源。 在一個或多個實施方式中，光發射器(114)包括發光二極體(LED)。在一個或多個實施方式中，由光發射器(114)發射的頻閃光(115)不時地改變強度和/或波長。例如，頻閃光(115)根據特定占空比(即，當光模式具有亮水準時的時間百分比)和重複率(即，強度在單位時間週期內變化的次數)產生不同步(free-running)的光變化模式。如此處所使用的，光變化模式是光的強度和/或波長變化的模式。在一個或多個實施方式中，光發射器(114)產生與相機設備(110)的幀率相比、具有低重複率(例如10赫茲、20赫茲等)的光變化模式。幀率是單位時間內由相機設備(110)捕捉的圖像數量(例如，一串靜態圖像或視頻記錄)。在一個或多個實施方式中，光發射器(114)產生與相機設備(110)的幀率同步的光變化模式。在一個或多個實施方式中，光發射器(114)發射紅外光。換句話說，頻閃光(115)具有紅外波長，例如在700奈米(nm)至1毫米(mm)之間。在本公開中，術語“紅外波長”指的是700nm和1mm之間的波長。在一個或多個實施方式中，由頻閃光(115)產生的光變化模式表示編碼的數字數據。例如，由紅外頻閃光(115)產生的編碼數字數據可以類似於紅外遙控代碼。
在本發明的一個或多個實施方式中，反射光源(143)是物體(142)的反射區域，反射區域反射頻閃光(115)以產生物體反射光(116)。在這種情況下，反射光源(143)可以說是發射物體反射光(116)。換句話說，反射光源(143)發射通過物體(142)的反射區域反射頻閃光(115)而產生的物體反射光(116)。在一個或多個實施方式中，反射區域對於紅外波長比對於可見波長具有更高的反射率。例如，較高的反射率可以基於對紅外波長比可見波長具有較高反射率的反射材料。當頻閃光(115)和環 境光(未示出)都照射在反射區域上時，物體反射光(116)可以具有比來自環境可見光的可見反射含量更高的來自頻閃光(115)的紅外反射含量。在一個或多個實施方式中，物體(142)是人、動物、機器人或任何其他移動物體，且反射光源(143)包括附著到物體(142)的反射材料。例如，反射材料可以是腕帶、臂帶、腰帶、戒指、吊墜、項鏈、帽子、手套、衣服等的一部分，由人類、動物、機器人或任何其他移動物體佩戴或以其他方式附著在其上。在一個或多個實施方式中，反射材料可以包括金屬、介電材料或金屬和介電材料的組合。在一個或多個實施方式中，反射材料可以是上述腕帶、臂帶、腰帶、戒指、吊墜、項鏈、帽子、手套、衣服等的表面上的塗層或塗膜。例如，塗層或塗膜可以包括紅外反射顏料，例如二氧化鈦。特別地，二氧化鈦對於紅外波長可以具有超過75%的反射率。
在一個或多個實施方式中，反射材料包括幾何圖案，該幾何圖案對於紅外波長具有幾何上變化的反射率，以產生幾何光變化模式。特別地，反射材料的幾何圖案產生物體反射光的空間變化，該物體反射光被相機鏡頭捕捉，物體反射光的空間變化作為與環境光的額外區別。換句話說，幾何圖案提高了反射光源的檢測準確度。如本文所使用的，幾何光變化模式是根據幾何圖案的光強度變化模式。例如，幾何圖案可以通過使用前述紅外反射顏料如二氧化鈦進行表面塗覆/噴漆來產生。在一個或多個實施方式中，來自反射光源(143)的物體反射光(116)包括基於源自光發射器(114)的前述光變化模式的時間調製和/或基於反射光源(143)的幾何光變化模式的空間調製。
在一個或多個實施方式中，與光發射器(114)相比具有不 同波長的第二光發射器(未示出)可以設置在光發射器(114)附近。當光發射器(114)被啟動時，第二光發射器也可以被啟動，特別是在存在具有全反射特性的物體(例如，不打算在場景中被追蹤的反射鏡)的情況下。在一個或多個實施方式中，光發射器(114)可以是紅外光源，第二光發射器可以是可見光源，發射例如綠色、藍色或紅色光。在一個或多個實施方式中，光發射器(114)和第二光發射器可以在追蹤物體之前交替發射頻閃光。換句話說，在開始追蹤物體之前，光發射器(114)可以在時間t0、t2、t4……發射頻閃光，並且第二光發射器可以在時間t1、t3、t5……發射頻閃光，其中t0、t1、t2、t3、t4、t5……表示連續的時間點。在這些時間段中，相機設備將轉動來記錄場景中的圖像，以便設置場景的空間座標，並且識別具有全反射特性的反射區域和上述反射材料的反射區域。具體地，考慮一個具有反射鏡和具有上述反射材料的物體的場景，如果相機設備檢測到對光發射器(114)和第二光發射器都敏感的像素，則該像素可被確定為對應於反射鏡；如果相機設備檢測到僅對光發射器(114)敏感的像素，則該像素可被確定為對應於具有上述反射材料的物體。在一個或多個實施方式中，當開始追蹤時，第二光發射器將會停止工作。利用這種配置，系統(100)識別具有全反射特性的反射區域，例如場景中的反射鏡，當追蹤物體時，具有全反射特性的反射區域被忽略。因此，可以提高系統(100)的檢測準確度和範圍。
在本發明的一個或多個實施方式中，相機設備(110)是具有相機鏡頭(例如相機鏡頭(111))和相關組件、用於拍攝照片和/或視頻記錄的設備。具有通訊能力的專用相機是相機設備(110)的示例。在一個 或多個實施方式中，相機設備(110)是移動設備，例如具有內置相機的移動手機(稱為智慧型手機)。智慧型手機可具有帶使用者圖形介面的顯示器，其佔據大部分(例如，70%或更多)主表面。相機鏡頭(111)可位於智慧型手機的主表面或背面。
在一個或多個實施方式中，場景(140)是由相機設備(110)成像的動作或事件發生的地點。視場(FOV)(141)是由相機設備(110)使用相機鏡頭(111)成像的場景(140)的範圍。換句話說，視場(141)內的物體(例如，物體(142))將出現在相機設備(110)捕捉和/或輸出的圖像中。例如，視場(141)可以對應於一立體角，在該立體角內，相機鏡頭(111)將光輸入投射到相機設備(110)的相關聯的光學感測器(未示出)中。在一個或多個實施方式中，根據相機鏡頭(111)相對於場景(140)如何取向、如何縮放或者如何定位，視場(141)對應於場景(140)的不同部分。在一個或多個實施方式中，物體(142)可以在動作或事件期間沿場景(140)移動。物體追蹤是使相機鏡頭(111)相對於場景(140)取向、縮放或者定位的行為，使得物體(142)連續地在視場(141)內，或在視場(141)內的目標位置。在本公開中，術語“物體追蹤”和“追蹤”可以互換使用。在一個或多個實施方式中，相機設備(110)包括硬體組件、軟體組件或其組合。在一個或多個實施方式中，相機設備(110)可以包括或者實施使用下文中第7.1圖和第7.2圖描述的計算系統(700)和網路(720)的至少一部分。
在本發明的一個或多個實施方式中，相機設備支架(130)被配置用以機械地保持相機設備(110)，並且被配置為回應於來自追蹤控 制器(120)的控制信號而調節相機鏡頭(111)的視場(141)。例如，相機設備支架(130)可以包括用於調節相機鏡頭(111)的相機角度的電動傾斜和旋轉設備。在另一示例中，相機設備支架(130)可以包括電動水平和垂直滑動設備，用於調整相機鏡頭(111)相對於場景(140)的位置。該滑動設備可以包括用於保持和移動相機設備(110)的機械平臺。在下文中，參照第3.1圖、第3.2圖和第3.3圖，描述了相機設備支架(130)的示例。
在一個或多個實施方式中，追蹤控制器(120)包括硬體組件、軟體組件或其組合，其被配置用以調整相機鏡頭(111)的視場(141)。例如，追蹤控制器(120)可以通過控制相機設備支架(130)來控制視場(141)。在另一示例中，追蹤控制器(120)可以通過控制相機鏡頭(111)的變焦水準來進一步控制視場(141)。在一個或多個實施方式中，追蹤控制器(120)控制視場(141)，使得物體(142)出現在視場(141)內的目標位置。在一個或多個實施方式中，追蹤控制器(120)使用下文中參考第2圖描述的方法控制視場(141)。在一個或多個實施方式中，追蹤控制器(120)包括下文中參照第1.2圖描述的組件。
第1.2圖示出了根據一個或多個實施方式的追蹤控制器(120)的細節。下面對第1.2圖的描述涉及上文中第1.1圖所描繪的各種組件。在一個或多個實施方式中，第1.2圖所示的一個或多個模組和元件可以省略、重複和/或替換。因此，本發明的實施方式不應該被認為限於第1.2圖所示的模組的具體佈置。
如第1.2圖所示，追蹤控制器(120)包括硬體處理器(121)、記憶體(122)和資源庫(123)。在本發明的一個或多個實施方式中，硬體 處理器(121)對應於下文中第7.1圖所示的電腦處理器(702)。類似地，記憶體(122)和資源庫(123)對應於下文中第7.1圖所示的非持久記憶體(704)和/或持久記憶體(706)。例如，記憶體(122)可以儲存軟體指令，當被執行時，使硬體處理器(121)執行上文中第1.1圖所示的相機設備(110)的視場調節功能。在一個或多個實施方式中，追蹤控制器(120)根據參考下文中第2圖描述的方法流程圖執行視場調節功能。在一個或多個實施方式中，記憶體(122)儲存指令以執行參考下文第2圖描述的方法流程圖的一個或多個部分。在一個或多個實施方式中，追蹤控制器(120)和相機設備(110)被整合到單個設備中。在這樣的實施方式中，用於執行參考第2圖描述的方法流程圖的一個或多個部分的指令是移動應用程式(或移動app)的一部分，這是一個使用者可安裝的軟體應用程式，被設計用於在智慧型手機或其他移動設備上運行。
此外，如第1.2圖所示，資源庫(123)包括圖像序列(126)、光變化模式(124)、位移(125)、移動參數(128)和目標位置(127)。特別地，圖像序列(126)包括由相機設備(111)捕捉的連續的圖像(例如，圖像A(126a))。例如，圖像A(126a)對應於在特定時間點被視場(141)覆蓋的場景(140)的一部分。光變化模式(124)是沿圖像序列(126)的不同強度等級和/或波長之間交替的光強度和/或波長的模式。在一個或多個實施方式中，光變化模式(124)對應於圖像序列(126)的每個圖像中的點。例如，該點可以由每個圖像中的一個像素位置或相連的像素位置的集合來定義。在這種情況下，光變化模式(124)被稱為由相機設備(111)捕捉的局部光變化模式。在一個或多個實施方式中，光變化模式(124)由 反射光源(143)反射的頻閃光引起，並且光變化模式(124)指示反射光源(143)在每個圖像內的位置。換句話說，反射光源(143)在每個圖像內的位置可以基於沿圖像序列(126)找到光變化模式(124)的位置來確定。例如，光變化模式(124)指示反射光源(143)位於圖像A(126a)中的位置A(127a)。類似地，圖像序列(126)中的每個其他圖像與反射光源(143)的位置相關聯。目標位置(127)是追蹤控制器(120)被配置用於追蹤物體(142)的預定位置。例如，目標位置(127)可以被定義為視場(141)的中心，其對應於圖像序列(126)的每個圖像的中心。換句話說，追蹤控制器(120)被配置成調節視場(141)，使得在調節後，物體(142)出現在圖像的中心(即，目標位置(127))。在其他示例中，目標位置(127)可以被定義為與視場(141)的中心不同的位置。位移(125)是圖像內目標位置(127)和反射光源(143)位置(例如，位置A(127a))之間的距離。在一個或多個實施方式中，位移(125)包括水平方向距離和垂直距離。位移(125)可以基於像素的數目或任何其他合適的距離標度來表示。在一個或多個實施方式中，物體(142)可以是移動物體，使得反射光源(143)的位置(例如，位置A(127a))可以在圖像序列(126)中從一個圖像到下一個圖像變化。在這樣的實施方式中，移動參數(128)是反射光源(143)的位置(例如，位置A(127a))隨時間的變化率。例如，移動參數(128)可以包括在圖像序列(126)中從一個圖像到下一個圖像的反射光源(143)的位置(例如，位置A(127a))的變化。根據物體(142)的移動方向，移動參數(128)可包括水平部分和垂直部分。在數學上，移動參數(128)對應於位移(125)隨時間的導數。
在一個或多個實施方式中，追蹤控制器(120)基於如上該的圖像序列(126)、光變化模式(124)、位移(125)、移動參數(128)和目標位置(127)執行視場調整功能。具體地，追蹤控制器(120)使用參考下文中第2圖描述的方法執行視場調整功能。下文中，參考第4圖-第6圖描述圖像序列(126)、光變化模式(124)、位移(125)和移動參數(128)的示例。
第2圖示出了根據一個或多個實施方式的流程圖。第2圖所示的過程可以例如通過上面參考第1.1圖和第1.2圖討論的一個或多個組件來執行。在本發明的不同實施方式中，可以省略，重複和/或以不同的順序執行第2圖中所示的一個或多個步驟。因此，本發明的實施方式不應被視為限於第2圖所示的步驟的特定數量和安排。
首先，在步驟201中，啟動場景內的反射光源。在本發明的一個或多個實施方式中，反射光源是附著到場景中的物體的反射區域。在這樣的實施方式中，通過使用遠程光發射器來發射頻閃光並將頻閃光投射到反射區域上來啟動反射光源。例如，當遠程光發射器打開時，頻閃光以不同步的光模式發射。結果，頻閃光被反射區域反射，以產生具有相同不同步的光模式的物體反射光。在一個或多個實施方式中，與相機設備的幀率相比較，頻閃光和物體反射光具有低重複率(例如，10赫茲、20赫茲等)。在一個或多個實施方式中，頻閃光和物體反射光與相機設備的幀率同步。例如，頻閃光可以基於從追蹤控制器和/或相機設備發送的觸發信號來啟動和/或同步。
在一個或多個實施方式中，第二光源可以是場景中不想要被 追蹤的物體上的、具有全反射特性的反射區域。在這樣的實施方式中，通過使用第二光發射器來發射具有一波長(該波長與投射到反射光源的反射區域的頻閃光的波長不同)的頻閃光，來啟動第二光源。當場景內的反射光源被啟動時，第二光源也可以同時被啟動。在一個或多個實施方式中，反射光源和第二光源可以在追蹤物體之前交替發射反射光。然後，相機設備轉動以捕捉場景的圖像從而建立場景的空間座標，識別並忽略具有全反射特性的反射區域。在一個或多個實施方式中，當開始追蹤時，第二光源被停用。
在步驟202中，由相機設備捕捉場景的圖像序列。特別地，物體在相機鏡頭的視場(FOV)內，並且出現在圖像序列中。例如，圖像序列可以包括一串靜態圖像或者是其一部分。在另一個示例中，圖像序列可以包括視頻記錄或者是視頻記錄的一部分。在一個或多個實施方式中，在反射光源發射物體反射光的同時，捕捉場景的圖像序列。在一個或多個實施方式中，基於反射光源的占空比和/或重複率來選擇圖像序列的幀率，使得連續圖像(或序列中具有特定間隔的一對圖像)包括交替的亮水準和暗水準，和/或來自遠程光發射器和反射光源的交替的波長。例如，遠程光發射器和反射光源可以是不同步的，並且基於不同步的反射光源的占空比和/或重複率來選擇幀率。在一個或多個實施方式中，基於圖像序列的幀率選擇遠程光發射器和反射光源的占空比和/或重複率，使得連續圖像(或序列中具有特定間隔的一對圖像)包括交替的亮水準和暗水準，和/或來自遠程光發射器和反射光源的交替的波長。例如，幀率可以是預定的，並且例如基於來自相機設備的觸發信號，將反射光源與幀率同步。
在步驟203中，基於圖像序列上的局部光變化模式，在場景中檢測反射光源。具體而言，從反射光源反射的頻閃光引起由相機設備的光學感測器接收的光強和/或波長的變化，從而導致沿圖像序列的局部光變化模式。在一個或多個實施方式中，調整頻閃光的強度以控制在每個圖像中找到局部光變化模式的位置的大小。例如，位置大小可以被限制為視場的水平和垂直尺寸的一百分比(例如，1%、3%等)。在一個或多個實施方式中，在由相機設備的光學感測器識別出的、連貫的圖像中交替的亮水準和暗水準和/或交替的波長的差異超出預定閾值處，定義該位置和尺寸。在一個或多個實施方式中，該位置被稱為是圖像中反射光源的位置。
在一個或多個實施方式中，通過將相應像素的強度和/或波長值相減，來比較圖像序列中的一對圖像。具體地，強度和/或波長值由光學感測器產生。例如，強度值可以對應於單色CMOS(互補金屬氧化物半導體)感測器的像素輸出值。在另一示例中，可以分析RGB CMOS感測器的輸出值以確定每個像素的波長值。具體地，從一圖像中像素的強度和/或波長值與另一圖像中對應像素的強度和/或波長值相減，以生成相減結果。在相減結果中找到交替的亮水準和暗水準和/或交替的波長的差異的像素，被選擇作為圖像中反射光源的位置的一部分。取決於反射光源的占空比/重複率與圖像序列的幀率，該對圖像可以是連續的圖像或由特定數量的圖像隔開(例如每隔兩幅圖像等)的兩個圖像。
在步驟204中，分析圖像序列以確定反射光源在至少一個圖像中的位置以及反射光源沿圖像序列的移動。在一個或多個實施方式中，基於由相機設備的光學感測器識別出的、圖像序列中交替的亮水準和暗水 準和/或交替的波長的差異超出預定閾值的地方，確定反射光源的位置。在一個或多個實施方式中，基於在圖像序列上的位置的變化率來確定反射光源的移動。
在步驟205中，回應於檢測到反射光源，在至少一個圖像內比較反射光源的位置和目標位置，以產生結果。在一個或多個實施方式中，該結果包括位置和目標位置之間的位移。在一個或多個實施方式中，位移可以在圖像序列中從一個圖像到下一個圖像變化，指示該物體是移動物體。在這樣的實施方式中，位移隨時間(例如從一幅圖像到下一幅圖像)的變化率，被計算為移動參數。
在步驟206中，基於該結果生成用於定向相機設備的控制信號。在一個或多個實施方式中，控制信號被配置成在與位移相反的方向上調整相機鏡頭的取向。在一個或多個實施方式中，控制信號被配置為在與位移相反的方向上調整相機相對於場景的相對位置。在一個或多個實施方式中，在對由控制信號引起的調整量的細調中考慮移動參數。
在步驟207中，控制信號被發送到安裝有相機設備的相機設備支架(例如，相機手持握桿、傾斜和旋轉設備等)。相應地，沿與位移相反的方向調整相機鏡頭的取向或相機設備的相對位置。
在步驟208中，在相機設備的視場內檢測到目標位置和反射光源實質對準。特別地，實質對準是沿與位移相反的方向調整相機鏡頭的取向或相機設備的相對位置的結果。
在步驟209中，回應於檢測到實質對準，捕捉場景的額外圖像。在一個或多個實施方式中，由相機設備以規則的重複率(即幀率)連 續捕捉和輸出連續圖像。在這樣的實施方式中，被分析以產生控制信號的圖像序列被限制至該額外圖像之前的滾動時間窗口(例如，2個連續圖像、5個連續圖像、10個連續圖像的滾動序列等)。隨著時間的推移，額外圖像成為更新的圖像序列的一部分，用於生成更新的控制信號以連續追蹤視場中的物體。
在一個或多個實施方式中，被分析以產生控制信號的圖像序列被指定為控制資訊而不由相機設備輸出。相反地，反射光源(因此，物體)與目標位置實質對準，相機設備輸出額外圖像。例如，控制資訊可以與額外圖像分開儲存，直到被丟棄或以其他方式從相機設備移除。
在步驟210中，確定是否要繼續圖像捕捉。如果是肯定的，即，圖像捕捉將繼續，則該方法返回到步驟202。如果是否定的，即圖像捕捉不繼續，則該方法結束。
第3.1圖、第3.2圖、第3.3圖、第4圖、第5圖和第6圖示出了根據本發明的一個或多個實施方式的各種示例。例如，第3.1圖、第3.2圖、第3.3圖、第4圖、第5圖和第6圖可以基於上文中第1.1和第1.2圖中所示的一個或多個組件、以及上文中第2圖所示的方法流程圖。在一個或多個實施方式中，第3.1圖、第3.2圖、第3.3圖、第4圖、第5圖、第6圖中所示的一個或多個模組和元件可以被省略、重複和/或替換。因此，不應認為本發明的實施方式限於第3.1圖、第3.2圖、第3.3圖、第4圖、第5圖和第6圖中所示的模組的特定佈置。
第3.1圖示出了相機移動設備手持握桿(800)，作為上文中第1.1圖所示相機設備支架(130)的示例。此外，由相機移動設備手持握桿 (800)機械保持的相機移動設備(201)(例如，具有相機鏡頭(220)的智慧型手機)是上文中第1.1圖所示的相機設備(110)的示例。在本發明的一個或多個實施方式中，相機移動設備手持握桿(800)是機電組件，其包括支架(221)、傾斜軸(203)、傾斜馬達(213)、旋轉軸(209)、旋轉馬達(219)和手持握桿(222)。支架(221)被配置用以機械地保持相機移動設備(201)並且機械地聯接到傾斜軸(203)。手持握桿(222)被配置用以在被觀看者手持的同時、保持相機移動設備手持握桿(800)的機械穩定性。儘管沒有明確示出，手持握桿(222)包括通訊介面，該通訊介面被配置用以與上文中第1.1圖中描述的相機設備(110)和/或取向控制器(120)通訊。例如，通訊介面可以基於藍牙、NFC、USB或其他無線/有線通訊介面。在一個或多個實施方式中，回應於經由通訊介面從取向控制器(120)接收的控制信號，旋轉軸(209)可通過旋轉馬達(219)繞旋轉軸線(209-1)旋轉。類似地，回應於經由通訊介面從取向控制器(120)接收的控制信號，傾斜軸(203)可通過傾斜馬達(213)繞傾斜軸線(203-1)旋轉。回應於圍繞傾斜軸線(203-1)傾斜支架(221)和/或連同傾斜軸(203)和傾斜馬達(213)一起圍繞旋轉軸線(209-1)旋轉該支架(221)，可以調整相機鏡頭(220)的取向。相應地，根據相機鏡頭(220)的取向來調整相機鏡頭(220)的視場(220-1)。儘管第3.1圖所示的示例是基於與兩個機械軸相關聯的兩個馬達，其他示例可以基於與三個機械軸相關聯的三個馬達，而不脫離本發明的範圍；其中第三馬達可以是附加的旋轉馬達，例如第3.3圖中所示的具有附加旋轉軸(209-2)的附加旋轉馬達(331)。具體地，第3.3圖示出了具有三個馬達的相機移動設備手持握桿(800)，作為上文中第1.1圖 中所示的相機設備支架(130)的示例。
第3.2圖示出了穩定上文中第3.1圖中所示的相機移動設備手持握桿(800)的示例。例如，當相機移動設備手持握桿(800)從手持位置A(321)改變到手持位置B(322)或者從手持位置B(322)改變到手持位置A(321)時，相機移動設備(201)的取向穩定。如第3.2圖所示，手持位置A(321)對應於手持握桿(222)的垂直取向(即，沿地球重力方向)。在手持位置A(321)中，傾斜馬達(213)保持相機移動設備(201)指向地球地平線(即，垂直於地球重力方向)。換句話說，相機移動設備(201)的成像平面垂直於地球地平線。
手持位置B(322)對應於手持握桿(222)的傾斜取向(即偏離地球重力方向)。例如，手持握桿(222)的傾斜運動(323)由使用者的手施加。在手持位置B(322)中，傾斜馬達(213)保持相機移動設備(201)指向地球地平線，如同在手持位置A(321)中一樣。
第4圖示出了上文中第1.1圖和第1.2圖中描述的反射光源(143)的光變化模式(124)的示例。如第4圖所示，橫軸對應時間，縱軸對應光強度。特別地，光變化模式(124)是隨時間在亮水準(400a)和暗水準(400b)之間交替的光強度模式。例如，光強度的亮度級(400a)在時間段A(410)上保持，並且可以隨著時間以一定的重複率重複出現。隨著時間的推移，光強度在亮水準(400a)和暗水準(400b)之間交替變化，相機設備週期得捕捉圖像序列。例如，可以在時間點A(401a)、時間點B(401b)、時間點C(401c)等捕捉序列中的連續圖像，這些時間點通過時間段B(420)、時間段C(430)等互相分開。特別地，時間段A(410)包 括至少一個圖像捕捉時間點，例如時間點B(401b)。在時間點A(401a)捕捉的暗水準(400b)、在時間點B(401b)捕捉的亮水準(400a)、在時間點C(401c)捕捉的暗水準(400b)等的交替序列，形成由相機設備捕捉的上述的局部光變化模式。儘管第4所示的光變化模式(124)是光強度變化的模式，光變化模式(124)在其他示例中也可以包括波長變化。換句話說，亮水準(400a)和暗水準(400b)可以被不同的波長替代或補充，以表示波長變化。
第5圖示出了上文中第1.1圖和第1.2圖中描述的場景(140)的圖像序列(126)的示例。如第5圖所示，圖像序列(126)包括圖像A(126a)、圖像B(126b)、圖像C(126c)等，它們在時間點A(401a)、時間點B(401b)、時間點C(401c)等被捕捉，如上文中第4圖所示。根據參照上文中第4圖描述的光變化模式(124)的示例，反射光源(143)在圖像A(126a)、圖像B(126b)、圖像C(126c)等中標記為“a”的位置處呈現為交替的暗點和亮點。相反地，在圖像A(126a)、圖像B(126b)、圖像C(126c)等中標記為“b”的另一個位置，光強度保持基本恒定。例如，可以通過將圖像A(126a)和圖像B(126b)中對應像素的強度值相減以生成相減結果(126d)，來確定標記為“a”的位置。類似地，可以通過將圖像B(126b)和圖像C(126c)中相應像素的強度值相減以生成相減結果(126d)，來進一步確定標記為“a”的位置。在相減結果(126d)中，黑色表示無差異，白色表示非零差異或超過上述預定閾值的差異。相應地，反射光源的位置對應於相減結果(126d)中的白點。
進一步如第5圖所示，每個圖像的中心被定義為目標位置 (127)。相應地，從標記為“a”的位置到目標位置(127)的距離對應於位移(125)。第5圖中所示的標記為“a”的位置、目標位置(127)和位移(125)分別是上文中的第1.2圖所示的位置A(127a)、目標位置(127)和位移(125)的示例。在一個或多個實施方式中，標記為“a”的位置在圖像A(126a)、圖像B(126b)、圖像C(126c)等之間變化。標記為“a”的位置在沿圖像A(126a)、圖像B(126b)、圖像C(126c)等的變化率對應於上文中第1.2圖所示的移動參數(128)。
第6圖示出了示例視頻記錄(600)，其包括參照上文中第4圖描述的圖像序列(126)的示例。在一個示例場景中，目標位置是圖像的中心。如第6圖所示，反射光源(143)在圖像序列(126)中的圖像(例如，圖像A(126a))的左側部分的位置處被識別。特別地，反射光源(143)是包括在男性(即，物體(142))佩戴的戒指或腕帶的一部分中的反射材料。例如，基於上文中第5圖所示的圖像A(126a)、圖像B(126b)、圖像C(126c)等中交替的暗點和亮點來識別反射光源(143)的位置。換句話說，反射光源(143)對應於如第5圖所示的圖像A(126a)、圖像B(126b)、圖像C(126c)等中標記為“a”的位置。因為目標位置(即，圖像中心)在反射光源位置的右側，所以追蹤控制器(120)被配置為將相機設備(110)朝向左側，使得持有反射光源(143)的男性(即，物體(142))出現在圖像的中心。因此，基於反射光源(143)的識別位置“a”來調整相機設備(110)的取向，使得物體(142)出現在圖像X(126x)的中心。
為了提高物體追蹤的準確度，除了基於上文中第5圖所示的圖像A(126a)、圖像B(126b)、圖像C(126c)等中交替的暗點和亮點來 檢測反射光源(143)的位置之外，還基於匹配包括在男性(即，物體(142))佩戴的戒指或腕帶的一部分中的反射材料的幾何形狀，限定交替的暗點和亮點的幾何形狀。換句話說，圖像A(126a)、圖像B(126b)、圖像C(126c)等中，與反射圖案的幾何形狀不匹配的任何交替的暗點和亮點，在識別反射光源(143)時被排除。
在一個或多個實施方式中，為提高物體追蹤的準確度，除了紅外光發射器之外，還可使用另一波段光發射器，包括但不限於可見光。場景中牆上的反射鏡在圖像A(126a)、圖像B(126b)、圖像C(126c)等中檢測為可見波長中交替的暗點和亮點。反射鏡被排除在檢測反射光源(143)的位置之外。
在一個或多個實施方式中，可以通過畫面裁幅的方式，使得被追蹤的物體出現在相機拍攝的畫面的目標位置。在這種情況下，由硬體處理器生成用於改變相機設備的視場的控制信號，可以通過畫面裁幅的方式，使得物體出現在相機拍攝的畫面的目標位置。具體而言，如果檢測到的光源位置位於相機視場的靠右位置，通過將相機拍攝畫面中的靠左側部分切割出來，或者提取畫面靠右的部分，使得物體出現在保留后的畫面的目標位置。在一個或多個實施方式中，通過畫面裁幅的方式，控制信號可以虛擬地改變相機呈現給使用者的視場，從而使得在視場中目標位置和反射光源實質地對準。在一個或多個實施方式中，控制信號可以通過畫面裁幅和調整相機設備支架兩種方式的結合，使得物體出現在畫面的目標位置。在一個或多個實施方式中，追蹤控制器可以包括在相機設備、運動相機、傾斜和旋轉設備、智慧型手機手持握桿、單鏡頭反射(SLR)相機支架、 畫面裁幅模組以及控制模組中的至少一個之內。在一個或多個實施方式中，畫面裁幅模組和控制模組獨立於傾斜和旋轉設備、智慧型手機手持握桿和SLR相機支架。
本發明的實施方式可以在計算系統上實現。可以使用移動設備、桌上型設備、伺服器、路由器、交換器、嵌入式設備或其他類型硬體的任意組合。例如，如第7.1圖所示計算系統(700)可以包括一個或多個電腦處理器(702)、非持久記憶體(704)(例如，易失性記憶體，比如隨機存取記憶體(RAM)、快取記憶體)、持久記憶體(706)(例如，硬碟、諸如光碟(CD)機或多功能數位光碟(DVD)機的光學裝置、快閃記憶體等)、通訊介面(712)(例如藍牙介面、紅外介面、網路介面、光介面等)以及若干其他元件和功能。
電腦處理器(702)可以是用於處理指令的積體電路。例如，電腦處理器可以是處理器的一個或多個核心或微核心。計算系統(700)還可以包括一個或多個輸入設備(710)，例如觸控螢幕、鍵盤、滑鼠、麥克風、觸控板、電子筆或任何其他類型的輸入設備。
通訊介面(712)可以包括積體電路，用於將計算系統(700)連接到網路(未示出)(例如區域網路(LAN)、比如互聯網的廣域網路(WAN)、移動網路或任何其他類型的網路)和/或連接到另一設備，例如另一計算設備。
此外，計算系統(700)可以包括一個或多個輸出設備(708)，比如螢幕(例如，液晶顯示器(LCD)、等離子顯示器、觸控螢幕、陰極射線管(CRT)監視器、投影機或其他顯示設備)、印表機、外部記憶體或任 何其他輸出設備。一個或多個輸出設備可與輸入設備相同或不同。輸入和輸出設備可以本地或遠程連接到電腦處理器(702)、非持久記憶體(704)和持久記憶體(706)。存在許多不同類型的計算系統，並且上述輸入和輸出設備可以採取其他形式。
用於執行本發明實施方式的電腦可讀程式代碼形式的軟體指令可以全部或部分、臨時或永久地儲存在非暫態電腦可讀介質上，比如CD、DVD、儲存設備、軟碟、磁帶、快閃記憶體、物理記憶體或任何其他電腦可讀儲存介質。具體地，軟體指令可以對應於電腦可讀程式代碼，當由處理器執行時，該程式代碼被配置為執行本發明的一個或多個實施方式。
第7.1圖中的計算系統(700)可連接至網路或為網路的一部分。例如，如第7.2圖所示網路(720)可以包括多個節點(例如，節點X(722)、節點Y(724))。每個節點可以對應於計算系統，例如第7.1圖所示的計算系統，或節點的組合可對應於第7.1圖所示的計算系統。作為示例，本發明的實施方式可以在連接到其他節點的分佈式系統的節點上實現。作為另一示例，本發明的實施方式可以在具有多個節點的分佈式計算系統上實現，其中本發明的每個部分可以位於分佈式計算系統內的不同節點上。此外，上述計算系統(700)的一個或多個元件可以位於遠程位置並通過網路連接到其他元件。
雖然第7.2圖中未示出，該節點可以對應於伺服器機箱中的葉片(blade)，其經由背板連接到其他節點。作為另一示例，節點可以對應於數據中心中的伺服器。作為另一示例，節點可以對應於具有共用記憶體和/或資源的電腦處理器或電腦處理器的微核心。
網路(720)中的節點(例如，節點X(722)、節點Y(724))可以被配置用以為客戶端設備(726)提供服務。例如，節點可以是雲端計算系統的一部分。節點可以包括從客戶端設備(726)接收請求和向客戶端設備(726)發送回應的功能。客戶端設備(726)可以是計算系統，例如第7.1圖所示的計算系統。此外，客戶端設備(726)可以包括和/或執行本發明的一個或多個實施方式的全部或一部分。
第7.1圖和第7.2圖中描述的計算系統或計算系統組可以包括執行本發明公開的各種操作的功能。例如，計算系統可以在相同或不同系統上的進程之間執行通訊。採用某種形式的主動或被動通訊的各種機制可以促進同一設備上的進程之間的數據交換。代表這些進程間通訊的示例包括但不限於：檔案、信號、插口(socket)、消息佇列、傳輸線路、信號(semaphore)、共用記憶體、消息傳遞和記憶體映射檔案的實施。
第7.1圖中的計算系統(700)可以實施和/或可被連接到數據資源庫。例如，一種類型的數據資源庫是資料庫。資料庫是為便於數據檢索、修改、重新組織和刪除而配置的資訊集合。資料庫管理系統(DBMS)是一種軟體應用程式，其為使用者定義、創建、查詢、更新或管理資料庫提供了一個介面。
使用者或軟體應用程式可以向DBMS提交敘述(statement)或查詢。然後DBMS解釋該敘述。該敘述可為用以請求資訊的選擇敘述、更新敘述、創建敘述、刪除敘述等等。此外，該敘述可包括參數，其指定數據或數據容器(資料庫、表格、記錄、欄、視圖等等)、識別字、狀態(比較運算符)、函數(例如，聯集、全聯集、計數、取平均等等)、排序(例 如，昇冪、降序)或其他。DBMS可以執行該敘述。例如，DBMS可訪問記憶體緩衝、參照或索引檔以進行讀取、寫入、刪除或其組合，以用於回應該敘述。DBMS可以從持久或非持久儲存加載數據，並執行計算以回應查詢。DBMS可以將結果返回給使用者或軟體應用程式。
以上對功能的描述僅呈現了由第7.1圖的計算系統和第7.2圖中的節點和/或客戶端設備執行的功能的少數示例。可以使用本發明的一個或多個實施方式來執行其他功能。
雖然已參照有限的實施方式描述了本發明，但受益於本公開的所屬技術領域中具有通常知識者在不脫離在此公開的本發明的範圍的前提下還可構想出其他實施方式。因此，本發明的範圍應由所附申請專利範圍限定。
100:系統
114:光發射器
115:頻閃光
116:物體反射光
140:場景
111:相機鏡頭
120:追蹤控制器
110:相機設備
130:相機設備支架
142:物體
141:視場(FOV)
143:反射光源

Claims (20)

  1. 一種用於物體追蹤的方法，包括：使用一相機設備按照選定的幀率週期性地持續捕捉場景的圖像序列；該圖像序列包含連貫的圖像以及由一反射光源反射的特定光變化模式引起的一局部光變化；由硬體處理器，基於沿該圖像序列的該局部光變化模式，檢測該場景中的該反射光源；由該硬體處理器，回應檢測到的該反射光源，比較該反射光源在該圖像序列的至少一個圖像中的位置與在該至少一個圖像中的目標位置，以生成結果；以及基於該結果，由該硬體處理器生成用於改變該相機設備的視場的控制信號，使得在該視場內該反射光源與該目標位置實質對準，其中該反射光源發射物體反射光。
  2. 根據申請專利範圍第1項所述的方法，其中該反射光源是物體的反射區域，及其中該物體反射光由從遠程光發射器發射並被該反射區域反射的頻閃光產生。
  3. 根據申請專利範圍第2項所述的方法，其中檢測該場景中的該反射光源包括：檢測該局部光變化模式，該局部光變化模式選自以下群組中的至少一個：光強度變化、光波長變化、光強度變化的重複率、光波長變化的重複率、從光強度變化導出的代碼以及從光波長變化導出的代碼，以及其中該局部光變化模式是由選自以下群組中的至少一個產生：該遠程光發射器發射的該頻閃光和該反射區域的幾何反射圖案。
  4. 根據申請專利範圍第2項所述的方法，其中檢測該場景中的該反射光源包括：檢測該場景中具有全反射特性的反射區域；以及 當檢測該反射光源時，從該場景中排除該具有全反射特性的反射區域。
  5. 根據申請專利範圍第1項所述的方法，所述方法進一步包括：分析該圖像序列以確定該反射光源在該至少一個圖像中的位置以及該反射光源沿該圖像序列的移動，其中進一步基於該移動生成所述控制信號；將該控制信號發送到安裝有該相機設備的相機設備支架；回應於發送該控制信號，檢測在該視場內該目標位置和該反射光源實質對準；以及使用該相機設備並回應於檢測到該實質對準，進一步捕捉該場景的額外圖像，其中所選擇的物體在該額外圖像中顯現於該目標位置。
  6. 根據申請專利範圍第5項所述的方法，其中該圖像序列和該額外圖像是由該相機設備捕捉的視頻記錄中的視頻幀序列的一部分。
  7. 根據申請專利範圍第1項所述的方法，其中該控制信號由追蹤控制器產生，該追蹤控制器包括在以下群組中的至少一個內：相機設備、傾斜和旋轉設備、智慧型手機手持握桿、單鏡頭反射相機支架、畫面裁幅模組以及控制模組；及該畫面裁幅模組和控制模組獨立於該傾斜和旋轉設備、智慧型手機手持握桿和單鏡頭反射相機支架。
  8. 一種用於物體追蹤的系統，包括：遠程光發射器，被配置用以發射頻閃光；物體的反射區域，其中該反射區域被配置用以反射由該遠程光發射器產生的該頻閃光；以及追蹤控制器，被配置用以：使用一相機設備按照選定的幀率週期性地持續獲取場景的圖像序列；該圖像序列包含連貫的圖像以及由一反射光源反射的特定光變化模式引起的一局部光變化；基於沿該圖像序列的該局部光變化模式，檢測該場景中的該反射 光源；回應於檢測到該反射光源，比較該反射光源在該圖像序列的至少一個圖像中的位置與在該至少一個圖像中的目標位置，以生成結果；以及基於該結果生成用於改變該相機設備的視場的控制信號，使得在該視場內該反射光源與該目標位置實質對準，其中該反射光源發射物體反射光，該物體反射光由該反射區域反射的該頻閃光產生。
  9. 根據申請專利範圍第8項所述的系統，其中該頻閃光包括：選自以下群組的至少一個：光強度變化、光波長變化、光強度變化的重複率、光波長變化的重複率、從光強度變化導出的代碼以及從光波長變化導出的代碼，其中該局部光變化模式至少由從該遠程光發射器發射的該頻閃光產生。
  10. 根據申請專利範圍第9項所述的系統，其中該反射區域包括幾何反射圖案，及其中該局部光變化模式進一步由該反射區域的該幾何反射圖案產生。
  11. 根據申請專利範圍第8項所述的系統，進一步包括：遠程另一波段光發射器，被配置用以發射另一波段光，其中檢測該場景中的該反射光源包括：基於該另一波段光檢測該場景中反射該另一波段光的反射區域；以及在檢測該反射光源時，從該場景中排除反射該另一波段光的反射區域。
  12. 根據申請專利範圍第8項所述的系統，該追蹤控制器還被配置用以：分析該圖像序列以確定該反射光源在該至少一個圖像中的位置以及該反射光源沿該圖像序列的移動，其中進一步基於該移動生成所述控制信號；將該控制信號發送到安裝有該相機設備的相機設備支架； 回應於發送該控制信號，檢測在該視場內該目標位置和該反射光源實質對準；以及使用該相機設備並回應於檢測到該實質對準，進一步捕捉該場景的額外圖像，其中所選擇的物體在該額外圖像中顯現於該目標位置。
  13. 根據申請專利範圍第12項所述的系統，其中該圖像序列和該額外圖像是由該相機設備捕捉的視頻記錄中的視頻幀序列的一部分。
  14. 根據申請專利範圍第8項所述的系統，其中該追蹤控制器包括在以下群組中的至少一個內：相機設備、傾斜和旋轉設備、智慧型手機手持握桿、單鏡頭反射相機支架、畫面裁幅模組以及控制模組，該畫面裁幅模組和控制模組獨立於該傾斜和旋轉設備、智慧型手機手持握桿和單鏡頭反射相機支架。
  15. 一種儲存用於物體追蹤指令的非暫態電腦可讀介質，所述指令當被電腦處理器執行時，包括功能用以：使用一相機設備按照選定的幀率週期性地持續捕捉場景的圖像序列；該圖像序列包含連貫的圖像以及由一反射光源反射的特定光變化模式引起的一局部光變化；基於沿該圖像序列的該局部光變化模式，檢測該場景中的該反射光源；回應於檢測到的該反射光源，比較該反射光源在該圖像序列的至少一個圖像中的位置與在該至少一個圖像中的目標位置，以生成結果；以及基於該結果生成用於改變該相機設備的視場的控制信號，使得在該視場內的該反射光源與該目標位置實質對準，其中該反射光源發射物體反射光。
  16. 根據申請專利範圍第15項所述的非暫態電腦可讀介質，其中該反射光源是物體的反射區域，及其中該物體反射光由從遠程光發射器發射並被該反射區域反射的頻閃光產生。
  17. 根據申請專利範圍第16項所述的非暫態電腦可讀介質，其中檢測該場景中的該反射光源包括：檢測該局部光變化模式，該局部光變化模式選自以下群組中的至少一個：光強度變化、光波長變化、光強度變化的重複率、光波長變化的重複率、從光強度變化導出的代碼以及從光波長變化導出的代碼，以及其中該局部光變化模式是由選自以下群組中的至少一個產生：該遠程光發射器發射的該頻閃光和該反射區域的幾何反射圖案。
  18. 根據申請專利範圍第15項所述的非暫態電腦可讀介質，該指令當由該電腦處理器執行時，還包括功能用以：分析該圖像序列以確定該反射光源在該至少一個圖像中的位置以及該反射光源沿該圖像序列的移動，其中進一步基於該移動產生所述控制信號。
  19. 根據申請專利範圍第15項所述的非暫態電腦可讀介質，該指令當由該電腦處理器執行時，還包括功能用以：將該控制信號發送到安裝有該相機設備的相機設備支架；回應於發送該控制信號，檢測在該視場內該目標位置和該反射光源實質對準；以及使用該相機設備並回應於檢測到該實質對準，進一步捕捉該場景的額外圖像，其中所選擇的物體在該額外圖像中顯現於該目標位置。
  20. 根據申請專利範圍第19項所述的非暫態電腦可讀介質，其中該圖像序列和該額外圖像是由該相機設備捕捉的視頻記錄中的視頻幀序列的一部分。
TW107124848A 2017-07-18 2018-07-18 使用反射光源的智能物體追蹤 TWI721290B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??PCT/CN2017/093439 2017-07-18
WOPCT/CN2017/093439 2017-07-18
PCT/CN2017/093439 WO2019014861A1 (en) 2017-07-18 2017-07-18 INTELLIGENT FOLLOWING OF OBJECTS

Publications (2)

Publication Number Publication Date
TW201913171A TW201913171A (zh) 2019-04-01
TWI721290B true TWI721290B (zh) 2021-03-11

Family

ID=63633645

Family Applications (3)

Application Number Title Priority Date Filing Date
TW107124848A TWI721290B (zh) 2017-07-18 2018-07-18 使用反射光源的智能物體追蹤
TW107124856A TWI716708B (zh) 2017-07-18 2018-07-18 智能目標追蹤
TW107124850A TWI716707B (zh) 2017-07-18 2018-07-18 使用目標識別碼的智能目標追蹤

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW107124856A TWI716708B (zh) 2017-07-18 2018-07-18 智能目標追蹤
TW107124850A TWI716707B (zh) 2017-07-18 2018-07-18 使用目標識別碼的智能目標追蹤

Country Status (6)

Country Link
US (3) US10587813B2 (zh)
EP (1) EP3656118A4 (zh)
JP (1) JP6856914B2 (zh)
CN (3) CN108605081B (zh)
TW (3) TWI721290B (zh)
WO (3) WO2019014861A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6856914B2 (ja) 2017-07-18 2021-04-14 ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドＨａｎｇｚｈｏｕ Ｔａｒｏ Ｐｏｓｉｔｉｏｎｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． インテリジェントな物体追跡
US11364637B2 (en) * 2017-07-18 2022-06-21 Hangzhou Taro Positioning Technology Co., Ltd. Intelligent object tracking
JP7210872B2 (ja) * 2017-07-19 2023-01-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
TWM560035U (zh) * 2017-11-13 2018-05-11 鄭宇傑 影像追蹤裝置
US11402730B2 (en) * 2018-06-19 2022-08-02 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device holder with stablization
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
US11991445B2 (en) 2018-12-13 2024-05-21 Hangzhou Taro Positioning Technology Co., Ltd. Camera mobile device stabilization using a high frame rate auxiliary imaging element
US11831906B2 (en) * 2019-01-02 2023-11-28 Hangzhou Taro Positioning Technology Co., Ltd. Automated film-making using image-based object tracking
CN113196297B (zh) * 2019-01-08 2024-03-22 杭州他若定位科技有限公司 使用基于图像的对象跟踪确定对象的感兴趣区域
CN113196737B (zh) * 2019-01-09 2022-10-11 杭州他若定位科技有限公司 使用基于图像的对象跟踪进行定向声音捕获
CN111757010B (zh) * 2019-05-23 2021-10-22 深圳市瑞立视多媒体科技有限公司 主动光刚体配置方法、系统及终端设备
CN110348418B (zh) * 2019-07-17 2022-03-11 上海商汤智能科技有限公司 目标跟踪方法及装置、智能移动设备和存储介质
KR102216968B1 (ko) * 2019-09-06 2021-02-18 주식회사 원더풀플랫폼 크래들을 이용한 도우미 시스템
KR102303268B1 (ko) * 2020-01-20 2021-09-17 주식회사 원더풀플랫폼 크래들의 구동패턴을 이용한 도우미 시스템
TWI772830B (zh) * 2020-07-02 2022-08-01 黑快馬股份有限公司 具有畫面穩定功能的跟拍系統及具有畫面穩定功能的跟拍方法
CN113923338A (zh) * 2020-07-07 2022-01-11 黑快马股份有限公司 具有画面稳定功能的跟拍系统及具有画面稳定功能的跟拍方法
CN111830520B (zh) * 2020-07-09 2023-08-04 广东诚浩工程项目管理有限公司 一种工程建设监理质量验收实测实量装置及方法
US11165969B1 (en) * 2020-08-03 2021-11-02 Sky Castle Toys LLC System and method for adding auxiliary lights to a camera to create fluorescence in selected features of a captured image
US11906895B2 (en) * 2020-10-06 2024-02-20 Mediatek Inc. Method and system for blending images captured under different strobe conditions
US12198373B2 (en) * 2021-03-08 2025-01-14 Hangzhou Taro Positioning Technology Co., Ltd. Scenario triggering and interaction based on target positioning and identification
EP4562450A1 (en) * 2022-07-25 2025-06-04 Lumileds LLC Controllable headlamp
CN114964183B (zh) * 2022-07-28 2022-10-25 金田产业发展(山东)集团有限公司 一种便携式定位导航工程勘测装置
US12242672B1 (en) 2022-10-21 2025-03-04 Meta Platforms Technologies, Llc Triggering actions based on detected motions on an artificial reality device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006085834A1 (en) * 2005-01-28 2006-08-17 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
CN101451836A (zh) * 2007-12-07 2009-06-10 株式会社拓普康 测量系统
CN101545770A (zh) * 2008-03-25 2009-09-30 株式会社拓普康 测量系统
CN101821583A (zh) * 2007-10-10 2010-09-01 特里伯耶拿有限公司 用于跟踪和测量目标的测量装置
CN102239424A (zh) * 2008-12-03 2011-11-09 莱卡地球系统公开股份有限公司 位置确定方法和大地测量系统
TW201233144A (en) * 2010-11-03 2012-08-01 Microsoft Corp In-home depth camera calibration
CN104246535A (zh) * 2012-09-19 2014-12-24 法罗技术股份有限公司 用于使用手持设备来利用激光跟踪仪选择、锁定和跟踪后向反射器的方法
TW201604609A (zh) * 2014-07-28 2016-02-01 奧寶科技股份有限公司 自動聚焦系統
CN105452806A (zh) * 2013-07-16 2016-03-30 莱卡地球系统公开股份有限公司 具有目标寻找功能的激光跟踪仪
CN106575027A (zh) * 2014-07-31 2017-04-19 日立麦克赛尔株式会社 摄像装置及其被摄体跟踪方法
CN106911888A (zh) * 2015-12-23 2017-06-30 意法半导体(R&D)有限公司 一种装置

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
US5764786A (en) * 1993-06-10 1998-06-09 Kuwashima; Shigesumi Moving object measurement device employing a three-dimensional analysis to obtain characteristics of the moving object
US6618117B2 (en) * 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6803989B2 (en) * 1997-07-15 2004-10-12 Silverbrook Research Pty Ltd Image printing apparatus including a microcontroller
WO1999061948A1 (en) * 1998-05-25 1999-12-02 Matsushita Electric Industrial Co., Ltd. Range finder and camera
JP2000165850A (ja) * 1998-11-25 2000-06-16 Matsushita Electric Ind Co Ltd 移動体追尾装置
JP2001305645A (ja) * 2000-04-21 2001-11-02 Fuji Photo Film Co Ltd カメラ及び雲台装置
TW543323B (en) * 2000-10-03 2003-07-21 Jestertek Inc Multiple camera control system
US6515740B2 (en) * 2000-11-09 2003-02-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
KR100355382B1 (ko) * 2001-01-20 2002-10-12 삼성전자 주식회사 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
US6771306B2 (en) * 2001-03-28 2004-08-03 Koninklijke Philips Electronics N.V. Method for selecting a target in an automated video tracking system
US20020171754A1 (en) * 2001-05-18 2002-11-21 I-Jen Lai Digital camera with multi-illuminating source
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR100459179B1 (ko) * 2002-04-16 2004-12-03 엘지전자 주식회사 횡류팬
CN1204417C (zh) * 2002-07-05 2005-06-01 北京创先泰克科技有限公司 自动跟踪运动目标的系统和实现方法
JP4284949B2 (ja) * 2002-09-05 2009-06-24 ソニー株式会社 移動撮影システム、移動撮影方法、及び撮影装置
US7847234B2 (en) * 2003-08-06 2010-12-07 The United States Of America As Represented By The Secretary Of The Army Method and system for observing a subject at a first location based upon quantum properties measured at a second location
KR100565318B1 (ko) * 2003-12-15 2006-03-30 엘지전자 주식회사 카메라폰의 촬영 안내 방법 및 장치
US7078672B2 (en) * 2004-01-16 2006-07-18 Tong Xie Method and system for optically tracking a target using interferometric technique
EP1751970A4 (en) * 2004-05-01 2010-04-21 Eliezer Jacob DIGITAL CAMERA WITH AN IMPROPER IMAGE RESOLUTION
US20060098729A1 (en) * 2004-11-09 2006-05-11 Lien-Chieh Shen Smart image processing CCTV camera device and method for operating same
US8803978B2 (en) * 2006-05-23 2014-08-12 Microsoft Corporation Computer vision-based object tracking system
US8996172B2 (en) * 2006-09-01 2015-03-31 Neato Robotics, Inc. Distance sensor system and method
WO2009018647A1 (en) * 2007-08-08 2009-02-12 Tony Mayer Non-retro-reflective license plate imaging system
CN100538723C (zh) * 2007-10-26 2009-09-09 浙江工业大学 多视觉传感器信息融合的内河船舶自动识别系统
JP5261684B2 (ja) * 2007-11-27 2013-08-14 スタンレー電気株式会社 ストロボ装置
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
JP4725821B2 (ja) * 2008-08-05 2011-07-13 アイシン精機株式会社 ターゲット位置特定装置
CN101494737B (zh) * 2009-03-09 2011-04-20 杭州海康威视数字技术股份有限公司 一种一体化摄像机装置及自适应自动聚焦方法
EP3584682B1 (en) * 2010-12-22 2021-06-30 zSpace, Inc. Three-dimensional tracking of a user control device in a volume
JP2012149888A (ja) * 2011-01-14 2012-08-09 Ricoh Co Ltd 光検出装置及び光検出方法
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
CN102143324A (zh) * 2011-04-07 2011-08-03 天津市亚安科技电子有限公司 一种云台自动平滑跟踪目标的方法
CN102148965B (zh) * 2011-05-09 2014-01-15 厦门博聪信息技术有限公司 多目标跟踪特写拍摄视频监控系统
US8605205B2 (en) * 2011-08-15 2013-12-10 Microsoft Corporation Display as lighting for photos or video
EP2570769A1 (de) * 2011-09-13 2013-03-20 Hexagon Technology Center GmbH Geodätisches Vermessungssystem und Verfahren mit multipler Zielverfolgungsfunktionalität
CN102360423A (zh) * 2011-10-19 2012-02-22 丁泉龙 一种人体智能跟踪方法
US8953094B2 (en) * 2011-11-10 2015-02-10 Apple Inc. Illumination system
US8653427B2 (en) * 2011-12-17 2014-02-18 Raytheon Company Digital semi-active laser receiver tracking of multiple line-of-sight (LOS) objects
KR101290197B1 (ko) * 2012-02-21 2013-07-30 중앙대학교 산학협력단 영상의 깊이 정보 추정 장치 및 방법
US9283677B2 (en) * 2012-04-05 2016-03-15 Rethink Robotics, Inc. Visual indication of target tracking
CN102724482B (zh) * 2012-06-18 2015-08-26 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
JP5966665B2 (ja) * 2012-06-26 2016-08-10 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
CN103634509A (zh) * 2012-08-30 2014-03-12 苏州翔合智能科技有限公司 自动追踪录制方法及系统
CN103677237B (zh) * 2012-09-20 2016-12-21 原相科技股份有限公司 对象追踪装置及其控制方法
US9697427B2 (en) * 2014-01-18 2017-07-04 Jigabot, LLC. System for automatically tracking a target
CN103810695B (zh) * 2012-11-15 2017-03-22 浙江大华技术股份有限公司 一种光源定位方法及装置
EP2765388B1 (de) * 2013-02-08 2018-10-17 Hexagon Technology Center GmbH Mobiler Feld-Controller zur Messung und Fernsteuerung
CN103427902A (zh) * 2013-04-09 2013-12-04 北京半导体照明科技促进中心 利用可见光传输信息的方法、装置和系统以及光源
KR102063102B1 (ko) * 2013-08-19 2020-01-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
EP2879371B1 (en) * 2013-11-29 2016-12-21 Axis AB System for following an object marked by a tag device with a camera
JP6380843B2 (ja) * 2013-12-19 2018-08-29 株式会社リコー 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
JP6011569B2 (ja) * 2014-03-13 2016-10-19 カシオ計算機株式会社 撮像装置、被写体追尾方法及びプログラム
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
CN106537252B (zh) * 2014-05-06 2020-03-06 宁波舜宇光电信息有限公司 转光三维成像装置和投射装置及其应用
EP3167304A4 (en) * 2014-07-08 2018-02-21 Basf Se Detector for determining a position of at least one object
DE102014109701A1 (de) * 2014-07-10 2016-01-14 Epcos Ag Sensor
US9992396B1 (en) * 2015-02-02 2018-06-05 Apple Inc. Focusing lighting module
CN112945251B (zh) * 2015-02-10 2022-06-28 御眼视觉技术有限公司 用于确定车道分配的系统、方法及计算机可读存储介质
EP3064898B1 (de) 2015-03-04 2019-12-18 Leica Geosystems AG Vermessungsgerät mit Feinanzielungs- bzw. Zielverfolgungsfunktionalität
JP6500535B2 (ja) * 2015-03-23 2019-04-17 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN104834903B (zh) * 2015-04-24 2018-04-27 深圳先牛信息技术有限公司 用于移动设备的双眼虹膜图像采集装置
CN105169717B (zh) * 2015-07-22 2017-10-03 深圳市富微科创电子有限公司 一种采用目标追踪技术的玩具飞机遥控系统及方法
CN105184776B (zh) * 2015-08-17 2018-09-28 中国测绘科学研究院 目标跟踪方法
WO2017070629A1 (en) * 2015-10-23 2017-04-27 Fluke Corporation Imaging tool for vibration and/or misalignment analysis
CA3004278C (en) * 2015-11-04 2024-04-09 Magic Leap, Inc. Light field display metrology
JP6604509B2 (ja) * 2015-12-17 2019-11-13 カシオ計算機株式会社 撮像装置、被写体追尾方法、及びプログラム
CN105611127A (zh) * 2015-12-28 2016-05-25 天津鼎视汇达科技有限公司 红外球机智能补光系统
US10341629B2 (en) * 2016-06-30 2019-07-02 Hipcam Ltd. Touch screen WiFi camera
CN106375596B (zh) * 2016-10-17 2020-04-24 瑞安市任想科技有限责任公司 提示对焦对象的装置及方法
CN106341610A (zh) * 2016-11-25 2017-01-18 广东欧珀移动通信有限公司 拍照方法及移动终端
JP6856914B2 (ja) * 2017-07-18 2021-04-14 ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドＨａｎｇｚｈｏｕ Ｔａｒｏ Ｐｏｓｉｔｉｏｎｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． インテリジェントな物体追跡

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006085834A1 (en) * 2005-01-28 2006-08-17 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
CN101821583A (zh) * 2007-10-10 2010-09-01 特里伯耶拿有限公司 用于跟踪和测量目标的测量装置
CN101451836A (zh) * 2007-12-07 2009-06-10 株式会社拓普康 测量系统
CN101545770A (zh) * 2008-03-25 2009-09-30 株式会社拓普康 测量系统
CN102239424A (zh) * 2008-12-03 2011-11-09 莱卡地球系统公开股份有限公司 位置确定方法和大地测量系统
TW201233144A (en) * 2010-11-03 2012-08-01 Microsoft Corp In-home depth camera calibration
CN104246535A (zh) * 2012-09-19 2014-12-24 法罗技术股份有限公司 用于使用手持设备来利用激光跟踪仪选择、锁定和跟踪后向反射器的方法
CN105452806A (zh) * 2013-07-16 2016-03-30 莱卡地球系统公开股份有限公司 具有目标寻找功能的激光跟踪仪
TW201604609A (zh) * 2014-07-28 2016-02-01 奧寶科技股份有限公司 自動聚焦系統
CN106575027A (zh) * 2014-07-31 2017-04-19 日立麦克赛尔株式会社 摄像装置及其被摄体跟踪方法
CN106911888A (zh) * 2015-12-23 2017-06-30 意法半导体(R&D)有限公司 一种装置

Also Published As

Publication number Publication date
WO2019015614A1 (en) 2019-01-24
US11122210B2 (en) 2021-09-14
US20200151887A1 (en) 2020-05-14
JP2020526853A (ja) 2020-08-31
CN110914638A (zh) 2020-03-24
EP3656118A4 (en) 2021-03-03
TW201913171A (zh) 2019-04-01
EP3656118A1 (en) 2020-05-27
TW201908859A (zh) 2019-03-01
CN110915194B (zh) 2021-06-25
CN108605081B (zh) 2020-09-01
US10587813B2 (en) 2020-03-10
US20190082112A1 (en) 2019-03-14
WO2019014861A1 (en) 2019-01-24
TWI716708B (zh) 2021-01-21
TWI716707B (zh) 2021-01-21
CN110915194A (zh) 2020-03-24
US11190701B2 (en) 2021-11-30
CN110914638B (zh) 2021-11-26
WO2019015616A1 (en) 2019-01-24
US20200154036A1 (en) 2020-05-14
JP6856914B2 (ja) 2021-04-14
CN108605081A (zh) 2018-09-28
TW201913245A (zh) 2019-04-01

Similar Documents

Publication Publication Date Title
TWI721290B (zh) 使用反射光源的智能物體追蹤
US9049369B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US11900616B2 (en) Determining region-of-interest of an object using image-based object tracking
US11831906B2 (en) Automated film-making using image-based object tracking
CN112313576B (zh) 具有稳定功能的相机移动设备支架
CN112292686B (zh) 检测双波段红外光源以进行对象跟踪
CN113273170B (zh) 使用高帧率辅助成像元件使相机移动设备稳定的方法、装置及存储介质
US11902737B2 (en) Directional sound capture using image-based object tracking
US11364637B2 (en) Intelligent object tracking
US12198373B2 (en) Scenario triggering and interaction based on target positioning and identification
US20200213524A1 (en) Intelligent object tracking

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees