[go: up one dir, main page]

RU2018126548A - Обработка карты глубины для изображения - Google Patents

Обработка карты глубины для изображения Download PDF

Info

Publication number
RU2018126548A
RU2018126548A RU2018126548A RU2018126548A RU2018126548A RU 2018126548 A RU2018126548 A RU 2018126548A RU 2018126548 A RU2018126548 A RU 2018126548A RU 2018126548 A RU2018126548 A RU 2018126548A RU 2018126548 A RU2018126548 A RU 2018126548A
Authority
RU
Russia
Prior art keywords
depth
pixel
pixels
map
value
Prior art date
Application number
RU2018126548A
Other languages
English (en)
Other versions
RU2018126548A3 (ru
Inventor
Кристиан ВАРЕКАМП
Патрик Люк Элс ВАНДЕВАЛЛЕ
Original Assignee
Конинклейке Филипс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Н.В. filed Critical Конинклейке Филипс Н.В.
Publication of RU2018126548A publication Critical patent/RU2018126548A/ru
Publication of RU2018126548A3 publication Critical patent/RU2018126548A3/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Claims (21)

1. Устройство для обработки карты глубины, причем устройство содержит
источник (109) карты глубины для обеспечения карты глубины для изображения, причем карта глубины содержит значения глубины для пикселей карты глубины;
источник (111) карты достоверности для обеспечения карты достоверности, содержащей значения достоверности для пикселей карты глубины, причем значение достоверности для пикселя определяет пиксель как достоверный пиксель или как недостоверный пиксель, при этом достоверный пиксель имеет значение глубины, соответствующее критерию надежности, а недостоверный пиксель имеет значение глубины, не соответствующее критерию надежности;
средство (113) исправления глубины, выполненное с возможностью выполнения операции по исправлению глубины, содержащей исправление значений глубины для пикселей карты глубины, причем средство исправления глубины выполнено с возможностью установки исправленного значения глубины для первого пикселя в текущее значение глубины для первого пикселя, если первый пиксель определяется как достоверный пиксель или при отсутствии достоверных пикселей в наборе окрестности пикселей для первого пикселя, а иначе - для установки исправленного значения в наибольшее значение глубины из текущего значения глубины и значения глубины, определенного в зависимости от значений глубины пикселей в наборе окрестности пикселей, которые определяются как достоверные пиксели.
2. Устройство по п. 1, в котором средство (113) исправления глубины выполнено с возможностью итерационного выполнения операции по исправлению глубины, причем каждая операция по исправлению глубины выполняется на исправленной карте глубины от предыдущей итерации.
3. Устройство по п. 2, в котором средство (113) исправления глубины выполнено с возможностью исправления значения достоверности карты достоверности для каждой операции по исправлению глубины; и причем каждая операция по исправлению глубины основана на исправленной карте достоверности от предыдущей итерации.
4. Устройство по п. 3, в котором средство (113) исправления глубины выполнено с возможностью изменения пикселя от того, чтобы он определялся как недостоверный пиксель, к тому, чтобы он определялся как достоверный пиксель, в ответ на обнаружение, что набор окрестности содержит по меньшей мере один достоверный пиксель.
5. Устройство по п. 3, в котором средство (113) исправления глубины выполнено с возможностью выполнения заданного количества итераций.
6. Устройство по п. 5, в котором заданное количество итераций не больше восеми итераций.
7. Устройство по п. 2, в котором средство (113) исправления глубины выполнено с возможностью динамичной настройки количества итераций в соответствии со свойством глубины, определенном по значениям глубины карты глубины.
8. Устройство по п. 1, в котором функция содержит усреднение значений глубины пикселей в наборе окрестности пикселей, которые определяются как достоверные пиксели.
9. Устройство по п. 1, в котором функция содержит выбор максимума значений глубины пикселей в наборе окрестности пикселей, которые определяются как достоверные пиксели.
10. Устройство по п. 1, в котором набор окрестности включает в себя только пиксели с расстоянием до первого пикселя, которое меньше порогового значения, причем пороговое значение не превосходит пять пикселей.
11. Устройство по п. 1, в котором средство (113) исправления глубины выполнено с возможностью определения размера набора окрестности в соответствии со свойством глубины, определяемым по значениям глубины карты глубины.
12. Устройство по п. 1, в котором карта глубины предназначена для кадра видеосигнала, и источник (109) карты глубины выполнен с возможностью определения начальных значений глубины для недостоверных пикселей карты глубины с помощью временного предсказания из других кадров видеосигнала.
13. Устройство по п. 1, в котором источник (109) карты глубины выполнен с возможностью выборочного применения пространственного фильтра к недостоверным пикселям карты глубины.
14. Способ обработки карты глубины, причем способ содержит этапы, на которых
обеспечивают карту глубины для изображения, причем карта глубины содержит значения глубины для пикселей карты глубины;
обеспечивают карту достоверности, содержащую значения достоверности для пикселей карты глубины, причем значения достоверности для пикселя определяют пиксель как достоверный пиксель или как недостоверный пиксель, при этом достоверный пиксель имеет значение глубины, соответствующее критерию достоверности, а недостоверный пиксель имеет значение глубины, не соответствующее критерию достоверности;
выполняют операцию исправления глубины, содержащую исправление значений глубины для пикселей карты глубины, причем исправление глубины содержит установку исправленного значения глубины для первого пикселя в текущее значение глубины для первого пикселя, если первый пиксель определяется как достоверный пиксель или при отсутствии достоверных пикселей в наборе окрестности пикселей для первого пикселя, а иначе устанавливают исправленное значение в наибольшее значение глубины из текущего значения глубины и значения глубины, определенного в зависимости от значений глубины пикселей в наборе окрестности пикселей, которые определяются как достоверные пиксели.
15. Компьютерный программный продукт, содержащий средство компьютерного программного кода, сконфигурированное с возможностью выполнения всех этапов по п. 14, когда упомянутая программа выполняется на компьютере.
RU2018126548A 2015-12-21 2016-12-08 Обработка карты глубины для изображения RU2018126548A (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15201620.0 2015-12-21
EP15201620 2015-12-21
PCT/EP2016/080164 WO2017108413A1 (en) 2015-12-21 2016-12-08 Processing a depth map for an image

Publications (2)

Publication Number Publication Date
RU2018126548A true RU2018126548A (ru) 2020-01-23
RU2018126548A3 RU2018126548A3 (ru) 2020-01-23

Family

ID=54979513

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018126548A RU2018126548A (ru) 2015-12-21 2016-12-08 Обработка карты глубины для изображения

Country Status (9)

Country Link
US (1) US10462446B2 (ru)
EP (1) EP3395064B1 (ru)
JP (1) JP6559899B2 (ru)
KR (1) KR102659065B1 (ru)
CN (1) CN108432244B (ru)
CA (1) CA3008922A1 (ru)
RU (1) RU2018126548A (ru)
TW (1) TWI714690B (ru)
WO (1) WO2017108413A1 (ru)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018018425A (ja) * 2016-07-29 2018-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
CN110349196B (zh) * 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
CN108629325B (zh) * 2018-05-11 2021-06-22 北京旷视科技有限公司 物品位置的确定方法、装置及系统
US11107268B2 (en) * 2018-09-07 2021-08-31 Cognex Corporation Methods and apparatus for efficient data processing of initial correspondence assignments for three-dimensional reconstruction of an object
WO2020066236A1 (ja) * 2018-09-27 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
FR3088510A1 (fr) * 2018-11-09 2020-05-15 Orange Synthese de vues
US20200186776A1 (en) * 2018-11-14 2020-06-11 Htc Corporation Image processing system and image processing method
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
US11164326B2 (en) 2018-12-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map
CN112102386A (zh) * 2019-01-22 2020-12-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
EP3706070A1 (en) * 2019-03-05 2020-09-09 Koninklijke Philips N.V. Processing of depth maps for images
CN110390689B (zh) * 2019-07-11 2021-07-30 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110400340B (zh) * 2019-07-11 2022-03-22 Oppo广东移动通信有限公司 深度图处理方法和装置
JP2021051015A (ja) * 2019-09-25 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
CN112686077B (zh) * 2019-10-17 2024-04-26 北京极智嘉科技股份有限公司 一种自驱动机器人和障碍物识别的方法
US11816855B2 (en) * 2020-02-11 2023-11-14 Samsung Electronics Co., Ltd. Array-based depth estimation
CN111524075B (zh) * 2020-03-26 2023-08-22 北京迈格威科技有限公司 深度图像滤波方法、图像合成方法、装置、设备及介质
TWI772102B (zh) * 2020-07-14 2022-07-21 宏達國際電子股份有限公司 用於傳輸縮減的深度資訊的方法和電子系統
KR20220030007A (ko) * 2020-09-02 2022-03-10 삼성전자주식회사 이미지 생성 장치 및 방법
US20240202866A1 (en) * 2021-04-12 2024-06-20 Apple Inc. Warped Perspective Correction
CN113538551B (zh) * 2021-07-12 2023-08-15 Oppo广东移动通信有限公司 深度图生成方法、装置、电子设备
KR102485816B1 (ko) * 2021-11-03 2023-01-09 아이티컨버젼스 주식회사 이미지 수집장치를 이용한 작물 생육 분석 시스템
US12315182B2 (en) * 2022-02-02 2025-05-27 Rapyuta Robotics Co., Ltd. Apparatus and a method for estimating depth of a scene
CN114745509B (zh) * 2022-04-08 2024-06-07 深圳鹏行智能研究有限公司 图像采集方法、设备、足式机器人及存储介质
US12225180B2 (en) * 2022-10-25 2025-02-11 Orbbec 3D Technology International, Inc. Method and apparatus for generating stereoscopic display contents
WO2024263194A1 (en) * 2023-06-23 2024-12-26 Nodar Inc. Real-time confidence-based image hole-filling for depth maps
US12094144B1 (en) 2023-06-23 2024-09-17 Nodar Inc. Real-time confidence-based image hole-filling for depth maps

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3864491B2 (ja) * 1997-04-16 2006-12-27 ソニー株式会社 視差算出装置、距離算出装置およびこれらの方法
JP2001116513A (ja) * 1999-10-18 2001-04-27 Toyota Central Res & Dev Lab Inc 距離画像算出装置
US6751338B1 (en) * 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
PL3035682T3 (pl) 2005-04-29 2019-09-30 Koninklijke Philips N.V. Urządzenie do wyświetlania stereoskopowego
CN101272511B (zh) * 2007-03-19 2010-05-26 华为技术有限公司 图像深度信息和图像像素信息的获取方法及装置
US8854425B2 (en) * 2007-07-26 2014-10-07 Koninklijke Philips N.V. Method and apparatus for depth-related information propagation
DE102010031535A1 (de) * 2010-07-19 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
JP5150698B2 (ja) * 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN102074020B (zh) 2010-12-31 2012-08-15 浙江大学 对视频进行多体深度恢复和分割的方法
KR20120079646A (ko) * 2011-01-05 2012-07-13 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 결점 수정 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
RU2013142927A (ru) * 2011-02-23 2015-03-27 Конинклейке Филипс Н.В. Обработка данных глубины трехмерной сцены
US8629901B2 (en) * 2011-05-19 2014-01-14 National Taiwan University System and method of revising depth of a 3D image pair
EP2761534B1 (en) * 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
EP2817586B1 (en) * 2012-02-15 2020-03-25 Apple Inc. Scanning depth engine
JP2013201688A (ja) * 2012-03-26 2013-10-03 Konica Minolta Inc 画像処理装置、画像処理方法および画像処理プログラム
EP4567495A3 (en) * 2012-08-21 2025-09-10 Adeia Imaging LLC Systems and methods for parallax detection and correction in images captured using array cameras
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
EP2887312A1 (en) 2013-12-18 2015-06-24 Nokia Corporation Method, apparatus and computer program product for depth estimation of stereo images

Also Published As

Publication number Publication date
RU2018126548A3 (ru) 2020-01-23
EP3395064B1 (en) 2023-06-21
WO2017108413A1 (en) 2017-06-29
US20180309974A1 (en) 2018-10-25
CN108432244A (zh) 2018-08-21
EP3395064A1 (en) 2018-10-31
TW201725555A (zh) 2017-07-16
JP2019506041A (ja) 2019-02-28
TWI714690B (zh) 2021-01-01
US10462446B2 (en) 2019-10-29
KR102659065B1 (ko) 2024-04-22
CN108432244B (zh) 2020-09-01
KR20180097684A (ko) 2018-08-31
JP6559899B2 (ja) 2019-08-14
CA3008922A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
RU2018126548A (ru) Обработка карты глубины для изображения
US9967516B2 (en) Stereo matching method and device for performing the method
IL275383B2 (en) A method for calibrating an augmented reality device
JP2016036069A5 (ru)
JP2016092618A5 (ja) 撮像装置および撮像装置で実行される方法
JP2010045770A5 (ru)
MX359546B (es) Sistemas y metodos para el analisis de vitalidad.
JP2016085637A5 (ru)
JP2016001807A5 (ru)
JP2015096812A5 (ru)
NZ776286A (en) Semi-global shutter imager
JP2015057698A5 (ru)
IN2014KN02615A (ru)
EP3526767A1 (en) Determining variance of a block of an image based on a motion vector for the block
JP2015179254A5 (ru)
WO2016163609A3 (ko) Lpr 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법
EP2919152A3 (en) Image processing apparatus and image processing method
JP2016109934A5 (ja) 制御装置、制御方法、画像表示システム及びプログラム
JP2016015536A5 (ru)
CN108063891A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
JP2016009941A5 (ru)
GB2550076A8 (en) Imaging barcode scanner for enhanced document capture
JP2014116012A5 (ru)
RU2014104445A (ru) Формирования изображения глубины с использованием информации о глубине, восстановленной из амплитудного изображения
JP2013198153A5 (ru)

Legal Events

Date Code Title Description
FA92 Acknowledgement of application withdrawn (lack of supplementary materials submitted)

Effective date: 20200806