[go: up one dir, main page]

RU2018118363A - Способы обнаружения и управления опорным маркером, отображаемым на устройстве отображения - Google Patents

Способы обнаружения и управления опорным маркером, отображаемым на устройстве отображения Download PDF

Info

Publication number
RU2018118363A
RU2018118363A RU2018118363A RU2018118363A RU2018118363A RU 2018118363 A RU2018118363 A RU 2018118363A RU 2018118363 A RU2018118363 A RU 2018118363A RU 2018118363 A RU2018118363 A RU 2018118363A RU 2018118363 A RU2018118363 A RU 2018118363A
Authority
RU
Russia
Prior art keywords
displayed
marker
reference marker
new
attribute
Prior art date
Application number
RU2018118363A
Other languages
English (en)
Other versions
RU2018118363A3 (ru
RU2731254C2 (ru
Inventor
Эрик ЮБЕР
Патрис ИРТЦЛЕН
Жан-Эд МАРВИ
Original Assignee
Томсон Лайсенсинг
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Томсон Лайсенсинг filed Critical Томсон Лайсенсинг
Publication of RU2018118363A publication Critical patent/RU2018118363A/ru
Publication of RU2018118363A3 publication Critical patent/RU2018118363A3/ru
Application granted granted Critical
Publication of RU2731254C2 publication Critical patent/RU2731254C2/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Claims (48)

1. Способ обнаружения опорного маркера, отображаемого на устройстве (2) отображения, отличающийся тем, что портативное устройство (1), содержащее камеру и блок детектора маркера, выполняет:
получение (21, 211) текущей информации атрибута, представляющей текущее значение по меньшей мере одного модифицируемого атрибута, ассоциированного с упомянутым отображаемым опорным маркером (5);
обнаружение (24, 34) упомянутого отображаемого опорного маркера в изображении, отображаемом на упомянутом устройстве отображения в соответствии с упомянутой текущей информацией атрибута;
вычисление (26; 36) информации расположения, представляющей расположение упомянутого портативного устройства по отношению к отображаемому опорному маркеру, в соответствии с упомянутой текущей информацией атрибута и упомянутым обнаруженным отображаемым опорным маркером; и
получение (27, 29; 37) первой новой информации атрибута, представляющей первое новое значение упомянутого по меньшей мере одного модифицируемого атрибута, причем упомянутое первое новое значение зависит от упомянутой вычисленной информации расположения.
2. Способ по п. 1, отличающийся тем, что получение первой новой информации атрибута содержит изменение (37) текущего значения упомянутого по меньшей мере одного модифицируемого атрибута на первое новое значение в соответствии с упомянутой вычисленной информацией расположения.
3. Способ по п. 1, отличающийся тем, что получение первой новой информации атрибута содержит:
передачу (27) упомянутой вычисленной информации расположения, чтобы позволить устройству (3) управления маркером изменять текущее значение упомянутого по меньшей мере одного модифицируемого атрибута на первое новое значение в соответствии с упомянутой вычисленной информацией расположения; и
прием (29) первой новой информации атрибута, представляющей упомянутое первое новое значение.
4. Способ по любому из пп. 1-3, отличающийся тем, что, если упомянутый отображаемый опорный маркер не обнаружен, портативное устройство выполняет:
получение (210, 211; 310) второй новой информации атрибута, представляющей второе новое значение упомянутого по меньшей мере одного модифицируемого атрибута; и
обнаружение (22; 32) упомянутого отображаемого опорного маркера в изображении, отображаемом на упомянутом устройстве отображения в соответствии с упомянутой второй новой информацией атрибута.
5. Способ по п. 4, отличающийся тем, что получение второй новой информации атрибута содержит изменение (310) текущего значения упомянутого по меньшей мере одного модифицируемого атрибута на второе новое значение.
6. Способ по п. 4, отличающийся тем, что получение второй новой информации атрибута содержит:
передачу (210) информации об отказе, чтобы позволить устройству управления маркером изменять текущее значение упомянутого по меньшей мере одного модифицируемого атрибута на второе новое значение; и
прием (211) упомянутой второй новой информации атрибута, представляющей упомянутое второе новое значение.
7. Способ управления по меньшей мере одним опорным маркером, отображаемым на устройстве (2) отображения, отличающийся тем, что устройство (3) управления маркером выполняет:
передачу (20) текущей информации атрибута, представляющей текущее значение по меньшей мере одного модифицируемого атрибута, ассоциированного с упомянутым отображаемым опорным маркером (5), чтобы позволить портативному устройству (1) обнаруживать упомянутый отображаемый опорный маркер в изображении, отображаемом на упомянутом устройстве отображения;
прием (222) информации расположения, представляющей расположение упомянутого портативного устройства по отношению к отображаемому опорному маркеру;
изменение (223) текущего значения упомянутого по меньшей мере одного модифицируемого атрибута на первое новое значение в соответствии с упомянутой принятой информацией расположения; и
передачу (224), на упомянутое портативное устройство, первой новой информации атрибута, представляющей упомянутое первое новое значение.
8. Способ по п. 7, отличающийся тем, что, если устройство управления маркером принимает не упомянутую информацию расположения, а информацию об отказе, указывающую не-обнаружение упомянутого отображаемого опорного маркера, то устройство управления маркером выполняет:
изменение (223) текущего значения упомянутого по меньшей мере одного модифицируемого атрибута на второе новое значение и
передачу (224) второй новой информации атрибута, представляющей упомянутое второе новое значение упомянутого по меньшей мере одного изменяемого атрибута.
9. Способ по любому из пп. 7-8, отличающийся тем, что устройство (3) управления маркером управляет несколькими опорными маркерами (51-53), отображаемыми на упомянутом устройстве (2) отображения, и каждый из которых ассоциирован с отдельным портативным устройством (11-13), и что при выполнении этапа (223) изменения текущего значения упомянутого по меньшей мере одного модифицируемого атрибута на первое или второе новое значение, для данного из упомянутых отображаемых опорных маркеров, устройство управления маркером обрабатывает по меньшей мере один случай конфликта между упомянутым данным отображаемым опорным маркером и другими из упомянутых отображаемых опорных маркеров.
10. Способ по п. 9, отличающийся тем, что упомянутый по меньшей мере один случай конфликта принадлежит группе, содержащей:
столкновение между по меньшей мере двумя отображаемыми опорными маркерами и
окклюзию между по меньшей мере двумя отображаемыми опорными маркерами.
11. Способ по любому из пп. 1-10, отличающийся тем, что упомянутый по меньшей мере один модифицируемый атрибут принадлежит группе, содержащей:
положение отображаемого опорного маркера в отображаемом изображении;
ориентацию отображаемого опорного маркера в отображаемом изображении;
размер отображаемого опорного маркера в отображаемом изображении;
цвет отображаемого опорного маркера в отображаемом изображении;
яркость отображаемого опорного маркера в отображаемом изображении;
контраст отображаемого опорного маркера в отображаемом изображении;
шаблон отображаемого опорного маркера в отображаемом изображении.
12. Способ по любому из пп. 1-11, отличающийся тем, что портативное устройство (1) представляет собой оптическое прозрачное устройство или видео прозрачное устройство.
13. Постоянный машиночитаемый носитель (53), хранящий инструкции программного кода для реализации способа в соответствии с по меньшей мере одним из пп. 1-12, когда упомянутая программа исполняется на компьютере или процессоре (52).
14. Портативное устройство (1) системы расширенной реальности на основе маркеров, причем упомянутое портативное устройство содержит камеру и блок детектора маркера и сконфигурировано, чтобы обнаруживать опорный маркер, отображаемый на устройстве (2) отображения, отличающееся тем, что упомянутое портативное устройство содержит:
средство (51-53) для получения текущей информации атрибута, представляющей текущее значение по меньшей мере одного модифицируемого атрибута, ассоциированного с упомянутым отображаемым опорным маркером;
средство (51-53) для обнаружения упомянутого отображаемого опорного маркера в изображении, отображаемом на упомянутом устройстве отображения в соответствии с упомянутой текущей информацией атрибута;
средство (51-53) для вычисления информации расположения, представляющей расположение упомянутого портативного устройства по отношению к отображаемому опорному маркеру, в соответствии с упомянутой текущей информацией атрибута и упомянутым обнаруженным опорным маркером; и
средство (51-53) для получения новой информации атрибута, представляющей новое значение упомянутого по меньшей мере одного модифицируемого атрибута, причем упомянутое новое значение зависит от упомянутой вычисленной информации расположения.
15. Устройство (3) управления маркером системы расширенной реальности на основе маркеров, причем упомянутое устройство управления маркером сконфигурировано, чтобы управлять по меньшей мере одним опорным маркером, отображаемым на устройстве (2) отображения, отличающееся тем, что упомянутое устройство управления маркером содержит:
средство (61-63) для передачи текущей информации атрибута, представляющей текущее значение по меньшей мере одного модифицируемого атрибута, ассоциированного с упомянутым отображаемым опорным маркером, чтобы позволить портативному устройству обнаруживать упомянутый отображаемый опорный маркер в изображении, отображаемом на упомянутом устройстве отображения;
средство (61-63) для приема информации расположения, представляющей расположение упомянутого портативного устройства по отношению к отображаемому опорному маркеру; и
средство (61-63) для изменения текущего значения упомянутого по меньшей мере одного модифицируемого атрибута на новое значение в соответствии с упомянутой принятой информацией расположения и
средство (61-63) для передачи, на упомянутое портативное устройство, первой новой информации атрибута, представляющей упомянутое первое новое значение.
RU2018118363A 2015-10-21 2016-10-10 Способы обнаружения и управления опорным маркером, отображаемым на устройстве отображения RU2731254C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306690.7 2015-10-21
EP15306690.7A EP3159829A1 (en) 2015-10-21 2015-10-21 Methods of detecting and managing a fiducial marker displayed on a display device
PCT/EP2016/074229 WO2017067810A1 (en) 2015-10-21 2016-10-10 Methods of detecting and managing a fiducial marker displayed on a display device

Publications (3)

Publication Number Publication Date
RU2018118363A true RU2018118363A (ru) 2019-11-25
RU2018118363A3 RU2018118363A3 (ru) 2020-04-03
RU2731254C2 RU2731254C2 (ru) 2020-08-31

Family

ID=54477985

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018118363A RU2731254C2 (ru) 2015-10-21 2016-10-10 Способы обнаружения и управления опорным маркером, отображаемым на устройстве отображения

Country Status (10)

Country Link
US (1) US20180308248A1 (ru)
EP (2) EP3159829A1 (ru)
JP (1) JP2018534677A (ru)
KR (1) KR20180070660A (ru)
CN (1) CN108140129A (ru)
BR (1) BR112018008101A2 (ru)
CA (1) CA3002697A1 (ru)
MX (1) MX2018004769A (ru)
RU (1) RU2731254C2 (ru)
WO (1) WO2017067810A1 (ru)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229387B2 (en) 2016-05-12 2019-03-12 Validfill Llc Information and tracking marking system and method with modifiable marks
EP3416092A1 (en) * 2017-06-16 2018-12-19 Thomson Licensing Method and devices to optimize marker management for pose estimation
US10776954B2 (en) 2018-10-08 2020-09-15 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
US20200111256A1 (en) * 2018-10-08 2020-04-09 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
CN110287744B (zh) * 2019-06-17 2020-12-25 珠海格力电器股份有限公司 一种识别二维码的方法及装置
JP7570944B2 (ja) * 2021-02-22 2024-10-22 株式会社東芝 計測システム及び計測プログラム
US11768374B1 (en) * 2022-06-24 2023-09-26 Rockwell Collins, Inc. Vehicle including head wearable display device and imperceptible reference fiducials and method therefor
US12282312B2 (en) 2022-09-12 2025-04-22 Yokogawa Electric Corporation Robot staging area management
US20250093652A1 (en) * 2023-09-19 2025-03-20 Microsoft Technology Licensing, Llc Utilizing a visible light filter to reduce visibility of fiducial images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7957931B2 (en) * 2005-12-23 2011-06-07 Gcoder Systems Ab Positioning pattern
US20110187731A1 (en) * 2009-07-10 2011-08-04 Yasuhiro Tsuchida Marker display control device, integrated circuit, and marker display control method
US9337926B2 (en) * 2011-10-31 2016-05-10 Nokia Technologies Oy Apparatus and method for providing dynamic fiducial markers for devices
AU2011253973B2 (en) * 2011-12-12 2015-03-12 Canon Kabushiki Kaisha Keyframe selection for parallel tracking and mapping
GB2504999B8 (en) * 2012-08-17 2015-04-22 Sony Comp Entertainment Europe Apparatus and method for object positioning
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
US9355599B2 (en) * 2014-03-06 2016-05-31 3M Innovative Properties Company Augmented information display

Also Published As

Publication number Publication date
MX2018004769A (es) 2018-05-30
WO2017067810A1 (en) 2017-04-27
CA3002697A1 (en) 2017-04-27
RU2018118363A3 (ru) 2020-04-03
RU2731254C2 (ru) 2020-08-31
CN108140129A (zh) 2018-06-08
BR112018008101A2 (pt) 2018-11-06
EP3159829A1 (en) 2017-04-26
KR20180070660A (ko) 2018-06-26
JP2018534677A (ja) 2018-11-22
EP3365837A1 (en) 2018-08-29
US20180308248A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
RU2018118363A (ru) Способы обнаружения и управления опорным маркером, отображаемым на устройстве отображения
US10268926B2 (en) Method and apparatus for processing point cloud data
US11118928B2 (en) Method for providing map information and electronic device for supporting the same
JP6659924B2 (ja) ヘッドマウントディスプレイの提示の調整
US9563981B2 (en) Information processing apparatus, information processing method, and program
US10636185B2 (en) Information processing apparatus and information processing method for guiding a user to a vicinity of a viewpoint
CA3027899A1 (en) Ground plane detection for placement of augmented reality objects
BR112018008099A2 (pt) método de controle de exibição e dispositivo de controle de exibição
CN104285244A (zh) 用于标注的图像驱动的视图管理
US9285876B2 (en) Transparent display field of view region determination
US20150293586A1 (en) Eye gaze direction indicator
US10185399B2 (en) Image processing apparatus, non-transitory computer-readable recording medium, and image processing method
JP2016525426A5 (ru)
JP2018534677A5 (ru)
GB2540032A (en) Data browse apparatus, data browse method, program, and storage medium
CN105227882B (zh) 一种显示方法及对应装置
CN109656319B (zh) 一种用于呈现地面行动辅助信息方法与设备
US10032248B2 (en) Image switching method and apparatus
TW202042048A (zh) 顯示控制裝置、顯示控制方法、程式及非暫時性電腦可讀取資訊記錄媒體
US20150170420A1 (en) Apparatus and method for displaying augmented reality
US10366495B2 (en) Multi-spectrum segmentation for computer vision
US9805245B2 (en) Image resolution recognition device, method for recognizing image resolution and image resolution recognition program
US10943109B2 (en) Electronic apparatus, method for controlling thereof and the computer readable recording medium
US10409464B2 (en) Providing a context related view with a wearable apparatus
JP2016118859A5 (ru)