[go: up one dir, main page]

KR20110117020A - 패키징된 상품 제품 이미지로부터 3ｄ 모델의 자동 생성 - Google Patents

패키징된 상품 제품 이미지로부터 3ｄ 모델의 자동 생성 Download PDF

Info

Publication number
KR20110117020A
KR20110117020A KR1020110036398A KR20110036398A KR20110117020A KR 20110117020 A KR20110117020 A KR 20110117020A KR 1020110036398 A KR1020110036398 A KR 1020110036398A KR 20110036398 A KR20110036398 A KR 20110036398A KR 20110117020 A KR20110117020 A KR 20110117020A
Authority
KR
South Korea
Prior art keywords
product
shape
target consumer
cross
consumer goods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020110036398A
Other languages
English (en)
Inventor
로드 엠 할스테드
Original Assignee
다솔 시스템므
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다솔 시스템므 filed Critical 다솔 시스템므
Publication of KR20110117020A publication Critical patent/KR20110117020A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

3D 모델링의 컴퓨터-구현 방법 및 장치는 소비 상품 제품의 제품 데이터에 액세스한다. 제품 데이터는 대상 소비 상품 제품의 2D 이미지 데이터와 대상 소비 상품 상품 제품의 형상 정보를 포함한다. 추출기는 대상 소비 상품 제품의 3D 형상 클래스를 포함하는, 제품 데이터로부터 형상 정보를 추출하고 상세 3D 형상 그래프를 도출한다. 상세 3D 형상 그래프는 대상 소비 상품 제품의 정사영 정정 3D 윤곽 형상을 나타낸다. 결정 3D 형상 클래스의 함수로서, 메시 생성기는 상세 3D 형상 그래프로부터 대상 소비 상품 제품의 3D 메시를 생성한다. 이미지 맵퍼는 3D 생성기 상에 이미지들을 투영하고, 이미지들은 2D 이미지 데이터로부터의 그리고 대상 소비 상품 제품의 이미지들이다. 대상 소비 상품 제품의 3D 모델이 얻어지고 웹 페이지 상 그리고 다른 유저-인터렉티브 환경들에서의 인터렉티브 디스플레이를 위해 구성된다.

Description

패키징된 상품 제품 이미지로부터 3Ｄ 모델의 자동 생성{AUTOMATIC GENERATION OF 3D MODELS FROM PACKAGED GOODS PRODUCT IMAGES}
본 발명의 기술분야는 3D 인터렉티브 체험 및 3D 인터렉티브 시뮬레이션을 위한 스케일가능 콘텐츠 생성에 관한 것으로서, 비디오 게이밍 및 온라인 쇼핑/뷰잉을 포함하지만 이들에 한정되지 않는다.
스토어 인테리어의 인터렉티브, 3D 시뮬레이션에서의 디스플레이를 위한 3D 패키징된 상품들을 구축하는데 컴퓨터 3D 모델링 기법들이 사용되어 왔다. 특히 3D 모델링은 제품, 그의 스토어/쉘프 콘텍스트를 보는 최종 사용자 체험과 온라인으로 제품 패키징 텍스트를 뷰잉하고 읽기 위해 제품을 "픽업" (picking up) 하는 체험을 구현하는데 사용되어왔다.
패키징된 상품들의 3D 모델들이 인-스토어 디스플레이를 위해 구축된 어플리케이션들에 있어서, 쉘프 (패키지 상품) 3D 모델 콘텐츠를 구축하는데 2개의 전략들이 사용되어 왔다.
첫번째 전략은, AutoDesk® 3DS Max®, Maya® 또는 다른 범용 모델링 어플리케이션들을 사용한, 사진 및 제품 측정 정보로부터의 3D 모델들의 수동 생성을 사용하였다. 보다 많은 수의 모델들을 체계적으로 생성하는 워크플로우가 계획되고 조직된다 할지라도, 작업의 단위는 여전히 형태들의 수동 모델링과 텍스처 맵의 수동 생성에 기초한다.
두번째 전략은 범용 사진-계 3D 모델링 어플리케이션을 사용했다. 물리적인 오브젝트로부터 3D 모델을 생성하는 일반적인 문제의 해결에 대한 다양한 상업적으로 이용가능한 소프트웨어 및 접근법들이 존재한다. 이 소프트웨어의 예는 "Strata Foto 3D" 이고 이것은 "표준 디지털 카메라를 사용하여 현실 세계의 오브젝트들을 완전히 테스츄어링된 3D 모델들로서 캡쳐링할 수 있게 한다". www.strata.com/products/strata_3d_cx_suite/strata_foto_3d_cx/에서 이용가능한 제품 정보를 참조한다. 제품들 (패키징된 상품들) 의 범용 사진 모델링은 적은 수의 제품 모델을 생성하는데 잘 작동한다. 이 기법의 주된 제한은 다수의 사진들로부터 생성된 3D 모델들은 결함을 정정하고 온라인 3D 어플리케이션들에서의 사용을 위해 지오메트리 (geometry) 를 리스케일링 (rescaling) 하는데 상당한 수작업을 필요로 한다는 것이다.
기존 솔루션들의 제한은 컴퓨터 어플리케이션들에서의 사용을 위해 3D 모델을 프로세싱하는데 요구되는 (전문 3D 기술자의) 수작업의 양에 기초한다. 각 모델이 (복잡한, 범용 3D 모델링 어플리케이션에서) 사람 손에 의해 부분적으로 또는 완전히 생성되야 하기 때문에, 이 프로세스에 기초한 어떠한 모델링 워크플로우도 스케일가능하지 않다.
사진 모델링 시스템들에 기초한 3D 모델들과 관련하여 관찰되는 두번째 문제는 지오메트릭 메시 (geometric mesh) 의 불규칙성이다. 불규칙한 메시는 모델들의 다운스트림 리사이징/프로세싱을 보다 어렵게 만들고, 워크플로우를 모델 콘텐츠의 장래 수동 편집 및 수동 조정의 사이클에 고착시킨다.
종래 기술의 단점은 콘텐츠 제작 프로세스에서 모델들의 다운스트림 편집에 대한 신뢰성이다. 이는 A) 입력 데이터가 새로운 이미지로 연속적으로 업데이트되고, B) 출력 사양이 온라인 쇼퍼 체험 어플리케이션에서의 새로운 요구조건/개선들에 기인하여 바뀔 수 있기 때문에 문제가 된다.
수동 편집에 대한 신뢰성은 콘텐츠 제작을 연속된 수작업 편집의 사이클에 고착시킨다. 더 많은 변경들이 요구되는 경우, 구 출력 (old output) 은 버려지고 콘텐츠 생성의 전체 비용은 2차 (또는 3차 또는 N차) 로 부담되야 한다.
본 발명은 종래 기술의 전술한 문제점들을 다룬다. 특히, 본 발명은 온라인, 인터렉티브 3D 체험 어플리케이션들 (인터렉티브 3D 쇼핑 체험, 인터렉티브 3D 비디오게임 등과 같은) 의 시각화 요건들에 알맞은 패키지 상품들의 3D 모델들을 생성하기 위한 자동화된 프로세스를 제공한다.
표준화된 제품 사진들에 의해 캡쳐되는, 제품의 전면, 측면 및 평면도들로부터 제품의 정확한 3D 형상 (또는 오브젝트 윤곽) 을 캡쳐하도록 변형될 수 있는 (실린더 또는 박스 같은) 지오메트릭 프리미티브 (geometric primitive) 들로부터 대부분의 제품 패키징이 모델링될 수 있다는 것을 깨달음으로써 본 발명은 대상 문제점을 해결한다.
일 실시형태에서, 본 출원인은 2D 시각화 플레노그램밍 (visual planogramming) 의 산업을 지원하기 위해 존재하는, 고 해상도의 패키징된 상품 제품 이미지들의 대량 라이브러리의 존재를 활용한다. 플레노그램밍에서, 스토어 쉘프 레이아웃 (store shelf layout) 의 2D 표현이 스토어 쉘빙 "플레노그램" 에서 인코딩된 표준화된 쉘프 레이아웃 정보로부터 생성된다.
이는 시점 "켈리브레이팅된" (calibrating) 제품 사진들의 대량의 라이브러리가 존재함을 의미하며, 정확한 제품 크기 측정치들을 포함하는 데이터베이스에 링크된다. 본 실시형태에서, 본 발명 시스템은 상업적으로 이용가능한 이미지 라이브러리들 (또는 이미지 마스크 레이어로 유사하게 프로세싱된 오리지널 제품 2D 이미지들) 로부터 시작하여, 정확한 제품 형상 정보를 추출하고, 형상 정보와 형상 분류 데이터로부터 대응하는 3D 표현을 생성하고, 그 다음 평면 투영을 사용하여 그 3D 표현상에 다시 오리지널 사진을 맵핑한다. 이미지 마스크 레이어는 사진을 전경과 배경으로 분리한다. 전경은 제품 2D 이미지의 부분인 임의의 픽셀을 포함한다. 배경은 사진의 장면에서 배경 또는 주변 공간이 가시적인 경우에 제품 2D 이미지의 부분이 아닌 임의의 픽셀을 포함한다. 사진/2D 이미지들에서 배경으로부터 전경을 분리하는 기법들은 알려져 있고, 본 발명은 어떠한 구체적인 이미지 마스크 레이어 방법에도 의존하지 않는다.
본 발명의 실시형태들에서 일반적인 목적은 모델에 대한 다운스트림 편집없이 2D 이미지들 및 제품 메타 데이터로부터 3D 모델들을 생성하는 것이다. 본 접근법의 중요 혜택은 새롭거나 업데이트된 이미지 콘텐츠를 수용하거나 모델 출력물에 변경 (및 정정) 을 행하도록 모델 프로세싱을 실행 (및 재실행) 할 수 있는 능력이다.
본 발명의 모델 프로세싱의 1차적 이점들은: 자동화, 간단함, 육체 노동의 감소, 속도와 재현가능성 및 표준화된 3D 모델 출력을 포함한다. 2차적인 이점들은 모델 출력 파라미터들을 세팅하고 변경할 수 있는 능력을 포함한다. 이는 상이한 메시와 이미지 크기들 또는 타입들을 갖는 고 품질 3D 모델들이 용이하게 생성될 수 있음을 의미한다. 또한, 3D 데이터의 수동 조작 또는 모델링에 의하지 않고서, 사진들 및 제품 크기 측정치들을 갖는 데이터 베이스가 수용가능한, 고 해상도 3D 제품 (패키지 상품들) 모델들로 바뀌어질 수 있다.
본 발명을 구체화하는 3D 모델링의 컴퓨터 구현 방법은:
대상 소비 상품 제품의 제품 데이터에 액세스 (access) 하는 단계로서, 제품 데이터는 대상 소비 상품 제품의 2D 이미지 데이터와 대상 소비 상품 제품의 형상 정보를 포함하는, 대상 소비 상품 제품의 제품 데이터에 액세스하는 단계;
제품 데이터로부터 형상 정보를 추출하는 단계로서, 추출하는 단계는 소비 상품 제품의 2D 윤곽 형상 (즉, 이미지 마스크) 를 획득하고 대상 소비 상품 제품의 3D 형상 클래스 (예를 들면, 할당되거나 그렇지 않으면 제공됨) 를 얻는 단계를 포함하는, 제품 데이터로부터 형상 정보를 추출하는 단계;
획득된 2D 윤곽 형상과 3D 형상 클래스를 이용하여, 상세 3D 형상 그래프를 생성 (또는 도출) 하는 단계;
획득된 3D 형상 클래스의 함수로서 다음에 의해 대상 소비 상품 제품의 3D 메시를 생성하는 단계:
상세 3D 형상 그래프의 시리즈의 단면 영역들을 결정하는 단계로서, 각 단면 영역은 대상 소비 상품 제품의 종방향의 축에 대해 각각의 단면을 갖고, 정해진 단면 영역에 대한 단면은 (i) (있는 경우) 시리즈의 순서에서 바로 다음의 단면 영역의 각각의 단면 영역 및 (ii) (있는 경우) 시리즈의 순서에서 바로 전의 단면 영역의 각각의 단면 영역과 달라서, 단면들이 시리즈의 순서에서 하나의 단면 영역으로부터 다음 단면 영역으로 변경되도록 하는, 상세 3D 형상 그래프의 단면 영역들의 시리즈를 결정하는 단계; 및
단면 영역들의 시리즈를 사용하여, 대상 소비 상품 제품의 3D 메시를 정의하는 단계; 및
2D 이미지 데이터로부터 대상 소비 상품 제품의 생성된 3D 메시 이미지들 상에 투영하는 단계로서, 투영하는 단계는 대상 소비 상품 제품의 3D 모델을 형성하고, 형성된 3D 모델은 출력 상의 디스플레이를 위해 구성되는, 2D 이미지 데이터로부터 대상 소비 상품 제품의 생성된 3D 메시 이미지들 상에 투영하는 단계를 포함한다.
상세 3D 형상 그래프는 적어도 전면 및 배면의 시점들로부터 대상 소비 상품 제품의 정사영 수정 3D 오브젝트 윤곽/윤곽 형상을 나타낸다.
형상 정보는 대상 소비 상품 제품의 폭, 높이 및 깊이 측정치들을 포함하고 대상 소비 상품 제품의 3D 형상 타입 또는 클래스의 표시를 포함한다. 또한, 대상 소비 상품 제품은 다음을 포함하는 타입들 중 임의의 하나 또는 조합의 용기를 포함하는 패키징된 상품이다:
일반적으로 실린더형 병,
펌프 동작 타입 분배 단부를 갖는 일반적으로 실린더형 병,
일반적으로 튜브형 분배 튜브;
효과적으로 박스 형상의 카톤 (carton);
일반적으로 필로우 형상의 색 (sack), 백 (bag) 또는 파우치 (pouch) 및
평면 단부 (예를 들면, 세우기 위해 구성된 바닥 단부) 를 갖는 일반적으로 색형 용기 백 또는 파우치.
실시형태들에서, 대상 소비 상품 제품의 3D 메시를 정의하는 단계는 종방향의 축을 따라 대상 소비 상품 제품의 깊이 프로파일을 결정하는 단계를 더 포함한다. 깊이 프로파일을 결정하는데 사용된 기법들은 형상 생성을 포함할 수도 있다.
몇몇 실시형태들에서, 상세 3D 형상 그래프의 단면 영역들의 시리즈를 결정하는 단계는 커브 피팅하는 단계를 포함한다.
본 발명의 일 측면에 따르면, 투영하는 단계는 생성된 메시로의 대상 소비 상품 제품의 2D 이미지들의 평면 투영을 이용한다.
몇몇 실시형태들에서, 메시 생성은 상세 3D 형상 그래프, 단면 영역들의 결정된 시리즈 및 이용가능한 깊이 프로파일을 결합한다. 깊이 프로파일은 대상의 경우 또는 대상 소비 상품 제품의 3D 형상 클래스와 관련된 것의 깊이 프로파일일 수도 있다.
다른 실시형태에서, 3D 모델링을 위한 컴퓨터 장치는 전술한 방법 단계들을 수행한다. 예를 들면, 추출기는 데이터 스토어로부터 대상 소비 상품 제품의 제품 데이터에 액세스하고 형상 데이터 (예를 들면, 2D 이미지 마스크) 를 추출한다. 또한, 추출기는 대상 소비 상품 제품의 3D 형상 클래스를 획득하고 상세 3D 형상 그래프를 도출한다. 상세 3D 형상 그래프로부터, 메시 생성기는 결정된 3D 형상 클래스의 함수로서 대상 특정 메시를 생성한다. 이미지 맵퍼 (또는 모델러의 유사 동작) 은 2D 이미지들을 생성된 메시 상에 투영하고 대상 소비 상품 제품의 3D 모델을 형성한다.
전술한 사항들은 첨부 도면에 예시된 본 발명의 예시적인 실시 형태들에 대한 다음의 보다 구체적인 설명으로부터 분명해질 것이며, 첨부 도면에서 같은 참조 부호는 다른 도면들 전체에 걸쳐 동일한 부분들을 지칭한다. 도면들은 반드시 스케일 (scale) 대로일 필요는 없고, 대신에 본 발명의 실시형태들을 예시함에 있어 강조될 수 있다.
도 1a 내지 도 1c는 본 발명의 일 실시형태의 블록 및 개략도이다.
도 2는 일 실시형태에서 3D 형상 클래스의 개략도이다.
도 3a-3c는 일 실시형태에서 튜브 클래스, 색 클래스 및 파우치 클래스 각각에 대한 깊이 프로파일들이다.
도 4는 일 실시형태에서 펌프 핸들 클래스에서의 대상을 위한, 지원 3D 형상/오브젝트 아웃라인 파일을 갖는 상세 3D 형상 그래프이다.
도 5 및 6은 단면 영역들의 시리즈가 결정 및 이용되는 일 실시형태에서의 메시 생성의 개략도들이다.
도 7a 내지 도 7c는 대상 (와인 글래스) 의 초기 이미지로부터, 대상의 메시 텍스처 파일로의, 대상 메시 상에 투영된 초기 이미지를 갖는 3D 모델로의 본 발명의 모델링 기법의 개략 예시도이다.
도 8a 및 도 8b는 각각 본 발명을 구체화하는 컴퓨터 시스템의 개략도 및 블록도이다.
본 발명의 예시적인 실시형태들에 대한 설명이 이어진다.
쇼핑/스토어 체험 어플리케이션을 위한, 중요 고려사항은 50,000 내지 80,000 제품 모델들 정도의-전체 글로세리 스토어의 크기로 스케일가능한 패키지 상품 모델 생성 프로세스를 구축할 필요가 있다는 것이다. 이는 이들 시각화 요구사항들에 대해 수용가능한, 모델링의 수준이 이루어져 2D 이미지들을 사용하여 3D 메시를 생성하며 3D 메시 상으로 2D 이미지들이 재투영되어, 각 이용가능한 제품 이미지에 대한 커스텀 고 해상도 3D 모델을 생성한다는 본 출원인의 통찰력에 이르게 된다.
도 1a 및 도 1b는 이 접근법을 예시하고 본 발명을 구체화하는 컴퓨터 시스템 (100) 의 개관을 나타낸다. 컴퓨터 시스템 (100) 은 데이터 스토어 (11) 및 3D 모델러 (13) 를 포함하고 3D 모델러 (13) 는 아래에서 더 상세하게 설명되는 하나 이상의 프로세싱 모듈 (21, 31, 41) 로 형성된다. 데이터 스토어 (11) 는 다양한 패키지 상품 (예를 들면, 리테일 제품들) 의 제품 데이터를 보유한다. 각 제품 (특정 패키지) 에 대하여, 제품 데이터는 (i) 대상 제품의 전면, 배면, 윗면 및/또는 측면들의 2D 이미지들, (ii) 패키징된 제품의 높이, 폭 및 깊이의 크기 측정치들 및 (iii) 제품에 대한 3D 형상 타입 또는 클래스의 표시를 포함한다.
일 실시형태에서, 2D 이미지들은 기존 이미지 라이브러리들 또는 유사하게 프로세싱된 오리지널 제품 이미지들로부터의 제품 사진들이다. 전형적으로, 이미지 라이브러리 파일들의 알파 (Alpha) 레이어 또는 채널은 각각의 제품/패키지의 2D 이미지 마스크 또는 2D 형상 맵 (미가공 2D 형상 데이터) 을 제공한다. 이 알파 레이어/이미지 마스크 레이어는 사진을 전경과 배경으로 나눈다. 전경은 제품 2D 이미지의 부분인 임의의 픽셀을 포함하고 사진의 장면에서 배경 또는 주변 공간이 가시적인 경우에 배경은 나머지 픽셀들 (제품 2D 이미지의 부분이 아닌 임의의 픽셀) 이다. 사진/2D 이미지들에서 배경으로부터 전경을 분리하기 위한 기법들이 공지되고, 본 발명의 실시형태들은 임의의 구체적인 방법에 의해 형성된 이미지 마스크들에 의존하지 않는다.
도 1을 참조하면, 데이터 스토어 (11) 는 라이브러리 파일들에 대한 파일 경로 이름, 포인터/링크 등을 이용하여 제품 테이블 (10) 에서의 이용가능한 제품 이미지들을 참조한다. 제품 테이블 (10) 는 또한 각 제품에 대한, 속성 이를테면 제품 치수 (크기 측정치들), 3D 형상 클래스 표시 및 다른 제품 메타데이터 이를 테면 개별 패키지/제품 관련된, 명칭 (Name) 및 UPC (Universal Product Code) 를 저장한다. 표 1은 데이터 스토어 (11) 의 그러한 제품 테이블 (10) 를 예시한다.
Figure pat00001
표 1 : 예시적인 제품 테이블
모델러 (13) 에서, 각 3D 형상 클래스 또는 타입 (15) 을 위한, 각각의 3D 템플레이트 (17) 및 대응하는 룰 (19) 들이 존재한다. 3D 템플레이트 (17) 은 대응하는 클래스 형상의 일반 3D 메시를 생성하기 위한 것이다. 특히, 템플레이트 (17) 는 클래스를 대표하는 오브젝트 형상을 위한 3차원의 비례적인 지오메트리들을 제공한다. 대응하는 룰 (19) 들은 템플레이트 메시에 적용될 때 2D 제품 이미지들 및 크기 측정 데이터로부터 제품-특정 3D 모델을 구성한다. 룰 (19) 들은 대응하는 형상 클래스를 위한 깊이 프로파일 룰들을 포함한다.
일 실시형태에서 지원되는 3D 형태 클래스 (15) 들의 예는 도 2에 예시되어 있다. 이 비-제한적 예에서 3D 형상 클래스들은:
비대칭 (asymmetric),
둥근 클로져를 갖는 비대칭 (asymmetric with a round closure),
백 (bag),
배터리 박스 (battery box),
박스 (box),
평탄한 깊이 (flat depth),
다른 또는 여러가지 (other or miscellaneous),
타원 (oval),
둥근 클로져를 갖는 타원 (oval with round closure),
파우치 (pouch),
펌프 핸들 (pump handle),
라운드 (round),
색 (sack),
색 필로우 형상 (sack pillow shaped), 및
튜브 (tube) 이다.
다른 3D-형상 클래스들도 적합하다.
본 발명의 콘텐츠 생성의 중요한 부분은 일반 형상 타입 (예를 들면, 형상 클래스 (15) 들 중 하나) 의 실례로서 매 제품 패키지를 처리하는 것이다. 데이터 스토어 (11) 의 제품 테이블 (10) 에서의 제품 마다 3D 형상 클래스를 표시하는 것은 제품의 2D 제품 이미지와 크기 측정치 데이터로부터 각각의 3D 모델을 구성하도록 시스템 (100) 으로 하여금 3D 템플레이트 (17) 와 특정 룰 (19) 들을 결정하는 것을 가능하게 한다. 이 형상 클래스 시스템은 확장가능하게 설계되어, 새로운 종류의 패키지가 발견될 때 새로운 템플레이트 (17) 와 구성 룰 (19) 이 그 타입을 구현하도록 생성될 수 있다.
데이터 스토어 (11) / 제품 테이블 (10) 에서의 각 제품에 대해, 모델러 (13) 는 도 1b에 요약되고 또한 도 1c에 상세히 나타낸 3D 모델 생성 프로세스 (103) 을 작동 (실행) 시킨다. 도 1b를 참조하면, 모델러 (13) 은 대상 제품의 (제품 테이블 (10) 에 있는) 제품 데이터에 액세스한다. 상세하게, 모델러 (13) 의 데이터 추출기 (모듈) (21) 은 제품 2D 이미지 파일로부터 미가공 형상 맵 데이터 (즉, 2D 이미지 마스크 데이터)를 획득하고 제품 테이블 (10) 으로부터 대상 제품의 크기 측정치들 및 3D 형상 클래스를 획득한다. 추출된 형상 정보로부터, 데이터 추출기 (21) 는 상세 3D 형상 그래프 (23) 을 형성한다. 상세 3D 형상 그래프 (23) 는 효과적으로 3D 형상 맵이 되고 적어도 전면 및 배면 시점으로부터, 특정 대상 제품의 정사영 정정 윤곽 형상을 나타낸다. 모델러 (13) 의 다음 프로세싱 모듈 (31, 41) 들은 상세 3D 형상 그래프 (23) 에 기초하고 대상 제품에 대해 표시된 형상 클래스에 대응하는 3D 템플레이트 (17) 및 룰 (19) 들에 기초하여 3D 메시를 생성한다. 마지막으로, 모델러 (13) 는 오리지널 제품 이미지들을 생성된 메시 상에 맵핑하여 대상 제품의 3D 모델 (25) 이 얻어진다.
이제 3D 모델 생성 프로세스 (103) (모델러 (13)) 가 도 1c에 도시된 일 실시형태를 참조하여 보다 상세하게 논의된다.
예를 들면, UPC 번호에 의해 참조되는, 각 특정 제품을 위하여, 모델러 (13) 는 3D 모델 생성 프로세스 (103) 를 다음과 같이 실행한다. 예를 들면 데이터 추출기 (21) 에 의해 구현되는, 단계 (112) 는 제품 테이블 (10) / 데이터 스토어 (11) 로부터 대상 제품 (UPC 번호에 의해 색인됨) 을 위한 크기 측정치들 및 형상 클래스를 검색한다. 다음 단계 (112)/ 추출기 (21) 는 제품 테이블 (10) 에서의 이미지 참조 (image reference) 로부터 대상 제품의 전면 이미지 파일을 검색하고 이미지 알파 레이어를 연다. 그 데이터 레이어로부터, 단계 (112) 는 이미지 픽셀 좌표 (즉, 2D 이미지 마스크) 로 표현된 미가공 제품 2D 형상 데이터를 내보낸다.
단계 (112) 는 내보낸 미가공 제품 2D 형상 정보를 이용하여 제품 이미지 마스크 파일을 형성한다. 제품 이미지 마스크 파일 콘텐츠는 제품 테이블 (10) 에서 참조되는 제품 사진(들)/이미지들로부터 픽셀 레벨에서 추출된 제품 패키지의 2D 윤곽 형상 (2D 이미지 마스크) 를 기술하는 수치 데이터이다. 마스크들은 폭 (X 좌표) 및 높이 (Y 좌표) 치수 양쪽 모두에 대해 계산된다. 또한 단계 (112) 는 컷아웃 영역들을 위한 추가의 폭 마스크를 계산하여 제품 2D 윤곽 경계 내부에 발생되는 홀들 또는 다른 특별한 특징 (feature) 들의 위치를 결정한다. 표 2는 이 마스크 데이터를 예시한다.
Figure pat00002
표 2 : 제품 이미지 마스크 파일
마지막으로, 단계 (112) 는 제품 이미지의 에지들을 확장 및 흐릿 (blur) 하게 한다. 이는 이미지상의 에지들을 매끄럽게 하고 효과적으로 여분의 백색 공간을 크롭 (crop) 한다.
단계 (114) 는 단계 (112) 로부터 제품 이미지 마스크 파일을 입력된 대로 수신한다. 제품의 형상 클래스의 함수로서, 단계 (114) 는 대응하는 클래스 템플레이트 (17) (클래스에 일반적인 지오메트리 데이터) 를 참조하고 소수의 라인 세그먼트들을 갖는 형상 맵 (윤곽) 커브를 모델링한다. 단계 (114) 는 제품 윤곽 커브를 제품 이미지 마스크 파일로부터 최상의 피트 라인 세그먼트들 (픽셀 단위)로 변환한다. 단계 (114) 는 반복적인 프로세스를 사용하여 피트 (fit) 를 최적화하고 라인 세그먼트들의 수를 표적 목표로 감소시킨다.
다음으로, 단계 (114) 는 제품의 형상 클래스 (15) 및 그 형상 클래스에 대응하는 깊이 프로파일 룰 (19) 들을 이용하여 깊이 추정치를 생성한다. 다수의 제품들에 대해, 사진들은 오직 전면 및 배면 제품 도들에 대해서만 이용가능하다. 이것은 제품 깊이/형상에 관한 정보가 빠진다는 것을 의미한다. 단계 (114) 는 형상 클래스 (15) 에 의해 결정되고 그 다음, 빠진 깊이 형상 정보를 정의하는, 깊이 프로파일을 사용하여 이 빠진 정보를 채운다. 튜브 형상 클래스를 위한 깊이 프로파일이 도 3a 및 표 3에 나타나 있다. 일 실시형태에서 색 (SACK) 및 파우치 (POUCH) 형상 클래스들을 위한 샘플 깊이 프로파일들은 도 3b 및 도 3c에 각각 도시되어 있다.
Figure pat00003
표 3: 튜브 클래스 깊이 프로파일
결과적으로, 단계 (114) 는 미터 단위로 스케일링되는 제품의 3D 오브젝트 윤곽을 제공하는 제품 특정 3D 형상 프로파일을 출력한다. 높이는 y-축을 따라 윤곽이 그려진다. 폭 최소치와 최대치가 x-축을 따라 정해진다. 그리고 깊이는 z-축을 따라 윤곽이 그려진다. 예를 들면, 3D 형상 파일은 미터 단위들로 표현된 제품의 전면 및 측면 도들을 위한 3D 메시의 투영된 지오메트릭 윤곽을 명시한다. 일 실시형태에서, 예를 들면, 3D 형상 파일은 제품의 좌측면, 제품의 우측면 및 제품의 깊이 (제품 깊이는 대칭인 것으로 가정함) 의 기하학적으로 정확한 메시 모델들을 제공하는 3개의 라인 세그먼트 그래프들 (벡터들) 을 포함한다. 표 4는 PUMP_HANDLE 형상 클래스에서 제품에 대해 생성된 3D 형상 파일로부터의 샘플 데이터 기록들을 나타낸다. 도 4는 Y-축에 대해 플롯팅된 Xmax, Xmin, 및 X-Midpoint 좌표들을 갖는 대응하는 그래프를 도시한다.
Figure pat00004
표 4 : PUMP-HANDLE 클래스에서 제품을 위한 샘플 3D 형상 파일
다시 언급하면, 3D 형상 파일은 효과적으로 상세 3D 형상 그래프 (23) 를 제공한다. 상세 3D 형상 그래프 (23) 는 적어도 전면 및 배면 시점으로부터 대상 제품의 정사영 정정 윤곽 형상을 나타낸다. 따라서, 상세 3D 형상 그래프 (23) (3D 형상 파일)은 특정 패키징된 제품의 3D 오브젝트 윤곽 정보를 제공한다.
도 1c를 계속 참조하면, 모델러 프로세스 (103) 의 단계 (116) 은 단계 (114) 에 의해 출력된 3D 형상 파일 (상세 3D 형상 그래프) (23) 를 판독한다. 대상 제품의 형상 클래스에 기초하여, 단계 (116) 은 대응하는 형상 클래스 템플레이트 (17) 치수를 결정하고 실린더 템플레이트 파일을 생성한다. 일 실시형태에서, 박스 (BOX) 배터리 (BATTERY) 및 백 (BAG) 클래스 들은 6-측면 실린더로부터 모델링되는 한편, 다른 클래스 타입들은 예를 들면 세그먼트 크기 (16) 을 갖는 기본 실린더를 사용한다. 실시형태들에서, GENERATE 3D SHAPE 함수는 형상 꼭지점들을 표준화된 지오메트릭 프리미티브 (템플레이트 (17) 에 의해 생성된 실린더) 상에 맵핑함으로써 제품 모델을 구축한다. 예를 들면, 병 형상 오브젝트들은 모두 변형된 실린더로 보여질 수 있고 모두 단일 실린더 템플레이트 파일로부터 생성될 수 있으며 단일 실린더 템플레이트 파일은 특정 제품에 대한 3D 형상 파일/상세 3D 형상 그래프 (23) 에서 명시되는 수직 및 반지름 방향의 세그먼트들의 수에 기초하여 표준화된 메시를 갖는다. 예를 들면, 오브젝트 형상 높이는 반지름 방향의 세그먼트에 의해 명시된다. 도 5는 일 실시형태에서 사용되는 그러한 실린더 템플레이트 메시를 예시한다. 템플레이트 메시는 각각의 형상 클래스에 일반적이다. 튜브 (TUBE) 형상 클래스에 대한 템플레이트 메시가 도 6에 예시되어 있다. 단면들은 도 5에 있는 실린더에 대한 원형 단면 대신에 타원형에 대한 수학 식에 기초한다. 3D 템플레이트 (17) 로부터 이들 표준 메시들을 생성하기 위한 알려진 기술들이 활용된다.
메시 템플레이트 (17) 로부터 제품 모델들을 구축하는 전략은 본 출원인의 콘텐츠 생성 프로세스의 중요한 특징이다. 템플레이트 (17) 로부터의 3D 모델의 생성은 매우 균일한 세트의 제품 모델들을 낳고 본 발명의 프로세스의 스케일가능성에 대단히 중요하여 수십만의 3D 제품 모델들이 단순 뷰-기반 사진들 (2D 이미지들) 로부터 신뢰적으로 생성될 수 있게 한다.
표준 메시 지오메트리의 명시에 더하여, 템플레이트 (17) 는 또한 메시 면들을 소재 그룹들로 조직하고 소재 그룹들 상에 제품 2D 사진들로부터 생성된 텍스처가 맵핑된다.
마지막으로, 템플레이트 메시 파일 (17) 들의 사용은 표적/평균 출력 모델 지오메트리 크기의 정확한 제어를 가능하게 한다. 보다 낮거나 보다 높은 해상도 메시 모델들 사이의 절충 (tradeoff) 이 용이하게 조정될 수 있다. 예를 들면 확대 뷰 (close up view) 를 위한 매우 높은 폴리곤 카운트 메시 (확대 모델) 가 만들어질 수 있고, 온 쉘프 배치 (on shelf placement) 를 위한 매우 낮은 폴리곤 카운트 메시 (쉘프 뷰 모델) 가 만들어질 수 있다.
다음으로, 단계 (116) 은, 형상 클래스 룰 (19) 에 기초하여, 3D 형상 파일 (상세 3D 형상 그래프 (23)) 로부터 단면들 (X-Z 평면 맵) 을 생성한다. 바람직하게는, 단면 프로세싱 모듈 (31) 이 본 단계를 구현한다. 단면 프로세싱 모듈 (31) 은 상세 3D 형상 그래프 (23) 의 단면 영역들의 시리즈를 결정한다. 각 단면 영역은 대상 제품의 종방향의 축에 대해 각각의 단면을 갖는다. 정해진 단면 영역에 대한 단면은 (i) 시리즈 순서에서 바로 다음의 단면 영역의 각각의 단면 및 (ii) 시리즈 순서에서 바로 전의 단면 영역의 각각의 단면과 달라서, 단면들이 시리즈 순서에서 하나의 단면 영역으로부터 다음 단면 영역으로 변화하도록 한다.
다음으로, 단계 (116) 은 템플레이트 (17) 에 의해 생성된 실린더 메시와 단면 영역들의 시리즈 ( 프로세싱 모듈 (31) 에 의해 생성됨) 를 결합한다. 특히, 메시 생성기 (41) 는 템플레이트 (17) 에 의해 생성된 실린더 메시를 워크 스루 (walk through) 하고 프로세싱 모듈 (31) 로부터의 출력된 생성 단면 데이터로부터 제품 특정 3D 모델을 구축한다.
예에서, 메시 생성기 (41) 는 3D 형상 파일/상세 3D 형상 그래프 (23) 에 저장된 제품 특정 치수들에 기초하여 템플레이트 (17) 에 의해 생성된 실린더 메시를 변형한다. 패키지 형상을 2 치수의 슬라이스들의 세트로 처리하여, 메시 생성기 (41) 는 형상 파일/상세 3D 형상 그래프 (23) 데이터를 통해 x-Midpoint, x-Min, x-Max 및 z-Depth 필드 데이터의 사용을 반복함으로써 제품 형상 클래스에 기초한 단면을 구성한다.
배터리 (BATTERY) 형상 클래스를 위해, 2개의 컴포넌트들이 단계 (114, 116) 에서 생성 및 프로세싱된다. 위에서 설명한 것에 이어지는 카드보드 삽입 프로세싱에 더하여, 단계 (114) 는 클램셀 익스트루전 형상 파일 (23) 을 생성한다. 클램쉘 익스트루전 (clamshell extrusion) 은 블리스터 팩 콘텐츠의 형상에 기초한 베벨 스퀘어 (beveled square) 이다. 익스트루전 형상 파일 (23) 이 존재하면, 단계 (116) 프로세싱은 이 단계의 출력에 제품 특정 지오메트리를 갖는 클램쉘 메시를 추가한다. 표 5는 클램쉘 익스트루전을 수용하기 위한 컷아웃을 갖는 카드보드 인서트를 위한 2D 이미지 마스크 테이터의 예를 제공한다.
Figure pat00005
표 5: 배터리 팩 제품의 카드보드 삽입 컴포넌트를 위한 이미지 마스크 파일.
단계 (118) 는 단계 (116) 에 의해 출력된 모델 꼭지점들로부터 전면 및 배면 이미지들을 위한 평면 이미지 맵들을 계산한다. 즉, 단계 (118) 는 오리지널 제품 이미지들을 생성된 3D 메쉬 상에 평면 텍스처들로서 적용한다. 메시 치수들은 각 제품의 전면의 사진에 기초하기 때문에, 전면 사진은 1 픽셀의 정확도로 기저 메시와 정렬될 수 있다. 몇몇 실시형태에서, 단계 (118) 는 제품의 형상 클래스 (15) 에 기초하여 텍스처 스트레칭과 텍스처 조정 룰들을 적용한다. 평면 맵핑 및 텍스처 스트레칭을 위해 공통 기술들을 사용한다. 단계 (118) 는 결과로서 얻어지는 3D 모델 (25) 을 출력한다. 몇몇 실시형태들에서, 출력 모델 (25) 은 지오메트리와 텍스처 맵을 함유하는 3D 모델 파일이다.
도 7a-7c는 본 발명의 기술을 추가로 예시하는 샘플 모델이다. 제 1 이미지 (도 7a) 는 와인 글래스의 초기 3D 모델이다. 제 2 이미지 (도 7b)는 텍스처 파일로서 오리지널 모델 메시의 정사영 디스플레이로부터 생성된다. 제 3 이미지 (도 7c)는 도 7a의 3D 모델로서 평면 맵핑이 모델 표면 상에 도 7b의 메시 텍스처 파일을 디스플레이한다.
본 기술은 다양한 형상 타입들/클래스들 (15) 을 위한 소비 상품 패키징의 3D 모델들을 성공적으로 대량 생산할 수 있다. 평면 맵핑의 결과 패키지 모델의 측면들상에서 일부 픽셀이 스트레칭 되지만, 그 스트레칭은 보다 높은 해상도 제품 사진들을 가지고 작업함으로써 최소화될 수 있다. 그리고 이들 모델들이 스토어 쉘프 콘텍스트 (store shelf context) 에 표현될 때, 시야각들이 제한되는 경우, 이 기술에 기초한 제품 모델들은 매우 현실적으로 보이게 된다.
출력 3D 모델 파일 (25) 은 리테일 스토어/온라인 쇼핑, 비디오 게이밍 및 다른 유저-인터렉티브 어플리케이션들의 제공 웹 페이지들에서의 사용을 위해 구성된다. 보통의 웹 페이지 제공 기술이 사용된다.
도 8a는 본 발명이 구현될 수도 있는 컴퓨터 네트워크 또는 비슷한 디지털 프로세싱 환경을 예시한다.
클라이언트 컴퓨터(들)/디바이스들 (50) 및 서버 컴퓨터(들) (60) 은 어플리케이션 프로그램 등을 실행하는 프로세싱, 저장, 및 입력/출력 디바이스들을 제공한다. 클라이언트 컴퓨터(들)/디바이스들 (50) 은 또한 통신 네트워크 (70) 를 통해, 다른 클라이언트 디바이스들/프로세서들 (50) 및 서버 컴퓨터 (들) (60) 을 포함하는 다른 컴퓨팅 디바이스들에 링크될 수 있다. 통신 네트워크 (70) 는 원격 액세스 네트워크, 글로벌 네트워크 (예를 들면, 인터넷), 컴퓨터들의 월드와이드 콜렉션 (collection), 로컬 영역 또는 와이드 영역 네트워크, 및 현재 각각의 프로토콜들 (TCP/IP, 블루투스 등) 을 사용하여 서로 통신하는 게이트웨이들의 일부일 수 있다. 다른 전자 디바이스/컴퓨터 네트워크 아키텍처들도 적합하다.
도 8b는 도 8a의 컴퓨터 시스템에서의 컴퓨터 (예를 들면, 클라이언트 프로세서/디바이스 (50) 또는 서버 컴퓨터 (60)) 의 내부 구조의 도면이다. 각 컴퓨터 (50, 60) 은 시스템 버스 (79) 를 포함하고, 여기서 버스는 컴퓨터 또는 프로세싱 시스템의 컴포넌트들 사이에 데이터 전송을 위해 사용되는 하드웨어 라인들의 세트이다. 버스 (79) 는 본질적으로 컴퓨터 시스템 (예를 들면, 프로세서, 디스크 저장장치, 메모리, 입력/출력 포트, 네트워크 포트 등) 의 다른 엘리먼트들을 연결하는 공유 도선이며 이는 엘리먼트들 사이의 정보의 전송을 가능하게 한다. 다양한 입력 및 출력 디바이스들 (예를 들면, 키보드, 마우스, 디스플레이, 프린터, 스피커 등) 을 컴퓨터 (50, 60) 에 연결하기 위한 I/O 디바이스 인터페이스 (82) 가 시스템 버스 (79) 에 부착된다. 네트워크 인터페이스 (86) 는 컴퓨터로 하여금 네트워크 (예를 들면, 도 8a의 네트워크 (예를 들면 도 8a의 네트워크 (70)) 에 부착된 다양한 다른 디바이스들에 연결될 수 있게 한다.
메모리 (90) 는 (위에서 설명된 데이터 추출기 (21), 단면 프로세싱 모듈 (31), 메시 생성기 (41), 3D 모델러 (13) 및 지원 코드 등) 본 발명의 실시형태를 구현하는데 사용되는 컴퓨터 소프트웨어 명령들 (92) 및 데이터 (94) 를 위한 휘발성 저장을 제공한다. 디스크 저장 (95) 은 본 발명의 실시형태를 구현하는데 사용되는 컴퓨터 소프트웨어 명령들 (92) 및 데이터 (94) 를 위한 비휘발성 저장을 제공한다. 중앙 프로세서 유닛 (84) 은 또한 시스템 버스 (79) 에 부착되고 컴퓨터 명령들의 실행을 제공한다.
일 실시형태에서, 프로세서 루틴 (92) 및 데이터 (94) 는 컴퓨터 프로그램 제품 (일반적으로 92로 참조됨) 으로서, 컴퓨터 판독가능 매체 (예를 들면, 하나 이상의 DVD-ROM, CD-ROM, 디스켓, 테잎 등의 분리성 저장 매체) 를 포함하며, 이는 본 발명의 시스템을 위한 소프트웨어 명령들의 적어도 일부를 제공한다. 컴퓨터 프로그램 제품 (92) 는 당해 기술분야에서 잘 알려진 임의의 적합한 소프트웨어 설치 절차에 의해 설치될 수 있다. 또 하나의 실시형태에서, 소프트웨어 명령들의 적어도 일부가 또한 케이블, 통신 및/또는 무선 접속을 통해 다운로드될 수도 있다. 다른 실시형태들에서, 본 발명의 프로그램들은 전파 매체 상에서 전파되는 신호 (예를 들면, 인터넷 등의 글로벌 네트, 또는 다른 네트워크(들) 을 통해 전파되는 라디오 파, 적외선 파, 레이저 파, 음파 전기 파) 에 대해 구체화되는 컴퓨터 프로그램 전파 신호 제품 (107) 이다. 그러한 캐리어 매체 또는 신호들은 본 발명의 루틴/프로그램 (92) 을 위한 소프트웨어 명령들의 적어도 일부를 제공한다.
다른 실시형태들에서, 전파된 신호는 전파되는 매체 상에서 운반되는 아날로그 캐리어 파 또는 디지털 신호이다. 예를 들면, 전파된 신호는 글로벌 네트워크 (예를 들면, 인터넷), 통신 네트워크 또는 다른 네트워크를 통해 전파되는 디지털화된 신호일 수도 있다. 일 실시형태에서, 전파된 신호는 소정 기간에 걸쳐 전파 매체를 통해 송신되는 신호, 이를 테면, 밀리초, 초, 분 또는 보다 긴 시간에 걸쳐 네트워크를 통해 패킷들로 전송되는 소프트웨어 어플리케이션을 위한 명령들이다. 또 하나의 실시형태에서, 컴퓨터 프로그램 제품 (92) 의 컴퓨터 판독가능 매체는, 예를 들면 컴퓨터 프로그램 전파 신호 제품에 대해 위에서 설명된 바처럼 전파 매체를 수신하고 전파 매체에 구체화된 전파 신호를 식별함으로써 컴퓨터 시스템 (50) 이 수신하고 판독할 수도 있는 전파 매체이다.
일반적으로 말해서, 용어 "캐리어 매체" (carrier medium) 또는 임시 캐리어 (transient carrier) 는 전술한 임시 신호들, 전파 신호, 전파 매체, 저장 매체 등을 포함한다.
위의 논의에 따르면, 패키징된 상품들의 3D 모델 (25) 을 생성하는 것에 대한 본 출원인의 접근법의 3가지 구별되는 특징들이 존재한다. 첫째, 본 발명은 고 해상도 3D 패키지 모델들의 대량 생산을 가능하게 한다. "대량 생산" (mass production) 는 스토어-와이드 베이시스 (store-wide basis) 상에 패키징된 상품들의 전체 쉘프 또는 카테고리를 생성할 수 있는 능력을 의미한다. 전형적인 글로세리 스토어에서 고유 아이템들의 수의 추정치는 50,000 정도이다. "고 해상도" (high resolution) 은 제품 라벨 (label) 들이 판독가능한 것을 의미한다. 본 발명의 3D 모델 (25) 들은 전형적으로 200 과 300 dpi 사이의 오리지널 사진 해상도들에 기초한다. 여기서 DPI는 실제 제품 치수들에 관하여, 인치 당 이미지 픽셀들로서 정의된다.
둘째, 본 발명은 제품 형상 타입들의 구성에서 규칙적, 템플레이트 기초 메시 원형들의 사용을 이용한다. 본 발명의 프로세서를 사용하여 구성되는 3D 모델 (25) 들은 정확하지만 간단한 지오메트리를 갖는다. 이는 본 출원인 접근법을 복잡하고 불규칙적인 메시들을 생성하는 다른 사진 모델링 어플리케이션들과 구별되게 한다.
셋째, 본 발명은 평면 투영 및 텍스처 스트레칭을 사용한다. 전면 및 배면 이미지들로부터 1차적으로 모델들을 구성하는 기술은 제품 모델들의 면밀한 시각적 검사에 의해 식별될 수 있다. 특히, 평면 투영는 제품 전면과 배면 측들 사이의 가시적 이음매 (visible seam) 를 생성한다. 본 발명의 실시형태들은 텍스처 스트레칭을 적용함으로써 이 이음매의 가시성을 최소화한다.
본 명세서에서 인용된 모든 특허, 공개 출원 및 참조문헌들의 교시는 참조로써 전체적으로 포함된다.
본 발명은 특히 본 발명의 예시적인 실시형태들을 참조하여 나타내고 설명되었지만, 첨부된 청구항들에 의해 망라되는 본 발명의 범위를 이탈함이 없이 본 발명에서 형태 및 상세들의 다양한 변경이 이루어질 수 있음은 당업자에 의해 이해될 것이다.

Claims (22)

  1. 대상 소비 상품 제품의 제품 데이터에 액세스하는 단계로서, 상기 제품 데이터는 상기 대상 소비 상품 제품의 2D 이미지 데이터 및 상기 대상 소비 상품 제품의 형상 정보를 포함하는, 상기 액세스하는 단계;
    상기 제품 데이터로부터 상기 형상 정보를 추출하는 단계로서, 상기 추출하는 단계는 상기 대상 소비 상품 제품의 2D 윤곽 형상 및 상기 대상 소비 상품 제품의 3D 형상 클래스를 획득하는 단계를 포함하는, 상기 추출하는 단계;
    상기 획득된 2D 윤곽 형상 및 3D 형상 클래스를 사용하여, 상세 3D 형상 그래프를 생성하는 단계로서, 상기 상세 3D 형상 그래프는 적어도 전면 및 배면 시점들로부터 상기 대상의 정사영 정정 윤곽 형상을 나타내는, 상기 생성하는 단계;
    상기 획득된 3D 형상 클래스의 함수로서, 상기 상세 3D 형상 그래프로부터 상기 대상 소비 상품 제품의 3D 메시를 생성하는 단계; 및
    상기 2D 이미지 데이터로부터 상기 대상 소비 상품 제품의 상기 3D 메시 이미지들 상에 투영하는 단계로서, 상기 투영하는 단계는 상기 대상 소비 상품 제품의 3D 모델을 형성하고, 상기 형성된 3D 모델은 출력 상의 디스플레이를 위해 구성되는, 상기 투영하는 단계를 포함하는, 3D 모델링의 컴퓨터 구현 방법.
  2. 제 1 항에 있어서,
    상기 형상 정보는 상기 대상 소비 상품 제품의 폭, 높이 및 깊이 측정치들을 포함하고 상기 대상 소비 상품 제품의 3D 형상 클래스의 표시를 포함하는, 3D 모델링의 컴퓨터 구현 방법.
  3. 제 1 항에 있어서,
    상기 대상 소비 상품 제품의 3D 메시를 생성하는 단계는,
    상기 상세 3D 형상 그래프의 단면 영역들의 시리즈를 결정하는 단계로서, 각 단면 영역은 상기 대상 소비 상품 제품의 종방향 축에 관하여 각각의 단면을 갖고, 정해진 단면 영역을 위한 단면은 (i) 시리즈 순서에서 바로 다음의 단면 영역의 각각의 단면, 및 (ii) 시리즈 순서에서 바로 전의 단면 영역의 각각의 단면과 달라서, 단면들이 시리즈 순서에서 하나의 단면 영역으로부터 다음 단면 영역으로 변화하도록 하는, 상기 결정하는 단계; 및
    상기 단면 영역들의 시리즈를 사용하여, 상기 대상 소비 상품 제품의 3D 메시를 정의하는 단계를 포함하는, 3D 모델링의 컴퓨터 구현 방법.
  4. 제 3 항에 있어서,
    상기 대상 소비 상품 제품의 3D 메시를 정의하는 단계는,
    상기 종방향 축을 따라 상기 대상 소비 상품 제품의 깊이 프로파일을 결정하는 단계를 더 포함하는, 3D 모델링의 컴퓨터 구현 방법.
  5. 제 4 항에 있어서,
    상기 깊이 프로파일을 결정하는 단계는 형상 생성을 이용하는, 3D 모델링의 컴퓨터 구현 방법.
  6. 제 3 항에 있어서,
    상기 상세 3D 형상 그래프의 단면 영역들의 시리즈를 결정하는 단계는 커브 피팅 (curve fitting) 을 포함하는, 3D 모델링의 컴퓨터 구현 방법.
  7. 제 3 항에 있어서,
    상기 메시를 생성하는 단계는 상기 상세 3D 형상 그래프, 상기 단면 영역들의 결정된 시리즈 및 상기 대상 소비 상품 제품의 결정된 3D 형상 클래스를 위한 깊이 프로파일을 결합하는 단계를 포함하는, 3D 모델링의 컴퓨터 구현 방법.
  8. 제 3 항에 있어서,
    상기 메시를 생성하는 단계는 상기 상세 3D 형상 그래프, 상기 단면 영역들의 결정된 시리즈 및 상기 대상 소비 상품 제품의 깊이 프로파일을 결합하는 단계를 포함하는, 3D 모델링의 컴퓨터 구현 방법.
  9. 제 1 항에 있어서,
    상기 투영하는 단계는,
    평면 투영을 이용하여 상기 대상 소비 상품 제품의 2D 이미지들을 상기 생성된 메시 상에 투영하고, 결과로서 상기 대상 소비 상품 제품의 3D 모델을 형성하는, 3D 모델링의 컴퓨터 구현 방법.
  10. 제 1 항에 있어서,
    상기 대상 소비 상품 제품은 패키징된 상품인, 3D 모델링의 컴퓨터 구현 방법.
  11. 제 10 항에 있어서,
    상기 패키징된 상품은,
    일반적으로 실린더형 병,
    펌프 동작 타입 분배 단부를 갖는 일반적으로 실린더형 병,
    일반적으로 튜브형 분배 튜브,
    실질적으로 박스 형상의 카톤 (carton),
    일반적으로 필로우 형상의 색 또는 파우치, 및
    평면 단부를 갖는 일반적으로 색형 용기 또는 파우치를 포함하는 타입들 중 임의의 하나 또는 조합의 용기를 갖는, 3D 모델링의 컴퓨터 구현 방법.
  12. 컴퓨터-기반 3D 모델링 장치로서,
    대상 소비 상품 제품의 제품 데이터의 소스로서, 상기 제품 데이터는 상기 대상 소비 상품 제품의 2D 이미지 데이터 및 상기 대상 소비 상품 제품의 형상 정보를 포함하는, 상기 제품 데이터의 소스;
    상기 소스에 액세스하고 상기 제품 데이터로부터 상기 형상 정보를 추출하는 추출기로서, 상기 추출기는 상기 대상 소비 상품 제품의 2D 윤곽 형상 및 상기 대상 소비 상품 제품의 3D 형상 클래스를 획득하는, 상기 형상 정보를 추출하는 추출기;
    상기 획득된 2D 윤곽 형상 및 3D 형상 클래스를 사용하여, 상세 3D 형상 그래프를 생성하는 것으로서, 상기 상세 3D 형상 그래프는 적어도 전면 및 배면 시점들로부터 상기 대상 소비 상품 제품의 정사영 정정 윤곽 형상을 나타내는, 상기 생성하는 것;
    상기 상세 3D 형상 그래프를 수신하도록 커플링되고, 상기 획득된 3D 형상 클래스의 함수로서, 상기 상세 3D 형상 그래프로부터 상기 대상 소비 상품 제품의 3D 메시를 생성하는 메시 생성기; 및
    상기 2D 이미지 데이터로부터 상기 대상 소비 상품 제품의 상기 3D 메시 이미지들 상에 투영하는 모델러로서, 상기 투영은 상기 대상 소비 상품 제품의 3D 모델을 형성하고, 상기 형성된 3D 모델은 출력 상의 디스플레이를 위해 구성되는, 상기 모델러를 포함하는, 컴퓨터-기반 3D 모델링 장치.
  13. 제 12 항에 있어서,
    상기 형상 정보는 상기 대상 소비 상품 제품의 폭, 높이 및 깊이 측정치들을 포함하고 상기 대상 소비 상품 제품의 3D 형상 클래스의 표시를 포함하는, 컴퓨터-기반 3D 모델링 장치.
  14. 제 12 항에 있어서,
    상기 대상 소비 상품 제품의 3D 메시를 생성하는 메시 생성기는,
    상기 상세 3D 형상 그래프의 단면 영역들의 시리즈를 결정하는 것으로서, 각 단면 영역은 상기 대상 소비 상품 제품의 종방향 축에 관하여 각각의 단면을 갖고, 정해진 단면 영역을 위한 단면은 (i) 시리즈 순서에서 바로 다음의 단면 영역의 각각의 단면, 및 (ii) 시리즈 순서에서 바로 전의 단면 영역의 각각의 단면과 달라서, 단면들이 시리즈 순서에서 하나의 단면 영역으로부터 다음 단면 영역으로 변화하도록 하는, 상기 결정하는 것; 및
    상기 단면 영역들의 시리즈를 사용하여, 상기 대상 소비 상품 제품의 3D 메시를 정의하는 것을 포함하는, 컴퓨터-기반 3D 모델링 장치.
  15. 제 14 항에 있어서,
    상기 대상 소비 상품 제품의 3D 메시를 정의하는 메시 생성기는,
    상기 종방향 축을 따라 상기 대상 소비 상품 제품의 깊이 프로파일을 결정하는 것을 더 포함하는, 컴퓨터-기반 3D 모델링 장치.
  16. 제 15 항에 있어서,
    상기 깊이 프로파일을 결정하는 것은 형상 생성을 이용하는, 컴퓨터-기반 3D 모델링 장치.
  17. 제 14 항에 있어서,
    상기 상세 3D 형상 그래프의 단면 영역들의 시리즈를 결정하는 것은 커브 피팅 (curve fitting) 을 포함하는, 컴퓨터-기반 3D 모델링 장치.
  18. 제 14 항에 있어서,
    상기 메시 생성기는 상기 상세 3D 형상 그래프, 상기 단면 영역들의 결정된 시리즈 및 상기 대상 소비 상품 제품의 결정된 3D 형상 클래스의 깊이 프로파일을 결합하는, 컴퓨터-기반 3D 모델링 장치.
  19. 제 14 항에 있어서,
    상기 메시 생성기는 상기 상세 3D 형상 그래프, 상기 단면 영역들의 결정된 시리즈 및 상기 대상 소비 상품 제품의 깊이 프로파일을 결합하는, 컴퓨터-기반 3D 모델링 장치.
  20. 제 12 항에 있어서,
    상기 모델러는,
    평면 투영을 이용하여 상기 대상 소비 상품 제품의 2D 이미지들을 상기 생성된 메시 상에 투영하고, 결과로서 상기 대상 소비 상품 제품의 3D 모델을 형성하는, 컴퓨터-기반 3D 모델링 장치.
  21. 제 12 항에 있어서,
    상기 대상 소비 상품 제품은 패키징된 상품인, 컴퓨터-기반 3D 모델링 장치.
  22. 제 21 항에 있어서,
    상기 패키징된 상품은,
    일반적으로 실린더형 병,
    펌프 동작 타입 분배 단부를 갖는 일반적으로 실린더형 병,
    일반적으로 튜브형 분배 튜브,
    실질적으로 박스 형상의 카톤 (carton),
    일반적으로 필로우 형상의 색 또는 파우치, 및
    평면 단부를 갖는 일반적으로 색형 용기 또는 파우치를 포함하는 타입들 중 임의의 하나 또는 조합의 용기를 갖는, 컴퓨터-기반 3D 모델링 장치.
KR1020110036398A 2010-04-20 2011-04-19 패키징된 상품 제품 이미지로부터 3ｄ 모델의 자동 생성 Ceased KR20110117020A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/763,307 2010-04-20
US12/763,307 US8570343B2 (en) 2010-04-20 2010-04-20 Automatic generation of 3D models from packaged goods product images

Publications (1)

Publication Number Publication Date
KR20110117020A true KR20110117020A (ko) 2011-10-26

Family

ID=44201824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110036398A Ceased KR20110117020A (ko) 2010-04-20 2011-04-19 패키징된 상품 제품 이미지로부터 3ｄ 모델의 자동 생성

Country Status (6)

Country Link
US (1) US8570343B2 (ko)
EP (1) EP2381421B1 (ko)
JP (1) JP5749064B2 (ko)
KR (1) KR20110117020A (ko)
CN (1) CN102236910B (ko)
CA (1) CA2737171A1 (ko)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013166368A1 (en) * 2012-05-04 2013-11-07 Intermec Ip Corp. Volume dimensioning systems and methods
KR101420041B1 (ko) * 2011-04-07 2014-07-15 이베이 인크. 디스크립터 및 이미지에 기초한 아이템 모델
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10134120B2 (en) 2014-10-10 2018-11-20 Hand Held Products, Inc. Image-stitching for dimensioning
US10140724B2 (en) 2009-01-12 2018-11-27 Intermec Ip Corporation Semi-automatic dimensioning with imager on a portable device
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10203402B2 (en) 2013-06-07 2019-02-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10247547B2 (en) 2015-06-23 2019-04-02 Hand Held Products, Inc. Optical pattern projector
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10393506B2 (en) 2015-07-15 2019-08-27 Hand Held Products, Inc. Method for a mobile dimensioning device to use a dynamic accuracy compatible with NIST standard
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11029762B2 (en) 2015-07-16 2021-06-08 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101975247B1 (ko) * 2011-09-14 2019-08-23 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US8923893B2 (en) * 2012-08-07 2014-12-30 Symbol Technologies, Inc. Real-time planogram generation and maintenance
US9818150B2 (en) * 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
EP2811463B1 (en) 2013-06-04 2018-11-21 Dassault Systèmes Designing a 3d modeled object with 2d views
US9886678B2 (en) 2013-09-25 2018-02-06 Sap Se Graphic representations of planograms
US9286718B2 (en) * 2013-09-27 2016-03-15 Ortery Technologies, Inc. Method using 3D geometry data for virtual reality image presentation and control in 3D space
US9547838B2 (en) 2013-11-06 2017-01-17 Oracle International Corporation Automated generation of a three-dimensional space representation and planogram verification
EP2874118B1 (en) 2013-11-18 2017-08-02 Dassault Systèmes Computing camera parameters
US9229674B2 (en) 2014-01-31 2016-01-05 Ebay Inc. 3D printing: marketplace with federated access to printers
US20150246488A1 (en) * 2014-03-03 2015-09-03 Microsoft Corporation Fabricating three-dimensional objects with overhang
KR102264111B1 (ko) * 2014-05-15 2021-06-10 삼성에스디에스 주식회사 영상의 3차원 보정 장치 및 방법
US20150331888A1 (en) * 2014-05-16 2015-11-19 Ariel SHOMAIR Image capture and mapping in an interactive playbook
US10509605B2 (en) 2014-06-04 2019-12-17 Hp Indigo B.V. Generation of images
CN105320482A (zh) * 2014-07-25 2016-02-10 中兴通讯股份有限公司 一种用于移动终端的物品显示方法及移动终端
US20160070822A1 (en) * 2014-09-09 2016-03-10 Primesmith Oy Method, Apparatus and Computer Program Code for Design and Visualization of a Physical Object
CN104200525B (zh) * 2014-09-12 2017-04-19 清华大学 基于挤压物体图像的三维建模方法及系统
US20160125638A1 (en) 2014-11-04 2016-05-05 Dassault Systemes Automated Texturing Mapping and Animation from Images
EP3032495B1 (en) 2014-12-10 2019-11-13 Dassault Systèmes Texturing a 3d modeled object
US9595037B2 (en) 2014-12-16 2017-03-14 Ebay Inc. Digital rights and integrity management in three-dimensional (3D) printing
US20160167307A1 (en) * 2014-12-16 2016-06-16 Ebay Inc. Systems and methods for 3d digital printing
WO2016108241A1 (en) 2014-12-31 2016-07-07 Endostream Medical Ltd. Device for restricting blood flow to aneurysms
US9761029B2 (en) 2015-02-17 2017-09-12 Hewlett-Packard Development Company, L.P. Display three-dimensional object on browser
US10217187B2 (en) * 2015-06-05 2019-02-26 Qatar Foundation For Education, Science And Immunity Development Method for dynamic video magnification
JP6754619B2 (ja) * 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
US10360528B2 (en) 2015-11-06 2019-07-23 Walmart Apollo, Llc Product delivery unloading assistance systems and methods
EP3179407B1 (en) * 2015-12-07 2022-07-13 Dassault Systèmes Recognition of a 3d modeled object from a 2d image
EP3188033B1 (en) 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
CN109688973B (zh) 2016-06-21 2021-05-28 内流医疗有限公司 用于治疗血管畸形部的医疗装置
EP3293705B1 (en) 2016-09-12 2022-11-16 Dassault Systèmes 3d reconstruction of a real object from a depth map
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US20180210628A1 (en) 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10505057B2 (en) 2017-05-01 2019-12-10 Symbol Technologies, Llc Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
CN107274273A (zh) * 2017-06-22 2017-10-20 泉州佰桀智能制鞋设备研究院有限公司 一种定制购物方法及其购物系统
US10650586B2 (en) * 2017-08-10 2020-05-12 Outward, Inc. Automated mesh generation
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
CA3115898C (en) * 2017-10-11 2023-09-26 Aquifi, Inc. Systems and methods for object identification
CN108009199A (zh) * 2017-10-19 2018-05-08 陈伟麟 一种计量校准检定证书的检索方法及系统
CN108364316A (zh) 2018-01-26 2018-08-03 阿里巴巴集团控股有限公司 交互行为检测方法、装置、系统及设备
US10643375B2 (en) 2018-02-26 2020-05-05 Qualcomm Incorporated Dynamic lighting for objects in images
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
CN110533761B (zh) * 2018-05-23 2024-01-12 华硕电脑股份有限公司 影像显示方法、电子装置及非瞬时电脑可读取记录媒体
US10740983B2 (en) 2018-06-01 2020-08-11 Ebay Korea Co. Ltd. Colored three-dimensional digital model generation
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11176737B2 (en) * 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
CN111369309B (zh) * 2018-12-10 2023-07-07 阿里巴巴(上海)有限公司 产品配置方法、产品定制方法、装置、终端及服务器
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
US11501499B2 (en) 2018-12-20 2022-11-15 Snap Inc. Virtual surface modification
US12059156B2 (en) 2018-12-26 2024-08-13 Endostream Medical Ltd. Devices for treating vascular malformations
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
WO2020148768A1 (en) 2019-01-17 2020-07-23 Endostream Medical Ltd. Vascular-malformation implant system
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
US20210166476A1 (en) * 2019-11-29 2021-06-03 Alpha AR OÜ Automatic 3D Image Reconstruction Process from Real-World 2D Images
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
FR3104786B1 (fr) 2019-12-12 2022-01-21 Retail Vr Procédé et système de génération de modèles numériques 3d
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US12204828B2 (en) 2020-07-29 2025-01-21 The Procter & Gamble Company Three-dimensional (3D) modeling systems and methods for automatically generating photorealistic, virtual 3D package and product models from 3D and two-dimensional (2D) imaging assets
CN112102477B (zh) * 2020-09-15 2024-09-27 腾讯科技（深圳）有限公司 三维模型重建方法、装置、计算机设备和存储介质
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US20230038240A1 (en) * 2021-08-03 2023-02-09 The Procter & Gamble Company Three-dimensional (3d) image modeling systems and methods for automatically generating photorealistic, virtual 3d packaging and product models from 2d imaging assets and dimensional data
JP2024062300A (ja) * 2022-10-24 2024-05-09 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
KR102702240B1 (ko) * 2023-02-13 2024-09-04 주식회사 메이코더스 웹 기반 환경에서의 2차원 이미지를 이용한 용기 제조용 3차원 모델링 방법, 장치 및 컴퓨터-판독가능 기록매체
US20250157089A1 (en) * 2023-11-15 2025-05-15 Maplebear Inc. Generative model for item image selection

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0623990B2 (ja) * 1988-08-22 1994-03-30 大日本印刷株式会社 立体容器の設計装置
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US8682045B2 (en) * 1997-02-25 2014-03-25 Wake Forest University Health Sciences Virtual endoscopy with improved image segmentation and lesion detection
JP3346724B2 (ja) * 1997-08-27 2002-11-18 花王株式会社 ボトルの設計支援装置
US6333749B1 (en) * 1998-04-17 2001-12-25 Adobe Systems, Inc. Method and apparatus for image assisted modeling of three-dimensional scenes
US6515659B1 (en) * 1998-05-27 2003-02-04 In-Three, Inc. Method and system for creating realistic smooth three-dimensional depth contours from two-dimensional images
JP3643511B2 (ja) * 2000-02-28 2005-04-27 日本電信電話株式会社 ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体
US7065242B2 (en) * 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
JP2002007491A (ja) * 2000-06-26 2002-01-11 Institute Of Tsukuba Liaison Co Ltd 知識を用いた三次元モデルの復元方法
US7523411B2 (en) * 2000-08-22 2009-04-21 Bruce Carlin Network-linked interactive three-dimensional composition and display of saleable objects in situ in viewer-selected scenes for purposes of object promotion and procurement, and generation of object advertisements
WO2002039216A2 (en) 2000-11-03 2002-05-16 Outlet Group, Llc Method and system of an integrated business topography and virtual 3d network portal
GB2381429B (en) * 2001-09-28 2005-07-27 Canon Europa Nv 3D computer model processing apparatus
GB0208909D0 (en) * 2002-04-18 2002-05-29 Canon Europa Nv Three-dimensional computer modelling
JP2006520055A (ja) * 2003-03-06 2006-08-31 アニメトリックス，インク． ２次元画像からの３次元オブジェクトの不変視点検出および識別
US7212664B2 (en) 2003-08-07 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Constructing heads from 3D models and 2D silhouettes
EP1510973A3 (en) 2003-08-29 2006-08-16 Samsung Electronics Co., Ltd. Method and apparatus for image-based photorealistic 3D face modeling
JP4456029B2 (ja) * 2005-03-29 2010-04-28 大日本印刷株式会社 回転体の三次元情報復元装置
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
US20080030497A1 (en) * 2005-12-08 2008-02-07 Yangqiu Hu Three dimensional modeling of objects
CN100545871C (zh) 2006-05-12 2009-09-30 中国科学院自动化研究所 一种直接传递三维模型姿态的方法
US20080126021A1 (en) * 2006-11-27 2008-05-29 Ramsay Hoguet Converting web content into texture mapping objects
KR100894874B1 (ko) 2007-01-10 2009-04-24 주식회사 리얼이미지 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법
CN101017575B (zh) 2007-02-15 2013-01-16 东华大学 基于人体部件模板和体形轮廓的三维虚拟人体自动生成方法
KR20090130003A (ko) * 2007-03-02 2009-12-17 오가닉 모션 삼차원 물체를 트래킹하기 위한 시스템 및 방법
US8675951B2 (en) * 2007-05-11 2014-03-18 Three Pixels Wide Pty Ltd. Method and system for generating a 3D model
US8212812B2 (en) * 2007-05-21 2012-07-03 Siemens Corporation Active shape model for vehicle modeling and re-identification
KR100914845B1 (ko) 2007-12-15 2009-09-02 한국전자통신연구원 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법및 장치
KR20100138648A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 영상 처리 장치 및 방법

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140724B2 (en) 2009-01-12 2018-11-27 Intermec Ip Corporation Semi-automatic dimensioning with imager on a portable device
US10845184B2 (en) 2009-01-12 2020-11-24 Intermec Ip Corporation Semi-automatic dimensioning with imager on a portable device
US10157496B2 (en) 2011-04-07 2018-12-18 Ebay Inc. Item model based on descriptor and images
US11004260B2 (en) 2011-04-07 2021-05-11 Ebay Inc. Item model based on descriptor and images
US9805503B2 (en) 2011-04-07 2017-10-31 Ebay Inc. Item model based on descriptor and images
KR101420041B1 (ko) * 2011-04-07 2014-07-15 이베이 인크. 디스크립터 및 이미지에 기초한 아이템 모델
US10467806B2 (en) 2012-05-04 2019-11-05 Intermec Ip Corp. Volume dimensioning systems and methods
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
WO2013166368A1 (en) * 2012-05-04 2013-11-07 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US9292969B2 (en) 2012-05-07 2016-03-22 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10635922B2 (en) 2012-05-15 2020-04-28 Hand Held Products, Inc. Terminals and methods for dimensioning objects
US10805603B2 (en) 2012-08-20 2020-10-13 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US10908013B2 (en) 2012-10-16 2021-02-02 Hand Held Products, Inc. Dimensioning system
US9784566B2 (en) 2013-03-13 2017-10-10 Intermec Ip Corp. Systems and methods for enhancing dimensioning
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US10203402B2 (en) 2013-06-07 2019-02-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10240914B2 (en) 2014-08-06 2019-03-26 Hand Held Products, Inc. Dimensioning system with guided alignment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10121039B2 (en) 2014-10-10 2018-11-06 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10134120B2 (en) 2014-10-10 2018-11-20 Hand Held Products, Inc. Image-stitching for dimensioning
US10402956B2 (en) 2014-10-10 2019-09-03 Hand Held Products, Inc. Image-stitching for dimensioning
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10859375B2 (en) 2014-10-10 2020-12-08 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10218964B2 (en) 2014-10-21 2019-02-26 Hand Held Products, Inc. Dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10393508B2 (en) 2014-10-21 2019-08-27 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10593130B2 (en) 2015-05-19 2020-03-17 Hand Held Products, Inc. Evaluating image values
US11403887B2 (en) 2015-05-19 2022-08-02 Hand Held Products, Inc. Evaluating image values
US11906280B2 (en) 2015-05-19 2024-02-20 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US10247547B2 (en) 2015-06-23 2019-04-02 Hand Held Products, Inc. Optical pattern projector
US10612958B2 (en) 2015-07-07 2020-04-07 Hand Held Products, Inc. Mobile dimensioner apparatus to mitigate unfair charging practices in commerce
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US11353319B2 (en) 2015-07-15 2022-06-07 Hand Held Products, Inc. Method for a mobile dimensioning device to use a dynamic accuracy compatible with NIST standard
US10393506B2 (en) 2015-07-15 2019-08-27 Hand Held Products, Inc. Method for a mobile dimensioning device to use a dynamic accuracy compatible with NIST standard
US11029762B2 (en) 2015-07-16 2021-06-08 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10747227B2 (en) 2016-01-27 2020-08-18 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10872214B2 (en) 2016-06-03 2020-12-22 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10417769B2 (en) 2016-06-15 2019-09-17 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning

Also Published As

Publication number Publication date
EP2381421A3 (en) 2017-03-29
US8570343B2 (en) 2013-10-29
JP5749064B2 (ja) 2015-07-15
CN102236910B (zh) 2014-07-30
EP2381421B1 (en) 2020-01-08
US20110254840A1 (en) 2011-10-20
EP2381421A2 (en) 2011-10-26
CA2737171A1 (en) 2011-10-20
CN102236910A (zh) 2011-11-09
JP2011227903A (ja) 2011-11-10

Similar Documents

Publication Publication Date Title
US8570343B2 (en) Automatic generation of 3D models from packaged goods product images
EP2092487B1 (en) Image-mapped point cloud with ability to accurately represent point coordinates
US10410406B2 (en) Enhanced three-dimensional point cloud rendering
Mitani et al. 3D sketch: sketch-based model reconstruction and rendering
EP1835466A2 (en) Method and apparatus for geometric data processing and a parts catalog system
KR20180059836A (ko) 3d 재구성에서 구조 특징들을 검출하고 결합하기 위한 방법들 및 시스템들
JP2013507679A (ja) 三次元物体モデルの３ｄプリントが可能な方法及びシステム
KR20160052441A (ko) 이미지들로부터 자동화된 텍스처링 맵핑 및 애니메이션
Bianchini et al. The surveying and representation process applied to architecture: Non-contact methods for the documentation of cultural heritage
US20130257856A1 (en) Determining a View of an Object in a Three-Dimensional Image Viewer
KR102031647B1 (ko) 상품과 포장상자의 3차원 합성영상 생성 시스템 및 방법
US8149237B2 (en) Information processing apparatus and program
Minto et al. Online access and sharing of reality-based 3D models
US6421049B1 (en) Parameter selection for approximate solutions to photogrammetric problems in interactive applications
Wiemann et al. Automatic Map Creation For Environment Modelling In Robotic Simulators.
US20040179010A1 (en) Apparatus and method for semi-automatic classification of volume data
JP3950376B2 (ja) ３次元点群からの形状モデル生成方法と装置、並びに、３次元点群からの形状モデル生成プログラムと該プログラムを記録した記録媒体
Doungmala et al. Investigation into the application of image modeling technology in the field of computer graphics
JP5400802B2 (ja) 階層化深さ画像を使用する接触シミュレーション方法及び装置
CN111028342A (zh) 一种基于ar技术的物资堆叠方式的预估方法及装置
JP5513033B2 (ja) 情報処理装置、情報処理方法、およびプログラム
EP4428826A1 (en) Method and device for generating a 3d representation derived from an original 3d representation
US20250280255A1 (en) Acoustic simulation based on acoustic scattering
Sinha et al. Semantic Stylization and Shading via Segmentation Atlas utilizing Deep Learning Approaches
Sheikholeslami et al. SENSO3D: Structured Pipelines for AI-Based 3D Object Detection, Classification, and Texture Generation

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110419

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160219

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20110419

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160812

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20170227

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20160812

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I