[go: up one dir, main page]

KR102561903B1 - 클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법 - Google Patents

클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법 Download PDF

Info

Publication number
KR102561903B1
KR102561903B1 KR1020220010438A KR20220010438A KR102561903B1 KR 102561903 B1 KR102561903 B1 KR 102561903B1 KR 1020220010438 A KR1020220010438 A KR 1020220010438A KR 20220010438 A KR20220010438 A KR 20220010438A KR 102561903 B1 KR102561903 B1 KR 102561903B1
Authority
KR
South Korea
Prior art keywords
information
model
cloud server
rendering
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020220010438A
Other languages
English (en)
Other versions
KR20230114375A (ko
Inventor
임완택
Original Assignee
스크린커플스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스크린커플스(주) filed Critical 스크린커플스(주)
Priority to KR1020220010438A priority Critical patent/KR102561903B1/ko
Publication of KR20230114375A publication Critical patent/KR20230114375A/ko
Application granted granted Critical
Publication of KR102561903B1 publication Critical patent/KR102561903B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 XR 콘텐츠 서비스 방법에 관한 것으로, 체적 3D 비디오(Volumetric 3D Video) 데이터의 실시간 혼합현실 서비스가 가능한 증강현실(AR) 원격 렌더링 (Remote Rendering) 방법을 이용하여, 종래의 AR이나 3D 콘텐츠의 제작 과정에서 수작업으로 인해 발생하는 많은 비용과 시간을 절약할 수 있고, 다양한 문화예술 분야에서 기술적용으로 결과물을 통한 서비스 확장성(활용성)이 매우 용이한 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 제공한다.

Description

클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법{AI-based XR content service method using cloud server}
본 발명은 XR 콘텐츠 서비스 방법에 관한 것으로, 보다 상세하게는 3D 콘텐츠를 빠르고 효율적으로 제작할 수 있고, 높은 현실감, 현장감 및 인터렉션이 가능한 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법에 관한 것이다.
최근 혼합현실 (mixed reality)산업이 성장함에 따라 관련 디바이스 보급 및 기술이 제시되고 있다. 특히, 원격 화상회의 등의 실시간 혼합현실 서비스를 위해, 실시간 영상획득-처리-전송의 기술 연구가 요구되고 있다.
AR(증강현실)은 AI, Big-data, 5G Network 등 4차 산업혁명을 이끄는 기술과 결합하여 오감의 무한 확대를 통한 신 서비스를 이끄는 기술이다. 5G 네트워크 인프라 발달로 초고속, 초저지연, 초연결의 AR 서비스 제공이 가능 해짐에 따라 개인화된 실시간 서비스 중심으로 대규모 성장 전망이다.
일반적으로 혼합현실 구현은 클라이언트(client)에 3D 데이터가 저장이 되고, 이를 로딩(loading)하는 방식이다. 이 경우 클라이언트의 사양이 한정되어 있으므로, 3D 데이터의 메쉬 최적화 등을 통해 구현을 한다. 다만, 콘텐츠의 최적화가 요구되므로, 콘텐츠의 품질 손상이 될 수 있다. 다른 방법으로, 서버에 3D 데이터가 저장이 되고 원격지에 있는 클라이언트로 렌더링 하는 방법이 제시되고 있다. 이는 품질을 높이기 위해서 강력한 서버를 사용할 경우, 렌더링(rendering) 품질을 크게 높일 수 있다. 일반적으로 클라우드 렌더링(cloud rendering), 서버 렌더링(server rendering), 원격 렌더링(remote rendering) 등의 용어로 표현 되고 있다.
최근 클라우드 기반의 AR 원격 렌더링(Remote Rendering) 기술이 연구되고 있다. 이는 고품질의 대화형 3D 콘텐 츠를 클라우드에서 렌더링 하여 실시간으로 디바이스에 스트리밍 할 수 있는 새로운 혼합 현실 서비스 기술이다. 이때, 3D 데이터 타입(type)에 따른 원격 렌더링(remote rendering) 방식을 아래와 같이 분류할 수 있다.
모델 베이스(Model-based) 렌더링은 3D 데이터 (메쉬 또는 포인트 클라우드)를 클라이언트에게 전송하는 방법이다. 이 방법은, 클라이언트가 3D 그래픽 렌더링을 위한 강력한 하드웨어를 필요로 하며, 서버는 3D 데이터 처리 및 생성 계산을 한다. 모델 베이스 렌더링에는 오리지날 모델(Original Model), 부분 모델(Partial Model), 단순화된 모델(Simplified Model), 포인트 클라우드(Point Cloud) 방식이 있다.
이미지 베이스(Image-based) 렌더링은 서버에서 모든 3D 모델을 렌더링하고, 이미지들의 정보만을 클라이언트로 보내는 방법이다. 따라서 클라이언트에서는 3D 그래픽 렌더링을 위한 하드웨어는 요구되지 않는다. 이미지 베이스 렌더링에는 멀티 뎁스 이미지(Multiple Depth Images), 뎁스 이미지(Depth Image), 환경 맵(Environment Map), 이미지 포스터(Image Impostor) 방식이 있다.
상술한 바와 같이, 고품질의 콘텐츠를 제공하기 위해서 모델 베이스(Model-based) 렌더링이 적합하지만 클라이언트에 강력한 3D 그래픽 렌더링을 위한 하드웨어가 요구되는 단점이 있다. 그렇다고 클라이언트의 하드웨어를 고려하여 이미지 베이스 렌더링으로 콘텐츠를 제공하면 품질이 저하되는 문제가 있다. 즉, 클라이언트의 하드웨어 성능과 콘텐츠의 품질 사이에서 양자를 모두 만족시킬 수 있는 방법이 필요하다.
또한, 종래의 증강현실(AR)이나 3D 콘텐츠의 제작 과정은 수작업으로 이루어지기 때문에 많은 비용 및 인력과 시간이 소요된다는 문제점이 있고, 작업 결과물이 현실감과 현장감이 떨어지고, 종래의 가상현실(VR) 기술이 갖는 인터렉션의 한계가 있다는 문제점이 있다.
상술한 문제를 해결하고자 하는 본 발명의 과제는 다음과 같다.
첫째, 본 발명은 3D 콘텐츠를 빠르고 효율적으로 제작할 수 있고, 높은 현실감, 현장감 및 인터렉션이 가능한 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 제공하고자 함이다.
둘째, 본 발명은 체적 3D 비디오(Volumetric 3D Video) 데이터의 실시간 혼합현실 서비스가 가능한 AR 원격 렌더링 (Remote Rendering)을 통한 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 제공하는 것을 과제로 한다.
셋째, 문화예술 분야에서 실사 기반의 실감콘텐츠(AR/VR/MR)를 제작하고 서비스하기 위한 360℃ 체적(Volumetric) 영상 캡처 기술과 3D 포즈 추정(Pose Estimation) 방법을 이용하여, 클라우드 서버로부터의 증강현실 렌더링 시스템의 구축을 통해 WebRTC 모바일 웹 브라우저 환경에서의 XR 실감 콘텐츠를 제공하는 서비스 방법을 제공하하는 것을 과제로 한다.
상술한 과제를 해결하기 위한 본 발명의 제1 특징은, 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법으로, (a) 모델링부가 3D 체적 모델링 기술을 이용하여 객체의 3D 모델 탬플릿을 생성하는 단계; (b) 모델링부가 딥러닝 기술을 이용하여 상기 객체의 포즈 추정(Pose Estimation) 데이터를 획득하고, 상기 3D 모델 탬플릿의 뼈대(skeleton)의 움직임을 추정하여 리깅(Rigging) 정보를 획득한 후, 3D 모델 정보 및 3D 모델 동작 정보를 생성하고 3D 모델 데이터베이스에 저장하는 단계; (c) 클라우드 서버가 상기 3D 모델 데이터베이스에 저장된 상기 3D 모델 정보 및 3D 모델 동작 정보를 이용하여 3D 애니메이팅 정보를 렌더링하는 단계; 및 (d) 상기 클라우드 서버가 클라이언트 단말로 상기 렌더링 데이터를 스트리밍하여 XR 콘텐츠를 제공하는 단계를 포함할 수 있다.
여기서, 상기 (a) 단계는, (a1) 다수개의 다시점 카메라를 이용하여 객체에 대한 3D 포토그래매트리(Photogrammetry) 캡쳐 데이터를 생성하는 단계; 및 (a2) 생성된 상기 3D 포토그래매트리(Photogrammetry) 캡처 데이터를 이용하여 상기 객체의 3D 체적(Volumetric) 모델 탬플릿을 생성하는 단계를 포함할 수 있다.
또한, 상기 (b) 단계는, (b1) 모델링부가 딥러닝 기술을 이용하여 상기 객체의 포즈 추정(Pose Estimation) 정보를 산출하는 단계; (b1) 모델링부가 상기 3D 모델 탬플릿의 뼈대(skeleton) 사이의 시간적인 움직임 벡터를 획득하고 리깅(Rigging) 정보를 생성하는 단계; 및 (b2) 산출된 상기 포즈 추정 정보를 이용하여 상기 리깅(Rigging) 정보를 보정하고, 보정된 상기 리깅(Rigging) 정보를 이용하여 상기 3D 모델 탬플릿의 동작 정보를 생성하여 상기 3D 모델 데이터베이스에 저장하는 단계를 포함할 수 있다.
또한, 상기 (c) 단계는, 상기 3D 애니메이팅 정보의 처리량을 감소시키기 위한 중복된 포인트 데이터와 추가된 포인트 데이터를 구분하여 파싱하여 렌더링하는 단계; 및 상기 클라우드 서버가 상기 클라이언트 단말로부터 수신받은 위치 정보에 기반하여 렌더링하는 단계를 포함할 수 있다.
더하여, 상기 렌더링은, webRTC API 기반 웹 브라우저 스트리밍 방식의 렌더링인 것일 수 있고, 상기 (d) 단계는, 클라이언트 단말에서 상기 스트리밍 데이터를 통해 3D 템플릿에서 리깅(Rigging)된 상기 3D 객체 모델을 증강현실(AR) 환경에서 적용하여 구현하고, 웹 브라우저를 통해 XR 콘텐츠를 제공하는 단계인 것일 수 있다.
그리고, 본 발명의 제2 특징은, 컴퓨팅 단말기 또는 서버에 설치되어 컴퓨팅 또는 클라우드 컴퓨팅이 가능하도록 설치되어 상술한 어느 하나의 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 실행시키기 위한 컴퓨터가 판독 가능한 매체에 저장된 컴퓨터프로그램일 수 있다.
상술한 과제를 해결하는 본 발명의 효과는 다음과 같다.
첫째, 본 발명은 체적 3D 비디오(Volumetric 3D Video) 데이터의 실시간 혼합현실 서비스가 가능한 증강현실(AR) 원격 렌더링 (Remote Rendering) 방법을 이용하여, 종래의 AR이나 3D 콘텐츠의 제작 과정에서 수작업으로 인해 발생하는 많은 비용과 시간을 절약할 수 있고, 다양한 문화예술 분야에서 기술적용으로 결과물을 통한 서비스 확장성(활용성)이 매우 용이한 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 제공한다.
둘째, 본 발명은 포즈 추정(Pose Estimation) 방법 및 포토그래메트리(Photogrammetry) 3D 스캐닝을 통해, 실제 케이팝 가수 등의 3차원 모델 데이터를 다시점 카메라를 통해 촬영하여 3D 메쉬(Mesh) 형태로 추출하고, 최종적으로 360도 체험이 요구되는 가상 및 증강현실 환경에서 본 대상 모델(콘텐츠)을 구현할 수 있는 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 제공한다.
셋째, 본 발명은 3D 체적(Volumetric) 기술은 고해상도 화질을 구현하는 다수의 영화촬영용 특수카메라를 이용하여 사람의 움직임을 캡쳐하고, 360도 3D 입체 영상으로 만들어 내는 기술을 이용하여, 기존의 VR 기술이 갖는 인터렉션의 한계를 넘어서고, 그래픽스 기반의 AR 기술이 갖는 사실감의 한계를 넘어설 수 있는 높은 사실감 및 현실감을 구현할 수 있는 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 제공한다.
넷째, 본 발명의 실시예에 적용되는 포토그래메트리(Photogrammetry) 기술은 카메라 등 다양한 입력 매체를 이용하여 피사체의 형상을 저장 및 측정하고 해석하여 신뢰할 수 있는 정보를 획득하는 측량 기법으로 기존의 3D 모델링 제작에서 드로잉(Drawing)을 통해 그려내는 정설계 방식의 수작업 디자인 제작으로 많은 비용과 인력, 후처리 시간 등의 소요되는 문제점을 해결할 수 있는 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 제공한다.
도 1은 본 발명의 실시예에 따른 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법의 흐름을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법의 프로세스를 모식화한 개념도이다.
도 3은 본 발명의 실시예에 따른 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법의 블록 구성의 프로세스 연결 모식도이다.
도 4는 본 발명의 실시예에 따른 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법에서 3D 모델 탬플릿을 생성하는 단계의 3D 포토그래메트리(Photogrammetry) 캡쳐 시스템의 개념 모식도이다.
도 5는 본 발명의 실시예에 따른 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법에 적용되는 고정밀 3D 객체 생성 알고리즘의 개념 모식도이다.
도 6은 본 발명의 실시예에 따른 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법에 적용되는 고정밀 3D 포즈 추정 알고리즘의 모식도이다.
도 7은 본 발명의 실시예에 따른 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법에 적용되는 조인트 보정 알고리즘의 개념 모식도이다.
도 8은 본 발명의 실시예에 따른 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법에 적용되는 렌더링 프로세스의 개념 모식도이다.
도 9는 본 발명의 실시예에 따른 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법이 실행되는 애플리케이션 서비스의 개념 모식도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
이하에서 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법의 흐름을 나타낸 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 서비스 방법은, (a) 모델링부(100)가 3D 체적(Volummetic) 모델링 기술을 이용하여 객체의 3D 모델 탬플릿을 생성하는 단계(S100); (b) 모델링부(100)가 딥러닝 기술을 이용하여 상기 객체의 포즈 추정(Pose Estimation) 데이터를 획득하고, 상기 3D 모델 탬플릿의 뼈대(skeleton)의 움직임을 추정하여 리깅(Rigging) 정보를 획득한 후, 3D 모델 정보 및 3D 모델 동작 정보를 생성하고 3D 모델 데이터베이스에 저장하는 단계(S200); (c) 클라우드 서버(200)가 상기 3D 모델 데이터베이스에 저장된 상기 3D 모델 정보 및 3D 모델 동작 정보를 이용하여 3D 애니메이팅 정보를 렌더링하는 단계(S300); 및 (d) 상기 클라우드 서버(200)가 클라이언트 단말(300)로 상기 렌더링 데이터를 스트리밍하여 XR 콘텐츠를 제공하는 단계(S400)를 포함할 수 있다.
여기서 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 적용하기 위한 시스템을 구성을 살펴 보면, 3D 모델링과 애니메이션 데이터를 생성하는 모델링부(100)와, 데이터를 렌더링하고 스트리밍 하는 클라우드 서버(200)와, XR 콘텐츠를 제공하는 클라이언트 단말(300)을 포함하여 구성될 수 있고, 각 구성은 인터넷을 포함하는 네트워크를 통해 유선 또는 무선으로 연결될 수 있다.
모델링부(100) 및 클라우드 서버(200)는 유/무선 통신장치를 구비하고, 컴퓨팅 또는 연산 기능을 수행하는 컴퓨터, 노트북 등의 컴퓨팅 장치일 수 있고, 클라이언트 단말(300)은 무선 통신장치를 구비하는 스마트폰 등과 같은 모바일 기기일 수 있으며, 유선으로 인터넷 연결이 가능한 컴퓨팅 장치일 수 있다.
이처럼 본 발명은 체적 3D 비디오(Volumetric 3D Video) 데이터의 실시간 혼합현실 서비스가 가능한 증강현실(AR) 원격 렌더링 (Remote Rendering) 방법을 이용하여, 종래의 AR이나 3D 콘텐츠의 제작 과정에서 수작업으로 인해 발생하는 많은 비용과 시간을 절약할 수 있고, 다양한 문화예술 분야에서 기술적용으로 결과물을 통한 서비스 확장성(활용성)이 매우 용이한 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 제공한다.
도 2는 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법의 프로세스를 모식화한 개념도를 도시하고, 도 3은 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법의 블록 구성의 프로세스 연결 모식도를 도시한다.
도 2 및 도 3에 나타낸 바와 같이, 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법은, 먼저 3D 포토그래메트리(Photogrammetry) 캡쳐 또는 체적(Volumetric) 4D 캡쳐 시스템을 이용하여 포토그래메트리(Photogrammetry) 메타 휴먼의 몸, 얼굴 및 의상/소품 등의 객체를 수십 개의 다시점 카메라를 이용하여 360도 방향으로 촬영하여 캡쳐 이미 데이터를 획득하고, 실사 3D 체적 모델을 생성하여 실사 3D 메타휴먼 템플릿을 제작한 후, 실사 3D 메타휴먼 템플릿을 실사 3D 모델 데이터베이스에 저장한다.
여기서, 본 발명의 실시예에 적용되는 3D 체적(Volumetric) 기술은 고해상도 화질을 구현하는 다수의 영화촬영용 특수카메라를 이용하여 사람의 움직임을 캡쳐하고, 360도 3D 입체 영상으로 만들어 내는 기술로서, 기존의 현실감과 현장감을 넘어서기 위한 실사 기반의 체적(Volumetric) 영상 기술이다. 또한, 기존의 VR 기술이 갖는 인터렉션의 한계를 넘어서고, 그래픽스 기반의 AR 기술이 갖는 사실감의 한계를 넘어설 수 있는 높은 사실감 및 현실감을 구현할 수 있는 기술이다.
그리고, 본 발명의 실시예에 적용되는 포토그래메트리(Photogrammetry) 기술은 카메라 등 다양한 입력 매체를 이용하여 피사체의 형상을 저장 및 측정하고 해성하여 신뢰할 수 있는 정보를 획득하는 측량 기법으로 기존의 3D 모델링 제작에서 드로잉(Drawing)을 통해 그려내는 정설계 방식의 수작업 디자인 제작으로 많은 비용과 인력, 후처리 시간 등의 소요되는 문제점을 해결할 수 있는 기술이다.
또한, 모델링부(100)는 생성한 3D 체적 모델의 애니메이션 시퀀스를 위해, 3D 포즈 추정(Pose Estimation) 기술을 이용하여 사람 등의 메타 휴먼 모델의 취한 자세를 인식하고 추정하고, 3D 모델 리깅(Rigging) 정보 및 보정정보를 생성하여, 3D 모델의 3D 공간 동작정보를 획득하여 실사 3D 모델 데이터베이스에 저장한다. 여기서, 리깅(Rigging)은 모델링의 기초작업으로 모델의 뼈대(Skeleton0을 만드는 작업을 의미한다.
클라우드 서버(200)는 실사 3D 모델 데이터베이스에 저장된 3D 모델과 3D 동작 정보를 이용하여 3D 애니메이팅 정보를 클라이언트 단말(300)로부터 수신받은 위치정보를 이용하여 WebRTC 방식으로 렌더링하여 모바일 클라이언트로 스트리밍하여 XR 콘텐츠를 제공한다.
이하에서 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 각 단계별 프로세스를 도면을 참조하여 상세히 설명하기로 한다.
도 4는 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법에서 3D 모델 탬플릿을 생성하는 단계의 3D 포토그래메트리(Photogrammetry) 캡쳐 시스템의 개념 모식도이다.
도 4에 나타낸 바와 같이, 3D 포토그래메트리(Photogrammetry) 캡쳐 시스템은 크로마키 스크린 배경에 다수개의 다시점 영화 촬영용 카메라를 설치하고, 3D 객체를 고정밀(평균 15mm 이하의 정밀도) 초당 30 프레임으로 촬영을 하고, 체적(Volumetric) 합성 프로그램을 이용하여 3D 모델을 합성한다. 이와 같은 객체 모델을 위한 3D 체적 방식은 동영상 제작에 최적화할 수 있고, 촬영 영역의 크로마키 부분에 그림자 또는 포화영역의 발생을 억제하고, 피사체의 반사에 의한 플리커 현상을 억제하는 조명 환경 제어 기술을 포함할 수 있다.
이와 같은 3D 포토그래메트리(Photogrammetry) 캡쳐 시스템은, 콘텐츠 공연의 내용, 조명, 촬영 공간 세팅에 따른 카메라의 앵글, 조리개, 셔터 스피드 및 ISO를 조정할 수 있고, 입력 영상의 밝기, 노이즈, 모션 블러 및 심도에 따른 초점을 제어할 수 있으며, 다시점 촬영 영상의 전처리 알고리즘을 통한 공연자 결과 최적화할 수 있다는 장점이 있다.
또한, 도 4에서 예시된 3D 포토그래매트리 캡쳐 시스템을 이용하여 촬영된 3D 객체의 이미지 데이터를 이용하여 3D 체적(Volumetric) 모델을 생성할 수 있는데, 40시점 이상의 다시점 카메라 촬영 및 동기화 기술을 통해 영화 제작급의 고정밀의 3D 체적 모델 데이터를 생성할 수 있고, SfM(Structure from Motion) 방식의 영상 합성 기술을 자체 셋업하는 카메라 시스템 및 조명 환경에 최적화함으로써 고품질의 3D 모델의 복원 및 정제 기술을 적용할 수 있으며, 3D 객체 합성 시간 단축을 위한 병렬처리 시스템을 적용할 수 있다.
도 5는 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법에 적용되는 고정밀 3D 객체 생성 알고리즘의 개념 모식도이다.
본 발명의 실시예에서는 체적 비디오의 3D 체적 생성 결과를 정밀하게 만드는 알고리즘을 적용할 수 있는데, 3D 체적 합성 기술의 고도화 방법으로 시공간 특수 필터를 이용하여 스튜디오에 설치된 카메라의 2배 개수의 영상을 이용하여 고정밀의 3D 체적을 구하는 기술을 적용할 수 있다.
즉, 도 5에 나탄내 바와 같이, 전술한 3D 포토그래메트리(Photogrammetry) 캡쳐 시스템을 이용하여 촬영된 현재 프래임의 40개 2D 영상과 이전 프레임의 40개 영상을 시공간 필터(Temporal-Spatial filter)를 이용하여 합성하면, 합성된 3D 체적(Volumetric) 모델 결과물을 얻을 수 있다. 또한, 3D 체적 합성의 프로세싱 단계 중‘카메라 위치 추정’알고리즘을 분석 및 제어하여 결과물 품질을 향상시킬 수도 있다.
도 6은 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법에 적용되는 고정밀 3D 포즈 추정 알고리즘의 모식도를 도시하고, 도 7은 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법에 적용되는 조인트 보정 알고리즘의 개념 모식도를 도시한다.
도 6에 나타낸 바와 같이, 인간 객체의 포즈 추정(Pose Estimation) 데이터를 획득하는 알고리즘은 (a) 단계에서 획득한 체적(Volumentric) 모델 탬플릿에서 인간 객체의 다시점 전신 뼈대를 추출, 뼈대 통합 및 보정, 뼈대 분석 및 얼굴 및 손위치 판별의 프로세스를 진행하는 고정밀 스켈레톤 캡쳐 기술을 적용한다. 그리고, 다시점 고화질 영상을 통해 얼굴 및 손 고해상도 영상을 추출, 손 뼈대 추출, 뼈대 및 특징을 통합하고, 얼굴 및 손 영상을 통해 얼굴 표정을 추출하고 전술한 뼈대 및 특징 통합 과정을 거쳐 3D 모델의 동작을 수행하는 인간 객체의 포즈 추정 데이터를 획득하 수 있다. 여기서 인간 객체의 포즈 추정은 AI 딥러닝을 통해 모션 추정이 가능하고 다시점 동작 분석을 통한 고정밀 모션 캡쳐 결과물을 획득할 수도 있다.
즉, 다시점의 전신 뼈대(Skeleton)를 추출한 이후에 여러 뼈대를 하나의 뼈대로 통합하고, 동시에 생성된 3D 체적 모델 정보를 이용하여 보정할 수 있고, 보정된 뼈대를 분석하여 얼굴과 손 영역을 검출하고 UHD 영상의 동일 영역에서 고정밀 영상을 추출하여 얼굴과 손의 기하학적 정보를 추출한 이후에 전신 뼈대(Skeleton)과 통합함으로써 통합 모션 캡쳐 결과 생성할 수 있다.
도 7에 나타낸 바와 같이, 3D 체적 및 인체 정보를 이용한 모션 캡쳐 보정을 위한 조인트 보정 알고리즘은 3차원 공간에서 포인트 클라우드 정보를 이용한 마디 위치의 보정 기술로서, 추출된 뼈대(Skeleton)의 3D 모델을 고려한 포인트 클라우드 클러스터링에서 3차원 공간에서 포인트 클라우드 정보를 이용한 마디 위치의 보정 할 수 있는 알고리즘을 적용할 수 있다. 즉, 전술한 뼈대(Skeleton) 추출을 위한 딥러닝 모델 및 신호처리 기술이 갖는 오차를 3차원 모델의 포인트 클라우드 정보를 이용하여 보정할 수 있는 알고리즘을 적용할 수 있다.
그리고, (b) 단계는, 3D 객체의 포즈 추정 정보를 산출하고, 모델링부(100)가 상기 3D 모델 탬플릿의 뼈대(skeleton) 사이의 시간적인 움직임 벡터를 획득하고 리깅(Rigging) 정보를 생성하는 단계 및 산출된 상기 모션 추정 정보를 이용하여 상기 리깅(Rigging) 정보를 보정하는 단계를 포함할 수 있다.
여기서 리깅(Rigging) 정보를 생성하는 단계는, 추출된 뼈대 사이의 시간적인 움직임 추정을 통해 움직임 벡터를 획득하고, 움직임 벡터 분석 기반의 애니메이팅을 고려한 리깅(Rigging) 정보 분석 기술을 적용할 수 있다. 또한, 고정밀 3D 탬플릿의 애니메이팅과 3D 체적(Volumetric) 모델 탬플릿 시퀀스의 비교 분석을 통한 오차 영역의 보상 및 개선 기술을 적용할 수 있다.
도 8은 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법에 적용되는 렌더링 프로세스의 개념 모식도를 도시한다.
본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법의 (c) 단계는, 클라우드 서버(200)가 상기 3D 모델 데이터베이스에 저장된 상기 3D 모델 정보 및 3D 모델 동작 정보를 이용하여 3D 애니메이팅 정보를 렌더링하는 단계로서, 3D 애니메이팅 정보의 처리량을 감소시키기 위한 중복된 포인트 데이터와 추가된 포인트 데이터를 구분하여 파싱하여 렌더링하고, 상기 클라우드 서버(200)가 상기 클라이언트 단말(300)로부터 수신받은 위치 정보에 기반하여 렌더링하는 단계일 수 있다.
즉, 도 8에 나타낸 바와 같이, 모델링부(100)가 (a) 단계로서 포토그래메트리 스캔(Photogrammetry Scan)을 통해 3D 체적 모델 탬플릿을 생성하고, (b) 단계로서 포즈 추정(Pose Estimation)을 통하여 3D 모델 정보 및 3D 모델 동작 정보를 생성한 후 이를 통해 3D 애니메이팅 정보를 생성한다. 그리고 나서 클라우드 서버(200)가 (c) 단계로서, 전술한 3D 애니메이팅 정보를 클라이언트 단말(300)로부터 수신받은 위치정보를 이용하여 WebRTC 방식으로 렌더링할 수 있다.
본 발명의 실시예에 적용되는 클라우드 서버(200)의 렌더링 방식은, WebRTC API 기반 웹 브라우저 스트리밍 방식의 렌더링 방법으로, 데이터 처리량을 감소시키기 위한 중복된 포인트 데이터와 추가된 포인트 데이터를 구분하여 파싱하고, 모바일 클라이언트는 카메라를 사용하여 위치 추적을 수행, 해당 위치를 클라우드 서버(200)에서 수신받아 렌더링하고, (d) 단계로서, 클라우드 서버(200)가 렌더링된 장면 정보를 클라이언트 단말(300)로 스트리밍하여 XR 콘텐츠를 제공하게 된다.
여기서, WebRTC(Web Real-Time Communication) API는 웹 브라우저 간에 플러그인의 도움없이 서로 통신할 수 있도록 설계된 API로서, 임의의 데이터를 보내고 받을 수 있는 P2P(peer to peer) 채널을 이용할 수 있다. 그리고, 클라우드 서버(200)는 AR 렌더링 서버로서, 브라우저 실행 및 모바일 클라이언트 위치 정보에 기반을 두어 렌더링 실행하고, 서버 캔버스가 캡쳐(capture) API를 통해 비디오로 캡처되어 모바일 클라이언트로 스트리밍하고, 모바일 클라이언트에서의 서버의 3D 렌더링 비디오 표시하여 XR 콘텐츠를 제공하게 된다.
도 9는 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법이 실행되는 애플리케이션 서비스의 개념 모식도이다.
도 9에 나타낸 바와 같이, 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법을 실행하는 애플리케이션은 3D 모델의 증강현실(AR)을 적용하고 웹 브라우저 환경의 애플리케이션으로, 3D 템플릿에서 리깅(Rigging)된 3차원 모델을 AR 환경에서 3D 객체(object) 적용을 구현할수 있고, 공간스캐닝 & 앵커(Anchor) 포인트 지정할 수 있으며, 렌더링 서버의 가상 카메라로부터 수신된 장면 정보를 스트리밍하여 XR 콘텐츠를 제공할 수 있다.
또한, AR 플랫폼과 장치 사이의 접근을 위한 표준으로 자리잡고 있는 Open XR SDK를 활용하여 웹 기반의 AR 서비스를 제공할 수 있고, 크로스 플랫폼 Open XR 표준 기반의 XR 콘텐츠 제공 서비스를 구현할 수 있고, 카메라 권한을 가지는 증강현실 웹(모바일 브라우저) 기반 서비스를 구현할 수 있을 뿐만 아니라, 웹 브라우저를 통해 콘텐츠를 제공받는 서비스를 구현할 수 있다.
전술한 본 발명의 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 클라우드 서버(200)를 이용한 AI 기반의 XR 콘텐츠 서비스 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 모델링부
200: 클라우드 서버
300: 클라이언트 단말

Claims (6)

  1. (a) 모델링부가 3D 체적 모델링 기술을 이용하여 객체의 3D 모델 탬플릿을 생성하는 단계;
    (b) 모델링부가 딥러닝 기술을 이용하여 상기 객체의 포즈 추정(Pose Estimation) 데이터를 획득하고, 상기 3D 모델 탬플릿의 뼈대(skeleton)의 움직임을 추정하여 리깅(Rigging) 정보를 획득한 후, 3D 모델 정보 및 3D 모델 동작 정보를 생성하고 3D 모델 데이터베이스에 저장하는 단계;
    (c) 클라우드 서버가 상기 3D 모델 데이터베이스에 저장된 상기 3D 모델 정보 및 3D 모델 동작 정보를 이용하여 3D 애니메이팅 정보를 렌더링하는 단계; 및
    (d) 상기 클라우드 서버가 클라이언트 단말로 상기 렌더링 데이터를 스트리밍하여 XR 콘텐츠를 제공하는 단계를 포함하되,
    상기 (a) 단계는,
    (a1) 다수개의 다시점 카메라를 이용하여 객체에 대한 3D 포토그래매트리(Photogrammetry) 캡쳐 데이터를 생성하는 단계; 및 (a2) 생성된 상기 3D 포토그래매트리(Photogrammetry) 캡처 데이터를 이용하여 상기 객체의 3D 체적(Volumetric) 모델 탬플릿을 생성하는 단계를 포함하고,
    상기 (c) 단계는,
    상기 3D 애니메이팅 정보의 처리량을 감소시키기 위한 중복된 포인트 데이터와 추가된 포인트 데이터를 구분하여 파싱하여 렌더링하는 단계; 및 상기 클라우드 서버가 상기 클라이언트 단말로부터 수신받은 위치 정보에 기반하여 렌더링하는 단계를 포함하는 것을 특징으로 하는 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 (b) 단계는,
    (b1) 모델링부가 딥러닝 기술을 이용하여 상기 객체의 포즈 추정(Pose Estimation) 정보를 산출하는 단계;
    (b1) 모델링부가 상기 3D 모델 탬플릿의 뼈대(skeleton) 사이의 시간적인 움직임 벡터를 획득하고 리깅(Rigging) 정보를 생성하는 단계; 및
    (b2) 산출된 상기 포즈 추정 정보를 이용하여 상기 리깅(Rigging) 정보를 보정하고, 보정된 상기 리깅(Rigging) 정보를 이용하여 상기 3D 모델 탬플릿의 동작 정보를 생성하여 상기 3D 모델 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 렌더링은,
    webRTC API 기반 웹 브라우저 스트리밍 방식의 렌더링인 것을 특징으로 하는 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법.
  6. 제1항에 있어서,
    상기 (d) 단계는,
    클라이언트 단말에서 상기 스트리밍 데이터를 통해 3D 템플릿에서 리깅(Rigging)된 상기 3D 객체 모델을 증강현실(AR) 환경에서 적용하여 구현하고, 웹 브라우저를 통해 XR 콘텐츠를 제공하는 단계인 것을 특징으로 하는 클라우드 서버를 이용한 AI 기반의 XR 콘텐츠 서비스 방법.
KR1020220010438A 2022-01-25 2022-01-25 클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법 Active KR102561903B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220010438A KR102561903B1 (ko) 2022-01-25 2022-01-25 클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220010438A KR102561903B1 (ko) 2022-01-25 2022-01-25 클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법

Publications (2)

Publication Number Publication Date
KR20230114375A KR20230114375A (ko) 2023-08-01
KR102561903B1 true KR102561903B1 (ko) 2023-08-02

Family

ID=87561762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220010438A Active KR102561903B1 (ko) 2022-01-25 2022-01-25 클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법

Country Status (1)

Country Link
KR (1) KR102561903B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102684338B1 (ko) * 2023-06-07 2024-07-12 하혜주 크로마키합성을 혁신한 인공지능 기반 촬영대행 서비스 제공 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640175A (zh) * 2018-06-21 2020-09-08 华为技术有限公司 一种物体建模运动方法、装置与设备
KR102314782B1 (ko) * 2019-10-28 2021-10-19 네이버랩스 주식회사 3차원 증강현실 표시 방법

Also Published As

Publication number Publication date
KR20230114375A (ko) 2023-08-01

Similar Documents

Publication Publication Date Title
US12432267B2 (en) 3D mesh generation on a server
CN111656407B (zh) 对动态三维模型的视图进行融合、纹理化和绘制
US10600157B2 (en) Motion blur simulation
US20240346780A1 (en) Delivering virtualized content
US10984583B2 (en) Reconstructing views of real world 3D scenes
US10621777B2 (en) Synthesis of composite images having virtual backgrounds
CN112712487B (zh) 一种场景视频融合方法、系统、电子设备及存储介质
EP3762901A1 (en) Methods and systems for producing content in multiple reality environments
US20170374256A1 (en) Method and apparatus for rolling shutter compensation
US12417597B2 (en) Systems and methods for augmented reality video generation
US10783704B2 (en) Dense reconstruction for narrow baseline motion observations
CN103369353A (zh) 基于互联网的网络的集成立体转换装置
KR102558294B1 (ko) 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법
Zhu et al. SAVE: shared augmented virtual environment for real-time mixed reality applications
KR102561903B1 (ko) 클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법
US20250218109A1 (en) Rendering Videos with Novel Views from Near-Duplicate Photos
US20250126221A1 (en) Method, apparatus, electronic device and readable medium for video recording
CN114723873A (zh) 端到端3d场景重建和图像投影
KR20170059310A (ko) 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템
CN119399337B (zh) 基于时空超分辨率和神经辐射场的三维场景渲染方法
TW201305962A (zh) 用於影像模型建立之方法及配置
CN117830085A (zh) 视频转换方法及装置
CN120639955A (zh) 虚拟拍摄中的虚拟置景方法、装置和存储介质
CN120431246A (zh) 动态场景重建方法和电子设备
Albuquerque et al. An overview on virtual sets

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220125

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221118

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230518

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230727

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230728

End annual number: 3

Start annual number: 1

PG1501 Laying open of application
PG1601 Publication of registration