[go: up one dir, main page]

JP2018005880A - リアルタイムで動的に決定された感知に基づいて自律走行車においてコンテンツを提供するシステムおよび方法 - Google Patents

リアルタイムで動的に決定された感知に基づいて自律走行車においてコンテンツを提供するシステムおよび方法 Download PDF

Info

Publication number
JP2018005880A
JP2018005880A JP2016232452A JP2016232452A JP2018005880A JP 2018005880 A JP2018005880 A JP 2018005880A JP 2016232452 A JP2016232452 A JP 2016232452A JP 2016232452 A JP2016232452 A JP 2016232452A JP 2018005880 A JP2018005880 A JP 2018005880A
Authority
JP
Japan
Prior art keywords
content
autonomous vehicle
image
user
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016232452A
Other languages
English (en)
Other versions
JP6494589B2 (ja
Inventor
リユン リー
Liyun Li
リユン リー
シャオシャン リウ
Shaoshan Liu
シャオシャン リウ
シャン ウー
Shuang Wu
シャン ウー
ペン ジェームズ
James Peng
ペン ジェームズ
ジンガォ ワン
Jingao Wang
ジンガォ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2018005880A publication Critical patent/JP2018005880A/ja
Application granted granted Critical
Publication of JP6494589B2 publication Critical patent/JP6494589B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F21/00—Mobile visual advertising
    • G09F21/04—Mobile visual advertising by land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ユーザに動的コンテンツを配信する、自立走行者におけるコンテンツ提供システム及びその方法を提供する。【解決手段】自律走行車に取り付けられたカメラによってキャプチャされた、自律走行車の外部環境を表示する画像に対して画像分析を実行する。画像をキャプチャした時点で自律走行車の周辺の位置決め情報を取得する。画像分析および前記位置決め情報に基づいて自律走行車の外部にいる視聴者の感知を決定する。視聴者の感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信する。１つまたは複数のコンテンツアイテムから選択された第一コンテンツアイテムを自律走行車の外表面に取り付けられた表示装置において表示する。【選択図】図５

Description

本発明の実施形態は、コンテンツ検索および配信に関する。より具体的には、本発明の実施形態は、感知に基づき自律走行車において行われるコンテンツ検索および配信に関する。
自律モード（例えば、自動運転）で運転される車両は乗員、特に運転者を運転関連作業から解放することを可能にする。自律モードで運転する場合、車両は車載センサを利用して様々な位置導かれることができ、それによって、ヒューマンインタラクションが最小化である場合、または乗員がない状況で車両走行を可能にする。従って、自律走行車は、乗員、特に車両を運転するすべきな人が走行中に他のことをすることを可能にする。様々な運転関連作業に集中する代わり、運転者は自律走行車に乗る時に映画やその他のメディアコンテンツを自由に見ることができる。
また、自律走行車は通常より多くのセンサが配置されているため、従来の車両でのコンテンツ配信に比べて、さらに良好なコンテキスト情報を有する。自律走行車が通常ウィンドウで取得した実際視覚知識の代わりにセンサの情報に基づいて操作することから、自律走行車のドアやウィンドウは不可欠なものではなくなる。
しかしながら、自律走行車における通常のコンテンツ配信システムは、通常、自律走行車が運転しているリアルタイム環境にかかわらず、ユーザに静的コンテンツを提供する。配信されたコンテンツには、視聴者にとって興味があるものもあれば、興味がないものもある。
一つの様態において、コンテンツを自律走行車に配信するコンピュータ実施方法を提供し、この方法は、前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップと、前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む。
もう一つの様態において、命令を記憶した非一時的機械可読媒体を提供し、この非一時的機械可読媒体は、前記命令がプロセッサにより実行される場合、自律走行車にコンテンツを提供する操作を前記プロセッサに実行させ、前記操作は、前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップと、前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む。
さらにもう一つの様態において、データ処理システムを提供し、このデータ処理システムは、プロセッサと、前記プロセッサに接続されて命令を記憶する記憶装置と、を含み、前記命令が前記プロセッサにより実行される場合、自律走行車においてコンテンツを提供する操作を前記プロセッサに実行させ、前記操作は、前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップと、前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む。
本出願の実施形態は、図面の各図に例として非限定的に示され、図面における同一符号は、類似の構成要素を示す。
本発明の一実施形態に係るネットワーク化システムを示すブロック図である。 本発明の一実施形態に係る自律走行車のネットワーク構成を示すブロック図である。 本発明の一実施形態に係る自律走行車の視聴者にコンテンツを提供するモデルを示す図である。 一実施形態に係る自律走行車のコンテンツ配信メカニズムを示す処理フローである。 本発明の一実施形態に係る自律走行車用の、コンテンツを処理するプロセスを示すフローチャートである。 一実施形態に係るデータ処理システムを示すブロック図である。
以下、説明の詳細を参照しながら、本出願の様々な実施形態および方法を説明し、図面は、前記様々な実施形態を示す。以下の説明および図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本出願の実施形態に対する簡単な説明を提供するために、周知または従来技術の詳細について説明していない。
本明細書では「一つの実施形態」または「実施形態」とは、当該実施形態について組み合わせて説明された特定特徴、構造または特性が、本出願の少なくとも一つの実施形態に含まれてもよい。語句「一つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。
いくつかの実施形態によれば、自律走行車のコンテンツ配信システムは、自律走行車における旅行中の搭乗者および自律走行車の外部にいる視聴者のユニークな設定を考慮する。従来の表示に基づくコンテンツ技術、拡張現実による拡張機能および自律走行車の独特な情報を利用して、コンテンツ配信システムは自律走行車のシナリオにおいて外部の視聴者へ動的コンテンツを配信する問題に対処する。本質的に、自律走行車を移動しているコンテンツ表示プラットフォームとみなし、ここで、独特なコンテキストアウェアメディアコンテンツ（context-aware media content）が、自律走行車に装着されたセンサ（例えば、カメラ）でキャプチャした環境情報によってをレンダリングされることができる。
一実施形態によれば、自律走行車に取り付けられたカメラによってキャプチャした画像に対して画像分析を実行する。前記画像は自律走行車の外部環境を表示または説明する。その時点で自律走行車の周辺の位置決め情報を取得する。位置決め情報の実例として、位置および経路情報、地図とポイントオブインタレスト（ＭＰＯＩ）情報、並びに画像をキャプチャした時点でリアルタイム交通情報を含んでもよい。画像分析と位置決め情報に基づいて自律走行車の外部にいる視聴者の感知を決定する。視聴者の感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信する。１つまたは複数のコンテンツアイテムから少なくとも一つのコンテンツアイテムを選択して、自律走行車の外表面に取り付けられた表示装置において前記少なくとも一つのコンテンツアイテムを表示する。
特定の実施形態では、ネットワークを介して感知情報をコンテンツ交換プラットフォームに伝送する。前記コンテンツ交換プラットフォームはコンテンツ交換または入札フォーラムをホストして複数のコンテンツプロバイダが感知情報に基づいて見積りを提出して対応したコンテンツを配信することを可能にする。交換プラットフォームおよび/または自律走行車でコンテンツをランキングして、自律走行車の外表面に装着された１つまたは複数の表示装置に表示する１つまたは複数の最終コンテンツの候補を選択する。外部視聴者（例えば、自律走行車の外部に取り付けられた表示装置（複数の表示装置）を見ている人）に表示されるコンテンツを具体的に選択して合わせることができる。一実施形態において、コンテンツを表示する表示装置と画像をキャプチャするカメラは同一表面、同一方向または方位に取り付けられ、ここで、コンテンツは前記同一表面、同一方向または方位で識別されて選択される。従って、カメラによってキャプチャされた同一視聴者に表示するコンテンツを合わせることができる。前記技術は自律走行車の内部にいる視聴者にも適用できる。
図１は本発明の一実施形態に係る自律走行車のコンテンツ配信システムを示すブロック図である。図１に示されるように、自律走行車１０１は自律走行車１０１の外表面に取り付けられた一組のセンサ（例えば、カメラ１８１Ａ〜１８１Ｂ）と、自律走行車１０１の周辺の外部環境の画像をキャプチャするためのセンサに接続されるデータ処理システム１１０を含むが、これらに制限されない。データ処理システム１１０は、センサから取得されたキャプチャ情報を処理して且つ１つまたは複数のリモートコンテンツプロバイダ（例えば、コンテンツサーバ１０２Ａ〜１０２Ｃ）と通信する。
データ処理システム１１０はキャプチャした情報を分析して視聴者（例えば、自律走行車１０１内に乗っている内部視聴者および/または自律走行車１０１外にいる外部視聴者）の視点から感知を取得する。データ処理システム１１０は次にコンテンツサーバ１０２Ａ〜１０２Ｃまたはコンテンツサーバ１０２Ａ〜１０２Ｃをホストするコンテンツ交換プラットフォームと通信して、自律走行車１０１に係る表示装置のいずれか（例えば、内部表示装置１８２Ａ〜１８２Ｂおよび/または外部表示装置１８３Ａ〜１８３Ｂ）に表示しようとするコンテンツを受信する。自律走行車１０１内の視聴者に合わせて、内部表示装置１８２Ａ〜１８２Ｂに表示されるコンテンツ（例えば、仮想現実および/または拡張コンテンツ）を識別してレンダリングすることができる。自律走行車１０１外の視聴者に合わせて、外部表示装置１８３Ａ〜１８３Ｂに表示されるコンテンツ（例えば、その時点での外部設定または外部視聴者の周辺におけるテーマに基づいてコンパイルされるコンテンツ）を識別してレンダリングすることができる。
図２は本出願に係る一実施形態に係る自律走行車のネットワーク構成を示すブロック図である。図２を参照し、ネットワーク構成２００は、ネットワーク１０３を介して１つまたは複数のサーバ１０２（例えば、コンテンツサーバ）に通信接続される自律走行車１０１を含む。ここで、１つの自律走行車を示しているが、複数の自律走行車がネットワーク１０３によってサーバ１０２に接続されるようにしてもよい。ネットワーク１０３は、任意のタイプのネットワーク、例えば、有線や無線のローカルエリアネットワーク（ＬＡＮ）、およびインターネット、セルラーネットワーク、衛星ネットワークのようなワイドエリアネットワーク（ＷＡＮ）、またはその組合せであってもよい。サーバ１０２は、任意のタイプのサーバまたはサーバクラスター、例えばネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバまたはその組合せであってもよい。
一実施形態において、自律走行車１０１は、センサシステム１１５およびデータ処理システム１１０を含むが、それらに限定されない。センサシステム１１５は、自律走行車１０１が様々な道路や場所をナビゲートすることを可能にするのに必要な複数種のセンサまたは感知装置を含む。例えば、センサシステム１１５は、１つまたは複数のカメラ、マイクロホン、全地球測位システム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、レーダーシステムおよび/または光検出および距離測定（ＬＩＤＡＲ）システムを備えてもよい。データ処理システム１１０は、例えばバス、相互接続部材、またはネットワークによってセンサシステム１１５に通信可能に接続される。データ処理システム１１０は、センサシステム１１５から受信された全てのデータを処理し且つセンサシステム１１５を管理または制御するように操作できる。データ処理システム１１０は、センサシステム１１５から受信された情報を処理して自律走行車１０１の運転と制御に必要なソフトウェア及びハードウェアを備える専用コンピュータであってもよい。
一実施形態において、データ処理システム１１０は、位置決めモジュール１２１、コンテンツ選択モジュール１２２、コンテンツ交換モジュール１２３、ビジョンシステムモジュール（ＶＳＭ）１２４、および感知モジュール１２５を含むが、それらに限定されない。モジュール１２１〜１２５は、ソフトウェア、ハードウェアまたはその組合せにより実現できる。例えば、モジュール１２１〜１２５は、システムメモリにロードされ且つデータ処理システム１１０の１つまたは複数のプロセッサにより実行されてもよい。位置決めモジュール１２１（行程モジュールとも呼ばれる）は、ユーザのルートに関連する任意のデータを管理する。ユーザは、ユーザインタフェースによってログインし且つルートの開始位置および目的地を指定してもよい。位置決めモジュール１２１が自律走行車１０１の他の構成要素と通信してルート関連データを取得する。例えば、位置決めモジュール１２１は、位置サービスサーバ１０６および地図とＰＯＩ（ＭＰＯＩ）サーバ１０５から位置および経路情報を取得できる。位置サービスサーバ１０６は、位置サービスを提供し、且つ、ＭＰＯＩサーバ１０５は、地図サービスおよびいくつかの位置のＰＯＩを提供する。自律走行車１０１が前記経路に沿って走行する期間、位置決めモジュール１２１は、さらに交通情報システムまたはサーバ（ＴＩＳ）１０４からリアルタイム交通情報を取得できる。なお、サーバ１０４〜１０６は、第三者エンティティにより操作されてもよい。必要に応じて、サーバ１０４〜１０６の機能は、サーバ１０２と一体に集積されてもよい。
一実施形態によれば、センサシステム１１５でキャプチャされた画像に応答して、ＶＳＭモジュール１２４は前記画像を分析して前記画像を説明する画像メタデータを取得する。ＶＳＭモジュール１２４は前記画像に対して画像識別を実行して前記画像で表示されるコンテンツ（例えば、人、例えば建物の背景、標識）を確定することができる。画像分析および位置決めモジュール１２１が取得した位置決め情報に基づき、感知モジュール１２５は感知を確定する。次に、感知情報をコンテンツ交換モジュール１２３で１つまたは複数のコンテンツサーバ１０２に伝送してコンテンツサーバ１０２が提供したコンテンツを交換する。前記感知情報に応答して、サーバ１０２のコンテンツ交換モジュール１３５はコンテンツデータベース１３１において検索して１つまたは複数のコンテンツアイテムを識別する。感知情報は感知を表示する特定のキーワードを含んでもよい。このようなキーワードはコンテンツアイテムの識別に用いることができる。例えば、キーワード・ツー・コンテンツＩＤ（keyword-to-content ID）のマッピングテーブル（図示せず）が設置されて、特定キーワード（例えば、ビットワード（ｂｉｄｗｏｒｄ））をコンテンツアイテムを識別するコンテンツＩＤにマッピングする。次に、識別されたコンテンツアイテム（複数のコンテンツアイテム）をデータ処理システム１１０に返送する。コンテンツ選択モジュール１２２は自律走行車１０１の１つまたは複数の表示装置に表示されるコンテンツのうちの１つまたは複数をランキングして選択する。
図３は本発明の一実施形態に係る自律走行車の視聴者へコンテンツを提供するモデルを示す図である。図３に示されるように、感知モジュール１２５はＶＳＭモジュール１２４で取得されたＶＳＭ情報３０１および位置決めモジュール１２１でコンパイルされた位置決め情報３０２を使用して感知３０３を発生させる。感知情報はコンテンツ選択工程３０４に使用可能であり、前記コンテンツ選択工程３０４において感知情報はコンテンツ交換プラットフォーム３０５に表示される。複数のコンテンツプロバイダ３０６がコンテンツサービスについて入札できるように、コンテンツ交換プラットフォーム３０５は第三者（例えば、Ａｄ入札プラットフォーム）でホストされてもよい。所定のランキングアルゴリズムを使用してコンテンツプロバイダ３０６が提供したコンテンツをランキングする。次に、１つまたは複数のコンテンツアイテムを選択してコンテンツレンダリングモジュール（図示せず）でレンダリング工程３０７においてレンダリングする。レンダリングされたコンテンツは複数の表示装置３０８Ａ〜３０８Ｃにおいて表示されることができる。表示装置３０８Ａ〜３０８Ｃは、具体的な視聴者に応じて内部または外部に取り付けることができる。例えば内部視聴者向けのレンダリングされたコンテンツは自律走行車内に取り付けられ表示装置において表示可能である。同様に、外部視聴者向けのレンダリングされたコンテンツは自律走行車の外表面に取り付けられた外部視聴者向けの表示装置において表示可能である。
一実施形態において、内部表示装置に表示しようとするコンテンツを準備するに際して、カメラによってキャプチャされた画像を分析することで画像中の人または対象を識別する。識別された画像に関連する１つまたは複数のキーワードや、ポイントオブインタレスト（ＰＯＩ）を決定する。コンテンツ選択モジュールは前記キーワードに基づいて１つまたは複数のコンテンツアイテムを検索して識別し、例えば自律走行車に保存されたコンテンツデータベースにおいて検索したり、クラウドにおけるコンテンツ交換プラットフォームやコンテンツサーバと通信することによって検索する。次に、これらのコンテンツアイテムをランキングし、コンテンツ選択エンジンはランキングされたコンテンツアイテムから少なくとも一つを選択して表示する。例えば、選択されたコンテンツアイテムを画像に拡張させて拡張画像を発生させてコンテンツアイテムをレンダリングする。コンテンツ表示モジュール（図示せず）は画像の観察角度に関連する位置で搭乗者による画像観察を拡張させる、選択されたコンテンツアイテムを車両の搭乗者に表示する。
選択されたコンテンツアイテムを画像に重ねて拡張画像を形成することができる。次に、拡張画像は自律走行車内の表示装置に表示される。表示装置は車両の窓となるように設置できる。ユーザが表示装置を見る時に、ユーザが一般的な窓を介して物理的対象を見るごとく、画像の対象を仮想現実方式で仮想対象として表示する。表示装置は拡張現実（ＡＲ）環境に類似しまたはそれをシミュレートした拡画像のストリーム（例えば、拡張ビデオ）をリアルタイムに表示できる。表示装置は、搭乗者が以下の方式でコンテンツアイテムに応答できるように、インタラクション用のタッチパネルを含んでよもく、即ち、全てのコンテンツアイテムを視聴すること、コンテンツアイテムが推薦する動作を取ること、およびコンテンツアイテムが提供する選択肢から選択したりコンテンツアイテムをすぐ放棄したりすることである。
図４は一実施形態に係る自律走行車のコンテンツ配信メカニズムを示す処理フローである。プロセス４００は図１〜２に示されるシステム構成に実行されることができる。図４に示されるように、位置決めモジュール１２１は位置決め情報、例えば、位置および経路情報４０１、リアルタイム交通情報４０２およびＭＰＯＩ情報４０３をリアルタイムに取得する。このような情報は第三者情報提供者（例えば、図２のサーバ１０４〜１０６）から取得できる。
また、ＶＳＭモジュール１２４によってセンサシステム１１５がキャプチャした画像を分析して前記画像を説明するメタデータをコンパイルする。前記画像は自律走行車の周辺の外部環境を表示する。ＶＳＭモジュール１２４は前記画像に対して画像識別を実行できる。例えば、ＶＳＭモジュール１２４はユーザを前記環境中の視聴者として識別できる。ＶＳＭモジュール１２４はユーザが大人か子供か、男か女か、および前記ユーザにより実行する活動等を確定できる。ＶＳＭモジュール１２４は前記画像の背景（例えば建物（例えば、モール）や標識（例えば、ビルボード））およびそれらに表示されるコンテンツをさらに識別できる。
一実施形態において、位置決め情報と画像分析の結果が感知モジュール１２５に提供されて前記環境での感知を発生させる。感知は、視聴者に対応し且つその時点で位置決め情報と画像分析に基づいて動的コンパイル可能なユーザプロファイルを含んでもよい。感知情報およびユーザプロファイルはコンテンツ選択モジュール１２２および/またはコンテンツ交換モジュール１２３に提供されることができる。コンテンツ交換モジュール１２３はコンテンツプロバイダ１０２（例えば、コンテンツサーバまたは前記コンテンツサーバをホストするコンテンツ交換プラットフォーム）と通信してコンテンツプロバイダ１０２が提供するコンテンツを交換する。コンテンツ交換モジュール１２３は感知を表示するデータをコンテンツサーバ１０２に伝送できる。感知データはコンテンツプロバイダ１０２とコンテンツ交換モジュール１２３が合意した標準化用語、キーワードまたはラベル（例えば、ビットワード）を含むことができる。
一実施形態において、感知情報をコンテンツ交換プラットフォーム（例えば、広告サーバまたはＡｄサーバ）に伝送してコンテンツプロバイダ（例えば、広告主）がコンテンツサービス（例えば、Ａｄ）について入札することを可能にする。コンテンツプロバイダ１０２が提出したコンテンツに応答して、コンテンツ選択モジュール１２２のランキングモジュール（図示せず）は所定のランキングアルゴリズム（例えばユーザプロファイルに応じて）を使用してコンテンツをランキングする。次に、コンテンツ選択モジュール１２２のコンテンツレンダリングモジュール（図示せず）は１つまたは複数のコンテンツアイテム４１５を選択してレンダリングする。その後、目的視聴者に向かっている１つまたは複数の表示装置４２０（例えば自律走行車の外表面に取り付けられた表示装置）においてレンダリングされたコンテンツアイテムを表示する。
なお、図４に示されるプロセスは周期的または連続的に繰り返して実行できる。新しいまたは更新されたキャプチャ情報を分析でき、位置決め情報を更新できる。コンテンツプロバイダ１０２において新しいまたは更新されたコンテンツを識別して検索することができ、前記コンテンツプロバイダ１０２について、一回の繰り返しと他の一回の繰り返しが同じでも異なってもよい。次に、表示装置において新しいまたは更新されたコンテンツを表示する。コンテンツプロバイダ１０２が提供したコンテンツのうち、一部はコンテンツデータベースとしてローカル記憶装置にキャッシュし且つクラウドにおけるコンテンツプロバイダ１０２によって周期的に更新することができる。このような構成は、クラウドに対するネットワーク接続が一時的に消える場合もカバーする。
一実施形態によれば、ユーザと表示されたコンテンツとのインタラクションはカメラでキャプチャされてシステムによって分析されることができる。ユーザインタラクションに基づいてコンテンツを更新することが可能である。例えば、カメラは、ユーザがコンテンツを見ていること、表示されたコンテンツに指していること、コンテンツの写真を撮っていること、コンテンツの一部として示される機械可読コードを走査していること等を表示する画像をキャプチャできる。この場合、現在表示されたコンテンツに基づいて別のコンテンツを識別することに用いられてもよい。従って、コンテンツはその時点で視聴者をさらに吸引する。
なお、前記のように前記技術は外部視聴者へのコンテンツ配信に用いられることが記述された。前記技術は自律走行車内の視聴者にも適用できる。例えば、自律走行車内に取り付けられた表示装置を使用して仮想現実方式で、リアルタイムにキャプチャして外部環境を表示する画像またはビデオを表示できる。前記技術の少なくとも一部によってクラウドにおけるコンテンツプロバイダから追加コンテンツを識別することができる。追加コンテンツをリアルタイムにキャプチャされた画像に拡張させて自律走行車内に取り付けられた表示装置において表示できる。自律走行車内に取り付けられた表示装置はユーザが表示されたコンテンツとインタラクションするためのタッチパネルを含むことができる。このようなユーザインタラクションは表示に供する別のコンテンツを選択することに用いられ得る。
図５は本発明の一実施形態に係る自律走行車用のコンテンツの処理プロセスを示すフローチャートである。プロセス５００はソフトウェア、ハードウェアまたはこれらの組合せを含む処理ロジックにより実行されることができる。例えば、プロセス５００は図２のデータ処理システム１１０により実行されてもよい。図５に示されるように、ブロック５０１において、処理ロジックは自律走行車に取り付けられたカメラを使用して自律走行車の周辺の外部環境を表示する画像をキャプチャする。ブロック５０２において、処理ロジックはその時点での自律走行車に関連する位置決め情報（例えば、位置および経路の情報、ＭＰＯＩ情報、交通情報）を取得する。ブロック５０３において、処理ロジックは画像分析および位置決め情報に基づいて自律走行車の外部環境に関連する感知を決定する。ブロック５０４において、処理ロジックは感知情報を１つまたは複数のコンテンツサーバ、または１つまたは複数のコンテンツサーバをホストするコンテンツ交換プラットフォームに伝送して１つまたは複数のコンテンツプロバイダからのコンテンツアイテムを交換する。ブロック５０５において、処理ロジックは所定のランキングアルゴリズムまたはコンテンツ選択方法を使用して１つまたは複数のコンテンツアイテムをランキングして選択する。ブロック５０６において、自律走行車の外表面（例えば、窓、ドアおよびルーフ）に取り付けられた１つまたは複数の表示装置において選択されたコンテンツアイテムを表示する。
本出願の全体にわたって説明される技術は、時点における行程の経路に沿った走行環境（例えば、位置および経路情報、リアルタイム交通情報および地図と興味点）に基づき、自律走行車に乗るユーザに特定のスポンサー付きコンテンツ（例えば、広告またはＡｄ）を提供することに用いられてもよい。リアルタイムにキャプチャされた自律走行車の周辺環境の１つまたは複数の画像にスポンサー付きコンテンツを拡張し、それにより拡張現実コンテンツの配信環境を構築する。
上記自律走行車とは、車両が運転者からの入力が非常に少なくまたはない場合でもナビゲーションして環境を通過するように自律走行モードに設定できる車両である。このような自律走行車は、車両走行環境に関連する情報を検出するための１つまたは複数のセンサを含むセンサシステムを備えてもよい。前記車両およびそれに関連するコントローラは、検出された情報を用いてナビゲーションして前記環境を通過できる。前記センサシステムは、１つまたは複数のカメラ、マイクロホン、全地球測位システム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、レーダーシステムおよび/または光検出および距離測定（ＬＩＤＡＲ）システムを備えてもよい。
ＧＰＳシステムは、自律走行車の地理的位置を推定できる。ＧＰＳシステムは、送受信機を備えてもよく、前記送受信機は、自律走行車の位置に関連する情報を提供するように動作できる。ＩＭＵユニットは、慣性加速度に基づいて自律走行車の位置および方位変化を感知できる。レーダーユニットは、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、感知対象以外に、レーダーユニットはさらに対象の速度および/または前進方向を感知できる。ＬＩＤＡＲユニットは、レーザで自律走行車が位置する環境における対象を感知してもよい。他のシステムの構成要素以外に、ＬＩＤＡＲユニットはさらに１つまたは複数のレーザ光源、レーザスキャナーおよび１つまたは複数の検出器を備えてもよい。カメラは、自律走行車の周辺環境の画像をキャプチャするための１つまたは複数の装置を備えてもよい。カメラはスチルカメラまたはビデオカメラであってもよい。カメラは、カメラが取り付けられたプラットフォームを回転および/または傾斜させるように機械的に移動してもよい。マイクロホンは、自律走行車の周辺環境から音声をキャプチャするように構成されてもよい。
自律走行車は、自律走行車環境における対象および/または特徴を識別するように１つまたは複数のカメラによりキャプチャされた画像を処理して分析するためのコンピュータビジョンシステムをさらに備えてもよい。前記対象は、交通信号、車道境界、他の車両、通行人および/または障害物等を含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオ追跡および他のコンピュータビジョン技術を用いてもよい。いくつかの実施形態において、コンピュータビジョンシステムは、環境地図の描画、対象追跡、対象速度の推定等を行うことができる。
自律走行車は、自律走行車の走行経路を決定するためのナビゲーションシステムをさらに備えてもよい。例えば、ナビゲーションシステムは、自律走行車が大体最終目的地に到着する車道経路に沿って前進するとともに、感知した障害物を基本的に回避するように一連の速度および所定の前進方向を決定してもよい。目的地はユーザインタフェースによるユーザ入力に基づいて設定されてもよい。ナビゲーションシステムは自律走行車が走行していると同時に走行経路を動的に更新してもよい。ナビゲーションシステムは、ＧＰＳシステムおよび１つまたは複数の地図からのデータを合併して自律走行車用の走行経路を決定する。
自律走行車は、自律走行車環境における潜在的障害物を識別し、評価し且つ回避して、または他の方式で迂回するための衝突防止システムをさらに備えてもよい。例えば、衝突防止システムは、制御システムにおける１つまたは複数のサブシステムが旋回動作、方向転換動作、ブレーキ動作等を行うように操作することによって自律走行車のナビゲーション中の変更を実現してもよい。衝突防止システムは、周囲の交通モード、道路状況等に基づいて実現可能な障害物回避動作を自動的に決定してもよい。衝突防止システムは、他のセンサシステムにより自律走行車が旋回して入る隣接領域に位置する車両、建築障害物等を検出した場合に旋回動作を行わないように構成されてもよい。衝突防止システムは、利用可能で自律走行車の搭乗者の安全性を最大化する動作を自動的に選択してもよい。衝突防止装置は、自律走行車の車室に最小の加速度をもたらすように、予測した回避動作を選択してもよい。
自律走行車は、その周辺環境内に位置する外部システム（例えば装置、センサ、他の車両等）および/またはコントローラ、サーバ等との通信を可能にする無線通信システムをさらに備えてもよく、前記外部システムおよび/またはコントローラ、サーバ等は、車両の周辺環境に関連する有用な情報、例えば交通情報、天気情報等を提供できる。例えば、無線通信システムは、直接的にまたは通信ネットワークによって１つまたは複数の装置と無線で通信できる。無線通信システムは、任意のセルラ通信ネットワークまたは無線ＬＡＮ（ＷＬＡＮ）、例えばＷｉＦｉを用いてもよい。無線通信システムは、例えば赤外リンク、ブルートゥース等を用いて装置と直接的に通信できる。
なお、上記の構成要素の一部または全部は、ソフトウェア、ハードウェアまたはそれらの組合せにより実現できる。例えば、このような構成要素は、永久記憶装置にインストールされ且つ記憶されたソフトウェアとして実現でき、前記ソフトウェアは、プロセッサ（図示せず）でメモリにおいてロードされ且つ実行されることにより、本出願の全体にわたって説明されるプロセスまたは操作を実行する。あるいは、このような構成要素は専用ハードウェア（例えば集積回路（例えば、専用集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされまたは組み込まれた実行可能なコードとして実現されてもよく、前記実行可能なコードは対応するドライバーおよび/またはオペレーティングシステムによってアプリケーションからアクセスできる。また、このような構成要素は、プロセッサまたはプロセッサコアにおける特定ハードウェアロジックとして実現されてもよく、ソフトウェア構成要素が１つまたは複数の特定命令によってアクセスされる命令セットの一部となる。
図６は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム１５００は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム、例えば図２のデータ処理システム１１０またはサーバ１０２を示してもよい。システム１５００は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置または回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボードまたはアドインカード）、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。
さらに、システム１５００は、コンピュータシステムの多数の構成要素の詳細ビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素を要してもよいことを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント（ＡＰ）またはリピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独立または共同で１つ（または複数）の命令セットを実行することにより本明細書に説明される任意の１種または複数種の方法を実行する機器またはシステムの任意のセットを含むことを理解すべきである。
一実施形態において、システム１５００は、バスまたは相互接続部材１５１０によって接続されたプロセッサ１５０１、メモリ１５０３および装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ１５０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。
プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現できる。プロセッサ１５０１は、命令を実行することにより本明細書に説明される操作およびステップを実行するための命令を実行ように構成される。また、システム１５００は、選択可能なグラフィックサブシステム（表示コントローラおよび／または表示装置）１５０４と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム（表示コントローラおよび／または表示装置）１５０４は、表示コントローラ、グラフィックプロセッサおよび/または表示装置をさらに備えてもよい。
プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）または他のタイプの記憶装置のような１つまたは複数の揮発性記憶（またはメモリ）装置を備えてもよい。メモリ１５０３は、プロセッサ１５０１または任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、入力出力基本システムまたはＢＩＯＳ）および/またはアプリケーションの実行可能なコードおよび/またはデータはメモリ１５０３にロードされてもよく、プロセッサ１５０１により実行される。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ(R)会社からのＷｉｎｄｏｗｓ(R)オペレーティングシステム、アップル会社からのＭａｃ ＯＳ(R)/ｉＯＳ(R)、Ｇｏｏｇｌｅ(R)会社からのＡｎｄｒｏｉｄ(R)、Ｌｉｎｕｘ(R)、Ｕｎｉｘ(R)または他のリアルタイムまたは組み込みオペレーティングシステム（例えばＶｘＷｏｒｋｓ）のような任意のタイプのオペレーティングシステムであってもよい。
システム１５００は、Ｉ/Ｏ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェース装置１５０５、選択可能な入力装置１５０６および他の選択可能なＩ/Ｏ装置１５０７を備える。ネットワークインターフェース装置１５０５は、無線送受信機および/またはネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）または他の無線周波数（ＲＦ）送受信機またはそれらの組合せであってもよい。ＮＩＣはイーサネットカードであってもよい。
入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置１５０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）および/またはキーボード（例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量、抵抗、赤外および表面音波の技術を含むが、それらに限定されない）のいずれか、およびタッチスクリーンの１つまたは複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてそのタッチ点および移動または断続を検出できる。
Ｉ/Ｏ装置１５０７は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および/または電話機能のような音声サポートの機能を促進する。他のＩ/Ｏ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ〜ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）またはそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真およびビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置または設計により決められる。
データ、アプリケーション、１つまたは複数のオペレーティングシステム等のような情報の永久記憶を提供するために、大容量記憶装置（図示せず）は、プロセッサ１５０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶装置は、ソリッドステート装置（ＳＳＤ）によって実現できる。なお、他の実施形態において、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムの基本入力/出力ソフトウェア（ＢＩＯＳ）および他のファームウェアを備える。
記憶装置１５０８は、任意の１種または複数種の本明細書に記載の方法または機能を体現する１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニットおよび/またはロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を備えてもよい。モジュール/ユニット/ロジック１５２８は、上記した検索エンジン、エンコーダ、インタラクションログ記録モジュールのような上記構成要素のいずれかを示してもよい。モジュール/ユニット/ロジック１５２８は、さらにデータ処理システム１５００により実行される期間にメモリ１５０３内および/またはプロセッサ１５０１内に完全または少なくとも部分的に存在してもよく、ここで、メモリ１５０３およびプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。モジュール/ユニット/ロジック１５２８は、さらにネットワークによってネットワークインターフェース装置１５０５を経由して送受信されてもよい。
コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つまたは複数の命令セットが記憶される単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶またはコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行され且つ前記機器に本出願の任意の１種または複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本明細書に記載のモジュール/ユニット/ロジック１５２８、構成要素および他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウェアコンポーネント（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰまたは類似装置）の機能に統合されてもよい。さらに、モジュール/ユニット/ロジック１５２８は、ハードウェア装置内のファームウェアまたは機能回路として実現されてもよい。また、モジュール/ユニット/ロジック１５２８は、ハードウェア装置およびソフトウェアコンポーネントの任意の組合せで実現されてもよい。
なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列（sequence of operations）と考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。
ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリに物理（例えば、電子）量としてデータを示し、且つ前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送または表示装置内において類似に物理量として示される他のデータに変換する。
本出願の実施形態は、さらに本明細書における操作を実行するための装置に関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。
上記図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的コンピュータ可読媒体に具現化される）、または両方の組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。
本出願の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本出願の実施形態の教示を実現できることを理解すべきである。
以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。

Claims (24)

  1. コンテンツを自律走行車に配信するコンピュータ実施方法であって、
    前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、
    画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップと、
    前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、
    前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、
    前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む、
    ことを特徴とするコンピュータ実施方法。
  2. 前記感知を説明する感知情報を複数のコンテンツサーバに伝送して前記コンテンツサーバが提供するコンテンツアイテムを交換するステップをさらに含む
    ことを特徴とする請求項１に記載の方法。
  3. 前記感知情報は、前記感知を説明する１つまたは複数のキーワードを含み、前記コンテンツサーバはクラウドネットワークを介して前記自律走行車に通信接続されるクラウドサーバである
    ことを特徴とする請求項２に記載の方法。
  4. 前記感知に基づいて前記コンテンツサーバから受信された前記コンテンツアイテムを所定のランキングアルゴリズムによってランキングを行うステップと、
    前記ランキングに基づいて前記１つまたは複数のコンテンツアイテムから前記第一コンテンツアイテムを選択するステップと、をさらに含む
    ことを特徴とする請求項１に記載の方法。
  5. 前記画像分析に基づき、前記画像で表示された前記視聴者を識別して決定するステップをさらに含んでおり、ここで、前記第一コンテンツアイテムが、決定された視聴者に応じて選択されたものである
    ことを特徴とする請求項４に記載の方法。
  6. 前記カメラを使用して第二画像をキャプチャするステップと、
    前記カメラでキャプチャされた、前記第一ユーザのユーザ画像を含む前記第二画像に基づいて、前記第一ユーザに関するユーザプロファイルをコンパイルするステップと、
    前記ユーザインタラクションと前記ユーザプロファイルを前記１つまたは複数のコンテンツサーバに伝送して第二コンテンツアイテムを交換するステップと、
    前記表示装置において前記第二コンテンツアイテムを表示するステップと、をさらに含んでおり、
    ここで、前記第二画像は、前記視聴者の一部とする第一ユーザの、前記第一コンテンツアイテムに関連するユーザインタラクションを表示する
    ことを特徴とする請求項２に記載の方法。
  7. 前記１つまたは複数のコンテンツサーバに加えて、前記ユーザインタラクションと前記ユーザプロファイルをさらに他の複数のコンテンツサーバに伝送するステップと、
    前記ユーザインタラクションと前記ユーザプロファイルを受信した前記コンテンツサーバのうちの少なくとも一部から第二コンテンツアイテムを受信するステップと、
    所定のランキングアルゴリズムを使用して、前記第二コンテンツアイテムをランキングするステップと、をさらに含んでおり、
    ここで、前記第二コンテンツアイテムが、前記ランキングに基づいて選択されたものである
    ことを特徴とする請求項６に記載の方法。
  8. 前記表示装置は、前記自律走行車の前記カメラを取り付けた外表面に取り付けられる
    ことを特徴とする請求項１に記載の方法。
  9. 命令を記憶した非一時的機械可読媒体であって、前記命令がプロセッサにより実行される場合、自律走行車にコンテンツを提供する操作を前記プロセッサに実行させ、
    前記操作は、
    前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、
    画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップと、
    前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、
    前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、
    前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む
    ことを特徴とする非一時的機械可読媒体。
  10. 前記操作は、前記感知を説明する感知情報を複数のコンテンツサーバに伝送して前記コンテンツサーバが提供するコンテンツアイテムを交換するステップをさらに含む
    ことを特徴とする請求項９に記載の機械可読媒体。
  11. 前記感知情報は、前記感知を説明する１つまたは複数キーワードを含み、前記コンテンツサーバはクラウドネットワークを介して前記自律走行車に通信接続されるクラウドサーバである
    ことを特徴とする請求項１０に記載の機械可読媒体。
  12. 前記操作は、
    所定のランキングアルゴリズムを使用して、前記感知に基づいて前記コンテンツサーバから受信された前記コンテンツアイテムをランキングするステップと、
    前記ランキングに基づいて前記１つまたは複数のコンテンツアイテムから前記第一コンテンツアイテムを選択するステップと、をさらに含む
    ことを特徴とする請求項９に記載の機械可読媒体。
  13. 前記操作は、前記画像分析に基づき、前記画像で表示された前記視聴者を識別して決定するステップをさらに含んでおり、ここで、前記第一コンテンツアイテムが、決定された視聴者に応じて選択されたものであることを特徴とする請求項１２に記載の機械可読媒体。
  14. 前記操作は、
    第二画像をキャプチャするステップと、
    前記カメラでキャプチャされた、前記第一ユーザのユーザ画像を含む前記第二画像に基づいて、前記第一ユーザに関するユーザプロファイルをコンパイルするステップと、
    前記ユーザインタラクションと前記ユーザプロファイルを前記１つまたは複数のコンテンツサーバに伝送して第二コンテンツアイテムを交換するステップと、
    前記表示装置において前記第二コンテンツアイテムを表示するステップと、をさらに含んでおり、
    ここで、前記第二画像は、前記視聴者の一部とする第一ユーザの、前記第一コンテンツアイテムに関連するユーザインタラクションを表示する
    ことを特徴とする請求項１０に記載の機械可読媒体。
  15. 前記操作は、
    前記１つまたは複数のコンテンツサーバに加えて、前記ユーザインタラクションと前記ユーザプロファイルをさらに他の複数のコンテンツサーバに伝送するステップと、
    前記ユーザインタラクションと前記ユーザプロファイルを受信した前記コンテンツサーバのうちの少なくとも一部から第二コンテンツアイテムを受信するステップと、
    所定のランキングアルゴリズムを使用して前記第二コンテンツアイテムをランキングするステップと、をさらに含んでおり、
    ここで、前記第二コンテンツアイテムが、前記ランキングに基づいて選択されたものである
    ことを特徴とする請求項１４に記載の機械可読媒体。
  16. 前記表示装置は、前記自律走行車の前記カメラを取り付けた外表面に取り付けられる
    ことを特徴とする請求項９に記載の機械可読媒体。
  17. データ処理システムであって、
    プロセッサと、
    前記プロセッサに接続されて命令を記憶する記憶装置と、を含み、
    前記命令が前記プロセッサにより実行される場合、自律走行車においてコンテンツを提供する操作を前記プロセッサに実行させ、
    前記操作は、
    前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、
    その時点で前記自律走行車の周辺の位置決め情報を取得するステップと、
    前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、
    前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、
    前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む
    ことを特徴とするデータ処理システム。
  18. 前記操作は、前記感知を説明する感知情報を複数のコンテンツサーバに伝送して前記コンテンツサーバが提供するコンテンツアイテムを交換するステップをさらに含む
    ことを特徴とする請求項１７に記載のシステム。
  19. 前記感知情報、は前記感知を説明する１つまたは複数キーワードを含み、前記コンテンツサーバはクラウドネットワークを介して前記自律走行車のクラウドサーバに通信接続される
    ことを特徴とする請求項１８に記載システム。
  20. 前記操作は、
    所定のランキングアルゴリズムを使用して、前記感知に基づいて前記コンテンツサーバから受信された前記コンテンツアイテムをランキングするステップと、
    前記ランキングに基づいて前記１つまたは複数のコンテンツアイテムから前記第一コンテンツアイテムを選択するステップと、をさらに含む
    ことを特徴とする請求項１７に記載のシステム。
  21. 前記操作は、前記画像分析に基づき、前記画像で表示された前記視聴者を識別して決定するステップをさらに含んでおり、ここで、前記第一コンテンツアイテムが、決定された視聴者に応じて選択されたものであることことを特徴とする請求項２０に記載のシステム。
  22. 前記操作は、
    第二画像をキャプチャするステップと、
    前記カメラでキャプチャされた、前記第一ユーザのユーザ画像を含む前記第二画像に基づいて、前記第一ユーザに関するユーザプロファイルをコンパイルするステップと、
    前記ユーザインタラクションと前記ユーザプロファイルを前記１つまたは複数のコンテンツサーバに伝送して第二コンテンツアイテムを交換するステップと、
    前記表示装置において前記第二コンテンツアイテムを表示するステップと、をさらに含んでおり、
    ここで、前記第二画像は、前記視聴者の一部とする第一ユーザの、前記第一コンテンツアイテムに関連するユーザインタラクションを表示する
    ことを特徴とする請求項１８に記載のシステム。
  23. 前記操作は、
    前記１つまたは複数のコンテンツサーバに加えて、前記ユーザインタラクションと前記ユーザプロファイルをさらに他の複数のコンテンツサーバに伝送するステップと、
    前記ユーザインタラクションと前記ユーザプロファイルを受信した前記コンテンツサーバのうちの少なくとも一部から第二コンテンツアイテムを受信するステップと、
    所定のランキングアルゴリズムを使用して前記第二コンテンツアイテムをランキングするステップと、をさらに含んでおり、
    ここで、前記第二コンテンツアイテムが、前記ランキングに基づいて選択されたものである
    ことを特徴とする請求項２２に記載のシステム。
  24. 前記表示装置は、前記自律走行車の前記カメラを取り付けた外表面に取り付けられる
    ことを特徴とする請求項１７に記載のシステム。
JP2016232452A 2016-06-30 2016-11-30 リアルタイムで動的に決定された感知に基づいて自律走行車においてコンテンツを提供するシステムおよび方法 Expired - Fee Related JP6494589B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/199,378 US10015537B2 (en) 2016-06-30 2016-06-30 System and method for providing content in autonomous vehicles based on perception dynamically determined at real-time
US15/199,378 2016-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018167521A Division JP2019023879A (ja) 2016-06-30 2018-09-07 リアルタイムで動的に決定された感知に基づいて自律走行車においてコンテンツを提供するシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2018005880A true JP2018005880A (ja) 2018-01-11
JP6494589B2 JP6494589B2 (ja) 2019-04-03

Family

ID=57482200

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016232452A Expired - Fee Related JP6494589B2 (ja) 2016-06-30 2016-11-30 リアルタイムで動的に決定された感知に基づいて自律走行車においてコンテンツを提供するシステムおよび方法
JP2018167521A Pending JP2019023879A (ja) 2016-06-30 2018-09-07 リアルタイムで動的に決定された感知に基づいて自律走行車においてコンテンツを提供するシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018167521A Pending JP2019023879A (ja) 2016-06-30 2018-09-07 リアルタイムで動的に決定された感知に基づいて自律走行車においてコンテンツを提供するシステムおよび方法

Country Status (5)

Country Link
US (2) US10015537B2 (ja)
EP (1) EP3264366A1 (ja)
JP (2) JP6494589B2 (ja)
KR (1) KR101932003B1 (ja)
CN (1) CN107563267B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020038633A (ja) * 2018-08-31 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 自動運転車両の遠隔制御方法、遠隔制御装置、サーバ、遠隔制御システム、コンピュータプログラム製品および記憶媒体

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10665155B1 (en) * 2017-03-22 2020-05-26 Accelerate Labs, Llc Autonomous vehicle interaction system
US10331122B2 (en) * 2017-04-13 2019-06-25 Alexander Terzian Autonomous self-driving vehicle with advertising platform
US11361594B1 (en) * 2017-05-17 2022-06-14 Wells Fargo Bank, N.A. Utilization of free time in autonomous vehicles
EP3676745B1 (en) 2017-09-29 2022-06-29 Apple Inc. Privacy screen for computer simulated reality
JP6881242B2 (ja) * 2017-11-02 2021-06-02 トヨタ自動車株式会社 移動体及び広告提供方法
US20190156690A1 (en) * 2017-11-20 2019-05-23 Medical Realities Limited Virtual reality system for surgical training
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
US10884422B2 (en) * 2018-04-16 2021-01-05 Baidu Usa Llc Method for generating trajectories for autonomous driving vehicles (ADVS)
US10816992B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
US11284051B2 (en) 2018-07-30 2022-03-22 Pony Ai Inc. Systems and methods for autonomous vehicle interactive content presentation
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
CN109345512A (zh) * 2018-09-12 2019-02-15 百度在线网络技术（北京）有限公司 汽车图像的处理方法、装置及可读存储介质
EP3627172B1 (de) 2018-09-18 2022-02-09 Siemens Healthcare GmbH Verfahren und gerät für das mrt-schicht-multiplexing
US11188765B2 (en) * 2018-12-04 2021-11-30 Here Global B.V. Method and apparatus for providing real time feature triangulation
JP7196683B2 (ja) * 2019-02-25 2022-12-27 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP2020144332A (ja) * 2019-03-08 2020-09-10 トヨタ自動車株式会社 仮想現実システムおよび仮想現実方法
KR102303421B1 (ko) * 2019-07-04 2021-09-24 한양대학교 에리카산학협력단 자율주행차량의 커스터마이징 제공 시스템, 이를 위한 차량 커스터마이징 서버
CN110533944A (zh) * 2019-08-21 2019-12-03 西安华运天成通讯科技有限公司 基于5g的无人驾驶汽车的通讯方法及其系统
US11027650B2 (en) 2019-11-07 2021-06-08 Nio Usa, Inc. Method and apparatus for improving operation of a motor vehicle
CN113448322A (zh) * 2020-03-26 2021-09-28 宝马股份公司 用于车辆的远程操作方法和系统以及存储介质和电子设备
CN112291622B (zh) * 2020-10-30 2022-05-27 中国建设银行股份有限公司 用户的喜好上网时间段的确定方法及装置
US11811836B2 (en) 2021-09-27 2023-11-07 Gm Cruise Holdings Llc Video communications system for rideshare service vehicle
CN114298772A (zh) * 2021-12-30 2022-04-08 阿波罗智联(北京)科技有限公司 信息展示方法、装置、设备以及存储介质
US11836874B2 (en) 2022-03-24 2023-12-05 Gm Cruise Holdings Llc Augmented in-vehicle experiences
US12450854B2 (en) 2022-09-22 2025-10-21 Apple Inc. User interfaces for capturing media and manipulating virtual objects
US20250225740A1 (en) * 2024-01-08 2025-07-10 Mobileye Vision Technologies Ltd. Multi-view augmented reality
KR102730407B1 (ko) * 2024-09-10 2024-11-14 (주)지슨 메타데이터를 이용한 표준화 자율주행 서비스 연계 데이터의 제공 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073321A (ja) * 2000-04-18 2002-03-12 Fuji Photo Film Co Ltd 画像表示方法
JP2003241698A (ja) * 2002-02-20 2003-08-29 Nippon Telegr & Teleph Corp <Ntt> 位置に応じて表示内容を変更する移動広告システムおよび移動広告方法
JP2006235311A (ja) * 2005-02-25 2006-09-07 Seiko Epson Corp 情報出力システム、情報出力装置、情報出力方法、情報出力プログラム、および記録媒体
JP2010237411A (ja) * 2009-03-31 2010-10-21 Denso It Laboratory Inc 広告表示装置、システム、方法及びプログラム
JP2016065938A (ja) * 2014-09-24 2016-04-28 エイディシーテクノロジー株式会社 広告表示装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020049635A1 (en) * 2000-09-06 2002-04-25 Khanh Mai Multiple advertising
DE10323915A1 (de) 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
US20060143082A1 (en) * 2004-12-24 2006-06-29 Peter Ebert Advertisement system and method
US7899583B2 (en) * 2005-04-12 2011-03-01 Ehud Mendelson System and method of detecting and navigating to empty parking spaces
US20120069136A1 (en) * 2006-11-10 2012-03-22 Earnest Smith Methods and systems of displaying advertisement or other information and content via non-mobile platforms
JP2009152719A (ja) 2007-12-19 2009-07-09 Panasonic Corp カメラを用いたお勧め番組情報提供装置
US8904416B2 (en) * 2009-06-12 2014-12-02 Panasonic Intellectual Property Corporation Of America Content playback apparatus, content playback method, program, and integrated circuit
EP2735142B1 (en) * 2010-10-20 2018-09-05 The Procter and Gamble Company Article utilization
US9098529B1 (en) 2011-05-25 2015-08-04 Google Inc. Determining content for delivery based on imagery
US20130042261A1 (en) * 2011-08-10 2013-02-14 Bank Of America Electronic video media e-wallet application
US20130138508A1 (en) * 2011-11-30 2013-05-30 Walter S. Gee Method and System for Media Content Delivery On a Display Device
KR20130089818A (ko) 2012-01-04 2013-08-13 현대모비스 주식회사 클라우드 컴퓨팅 시스템용 클라우드 서버와 차량 단말 및 클라우드 컴퓨팅 서비스 제공 방법
US20140309876A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Universal vehicle voice command system
US20140309863A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Parental control over vehicle features and child alert system
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
KR20140000032A (ko) 2012-06-22 2014-01-02 에스케이플래닛 주식회사 차량 외부 환경에 따른 컨텐츠 추천 시스템 및 방법
CA2786205A1 (en) * 2012-08-17 2014-02-17 Modooh Inc. Information display system for transit vehicles
JP6028457B2 (ja) * 2012-08-24 2016-11-16 ソニー株式会社 端末装置、サーバ及びプログラム
JP2014061786A (ja) * 2012-09-21 2014-04-10 Sony Corp 移動体およびプログラム
US9096128B2 (en) 2013-01-14 2015-08-04 Intel Corporation Creating a sensory experience in a vehicle
US9043072B1 (en) 2013-04-04 2015-05-26 Google Inc. Methods and systems for correcting an estimated heading using a map
US9276855B1 (en) 2013-07-16 2016-03-01 Google Inc. Systems and methods for providing navigation filters
US20150025975A1 (en) * 2013-07-22 2015-01-22 Adam Wallach Personal Expression and Advertising Display for a Vehicle
US9272708B2 (en) * 2013-09-30 2016-03-01 Ford Global Technologies, Llc Autonomous vehicle entertainment system
US20150220991A1 (en) * 2014-02-05 2015-08-06 Harman International Industries, Incorporated External messaging in the automotive environment
JP2015225450A (ja) 2014-05-27 2015-12-14 村田機械株式会社 自律走行車、及び自律走行車における物体認識方法
JP6453579B2 (ja) 2014-08-08 2019-01-16 株式会社ジャパンディスプレイ 有機ｅｌ表示装置
CN104267721A (zh) * 2014-08-29 2015-01-07 陈业军 一种智能汽车的无人驾驶系统
US9927809B1 (en) * 2014-10-31 2018-03-27 State Farm Mutual Automobile Insurance Company User interface to facilitate control of unmanned aerial vehicles (UAVs)
EP3035315B1 (en) 2014-12-15 2023-06-21 Volvo Car Corporation Information retrieval arrangement
US20150348112A1 (en) * 2015-08-12 2015-12-03 Madhusoodhan Ramanujam Providing Advertisements to Autonomous Vehicles
US9701315B2 (en) * 2015-11-13 2017-07-11 At&T Intellectual Property I, L.P. Customized in-vehicle display information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073321A (ja) * 2000-04-18 2002-03-12 Fuji Photo Film Co Ltd 画像表示方法
JP2003241698A (ja) * 2002-02-20 2003-08-29 Nippon Telegr & Teleph Corp <Ntt> 位置に応じて表示内容を変更する移動広告システムおよび移動広告方法
JP2006235311A (ja) * 2005-02-25 2006-09-07 Seiko Epson Corp 情報出力システム、情報出力装置、情報出力方法、情報出力プログラム、および記録媒体
JP2010237411A (ja) * 2009-03-31 2010-10-21 Denso It Laboratory Inc 広告表示装置、システム、方法及びプログラム
JP2016065938A (ja) * 2014-09-24 2016-04-28 エイディシーテクノロジー株式会社 広告表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020038633A (ja) * 2018-08-31 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 自動運転車両の遠隔制御方法、遠隔制御装置、サーバ、遠隔制御システム、コンピュータプログラム製品および記憶媒体
US11215983B2 (en) 2018-08-31 2022-01-04 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Remote control device and remote control method for automatic driving vehicle, and server
JP7132893B2 (ja) 2018-08-31 2022-09-07 アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド 自動運転車両の遠隔制御方法、遠隔制御装置、サーバ、遠隔制御システム、コンピュータプログラムおよび記憶媒体

Also Published As

Publication number Publication date
US20180007414A1 (en) 2018-01-04
JP2019023879A (ja) 2019-02-14
CN107563267A (zh) 2018-01-09
KR20180003393A (ko) 2018-01-09
US20180278982A1 (en) 2018-09-27
CN107563267B (zh) 2021-03-02
KR101932003B1 (ko) 2019-03-20
US10015537B2 (en) 2018-07-03
EP3264366A1 (en) 2018-01-03
JP6494589B2 (ja) 2019-04-03
US10511878B2 (en) 2019-12-17

Similar Documents

Publication Publication Date Title
JP6494589B2 (ja) リアルタイムで動的に決定された感知に基づいて自律走行車においてコンテンツを提供するシステムおよび方法
JP6456902B2 (ja) リアルタイム交通情報に基づいて自律走行車においてコンテンツを提供するシステムおよび方法
JP6310531B2 (ja) 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法
JP6456901B2 (ja) 自律走行車においてメディアコンテンツを提示するためのシステム及び方法
JP6606532B2 (ja) 自律走行車のために車両群を管理する方法及びシステム
KR102096726B1 (ko) 자율 주행 차량의 운행을 위한 제어 오류 보정 계획 방법
KR102139426B1 (ko) 자율 주행 차량을 위한 차량 위치점 전달 방법
JP2018063703A (ja) 自律走行車用のグループ運転スタイル学習フレーム
JP2018531385A6 (ja) 自律走行車を運行させるための制御エラー補正計画方法

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181010

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190305

R150 Certificate of patent or registration of utility model

Ref document number: 6494589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees