[go: up one dir, main page]

DE102024134969A1 - Informationsverarbeitungsvorrichtung, Steuerverfahren, Programmprodukt und Speichermedium - Google Patents

Informationsverarbeitungsvorrichtung, Steuerverfahren, Programmprodukt und Speichermedium Download PDF

Info

Publication number
DE102024134969A1
DE102024134969A1 DE102024134969.7A DE102024134969A DE102024134969A1 DE 102024134969 A1 DE102024134969 A1 DE 102024134969A1 DE 102024134969 A DE102024134969 A DE 102024134969A DE 102024134969 A1 DE102024134969 A1 DE 102024134969A1
Authority
DE
Germany
Prior art keywords
information
steering instruction
image
steering
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102024134969.7A
Other languages
English (en)
Inventor
Akane Kanzaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of DE102024134969A1 publication Critical patent/DE102024134969A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

Eine Informationsverarbeitungsvorrichtung ist offenbart, die Informationen über eine Lenkanweisung eines mobilen Objekts in Verbindung mit aufgenommenen Daten, die durch eine mobile Bildaufnahmevorrichtung aufgenommen werden, in Echtzeit akkurat aufzeichnen kann. Die Informationsverarbeitungsvorrichtung umfasst eine Erzeugungseinrichtung zum Erhalten von Lenkanweisungsinformationen über ein mobiles Objekt mit Lenkung und Erzeugen von lenkanweisungsbezogenen Informationen, die den Lenkanweisungsinformationen entsprechen, und eine Aufzeichnungseinrichtung zum Aufzeichnen von aufgenommenen Daten und der durch die Erzeugungseinrichtung erzeugten lenkanweisungsbezogenen Informationen in Verbindung miteinander immer dann, wenn die aufgenommenen Daten, die durch eine Bildaufnahmevorrichtung erzeugt werden, die an einer mobilen Bildaufnahmevorrichtung angebracht ist, die ein Bild des mobilen Objekts aufnimmt, von der Bildaufnahmevorrichtung erhalten werden.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Steuerverfahren, ein Programmprodukt und ein Speichermedium, welches das Programm speichert, die eine Bildaufnahme und -aufzeichnung in einer mobilen Bildaufnahmevorrichtung steuern.
  • Beschreibung der verwandten Technik
  • In den letzten Jahren hat ein Stil Aufmerksamkeit erhalten, bei dem ein Bild während einer Fahrt aufgenommen wird und daraus eine Bildarbeit als Fahrt-VLOG (Fahrt-Video-Blog) gemacht wird. Da in einem VLOG verschiedene Bildschnitte erforderlich sind, ist ein Benutzer erschienen, der einen Fahrt-VLOG unter Verwendung einer mobilen Bildaufnahmevorrichtung, wie einer Drohne, macht.
  • Um einen Fahrt-VLOG mit höherer Qualität zu erhalten, möchte ein Benutzer eventuell eine Bearbeitung zum Hinzufügen von Ton zu einem Bild entsprechend eines Betriebs eines Autos und eine Bearbeitung zum Einfügen eines Übergangs zwischen Szenen eines aufgenommenen Bildes machen können. Beispielsweise gibt es eine Bearbeitung zum Hinzufügen eines Motorgeräuschs zu einer Szene, in der ein Gaspedal gedrückt wird, eine Bearbeitung zum Drehen eines Lenkrads am Ende einer Szene und dann zum Hinzufügen eines Drehübergangs zwischen der Szene und der nächsten Szene, usw.
  • Unterdessen ist ein Verfahren zum Aufzeichnen von Bilddaten, die durch eine Drohne aufgenommen werden, und von Informationen bezüglich der Bilddaten offenbart. Beispielsweise offenbart die JP 2022-104716 A ein Verfahren zum Aufzeichnen von durch eine Kamera einer Drohne aufgenommenen Bilddaten und zum Erzeugen von Identifikationsinformationen zum Identifizieren der aufgezeichneten Bilddaten.
  • Die JP 2012-216102 A offenbart folgendes Verfahren. Das heißt, eine fahrzeuginterne Bildaufnahmevorrichtung erfasst ein Bild durch eine eingebaute Kamera, erhält zusätzliche Informationen, die das aufgenommene Bild charakterisieren und überträgt die zusätzlichen Informationen zu einer Bildverwaltungsvorrichtung. Die Bildverwaltungsvorrichtung bestimmt beruhend auf den zusätzlichen Informationen, ob das durch die zusätzlichen Informationen charakterisierte Bild erforderlich ist. Wenn sie bestimmt, dass das Bild erforderlich ist, fordert die Bildverwaltungsvorrichtung die Bilddaten von der Bildaufnahmevorrichtung an und empfängt sie und speichert die Bilddaten in Verbindung mit den zusätzlichen Informationen.
  • Allerdings sind die Identifikationsinformationen in der JP 2022-104716 A und die zusätzlichen Informationen in der JP 2012-216102 A Informationen über das durch die Kamera aufgenommene Bild, wie die Bildaufnahmezeit, und keine Informationen über ein durch die Kamera aufgenommenes Objekt.
  • Wenn ein mobiles Objekt beispielsweise ein Auto ist, können Informationen über ein Ausmaß eines Tretens eines Gaspedals durch einen Benutzer, der das Auto fährt, theoretisch durch Analysieren einer Beschleunigung des Autos anhand der in der Kamera aufgezeichneten Bilddaten erhalten werden, aber es ist schwierig, das Ausmaß des Tretens des Gaspedals mit hoher Genauigkeit zu erhalten. Wenn eine derartige Analyse durchgeführt wird, besteht außerdem ein Problem, dass Informationen über eine Lenkanweisung für das mobile Objekt nicht in Verbindung mit dem aufgenommenen Bild in Echtzeit aufgezeichnet werden können.
  • Bei der VLOG-Produktion wird eine Arbeit bzw. ein Werk produziert, während verschiedene aufgenommene Daten kombiniert werden, die Bilddaten und Tondaten enthalten, die mittels einer Drohne über eine Bildaufnahme erhalten werden. Wenn daher lediglich die Bilddaten, die als erforderlich bestimmt werden, zusammen mit den zusätzlichen Informationen wie in der JP 2012-216102 A aufgezeichnet werden, besteht ein Problem dahingehend, dass die aufgenommenen Daten, die der Benutzer beim Bearbeiten benötigt, eventuell nicht aufgezeichnet werden.
  • KURZZUSAMMENFASSUNG DER ERFINDUNG
  • Die vorliegende Erfindung stellt eine Informationsverarbeitungsvorrichtung, ein Steuerverfahren, ein Computerprogrammprodukt und ein Speichermedium bereit, das ein Steuerprogramm speichert, welche Informationen über eine Lenkanweisung für ein mobiles Objekt in Echtzeit in Verbindung mit aufgenommenen Daten, die durch eine mobile Bildaufnahmevorrichtung aufgenommen werden, akkurat aufzeichnen können.
  • Dementsprechend stellt eine Ausgestaltung der vorliegenden Erfindung eine Informationsverarbeitungsvorrichtung bereit, die eine Erzeugungseinrichtung zum Erhalten von Lenkanweisungsinformationen über ein mobiles Objekt mit Lenkung und Erzeugen von lenkanweisungsbezogenen Informationen, die den Lenkanweisungsinformationen entsprechen, und eine Aufzeichnungseinrichtung zum Aufzeichnen von aufgenommenen Daten und der durch die Erzeugungseinrichtung erzeugten lenkanweisungsbezogenen Informationen in Verbindung miteinander immer dann, wenn die aufgenommenen Daten, die durch eine Bildaufnahmevorrichtung erzeugt werden, die an einer mobilen Bildaufnahmevorrichtung angebracht ist, die ein Bild des mobilen Objekts aufnimmt, von der Bildaufnahmevorrichtung erhalten werden, enthält.
  • Erfindungsgemäß können die Informationen über die Lenkanweisung des Objekts, die eine Bewegung beinhaltet, in Verbindung mit den aufgenommenen Daten, die durch die mobile Bildaufnahmevorrichtung aufgenommen werden, mit hoher Genauigkeit in Echtzeit aufgezeichnet werden.
  • Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beiliegenden Zeichnungen ersichtlich.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
    • 1 zeigt ein Blockschaltbild, das Hardwareaufbaubeispiele einer mobilen Bildaufnahmevorrichtung, die eine Bildaufzeichnungseinheit als eine Informationsverarbeitungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung enthält, und eines mobilen Objekts veranschaulicht, welches ein Bildaufnahmeziel der mobilen Bildaufnahmevorrichtung ist.
    • 2 zeigt ein Blockschaltbild eines Softwareaufbaus der Bildaufzeichnungseinheit.
    • 3 zeigt ein Ablaufdiagramm eines durch die Bildaufzeichnungseinheit durchgeführten Aufzeichnungsbetriebsprozesses.
    • 4A und 4B zeigen Darstellungen von Entsprechungstabellen, die jeweils eine Beziehung zwischen einem Lenkanweisungsinhalt und von Lenkanweisungsinformationen beschreiben.
    • 5 zeigt eine Darstellung einer Entsprechungstabelle, die eine Beziehung zwischen den Lenkanweisungsinformationen und von auf eine Lenkanweisung bezogene Informationen (die nachstehend als „lenkanweisungsbezogene Informationen“ bezeichnet werden) in einem Fall beschreibt, in dem die lenkanweisungsbezogenen Informationen ein Bearbeitungspunktflag darstellen.
    • 6A und 6B zeigen Darstellungen von Entsprechungstabellen, die jeweils eine Beziehung zwischen den Lenkanweisungsinformationen und lenkanweisungsbezogenen Informationen in einem Fall beschreiben, in dem die lenkanweisungsbezogenen Informationen ein auf einen Übergang bezogenes Flag darstellen.
    • 7 zeigt eine Darstellung einer Entsprechungstabelle, die eine Beziehung zwischen den Lenkanweisungsinformationen und den lenkanweisungsbezogenen Informationen in einem Fall beschreibt, in dem die lenkanweisungsbezogenen Informationen ein bereits aufgenommenes Übergangsflag darstellen.
    • 8 zeigt eine Darstellung einer Entsprechungstabelle, die eine Beziehung zwischen den Lenkanweisungsinformationen und den lenkanweisungsbezogenen Informationen in einem Fall beschreibt, in dem die lenkanweisungsbezogenen Informationen ein Gewichtungsergebnis der Lenkanweisungsinformationen darstellen.
    • 9 zeigt eine Darstellung einer Entsprechungstabelle, die eine Beziehung zwischen den Lenkanweisungsinformationen und den lenkanweisungsbezogenen Informationen in einem Fall beschreibt, in dem die lenkanweisungsbezogenen Informationen ein Bearbeitungspunktflag darstellen, das sich auf einen Umgebungsraum bezieht.
  • BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
  • Nachstehend werden Ausführungsbeispiele der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen näher beschrieben.
  • Bei diesem Ausführungsbeispiel wird ein gewünschtes Bewegtbild durch Ändern eines Orts, einer Orientierung und einer Bildaufnahmebedingung einer mobilen Bildaufnahmevorrichtung entsprechend Lenkanweisungsinformationen eines mobilen Objekts mit Lenkung aufgenommen. Bei diesem Ausführungsbeispiel wird ein Beispiel beschrieben, bei dem sich die mobile Bildaufnahmevorrichtung bewegt, indem sie durch Propeller in der Luft fliegt, jedoch ist das Bewegungsverfahren nicht darauf beschränkt. Die mobile Bildaufnahmevorrichtung kann sich beispielsweise am Boden unter Verwendung von Rädern bewegen, oder kann sich in Wasser unter Verwendung einer Schraube bewegen.
  • Nachstehend werden die mobile Bildaufnahmevorrichtung 100, die eine Bildaufzeichnungseinheit 135 als die Informationsverarbeitungsvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Erfindung enthält, und das mobile Objekt 150 mit Lenkung, das ein Bildaufnahmeziel der mobilen Bildaufnahmevorrichtung 100 ist, und das mit der mobilen Bildaufnahmevorrichtung 100 in einer Drahtloskommunikation kommunikationsfähig verbunden ist, unter Bezugnahme auf die beiliegenden Zeichnungen näher beschrieben.
  • 1 zeigt ein Blockschaltbild, das Hardwareaufbaubeispiele der mobilen Bildaufnahmevorrichtung 100 und des mobilen Objekts 150 veranschaulicht.
  • Wie in 1 gezeigt, ist die mobile Bildaufnahmevorrichtung 100 durch eine Bildaufnahmevorrichtung 130 (eine Bildaufnahmeeinheit) und eine Bewegungsvorrichtung 110 konfiguriert, an der die Bildaufnahmevorrichtung 130 angebracht ist. Die Bildaufnahmevorrichtung 130 und die Bewegungsvorrichtung 110 sind wechselseitig über einen Bus verbunden, um so Bilddaten, Lenkanweisungsinformationen, Kameraführungsinformationen, usw. zu kommunizieren, was später beschrieben wird. Das mobile Objekt 150 ist ein durch die Bildaufnahmevorrichtung 130 aufgenommenes Objekt und bewegt sich im Ansprechen auf eine Lenkanweisung.
  • Zuerst wird das Aufbaubeispiel der in der mobilen Bildaufnahmevorrichtung 100 enthaltenen Bewegungsvorrichtung 110 unter Bezugnahme auf 1 beschrieben.
  • Die Bewegungsvorrichtung 110 enthält eine Steuereinrichtung 111, einen ROM 112, einen RAM 113, eine Orts- und Orientierungserfassungseinheit 114, einen Bildprozessor bzw. eine Bildverarbeitungseinrichtung 115, eine Bildaufnahmeszenariolistenspeichereinheit 116, einen Bewegungsmechanismus 117 und eine Kommunikationseinheit 118. Diese Blöcke sind miteinander über einen Bus kommunikationsfähig verbunden.
  • Die Steuereinrichtung 111 ist eine CPU, liest beispielsweise Steuerprogramme für die Blöcke in der Bewegungsvorrichtung 110 und später beschriebene Blöcke in der Bildaufnahmevorrichtung 110 aus dem ROM 112 und entwickelt die Steuerprogramme auf dem RAM 113 und führt sie aus. Die Steuereinrichtung 110 steuert somit die Operationen der jeweiligen Blöcke in der mobilen Bildaufnahmevorrichtung 100. Die Steuereinrichtung 111 empfängt auch Lenkanweisungsinformationen und Ortsinformationen über die Kommunikationseinheit 118 von dem mobilen Objekt 150. Die Lenkanweisungsinformationen und die Ortsinformationen werden später beschrieben.
  • Der ROM 112 ist ein elektrisch löschbarer und aufzeichenbarer nicht flüchtiger Speicher und speichert Parameter usw., die für einen Betrieb jedes Blocks erforderlich sind, zusätzlich zu dem Betriebsprogramm für jeden Block, der in der mobilen Bildaufnahmevorrichtung 100 enthalten ist.
  • Der RAM 113 ist ein wiederbeschreibbarer flüchtiger Speicher und wird zum Entwickeln eines durch die Steuereinrichtung 111 ausgeführten Programms und zum vorübergehenden Speichern von Daten verwendet, die durch die Operationen der Blöcke in der mobilen Bildaufnahmevorrichtung 100 erzeugt werden.
  • Die Orts- und Orientierungserfassungseinheit 114 enthält eine Vielzahl von Sensoren, die verschiedene Informationen erfassen, die für die Positions- und Orientierungssteuerung der Bewegungsvorrichtung 110 erforderlich sind, und gibt die erfassten Positions- und Orientierungsinformationen zu der Steuereinrichtung 111 aus. Beispiele der Sensoren umfassen einen GPS-Sensor zum Erfassen einer Position, einen Kreiselsensor zum Erfassen der Winkelgeschwindigkeit, einen Beschleunigungssensor zum Erfassen der Geschwindigkeitsänderung, einen Magnetsensor zum Erfassen einer Richtung, einen atmosphärischen Drucksensor zum Erfassen einer Höhe und einen Ultraschallsensor zum Erfassen einer Entfernung zu einem umgebenden Objekt, wie dem Objekt. Die Steuereinrichtung 111 führt eine Berechnung gemäß den durch die Orts- und Orientierungserfassungseinheit 114 erfassten Informationen durch und steuert den Ort und die Orientierung der Bewegungsvorrichtung 110.
  • Die Bildverarbeitungseinrichtung 115 führt verschiedene Bildprozesse, die sich auf den Ort und die Orientierung der Bewegungsvorrichtung 110 beziehen, durch Analysieren des durch die Bildaufnahmevorrichtung 130 aufgenommenen Bildes und der Informationen durch, die für die Orts- und Orientierungssteuerung erforderlich sind, die durch die Orts- und Orientierungserfassungseinheit 114 erfasst werden. Die Bildverarbeitungseinrichtung 115 führt beispielsweise den Bildverarbeitungsprozess zum Erkennen des Objekts (beispielsweise des mobilen Objekts 150) durch, das in dem durch die Bildaufnahmevorrichtung 130 aufgenommenen Bild enthalten ist, und die Steuereinrichtung 111 steuert den Bewegungsmechanismus 117 zum Verfolgen des Objekts unter Verwendung des Erkennungsergebnisses. Zum Erkennen und Verfolgen des Objekts wird ein bekanntes Verfahren verwendet, und eine ausführliche Beschreibung ist hier weggelassen.
  • Die Bildaufnahmeszenariolistenspeichereinheit 116 zeichnet eine Bildaufnahmeszenarioliste auf, die über die Kommunikationseinheit 118 von einer (nicht gezeigten) externen Informationsverarbeitungsvorrichtung empfangen wird. Eine Bildaufnahmeszenarioliste kann in der Bildaufnahmeszenariolistenspeichereinheit 116 zur Zeit der Anfangseinstellung vorab aufgezeichnet werden.
  • Der Bewegungsmechanismus 117 ist durch eine Hubkrafterzeugungseinrichtung konfiguriert, die Motoren und Propeller enthält. Die Steuereinrichtung 111 steuert den Ort und die Orientierung der Bewegungsvorrichtung 110 durch Ansteuern des Bewegungsmechanismus 117 gemäß den durch die Orts- und Orientierungserfassungseinheit 114 erfassten Informationen und dem Erkennungsergebnis des Objekts durch die Bildverarbeitungseinrichtung 115. Dies ermöglicht eine Verfolgungsbildaufnahme zum Steuern des Bildwinkels derart, dass das mobile Objekt 150 in einem durch die Bildaufnahmevorrichtung 130 aufgenommenen Bildfeldbereich enthalten sein wird.
  • Die Kommunikationseinheit 118 kommuniziert mit dem mobilen Objekt 150 beruhend auf einem Kommunikationsschema, das durch einen Standard, beispielsweise drahtlos-LAN, definiert ist.
  • Als nächstes wird das Aufbaubeispiel der in der mobilen Bildaufnahmevorrichtung 100 enthaltenen Bildaufnahmevorrichtung 130 unter Bezugnahme auf 1 beschrieben.
  • Die Bildaufnahmevorrichtung 130 enthält ein optisches System 131, eine Bildaufnahmeeinrichtung 132, einen A/D-Wandler 133, einen Bildprozessor bzw. eine Bildverarbeitungseinrichtung 134, eine Bildaufzeichnungseinheit 135 und eine Anzeigeeinheit 136. Diese Blöcke sind miteinander über einen Bus kommunikationsfähig verbunden.
  • Das optische System 131 ist durch eine Blendeneinrichtung und Linsengruppen konfiguriert, die eine Zoomlinsengruppe und eine Fokusierlinsengruppe enthalten, und erzeugt ein Objektbild auf einer Bildaufnahmefläche der Bildaufnahmeeinrichtung 132.
  • Die Bildaufnahmeeinrichtung 132 ist beispielsweise ein Bildsensor wie ein CCD-Sensor oder ein CMOS-Sensor, und wandelt ein auf der Bildaufnahmefläche der Bildaufnahmeeinrichtung 132 durch das optische System 131 erzeugtes optisches Bild fotoelektrisch um und gibt ein erhaltenes analoges Bildsignal zu dem A/D-Wandler 133 aus.
  • Der A/D-Wandler 133 wandelt das eingegebene analoge Bildsignal in digitale Bilddaten um und gibt die digitalen Bilddaten aus. Die aus dem A/D-Wandler 133 ausgegebenen digitalen Bilddaten werden vorübergehend im RAM 113 gespeichert.
  • Die Bildverarbeitungseinrichtung 134 wendet bei den im RAM 113 gespeicherten digitalen Bilddaten verschiedene Bildverarbeitungsprozesse an. Insbesondere wendet die Bildverarbeitungseinrichtung 134 die verschiedenen Bildverarbeitungsprozesse, wie einen Demosaic-Prozess, Rauschenreduktionsprozess, Weißabgleichkorrekturprozess und Gammakorrekturprozess zum Entwickeln, Anzeigen und Aufzeichnen der digitalen Bilddaten an. Die Bildverarbeitungsprozesse enthalten einen Prozess eines Erzeugens von Bewegtbilddaten aus den im RAM 113 in Zeitreihen gespeicherten digitalen Bilddaten.
  • Die Bildaufzeichnungseinheit 135 zeichnet die Daten, die die Bewegtbilddaten enthalten, die durch die Bildverarbeitungseinrichtung 134 erzeugt werden, in einem eingebauten Aufzeichnungsmedium auf. Die Bildaufzeichnungseinheit 135 erhält die Lenkanweisungsinformationen, die über die Kommunikationseinheit 118 empfangen werden, und die Kameraführungsinformationen, die Informationen über die Kameraführung angeben, die die Bewegung der Bewegungsvorrichtung 110 während einer Bildaufnahme durch die Bildaufnahmevorrichtung 130, wie eine Rotation der Kamera, angeben, und erzeugt Informationen über die Lenkanweisung und zeichnet sie auf. Der durch die Bildaufzeichnungseinheit 135 durchgeführte Prozesse wird später beschrieben.
  • Die Anzeigeeinheit 136 enthält ein Anzeigefeld, wie ein LCD-Feld, und zeigt die im RAM 113 gespeicherten digitalen Bilddaten und die in der Bildaufzeichnungseinheit 135 aufgezeichneten Videodaten auf dem Anzeigefeld an.
  • Als nächstes wird das Aufbaubeispiel des mobilen Objekts 150 unter Bezugnahme auf 1 beschrieben. Bei diesem Ausführungsbeispiel nimmt die mobile Bildaufnahmevorrichtung 100 das mobile Objekt 150 mit der Bildaufnahmevorrichtung 130 auf und erzeugt Bilddaten. Obwohl das mobile Objekt 150 bei diesem Ausführungsbeispiel ein Auto ist, ist das mobile Objekt 150 nicht darauf beschränkt. Das mobile Objekt 150 kann beispielsweise ein Objekt, wie ein Motorrad, ein Schiff, ein Flugzeug oder ein Zug sein, das durch einen Bediener zum sich bewegen gesteuert wird. Das mobile Objekt 150 kann eine Einrichtung sein, die nicht durch einen Bediener bedient wird, und automatisch gelenkt wird, während eine umgebende Situation erkannt wird. Das mobile Objekt 150 kann eine Einrichtung, wie ein funkgesteuertes Auto sein, das nicht durch einen Insassen gelenkt wird, sondern durch eine Fernsteuerung gesteuert wird. Der automatische Betrieb und die Fernbedingung werden durch bekannte Verfahren durchgeführt, und ihre ausführlichen Beschreibungen sind weggelassen.
  • Das mobile Objekt 150 enthält eine Lenksteuereinrichtung 151, einen ROM 152, einen RAM 153, eine Ortserfassungseinheit 154, eine Lenkeinrichtung 155, eine Ansteuereinrichtung 156 und eine Lenkkommunikationseinheit 157. Diese Blöcke sind miteinander über einen Bus zum Miteinanderkommunizierenkönnen verbunden.
  • Die Lenksteuereinrichtung 151 ist eine CPU, liest beispielsweise Steuerprogramme für die jeweiligen Blöcke in dem mobilen Objekt 150 aus dem ROM 152, entwickelt die Steuerprogramme auf dem RAM 153 und führt diese aus. Somit steuert die Lenksteuereinrichtung 151 Operationen der jeweiligen Blöcke im mobilen Objekt 150. Die Lenksteuereinrichtung 151 sendet auch Lenkanweisungsinformationen und Ortsinformationen über die Lenkkommunikationseinheit 157 zu der Bewegungsvorrichtung 110. Die Lenkanweisungsinformationen und die Ortsinformationen werden später beschrieben.
  • Der ROM 152 ist ein elektrisch löschbarer und aufzeichenbarer nicht flüchtiger Speicher und speichert für Operationen der jeweiligen Blöcke erforderliche Parameter zusätzlich zu den Betriebsprogrammen für die jeweiligen Blöcke in dem mobilen Objekt 150.
  • Der RAM 153 ist ein wiederbeschreibbarer flüchtiger Speicher und wird zur Entwicklung eines durch die Lenksteuereinrichtung 151 ausgeführten Programms und zur vorübergehenden Speicherung von Daten verwendet, die durch die Operationen der Blöcke in dem mobilen Objekt 150 erzeugt werden.
  • Die Ortserfassungseinheit 154 enthält eine Vielzahl von Sensoren zum Erhalten eines dreidimensionalen räumlichen Orts und gibt Informationen über den dreidimensionalen räumlichen Ort, der anhand Informationen berechnet wird, die durch die jeweiligen Sensoren erfasst werden, zu der Lenksteuereinrichtung 151 aus. Die Sensoren können beispielsweise einen GPS-Sensor zum Erfassen eines zweidimensionalen ebenen Orts und einen atmosphärischen Drucksensor zur Erfassung einer Höhe enthalten. Die Ortserfassungseinheit 154 berechnet dreidimensionale Ortsinformationen des mobilen Objekts 150 unter Verwendung dieser Sensoren. Ein GPS-Sensor kann als der Sensor zur Erfassung der Höhe verwendet werden.
  • Die Lenkeinrichtung 155 ist eine Einrichtung für den Insassen zum Anweisen des mobilen Objekts 150 zum Lenken. Insbesondere ist die Lenkeinrichtung 155 durch bewegliche Einrichtungen konfiguriert, wie ein Lenkrad, ein Gas- bzw. Beschleunigungspedal, ein Bremspedal, einen Blinkerhebel, einen Wischerhebel und einen Lichtschalter. Immer dann, wenn der Insasse eine Anweisung zum Betätigen der Lenkeinrichtung erteilt, werden die Lenkanweisungsinformationen zu der Ansteuereinrichtung 156 ausgegeben.
  • Die Ansteuereinrichtung 156 steuert nicht gezeigte Einrichtungen (bewegliche Einrichtungen, wie Vorderräder, eine Brennkraftmaschine und Scheinwerfer, und Mitteilungseinrichtungen, wie Blinkerleuchten, Bremsleuchten und eine Hupe) im mobilen Objekt 150 entsprechend den aus der Lenkeinrichtung 155 ausgegebenen Lenkanweisungsinformationen an.
  • Insbesondere dann, wenn der Lenkwinkel des Lenkrads als die Lenkanweisungsinformationen aus der Lenkeinrichtung 155 ausgegeben wird, überträgt die Ansteuereinrichtung 156 die Lenkanweisungsinformationen zu einem Stellglied, das eine Fahrtrichtung des mobilen Objekts 150 steuert, und ändert die Richtung der Vorderräder. Wenn ein Ausmaß des Tretens des Gas- bzw. Beschleunigungspedals als die Lenkanweisungsinformationen aus der Lenkeinrichtung 155 ausgegeben wird, überträgt die Ansteuereinrichtung 156 die Lenkanweisungsinformationen zu dem Stellglied zum Steuern der Beschleunigung des mobilen Objekts 150, um die Umdrehungen pro Minute der Brennkraftmaschine zu erhöhen.
  • Außerdem können eine Leuchtenschaltbedienung, eine Blinkerhebelbedienung, ein Bremspedaltreten, eine Hupenbetätigung, usw. als die Lenkanweisungsinformationen aus der Lenkeinrichtung 155 ausgegeben werden. In diesem Fall benachrichtigt die Ansteuereinrichtung 156 andere mittels Licht durch Aufleuchten der Scheinwerfer, der Blinkerleuchten oder der Bremsleuchten, oder benachrichtigt andere mittels Ton durch Ertönen der Hupe entsprechend den Lenkanweisungsinformationen.
  • Die Lenkkommunikationseinheit 157 kommuniziert mit der Kommunikationseinheit 118 beruhend auf einem Kommunikationsschema, das durch einen Standard, beispielsweise drahtlos-LAN definiert ist.
  • Als nächstes wird der Softwareaufbau der Bildaufzeichnungseinheit 135 in 1 unter Bezugnahme auf 2 beschrieben.
  • Die Bildaufzeichnungseinheit 135 ist bei diesem Ausführungsbeispiel dadurch charakterisiert, dass die lenkanweisungsbezogenen Informationen aus den Lenkanweisungsinformationen erzeugt werden, die über die Kommunikationseinheit 118 von dem mobilen Objekt 150 erhalten werden, und die erzeugten lenkanweisungsbezogenen Informationen in Verbindung mit den durch die Bildaufnahmevorrichtung 130 aufgenommenen Bilddaten aufgezeichnet werden.
  • Die Bildaufzeichnungseinheit 135 dieses Ausführungsbeispiels enthält ein Informationserzeugungsmodul 201 und ein Aufzeichnungsmodul 202, wie in 2 gezeigt ist.
  • Wenn es die Lenkanweisungsinformationen über die Kommunikationseinheit 118 erhält, erzeugt das Informationserzeugungsmodul 201 (eine Erzeugungseinrichtung) die lenkanweisungsbezogenen Informationen, die den Lenkanweisungsinformationen entsprechen, und überträgt die lenkanweisungsbezogenen Informationen zu dem Aufzeichnungsmodul 202.
  • Immer wenn das Aufzeichnungsmodul 202 (eine Aufzeichnungseinrichtung) die durch die Bildaufnahmevorrichtung 130 aufgenommenen Bilddaten über den Bus von der Bildaufnahmevorrichtung 130 erhält, verknüpft das Aufzeichnungsmodul 202 die erhaltenen Bilddaten mit den von dem Informationserzeugungsmodul 201 übertragenen lenkanweisungsbezogenen Informationen. Danach überträgt das Aufzeichnungsmodul 202 die Bilddaten und die lenkanweisungsbezogenen Informationen, die miteinander verknüpft sind, zu dem RAM 113 und zeichnet sie auf und speichert sie.
  • Hier sind von der Bildaufnahmevorrichtung 130 in das Informationserzeugungsmodul 201 eingegebene Daten die durch die Bildaufnahmeeinrichtung 132 aufgenommenen Bilddaten, sind aber nicht darauf beschränkt, solange die eingegebenen Daten aufgenommene Daten sind, die durch die Bildaufnahmevorrichtung 130 erzeugt werden. Die von der Bildaufnahmevorrichtung 130 in das Informationserzeugungsmodul 201 eingegebenen aufgenommenen Daten können beispielsweise Tondaten, die durch eine (nicht gezeigte) Tonerhalteeinrichtung der Bildaufnahmevorrichtung 130 erhalten werden, anstelle der Bilddaten sein. Dadurch wird ermöglicht, Materialdaten leichter zu erhalten, die in einem Fall verwendet werden, in dem Bilddaten und Tondaten separat aufgenommen werden und später dann zum Erstellen eines VLOG kombiniert werden.
  • Beispielsweise können Tonmaterialdaten, die eine Lautstärke entsprechend einem Lenken hervorheben, durch Aufzeichnen eines Brennkraftmaschinengeräuschs erhalten werden, das durch die Tonerhalteeinrichtung in Verbindung mit einem Ausmaß des Tretens des Gaspedals (der Lenkanweisungsinformationen) zum Zeitpunkt des Erhaltens erhalten wird. Die von der Bildaufnahmevorrichtung 130 in das Informationserzeugungsmodul 201 eingegebenen aufgenommenen Daten können Daten sein, die Bilddaten und Tondaten enthalten. Die Bildaufzeichnungseinheit 135 kann somit die lenkanweisungsbezogenen Informationen, die für den Ton erzeugt werden, in Verbindung mit den Bilddaten aufzeichnen.
  • Als nächstes wird der durch die Bildaufzeichnungseinheit 135 ausgeführte Aufzeichnungsbetriebsprozess unter Verwendung eines Ablaufdiagramms in 3 beschrieben. Dieser Prozess wird immer dann ausgeführt, wenn die Kommunikationseinheit 118 die Lenkanweisungsinformationen von dem mobilen Objekt 150 erhält.
  • Wenn die Lenkanweisungsinformationen von der Kommunikationseinheit 118 eingegeben werden, erzeugt das Informationserzeugungsmodul 201 in Schritt S301 die lenkanweisungsbezogenen Informationen aus den Lenkanweisungsinformationen und gibt die lenkanweisungsbezogenen Informationen zu dem Aufzeichnungsmodul 202 aus.
  • Hier stellen die Lenkanweisungsinformationen ein Flag dar, das einen Lenkanweisungsinhalt angibt, wie das Treten des Gas- bzw. Beschleunigungspedals, Drehen des Lenkrads oder Öffnen des Fensters, und werden durch eine Nummer ausgedrückt, die die Lenkanweisungsinformationen angibt, die wie in 4A gezeigt vorab eingestellt ist.
  • Die Lenkanweisungsinformationen können ferner ein Flag darstellen, das durch einen mehrwertigen Wert ausgedrückt wird, der beispielsweise gemäß dem Grad des Tretens des Gas- bzw. Beschleunigungspedals unterschieden wird, wie es in 4B gezeigt ist. Obwohl die lenkanweisungsbezogenen Informationen bei diesem Ausführungsbeispiel aus den Lenkanweisungsinformationen erzeugt und ausgegeben werden, können außerdem die Lenkanweisungsinformationen selbst als die lenkanweisungsbezogenen Informationen ausgegeben werden. Ein Verfahren zum Erzeugen der lenkanweisungsbezogenen Informationen aus den Lenkanweisungsinformationen wird später näher beschrieben.
  • Wenn die durch die Bildaufnahmevorrichtung 130 aufgenommenen Bilddaten eingegeben werden, zeichnet das Aufzeichnungsmodul 202 die eingegebenen Bilddaten in Schritt S302 in Verbindung mit den lenkanweisungsbezogenen Informationen auf, die in Schritt S301 erzeugt werden. Dann wird dieser Prozess beendet.
  • Vorstehend wurde der Prozessinhalt der Bildaufzeichnungseinheit 135 gemäß diesem Ausführungsbeispiel beschrieben.
  • Das Verfahren zum Erzeugen der lenkanweisungsbezogenen Informationen aus den Lenkanweisungsinformationen, wie es in Schritt S301 durchgeführt wird, wird nunmehr beschrieben.
  • In Schritt S301 erzeugt das Informationserzeugungsmodul 201 ein Bearbeitungspunktflag, das vorab mit den eingegebenen Lenkanweisungsinformationen verknüpft ist, als die lenkanweisungsbezogenen Informationen. Das Bearbeitungspunktflag gibt einen Bearbeitungspunkt (einen Ein-Punkt oder einen Aus-Punkt) für ein Bild und/oder einen Bearbeitungspunkt (einen Ein-Punkt oder einen Aus-Punkt) für Ton an. Wenn beispielsweise die Lenkanweisungsinformationen (das Flag 1-1 in 4A), das den Lenkanweisungsinhalt des Tretens des Gas- bzw. Beschleunigungspedals angibt, eingegeben wird, wird das Bearbeitungspunktflag 2-3, das den Ein-Punkt für den entsprechenden Ton angibt, gemäß der in 5 gezeigten Tabelle als die lenkanweisungsbezogenen Informationen erzeugt. Danach wird das Bearbeitungspunktflag, 2-3, das als die lenkanweisungsbezogenen Informationen erzeugt wird, in Verbindung mit den Bilddaten in Schritt S302 aufgezeichnet. Somit kann der Benutzer die Bilddaten erkennen, die einen Kandidaten der Zeitvorgabe zum Hinzufügen der Tondaten des Brennkraftmaschinengeräuschs darstellen, wenn er das Bild des mobilen Objekts 150an der Beschleunigung durch Treten des Gas- bzw. Beschleunigungspedals bearbeitet.
  • Obwohl bei diesem Ausführungsbeispiel der Fall beschrieben wurde, bei dem das Bearbeitungspunktflag, das mit den eingegebenen Lenkanweisungsinformationen vorab verknüpft ist, als die lenkanweisungsbezogenen Informationen vorhanden ist, kann das Bearbeitungspunktflag nicht vorhanden sein. Wenn das Bearbeitungspunktflag nicht vorhanden ist, werden ein Flag 2-0 (ein Flag, das angibt, dass es keine entsprechenden lenkanweisungsbezogenen Informationen gibt) und/oder die Lenkanweisungsinformationen als die lenkanweisungsbezogenen Informationen ausgegeben, oder es wird nichts ausgegeben.
  • In Schritt S301 kann das Informationserzeugungsmodul 201 außerdem ein Übergangsbearbeitungspunktflag oder ein empfohlenes Übergangsflag, das vorab mit den eingegebenen Lenkanweisungsinformationen verknüpft ist, als die lenkanweisungsbezogenen Informationen erzeugen. Das Übergangsbearbeitungspunktflag ist ein Flag, das einen Bearbeitungspunkt (einen Ein-Punkt, einen Aus-Punkt oder dergleichen) für einen Bildübergang angibt, und/oder ein Flag, das einen Bearbeitungspunkt (einen Ein-Punkt, einen Aus-Punkt oder dergleichen) für einen Tonübergang angibt, wie es in der Tabelle in 6A angezeigt ist. Das empfohlene Übergangsflag ist ein Flag, das einen empfohlenen Übergang angibt, der vorab mit der jeweiligen Lenkanweisungsinformation verknüpft ist, wie es in der Tabelle in 6B gezeigt ist.
  • Es kann eine Vielzahl von Teilen von lenkanweisungsbezogenen Informationen verknüpft werden. Beispielsweise können zwei Teile von Lenkanweisungsinformationen (Flag 1-2 in 4A), die den Lenkanweisungsinhalt des Drehens des Lenkrads angeben, eingegeben werden. In diesem Fall wird ein Übergangsbearbeitungspunktflag (Flag 3-1 in 6A), das einen Ein-Punkt für den Bildübergang angibt, als die lenkanweisungsbezogenen Informationen für einen der zwei Teile von Lenkanweisungsinformationen erzeugt. Außerdem wird ein empfohlenes Übergangsflag (ein Flag 4-1 in 6B), das einen Rotationsübergang angibt, als die lenkanweisungsbezogenen Informationen für den anderen der zwei Teile erzeugt.
  • Danach werden die als die lenkanweisungsbezogenen Informationen erzeugten Flags 3-1 und 4-1 in Verbindung mit den Bilddaten in Schritt S302 aufgezeichnet. Selbst wenn nicht alle Bilder beim Bearbeiten der Bilder, die das mobile Objekt 150 beim Abbiegen durch Drehen des Lenkrads aufnehmen, überprüft werden, kann der Benutzer die Bilddaten erkennen, die einen Kandidaten der Zeitvorgabe zum Einfügen des Dreh- bzw. Rotationsübergangs zum Drehen des Bildes durch den Bildverarbeitungsprozess darstellen.
  • Obwohl bei diesem Ausführungsbeispiel die Fälle beschrieben wurden, in denen das Übergangsbearbeitungspunktflag und das empfohlene Übergangsflag, die mit den eingegebenen Lenkanweisungsinformationen vorab verknüpft sind, als die lenkanweisungsbezogenen Informationen existieren, können das Übergangsbearbeitungspunktflag und das empfohlene Übergangsflag nicht existieren. Wenn diese Teile von Informationen nicht existieren, wird ein Flag 4-0 (ein Flag, das angibt, dass es keine entsprechenden lenkanweisungsbezogenen Informationen gibt) und/oder die Lenkanweisungsinformationen als die lenkanweisungsbezogenen Informationen ausgegeben, oder es wird nichts ausgegeben.
  • In Schritt S301 kann das Informationserzeugungsmodul 201 als die lenkanweisungsbezogenen Informationen außerdem ein Bereits-Aufgenommen-Übergangsflag bzw. bereits aufgenommenes Übergangsflag erzeugen, das vorab mit den Lenkanweisungsinformationen und den durch die Bildaufzeichnungseinheit 135 erhaltenen Kameraführungsinformationen verknüpft ist.
  • Hier stellen die Kameraführungsinformationen ein Flag dar, das einen Inhalt einer Orts- und Orientierungssteuerung (einer Kameraführung) der Bewegungsvorrichtung 110 durch die Steuereinrichtung 111 während der Bildaufnahme durch die Bildaufnahmevorrichtung 130 angibt, und wird durch eine Nummer ausgedrückt, die den vorab eingestellten Inhalt der Kameraführung wie in 7 gezeigt ausdrückt.
  • Das bereits aufgenommene Übergangsflag bezieht sich hier auf ein Flag, das eine Kombination des Lenkanweisungsinhalts und des Typs der Kameraführung angibt. Wie es in der Tabelle in 7 gezeigt ist, gibt es beispielsweise einen Fall, in dem ein Flag 1-4, das den Lenkanweisungsinhalt eines Drehens des Lenkrads angibt, eingegeben wird, und ein Flag 5-1, das den Kameraführungsinhalt einer Bilddrehung angibt, gleichzeitig eingegeben wird. In diesem Fall wird ein Flag 6-1, welches das bereits aufgenommene Übergangsflag ist, das angibt, dass das Bild während einer Drehung aufgenommen wird, wenn das Lenkrad gedreht wird, das der Kombination der Flags 1-4 und 5-1 entspricht, als die lenkanweisungsbezogenen Informationen erzeugt. Danach wird das als die lenkanweisungsbezogenen Informationen erzeugte Flag 6-1 in Verbindung mit den Bilddaten in Schritt S302 aufgezeichnet. Dies ermöglicht es dem Benutzer, zu erkennen, dass der Übergang zur Zeit der Bildaufnahme aufgenommen wurde, ohne alle Bilder zu überprüfen.
  • Obwohl bei diesem Ausführungsbeispiel der Fall beschrieben wurde, bei dem das bereits aufgenommene Übergangsflag, das vorab mit den eingegebenen Lenkanweisungsinformationen und den eingegebenen Kameraführungsinformationen verknüpft ist, als die lenkanweisungsbezogenen Informationen existiert, kann das bereits aufgenommene Übergangsflag nicht existieren. Wenn diese Teile von Informationen nicht existieren, wird/werden ein Flag 6-0 (ein Flag, das angibt, dass es keine entsprechenden lenkanweisungsbezogenen Informationen gibt) und/oder die Lenkanweisungsinformationen und/oder die Kameraführungsinformationen als die lenkanweisungsbezogenen Informationen ausgegeben, oder es wird nichts ausgegeben. Wenn die eingegebenen Lenkanweisungsinformationen und die eingegebenen Kameraführungsinformationen nicht vorab miteinander verknüpft sind, wird das Flag 6-0 und/oder werden die Lenkanweisungsinformationen als die lenkanweisungsbezogenen Informationen ausgegeben, oder es wird nichts ausgegeben.
  • In Schritt S301 kann das Informationserzeugungsmodul 201 außerdem eine Gewichtung bei den eingegebenen Lenkanweisungsinformationen durchführen und ein Gewichtungsergebnis als die lenkanweisungsbezogenen Informationen erzeugen. Wie es in einer Tabelle in 8 gezeigt ist, werden, wenn die Lenkanweisungsinformationen, die das Ausmaß des Tretens des Gas- bzw. Beschleunigungspedals angeben, eingegeben werden, beispielsweise Flags 7-20, 7-40 und 7-60, die die Gewichtungsergebnisse angeben, als die lenkanweisungsbezogenen Informationen erzeugt. Danach werden die als die lenkanweisungsbezogenen Informationen erzeugten Flags 7-20, 7-40 und 7-60 in Verbindung mit den entsprechenden Bilddaten in Schritt S302 aufgezeichnet. Wenn das Bild bearbeitet wird, kann somit die Lautstärke des hinzuzufügenden Brennkraftmaschinengeräuschs gemäß dem Ausmaß des Tretens des Gaspedals geändert werden.
  • In Schritt S301 kann das Informationserzeugungsmodul 201 außerdem ein Bearbeitungspunktflag, das vorab mit einer Kombination aus den Lenkanweisungsinformationen und Umgebungsrauminformationen verknüpft ist, die durch die Bildaufzeichnungseinheit 135 erhalten werden, als die lenkanweisungsbezogenen Informationen erzeugen. Die Umgebungsrauminformationen sind hier nicht besonders eingeschränkt, solange es sich um Informationen hinsichtlich des umgebenden Raums des mobilen Objekts 150 (Autokarosserie) mit Lenkung handelt. Die Informationen enthalten beispielsweise die lenkanweisungsbezogenen Informationen für ein anderes mobiles Objekt (eine andere Fahrzeugkarosserie) mit Lenkung in dem umgebenden Raum, Informationen, die die Umgebung des mobilen Objekts 150 angeben, wie einen Tunnel oder eine Innenstadt, und Informationen, die das Wetter um das mobile Objekt 150 angeben, wie Regen oder Schnee.
  • Die Umgebungsrauminformationen werden durch eine (nicht gezeigte) Umgebungsrauminformationserhalteeinrichtung erhalten und werden über die Kommunikationseinheit 118 durch das Informationserzeugungsmodul 201 empfangen. Wenn beispielsweise aufgrund eines Spurwechsels ein anderes Auto in dem aufgenommenen Bild wiedergegeben wird, kann das Flag 1-1 von dem mobilen Objekt 150 erhalten werden, und das Informationserzeugungsmodul 201 kann die Lenkanweisungsinformationen (ein Flag 8-1) erhalten, die eine Blinkanweisung des Blinkers des anderen Autos angeben, wie es in einer Tabelle in 9 gezeigt ist. In diesem Fall wird ein Bearbeitungspunktflag 9-1, das der Kombination der Flags 1-1 und 8-1 entspricht, als die lenkanweisungsbezogenen Informationen erzeugt und wird in Verbindung mit den Bilddaten in Schritt S302 aufgezeichnet. Dies erleichtert es dem Benutzer beim Bearbeiten des aufgenommenen Bildes, eine Szene zu finden, in der eine andere Autokarosserie in dem Bild wiedergegeben wird.
  • Obwohl bei diesem Ausführungsbeispiel der Fall beschrieben wurde, bei dem das vorab mit den eingegebenen Lenkanweisungsinformationen und den eingegebenen Umgebungsrauminformationen verknüpfte Bearbeitungspunktflag als die lenkanweisungsbezogenen Informationen existiert, kann das Bearbeitungspunktflag nicht existieren. Wenn diese Teile von Informationen nicht existieren, wird/werden ein Flag 9-0 (ein Flag, das angibt, dass es keine entsprechenden lenkanweisungsbezogenen Informationen gibt) und/oder die Lenkanweisungsinformationen und/oder die Umgebungsrauminformationen als die lenkanweisungsbezogenen Informationen ausgegeben, oder es wird nichts ausgegeben. Wenn die eingegebenen Lenkanweisungsinformationen und die eingegebenen Umgebungsrauminformationen nicht vorab miteinander verknüpft sind, wird/werden das Flag 9-1 und/oder die Lenkanweisungsinformationen als die lenkanweisungsbezogenen Informationen ausgegeben, oder es wird nichts ausgegeben.
  • Wenn eine Vielzahl von Teilen von Lenkanweisungsinformationen, die denselben Lenkanweisungsinhalt angeben, während der Bildaufnahme durch die Bildaufnahmeeinrichtung 132 erhalten werden, kann das Informationserzeugungsmodul 201 in Schritt S301 die Vielzahl von Teilen der erhaltenen selben Lenkanweisungsinformationen in eine Kombination verknüpfter Sätze ändern.
  • Wenn beispielsweise zwei verschiedene Bilder aufgenommen werden, wenn die Lenkanweisung zum Drehen des Lenkrades bei dem mobilen Objekt 150 erteilt wird, erhält das Informationserzeugungsmodul 201 zwei Teile derselben Lenkanweisungsinformationen (Flags 1-4). In diesem Fall wird einer der zwei Teile derselben Lenkanweisungsinformationen (der Flags 1-4) in ein Flag 1-4-1 geändert, und der andere wird in ein Flag 1-4-2 geändert, und diese werden als eine Kombination von Sätzen eingestellt. Für das Flag 1-4-1 wird ein Flag, das einen Aus-Punkt für einen Bildübergang angibt, das ein vorab verknüpftes Bearbeitungspunktflag ist, als die lenkanweisungsbezogenen Informationen erzeugt. Für das Flag 1-4-2 wird ein Flag, das einen Ein-Punkt für den Bildübergang angibt, das ein vorab verknüpftes Bearbeitungspunktflag ist, als die lenkanweisungsbezogenen Informationen erzeugt.
  • Danach werden die als die lenkanweisungsbezogenen Informationen erzeugten Flags in Verbindung mit den entsprechenden Bilddaten in Schritt S302 aufgezeichnet. Dies ermöglicht es dem Benutzer beim Bearbeiten des Bildes leichter eine Zeitvorgabe eines Übergangs und einen Kandidaten eines durch den Übergang zu verbindenden Bildes zu finden.
  • Wenn drei oder mehr verschiedene Bilder aufgenommen werden, wenn die Lenkanweisung zum Drehen des Lenkrads in dem mobilen Objekt 150 erteilt wird, erhält das Informationserzeugungsmodul 201 außerdem drei oder mehr Teile derselben Lenkanweisungsinformationen (Flags 1-4). In diesem Fall wird das Flag, das das Informationserzeugungsmodul 201 unter den drei oder mehr Teilen derselben Lenkanweisungsinformationen (Flags 1-4) als erstes erhalten hat, als ein Flag 1-4-11 (erste Lenkanweisungsinformationen) eingestellt. Andererseits werden die verbleibenden Flags in ein Flag 1-4-12 (zweite Lenkanweisungsinformationen), ein Flag 1-4-13 (dritte Lenkanweisungsinformationen), ... in der Reihenfolge der Flags geändert, wie sie durch das Informationserzeugungsmodul 201 erhalten werden. Somit werden die Flags 1-4-11, 1-4-12 und 1-4-13 auf eine Kombination von Sätzen eingestellt.
  • Für das Flag 1-4-11 wird ein Flag, das einen Aus-Punkt für einen Bildübergang angibt, das ein vorab verknüpftes Bearbeitungspunktflag ist, als die lenkanweisungsbezogenen Informationen erzeugt. Für die Flags 1-4-12, 1-4-13, ..., werden außerdem Flags, die Ein-Punkte für einen Bildübergang angeben, die vorab verknüpfte Bearbeitungspunktflags sind, als die lenkanweisungsbezogenen Informationen erzeugt. Danach wird jedes als die lenkanweisungsbezogenen Informationen erzeugte Flag in Verbindung mit den entsprechenden Bilddaten in Schritt S302 aufgezeichnet. Dies macht es dem Benutzer beim Bearbeiten des Bildes leichter, einen Kandidaten eines Bildes zu finden, das durch den Übergang zu verbinden ist.
  • Bei diesem Ausführungsbeispiel wurde der Fall beschrieben, bei dem, wenn das Informationserzeugungsmodul 201 eine Vielzahl von Teilen von Lenkanweisungsinformationen erhält, die denselben Lenkanweisungsinhalt angeben, die Vielzahl von Teilen derselben Lenkanweisungsinformationen in die Kombination von Sätzen geändert werden, jedoch stellt dies keine Einschränkung dar. Wenn es beispielsweise keine Lenkanweisungsinformationen gibt, die in eine Kombination von Sätzen zu ändern sind, werden die entsprechenden lenkanweisungsbezogenen Informationen ohne Ändern der Lenkanweisungsinformationen ausgegeben.
  • Vorstehend wurden die Inhalte des Prozesses zum Erzeugen der lenkanweisungsbezogenen Informationen beschrieben. Mit dem vorstehenden Aufbau kann der Benutzer das Bild gemäß lenkanweisungsbezogenen Informationen leicht bearbeiten, während er auf die Bilddaten Bezug nimmt.
  • Bei diesem Ausführungsbeispiel wurde der Fall beschrieben, in dem sich die Bildaufzeichnungseinheit 135 als die Informationsverarbeitungsvorrichtung innerhalb der mobilen Bildaufnahmevorrichtung 100 befindet, jedoch kann sich die Bildaufzeichnungseinheit 135 in einem (nicht gezeigten) Server befinden, der mit der mobilen Bildaufnahmevorrichtung 100 und dem mobilen Objekt 150 kommunizieren kann. Wenn sich die Bildaufzeichnungseinheit 135 in dem Server befindet, werden die Lenkanweisungsinformationen von dem mobilen Objekt 150, die durch die Bildaufnahmevorrichtung 130 aufgenommenen Bilddateninformationen, die Kameraführungsinformationen durch die Steuereinrichtung 111 und dergleichen zu der Bildaufzeichnungseinheit 135 in dem Server übertragen.
  • Auch bei diesem Ausführungsbeispiel kann sich die Bildaufzeichnungseinheit 135 als die Informationsverarbeitungsvorrichtung in dem mobilen Objekt 150 befinden. In diesem Fall werden die durch die Bildaufnahmevorrichtung 130 aufgenommenen Bilddaten, die Kameraführungsinformationen durch die Steuereinrichtung 111 und dergleichen zu dem mobilen Objekt 150 übertragen.
  • Weitere Ausführungsbeispiele
  • Ausführungsbeispiele der vorliegenden Erfindung können auch durch einen Computer eines Systems oder einer Vorrichtung, der auf einem Speichermedium (das vollständiger auch als „nicht flüchtiges computerlesbares Speichermedium“ bezeichnet werden kann) aufgezeichnete computerausführbare Anweisungen (bspw. ein oder mehrere Programme) zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele ausliest und ausführt, und/oder der eine oder mehrere Schaltungen (bspw. eine anwendungsspezifische integrierte Schaltung (ASIC)) zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele enthält, und durch ein durch den Computer des Systems oder der Vorrichtung beispielsweise durch Auslesen und Ausführen der computerausführbaren Anweisungen aus dem Speichermedium zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele und/oder Steuern der einen oder mehreren Schaltungen zur Durchführung der Funktionen eines oder mehrerer der vorstehend beschriebenen Ausführungsbeispiele durchgeführtes Verfahren realisiert werden. Der Computer kann einen oder mehrere Prozessoren (bspw. eine Zentralverarbeitungseinheit (CPU), Mikroverarbeitungseinheit (MPU)) umfassen, und kann ein Netzwerk separater Computer oder separater Prozessoren zum Auslesen und Ausführen der computerausführbaren Anweisungen enthalten. Die computerausführbaren Anweisungen können dem Computer beispielsweise von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann beispielsweise eines oder mehrere der folgenden Dinge enthalten: eine Festplatte, einen Speicher mit wahlfreiem Zugriff (RAM), einen Nur-Lese-Speicher (ROM), einen Speicher verteilter Rechensysteme, eine optische Scheibe (wie eine Kompaktdisk (CD), Digital Versatile Disk (DVD) oder Blu-ray Disk (BD)™), eine Flash-Speichereinrichtung, eine Speicherkarte und dergleichen.
  • Obwohl die Erfindung unter Bezugnahme auf Ausführungsbeispiele beschrieben wurde, ist ersichtlich, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Dem Schutzbereich der folgenden Patentansprüche soll die breiteste Interpretation zum Umfassen all solcher Abwandlungen und von äquivalenten Strukturen und Funktionen zukommen.
  • Diese Anmeldung nimmt die Priorität der am 28. November 2023 eingereichten japanischen Patenanmeldung 2023-200675 in Anspruch, die hiermit durch Bezugnahme in Gänze aufgenommen ist.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2022-104716 A [0004, 0006]
    • JP 2012-216102 A [0005, 0006, 0008]
    • JP 2023-200675 [0086]

Claims (21)

  1. Informationsverarbeitungsvorrichtung mit einer Erzeugungseinrichtung, die eingerichtet ist zum Erhalten von Lenkanweisungsinformationen über ein mobiles Objekt mit Lenkung und Erzeugen von lenkanweisungsbezogenen Informationen, die den Lenkanweisungsinformationen entsprechen, und einer Aufzeichnungseinrichtung, die eingerichtet ist, immer wenn aufgenommene Daten, die durch eine Bildaufnahmevorrichtung erzeugt werden, die an einer mobilen Bildaufnahmevorrichtung angebracht ist, die ein Bild des mobilen Objekts aufnimmt, von der Bildaufnahmevorrichtung erhalten werden, die aufgenommenen Daten und die lenkanweisungsbezogenen Informationen, die durch die Erzeugungseinrichtung erzeugt werden, in Verbindung miteinander aufzuzeichnen.
  2. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die lenkanweisungsbezogenen Informationen die Lenkanweisungsinformationen sind.
  3. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die lenkanweisungsbezogenen Informationen ein Bearbeitungspunktflag darstellen, das einen Bearbeitungspunkt für ein Bild oder einen Bearbeitungspunkt für Ton angibt.
  4. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die lenkanweisungsbezogenen Informationen ein Übergangsbearbeitungspunktflag darstellen, das einen Bearbeitungspunkt für einen Bildübergang oder einen Bearbeitungspunkt für einen Tonübergang angibt.
  5. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die lenkanweisungsbezogenen Informationen ein empfohlenes Übergangsflag darstellen, das einen empfohlenen Übergang für einen Bildübergang oder einen empfohlenen Übergang für einen Tonübergang angibt.
  6. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Lenkanweisungsinformationen ein durch einen mehrwertigen Wert ausgedrücktes Flag darstellen.
  7. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die lenkanweisungsbezogenen Informationen ein Flag darstellen, das einer Kombination der Lenkanweisungsinformationen und von Informationen über eine Kameraführung in der mobilen Bildaufnahmevorrichtung entspricht.
  8. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die lenkanweisungsbezogenen Informationen ein Flag darstellen, das einer Kombination der Lenkanweisungsinformationen und von Umgebungsrauminformationen über einen umgebenden Raum des mobilen Objekts entspricht.
  9. Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Umgebungsrauminformationen über den umgebenden Raum des mobilen Objekts die Lenkanweisungsinformationen eines von dem mobilen Objekt verschiedenen anderen Objekts sind.
  10. Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Umgebungsrauminformationen über den umgebenden Raum des mobilen Objekts Informationen sind, die eine Umgebung des mobilen Objekts angeben.
  11. Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Umgebungsrauminformationen über den umgebenden Raum des mobilen Objekts Informationen sind, die Wetter angeben, welches das mobile Objekt umgibt.
  12. Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 11, wobei die Bildaufnahmevorrichtung eine Bildaufnahmeeinrichtung und eine Tonerhalteeinrichtung enthält, und wobei die aufgenommenen Daten durch die Bildaufnahmereinrichtung aufgenommene Bilddaten und/oder durch die Tonerhalteeinrichtung erhaltene Tondaten sind.
  13. Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 12, wobei die Erzeugungseinrichtung eine Vielzahl von Teilen derselben Lenkanweisungsinformationen, die erhalten werden, in Informationen über eine Kombination verknüpfter Sätze ändert.
  14. Informationsverarbeitungsvorrichtung nach Anspruch 13, wobei die Erzeugungseinrichtung einen von zwei Teilen derselben Lenkanweisungsinformationen, die erhalten werden, in Lenkanweisungsinformationen, die mit den lenkanweisungsbezogenen Informationen assoziiert sind, die einen Ein-Punkt eines Bearbeitungspunkts angeben, ändert, und den anderen der zwei Teile derselben Lenkanweisungsinformationen, die erhalten werden, in Lenkanweisungsinformationen, die mit den lenkanweisungsbezogenen Informationen assoziiert sind, die einen Aus-Punkt des Bearbeitungspunkts angeben, ändert.
  15. Informationsverarbeitungsvorrichtung nach Anspruch 13, wobei die Erzeugungseinrichtung die Lenkanweisungsinformationen, die unter drei Teilen der erhaltenen selben Lenkanweisungsinformationen am frühesten erhalten werden, in erste Lenkanweisungsinformationen ändert, die mit den lenkanweisungsbezogenen Informationen assoziiert sind, die einen Ein-Punkt eines Bearbeitungspunkts angeben, und die verbleibenden zwei Teile derselben Lenkanweisungsinformationen in zweite Lenkanweisungsinformationen und dritte Lenkanweisungsinformationen, die mit den lenkanweisungsbezogenen Informationen assoziiert sind, die Aus-Punkte des Bearbeitungspunkts angeben, in der Reihenfolge des Erhaltens ändert.
  16. Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 15, die sich in der mobilen Bildaufnahmevorrichtung befindet.
  17. Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 15, die sich in dem mobilen Objekt befindet.
  18. Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 15, die sich in einem Server befindet, der mit der mobilen Bildaufnahmevorrichtung und dem mobilen Objekt kommunikationsfähig verbunden ist.
  19. Steuerverfahren für eine Informationsverarbeitungsvorrichtung, wobei das Steuerverfahren umfasst einen Erzeugungsschritt eines Erhaltens von Lenkanweisungsinformationen über ein mobiles Objekt mit Lenkung und Erzeugens von lenkanweisungsbezogenen Informationen, die den Lenkanweisungsinformationen entsprechen, und einen Aufzeichnungsschritt eines in Verbindung miteinander Aufzeichnens von aufgenommenen Daten und der lenkanweisungsbezogenen Informationen, die durch die Erzeugungseinrichtung erzeugt werden, immer dann, wenn die aufgenommenen Daten, die durch eine Bildaufnahmevorrichtung erzeugt werden, die an einer mobilen Bildaufnahmevorrichtung angebracht ist, die ein Bild des mobilen Objekts aufnimmt, von der Bildaufnahmevorrichtung erhalten werden.
  20. Computerprogrammprodukt, das ein Computerprogramm enthält, das einen Computer zum Ausführen des Steuerverfahrens nach Anspruch 19 veranlasst.
  21. Computerlesbares Speichermedium, das ein Computerprogramm speichert, das einen Computer zum Ausführen des Steuerverfahrens nach Anspruch 19 veranlasst.
DE102024134969.7A 2023-11-28 2024-11-27 Informationsverarbeitungsvorrichtung, Steuerverfahren, Programmprodukt und Speichermedium Pending DE102024134969A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-200675 2023-11-28
JP2023200675A JP2025086590A (ja) 2023-11-28 2023-11-28 情報処理装置及びその制御方法、並びにプログラム

Publications (1)

Publication Number Publication Date
DE102024134969A1 true DE102024134969A1 (de) 2025-05-28

Family

ID=95655651

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102024134969.7A Pending DE102024134969A1 (de) 2023-11-28 2024-11-27 Informationsverarbeitungsvorrichtung, Steuerverfahren, Programmprodukt und Speichermedium

Country Status (4)

Country Link
US (1) US20250174252A1 (de)
JP (1) JP2025086590A (de)
CN (1) CN120075588A (de)
DE (1) DE102024134969A1 (de)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003154960A (ja) * 2001-09-04 2003-05-27 Honda Motor Co Ltd 車両の操舵制御装置
JP6778626B2 (ja) * 2017-02-01 2020-11-04 株式会社デンソーテン 運転情報記録装置、運転情報表示処理システム、運転情報記録方法、表示処理方法、及び、プログラム

Also Published As

Publication number Publication date
US20250174252A1 (en) 2025-05-29
JP2025086590A (ja) 2025-06-09
CN120075588A (zh) 2025-05-30

Similar Documents

Publication Publication Date Title
DE102019115455A1 (de) Fokus-basiertes markieren von sensordaten
DE102018215344A1 (de) System und verfahren für fahrzeugkonvois
DE102017123848A1 (de) Automatisches Parken eines Fahrzeugs auf einem Parkplatz
DE102019131942A1 (de) Umfeldüberwachungseinrichtung
DE102020124666A1 (de) Verfahren, system und computerprogrammprodukt zur bereitstellung von fahrassistenz
DE112017007471B4 (de) Mitteilungssteuereinrichtung
DE112018004519T5 (de) Anzeigevorrichtung eines überlagerten Bildes und Computerprogramm
DE102018105577A1 (de) Parkhilfeverfahren sowie Parkhilfevorrichtung, automatische Fahrsteuerungsvorrichtung und Programm, die das Parkhilfeverfahren verwenden
DE19860676A1 (de) Visualisierungseinrichtung für die von wenigstens einem Scheinwerfer eines Fahrzeugs bewirkte Beleuchtung vor dem Fahrzeug
DE112018002918T5 (de) Steuervorrichtung, bildaufnahmevorrichtung, steuerverfahren, programm undbildaufnahmesystem
DE102018111935A1 (de) Bildverarbeitungssystem, Bildverarbeitungsverfahren, Informationsverarbeitungsvorrichtung und Aufzeichnungsmedium
DE102011004463A1 (de) Spurmarkierungserkennungssystem mit verbessertem erkennungsverhalten
WO2020020654A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen
WO2020104551A1 (de) Objekterkennung mittels sensorsystem von fahrzeugen
DE112021006401T5 (de) Systeme und Verfahren zur Objekterkennung unter Verwendung von Stereovisionsinformationen
DE112020001581T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
EP3815044A1 (de) Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung
EP1591316B1 (de) Bildaufnahmesystem
DE102018106039B4 (de) Bildreproduktionsvorrichtung, bildreproduktionssystem und bildreproduktionsverfahren
DE112015004341B4 (de) Fahrzeug-bildverarbeitungsvorrichtung
DE10137582A1 (de) Bildverarbeitungsvorrichtung für ein Fahrzeug
DE112019004606T5 (de) Informationsverarbeitungsvorrichtung, endgerätevorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm
DE102018132676A1 (de) Verfahren zum Lokalisieren eines Fahrzeugs in einer Umgebung
DE102022111927A1 (de) Bildsensor, bildgebungsvorrichtung und bildverarbeitungsverfahren
DE102024134969A1 (de) Informationsverarbeitungsvorrichtung, Steuerverfahren, Programmprodukt und Speichermedium

Legal Events

Date Code Title Description
R012 Request for examination validly filed