[go: up one dir, main page]

WO2015115104A1 - 撮像装置、カメラシステム、および信号出力方法 - Google Patents

撮像装置、カメラシステム、および信号出力方法 Download PDF

Info

Publication number
WO2015115104A1
WO2015115104A1 PCT/JP2015/000404 JP2015000404W WO2015115104A1 WO 2015115104 A1 WO2015115104 A1 WO 2015115104A1 JP 2015000404 W JP2015000404 W JP 2015000404W WO 2015115104 A1 WO2015115104 A1 WO 2015115104A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
identifier
pixel signal
image
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/000404
Other languages
English (en)
French (fr)
Inventor
圭俊 中田
智雄 西野
瑞己 鈴村
英敏 梅田
横田　匡司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to US15/114,418 priority Critical patent/US10178319B2/en
Priority to EP15743443.2A priority patent/EP3101888B1/en
Priority to JP2015559825A priority patent/JP6142005B2/ja
Publication of WO2015115104A1 publication Critical patent/WO2015115104A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • the present invention relates to an imaging apparatus, a camera system, and a signal output method for outputting an image to one or more output destinations.
  • an imaging device that outputs image data obtained by imaging a subject image.
  • image data obtained by performing predetermined image processing on the output of an image sensor such as a CCD is stored in a frame memory, and the stored image data is output to a plurality of systems, for example, an image display output,
  • a technique for performing predetermined processing such as subject face detection and luminance calculation is described.
  • An object of the present invention made in view of such circumstances is to provide an imaging apparatus, a camera system, and a signal output method for outputting an image while reducing processing load to one or more output destinations.
  • an imaging apparatus capable of outputting a pixel signal to one or more output destinations, An image sensor having a plurality of pixels that are two-dimensionally arrayed and can each generate a pixel signal; An identifier adding unit for adding an identifier associated with at least one output destination to the pixel signals of at least some of the plurality of pixels; An image processing unit that outputs each of the pixel signals to an output destination corresponding to the identifier included in the pixel signal.
  • the camera system includes: An image sensor having a plurality of pixels that are two-dimensionally arranged and can generate pixel signals, and an identifier associated with at least one output destination is added to the pixel signals of at least some of the pixels.
  • An imaging device having an identifier adding unit, and an image processing unit that outputs each pixel signal to an output destination corresponding to the identifier included in the pixel signal; And an apparatus to which the pixel signal output from the imaging apparatus is input.
  • the signal output method includes: Generating a pixel signal for each of a plurality of pixels arranged two-dimensionally; Adding an identifier associated with at least one output destination to the pixel signals of at least some of the plurality of pixels; Outputting each of the pixel signals to an output destination corresponding to the identifier included in the pixel signal.
  • the imaging apparatus According to the imaging apparatus, the camera system, and the signal output method according to the present invention, it is possible to reduce the processing burden to one or more output destinations and output an image.
  • FIG. 1 It is a block diagram which shows schematic structure of the camera system which concerns on one Embodiment of this invention. It is a figure which shows the light-receiving plane of the image pick-up element of FIG. It is a flowchart figure explaining operation
  • the camera system 10 includes an imaging device 11, a display device 12, and a subject recognition device 13.
  • the imaging device 11 is a front camera disposed in front of a moving body such as a vehicle, for example, but may be another camera such as a rear camera disposed in the rear.
  • the camera system 10 may include a plurality of imaging devices 11 such as a front camera, a rear camera, and a side camera.
  • Each component of the camera system 10 can transmit and receive information via an in-vehicle network 14 such as a dedicated line or CAN.
  • the display device 12 and the subject recognition device 13 are determined as pixel signal output destinations of the imaging device 11.
  • the imaging device 11 includes an optical system 15, an imaging element 16, an identifier adding unit 17, an image processing unit 18, and a camera control unit 19.
  • the optical system 15 includes a stop and a plurality of lenses, and forms a subject image.
  • the optical system 15 has a wide angle of view, and can form a subject image included in the peripheral area of the moving body.
  • the image sensor 16 is, for example, a CMOS image sensor, and has a plurality of pixels arranged two-dimensionally, and images a subject image formed by the optical system 15. That is, a pixel signal corresponding to the amount of light received by each pixel is generated by imaging. Further, the image sensor 16 outputs pixel signals generated by a plurality of pixels by imaging to the identifier adding unit 17.
  • the pixel signal is used for generating an image (image signal), and one image signal is constituted by a plurality of pixel signals.
  • the identifier adding unit 17 can sequentially acquire pixel signals from the image sensor 16 for each pixel.
  • the identifier adding unit 17 adds a predetermined identifier to the pixel signals of at least some of the pixels based on the clock signal and the synchronization signal, and outputs them to the image processing unit 18.
  • the predetermined identifier is associated with the output destination of the pixel signal to which the identifier is added.
  • the identifier is associated with either or both of the display device 12 and the subject recognition device 13.
  • the identifier adding unit 17 stores correspondence information indicating a correspondence relationship between a pixel in a predetermined region on the two-dimensional array and the identifier.
  • the correspondence information is a table or map in which the address of a pixel in a predetermined area is associated with an identifier added to the pixel signal of the pixel.
  • the identifier adding unit 17 adds an identifier to the pixel signal of each pixel according to the correspondence information.
  • the correspondence information may be determined in advance at the time of manufacturing the imaging device 11, for example, or may be changeable by a user or the like.
  • the first area A in FIG. 2 is defined as an image area to be displayed on the display device 12 (first output destination).
  • the second area B is defined as an image area that causes the subject recognition device 13 (second output destination) to execute subject recognition processing. Region A and region B may overlap each other or may be separated from each other.
  • the identifier adding unit 17 When the identifier adding unit 17 acquires the pixel signal of the pixel included in the region A, the identifier adding unit 17 adds an identifier associated with the display device 12 (for example, identifier A) to the pixel signal. When the identifier adding unit 17 acquires the pixel signal of the pixel included in the region B, the identifier adding unit 17 adds an identifier (for example, identifier B) associated with the subject recognition device 13 to the pixel signal.
  • an identifier for example, identifier B
  • the image processing unit 18 acquires a pixel signal from the identifier adding unit 17.
  • the image processing unit 18 performs general image processing such as noise removal, color interpolation, brightness correction, color correction, and gamma correction on the acquired image signal including a plurality of pixel signals. Further, the image processing unit 18 distributes and outputs the pixel signal of the pixel to the output destination corresponding to the identifier added to the pixel signal of each pixel. Further, the image processing unit 18 may discard the pixel signal other than the pixel signal to which the identifier is added without outputting the pixel signal.
  • the camera control unit 19 controls the operation of each part of the imaging device 11. For example, the operation of the camera control unit 19, the image sensor 16, and the image processing unit 18 is controlled to output a pixel signal periodically, for example, at 30 fps.
  • the display device 12 includes an LCD (liquid crystal display), for example, and can display a real-time moving image.
  • the display device 12 displays an image composed of pixel signals of a plurality of pixels (for example, pixel signals of pixels included in the region A shown in FIG. 2) input from the image processing unit 18.
  • the display device 12 may be configured as a touch panel, for example, and may function as an interface that accepts user operations.
  • the subject recognition device 13 uses an image constituted by pixel signals of a plurality of pixels (for example, pixel signals of pixels included in the region B shown in FIG. 2) input from the image processing unit 18.
  • a recognition process for a predetermined subject such as an obstacle is performed.
  • the recognition of the subject is performed using a general object recognition technique such as pattern recognition.
  • the imaging device 16 of the imaging device 11 images a subject around the moving body, generates a pixel signal of each pixel, and outputs the pixel signal to the identifier adding unit 17 (step S100).
  • the identifier adding unit 17 adds an identifier to at least some of the plurality of pixel signals acquired from the image sensor 16 in step S100 based on the correspondence information stored in advance (step S101). ).
  • the identifier adding unit 17 adds the identifier A to the pixel signal of the pixels in the region A shown in FIG. Further, the identifier adding unit 17 adds the identifier B to the pixel signal of the pixels in the region B.
  • the image processing unit 18 acquires a pixel signal of one pixel from the identifier adding unit 17 (step S102).
  • the image processing unit 18 determines whether or not the pixel signal acquired in step S102 includes the identifier A (step S103).
  • step S103 If the identifier A is included in step S103 (step S103-Yes), the image processing unit 18 outputs the pixel signal acquired in step S102 to the display device 12 (step S104).
  • step S104 determines whether or not the pixel signal acquired in step S102 includes the identifier B. (Step S105).
  • step S105 If the identifier B is included in step S105 (step S105-Yes), the image processing unit 18 outputs the pixel signal acquired in step S102 to the subject recognition device 13 (step S106).
  • Step S106 the image processing unit 18 discards the pixel signal acquired in Step S102 (Step S107).
  • the image processing unit 18 determines whether or not the pixel signals of all the pixels in the current frame have been allocated (step S108). When the pixel signals of all the pixels have been distributed (step S108—Yes), the process returns to step S100 and the same processing is performed for the next frame. On the other hand, when the pixel signals of all the pixels have not been allocated (No at Step S108), the image processing unit 18 repeatedly executes the processes at Steps S102 to S108 for the pixel signals of the pixels that are not allocated.
  • an identifier is added to the pixel signal of the pixel, and the pixel signal is distributed and output according to the identifier. Therefore, the image is stored in the frame memory. There is no need to keep it. For this reason, the processing burden of outputting a plurality of pixel signals as an image to the output destination is reduced. Moreover, since the imaging device 11 does not need to include a frame memory, the cost of the imaging device 11 is reduced. Also, the frame delay due to storing the image in the frame memory is reduced.
  • the camera system 10 of the present embodiment outputs pixel signals to two or more output destinations having different regions on the two-dimensional array of pixels determined for each output destination. It is particularly useful in cases. In the case where the image is stored in the frame memory, a different trimming process is required for each output destination of the image read from the frame memory. That is, the greater the number of output destinations with different defined areas, the greater the processing load.
  • the imaging apparatus 11 according to the present embodiment can detect the pixel signal based on the identifier even when there are two or more output destinations having different regions defined for each output destination in the two-dimensional array of pixels. No additional processing is required other than the above-described processing for distributing output. For this reason, the processing load for outputting pixel signals as images to a plurality of output destinations is reduced without depending on the number of output destinations having different regions defined for each output destination in the two-dimensional array of pixels.
  • the camera system 10 of the present embodiment discards the pixel signal other than the pixel signal to which the identifier is added without outputting it, the amount of data to be handled is reduced and the processing load is further reduced.
  • each component of the camera system 10 of the above-described embodiment can be divided and rearranged.
  • the imaging device 11 may include a display unit having the same function as the display device 12 and a subject recognition unit having the same function as the subject recognition device 13.
  • the structure which the image processing part 18 has each function of the identifier addition part 17 of the imaging device 11 may be sufficient.
  • any imaging system that outputs pixel signals to a plurality of systems may be used.
  • the image sensor 16 is described as a CMOS sensor, but other types of image sensors such as a CCD sensor may be used.
  • the identifier adding unit 17 may attach an identifier for discarding the added pixel signal in addition to the identifier associated with the output destination. In such a case, if the acquired pixel signal includes an identifier for discarding, the image processing unit 18 discards the pixel signal without outputting it.
  • the imaging device 11 or the like may be realized as a communication device such as a mobile phone, and may be connected to other components of the camera system 10 by wire or wireless.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

　処理負担を軽減して１つ以上の出力先に画像を出力する撮像装置、カメラシステム、および信号出力方法を提供する。１つ以上の出力先に画素信号を出力可能な撮像装置（１１）は、２次元配列されそれぞれ画素信号を生成可能な複数の画素を有する撮像素子（１６）と、複数の画素のうち少なくとも一部の画素の画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加する識別子付加部（１７）と、各画素信号を、該画素信号に含まれる識別子に対応する出力先にそれぞれ出力する画像処理部（１８）と、を備える。

Description

撮像装置、カメラシステム、および信号出力方法 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１４－０１４９２５号（２０１４年１月２９日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本発明は、１つ以上の出力先に画像を出力する撮像装置、カメラシステム、および信号出力方法に関する。
　従来、被写体像を撮像した画像データを出力する撮像装置が知られている。例えば、特許文献１には、ＣＣＤなどの撮像素子の出力に所定の画像処理を施した画像データをフレームメモリに記憶し、記憶した画像データを複数系統に出力して、例えば画像の表示出力、被写体の顔検出、および輝度算出などの所定の処理を行う技術が記載されている。
特開２０１０－６８０３０号公報
　しかしながら、例えば複数の出力先に画像データを出力する場合には、画像データを一時的にフレームメモリに記憶させる必要があるため、画像データの記憶および読み出しの処理が発生し、処理時間が増加する。また、画像データに要求される解像度が高くなるほど、処理時間はさらに増加し、フレームメモリの容量も大きいものが必要となるため、コストが増大する。
　かかる事情に鑑みてなされた本発明の目的は、１つ以上の出力先に処理負担を軽減して画像を出力する撮像装置、カメラシステム、および信号出力方法を提供することにある。
　上記課題を解決するために本発明に係る撮像装置は、
　１つ以上の出力先に画素信号を出力可能な撮像装置であって、
　２次元配列されそれぞれ画素信号を生成可能な複数の画素を有する撮像素子と、
　前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加する識別子付加部と、
　各前記画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力する画像処理部と、を備えることを特徴とする。
　また、本発明に係るカメラシステムは、
　２次元配列されそれぞれ画素信号を生成可能な複数の画素を有する撮像素子と、前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加する識別子付加部と、各前記画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力する画像処理部と、を有する撮像装置と、
　前記出力先に定められ、前記撮像装置によって出力された前記画素信号が入力される装置と、を備えることを特徴とする。
　また、本発明に係る信号出力方法は、
　２次元配列された複数の画素にそれぞれ画素信号を生成させるステップと、
　前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加するステップと、
　各前記画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力するステップと、を含むことを特徴とする。
　本発明に係る撮像装置、カメラシステム、および信号出力方法によれば、１つ以上の出力先に処理負担を軽減して画像が出力可能である。
本発明の一実施形態に係るカメラシステムの概略構成を示すブロック図である。 図１の撮像素子の受光平面を示す図である。 図１の撮像装置の動作を説明するフローチャート図である。
　以下、本発明の実施形態について、図面を参照して説明する。
　はじめに、本発明の一実施形態に係るカメラシステムおよび撮像装置について説明する。
　図１に示すように、カメラシステム１０は、撮像装置１１と、表示装置１２と、被写体認識装置１３と、を備える。本実施形態において、撮像装置１１は、例えば車両などの移動体の前方に配置されたフロントカメラであるが、後方に配置されたリアカメラなど他のカメラであってもよい。また、カメラシステム１０は、例えばフロントカメラ、リアカメラ、およびサイドカメラなど、撮像装置１１を複数備えてもよい。カメラシステム１０の各構成要素は、専用線またはＣＡＮなどの車載ネットワーク１４を介して情報を送受信可能である。本実施形態において、表示装置１２および被写体認識装置１３は、撮像装置１１による画素信号の出力先に定められる。
　撮像装置１１は、光学系１５と、撮像素子１６と、識別子付加部１７と、画像処理部１８と、カメラ制御部１９と、を備える。
　光学系１５は、絞りおよび複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系１５は広い画角を有しており、移動体の周辺領域に含まれる被写体像を結像可能である。
　撮像素子１６は、例えばＣＭＯＳ撮像素子であって、２次元配列された複数の画素を有しており、光学系１５によって結像する被写体像を撮像する。すなわち、撮像によって、各画素の受光量に応じた画素信号が生成される。また、撮像素子１６は、撮像によって複数の画素がそれぞれ生成した画素信号を、識別子付加部１７に出力する。画素信号は、画像（画像信号）の生成に用いられ、複数の画素信号によって１つの画像信号が構成される。
　識別子付加部１７は、撮像素子１６から画素ごとに画素信号を順次取得可能である。識別子付加部１７は、クロック信号および同期信号に基づいて、少なくとも一部の画素の画素信号に所定の識別子を付加し、画像処理部１８に出力する。所定の識別子は、識別子を付加した画素信号の出力先に対応付けられている。本実施形態において、識別子は、表示装置１２および被写体認識装置１３の何れかまたは両方に対応付けられている。識別子の付加のために、識別子付加部１７は、２次元配列上の所定の領域内の画素と識別子との対応関係を示す対応情報を記憶している。例えば、対応情報は、所定の領域内の画素のアドレスと、当該画素の画素信号に付加する識別子と、を対応付けたテーブルまたはマップである。識別子付加部１７は、対応情報に従って各画素の画素信号に識別子を付加する。対応情報は、例えば撮像装置１１の製造時に予め定められてもよく、または使用者などが変更可能であってもよい。
　ここで、識別子付加部１７が記憶する対応情報について、図２を参照して説明する。本実施形態において、図２の第１の領域Ａは、表示装置１２（第１の出力先）に表示させる画像領域として定められる。また、第２の領域Ｂは、被写体認識装置１３（第２の出力先）に被写体認識処理を実行させる画像領域として定められる。領域Ａおよび領域Ｂは、互いに重複していてもよく、あるいは互いに離れていてもよい。
　識別子付加部１７は、領域Ａに含まれる画素の画素信号を取得すると、表示装置１２に対応付けられた識別子（例えば、識別子Ａ）を当該画素信号に付加する。識別子付加部１７は、領域Ｂに含まれる画素の画素信号を取得すると、被写体認識装置１３に対応付けられた識別子（例えば、識別子Ｂ）を当該画素信号に付加する。
　画像処理部１８は、識別子付加部１７から画素信号を取得する。画像処理部１８は、取得した複数の画素信号で構成される画像信号に対して、ノイズ除去、色補間、明るさ補正、色補正、およびガンマ補正などの一般的な画像処理を施す。また、画像処理部１８は、各画素の画素信号に付加された識別子に対応する出力先に、当該画素の画素信号を振り分けて出力する。また、画像処理部１８は、識別子が付加された画素信号以外の画素信号を出力することなく破棄してもよい。
　カメラ制御部１９は、撮像装置１１の各部位の動作を制御する。例えば、カメラ制御部１９、撮像素子１６および画像処理部１８の動作を制御して、周期的に、例えば３０ｆｐｓで画素信号を出力させる。
　表示装置１２は、例えばＬＣＤ（液晶ディスプレイ）を含んで構成され、リアルタイムの動画像を表示可能である。表示装置１２は、画像処理部１８から入力される複数の画素の画素信号（例えば、図２に示す領域Ａに含まれる画素の画素信号）によって構成される画像を表示する。表示装置１２は、例えばタッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。
　被写体認識装置１３は（図１参照）、画像処理部１８から入力される複数の画素の画素信号（例えば、図２に示す領域Ｂに含まれる画素の画素信号）によって構成される画像を用いて、障害物などの所定の被写体の認識処理を行う。被写体の認識は、例えばパターン認識など、一般的な物体認識技術を用いて行われる。
　次に、本実施形態に係る撮像装置１１が出力先に画素信号を振り分けて出力する処理について、図３のフローチャートを用いて説明する。本処理は、例えば運転者が移動体を始動させたときに開始され、運転者による終了指示があるまで繰り返し実行される。また、以下の処理は、撮像装置１１の１フレームにおける動作を示す。
　はじめに、撮像装置１１の撮像素子１６は、移動体周囲の被写体を撮像して各画素の画素信号を生成し、識別子付加部１７に出力する（ステップＳ１００）。
　次に、識別子付加部１７は、予め記憶している対応情報に基づいて、ステップＳ１００において撮像素子１６から取得した複数の画素信号のうち、少なくとも一部の画素信号に識別子を付加する（ステップＳ１０１）。本実施形態において、識別子付加部１７は、図２に示す領域Ａ内の画素の画素信号に識別子Ａを付加する。また、識別子付加部１７は、領域Ｂ内の画素の画素信号に識別子Ｂを付加する。
　次に、画像処理部１８は、識別子付加部１７から１つの画素の画素信号を取得する（ステップＳ１０２）。
　続いて、画像処理部１８は、ステップＳ１０２において取得した画素信号が識別子Ａを含むか否かを判定する（ステップＳ１０３）。
　ステップＳ１０３において識別子Ａが含まれている場合には（ステップＳ１０３－Ｙｅｓ）、画像処理部１８は、ステップＳ１０２において取得した画素信号を表示装置１２に出力する（ステップＳ１０４）。
　ステップＳ１０４の後、またはステップＳ１０３において識別子Ａが含まれていない場合には（ステップＳ１０３－Ｎｏ）、画像処理部１８は、ステップＳ１０２において取得した画素信号が識別子Ｂを含むか否かを判定する（ステップＳ１０５）。
　ステップＳ１０５において識別子Ｂが含まれている場合には（ステップＳ１０５－Ｙｅｓ）、画像処理部１８は、ステップＳ１０２において取得した画素信号を被写体認識装置１３に出力する（ステップＳ１０６）。
　ステップＳ１０６の後、またはステップＳ１０５において識別子Ｂが含まれていない場合には（ステップＳ１０５－Ｎｏ）、画像処理部１８は、ステップＳ１０２において取得した画素信号を破棄する（ステップＳ１０７）。
　続いて、画像処理部１８は、現フレームにおける全ての画素の画素信号を振り分け終えたか否かを判定する（ステップＳ１０８）。全ての画素の画素信号を振り分け終えている場合には（ステップＳ１０８－Ｙｅｓ）、ステップＳ１００に戻って次のフレームにつき同様の処理を行う。一方、全ての画素の画素信号を振り分け終えていない場合には（ステップＳ１０８－Ｎｏ）、画像処理部１８は、振り分けていない画素の画素信号についてステップＳ１０２－Ｓ１０８の処理を繰り返し実行する。
　このように、本実施形態のカメラシステム１０の撮像装置１１によれば、画素の画素信号に識別子を付加し、識別子に応じて画素信号を振り分けて出力するため、画像をフレームメモリに記憶しておく必要がない。このため、出力先に画像として複数の画素信号を出力する処理負担が低減される。また、撮像装置１１は、フレームメモリを備える必要がないので、撮像装置１１のコストが低減される。また、画像をフレームメモリに記憶することによるフレーム遅延が低減される。
　また、本実施形態のカメラシステム１０は、以下に説明するように、出力先ごとに定められた複数の画素の２次元配列上の領域が互いに異なる２つ以上の出力先に画素信号を出力する場合に特に有用である。画像をフレームメモリに記憶する構成の場合には、フレームメモリから読み出した画像を出力先ごとに異なるトリミング処理が必要となる。すなわち、定められた領域が互いに異なる出力先の数が多いほど、処理負担が増加する。この点、本実施形態の撮像装置１１は、複数の画素の２次元配列において出力先ごとに定められた領域が互いに異なる２つ以上の出力先が存在しても、識別子に基づいて画素信号の出力を振り分ける上述の処理以外に追加の処理を必要としない。このため、複数の画素の２次元配列において出力先ごとに定められた領域が互いに異なる出力先の数に拠らず、複数の出力先に画像として画素信号を出力する処理負担が低減される。
　また、本実施形態のカメラシステム１０は、識別子が付加された画素信号以外の画素信号を出力することなく破棄するので、取り扱うデータ量が低減されて処理負担がさらに低減される。
　本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
　また、上述の実施形態のカメラシステム１０の各構成要素は、分割および再配置可能である。例えば、撮像装置１１が、表示装置１２と同様の機能を有する表示部、および被写体認識装置１３と同様の機能を有する被写体認識部を備える構成であってもよい。また、撮像装置１１の識別子付加部１７の各機能を、画像処理部１８が有する構成であってもよい。また、カメラシステムのほか、複数系統に画素信号を出力する任意の撮像システムであってもよい。
　また、上述の実施形態において、撮像素子１６はＣＭＯＳセンサとして説明したが、ＣＣＤセンサなど、他の形式の撮像素子であってもよい。
　また、上述の実施形態において、識別子付加部１７は、出力先に対応付けられた識別子のほか、付加される画素信号を破棄させるための識別子を付してもよい。かかる場合には、画像処理部１８は、取得した画素信号に当該破棄させるための識別子が含まれていると、該画素信号を出力することなく破棄する。
　また、上述の実施形態に係るカメラシステム１０の構成要素の一部は、移動体の外部に設けられてもよい。例えば、撮像装置１１などは、携帯電話などの通信機器として実現され、カメラシステム１０の他の構成要素と有線または無線によって接続されてもよい。
　１０　　カメラシステム
　１１　　撮像装置
　１２　　表示装置
　１３　　被写体認識装置
　１４　　車載ネットワーク
　１５　　光学系
　１６　　撮像素子
　１７　　識別子付加部
　１８　　画像処理部
　１９　　カメラ制御部

Claims (7)

  1. 　１つ以上の出力先に画素信号を出力可能な撮像装置であって、
    　２次元配列されそれぞれ画素信号を生成可能な複数の画素を有する撮像素子と、
    　前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加する識別子付加部と、
    　各前記画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力する画像処理部と、
    を備える、撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記識別子付加部は、前記複数の画素の２次元配列上の第１の領域内に位置する画素の前記画素信号に第１の出力先に対応付けられた前記識別子を付加し、前記２次元配列上の第２の領域内に位置する画素の前記画素信号に第２の出力先に対応付けられた前記識別子を付加する、撮像装置。
  3. 　請求項１または２に記載の撮像装置であって、
    　前記画像処理部は、前記識別子が付加された画素信号以外の前記画素信号を、出力することなく破棄する、撮像装置。
  4. 　請求項１乃至３の何れか一項に記載の撮像装置であって、
    　前記出力先として定められた、前記画像処理部から取得した複数の前記画素信号に基づいて画像表示を行う表示部をさらに備える、撮像装置。
  5. 　請求項１乃至４の何れか一項に記載の撮像装置であって、
    　前記出力先として定められた、前記画像処理部から取得した複数の前記画素信号に基づいて被写体認識を行う被写体認識部をさらに備える、撮像装置。
  6. 　２次元配列されそれぞれ画素信号を生成可能な複数の画素を有する撮像素子と、前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加する識別子付加部と、各前記画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力する画像処理部と、を有する撮像装置と、
    　前記出力先に定められ、前記撮像装置によって出力された前記画素信号が入力される装置と、
    を備える、カメラシステム。
  7. 　２次元配列された複数の画素にそれぞれ画素信号を生成させるステップと、
    　前記複数の画素のうち少なくとも一部の画素の前記画素信号に、少なくとも１つの出力先に対応付けられた識別子を付加するステップと、
    　各前記画素信号を、該画素信号に含まれる前記識別子に対応する出力先にそれぞれ出力するステップと、
    を含む、信号出力方法。
PCT/JP2015/000404 2014-01-29 2015-01-29 撮像装置、カメラシステム、および信号出力方法 Ceased WO2015115104A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/114,418 US10178319B2 (en) 2014-01-29 2015-01-29 Imaging apparatus, camera system and signal output method
EP15743443.2A EP3101888B1 (en) 2014-01-29 2015-01-29 Image-capturing device, camera system, and signal output method
JP2015559825A JP6142005B2 (ja) 2014-01-29 2015-01-29 撮像装置、カメラシステム、および信号出力方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014014925 2014-01-29
JP2014-014925 2014-01-29

Publications (1)

Publication Number Publication Date
WO2015115104A1 true WO2015115104A1 (ja) 2015-08-06

Family

ID=53756683

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000404 Ceased WO2015115104A1 (ja) 2014-01-29 2015-01-29 撮像装置、カメラシステム、および信号出力方法

Country Status (4)

Country Link
US (1) US10178319B2 (ja)
EP (1) EP3101888B1 (ja)
JP (1) JP6142005B2 (ja)
WO (1) WO2015115104A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217073A (ja) * 2008-03-11 2009-09-24 Canon Inc 撮像装置及びその制御方法
JP2010510717A (ja) * 2006-11-21 2010-04-02 ソニー エリクソン モバイル コミュニケーションズ， エービー 肌色検出に基づきカメラ測光を実行するシステム及び方法
JP2011004193A (ja) * 2009-06-18 2011-01-06 Canon Inc 画像処理装置およびその制御方法
JP2016068030A (ja) 2014-09-30 2016-05-09 住友金属鉱山エンジニアリング株式会社 噴霧ノズル及びその噴霧ノズルを備えた気液接触装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142680A (ja) * 2003-11-04 2005-06-02 Olympus Corp 画像処理装置
US8730322B2 (en) * 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
JP2007228019A (ja) 2006-02-21 2007-09-06 Olympus Corp 撮像装置
JP5116397B2 (ja) * 2007-08-06 2013-01-09 キヤノン株式会社 撮像装置、およびその制御方法
JP2010068030A (ja) 2008-09-08 2010-03-25 Panasonic Corp 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
JP5393340B2 (ja) * 2009-08-20 2014-01-22 オリンパス株式会社 撮像端末、表示端末、表示方法、及び撮像システム
US20110317154A1 (en) * 2010-06-24 2011-12-29 Michael Renne Ty Tan Systems and methods for determining coordinate locations of sensor nodes of a sensor network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510717A (ja) * 2006-11-21 2010-04-02 ソニー エリクソン モバイル コミュニケーションズ， エービー 肌色検出に基づきカメラ測光を実行するシステム及び方法
JP2009217073A (ja) * 2008-03-11 2009-09-24 Canon Inc 撮像装置及びその制御方法
JP2011004193A (ja) * 2009-06-18 2011-01-06 Canon Inc 画像処理装置およびその制御方法
JP2016068030A (ja) 2014-09-30 2016-05-09 住友金属鉱山エンジニアリング株式会社 噴霧ノズル及びその噴霧ノズルを備えた気液接触装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3101888A4

Also Published As

Publication number Publication date
US10178319B2 (en) 2019-01-08
EP3101888B1 (en) 2019-12-04
EP3101888A4 (en) 2017-08-02
JP6142005B2 (ja) 2017-06-07
EP3101888A1 (en) 2016-12-07
JPWO2015115104A1 (ja) 2017-03-23
US20160344936A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
US10110820B2 (en) Imaging device, imaging system, and imaging method
US9569703B2 (en) Data transfer apparatus and method thereof
US9635295B2 (en) Imaging device
US20180091739A1 (en) Camera controller, image processing module, and semiconductor system
WO2014148175A1 (ja) 画像処理装置
US12382173B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
WO2016121406A1 (ja) 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
US10070064B2 (en) Display control device including display control section that causes display data to be displayed in first and second regions og display, and controlling method of image capturing sensor and display
US10075639B2 (en) Image acquiring device and portable terminal comprising same and image acquiring method of the device
JPWO2017187508A1 (ja) 表示処理装置および撮像装置
JP6142005B2 (ja) 撮像装置、カメラシステム、および信号出力方法
EP3276939A1 (en) Image capturing device, image capturing system, and vehicle
JP2008028521A (ja) 画像表示システム
US20240402311A1 (en) Photoelectric conversion apparatus, movable apparatus, control method, and storage medium
JP4791222B2 (ja) 表示制御装置
JP2024119024A (ja) 撮像装置、撮像システム及び機器
JP2007266703A5 (ja)
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
US20240284060A1 (en) Image capturing apparatus, image capturing system, and equipment
US9716819B2 (en) Imaging device with 4-lens time-of-flight pixels and interleaved readout thereof
JP2020188323A (ja) 撮像装置および撮像方法
HK1209541A1 (en) Image transformation and multi-view output systems and methods
JP2010050879A (ja) 画像撮影装置
JP2015088970A (ja) Ｒｇｂ画像信号処理装置およびｒｇｂ画像信号処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15743443

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015559825

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015743443

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015743443

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15114418

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE