[go: up one dir, main page]

WO2018139250A1 - 全天球撮像装置 - Google Patents

全天球撮像装置 Download PDF

Info

Publication number
WO2018139250A1
WO2018139250A1 PCT/JP2018/000919 JP2018000919W WO2018139250A1 WO 2018139250 A1 WO2018139250 A1 WO 2018139250A1 JP 2018000919 W JP2018000919 W JP 2018000919W WO 2018139250 A1 WO2018139250 A1 WO 2018139250A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
view
angle
omnidirectional
units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/000919
Other languages
English (en)
French (fr)
Inventor
徹 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US16/477,939 priority Critical patent/US10893212B2/en
Publication of WO2018139250A1 publication Critical patent/WO2018139250A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present technology relates to an omnidirectional imaging apparatus, and more particularly, to an omnidirectional imaging apparatus that can capture an image capable of estimating a distance to a subject that can exist in all 360 ° directions.
  • Patent Document 1 Conventionally, many omnidirectional cameras capable of photographing 360 ° in all directions have been proposed (see, for example, Patent Document 1).
  • HMD Head Mounted Display
  • VR Virtual Reality
  • a plurality of cameras are densely arranged in the circumferential direction so that the angle of view (imaging range) partially overlaps (hereinafter referred to as overlap), and the angles of view overlap.
  • Depth information can actually be acquired only when the subject exists within the overlapping angle of view. Further, even when the subject exists within the overlapping angle of view, for example, in one of the two images where the angle of view overlaps, the subject is behind another object. Depth information could not be acquired when occlusion occurred.
  • the present technology has been made in view of such a situation, and is capable of capturing an image in which the depth information of a subject can be estimated by suppressing the occurrence of occlusion.
  • An omnidirectional imaging apparatus includes a plurality of imaging units each arranged in a different direction, and is on at least one circumference in an imaging range of the plurality of imaging units.
  • the plurality of imaging units are arranged so that the entire imaging range is overlapped by the angle of view of two or more pairs of imaging units.
  • the plurality of imaging units can be arranged such that the imaging range exceeding the shortest imaging distance of each imaging unit is overlapped by the angle of view of two or more pairs of imaging units.
  • the plurality of imaging units may be arranged so that 360 ° of all directions of a sphere centered on the omnidirectional imaging device are overlapped with an angle of view of two or more pairs of imaging units. it can.
  • the plurality of imaging units are arranged such that 360 ° all directions excluding a part of a sphere centered on the omnidirectional imaging device are overlapped with the angle of view of two or more pairs of imaging units. Can be.
  • the plurality of imaging units are arranged such that all 360 ° directions excluding at least one of the top and the bottom from a sphere centered on the omnidirectional imaging device are overlapped by the angle of view of two or more pairs of imaging units. Can be arranged.
  • the plurality of imaging units has at least two stages so that the entire imaging range on at least one circumference is overlapped by the angle of view of two or more pairs of imaging units. It can be made to arrange so that it may be piled up above.
  • the angle of view ⁇ of the imaging unit, the arrangement radius r from the center of the omnidirectional imaging device to the imaging unit, the shortest distance t at which Depth information representing the distance to the subject can be calculated, and the omnidirectional imaging device The plurality of image pickup units can be arranged so that the non-viewing angle ⁇ of the image pickup unit when viewed from the center satisfies the relational expression (2).
  • the image picked up by the pair of image pickup units with the overlapping angle of view can be used to calculate Depth information representing the distance to the subject.
  • imaging can be performed so that at least one entire imaging range on the circumference of the imaging range overlaps with the angle of view of two or more pairs of imaging units.
  • FIG. 6 is a three-dimensional view when an omnidirectional imaging apparatus is configured by the camera of FIG. 5.
  • FIG. 8 is a three-dimensional view corresponding to two columns in the vertical direction corresponding to FIG. 7. It is a figure which shows the arrangement
  • FIG. 8 is a three-dimensional view corresponding to two rows in the horizontal direction corresponding to FIG. 7. It is a figure which shows the arrangement
  • FIG. 8 is an equirectangular cylindrical view of the angle of view of all cameras constituting the omnidirectional imaging device of FIG. 7.
  • FIG. 8 is an equirectangular cylindrical view of a field angle of a part of cameras constituting the omnidirectional imaging apparatus of FIG. 7. It is a figure which shows the example of the horizontal and vertical view angle of the square camera which comprises an omnidirectional imaging device, and housing
  • FIG. 16 is an equirectangular cylindrical view of the angle of view of all cameras constituting the omnidirectional imaging device of FIG. 15.
  • FIG. 16 is an equirectangular cylindrical view of the angle of view of some cameras constituting the omnidirectional imaging device of FIG. 15. It is a three-dimensional figure at the time of comprising an omnidirectional imaging device with a small camera module.
  • FIG. 19 is an equirectangular cylindrical view of an angle of view of an all-small camera module constituting the omnidirectional imaging device of FIG. 18. It is a three-dimensional figure at the time of comprising an omnidirectional imaging device with a small camera module.
  • FIG. 21 is an equirectangular cylindrical view of the angle of view of an all-small camera module constituting the omnidirectional imaging device of FIG. 20. It is a figure which shows the example at the time of stacking the camera uniformly arrange
  • the omnidirectional imaging device is composed of a plurality of cameras that are arranged in different directions and have a common angle of view, and in 360 ° omnidirectional with the omnidirectional imaging device as the center, In order to suppress the occurrence of occlusion, a plurality of cameras are arranged so that there are two or more pairs of cameras with overlapping image frames. As a result, the occurrence of occlusion is suppressed, and the depth information of the subject that can exist in all 360 ° directions can be estimated.
  • the 360-degree omnidirectional direction centered on the omnidirectional imaging apparatus is viewed as a sphere, and the lateral position information is referred to as longitude and the longitudinal position information is referred to as latitude.
  • FIG. 1 is a diagram illustrating an arrangement angle, an angle of view, and an overlap of an angle of view when a plurality of cameras constituting the omnidirectional imaging apparatus are equally arranged circumferentially on a horizontal plane of the same latitude.
  • two adjacent cameras when a plurality of cameras constituting the omnidirectional imaging device are arranged on the horizontal plane of the same latitude evenly and circumferentially at an arrangement angle ⁇ .
  • the overlap of the angle of view of the two cameras exceeds 50% at a distance t from the two cameras, 50% or more of the angle of view always overlaps at a position more than the distance t. become.
  • the 360 ° total circumference in the horizontal plane always falls within the angle of view of two or more cameras.
  • FIG. 2 shows the angle of view ⁇ of each camera when a plurality of cameras constituting the omnidirectional imaging device are arranged as shown in FIG. 1 and the angle of view only from the center of the omnidirectional imaging device. It is a figure which shows the relationship with (theta).
  • the angle of view ⁇ of each camera seen from the center of the omnidirectional imaging device Is narrower than the angle of view ⁇ of the actual camera.
  • the radius of the circumference where the camera is arranged is r and the distances 1 and m are defined as shown in FIG. B, the entire field of view of the camera and the total sky at the distance t from the camera are defined.
  • the relationship with the assumed angle of view ⁇ that can be seen from the center of the spherical imaging device is as shown in the following equation (1).
  • the angle of view ⁇ of each camera constituting the omnidirectional imaging device the arrangement radius r of each camera, the shortest distance t from the camera to the subject for which the depth information is to be estimated, Only the angle of view ⁇ for each camera is calculated. Further, the number of cameras and the arrangement angle ⁇ necessary for covering the entire 360 ° circumference of the horizontal plane may be determined based on the assumed angle of view ⁇ .
  • the shortest distance t from the camera to the subject whose depth information is to be estimated may be set to be equal to or greater than the shortest imaging distance of the cameras constituting the omnidirectional imaging device according to the use of the omnidirectional imaging device.
  • the shortest imaging distance of the camera is defined as (the distance to the focal plane minus the forward depth of field) in a state where the focal lengths and apertures of all cameras constituting the omnidirectional imaging device are unified to a predetermined value.
  • FIG. 3 shows an arrangement example in which a plurality of cameras constituting the omnidirectional imaging device are arranged evenly on a vertical plane of the same longitude in a circumferential shape, and FIG. The relationship between the angle of view ⁇ only from the center of the omnidirectional imaging apparatus is shown.
  • the number of cameras arranged and the latitude ⁇ are arranged so that the overlap of only the latitudinal angles of view ⁇ / cos ⁇ of the adjacent cameras arranged equally on the vertical plane of the same longitude is 50% or more. Is determined, the 360 ° circumference of the vertical plane always falls within the angle of view of two or more cameras.
  • 360 ° all directions are always two or more cameras of the camera pair adjacent in the horizontal direction and the camera pair adjacent in the vertical direction. Images can be taken in pairs. Therefore, it is possible to accurately estimate the depth information of a subject that can exist in all 360 ° directions.
  • FIG. 5 shows the mirrorless single-lens camera 10 when a general mirrorless single-lens camera 10 that picks up an image with an aspect ratio of 16: 9 is adopted as the camera constituting the omnidirectional imaging apparatus according to the present embodiment.
  • This shows an example of the horizontal angle of view ⁇ , vertical angle of view ⁇ , and housing size.
  • the mirrorless single-lens camera 10 has a horizontal field angle of 70 ° and a vertical field angle of 40 °, and the housing has a lateral width of 130 mm, a vertical width of 67 mm, and a depth of 45 mm.
  • FIG. 6 shows the ideal number of mirrorless single-lens cameras 10 to be installed at each arrangement latitude when the shortest distance t is set to 1.5 m considering only the horizontal and vertical angles of view of the mirrorless single-lens camera 10. ing.
  • the mirrorless single-lens camera 10 when the mirrorless single-lens camera 10 is actually arranged, it is necessary to consider the case size, various cable spaces, and the like. In consideration of these, the number of mirrorless single-lens cameras 10 is as shown in FIG. More than about 1.5 units will be required.
  • FIG. 7 is a three-dimensional view showing the whole of the omnidirectional image pickup apparatus in which 100 mirrorless single-lens cameras 10 are arranged in consideration of the housing size and various cable spaces.
  • FIG. 8 is a three-dimensional view of two columns in the vertical direction of the omnidirectional imaging apparatus shown in FIG.
  • FIG. 9 shows the arrangement angle in the vertical direction (latitude direction) corresponding to FIG. In this case, the arrangement angle of the two mirrorless single-lens cameras 10 adjacent in the vertical direction is about 15 °.
  • FIG. 10 is a three-dimensional view of two rows in the horizontal direction of the omnidirectional imaging apparatus shown in FIG.
  • FIG. 11 shows the arrangement angle in the horizontal direction (longitude direction) corresponding to FIG.
  • the arrangement angle of the two mirrorless single-lens cameras 10 adjacent in the horizontal direction is about 28 °.
  • FIG. 12 is a two-dimensional projection of the angle of view of all the mirrorless single-lens cameras 10 constituting the omnidirectional imaging apparatus shown in FIG. 7 by the equirectangular cylinder method. Note that the numbers 1 to 100 shown in the center of each angle of view in the drawing represent the corresponding cameras.
  • FIG. 13 is a two-dimensional projection of the angle of view of some of the mirrorless single-lens cameras 10 constituting the omnidirectional imaging apparatus shown in FIG. 7 by the equirectangular cylinder method. The angle of view is shown, and FIG. 7B shows the angle of view of seven vehicles.
  • the angle of view of two or more camera pairs in any region of the equirectangular view that is, in any direction of 360 ° omnidirectional of the omnidirectional imaging device. It can be seen that is duplicated. Therefore, even if occlusion of a subject whose depth information is to be obtained occurs in an image obtained from a certain camera pair, it can be expected that no occlusion of the subject occurs in an image obtained from another camera pair. Therefore, since the omnidirectional imaging apparatus can suppress the occurrence of occlusion of the subject, if the subject exists in any direction in 360 ° in all directions and at a distance t or more, the depth information of the subject is displayed. An image that can be acquired can be taken.
  • the omnidirectional imaging apparatus can capture an image from which depth information can be estimated with higher accuracy than in the past.
  • FIG. 14 illustrates the square camera 20 when the square camera 20 that captures an image with a square aspect ratio (1: 1) is adopted as the camera that constitutes the omnidirectional imaging apparatus according to the present embodiment. Examples of a horizontal angle of view ⁇ , a vertical angle of view ⁇ , and a housing size are shown.
  • the horizontal angle of view and the vertical angle of view of the square camera 20 are 77 °
  • the width of the casing is 44 mm
  • the width is 29 mm
  • the depth is 102 mm.
  • an omnidirectional imaging device can be configured with about 54 units. Therefore, it can be seen that the omnidirectional imaging device can be configured with a smaller number of cameras than in the case of using the mirrorless single-lens camera 10 described above.
  • FIG. 15 is a three-dimensional view showing the whole when the omnidirectional imaging device is configured by 54 square cameras 20 in consideration of a realistic arrangement.
  • FIG. 16 is a view in which the angle of view of 54 square cameras 20 constituting the omnidirectional imaging apparatus shown in FIG. 15 is two-dimensionally projected by the equirectangular cylinder method.
  • the numbers 1 to 54 written at the center of each angle of view in the drawing represent the corresponding cameras.
  • FIG. 17 is a two-dimensional projection of the angle of view of a part of the square camera 20 constituting the omnidirectional imaging apparatus shown in FIG. 15 by the equirectangular cylinder method, and FIG. The angle of view is shown, and FIG. 7B shows the angle of view for seven vehicles.
  • the angle of view of two or more camera pairs It can be seen that is duplicated. Therefore, even if occlusion of a subject whose depth information is to be obtained occurs in an image obtained from a certain camera pair, it can be expected that no occlusion of the subject occurs in an image obtained from another camera pair. Therefore, since the omnidirectional imaging apparatus can suppress the occurrence of occlusion of the subject, if the subject exists in any direction in 360 ° in all directions and at a distance t or more, the depth information of the subject is displayed. An image that can be acquired can be taken. Furthermore, the omnidirectional imaging device can capture an image that can estimate the depth information with higher accuracy than in the past.
  • a small camera module that captures an ultra-wide-angle image with an aspect ratio of 16: 9 is employed as a camera constituting the omnidirectional imaging apparatus according to the present embodiment. It is assumed that the small camera module has a horizontal field of view of 135 ° and a vertical field of view of 70 °, a horizontal width of the casing of 24 mm, a vertical width of 52 mm, and a depth of 89 mm.
  • the omnidirectional imaging device when considering the horizontal angle of view, vertical angle of view, housing size, various cable spaces, etc., the omnidirectional imaging device can be configured with about 24 units. Therefore, it can be seen that the omnidirectional imaging device can be configured with a smaller number of cameras compared to the case of using the square camera 20 described above.
  • FIG. 18 is a three-dimensional view showing the whole of the case where the omnidirectional imaging device is configured by arranging 24 small camera modules 30 in consideration of a realistic arrangement, and FIG. 18A is a view from the side.
  • FIG. 7B shows the case viewed from directly above.
  • FIG. 19 is a two-dimensional projection of the angle of view of the 24 small camera modules 30 constituting the omnidirectional imaging apparatus shown in FIG. 18 using the equirectangular cylinder method.
  • the numbers 1 to 24 written at the center of each angle of view in the drawing represent the corresponding cameras.
  • the angle of view of two or more pairs of cameras overlaps in any region of the equirectangular view, that is, in any direction of the 360 ° omnidirectional of the omnidirectional imaging device.
  • the omnidirectional imaging apparatus can suppress the occurrence of occlusion of the subject, if the subject exists in any direction in 360 ° in all directions and at a distance t or more, the depth information of the subject is displayed. An image that can be acquired can be taken.
  • the omnidirectional imaging device can capture an image that can estimate the depth information with higher accuracy than in the past.
  • FIG. 20 shows a case where the omnidirectional imaging device is configured by 24 small camera modules 30 in consideration of a realistic arrangement by switching the vertical and horizontal directions of the small camera module 30 used in the third specific example. It is the three-dimensional figure which shows the whole, The figure A shows the case where it sees from right above, and the figure B shows the case where it sees from right above.
  • FIG. 21 is a two-dimensional projection of the angle of view of the 24 small camera modules 30 constituting the omnidirectional imaging apparatus shown in FIG. 20 by the equirectangular cylinder method.
  • the numbers 1 to 24 written at the center of each angle of view in the drawing represent the corresponding cameras.
  • the angle of view of two or more pairs of cameras overlaps in any region of the equirectangular view, that is, in any direction of 360 ° omnidirectional of the omnidirectional imaging device.
  • the omnidirectional imaging apparatus can suppress the occurrence of occlusion of the subject, if the subject exists in any direction in 360 ° in all directions and at a distance t or more, the depth information of the subject is displayed. An image that can be acquired can be taken.
  • the omnidirectional imaging device can capture an image that can estimate the depth information with higher accuracy than in the past.
  • the omnidirectional imaging device described above is configured so that the subject can cover all directions of 360 °
  • the camera is arranged for a specific direction where the subject cannot exist depending on the use of the omnidirectional imaging device. May be omitted.
  • the camera disposed on the top or bottom of the sphere forming the omnidirectional imaging device may be omitted, and a microphone or a leg for supporting the omnidirectional imaging device may be provided at that position. .
  • the omnidirectional imaging device may be configured by stacking a plurality of cameras arranged uniformly in a circumferential manner on a plane.
  • FIG. 22 shows an example in which the omnidirectional imaging device is configured by stacking two stages of mirrorless single-lens cameras 10 arranged evenly in a circumferential manner on a plane.
  • the depth information can be accurately estimated.
  • the shortest imaging distance that is, “distance to the focal plane—forward depth of field” in a state where the focal length and the aperture are unified, is shared.
  • the cameras that make up the omnidirectional imaging device are not unified in focal length and aperture, but cameras that are unified only (distance to the focal plane-forward depth of field) are mixed.
  • an omnidirectional imaging device may be configured.
  • a omnidirectional imaging device is configured by mixing cameras equipped with any of a fish-eye lens, a wide-angle lens, a standard lens, a telephoto lens, and the like. It is possible to cover the whole celestial sphere while increasing the calculation accuracy of Depth information by imaging the region of interest with high image quality by arranging so that the depth of field is the same value.
  • the present technology can also have the following configurations.
  • Each includes a plurality of imaging units arranged in different directions, Among the imaging ranges of the plurality of imaging units, the plurality of imaging units are arranged such that the entire imaging range on at least one circumference is overlapped by the angle of view of two or more pairs of imaging units.
  • An omnidirectional imaging device The plurality of imaging units are arranged such that the imaging range exceeding the shortest imaging distance of each imaging unit is overlapped by an angle of view of two or more pairs of imaging units.
  • the plurality of imaging units are arranged such that 360 ° all directions of a sphere centered on the omnidirectional imaging device are overlapped with an angle of view of two or more pairs of imaging units.
  • the omnidirectional imaging apparatus according to (2).
  • the plurality of imaging units are arranged such that 360 ° all directions excluding a part of a sphere centered on the omnidirectional imaging device are overlapped with the angle of view of two or more pairs of imaging units.
  • the omnidirectional imaging apparatus according to (1) or (2).
  • the plurality of imaging units are arranged such that all 360 ° directions excluding at least one of the top and the bottom from a sphere centered on the omnidirectional imaging device are overlapped by the angle of view of two or more pairs of imaging units.
  • the omnidirectional imaging device according to (1) or (2).
  • the plurality of imaging units has at least two stages so that the entire imaging range on at least one circumference is overlapped by the angle of view of two or more pairs of imaging units.
  • the omnidirectional imaging device according to any one of (1) to (5), wherein the omnidirectional imaging device is arranged in a stacked manner.
  • the angle of view ⁇ of the imaging unit, the arrangement radius r from the center of the omnidirectional imaging device to the imaging unit, the shortest distance t at which Depth information representing the distance to the subject can be calculated, and the omnidirectional imaging device The plurality of image pickup units are arranged so that the non-viewing angle ⁇ of the image pickup unit when viewed from the center satisfies the relational expression (2)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本技術は、オクルージョンの発生を抑止して被写体のDepth情報を推定可能な画像を撮像することができるようにする全天球撮像装置に関する。 本技術の一側面である全天球撮像装置は、各々が異なる方向に向けて配置された複数の撮像部を備え、前記複数の撮像部での撮像範囲のうち、少なくとも１つの円周上の全撮像範囲が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている。本技術は、例えば、360°全方位の任意の方向に存在し得る被写体までのDepth情報を推定する場合に用いる画像を撮像する全天球カメラに適用できる。

Description

全天球撮像装置
　本技術は、全天球撮像装置に関し、特に、360°全方向に存在し得る被写体までの距離を推定可能な画像を撮像できるようにした全天球撮像装置に関する。
　従来、360°全方向を撮影できる全天球カメラが数多く提案されている（例えば、特許文献１参照）。
　既存の全天球カメラの多くは、異なる方向に向けて配置された複数のカメラによって撮像された画像をつなぎ合わせることで２次元の全天球画像を作成しており、２次元の全天球画像に基づく全天球コンテンツは、例えば、ＶＲ(Virtual Reality)技術を利用したHMD(Head Mounted Display)などを用いて視聴することが可能できる。
　また、既存の全天球カメラには、画角（撮像範囲）が部分的に重なり合う（以下、オーバーラップと称する）ように円周方向に密に複数のカメラを配置し、画角がオーバーラップする２台のカメラによって撮像された２枚の画像に基づき、マルチベースラインステレオ手法（非特許文献１参照）を用いて被写体までの距離（以下、Depth情報と称する）を取得できるものが存在する。
特開２０１４－１１５３７４号公報
M. Okutomi and T. Kanade: "A Multiple-baseline Stereo," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 15, No. 4, pp. 353-363, 1993.
　ただし、Depth情報が取得できる全天球カメラであっても、実際にDepth情報が取得できるのは被写体がオーバーラップしている画角内に存在している場合に限られる。また、該被写体がオーバーラップしている画角内に存在している場合であっても、例えば、画角がオーバーラップしている２枚の画像の一方において、該被写体が他の物体の背後に隠れてしまうオクルージョンが発生するとDepth情報を取得することができなかった。
　本技術はこのような状況に鑑みてなされたものであり、オクルージョンの発生を抑止して被写体のDepth情報を推定可能な画像を撮像できるようにするものである。
　本技術の一側面である全天球撮像装置は、各々が異なる方向に向けて配置された複数の撮像部を備え、前記複数の撮像部での撮像範囲のうち、少なくとも１つの円周上の全撮像範囲が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている。
　各記撮像部の最短撮像距離を超えた前記撮像範囲が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されているようにすることができる。
　前記全天球撮像装置を中心とする球体の360°全方向が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されているようにすることができる。
　前記全天球撮像装置を中心とする球体の一部を除外した360°全方向が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されているようにすることができる。
　前記全天球撮像装置を中心とする球体から頂部または底部の少なくとも一方を除外した360°全方向が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されているようにすることができる。
　前記複数の撮像部での撮像範囲のうち、少なくとも１つの円周上の全撮像範囲が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が少なくとも２段以上積み重ねて配置されているようにすることができる。
　前記撮像部の画角β、前記全天球撮像装置の中心から前記撮像部までの配置半径ｒ、被写体までの距離を表すDepth情報が算出可能な最短距離ｔ、および、前記全天球撮像装置の中心からみた場合の前記撮像部のみなし画角θが関係式（２）を満たすように前記複数の撮像部が配置されているようにすることができる。
Figure JPOXMLDOC01-appb-M000002
　画角がオーバーラップする撮像部対によって撮像された画像は、被写体までの距離を表すDepth情報の算出に用いることができる。
　本技術の一側面においては、撮像範囲のうち、少なくとも１つの円周上の全撮像範囲が２対以上の撮像部対の画角でオーバーラップされているように撮像できる。
　本技術の一側面によれば、オクルージョンの発生を抑止でき、被写体のDepth情報を推定可能な画像を撮像することができる。
全天球撮像装置を構成する複数のカメラを横平面に円周上に均等に配置した場合の配置角度、画角、および画角の重複を示す図である。 全天球撮像装置を構成する各カメラの画角と全天球撮像装置の中心からのみなし画角との関係を示す図である。 全天球撮像装置を構成する複数のカメラを縦平面に円周上に均等に配置した場合の配置例を示す図である。 全天球撮像装置を構成する複数のカメラを縦平面に円周上に均等に配置した場合の配置緯度とみなし画角との関係を示す図である。 全天球撮像装置を構成するミラーレス一眼カメラの水平および垂直画角と筐体サイズの例を示す図である。 図５のカメラに対応する理想的な配置台数を示す図である。 図５のカメラによって全天球撮像装置を構成した場合の立体図である。 図７に対応する縦方向２列分の立体図である。 図７に対応する縦方向（緯度方向）の配置角度を示す図である。 図７に対応する横方向２列分の立体図である。 図７に対応する横方向（経度方向）の配置角度を示す図である。 図７の全天球撮像装置を構成する全カメラの画角の正距円筒図である。 図７の全天球撮像装置を構成する一部のカメラの画角の正距円筒図である。 全天球撮像装置を構成する正方カメラの水平および垂直画角と筐体サイズの例を示す図である。 図１４のカメラによって全天球撮像装置を構成した場合の立体図である。 図１５の全天球撮像装置を構成する全カメラの画角の正距円筒図である。 図１５の全天球撮像装置を構成する一部のカメラの画角の正距円筒図である。 小型カメラモジュールによって全天球撮像装置を構成した場合の立体図である。 図１８の全天球撮像装置を構成する全小型カメラモジュールの画角の正距円筒図である。 小型カメラモジュールによって全天球撮像装置を構成した場合の立体図である。 図２０の全天球撮像装置を構成する全小型カメラモジュールの画角の正距円筒図である。 平面に円周状に均等に配置したカメラを２段積み重ねて全天球撮像装置を構成した場合の例を示す図である。
　以下、本技術を実施するための最良の形態（以下、本実施の形態と称する）について、図面を参照しながら詳細に説明する。
　＜本実施の形態である全天球撮像装置について＞
　本実施の形態である全天球撮像装置は、異なる方向に向けて配置された、画角サイズが共通の複数のカメラから成り、該全天球撮像装置を中心とする360°全方向において、オクルージョンの発生を抑止するために、画枠がオーバーラップするカメラ対が２対以上存在するように複数のカメラを配置する。これにより、オクルージョンの発生が抑止されて、360°全方向に存在し得る被写体のDepth情報を推定することが可能となる。
　以下、該全天球撮像装置を中心とする360°全方向を球体に見たてて横方向の位置情報を経度、縦方向の位置情報を緯度と称する。
　図１は、全天球撮像装置を構成する複数のカメラを同一緯度の横平面に円周状に均等に配置した場合の配置角度、画角、および画角のオーバーラップを示す図である。
　同図に示されるように、全天球撮像装置を構成する複数のカメラを同一緯度の横平面に円周状に均等に配置角度αで配置した場合の隣接する２台のカメラ（カメラ対）に注目する。２台のカメラそれぞれから距離ｔの位置において該２台のカメラの画角のオーバーラップが５０％を超えていれば、距離ｔ以上離れた位置では常に画角の５０％以上がオーバーラップすることになる。さらに、全天球撮像装置を構成する全カメラを２台ずつの対として見れば、該横平面における全周360°が常に２台以上のカメラの画角に納まることになる。
　次に、図２は、全天球撮像装置を構成する複数のカメラを図１に示されたように配置した場合の各カメラの画角βと全天球撮像装置の中心からのみなし画角θとの関係を示す図である。
　同図Ａに示されるように、全天球撮像装置を構成する複数のカメラを同一緯度の横平面に円周状に配置した場合、全天球撮像装置の中心から見える各カメラの画角θは、実際のカメラの画角βよりも狭くなる。ここで、カメラが配置される円周の半径をrとし、距離ｌ，ｍを同図Ｂに示されるように定義した場合、カメラの実際の画角βと、カメラからの距離tにおける全天球撮像装置の中心から見えるみなし画角θとの関係は、次式（１）に示されるとおりとなる。
Figure JPOXMLDOC01-appb-M000003
　式（１）から以下に示される関係式（２）が導出される。
Figure JPOXMLDOC01-appb-M000004
　したがって、関係式（２）に基づき、全天球撮像装置を構成する各カメラの画角β、各カメラの配置半径ｒ、Depth情報を推定したい被写体までのカメラからの最短距離ｔを設定し、各カメラ１台当たりのみなし画角θを算出する。さらに、みなし画角θに基づき、横平面の全周360°をカバーするために必要なカメラ台数と配置角度αを決定すればよい。
　なお、Depth情報を推定したい被写体までのカメラからの最短距離ｔは、全天球撮像装置の用途に応じ、全天球撮像装置を構成するカメラの最短撮像距離以上に設定すればよい。ここで、カメラの最短撮像距離とは、全天球撮像装置を構成する全てのカメラの焦点距離と絞りを所定値に統一した状態における（ピント面までの距離－前方被写界深度）と定義する。
　次に、図３は、全天球撮像装置を構成する複数のカメラを同一経度の縦平面に円周状に均等に配置した配置例を示しており、図４は、カメラの配置緯度γと全天球撮像装置の中心からのみなし画角θとの関係を示している。
　図３に示されるように、各カメラが緯度に応じた撮像方向に向けて配置された場合、カメラの配置緯度が大きくなることに伴い、各カメラのみなし画角は広くなる。このため配置緯度が大きくなるほど、その緯度γに配置するカメラの台数を少なくすることが可能である。具体的には、緯度０°におけるみなし画角をθとすれば、配置緯度γのカメラのみなし画角はθ/cosγとなる。
　この結果に基づき、同一経度の縦平面に円周状に均等に配置する隣り合うカメラの緯度方向のみなし画角θ/cosγの重複が５０％以上になるようにカメラの配置数と配置緯度γを決定すれば、該縦平面における全周360°が常に２台以上のカメラの画角に納まることになる。
　以上に説明した横平面におけるカメラの配置と、縦平面におけるカメラの配置を考慮すれば、360°全方向を常に、横方向に隣接するカメラ対と縦方向に隣接するカメラ対の２以上のカメラ対で撮像することができる。よって、360°全方向に存在し得る被写体のDepth情報を精度よく推定することが可能となる。
　＜本実施の形態である全天球撮像装置の具体例＞
　次に、本実施の形態である全天球撮像装置の具体例について説明する。
　＜第１の具体例＞
　図５は、本実施の形態である全天球撮像装置を構成するカメラとして、アスペクト比１６：９の画像を撮像する一般的なミラーレス一眼カメラ１０を採用した場合における該ミラーレス一眼カメラ１０の水平画角β、垂直画角λ、および筐体サイズ等の例を示している。
　同図の例では、該ミラーレス一眼カメラ１０の水平画角７０°、垂直画角４０°であり、筐体の横幅130mm、縦幅６７mm、奥行４５mmである。
　図６は、ミラーレス一眼カメラ１０の水平画角と垂直画角のみを考慮し、最短距離ｔを1.5ｍに設定した場合の各配置緯度におけるミラーレス一眼カメラ１０の理想的な設置台数を示している。
　ただし、実際にミラーレス一眼カメラ１０を配置する場合には、筐体サイズや各種ケーブルスペース等を考慮する必要があり、これらを考慮した場合、ミラーレス一眼カメラ１０の台数は、図６の場合よりも１．５倍程増えて１００台程度を要することになる。
　図７は、筐体サイズや各種ケーブルスペース等を考慮して１００台のミラーレス一眼カメラ１０を配置して全天球撮像装置を構成した全体を示す立体図である。
　図８は、図７に示された全天球撮像装置の縦方向２列分の立体図である。図９は、図７に対応する縦方向（緯度方向）の配置角度を示している。この場合、縦方向に隣接する２台のミラーレス一眼カメラ１０の配置角度は１５°程度となる。
　図１０は、図７に示された全天球撮像装置の横方向２列分の立体図である。図１１は、図７に対応する横方向（経度方向）の配置角度を示している。この場合、横方向に隣接する２台のミラーレス一眼カメラ１０の配置角度は２８°程となる。
　図１２は、図７に示された全天球撮像装置を構成する全てのミラーレス一眼カメラ１０の画角を正距円筒法によって２次元に投影したものである。なお、図中の各画角に中央に記されている１乃至１００の数字は、対応するカメラを表している。
　図１３は、図７に示された全天球撮像装置を構成する一部のミラーレス一眼カメラ１０の画角を正距円筒法によって２次元に投影したものであり、同図Ａは５台分の画角を示し、同図Ｂは７台分の画角を示している。
　図１２および図１３から明らかなように、正距円筒図のいずれの領域、すなわち、全天球撮像装置の360°全方向のいずれの方向であっても、２対以上のカメラ対の画角が重複していることが分かる。したがって、あるカメラ対から得られる画像にDepth情報を求めたい被写体のオクルージョンが発生していたとしても、他のカメラ対から得られる画像に該被写体のオクルージョンが発生していないことが期待できる。したがって、該全天球撮像装置は、被写体のオクルージョンの発生を抑止できるので、被写体が360°全方向のどの方向であって距離ｔ以上の位置に存在していれば、該被写体のDepth情報を取得し得る画像を撮像することができる。さらに、２対以上のカメラ対の画像に基づいてDepth情報を推定すれば、１対のカメラ対の画像に基づいてDepth情報を推定する場合に比較してDepth情報をより高い精度で推定することができる。よって、該全天球撮像装置は、従来に比較してDepth情報をより高い精度で推定し得る画像を撮像することが可能となる。
　＜第２の具体例＞
　次に、図１４は、本実施の形態である全天球撮像装置を構成するカメラとして、正方アスペクト比（１：１）の画像を撮像する正方カメラ２０を採用した場合における該正方カメラ２０の水平画角β、垂直画角λ、および筐体サイズ等の例を示している。
　同図の例では、正方カメラ２０の水平画角および垂直画角７７°であり、筐体の横幅４４mm、縦幅２９mm、奥行102mmである。
　該正方カメラ２０の場合、水平画角、垂直画角、筐体サイズ、各種ケーブルスペース等を考慮すると、５４台程度で全天球撮像装置を構成することができる。したがって、上述したミラーレス一眼カメラ１０を用いる場合に比較して、全天球撮像装置をより少ない台数のカメラで構成できることが分かる。
　図１５は、現実的な配置を考慮して５４台の正方カメラ２０により全天球撮像装置を構成した場合の全体を示す立体図である。
　図１６は、図１５に示された全天球撮像装置を構成する５４台の正方カメラ２０の画角を正距円筒法によって２次元に投影したものである。なお、図中の各画角に中央に記されている１乃至５４の数字は、対応するカメラを表している。
　図１７は、図１５に示された全天球撮像装置を構成する一部の正方カメラ２０の画角を正距円筒法によって２次元に投影したものであり、同図Ａは５台分の画角を示し、同図Ｂは７台分の画角を示している。
　図１６および図１７から明らかなように、正距円筒図のいずれの領域、すなわち、全天球撮像装置の360°全方向のいずれの方向であっても、２対以上のカメラ対の画角が重複していることが分かる。したがって、あるカメラ対から得られる画像にDepth情報を求めたい被写体のオクルージョンが発生していたとしても、他のカメラ対から得られる画像に該被写体のオクルージョンが発生していないことが期待できる。したがって、該全天球撮像装置は、被写体のオクルージョンの発生を抑止できるので、被写体が360°全方向のどの方向であって距離ｔ以上の位置に存在していれば、該被写体のDepth情報を取得し得る画像を撮像することができる。さらに、該全天球撮像装置は、従来に比較してDepth情報をより高い精度で推定し得る画像を撮像することが可能となる。
　＜第３の具体例＞
　次に、本実施の形態である全天球撮像装置を構成するカメラとして、アスペクト比１６：９の超広角画像を撮像する小型カメラモジュールを採用した場合について説明する。なお、該小型カメラモジュールの水平画角は135°、垂直画角が７０°であり、筐体の横幅が２４mm、縦幅が５２mm、奥行が８９mmを想定する。
　該小型カメラモジュールの場合、水平画角、垂直画角、筐体サイズ、各種ケーブルスペース等を考慮した場合、２４台程度で全天球撮像装置を構成することができる。したがって、上述した正方カメラ２０を用いる場合に比較して、全天球撮像装置をより少ない台数のカメラで構成できることが分かる。
　図１８は、現実的な配置を考慮して２４台の小型カメラモジュール３０を配置して全天球撮像装置を構成した場合の全体を示す立体図であり、同図Ａは真横から見た場合、同図Ｂは真上から見た場合を示している。
　図１９は、図１８に示された全天球撮像装置を構成する２４台の小型カメラモジュール３０の画角を正距円筒法によって２次元に投影したものである。なお、図中の各画角に中央に記されている１乃至２４の数字は、対応するカメラを表している。
　図１９から明らかなように、正距円筒図のいずれの領域、すなわち、全天球撮像装置の360°全方向のいずれの方向であっても、２対以上のカメラ対の画角が重複していることが分かる。したがって、あるカメラ対から得られる画像にDepth情報を求めたい被写体のオクルージョンが発生していたとしても、他のカメラ対から得られる画像に該被写体のオクルージョンが発生していないことが期待できる。したがって、該全天球撮像装置は、被写体のオクルージョンの発生を抑止できるので、被写体が360°全方向のどの方向であって距離ｔ以上の位置に存在していれば、該被写体のDepth情報を取得し得る画像を撮像することができる。さらに、該全天球撮像装置は、従来に比較してDepth情報をより高い精度で推定し得る画像を撮像することが可能となる。
　＜第４の具体例＞
　次に、図２０は、第３の具体例に用いた小型カメラモジュール３０の縦横を入れ替え、現実的な配置を考慮して２４台の小型カメラモジュール３０により全天球撮像装置を構成した場合の全体を示す立体図であり、同図Ａは真横から見た場合、同図Ｂは真上から見た場合を示している。
　図２１は、図２０に示された全天球撮像装置を構成する２４台の小型カメラモジュール３０の画角を正距円筒法によって２次元に投影したものである。なお、図中の各画角に中央に記されている１乃至２４の数字は、対応するカメラを表している。
　図２０から明らかなように、正距円筒図のいずれの領域、すなわち、全天球撮像装置の360°全方向のいずれの方向であっても、２対以上のカメラ対の画角が重複していることが分かる。したがって、あるカメラ対から得られる画像にDepth情報を求めたい被写体のオクルージョンが発生していたとしても、他のカメラ対から得られる画像に該被写体のオクルージョンが発生していないことが期待できる。したがって、該全天球撮像装置は、被写体のオクルージョンの発生を抑止できるので、被写体が360°全方向のどの方向であって距離ｔ以上の位置に存在していれば、該被写体のDepth情報を取得し得る画像を撮像することができる。さらに、該全天球撮像装置は、従来に比較してDepth情報をより高い精度で推定し得る画像を撮像することが可能となる。
　＜第１の変形例＞
　ところで、上述した全天球撮像装置は、被写体が360°全方向をカバーできるようにしていたが、全天球撮像装置の用途に応じて被写体が存在し得ない特定の方位についてはカメラの配置を省略するようにしてもよい。例えば、全天球撮像装置を形成する球体の頂部または底部に配置されているカメラを省略し、その位置にマイクロフォンや該全天球撮像装置を支えるための脚部等を設けるようにしてもよい。
　究極的には、平面に円周状に均等に配置したカメラを複数段積み重ねて全天球撮像装置を構成するようにしてもよい。
　図２２は、平面に円周状に均等に配置したミラーレス一眼カメラ１０を２段積み重ねて全天球撮像装置を構成した場合の例を示している。
　この場合、上下に隣接する２台のミラーレス一眼カメラ１０の画角が距離ｔ以上において５０％以上オーバーラップするように、各カメラの垂直画角をλとした場合、２台のカメラ間の距離をｄ＝ｔ・tan（λ／２）以下とすればよい。
　図２２の場合においても、画角内に存在する被写体が距離ｔ以上の位置に存在していれば、Depth情報を精度よく推定することが可能となる。
　＜第２の変形例＞
　ここまでに説明した全天球撮像装置は、最短撮像距離、すなわち、焦点距離と絞りが統一された状態における「ピント面までの距離－前方被写界深度」が共通化されていた。
　第２の変形例としては、全天球撮像装置を構成するカメラの焦点距離と絞りを統一せずに、（ピント面までの距離－前方被写界深度）だけ統一されているカメラを混在させて全天球撮像装置を構成するようにしてもよい。
　具体的には、例えば、魚眼レンズ、広角レンズ、標準レンズ、望遠レンズ等のいずれかを付けているカメラを混在させて全天球撮像装置を構成し、各カメラの（ピント面までの距離－前方被写界深度）が同一値になるように配置をすることで注目領域を高画質で撮像してDepth情報の算出精度を上げつつも全天球をカバーできるようにしてもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　本技術は以下のような構成も取ることができる。
（１）
　各々が異なる方向に向けて配置された複数の撮像部を備え、
　前記複数の撮像部での撮像範囲のうち、少なくとも１つの円周上の全撮像範囲が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている
　全天球撮像装置。
（２）
　各記撮像部の最短撮像距離を超えた前記撮像範囲が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている
　前記（１）に記載の全天球撮像装置。
（３）
　前記全天球撮像装置を中心とする球体の360°全方向が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている
　前記（１）または（２）に記載の全天球撮像装置。
（４）
　前記全天球撮像装置を中心とする球体の一部を除外した360°全方向が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている
　前記（１）または（２）に記載の全天球撮像装置。
（５）
　前記全天球撮像装置を中心とする球体から頂部または底部の少なくとも一方を除外した360°全方向が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている
　前記（１）または（２）に記載の全天球撮像装置。
（６）
　前記複数の撮像部での撮像範囲のうち、少なくとも１つの円周上の全撮像範囲が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が少なくとも２段以上積み重ねて配置されている
　前記（１）から（５）のいずれかに記載の全天球撮像装置。
（７）
　前記撮像部の画角β、前記全天球撮像装置の中心から前記撮像部までの配置半径ｒ、被写体までの距離を表すDepth情報が算出可能な最短距離ｔ、および、前記全天球撮像装置の中心からみた場合の前記撮像部のみなし画角θが関係式（２）を満たすように前記複数の撮像部が配置されている
Figure JPOXMLDOC01-appb-M000005
 　前記（１）から（６）のいずれかに記載の全天球撮像装置。
（８）
　画角がオーバーラップする撮像部対によって撮像された画像は、被写体までの距離を表すDepth情報の算出に用いられる
　前記（１）から（７）のいずれかに記載の全天球撮像装置。
　１０　ミラーレス一眼カメラ，　２０正方カメラ，　３０　小型カメラモジュール

Claims (8)

  1. 　各々が異なる方向に向けて配置された複数の撮像部を備え、
    　前記複数の撮像部での撮像範囲のうち、少なくとも１つの円周上の全撮像範囲が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている
    　全天球撮像装置。
  2. 　各記撮像部の最短撮像距離を超えた前記撮像範囲が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている
    　請求項１に記載の全天球撮像装置。
  3. 　前記全天球撮像装置を中心とする球体の360°全方向が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている
    　請求項２に記載の全天球撮像装置。
  4. 　前記全天球撮像装置を中心とする球体の一部を除外した360°全方向が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている
    　請求項２に記載の全天球撮像装置。
  5. 　前記全天球撮像装置を中心とする球体から頂部または底部の少なくとも一方を除外した360°全方向が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が配置されている
    　請求項２に記載の全天球撮像装置。
  6. 　前記複数の撮像部での撮像範囲のうち、少なくとも１つの円周上の全撮像範囲が２対以上の撮像部対の画角でオーバーラップされているように前記複数の撮像部が少なくとも２段以上積み重ねて配置されている
    　請求項２に記載の全天球撮像装置。
  7. 　前記撮像部の画角β、前記全天球撮像装置の中心から前記撮像部までの配置半径ｒ、被写体までの距離を表すDepth情報が算出可能な最短距離ｔ、および、前記全天球撮像装置の中心からみた場合の前記撮像部のみなし画角θが関係式（２）を満たすように前記複数の撮像部が配置されている
    Figure JPOXMLDOC01-appb-M000001
     　請求項２に記載の全天球撮像装置。
  8. 　画角がオーバーラップする撮像部対によって撮像された画像は、被写体までの距離を表すDepth情報の算出に用いられる
    　請求項２に記載の全天球撮像装置。
PCT/JP2018/000919 2017-01-26 2018-01-16 全天球撮像装置 Ceased WO2018139250A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/477,939 US10893212B2 (en) 2017-01-26 2018-01-16 Spherically-arranged imaging array having pairs of cameras with overlapping fields of view

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-012277 2017-01-26
JP2017012277 2017-01-26

Publications (1)

Publication Number Publication Date
WO2018139250A1 true WO2018139250A1 (ja) 2018-08-02

Family

ID=62979306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000919 Ceased WO2018139250A1 (ja) 2017-01-26 2018-01-16 全天球撮像装置

Country Status (2)

Country Link
US (1) US10893212B2 (ja)
WO (1) WO2018139250A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423605B2 (en) * 2019-11-01 2022-08-23 Activision Publishing, Inc. Systems and methods for remastering a game space while maintaining the underlying game simulation
EP4244673A1 (en) * 2020-11-12 2023-09-20 Iristick nv Multi-camera head-mounted device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285692A (ja) * 2000-03-31 2001-10-12 Kazuhiko Yamamoto 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP2003141527A (ja) * 2001-11-07 2003-05-16 Japan Science & Technology Corp 多視点画像処理システムのキャリブレーション装置及びキャリブレーション方法
WO2016055688A1 (en) * 2014-10-07 2016-04-14 Nokia Technologies Oy Camera devices with a large field of view for stereo imaging

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896671B2 (en) * 2010-04-09 2014-11-25 3D-4U, Inc. Apparatus and method for capturing images
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
JP6078317B2 (ja) 2012-12-07 2017-02-08 株式会社トプコン 全方位カメラ
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US9911454B2 (en) * 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US9973694B1 (en) * 2014-08-21 2018-05-15 Jaunt Inc. Image stitching to form a three dimensional panoramic image
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US20170363949A1 (en) * 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
WO2016191708A1 (en) * 2015-05-27 2016-12-01 Google Inc. Camera rig and stereoscopic image capture
US20170006219A1 (en) * 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
US20170078653A1 (en) * 2015-09-15 2017-03-16 Qualcomm Incorporated Systems and methods for producing a surround view

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285692A (ja) * 2000-03-31 2001-10-12 Kazuhiko Yamamoto 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP2003141527A (ja) * 2001-11-07 2003-05-16 Japan Science & Technology Corp 多視点画像処理システムのキャリブレーション装置及びキャリブレーション方法
WO2016055688A1 (en) * 2014-10-07 2016-04-14 Nokia Technologies Oy Camera devices with a large field of view for stereo imaging

Also Published As

Publication number Publication date
US10893212B2 (en) 2021-01-12
US20190364223A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
US11334968B2 (en) Method and apparatus for restoring image
US9581787B2 (en) Method of using a light-field camera to generate a three-dimensional image, and light field camera implementing the method
KR102234981B1 (ko) 다중 카메라 파노라마식 촬상 시스템
KR20190086964A (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
US10057487B1 (en) Panoramic imaging systems based on normal-lens cameras
EP3765815B1 (en) Imaging device, image processing apparatus, and image processing method
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
WO2021104308A1 (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN115049548A (zh) 恢复从阵列相机获得的图像的方法和装置
WO2018079283A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2018139250A1 (ja) 全天球撮像装置
US20210037183A1 (en) Monocentric multiscale (mms) camera having enhanced field of view
KR102031485B1 (ko) 360도 카메라와 평면 거울을 이용한 다시점 영상 획득 장치 및 방법
JP7014175B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20190011826A1 (en) Method and device for generating panoramic images
KR102644944B1 (ko) 이미지 센서 및 이미지 센싱 방법
JP2001258050A (ja) 立体映像撮像装置
US10868957B2 (en) Apparatus and method for processing image to reconstruct image
JP2014099696A (ja) 固体撮像装置
JP6192222B2 (ja) 撮影装置
JP2014081519A (ja) 撮影装置および表示装置
WO2018030135A1 (ja) 撮像装置および画像処理方法
KR20120131818A (ko) 파노라마 영상 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18745308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18745308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP