[go: up one dir, main page]

WO2014027567A1 - 画像処理システム、画像処理方法、及びプログラム - Google Patents

画像処理システム、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2014027567A1
WO2014027567A1 PCT/JP2013/070695 JP2013070695W WO2014027567A1 WO 2014027567 A1 WO2014027567 A1 WO 2014027567A1 JP 2013070695 W JP2013070695 W JP 2013070695W WO 2014027567 A1 WO2014027567 A1 WO 2014027567A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging device
magnification
operation input
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/070695
Other languages
English (en)
French (fr)
Inventor
祐介 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US14/419,363 priority Critical patent/US10070043B2/en
Priority to JP2014530512A priority patent/JP6312046B2/ja
Publication of WO2014027567A1 publication Critical patent/WO2014027567A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • Some aspects according to the present invention relate to an image processing system, an image processing method, and a program.
  • an imaging device having a pan (rotation) function, a tilt (angle adjustment) function, and a zoom (enlargement / reduction) function (also collectively referred to as a pan / tilt / zoom function or a PTZ function).
  • a pan (rotation) function a tilt (angle adjustment) function
  • a zoom (enlargement / reduction) function also collectively referred to as a pan / tilt / zoom function or a PTZ function.
  • Patent Document 1 discloses that a user controls a camera by specifying a position (x, y) in a shooting screen.
  • Some aspects of the present invention have been made in view of the above-described problems, and an image processing system, an image processing method, and a program capable of improving the convenience at the time of operation input for controlling an imaging apparatus are provided.
  • One of the purposes is to provide it.
  • An image processing system includes a receiving unit that receives an image captured by an imaging device, a display control unit that displays an image received from the imaging device on a display device, and at least one of a shooting direction or a magnification of the imaging device.
  • Input means for receiving an operation input for changing the image
  • camera control means for changing at least one of a shooting direction or a magnification of the imaging apparatus according to the operation input
  • the display control means includes the operation input Thereafter, the image is created from a part of the image photographed by the imaging device until the photographing direction or magnification change by the imaging device is completed, and corresponds to the photographing direction or magnification according to the operation input.
  • An image processing system for displaying an image of a composition on the display device.
  • An image processing method includes a step of receiving an image taken by an imaging device, a step of displaying an image received from the imaging device on a display device, and changing at least one of a shooting direction or a magnification of the imaging device.
  • the program according to the present invention is a process for receiving an image captured by an imaging device, a process for displaying an image received from the imaging device on a display device, and a method for changing at least one of a shooting direction or a magnification of the imaging device. Processing that receives an operation input, processing that changes at least one of the shooting direction or magnification of the imaging device according to the operation input, and after the operation input, until the change of the shooting direction or magnification by the imaging device is completed And a process for causing the display device to display an image created from a part of the image photographed by the imaging device and having a composition corresponding to the photographing direction or magnification according to the operation input. Let it run.
  • “part”, “means”, “apparatus”, and “system” do not simply mean physical means, but “part”, “means”, “apparatus”, “system”. This includes the case where the functions possessed by "are realized by software. Further, even if the functions of one “unit”, “means”, “apparatus”, and “system” are realized by two or more physical means or devices, two or more “parts” or “means”, The functions of “device” and “system” may be realized by a single physical means or device.
  • an image processing system an image processing method, and a program capable of improving the convenience at the time of operation input for controlling the imaging apparatus.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the monitoring system 1.
  • the monitoring system 1 is roughly composed of an information processing server 100 that is an image processing system, a video camera 200 that captures a moving image, and a client terminal 300.
  • the monitoring system 1 displays an image captured by the video camera 200 on the display device 310 on the client terminal 300 operated by the user via the information processing server 100.
  • the information processing server 100 performs various operations such as panning (rotation), tilting (angle adjustment), zooming (enlargement / reduction), and the like on the video camera 200 in accordance with an operation signal input from the client terminal 300.
  • Send (output) control signals are various operations such as panning (rotation), tilting (angle adjustment), zooming (enlargement / reduction), and the like.
  • the information processing server 100 outputs a control signal corresponding to the operation input to the video camera 200. Even during the time until the control of the video camera 200 is completed, an image corresponding to the composition after the control according to the operation input is created, and the image is displayed on the client terminal 300. Thereby, a user who performs an operation input for controlling the video camera 200 from the client terminal 300 can immediately confirm the composition after the completion of the control. If the composition is different from the intended composition, It becomes possible to perform the user operation again so as to obtain an appropriate composition. That is, it is possible to improve the convenience at the time of operation input for controlling the video camera 200.
  • each of the video camera 200, the information processing server 100, and the client terminal 300 will be described.
  • the video camera 200 is an image pickup apparatus (having a pan / tilt / zoom function (PTZ function)) that can perform pan (rotation), tilt (angle adjustment), zoom (enlargement / reduction), and the like. That is, the video camera 200 can change the shooting direction and the shooting magnification. Note that it is not necessary to have all of the pan function, tilt function, and zoom function, and only a part of these functions may be provided.
  • PTZ function pan / tilt / zoom function
  • the video camera 200 captures a moving image and outputs the moving image to the information processing server 100. Further, the video camera 200 changes the shooting direction and the shooting magnification based on the control signal input from the information processing server 100. Here, since the video camera 200 changes the shooting direction and the shooting magnification by mechanical control, it takes a certain time to complete the operation (control) related to the pan / tilt / zoom function.
  • the video camera 200 is described as being one unit.
  • the present invention is not limited to this, and the monitoring system 1 may be constructed using a plurality of video cameras 200. By using a plurality of video cameras 200, a more comprehensive monitoring network can be constructed.
  • the video camera 200 is described as being a separate device from the information processing server 100.
  • the present invention is not limited to this.
  • the device configuring the information processing server 100 is the video camera 200. May be built in.
  • the information processing server 100 displays an image captured by the video camera 200 on the client terminal 300 by receiving an input of a moving image from the video camera 200 and outputting an image to the client terminal 300.
  • the information processing server 100 also receives an operation signal for operating the video camera 200 from the client terminal 300 and outputs a control signal for controlling the video camera 200 to the video camera 200.
  • the information processing server 100 includes communication I / F (interface) units 110 and 120, an image acquisition unit 130, a camera movement amount acquisition unit 140, a camera image processing unit 150, a display control unit 160, and an input control unit 170. And a camera control amount calculation unit 180 and a camera control unit 190.
  • the communication I / F unit 110 is an interface for the information processing server 100 to communicate with the video camera 200 and the communication I / F unit 120 with the client terminal 300, respectively.
  • the communication I / F unit 110 is realized as a single interface that can communicate with both the video camera 200 and the client terminal 300 via, for example, a LAN (Local Area Network). It is also possible.
  • the image acquisition unit 130 acquires a captured moving image (video) from the video camera 200 via the communication I / F unit 110.
  • the captured moving image can be displayed on the display device 310 of the client terminal 300 by the display control unit 160.
  • the camera movement amount acquisition unit 140 specifies how much the video camera 200 has moved (change in shooting angle and change in magnification) after transmitting a control signal for controlling the video camera 200.
  • the movement amount of the video camera 200 can be specified by a control signal received from the video camera 200, for example.
  • the amount of movement of the video camera 200 may be specified by comparing the composition of the video from the video camera 200 before transmitting the control signal with the amount of change in the composition of the video received from the video camera 200 as needed.
  • the camera image processing unit 150 is based on the control amount instructed to the video camera 200 acquired from the camera control amount calculation unit 180 and the movement amount of the video camera 200 up to that point acquired by the camera movement amount acquisition unit 140. Then, an image corresponding to the composition after the movement of the video camera 200 is completed (control completed) is created from at least a part of the images captured by the video camera 200 up to that point.
  • the image created by the camera image processing unit 150 is displayed on the display device 310 of the client terminal 300 by the display control unit 160.
  • the image input from the video camera 200 is processed by the camera image processing unit 150 as needed according to the movement amount of the video camera 200 specified by the camera movement amount acquisition unit 140, and then is transmitted to the client terminal 300.
  • display it is not restricted to this.
  • a control signal is transmitted to the video camera 200
  • an image corresponding to the composition (view angle) after the movement is completed is generated by the camera image processing unit 150, and the image (still image) is displayed until the movement is completed.
  • the moving image input from the video camera 200 may be displayed on the display device 310 again.
  • the camera movement amount acquisition unit 140 is not necessarily required.
  • the display control unit 160 transmits the moving image acquired (received) from the video camera 200 by the image acquisition unit 130 or the image output by the camera image processing unit 150 via the communication I / F unit 120 to the client. Transmit (output) to the terminal 300.
  • the display control unit 160 transmits the moving image input from the video camera 200 to the client terminal 300 as it is. After the control signal is transmitted to 200, until the control of the video camera 200 is completed, an image corresponding to the composition after the control completed by the camera image processing unit 150 is transmitted to the client terminal 300.
  • the input control unit 170 receives an operation signal input from the input device 320 of the client terminal 300 for moving the video camera 200 (changing the angle and changing the magnification as described above) via the communication I / F unit 120. Are received (operation input) and output to the camera control amount calculation unit 180.
  • the camera control amount calculation unit 180 calculates a control amount (movement amount for moving the video camera 200) that is actually given to the video camera 200 based on an operation signal related to a user operation acquired from the input control unit 170.
  • the camera control unit 190 converts the control amount calculated by the camera control amount calculation unit 180 into a control signal, and outputs (transmits) it to the video camera 200 via the communication I / F unit 110. As a result, a control signal corresponding to the operation signal input from the input device 320 of the client terminal 300 is output to the video camera 200.
  • the camera control amount calculation unit 180 of the information processing server 100 determines the control amount of the video camera 200, but the present invention is not limited to this. For example, it is conceivable to calculate a control amount to be given to the video camera 200 on the client terminal 300 side.
  • the client terminal 300 is an information processing apparatus that includes a display device 310 and an input device 320.
  • the client terminal 300 in the present embodiment will be described as a so-called smartphone or tablet information terminal including a touch panel including a display device 310 (display) and an input device 320 (touch pad).
  • the present invention is not necessarily limited thereto, and can be realized by, for example, a desktop personal computer or a laptop personal computer as long as the display device 310 and the input device 320 are provided.
  • the information processing server 100 and the client terminal 300 are realized as separate devices, but the present invention is not limited to this.
  • the information processing server 100 may be provided with the display device 310 and the input device 320.
  • the client terminal 300 receives an image captured by the video camera 200 from the information processing server 100 and displays the image on the display device 310.
  • the client terminal 300 outputs (transmits) an operation signal based on an operation input to the input device 320 to control the video camera 200 while viewing the display device 310 to the information processing server 100.
  • the display device 310 is a display that displays an image on, for example, a liquid crystal or an organic EL (Electro Luminescence). An image transmitted from the display control unit 160 of the information processing server 100 via the communication I / F unit 120 is displayed on the display device 310.
  • a liquid crystal or an organic EL Electro Luminescence
  • the input device 320 is a device for a user to input an operation, such as a touch pad as described above. As described above, in the present embodiment, the input device 320 has been described as an input device of a tablet information terminal. However, the present invention is not limited to this, and it may be realized by a pointing device such as a mouse or a keyboard.
  • FIGS. 2 to 4. are diagrams showing specific examples of display screens displayed on the display screen of the display device 310.
  • the example of the display screen in FIG. 2 shows a case where the display device 310 displays a real-time video (moving image) input from the video camera 200 via the information processing server 100.
  • the display device 310 displays the characters “LIVE” on the upper right of the display screen.
  • FIG. 2 shows that a user inputs a pinch-out operation (simultaneously tracing the touch panel with a finger in the directions of arrows a1 and a2) on the touch panel around the person P shown in the video.
  • This pinch-out operation is an operation for causing the video camera 200 to perform a zoom function for enlarging the photographing range around the operation target area, that is, for enlarging the portion where the pinch-out operation has been performed.
  • the pinch-in operation in which the finger is moved in the direction opposite to the pinch-out operation causes the video camera 200 to perform a zoom operation for reducing the operation target area as a center
  • the slide operation or The touch operation can be regarded as an operation input for causing the video camera 200 to perform a pan operation or a tilt operation for changing the shooting direction in accordance with the designated direction, length, and position.
  • the operation input described here is merely an example, and various associations between the operation input and the control to the video camera 200 can be considered.
  • FIG. 3 shows an example of a display screen displayed on the display device 310 immediately after the user performs a pinch-out operation.
  • the display screen of FIG. 3 can be generated by simply enlarging the area that has been pinched out from the image of the display screen shown in FIG.
  • the image on the display screen according to FIG. 3 is a simple enlargement of the image on the display screen shown in FIG. 2, and therefore has a lower resolution than the image that the video camera 200 normally captures. Since the image shown in FIG. 3 is not a real-time image, the display device 310 shows the letters “captured” in the upper right of the display screen in order to explicitly show it to the user.
  • the camera image processing unit 150 of the information processing server 100 performs video up to that time based on the operation.
  • An image corresponding to the composition (angle of view) after completion of control is created from at least a part of the image captured by the camera 200, and the display control unit 160 causes the display device 310 to display the image.
  • the user can immediately confirm the composition after the control is completed, and therefore take appropriate measures such as re-operation input. Will be able to. That is, user convenience is improved.
  • the display control unit 160 displays a real-time moving image input from the video camera 200 as shown in FIG.
  • FIG. 5 is a flowchart showing a processing flow of the information processing server 100 according to the present embodiment.
  • Each processing step to be described later can be executed in any order or in parallel as long as there is no contradiction in processing contents, and other steps can be added between the processing steps. good. Further, a step described as a single step for convenience can be executed by being divided into a plurality of steps, and a step described as being divided into a plurality of steps for convenience can be executed as one step.
  • the input control unit 170 of the information processing server 100 determines whether or not an operation signal related to a user operation is input from the input device 320 of the client terminal 300 (S501). If there is an operation input from the user (Yes in S501), the camera control amount calculation unit 180 determines the control amount of the video camera 200 according to the user operation according to the operation signal received from the input device 320. Calculate (S503). The camera control unit 190 generates a control signal corresponding to the control amount calculated by the camera control amount calculation unit 180 and transmits the control signal to the video camera 200 (S505). Accordingly, the video camera 200 starts a pan operation, a tilt operation, a zoom operation, and the like according to the user operation.
  • the camera image processing unit 150 determines whether or not the control of the video camera 200 is completed (S507). Whether the control of the video camera 200 has been completed may be determined by acquiring state information from the video camera 200, or may correspond to the control amount received from the camera control amount calculation unit 180. It may be determined by determining whether or not a change in video has occurred in a moving image input from the video camera 200.
  • the camera movement amount acquisition unit 140 acquires the camera movement amount (motion amount) up to that point.
  • the camera movement amount motion amount
  • Various methods of acquiring the camera movement amount are conceivable. For example, as described above, acquisition from the video camera 200 is also conceivable, or determination may be made based on how much the image input from the video camera 200 has changed. it can.
  • the camera image processing unit 150 compares the camera movement amount acquired in S509 with the camera control amount calculated in S503 to generate an image according to the composition after the control of the video camera 200 is completed (S511). .
  • the display control unit 160 displays the image (illustrated in FIG. 3) generated by the camera image processing unit 150 according to the composition after the control of the video camera 200 is completed on the display device 310 of the client terminal 300 (S513). .
  • the processing from S509 to S513 is repeated until the control of the video camera 200 is completed.
  • the display control unit 160 does not change the resolution of the real-time moving image received from the video camera 200 without changing the resolution. It is displayed on the display device 310 of the terminal 300 (S515, illustrated in FIG. 4).
  • the processing from S509 to S513 is repeated until the control of the video camera 200 is completed.
  • the present invention is not limited to this, and only once corresponding to the time point when the user operation is input.
  • a camera image processed by the camera image processing unit 150 may be generated. In this case, the process of S509 is not necessarily required.
  • the functions of the information processing server 100 can be realized by a plurality of information processing apparatuses (for example, a server and a client).
  • the information processing server 100 includes a processor 601, a memory 603, a storage device 605, an input I / F 607, a data I / F 609, a communication I / F 611, and a display device 613.
  • the processor 601 controls various processes in the information processing server 100 by executing a program stored in the memory 603.
  • the processing related to the image acquisition unit 130, the camera movement amount acquisition unit 140, the camera image processing unit 150, the display control unit 160, the input control unit 170, the camera control amount calculation unit 180, and the camera control unit 190 described in FIG. Can be realized as a program that mainly operates on the processor 601 after being stored in the memory 603.
  • the memory 603 is a storage medium such as a RAM (Random Access Memory).
  • the memory 603 temporarily stores a program code of a program executed by the processor 601 and data necessary for executing the program. For example, in the storage area of the memory 603, a stack area necessary for program execution is secured.
  • the storage device 605 includes a non-volatile storage medium such as a hard disk or a flash memory.
  • the storage device 605 includes an operating system, an image acquisition unit 130, a camera movement amount acquisition unit 140, a camera image processing unit 150, a display control unit 160, an input control unit 170, a camera control amount calculation unit 180, and a camera control unit 190.
  • Programs and data stored in the storage device 605 are referred to by the processor 601 by being loaded into the memory 603 as necessary.
  • the input I / F 607 is a device for receiving input from the user.
  • the input device 320 described in FIG. 1 may be realized as an input I / F built in the information processing server 100 without being provided in the client terminal 300 as described in FIG.
  • the input I / F 607 may be connected to the information processing server 100 via an interface such as USB (Universal Serial Bus).
  • the data I / F 609 is a device for inputting data from outside the information processing server 100.
  • Specific examples of the data I / F 609 include a drive device for reading data stored in various storage media.
  • the data I / F 609 may be provided outside the information processing server 100. In this case, the data I / F 609 is connected to the information processing server 100 via an interface such as a USB.
  • the communication I / F 611 is a device for communicating data with a device external to the information processing server 100 such as a video camera 200 or a client terminal 300 by wire or wireless.
  • the communication I / F unit 110 and the communication I / F unit 120 illustrated in FIG. 1 correspond to the communication I / F 611.
  • the communication I / F 611 may be provided outside the information processing server 100. In that case, the communication I / F 611 is connected to the information processing server 100 via an interface such as a USB.
  • the display device 613 is a device for displaying various types of information, such as a liquid crystal display or an organic EL (Electro-Luminescence) display.
  • the display device 310 described in FIG. 1 may be realized as the display device 613 built in the information processing server 100 without being provided in the client terminal 300 as described in FIG. Further, the display device 613 may be connected to the information processing server 100 via, for example, a display cable or the like outside the information processing server 100.
  • the information processing server 100 changes the shooting direction and magnification of the imaging device when the moving image shot by the video camera 200 is displayed on the display device 310.
  • a screen as shown in FIG. 2 corresponding to the angle of view (composition) after the completion of the control corresponding to the operation is created and displayed on the display device 310.
  • FIG. 7 is a block diagram illustrating a functional configuration of an image processing apparatus 700 that is an image processing system.
  • the image processing apparatus 700 includes a receiving unit 710, a display control unit 720, an input unit 730, and a camera control unit 740.
  • the receiving unit 710 receives an image taken by an imaging device (camera) (not shown).
  • the display control unit 720 displays the image received by the receiving unit 710 on a display device (not shown).
  • the input unit 730 receives an operation input for changing at least one of a shooting direction and a magnification of the above-described imaging device.
  • the camera control unit 740 changes at least one of the shooting direction and the magnification of the imaging device in accordance with the operation input input from the input unit 730.
  • the display control unit 720 receives an operation input from the input unit 730 and continues to the operation input created from a part of the image captured by the imaging device until the change of the imaging device imaging direction or magnification is completed. An image of a composition corresponding to the corresponding shooting direction or magnification is displayed on the display device.
  • a receiving unit that receives an image captured by the imaging device, a display control unit that displays an image received from the imaging device on a display device, and an operation input for changing at least one of a shooting direction or a magnification of the imaging device.
  • An image processing system for display for display.
  • the display control means is a composition corresponding to the shooting direction or magnification corresponding to the operation input in accordance with the status information received after the operation input and before the change of the shooting direction or magnification by the imaging device is completed.
  • Appendix 3 The image processing system according to appendix 2, wherein the image of the composition corresponding to the shooting direction or magnification according to the operation input is a moving image.
  • the display control unit displays an image created from a part of the image captured by the imaging device at the time of the operation input until the change of the imaging direction or magnification by the imaging device is completed after the operation input.
  • the image processing system according to appendix 1 or appendix 2, which is displayed on the screen.
  • Appendix 5 The image according to any one of appendix 1 to appendix 4, wherein the display control unit causes the display device to display a real-time image captured by the imaging device after completion of the change of the imaging direction or magnification by the imaging device. Processing system.
  • Appendix 6 The image processing system according to any one of appendix 1 to appendix 5, wherein the input unit receives a pinch-in or pinch-out operation on an operation panel as the operation input.
  • An image processing method in which an image processing system performs an image created from a part of a photographed image and having an image of a composition corresponding to a photographing direction or magnification corresponding to the operation input displayed on the display device .
  • Appendix 8 Generating an image of a composition corresponding to the shooting direction or magnification corresponding to the operation input, in accordance with the state information received after the operation input and before the change of the shooting direction or magnification by the imaging device is completed; The image processing method according to appendix 7.
  • Appendix 9 The image processing method according to appendix 8, wherein the image of the composition corresponding to the shooting direction or magnification according to the operation input is a moving image.
  • Appendix 11 The image processing method according to any one of appendix 7 to appendix 10, wherein a real-time image captured by the imaging device is displayed on the display device after the imaging direction or magnification change by the imaging device is completed.
  • the imaging device is configured to change at least one of the shooting direction or magnification of the imaging device and until the change of the shooting direction or magnification by the imaging device is completed after the operation input.
  • Appendix 14 Processing for generating an image with a composition corresponding to the shooting direction or magnification corresponding to the operation input in accordance with the status information received after the operation input and until the change of the shooting direction or magnification by the imaging device is completed
  • Appendix 15 15. The program according to appendix 14, wherein the image of the composition corresponding to the shooting direction or magnification according to the operation input is a moving image.
  • Appendix 18 18. The program according to any one of appendix 13 to appendix 17, which causes a process of receiving a pinch-in or pinch-out operation to the operation panel as the operation input.
  • DESCRIPTION OF SYMBOLS 1 ... Monitoring system, 100 ... Information processing server, 110, 120 ... Communication I / F part, 130 ... Image acquisition part, 140 ... Camera movement amount acquisition part, 150 ... Camera Image processing unit, 160 ... display control unit, 170 ... input control unit, 180 ... camera control amount calculation unit, 190 ... camera control unit, 200 ... video camera, 300 ... client Terminal, 310 ... display device, 320 ... input device, P ... person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

画像処理システム、画像処理方法、及びプログラム
　本発明に係るいくつかの態様は、画像処理システム、画像処理方法、及びプログラムに関する。
　近年、例えばパン（回転）機能、チルト（角度調節）機能、及びズーム（拡大・縮小）機能（総称して、パン・チルト・ズーム機能、又はＰＴＺ機能とも呼ぶ。）を持つ撮像装置（カメラ）が普及しつつある。また、このような撮像装置を操作する方法も種々考えられている。例えば特許文献１には、使用者が、撮影画面内で位置（ｘ，ｙ）を指定することにより、カメラの制御を行うことが開示されている。
特開平７－４６５６６号公報
　ここで、撮像装置の撮影方向や倍率の変更は機械的動作を伴うため、変更に係る制御が完了するには一定の時間が必要となる。しかしながら、特許文献１記載の手法ではこの点が考慮されていないため、使用者は、制御の完了後の画像（構図）を想像しながら操作入力をする必要がある。
　本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、撮像装置を制御するための操作入力時の利便性を向上させることのできる画像処理システム、画像処理方法、及びプログラムを提供することを目的の１つとする。
　本発明に係る画像処理システムは、撮像装置が撮影した画像を受信する受信手段と、撮像装置から受信した画像を表示装置に表示させる表示制御手段と、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける入力手段と、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるカメラ制御手段とを備え、前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させる、画像処理システム。
　本発明に係る画像処理方法は、撮像装置が撮影した画像を受信するステップと、撮像装置から受信した画像を表示装置に表示させるステップと、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受けるステップと、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるステップと、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させるステップとを画像処理システムが行う。
　本発明に係るプログラムは、撮像装置が撮影した画像を受信する処理と、撮像装置から受信した画像を表示装置に表示させる処理と、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける処理と、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させる処理と、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させる処理とをコンピュータに実行させる。
　尚、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。
　本発明によれば、撮像装置を制御するための操作入力時の利便性を向上させることのできる画像処理システム、画像処理方法、及びプログラムを提供することができる。
第１実施形態に係る監視システムの概略構成を示す機能ブロック図である。 表示画面の具体例を示す図である。 表示画面の具体例を示す図である。 表示画面の具体例を示す図である。 図１に示す情報処理サーバの処理の流れを示すフローチャートである。 図１に示す情報処理サーバを実装可能なハードウェア構成の機能構成を示すブロック図である。 第２実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。
　以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
　（１　第１実施形態）
　図１乃至図６は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「１．１」でシステム全体の機能構成を示すと共に、「１．２」で表示画面の具体例を示すことで、第１実施形態全体の概要を示す。その上で、「１．３」で処理の流れを、「１．４」で、ハードウェア構成の具体例を示す。最後に、「１．５」以降で、本実施形態に係る効果などを説明する。
　（１．１　機能構成）
　図１を参照しながら、本実施形態に係る監視システム１の機能構成を説明する。図１は、監視システム１の概略構成を示すブロック図である。
　監視システム１は、大きく分けて、画像処理システムである情報処理サーバ１００と、動画像を撮像するビデオカメラ２００と、クライアント端末３００とから構成される。
　監視システム１は、ビデオカメラ２００で撮像された画像が、情報処理サーバ１００を介して、ユーザが操作するクライアント端末３００上の表示装置３１０に表示される。また、クライアント端末３００から入力された操作信号に応じて、情報処理サーバ１００はビデオカメラ２００に対して、パン（回転）・チルト（角度調節）・ズーム（拡大・縮小）等を行うための各種制御信号を送信（出力）する。
　このとき、情報処理サーバ１００は、クライアント端末３００からパン・チルト・ズームの少なくともいずれかを行うための操作入力がなされた場合に、当該操作入力に応じた制御信号をビデオカメラ２００に出力すると共に、ビデオカメラ２００の制御完了までの間であっても、当該操作入力に応じた制御後の構図に対応する画像を作成して、当該画像をクライアント端末３００に表示させる。これにより、クライアント端末３００からビデオカメラ２００を制御するための操作入力を行うユーザは、即座に、制御完了後の構図を確認することができるようになるため、意図した構図と異なる場合には、適当な構図となるように再度ユーザ操作を行うことが可能となる。つまり、ビデオカメラ２００を制御するための操作入力時の利便性を向上させることができるようになる。
　以下、ビデオカメラ２００、情報処理サーバ１００、及びクライアント端末３００のそれぞれについて説明する。
　（１．１．１　ビデオカメラ２００）
　ビデオカメラ２００は、パン（回転）・チルト（角度調節）・ズーム（拡大・縮小）等を行うことのできる（パン・チルト・ズーム機能（ＰＴＺ機能）を持つ）撮像装置である。つまり、ビデオカメラ２００は、撮影方向の変更や、撮影倍率の変更を行うことができる。尚、パン機能、チルト機能、ズーム機能の全てを持つ必要はなく、これらの機能の一部のみを持つようにしても良い。
　ビデオカメラ２００は、動画像を撮像して当該動画像を情報処理サーバ１００へと出力する。また、ビデオカメラ２００は情報処理サーバ１００から入力された制御信号に基づき、撮影方向の変更や撮影倍率を変更する。尚ここで、ビデオカメラ２００は、撮影方向の変更や撮影倍率の変更を機械的制御により行うため、パン・チルト・ズーム機能に係る動作（制御）の完了までには一定の時間を要する。
　尚、本実施形態では、ビデオカメラ２００が１台であるものとして説明しているが、これに限られるものではなく、複数台のビデオカメラ２００を用いて監視システム１を構築しても良い。複数台のビデオカメラ２００を用いることで、より網羅的な監視網を構築することが可能となる。
　また、本実施形態では、ビデオカメラ２００は情報処理サーバ１００と別装置であるものとして説明しているが、これに限られるものではなく、例えば、情報処理サーバ１００を構成する装置がビデオカメラ２００を内蔵するようにしても良い。
　（１．１．２　情報処理サーバ１００）
　情報処理サーバ１００は、ビデオカメラ２００から動画像の入力を受けると共にクライアント端末３００に画像を出力することにより当該クライアント端末３００にビデオカメラ２００が撮像した画像を表示させる。また情報処理サーバ１００は、ビデオカメラ２００を操作するための操作信号をクライアント端末３００から受信すると共に、ビデオカメラ２００を制御するための制御信号をビデオカメラ２００へと出力する。
　情報処理サーバ１００は、通信Ｉ／Ｆ（インタフェース）部１１０及び１２０と、画像取得部１３０と、カメラ移動量取得部１４０と、カメラ画像加工部１５０と、表示制御部１６０と、入力制御部１７０と、カメラ制御量算出部１８０と、カメラ制御部１９０とを含む。
　通信Ｉ／Ｆ部１１０はビデオカメラ２００と、通信Ｉ／Ｆ部１２０はクライアント端末３００と、それぞれ情報処理サーバ１００が通信するためのインタフェースである。尚、図１の例では、別々の構成として記載しているが、例えばＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等を介してビデオカメラ２００及びクライアント端末３００の双方と通信可能な、単一のインタフェースとして実現することも可能である。
　画像取得部１３０は、ビデオカメラ２００から、通信Ｉ／Ｆ部１１０を介して撮影動画像（映像）を取得する。当該撮影動画像は、表示制御部１６０により、クライアント端末３００の表示装置３１０上に表示させることができる。
　カメラ移動量取得部１４０は、ビデオカメラ２００を制御する制御信号送信後、どの程度ビデオカメラ２００が移動（撮影角度の変更、及び倍率の変更）したかを特定する。ビデオカメラ２００の移動量の特定は、例えば、ビデオカメラ２００から受信した制御信号により行なうことが考えられる。或いは、制御信号送信前のビデオカメラ２００からの映像の構図と、ビデオカメラ２００から随時受信する映像の構図の変化量とを比較することによりビデオカメラ２００の移動量を特定することも考えられる。
　カメラ画像加工部１５０は、カメラ制御量算出部１８０から取得した、ビデオカメラ２００に指示した制御量と、カメラ移動量取得部１４０が取得したビデオカメラ２００のその時点までの移動量とに基いて、ビデオカメラ２００の移動完了（制御完了）後の構図に応じた画像を、その時点までにビデオカメラ２００が撮影した画像の少なくとも一部から作成する。カメラ画像加工部１５０が作成した画像は、表示制御部１６０により、クライアント端末３００の表示装置３１０上に表示される。
　尚、上記説明では、ビデオカメラ２００から入力された画像を、カメラ移動量取得部１４０が特定したビデオカメラ２００の移動量に応じて、カメラ画像加工部１５０で随時加工した上でクライアント端末３００に表示させるようにしているが、これに限られるものではない。例えば、ビデオカメラ２００への制御信号送信時に、移動完了後の構図（画角）に応じた画像をカメラ画像加工部１５０で作成した上で、移動完了までは当該画像（静止画像）を表示装置３１０に表示させ、移動完了後は、再度ビデオカメラ２００から入力される動画像を表示装置３１０に表示させるようにしても良い。この場合、必ずしもカメラ移動量取得部１４０は必要ではない。
　表示制御部１６０は、前述のように、ビデオカメラ２００から画像取得部１３０が取得（受信）した動画像、若しくはカメラ画像加工部１５０が出力する画像を、通信Ｉ／Ｆ部１２０を介してクライアント端末３００へと送信（出力）する。この時、ビデオカメラ２００への制御信号の送信前、及びビデオカメラ２００の制御完了後は、表示制御部１６０はビデオカメラ２００から入力された動画像をそのままクライアント端末３００へと送信し、ビデオカメラ２００への制御信号の送信後、ビデオカメラ２００の制御完了までの間は、カメラ画像加工部１５０が加工した、制御完了後の構図に対応した画像を、クライアント端末３００へと送信する。
　入力制御部１７０は、クライアント端末３００の入力装置３２０から入力された、ビデオカメラ２００を移動（上述の通り、角度の変更及び倍率の変更）させるための操作信号を通信Ｉ／Ｆ部１２０を介して受信（操作入力）すると共に、カメラ制御量算出部１８０へと出力する。
　カメラ制御量算出部１８０は、入力制御部１７０から取得した、ユーザ操作に係る操作信号に基づき、実際にビデオカメラ２００に与える制御量（ビデオカメラ２００を移動させる移動量）を算出する。
　カメラ制御部１９０は、カメラ制御量算出部１８０が算出した制御量を制御信号へと変換した上で、通信Ｉ／Ｆ部１１０を介してビデオカメラ２００へと出力（送信）する。これにより、クライアント端末３００の入力装置３２０から入力された操作信号に応じた制御信号が、ビデオカメラ２００へと出力されることとなる。
　尚、本実施形態では、情報処理サーバ１００のカメラ制御量算出部１８０が、ビデオカメラ２００の制御量を決定しているが、これに限られるものではない。例えば、クライアント端末３００側で、ビデオカメラ２００に与える制御量を算出することも考えられる。
　（１．１．３　クライアント端末３００）
　クライアント端末３００は、表示装置３１０と入力装置３２０とを有する情報処理装置である。本実施形態におけるクライアント端末３００は、表示装置３１０（ディスプレイ）及び入力装置３２０（タッチパッド）を備えるタッチパネルを備える、いわゆるスマートフォンやタブレット型情報端末であるものとして説明する。しかし、必ずしもこれに限られるものではなく、表示装置３１０と入力装置３２０を備えるものであれば、たとえばデスクトップ型やラップトップ型のパーソナルコンピュータ等で実現することも可能である。
　また、本実施形態では、情報処理サーバ１００とクライアント端末３００とを別装置として実現しているが、これに限られるものではない。例えば、表示装置３１０及び入力装置３２０を情報処理サーバ１００が備えるように実現することも可能である。
　クライアント端末３００は、上述の通り、ビデオカメラ２００で撮影した画像を、情報処理サーバ１００から受信すると共に、当該画像を表示装置３１０上に表示する。また、ユーザが表示装置３１０を見ながらビデオカメラ２００を制御すべく入力装置３２０に入力した操作に基づく操作信号を、クライアント端末３００は情報処理サーバ１００へと出力（送信）する。
　表示装置３１０は、例えば液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）等に画像を表示するディスプレイである。情報処理サーバ１００の表示制御部１６０から通信Ｉ／Ｆ部１２０を介して送信された画像は、表示装置３１０が表示する。
　入力装置３２０は、上述の通り例えばタッチパッド等の、ユーザが操作を入力するための装置である。上述の通り、本実施形態では、入力装置３２０はタブレット型情報端末の入力装置として説明しているがこれに限られるものではなく、マウス等のポインティングデバイスやキーボード等で実現することも考えられる。
　（１．２　表示画面の具体例）
　以下、図２乃至図４を参照しながら、表示装置３１０に表示される、表示画面の具体例を説明する。図２乃至図４は、表示装置３１０の表示画面上に表示される表示画面の具体例を示す図である。
　図２の表示画面の例では、表示装置３１０が、ビデオカメラ２００から情報処理サーバ１００を介して入力されたリアルタイムの映像（動画像）を表示している場合の図を示している。尚、図２の例では、リアルタイムであることをユーザに明示的に示すため、表示装置３１０は「ＬＩＶＥ」との文字を表示画面右上に表示している。
　更に図２は、ユーザが指で、映像に映る人物Ｐの周辺において、タッチパネル上でピンチアウト操作（同時に、矢印ａ１及びａ２の方向に指でタッチパネルをなぞる操作）が入力されることを示している。このピンチアウト操作は、操作対象領域を中心に撮影範囲を拡大する、つまり、ピンチアウト操作した個所を拡大するためのズーム機能をビデオカメラ２００に行わせるための操作である。
　尚、この例では示していないが、ピンチアウト操作とは逆方向に指を動かすピンチイン操作は、ユーザの操作対象領域を中心に縮小するためのズーム動作をビデオカメラ２００に行わせ、スライド操作やタッチ操作は、指定した方向や長さ、位置に応じて撮影方向を変化させるためのパン動作やチルト動作をビデオカメラ２００に行わせるための操作入力と捉えることができる。但し、ここで述べた操作入力はあくまで一例であり、操作入力とビデオカメラ２００への制御との対応付けは、種々考えることができる。
　図３は、ユーザがピンチアウト操作した直後に表示装置３１０に表示される表示画面の例を示している。図３の表示画面は、図２で示した表示画面の画像から、ピンチアウト操作した領域を単純に拡大して生成することができる。図３に係る表示画面の画像は、図２で示した表示画面の画像を単純に拡大したものであるため、ビデオカメラ２００が通常撮影する画像よりも解像度が低くなっている。尚、図３に示す画像はリアルタイムの画像ではないため、それを明示的にユーザに示すべく、表示装置３１０は「ｃａｐｔｕｒｅｄ」との文字を表示画面右上に示している。
　図２及び図３に係る処理の流れをまとめると、ユーザがビデオカメラ２００を制御するための操作入力を行うと、情報処理サーバ１００のカメラ画像加工部１５０は当該操作に基づき、それまでにビデオカメラ２００が撮影した画像の少なくとも一部から制御完了後の構図（画角）に対応する画像を作成して、表示制御部１６０は当該画像を表示装置３１０に表示させる。
　これにより、ユーザは、ビデオカメラ２００の制御完了前であっても、制御完了後にどのような構図となるのかを即座に確認することができるため、再度の操作入力等の適切な対応を取ることができるようになる。つまり、ユーザの利便性が向上する。
　更にその後、ビデオカメラ２００の制御（ユーザ操作に応じたズーム動作）が完了すると、表示制御部１６０は、図４に示すようなビデオカメラ２００から入力されるリアルタイムの動画像を表示装置３１０に表示させる。
　（１．３　処理の流れ）
　次に、情報処理サーバ１００の処理の流れを、図５を参照しながら説明する。図５は、本実施形態に係る情報処理サーバ１００の処理の流れを示すフローチャートである。
　尚、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。
　まず、情報処理サーバ１００の入力制御部１７０は、クライアント端末３００の入力装置３２０からユーザ操作に係る操作信号が入力されたか否かを判別する（Ｓ５０１）。もし、ユーザからの操作入力があった場合には（Ｓ５０１のＹｅｓ）、入力装置３２０から受信した操作信号に応じて、カメラ制御量算出部１８０はユーザ操作に応じたビデオカメラ２００の制御量を算出する（Ｓ５０３）。カメラ制御部１９０は、カメラ制御量算出部１８０が算出した制御量に応じた制御信号を生成すると共に、当該制御信号をビデオカメラ２００へと送信する（Ｓ５０５）。これにより、ビデオカメラ２００はユーザ操作に応じたパン動作、チルト動作、及びズーム動作等を開始する。
　その後、カメラ画像加工部１５０は、ビデオカメラ２００の制御が完了したか否かを判別する（Ｓ５０７）。尚、ビデオカメラ２００の制御が完了したか否かは、ビデオカメラ２００から状態情報を取得することにより判別することも考えられるし、或いは、カメラ制御量算出部１８０から受け取った制御量に対応する映像の変化が、ビデオカメラ２００から入力される動画像に生じたか否かを判別することにより判別すること考えられる。
　Ｓ５０７において、まだビデオカメラ２００の制御が完了していない場合には（Ｓ５０７のＹｅｓ）、カメラ移動量取得部１４０は、その時点までのカメラ移動量（動作量）を取得する。カメラ移動量の取得方法は種々考えられるが、例えば前述の通り、ビデオカメラ２００から取得することも考えられるし、或いは、ビデオカメラ２００から入力される画像がどの程度変化したかによって判別することもできる。
　カメラ画像加工部１５０は、Ｓ５０９で取得されたカメラ移動量と、Ｓ５０３で算出したカメラ制御量とを比較することにより、ビデオカメラ２００の制御完了後の構図に応じた画像を生成する（Ｓ５１１）。表示制御部１６０は、当該カメラ画像加工部１５０が生成した、ビデオカメラ２００の制御完了後の構図に応じた画像（図３に例示）を、クライアント端末３００の表示装置３１０に表示させる（Ｓ５１３）。Ｓ５０９乃至Ｓ５１３の処理は、ビデオカメラ２００の制御が完了するまで繰り返される。
　もし、ユーザ操作に応じたビデオカメラ２００の制御が完了すれば（Ｓ５０７のＹｅｓ）、表示制御部１６０は、ビデオカメラ２００から受信したリアルタイムの動画像を、解像度の変更などを行わずに、クライアント端末３００の表示装置３１０に表示させる（Ｓ５１５。図４に例示）。
　尚、上記説明では、Ｓ５０９乃至Ｓ５１３の処理をビデオカメラ２００の制御が完了するまで繰返すようにしているが、これに限られるものではなく、ユーザ操作が入力された時点に対応する１回だけ、カメラ画像加工部１５０で加工したカメラ画像を生成するようにしても良い。この場合、Ｓ５０９の処理は必ずしも無くとも良い。
　（１．４　ハードウェア構成の具体例）
　以下、図６を参照しながら、上述してきた情報処理サーバ１００のハードウェア構成の一例を説明する。尚、前述の通り、情報処理サーバ１００の機能は複数の情報処理装置（例えば、サーバとクライアント）により実現することも可能である。
　図６に示すように、情報処理サーバ１００は、プロセッサ６０１、メモリ６０３、記憶装置６０５、入力Ｉ／Ｆ６０７、データＩ／Ｆ６０９、通信Ｉ／Ｆ６１１、及び表示装置６１３を含む。
　プロセッサ６０１は、メモリ６０３に記憶されているプログラムを実行することにより、情報処理サーバ１００における様々な処理を制御する。例えば、図１で説明した画像取得部１３０、カメラ移動量取得部１４０、カメラ画像加工部１５０、表示制御部１６０、入力制御部１７０、カメラ制御量算出部１８０、及びカメラ制御部１９０に係る処理は、メモリ６０３に記憶された上で、主にプロセッサ６０１上で動作するプログラムとして実現可能である。
　メモリ６０３は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ６０３は、プロセッサ６０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ６０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
　記憶装置６０５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体を含む。記憶装置６０５は、オペレーティングシステムや、画像取得部１３０、カメラ移動量取得部１４０、カメラ画像加工部１５０、表示制御部１６０、入力制御部１７０、カメラ制御量算出部１８０、及びカメラ制御部１９０を実現するための各種プログラムや、その他必要となる各種データ等を記憶する。記憶装置６０５に記憶されているプログラムやデータは、必要に応じてメモリ６０３にロードされることにより、プロセッサ６０１から参照される。
　入力Ｉ／Ｆ６０７は、ユーザからの入力を受け付けるためのデバイスである。図１で説明した入力装置３２０は、図１に説明したようにクライアント端末３００に持たせずとも、情報処理サーバ１００が内蔵する入力Ｉ／Ｆとして実現しても良い。入力Ｉ／Ｆ６０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等のインタフェースを介して情報処理サーバ１００に接続されても良い。
　データＩ／Ｆ６０９は、情報処理サーバ１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ６０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置などがある。データＩ／Ｆ６０９は、情報処理サーバ１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ６０９は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００へと接続される。
　通信Ｉ／Ｆ６１１は、情報処理サーバ１００の外部の装置、例えばビデオカメラ２００やクライアント端末３００との間で有線又は無線によりデータ通信するためのデバイスである。図１に示した通信Ｉ／Ｆ部１１０や通信Ｉ／Ｆ部１２０は、通信Ｉ／Ｆ６１１に対応する。尚、通信Ｉ／Ｆ６１１は情報処理サーバ１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ６１１は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００に接続される。
　表示装置６１３は、各種情報を表示するためのデバイスであり、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。図１で説明した表示装置３１０は、図１で説明したようにクライアント端末３００に持たせずとも、情報処理サーバ１００が内蔵する表示装置６１３として実現しても良い。また、表示装置６１３は、情報処理サーバ１００の外部に、例えばディスプレイケーブルなどを介して情報処理サーバ１００に接続されるようにしても良い。
　（１．６　本実施形態に係る効果）
　以上説明したように、本実施形態に係る情報処理サーバ１００は、ビデオカメラ２００で撮影した動画像を表示装置３１０上に表示している場合に、撮像装置の撮影方向や倍率を変化させるための操作入力を受けると、当該操作に応じた制御の完了後の画角（構図）に対応する、図２のような画面を作成して表示装置３１０上に表示させる。これにより、ビデオカメラ２００の動作が完了する前であっても、ユーザは最終的な画角を即座に把握することができるようになるため、利便性が向上する。
　（２　第２実施形態）
　以下、第２実施形態を、図７を参照しながら説明する。図７は、画像処理システムである画像処理装置７００の機能構成を示すブロック図である。図７に示すように、画像処理装置７００は、受信部７１０と、表示制御部７２０と、入力部７３０と、カメラ制御部７４０とを含む。
　受信部７１０は、図示しない撮像装置（カメラ）が撮影した画像を受信する。表示制御部７２０は、受信部７１０が受信した画像を、図示しない表示装置上に表示させる。入力部７３０は、上述の撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける。カメラ制御部７４０は、入力部７３０から入力された操作入力に応じて、撮像装置の撮影方向又は倍率の少なくとも一方を変化させる。
　更に、表示制御部７２０は、入力部７３０で操作入力を受けた後、撮像装置撮影方向又は倍率の変更が完了するまでの間、撮像装置が撮影した画像の一部から作成した、操作入力に応じた撮影方向又は倍率に対応する構図の画像を、表示装置に表示させる。
　このように実装することで、本実施形態に係る画像処理装置７００は、撮像装置を制御するための操作入力時の利便性を向上させることができる。
　（３　付記事項）
　尚、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
　尚、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
　（付記１）
　撮像装置が撮影した画像を受信する受信手段と、撮像装置から受信した画像を表示装置に表示させる表示制御手段と、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける入力手段と、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるカメラ制御手段とを備え、前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させる、画像処理システム。
　（付記２）
　前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間に受信する状態情報に応じて、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を生成する、付記１記載の画像処理システム。
　（付記３）
　前記操作入力に応じた撮影方向又は倍率に対応する構図の画像は動画像である、付記２記載の画像処理システム。
　（付記４）
　前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記操作入力時に前記撮像装置が撮影した画像の一部から作成した画像を前記表示装置に表示させる、付記１又は付記２記載の画像処理システム。
　（付記５）
　前記表示制御手段は、前記撮像装置による撮影方向又は倍率の変更の完了後、前記撮像装置が撮影したリアルタイムの画像を前記表示装置に表示させる、付記１乃至付記４のいずれか１項記載の画像処理システム。
　（付記６）
　前記入力手段は、操作パネルへのピンチイン又はピンチアウト操作を、前記操作入力として受ける、付記１乃至付記５のいずれか１項記載の画像処理システム。
　（付記７）
　撮像装置が撮影した画像を受信するステップと、撮像装置から受信した画像を表示装置に表示させるステップと、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受けるステップと、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるステップと、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させるステップとを画像処理システムが行う、画像処理方法。
　（付記８）
　前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間に受信する状態情報に応じて、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を生成する、付記７記載の画像処理方法。
　（付記９）
　前記操作入力に応じた撮影方向又は倍率に対応する構図の画像は動画像である、付記８記載の画像処理方法。
　（付記１０）
　前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記操作入力時に前記撮像装置が撮影した画像の一部から作成した画像を前記表示装置に表示させる、付記７又は付記８記載の画像処理方法。
　（付記１１）
　前記撮像装置による撮影方向又は倍率の変更の完了後、前記撮像装置が撮影したリアルタイムの画像を前記表示装置に表示させる、付記７乃至付記１０のいずれか１項記載の画像処理方法。
　（付記１２）
　操作パネルへのピンチイン又はピンチアウト操作を、前記操作入力として受ける、付記７乃至付記１１のいずれか１項記載の画像処理システム。
　（付記１３）
　撮像装置が撮影した画像を受信する処理と、撮像装置から受信した画像を表示装置に表示させる処理と、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける処理と、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させる処理と、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させる処理とをコンピュータに実行させるプログラム。
　（付記１４）
　前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間に受信する状態情報に応じて、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を生成する処理を実行させる、付記１３記載のプログラム。
　（付記１５）
　前記操作入力に応じた撮影方向又は倍率に対応する構図の画像は動画像である、付記１４記載のプログラム。
　（付記１６）
　前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記操作入力時に前記撮像装置が撮影した画像の一部から作成した画像を前記表示装置に表示させる処理を実行させる、付記１３又は付記１４記載のプログラム。
　（付記１７）
　前記撮像装置による撮影方向又は倍率の変更の完了後、前記撮像装置が撮影したリアルタイムの画像を前記表示装置に表示させる、処理を実行させる付記１３乃至付記１６のいずれか１項記載のプログラム。
　（付記１８）
　操作パネルへのピンチイン又はピンチアウト操作を、前記操作入力として受ける処理を実行させる、付記１３乃至付記１７のいずれか１項記載のプログラム。
　この出願は、２０１２年８月１５日に出願された日本出願特願２０１２－１８０２３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１・・・監視システム、１００・・・情報処理サーバ、１１０、１２０・・・通信Ｉ／Ｆ部、１３０・・・画像取得部、１４０・・・カメラ移動量取得部、１５０・・・カメラ画像加工部、１６０・・・表示制御部、１７０・・・入力制御部、１８０・・・カメラ制御量算出部、１９０・・・カメラ制御部、２００・・・ビデオカメラ、３００・・・クライアント端末、３１０・・・表示装置、３２０・・・入力装置、Ｐ・・・人物

Claims (8)

  1. 　撮像装置が撮影した画像を受信する受信手段と、
    　撮像装置から受信した画像を表示装置に表示させる表示制御手段と、
    　前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける入力手段と、
    　前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるカメラ制御手段とを備え、
    　前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させる、画像処理システム。
  2. 　前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間に受信する状態情報に応じて、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を生成する、
    請求項１記載の画像処理システム。
  3. 　前記操作入力に応じた撮影方向又は倍率に対応する構図の画像は動画像である、
    請求項２記載の画像処理システム。
  4. 　前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記操作入力時に前記撮像装置が撮影した画像の一部から作成した画像を前記表示装置に表示させる、
    請求項１又は請求項２記載の画像処理システム。
  5. 　前記表示制御手段は、前記撮像装置による撮影方向又は倍率の変更の完了後、前記撮像装置が撮影したリアルタイムの画像を前記表示装置に表示させる、
    請求項１乃至請求項４のいずれか１項記載の画像処理システム。
  6. 　前記入力手段は、操作パネルへのピンチイン又はピンチアウト操作を、前記操作入力として受ける、
    請求項１乃至請求項５のいずれか１項記載の画像処理システム。
  7. 　撮像装置が撮影した画像を受信するステップと、
    　撮像装置から受信した画像を表示装置に表示させるステップと、
    　前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受けるステップと、
    　前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるステップと、
    　前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させるステップと
    を画像処理システムが行う、画像処理方法。
  8. 　撮像装置が撮影した画像を受信する処理と、
    　撮像装置から受信した画像を表示装置に表示させる処理と、
    　前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける処理と、
    　前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させる処理と、
    　前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させる処理と
    をコンピュータに実行させるプログラム。
PCT/JP2013/070695 2012-08-15 2013-07-31 画像処理システム、画像処理方法、及びプログラム Ceased WO2014027567A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/419,363 US10070043B2 (en) 2012-08-15 2013-07-31 Image processing system, image processing method, and program
JP2014530512A JP6312046B2 (ja) 2012-08-15 2013-07-31 画像処理システム、画像処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012180230 2012-08-15
JP2012-180230 2012-08-15

Publications (1)

Publication Number Publication Date
WO2014027567A1 true WO2014027567A1 (ja) 2014-02-20

Family

ID=50685551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/070695 Ceased WO2014027567A1 (ja) 2012-08-15 2013-07-31 画像処理システム、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US10070043B2 (ja)
JP (1) JP6312046B2 (ja)
WO (1) WO2014027567A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469161A (zh) * 2014-12-22 2015-03-25 联想(北京)有限公司 图像处理方法以及电子设备
WO2016200741A1 (en) * 2015-06-07 2016-12-15 Apple Inc. Method and apparatus for finding and using video portions that are relevant to adjacent still images
JPWO2018142705A1 (ja) * 2017-02-02 2019-11-21 ソニー株式会社 情報処理装置、および情報処理方法
JP2021064398A (ja) * 2021-01-04 2021-04-22 日本電気株式会社 制御方法、プログラム、及びシステム
US11644968B2 (en) 2015-03-27 2023-05-09 Nec Corporation Mobile surveillance apparatus, program, and control method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963120B (zh) * 2019-02-26 2020-10-09 北京大视景科技有限公司 一种虚实融合场景中多ptz相机的联合控制系统及方法
JP6997123B2 (ja) * 2019-02-28 2022-02-03 ファナック株式会社 情報処理装置および情報処理方法
JP6978456B2 (ja) 2019-02-28 2021-12-08 ファナック株式会社 情報処理装置および情報処理方法
JP6978457B2 (ja) 2019-02-28 2021-12-08 ファナック株式会社 情報処理装置および情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166447A (ja) * 2005-12-16 2007-06-28 Casio Comput Co Ltd 撮像装置、ズーム表示方法、およびプログラム
JP2011166497A (ja) * 2010-02-10 2011-08-25 Olympus Corp 撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3431953B2 (ja) 1993-07-27 2003-07-28 キヤノン株式会社 カメラ制御装置及び方法
US7106383B2 (en) * 2003-06-09 2006-09-12 Matsushita Electric Industrial Co., Ltd. Method, system, and apparatus for configuring a signal processing device for use with a display device
JP2009284452A (ja) * 2008-05-23 2009-12-03 Advas Co Ltd ハイブリッドビデオカメラ撮像装置及びシステム
US20100134641A1 (en) * 2008-12-01 2010-06-03 Samsung Electronics Co., Ltd. Image capturing device for high-resolution images and extended field-of-view images
JP2010147925A (ja) * 2008-12-19 2010-07-01 Sanyo Electric Co Ltd 撮像装置
JP2011205345A (ja) * 2010-03-25 2011-10-13 Nec Casio Mobile Communications Ltd 撮像装置及びプログラム
US9615062B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Multi-resolution image display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166447A (ja) * 2005-12-16 2007-06-28 Casio Comput Co Ltd 撮像装置、ズーム表示方法、およびプログラム
JP2011166497A (ja) * 2010-02-10 2011-08-25 Olympus Corp 撮像装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469161A (zh) * 2014-12-22 2015-03-25 联想(北京)有限公司 图像处理方法以及电子设备
CN104469161B (zh) * 2014-12-22 2017-11-03 联想(北京)有限公司 图像处理方法以及电子设备
US11644968B2 (en) 2015-03-27 2023-05-09 Nec Corporation Mobile surveillance apparatus, program, and control method
WO2016200741A1 (en) * 2015-06-07 2016-12-15 Apple Inc. Method and apparatus for finding and using video portions that are relevant to adjacent still images
US10170157B2 (en) 2015-06-07 2019-01-01 Apple Inc. Method and apparatus for finding and using video portions that are relevant to adjacent still images
US10706892B2 (en) 2015-06-07 2020-07-07 Apple Inc. Method and apparatus for finding and using video portions that are relevant to adjacent still images
JPWO2018142705A1 (ja) * 2017-02-02 2019-11-21 ソニー株式会社 情報処理装置、および情報処理方法
JP7215173B2 (ja) 2017-02-02 2023-01-31 ソニーグループ株式会社 情報処理装置、および情報処理方法
JP2021064398A (ja) * 2021-01-04 2021-04-22 日本電気株式会社 制御方法、プログラム、及びシステム
JP7120337B2 (ja) 2021-01-04 2022-08-17 日本電気株式会社 制御方法、プログラム、及びシステム

Also Published As

Publication number Publication date
US20150229835A1 (en) 2015-08-13
JPWO2014027567A1 (ja) 2016-07-25
JP6312046B2 (ja) 2018-04-18
US10070043B2 (en) 2018-09-04

Similar Documents

Publication Publication Date Title
JP6312046B2 (ja) 画像処理システム、画像処理方法、及びプログラム
CN106454065B (zh) 信息处理装置及其控制方法
KR101739318B1 (ko) 표시 제어장치, 촬상 시스템, 표시 제어방법, 및 기록 매체
US11003351B2 (en) Display processing method and information device
US11240446B2 (en) Imaging device, control apparatus, imaging method, and storage medium
US11184549B2 (en) Image-capturing system, information processing apparatus, control method of information processing apparatus, and storage medium
WO2013168387A1 (ja) 表示映像形成装置及び表示映像形成方法
US9906710B2 (en) Camera pan-tilt-zoom (PTZ) control apparatus
JP2016096481A (ja) 制御装置、撮像システム、制御方法、及び、プログラム
JP2018201065A (ja) 表示制御装置、表示制御方法及びプログラム
JP6980450B2 (ja) 制御装置、制御方法、及びプログラム
CN105100591B (zh) Ip摄像机的精确远程ptz控制的系统和方法
JP2016096482A (ja) 画像処理装置、画像処理方法、及びプログラム
CN104823441B (zh) 用于显示可控制的摄像机的摄像机图像的客户端装置、方法以及具有所述客户端装置的监视系统
JP2020202503A (ja) 撮像装置、コンピュータプログラムおよび記憶媒体
JP6118587B2 (ja) 表示装置、表示装置を有する監視システム、および表示制御プログラム
JP6001140B2 (ja) 情報処理装置、情報処理方法
JP6456217B2 (ja) 撮像制御装置及びその制御方法
JP6362090B2 (ja) ネットワークカメラのプリセット位置の表示方法
JP2017062350A (ja) 表示制御装置及びその制御方法、表示装置、コンピュータプログラム
JP2019075739A (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP6702675B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2015228549A (ja) カメラ制御を行うための情報処理装置およびその方法、プログラム、記憶媒体
JP2018164220A (ja) 撮影制御装置及びプログラム
JP2025000416A (ja) 情報処理装置、制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13879637

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014530512

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14419363

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13879637

Country of ref document: EP

Kind code of ref document: A1