[go: up one dir, main page]

WO2020095714A1 - 情報処理装置および方法、並びに、プログラム - Google Patents

情報処理装置および方法、並びに、プログラム Download PDF

Info

Publication number
WO2020095714A1
WO2020095714A1 PCT/JP2019/041857 JP2019041857W WO2020095714A1 WO 2020095714 A1 WO2020095714 A1 WO 2020095714A1 JP 2019041857 W JP2019041857 W JP 2019041857W WO 2020095714 A1 WO2020095714 A1 WO 2020095714A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication
information
state
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/041857
Other languages
English (en)
French (fr)
Inventor
康次 佐藤
龍正 小池
浩司 古澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201980072725.2A priority Critical patent/CN113170023A/zh
Priority to US17/290,513 priority patent/US11553158B2/en
Priority to JP2020555955A priority patent/JP7415940B2/ja
Priority to DE112019005601.8T priority patent/DE112019005601T5/de
Publication of WO2020095714A1 publication Critical patent/WO2020095714A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/10Aspects of automatic or semi-automatic exchanges related to the purpose or context of the telephonic communication
    • H04M2203/1016Telecontrol
    • H04M2203/1025Telecontrol of avatars

Definitions

  • the present disclosure relates to an information processing device and method, and a program, and particularly relates to an information processing device and method, and a program that enable the state of communication between multiple points to be more easily grasped.
  • the present disclosure has been made in view of such a situation, and makes it possible to more easily understand the state of communication between multiple points.
  • An information processing apparatus includes a receiving unit that receives information regarding communication performed between communication devices, and a first communication device and another communication device based on the information received by the receiving unit.
  • Information including a generation unit that generates an image indicating a communication state between the communication device and a plurality of other communication devices, and a display unit that displays the image generated by the generation unit. It is a processing device.
  • An information processing method is to receive information regarding communication performed between communication devices, and based on the received information, a communication state between a first communication device and another communication device. And an image showing a communication state between a plurality of other communication devices, and displaying the generated image.
  • a program causes a computer to perform a communication between a first communication device and another communication device based on a reception unit that receives information related to communication performed between communication devices, and the information received by the reception unit.
  • a generation unit that generates an image indicating a communication state with the device and a communication state between a plurality of other communication devices, and a display unit that displays the image generated by the generation unit It is a program.
  • information regarding communication performed between communication devices is received, and based on the received information, the first communication device and another communication device An image indicating a communication state between the other communication devices and a communication state between the plurality of other communication devices is generated, and the generated image is displayed.
  • terminal devices for example, communication devices
  • a certain terminal device for example, first communication device
  • another terminal device for example, other communication
  • An image indicating the state of communication with a device) and the state of communication with a plurality of other terminal devices is generated, and the generated image is displayed.
  • a receiving unit that receives information regarding communication performed between terminal devices (for example, communication devices), and a certain terminal device (for example, a first communication device ) And another terminal device (for example, another communication device), and a generation unit that generates an image showing a communication state between a plurality of other terminal devices, and a generation unit that generates the image.
  • a display unit for displaying the displayed image.
  • the user can grasp the state of communication between the terminal devices from the displayed image. That is, it is possible to more easily grasp the entire communication state between multiple points.
  • Such an image may be displayed on the terminal device (for example, the first communication device) or may be displayed on a device other than the terminal device. That is, the above-described information processing device may be a certain terminal device (for example, the first communication device) or may be a device other than the terminal device.
  • the above-mentioned other terminal device may include a second terminal device (for example, second communication device) and a third terminal device (third communication device).
  • the number of other terminal devices is arbitrary as long as it is 2 or more.
  • FIG. 1 shows an example of the appearance of the terminal device as described above.
  • the terminal device 100 shown in FIG. 1 is one mode of an information processing device (or a communication device) to which the present technology is applied, and is used for communication in a communication system capable of communicating between multiple points (three or more terminal devices). It is a terminal device operated by a user.
  • the housing 101 of the terminal device 100 has a table-like shape, and its upper surface 101A is used as an input interface.
  • An arm 102 is provided on the upper part of the housing 101, and the arm 102 is provided with an imaging unit 111, an imaging unit 112, and a projection unit 122. Further, a display unit 121 is provided on the front surface of the housing 101. The user 131 operates this terminal device 100 to communicate with the users of other terminal devices 100.
  • the image capturing unit 111 captures an image around the user 131 (especially face) who operates the terminal device 100.
  • the obtained captured image (captured image including the user 131) is transmitted to another terminal device 100. Since this communication system can communicate between multiple points (three or more terminal devices 100), the captured image generated by this terminal device 100 can be supplied to a plurality of points (two or more terminal devices 100).
  • the display unit 121 displays an image showing the state of other users. For example, a captured image including the user of the terminal device 100 captured by another terminal device 100 is supplied to the terminal device 100 and displayed on the display unit 121. Since this communication system is capable of communicating between multiple points (three or more terminal devices 100), the terminal device 100 has captured images generated by each of the plurality of other terminal devices 100 (each user ( A captured image including other users) may be supplied. That is, the display unit 121 can display the captured image generated in each of the plurality of other terminal devices 100.
  • the housing 101 is also provided with a microphone and a speaker, and voice information can be exchanged between the terminal devices 100 and output as in the case of the above-described image.
  • voice information can be exchanged between the terminal devices 100 and output as in the case of the above-described image.
  • the housing 101 is also provided with a microphone and a speaker, and voice information can be exchanged between the terminal devices 100 and output as in the case of the above-described image.
  • voice information can be exchanged between the terminal devices 100 and output as in the case of the above-described image.
  • voice information can be exchanged between the terminal devices 100 and output as in the case of the above-described image.
  • information other than images and sounds can be exchanged between the terminal devices 100.
  • various content data such as text data, table data, presentation data, moving images, still images, slide shows, etc. can be exchanged between the terminal devices 100.
  • the data exchanged between the terminal devices 100 in this way (data supplied between the plurality of terminal devices 100) can be displayed on the display unit 121, and can be used for communication as a material or the like.
  • the projection unit 122 projects an image on the upper surface 101A of the housing 101.
  • the projection unit 122 projects an image of an input interface such as a keyboard or GUI (Graphical User Interface).
  • the image capturing unit 112 captures an area 101B of the upper surface 101A, which is indicated by a dotted frame in the figure and on which such an image is projected. From this captured image, the operation of the user 131 on the projected image of the input interface is detected, and information and instructions corresponding to the detected operation are received as input. That is, the area 101B on the upper surface 101A functions as a virtual input interface.
  • the image projected by the projection unit 122 is arbitrary and may be other than the image of the input interface. Of course, the image of the input interface and other images may be mixed. For example, information transmitted from another terminal device 100 may be projected as an image on the area 101B by the projection unit 122.
  • the display unit 121 displays an image showing a communication state between the terminal devices 100 together with a captured image (image of another user) transmitted from the other terminal device 100 that is a communication partner. Is also displayed. That is, the display unit 121 displays the state of communication between the terminal device 100 (for example, the first communication device) and another terminal device 100 (for example, the second communication device or the third communication device), An image showing a state of communication (also called a sense of connection) between the plurality of other terminal devices 100 (for example, the second communication device and the third communication device) is displayed.
  • the user can grasp the state of communication between the terminal devices from the displayed image. That is, it is possible to more easily grasp the entire communication state between multiple points.
  • the image connects the first position indicating the first communication device which is the terminal device 100 and the second position indicating the second communication device which is one of the other terminal devices 100.
  • the first content and the second content that connects the third position and the second position indicating the third communication device, which is one of the other terminal devices 100, may be included.
  • the user can more easily understand the state of communication between this terminal device 100 and another terminal device 100 from the first content included in the displayed image. .. Further, the user can more easily understand the state of communication between the other terminal devices 100 from the second content included in the displayed image. That is, it is possible to more easily grasp the entire communication state between multiple points.
  • first content and second content may be any content.
  • it may be a "road" image. That is, the first content may be an image of a road connecting the first point and the second point, and the second content may connect the second point and the third point. It may be a road image.
  • the locations of the first to third points in the displayed image are arbitrary.
  • the first point may be the bottom edge of the image.
  • the first to third points may be positions of contents (for example, an image of “house”) showing the respective communication devices.
  • the state of communication is information indicating ease of communication, and is information that can be expressed using, for example, a parameter indicating a communication environment or a parameter indicating a connection status.
  • the parameter indicating the communication environment includes, for example, parameters relating to a communication path (network, communication device, etc.) such as communication speed and bandwidth.
  • the parameter indicating the connection status includes, for example, a session state in which communication for communication between the terminal devices 100 can be performed, communication availability indicating whether data can be exchanged, and a rate. It includes parameters relating to data transfer, such as the stability of communication indicating the fluctuation of the data, the delay amount indicating the data transmission time, and the like.
  • the parameter indicating the communication state may be any parameter that can express the ease of communication, and is not limited to the above example.
  • ⁇ Presentation of session status> For example, as a sense of connection, the state of a session, which is a state in which communication for communicating between communication devices can be performed, may be presented.
  • FIG. 2 shows a state in which the image 150 is displayed on the display unit 121.
  • This image 150 is an image that three-dimensionally expresses multiple points of communication in the virtual space and further expresses a feeling of connection between the multiple points in the virtual space.
  • the house 151 and the house 154 are three-dimensionally arranged in the virtual space.
  • the house 151 indicates the location of the user 153 who is the communication partner (communication partner) (that is, the terminal device 100 of the user 153). That is, for example, when the terminal device 100 of the user 153 is used as the second communication device, the house 151 indicates the second point.
  • the house 154 indicates a point of the user 156 (that is, the terminal device 100 of the user 156) that is another communication partner (other partner of communication). That is, for example, when the terminal device 100 of the user 156 is the third communication device, the house 154 indicates the third point.
  • a communication destination image 152 that is a captured image of the user 153 is displayed.
  • the communication destination image 155 is a communication destination image 155 that is a captured image of the user 156.
  • the state where the session between the points is established is shown as a road in the virtual space.
  • the road 157 that connects (connects) the lower end (first position) of the image 150 and the house 151 is the first content that connects the first position and the second position, and this terminal device 100
  • a session between the terminal device 100 of the user 153 and the terminal device 100 is established.
  • a path 158 connecting the lower end of the image 150 and the house 154 shows a state in which a session between this terminal device and the terminal device 100 of the user 156 is established.
  • the road 159 connecting the house 151 and the house 154 is the second content that connects the third position and the second position, and is the terminal device 100 of the user 153 and the terminal device 100 of the user 156. 1 shows a state in which a session between them has been established (a state in which communication for communicating between communication devices can be performed).
  • the road in the virtual space corresponding to the session is deleted (not displayed). For example, when the session between the terminal device 100 and the terminal device 100 of the user 153 is cut off, the road 157 is not displayed. Further, when the session between the terminal device 100 and the terminal device 100 of the user 156 is cut off, the road 158 is not displayed. Furthermore, when the session between the terminal device 100 of the user 153 and the terminal device 100 of the user 156 is broken, the road 159 is not displayed.
  • the state of the session (whether or not communication for communication between communication devices can be performed) is shown depending on the presence / absence of a road in the virtual space. Therefore, it is possible to more easily understand the state of the session between the terminal devices 100 that communicate with each other. That is, it is possible to more easily grasp the entire state of the session between multiple points. Thereby, for example, when there is a state where a session is not established, it is possible to more easily estimate the device that causes the session.
  • the cause of session disconnection is the terminal device 100 of the user 153 (the terminal device corresponding to the house 151). Further, if the road 158 and the road 159 are not displayed, it can be estimated that the cause of disconnection (session unestablished) of these is in the terminal device 100 (the terminal device corresponding to the house 154) of the user 156. If the road 157 and the road 158 are not displayed, it can be estimated that the cause of session disconnection (session unestablished) is in the terminal device 100. Further, if the roads 157 to 159 are not displayed, it can be estimated that the cause of these session disconnections (session unestablished) is in the server.
  • the communication state between the communication partner terminal devices 100 cannot be grasped. It is difficult to identify the cause of session disconnection (session unestablished) as described above. Further, even when only the communication state between the communication partner terminal devices 100 is displayed on the display unit 121, the communication state between this terminal device 100 and the communication partner terminal device 100 cannot be grasped. Therefore, it is difficult to identify the cause of session disconnection (session unestablished) as described above.
  • both the communication state between the terminal device 100 and the communication partner terminal device 100 and the communication state between the communication partner terminal devices 100 are shown.
  • the device that causes disconnection (session unestablished) can be more easily estimated.
  • the information on the session state as described above is supplied to the terminal device 100 for communication and presented to the communicating user 131, so that the user 131 can immediately recognize the change in the session state in the communication. Can be dealt with.
  • the user 131 when the session is disconnected due to the terminal device 100 of a certain communication partner, if the terminal device 100 can be more easily estimated to be the cause of the session disconnection as described above, the user 131 communicates with the user. , And can concentrate on communication with other communication partners until the session is resumed (for example, unnecessary call or unnecessary recovery work can be omitted). Further, for example, when the session is disconnected due to this terminal device 100, if it can be estimated that this terminal device 100 is the cause of the session disconnection as described above, the user 131 disconnects the session earlier. It is possible to concentrate on the work for re-establishment (for example, unnecessary calls etc. can be omitted).
  • the stability of communication indicating the fluctuation of the rate may be presented.
  • the stability of communication may be indicated as the thickness of the road (that is, the width of the content).
  • the path corresponding to the communication may be expressed in a narrower manner in the image 150. .. That is, for example, the higher the stability of communication (the smaller the fluctuation of the rate), the thicker the road corresponding to the communication is, and the lower the stability of the communication (the larger the fluctuation of the rate), the more the communication becomes.
  • the corresponding path may be expressed in detail.
  • the thickness of the road 157 may indicate the stability of communication between the terminal device 100 and the terminal device 100 of the user 153.
  • the thickness of the road 158 may indicate the stability of communication between the terminal device 100 and the terminal device 100 of the user 156.
  • the thickness of the road 159 may indicate the stability of communication between the terminal device 100 of the user 153 and the terminal device 100 of the user 156.
  • the user 131 when the stability of communication with the terminal device 100 of a certain communication partner is low (or deteriorated), the user 131 reduces the amount of information transmitted / received by the communication (for example, reduces conversation), and transmits / receives. The information can be recorded more frequently.
  • the stability of communication between the terminal devices 100 of the communication partners is low (or deteriorated)
  • the user 131 can communicate with both communication partners so as to assist the communication between the communication partners. (For example, relaying a conversation).
  • a state in which communication is cut off (a state in which all data cannot be exchanged) may be indicated as a road cut or an obstacle placed on the road as shown in FIG.
  • the rock 161 in the image 150, the rock 161 is placed on the road 159 in the virtual space. The rock 161 blocks the road 159, indicating that communication in the session indicated by the road 159 is cut off.
  • the information regarding whether or not the communication is impossible as described above is supplied to the terminal device 100 that performs communication and is presented to the user 131 who communicates, so that the user 131 communicates with It is possible to immediately deal with (change of) whether or not the communication is impossible.
  • the user 131 can establish communication with both communication partners so as to assist the communication between the communication partners. You can (for example, relay a conversation).
  • the amount of communication delay indicating the data transmission time may be presented.
  • the communication delay amount may be indicated as the length of the road (the length of the road, that is, the length of the content) as shown in FIG.
  • the road 158 in the virtual space is curved in the image 150, and its length is expressed longer than the other roads (road 157 and road 159).
  • the communication delay amount (data transmission time) between the terminal device 100 and the terminal device 100 of the user 156 is larger than the communication delay amount (data transmission time) between the other terminal devices 100. It shows that it is big. That is, in the image 150, the delay amount (data transmission time) is shown as the length of the road (moving time for moving along the road).
  • the above-described information regarding the communication delay amount is supplied to the communication terminal device 100 and presented to the communicating user 131, so that the user 131 can communicate the communication delay amount (of Change) can be dealt with immediately.
  • the user 131 when the delay amount of the communication of the user 156 with the terminal device 100 increases, the user 131 also reduces the communication speed with the user 153 so as to match the delay amount (for example, conversation. It is possible to make the communication of the entire system proceed smoothly by reducing the frequency of.
  • the image showing the feeling of connection is arbitrary and may be other than the above-mentioned example (road).
  • the sense of connection may be indicated by the movement of the moving body. That is, in the image 150, the sense of connection between the terminal device 100 and the other terminal device 100 is a pattern indicating the lower end (first point) of the image 150 and the other terminal device 100 (for example, the house 151 (first 2) and the house 154 (third point), etc.), and the feeling of connection between a plurality of other terminal devices 100 is represented by the patterns indicating the other terminal devices 100. It may be shown as a moving object moving between (for example, between the second point and the third point).
  • the feeling of connection of each communication is shown by the movement (traffing) of birds.
  • the bird 171 moving like a dotted arrow 171A indicates a feeling of connection between the terminal device 100 and the terminal device 100 of the user 153.
  • the bird 172 moving like a dotted arrow 172A indicates a feeling of connection between the terminal device 100 and the terminal device 100 of the user 156.
  • a bird 173 moving as a dotted arrow 173A indicates a feeling of connection between the terminal device 100 of the user 153 and the terminal device 100 of the user 156.
  • the state of the session (whether the session is established or not) is a state in which communication for communicating between the communication devices can be performed by displaying or not displaying such a bird as a moving body. May be indicated.
  • a state in which a session between the terminal device 100 and another terminal device 100 is established indicates a pattern indicating the lower end of the image 150 and the other terminal device 100 (for example, a house 151 or A state in which a session is established between a plurality of other terminal devices 100, which is shown as a moving object with respect to the other terminal device 100 (for example, house 151 or house 154). Etc.) may be shown as moving bodies moving between each other.
  • the state of the session between the terminal devices 100 can be represented as in the case of the above-mentioned road. Therefore, it is possible to more easily grasp the entire state of the session between multiple points.
  • the communication stability indicating the rate fluctuation, the communication impossible state in which all the data cannot be exchanged, and the communication delay amount indicating the data transmission time corresponds to each session.
  • the degree of communication of the bird may be represented by the degree of meandering of the bird.
  • the bird may move toward a place other than the house of the communication partner to indicate that the communication is interrupted.
  • the amount of communication delay may be represented by the moving speed of the bird.
  • the size, shape, color, pattern, etc. of the bird may indicate the stability of communication, the incommunicable state of the session, the delay amount of communication, and the like.
  • the direction of movement of the bird may be the opposite of the example of FIG. 5 (the opposite direction of each of the dotted arrow 171A to the dotted arrow 173A), or may be reciprocating between points.
  • the moving body is arbitrary and is not limited to the above-mentioned bird example. For example, it may be a shining ball-shaped animal body.
  • a feeling of connection may be indicated by symbols. That is, in the image 150, the connection feeling of each communication may be shown by using the symbol of the terminal device 100 that performs the communication. By doing so, as in the case of the road described above, the entire feeling of connection between multiple points can be more easily grasped.
  • the triangular symbol 181 is displayed on the communication destination image 152 of the house 151.
  • the symbol 181 is a design (design) for identifying the house 151 (that is, the terminal device 100 of the user 153).
  • a square symbol 182 is displayed on the communication destination image 155 of the house 154.
  • the symbol 182 is a design (design) for identifying the house 154 (that is, the terminal device 100 of the user 156).
  • a circular symbol is also assigned to this terminal device 100.
  • a symbol display area 191 for the terminal device 100 is provided near the lower end of the image 150.
  • a symbol display area 192 for the terminal device 100 of the user 153 is provided below the house 151. Further, below the house 154, a symbol display area 193 for the terminal device 100 of the user 156 is provided.
  • the state of a session between this terminal device 100 and another terminal device 100 (whether a session is established, etc.) and the state of a session between a plurality of other terminal devices 100 are You may make it shown using the symbol which identifies each terminal device 100. By doing so, the state of the session between the respective terminal devices 100 can be represented as in the case of the above-mentioned road. Therefore, it is possible to more easily grasp the entire state of the session between multiple points.
  • the state of the session (whether the session is established or not) may be indicated.
  • At least one of the communication stability indicating the fluctuation of the rate, the incommunicable state in which all the data cannot be transmitted and received, and the communication delay amount indicating the data transmission time is set in each session. It may be made to be indicated by (the display state of) the corresponding symbol as described above. For example, symbol display, lighting, extinction, blinking, blinking pattern, color, brightness, density, or size of illuminated (blinking) symbols, combinations thereof, or combinations with other display methods, etc. The above information may be indicated by.
  • the display unit 121 shows a communication state between the terminal device 100 and another terminal device 100 and a communication state between a plurality of other terminal devices 100. An image may be displayed.
  • the communication means communication between users, which is performed by exchanging information using the communication between the terminal devices 100 described above.
  • the information transmitted / received includes, for example, a captured image of the user, a voice of the user, shared data, and the like.
  • the communication does not simply indicate the exchange of data, but indicates the communication using the exchanged data. That is, for example, in the case of a TV conference system, communication indicates the content of a conference held using that system.
  • the communication state indicates whether or not communication is being performed.
  • the other party of the communication performed using the communication between the terminal devices 100 is specified (or estimated), and the state of the communication performed between the terminal devices 100 is displayed as an image.
  • the state of communication between this terminal device 100 and another terminal device 100 and the state of communication between a plurality of other terminal devices 100 are displayed.
  • the image 150 of the example in FIG. 7 is between the terminal device 100 and the terminal device 100 of the user 153, between the terminal device 100 and the terminal device 100 of the user 156, and between the terminal device 100 of the user 153 and the user 156.
  • the state of each communication with the terminal device 100 can be displayed.
  • such a display shows the terminal device 100 that communicates.
  • the communication status may be indicated by the moving body, for example.
  • the person 201 is walking (moving) from the house 154 to the house 151 on the road 159. This person 201 indicates that communication is taking place. Further, the position or movement (source and destination) of this person 201 indicates that the users who are in communication are the user 156 and the user 153. Note that, more specifically, the direction of the communication is from the user 156 to the user 153 due to the movement of the person 201 (source and destination) (for example, the user 156 calls the user 153). Etc.) have been shown.
  • the method of identifying (estimating) the communication partner is arbitrary.
  • the captured image of the user is analyzed to identify which part of the display unit 121 the user is facing, and the part of the house (communication destination image) displayed in that part (the tip of the face of the user) is displayed.
  • the user may be specified (estimated) as a communication partner.
  • eye tracking it is specified which part of the display unit 121 the user is looking at, and the user of the house (communication destination image) displayed in that part (the tip of the user's line of sight) is used as a communication partner. You may specify (estimate).
  • the directional microphone may be used to identify the user's utterance direction, and the user of the house (communication destination image) displayed ahead of the utterance direction may be identified (estimated) as the communication partner.
  • the above-described display indicates the terminal device 100 that communicates. Therefore, it is possible to more easily understand which terminal device 100 (the user thereof) is in communication. That is, it is possible to more easily grasp the entire communication state between multiple points.
  • the above-described information regarding the communication state is supplied to the terminal device 100 that performs communication and is presented to the communicating user 131, so that the user 131 immediately responds to the change in the communication state. can do.
  • the user 131 can easily understand whether or not the communication is for himself / herself, so that the response can be omitted when calling to someone other than himself / herself. Further, for example, in order not to disturb communication performed between the communication partners, it is possible to refrain from calling to the communication partners (user 153 and user 156 in FIG. 7) who are in communication with each other.
  • the user 131 can more easily determine which communication partner has what information (without requiring complicated work such as switching images). You can figure it out. For example, when the communication state between the communication partners cannot be grasped, which communication partner obtains what kind of information cannot be grasped. Therefore, when the user 131 makes an inquiry from the communication partner. In addition, it may be difficult to understand what kind of information the inquiry is based on, and smooth communication may not be achieved.
  • the communication partner can ask the user 131 a question based on the communication performed by the communication partner. In such a case, the user 131 can easily understand what information the inquiry is based on, and thus can respond more appropriately.
  • the communication state by expressing the communication state together with the communication state (for example, like a person 201 walking on the road 159), what kind of situation is present? Even the communication performed in (communication state) can be more easily grasped (without requiring complicated operations such as switching images). For example, it is possible to more easily understand whether or not the communication is smoothly performed depending on the communication state.
  • the method of expressing the communication state is arbitrary, and it may be expressed using a moving body other than the person 201 (for example, a bird or the like as in the example of FIG. 5).
  • a moving body other than the person 201 (for example, a bird or the like as in the example of FIG. 5).
  • the state of communication may be expressed by the color, brightness, density, etc. of a road or symbol.
  • the method of expressing the communication state which is expressed together with the communication state, is arbitrary and may be other than the above-mentioned way.
  • the state of communication may be expressed using a moving object or a symbol.
  • the display unit 121 may display an image showing the states of the users (for example, the user 131, the user 153, and the user 156) of each terminal device 100.
  • the state of the user is, for example, a volume, an understanding level of the contents of communication, a request for information transmission, and a request for ending the session, which is a state in which communication for communication between communication devices can be performed.
  • a session end request may be included.
  • an image showing at least one of the volume, the degree of understanding of the content of communication, the information transmission request, and the session end request may be displayed on the display unit 121.
  • the state of the user may be expressed by using an avatar (a virtual character image that serves as the user's alter ego). For example, for each user, an image including an avatar indicating at least one of the volume, the degree of understanding of the communication content, the information transmission request, and the session end request may be displayed on the display unit 121.
  • an avatar a virtual character image that serves as the user's alter ego.
  • an image including an avatar indicating at least one of the volume, the degree of understanding of the communication content, the information transmission request, and the session end request may be displayed on the display unit 121.
  • the avatar 211-1 of the user 153 is displayed in the communication destination image 152.
  • the avatar 211-1 faces the front (toward the user 131) and closes its ears with its hands.
  • a gesture of blocking the ears with hands indicates that the volume is too loud.
  • the direction of the avatar indicates the communication partner corresponding to the state. That is, the avatar 211-1 indicates that the volume of the voice transmitted from the terminal device 100 is too high. Since such information is presented to the user 131 of this terminal device 100 who is a party of the communication, the user 131 can immediately take a response such as reducing the voice.
  • the avatar 211-2 of the user 153 is also displayed.
  • the avatar 211-2 faces the right side of the image (toward the user 156) and closes its ear with a hand. That is, the avatar 211-2 indicates that the volume of the voice transmitted from the terminal device 100 of the user 156 is too loud. Since such information is presented to the user 131 of this terminal device 100 who is not the party of the communication (that is, a third party), the user 131 requests the user 156 to turn down the voice, etc. You can take immediate action.
  • the avatar 211-1 and the avatar 211-2 are referred to as the avatar 211 unless it is necessary to distinguish them from each other.
  • the avatar puts his hand behind his ear and expresses it with a gesture that makes his ears clear. Also in this case, the direction indicates the other party of the communication.
  • the volume and volume of the communication may be expressed by the gesture and direction of the avatar.
  • the gesture of expressing the volume is arbitrary and is not limited to the above example.
  • the volume of the sound volume may be expressed by the expression of the avatar. The expression using such an avatar makes it possible to more easily (more intuitively) grasp the volume level.
  • Gestures and facial expressions that express the user's understanding of the communication content are arbitrary. For example, when the user's understanding of the content of communication is low, the avatar of the user may tilt his / her head, behave like thinking, frown, or display a "?” Mark. .. Further, when the user's communication content is highly understood, the user's avatar may open his eyes, clap his hands, or be happy, or may display a “!” Mark. Also in this case, the communication partner may be represented by the direction of the avatar.
  • the user 131 Since such information is presented to the user 131 of this terminal device 100, when the user 131 is a party to the communication, the user 131 immediately takes action such as re-explaining or omitting the explanation. be able to.
  • the user 131 requests the party to the communication to add or omit the explanation, or provides information to assist the content of the communication. It is possible to take immediate action such as.
  • Gesturing, facial expressions, etc. expressing the information transmission request are arbitrary.
  • the avatar of the user may raise his hand, open his mouth, grow up, or shine.
  • the avatar 212 of the user 156 is displayed in the communication destination image 155.
  • the avatar 212 faces the front (toward the user 131) and raises his hand.
  • the gesture of raising a hand indicates that the user has a request for information transmission (for example, wants to speak).
  • the request destination may be indicated depending on the orientation of the avatar 212.
  • the avatar 212 requests the user 131 to transmit information by the user 156.
  • the avatar 212 may face the left side of the image (toward the user 153).
  • the user 131 may, for example, refrain from making his own remarks or recommend the utterance to the user 156. It is possible to promptly respond to the information transmission to 156.
  • the communication party is not a party (third party)
  • the user 131 sends information to the user 156, for example, refraining the party from making a statement or recommending a statement to the user 156.
  • the prompt response can be taken immediately.
  • Gesturing and facial expressions expressing the session end request are optional. For example, when a user makes a request to end a session (to end a conversation, to go home, etc.), the user's avatar faces down, looks back, watches a wristwatch, and prepares for return such as wearing a jacket You may choose to do so.
  • the request destination may be indicated by the orientation of the avatar 212.
  • the user 131 can immediately make a response such as making a remark to urge the end of the conversation or giving a greeting. it can.
  • the method of judging the user status is arbitrary.
  • the volume level may be determined based on the volume of the sound output from the terminal device 100.
  • the captured image of the user may be analyzed and estimated from the facial expression, gesture, etc. of the user.
  • the state of the user may be detected (biological sensing is performed) using another sensor such as a temperature sensor or an eye tracker, and estimation may be performed based on the detected information.
  • the determination may be made based on a user instruction input by the user.
  • the degree of understanding of the contents of communication or the information transmission request may be determined from the facial expression or gesture of the user by analyzing the captured image of the user.
  • the user's state may be detected (biological sensing is performed) by using another sensor such as a temperature sensor or an eye tracker, and the determination may be made based on the detected information. Further, the determination may be made based on a user instruction or the like input by the user.
  • the session end request may be determined by analyzing the captured image of the user and the facial expression or gesture of the user. Further, the user's state may be detected (biological sensing is performed) by using another sensor such as a temperature sensor or an eye tracker, and the determination may be made based on the detected information. Further, the determination may be made based on a user instruction or the like input by the user. Further, the determination may be made based on other information such as the schedule of the user. For example, it may be determined that the user has a session end request when the time set as the return time in the preset schedule comes (or when the time comes near).
  • the user status expressed as above is arbitrary and is not limited to the above example.
  • the degree of interest in the user's topic of communication may be included.
  • the above-mentioned user status may be expressed together with the above-mentioned communication status and communication status.
  • the factor of the user's condition can be estimated more easily and more accurately.
  • disclosure of communication may be controlled.
  • communication between some of the plurality of terminal devices participating in the system may be made private to other terminal devices.
  • communication transmission / reception of images, sounds, etc.
  • the terminal device 100 of the user 153 and the terminal device 100 of the user 156 is performed by the terminal device 100 (the user 131 who is a third party of the communication).
  • setting whether the communication is made public or private
  • may be controlled set to be public or private).
  • the communication state between some of the plurality of terminal devices participating in the system may be made private to other terminal devices.
  • the communication state between some of the plurality of terminal devices participating in the system may be made private to other terminal devices.
  • the state of the user may be made private to other terminal devices (a part or all). Further, such a setting (whether the state is disclosed or not disclosed) may be controlled (set to be disclosed or set to be hidden).
  • FIG. 9 is a diagram illustrating an example of a main configuration of a communication system that is an aspect of a communication system to which the present technology is applied.
  • the communication system 300 shown in FIG. 9 is a system that realizes communication between multiple points.
  • the communication system 300 includes a server 301 and terminal devices 100-1 to 100-3.
  • the server 301 and the terminal devices 100-1 to 100-3 are communicably connected to each other via a network 302.
  • the terminal devices 100-1 to 100-3 are one aspect of an information processing device to which the present technology is applied, and have an appearance as shown in FIG. Note that the terminal devices 100-1 to 100-3 are referred to as the terminal device 100 unless it is necessary to distinguish them from each other.
  • Each terminal device 100 is operated by a user who communicates.
  • the user of the terminal device 100-1 will be referred to as a user A
  • the user of the terminal device 100-2 will be referred to as a user B
  • the user of the terminal device 100-3 will be referred to as a user C.
  • Each terminal device 100 is connected to the network 302 by wired communication, wireless communication, or both. Although three terminal devices 100 are shown in FIG. 9, the number of terminal devices 100 included in the communication system 300 may be three or more, and may be four or more.
  • the server 301 is one aspect of an information processing device to which the present technology is applied, and provides the terminal device 100 with a service that realizes communication between multiple points.
  • the server 301 is connected to the network 302 by wired communication, wireless communication, or both. Note that, although one server 301 is shown in FIG. 9, the number of servers 301 included in the communication system 300 is arbitrary, and may be two or more.
  • the server 301 establishes a session with each terminal device 100 and manages the connection.
  • the server 301 also controls communication between the terminal devices 100. For example, each terminal device 100 transmits communication data such as images and voices to the server 301. The server 301 transmits the communication data to an appropriate destination (terminal device 100).
  • the server 301 manages various states such as communication state, communication state, user state and the like. For example, the server 301 generates information regarding various states based on the information supplied from each terminal device 100, and transmits the information to an appropriate terminal device 100 as necessary.
  • the network 302 is an arbitrary communication network, and may be a wired communication network, a wireless communication network, or both. Further, the network 302 may be configured by one communication network, or may be configured by a plurality of communication networks. For example, Internet, public telephone network, wide area communication network for wireless mobile such as so-called 3G line and 4G line, WAN (Wide Area Network), LAN (Local Area Network), Bluetooth (registered trademark) compliant communication Wireless communication network, NFC (Near Field Communication) and other short-distance wireless communication channels, infrared communication channels, HDMI (High-Definition Multimedia Interface) (registered trademark) and USB (Universal Serial Bus) (registered trademark) ), Etc., the network 302 may include a communication network or communication path of an arbitrary communication standard such as a wired communication network.
  • FIG. 10 is a block diagram showing a main configuration example of the server 301.
  • the server 301 has a communication unit 321, a connection management unit 322, a communication control unit 323, and a state management unit 324.
  • the communication unit 321 is a communication interface, is connected to the network 302, and performs processing relating to communication with another device (for example, the terminal device 100) via the network 302. For example, the communication unit 321 receives the communication data transmitted from the terminal device 100 via the network 302, and the information included in the communication data is sent to the connection management unit 322, the communication control unit 323, the state management unit 324, etc. Supply. Further, the communication unit 321 transmits the communication data supplied from the connection management unit 322, the communication control unit 323, the state management unit 324, etc. to the terminal device 100 that is the transmission destination via the network 302.
  • the connection management unit 322 performs processing related to management of the state of the session with each terminal device 100. For example, the connection management unit 322 establishes or disconnects a session in response to a request from the terminal device 100. Further, the connection management unit 322 stores and manages the state of the session with each terminal device 100 (in other words, the state of the session between the terminal devices 100 described in ⁇ 1. Presentation of state in communication system>). .. Furthermore, the connection management unit 322 can provide the information to the communication control unit 323 as needed.
  • the communication control unit 323 performs processing relating to control of communication between multiple points, that is, control of communication between the terminal devices 100. For example, the communication control unit 323 acquires the communication data transmitted from the terminal device 100 via the communication unit 321. The communication control unit 323 also identifies the transmission destination of the communication data. Furthermore, the communication control unit 323 supplies the communication data to the communication unit 321 and causes the communication unit 321 to transmit the communication data to the specified destination.
  • the communication control unit 323 controls disclosure / nondisclosure of the content of the communication based on control information for controlling disclosure / nondisclosure of information regarding communication transmitted from the terminal device 100. That is, the communication control unit 323 responds to the request from the terminal device 100 with ⁇ 1. Presentation of State in Communication System> As described above, the content of communication is disclosed or not disclosed to another terminal device 100 which is a third party.
  • the state management unit 324 may, for example, ⁇ 1. Presenting Status in Communication System> Performs processing related to management of various statuses such as communication status, communication status, user status, etc.
  • the state management unit 324 includes information regarding communication between the terminal devices 100 in the communication data transmitted to the desired terminal device 100. That is, the state management unit 324 appropriately provides the terminal device 100 with information regarding communication between the terminal devices 100.
  • the status management unit 324 includes a communication status management unit 331, a communication status management unit 332, and a user status management unit 333.
  • Presenting Status in Communication System> Performs processing relating to management of communication status.
  • the communication state management unit 331 manages the state of communication between the terminal devices 100 based on the transmission / reception status of communication data transmitted from the terminal devices 100.
  • the communication status management unit 331 determines that the communication status is ⁇ 1.
  • Presenting Status in Communication System> The communication stability described in ">” may be managed. Further, the communication status management unit 331 determines that the communication status is ⁇ 1.
  • Presenting Status in Communication System> The non-communicable status described in “>” may be managed. Furthermore, the communication status management unit 331 determines that the communication status is ⁇ 1.
  • Presenting Status in Communication System> The communication delay amount described in “>” may be managed. Further, the communication status management unit 331 determines that the communication status is ⁇ 1.
  • Presenting Status in Communication System> The status of the session between the terminal devices 100 described in “>” may be managed. In that case, the communication status management unit 331 manages the status of the session between the terminal devices 100 using the information related to the status of the session with each terminal device 100 managed by the connection management unit 322.
  • the communication state management unit 331 includes, as the information regarding the communication between the terminal devices 100, the information regarding the communication state in the communication data transmitted toward the desired terminal device 100. That is, the communication state management unit 331 appropriately provides the terminal device 100 with information regarding the state of communication between the terminal devices 100.
  • the communication status management unit 331 uses ⁇ 1.
  • Information about stability of communication described in “Presentation of state in communication system>” may be included in the communication data.
  • the communication status management unit 331 uses ⁇ 1.
  • Presentation of State in Communication System> The information indicating the incommunicable state described in “>” may be included in the communication data.
  • the communication status management unit 331 uses the information ⁇ 1.
  • Information regarding communication delay amount described in “Presentation of state in communication system>” may be included in the communication data.
  • Presenting Status in Communication System> Performs processing related to management of the status of communication.
  • the communication status management unit 332 manages the communication status between the terminal devices 100 based on the content of the communication data transmitted from the terminal devices 100.
  • the communication status management unit 332 determines that the communication status is ⁇ 1. Presenting Status in Communication System>
  • the terminal device 100 of the user who communicates as described above may be managed.
  • the communication state management unit 332 includes, as the information regarding the communication between the terminal devices 100, the information regarding the communication state in the communication data transmitted to the desired terminal device 100. That is, the communication state management unit 332 appropriately provides the terminal device 100 with information regarding the state of communication between the terminal devices 100.
  • the communication state management unit 332 may use ⁇ 1. Presentation of State in Communication System> Information indicating the terminal device 100 of the user who communicates as described in “Communication System” may be included in the communication data.
  • the user status management unit 333 has a ⁇ 1. Presenting Status in Communication System> Performs processing related to management of the status of the user. For example, the user status management unit 333 manages the status of the user of each terminal device 100 based on the content of the communication data transmitted from the terminal device 100.
  • the user status management unit 333 includes, as the information regarding the communication between the terminal devices 100, the information regarding the status of the user in the communication data transmitted to the desired terminal device 100. That is, the user status management unit 333 appropriately provides the terminal device 100 with information regarding the status of the user of the terminal device 100.
  • the user status management unit 333 may use ⁇ 1. Information about volume described in "Present state in communication system” may be included in the communication data. In addition, the user status management unit 333 uses ⁇ 1. Information indicating the degree of understanding of the content of communication described in "Presentation of state in communication system” may be included in the communication data. Furthermore, the user status management unit 333 uses ⁇ 1. Presenting the status in the communication system> The information indicating the information transmission request described in ⁇ > may be included in the communication data. In addition, the user status management unit 333 uses ⁇ 1. Presenting Status in Communication System> The information indicating the session end request described in “>” may be included in the communication data.
  • the state management unit 324 has been described as including the communication state management unit 331 to the user state management unit 333 in FIG. 10, the state management unit 324 includes the communication state management unit 331 to the user state management unit 333. , It suffices to have at least one. That is, the state management unit 324 determines that ⁇ 1. It is only necessary to manage one or more of the communication state, the communication state, and the user state described in “Presentation of state in communication system” and include information regarding the state in communication data.
  • the status management unit 324 may have a status management unit other than the communication status management unit 331 to the user status management unit 333. That is, the state management unit 324 determines that ⁇ 1. Presenting Status in Communication System> It is possible to manage any status other than the various statuses described in "> and include it in communication data.
  • the state management unit 324 controls disclosure / nondisclosure of the state of the communication based on control information for controlling disclosure / nondisclosure of information regarding communication transmitted from the terminal device 100. That is, the state management unit 324 responds to the request from the terminal device 100 with ⁇ 1.
  • Presenting Status in Communication System> As described above, the status related to the communication (eg, communication status, communication status, user status, etc.) is disclosed to another terminal device 100 that is a third party. Or not to publish it.
  • each processing unit may be configured by a logic circuit that realizes the above processing.
  • each processing unit has, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), etc., and executes the program using these to realize the above processing. You may do it.
  • each processing unit may have both configurations, and a part of the above-described processing may be realized by a logic circuit and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other.
  • some of the processing units may implement part of the above-described processing by a logic circuit, and some of the other processing units may execute the program. May be realized, and another processing unit may realize the above-mentioned processing by both executing the logic circuit and executing the program.
  • FIG. 11 is a block diagram showing a main configuration example of the terminal device 100.
  • the terminal device 100 includes a communication unit 351, a control unit 352, an input unit 353, and an output unit 354.
  • the communication unit 351 is a communication interface, is connected to the network 302, and is controlled by a communication control unit 361, which will be described later, and performs processing related to communication with another device (for example, the server 301) via the network 302.
  • the communication unit 351 receives communication data transmitted from the server 301 via the network 302, and supplies the received communication data to the control unit 352 (communication control unit 361 described later).
  • the communication unit 351 acquires communication data supplied from the control unit 352 and the like, and transmits the acquired communication data to the server 301 via the network 302.
  • the communication data transmitted from the server 301 may include, for example, the information regarding the communication between the terminal devices 100 as described above. That is, in that case, the communication unit 351 receives information regarding communication between the terminal devices 100.
  • the communication data to be transmitted and received may include, for example, data exchanged between the terminal devices 100, such as captured images and voices of the user of the terminal device 100. That is, in that case, the communication unit 351 performs communication for communication.
  • the communication data to be transmitted may include, for example, information regarding the state of the user detected by the input unit 353 (various sensors described later). That is, in that case, the communication unit 351 transmits information regarding the user's state to the server 301.
  • the control unit 352 performs processing related to control of various processing such as communication.
  • the control unit 352 also includes a communication control unit 361, a communication data generation unit 362, and an output information generation unit 363.
  • the communication control unit 361 performs processing relating to communication control. For example, the communication control unit 361 acquires the communication data generated by the communication data generation unit 362. Further, the communication control unit 361 supplies the communication data to the communication unit 351 and causes the communication unit 351 to transmit the communication data. Further, the communication control unit 361 controls the communication unit 351 to receive the communication data transmitted from the server 301 and acquire the received communication data. The communication control unit 361 also supplies the communication data to the output information generation unit 363.
  • the communication data generation unit 362 performs processing related to generation of communication data. For example, the communication data generation unit 362 generates communication data that includes information supplied from the input unit 353 and the like and has a format that conforms to a predetermined communication standard. Also, the communication data generation unit 362 supplies the generated communication data to the communication control unit 361.
  • the communication data generation unit 362 generates communication data including captured image data generated by the image pickup unit 111, voice data generated by a microphone 373 described later, and the like. Further, the communication data generation unit 362 generates communication data including detection data generated by the sensor 374 described later. Further, the communication data generation unit 362 generates communication data including the data input by the information input unit 375 described later. In addition, the communication data generation unit 362 analyzes the captured image data generated by the imaging unit 112, detects an operation of the user 131, performs a process corresponding to the user operation, or an instruction corresponding to the user operation. It generates communication data including data.
  • the communication data generation unit 362 generates control information that controls whether or not to disclose information regarding communication with another terminal device 100, based on the user instruction or the like received by the input unit 353. ..
  • This control information includes, for example, information that controls whether or not the contents of communication are disclosed.
  • this control information includes, for example, information for controlling whether or not to disclose a communication-related state (for example, communication state, communication state, user state, etc.).
  • the communication data generation unit 362 supplies such control information to the server 301 via the communication control unit 361 or the like, thereby ⁇ 1.
  • Presentation of State in Communication System> As described above, whether or not to disclose information related to communication with another terminal device 100 (for example, the content of communication or a state related to communication) (disclosure of information related to communication. (Private) control.
  • the output information generation unit 363 performs processing related to generation of output information. For example, the output information generation unit 363 acquires the communication data transmitted from the server 301, which is supplied from the communication control unit 361. Further, the output information generation unit 363 generates output information such as display image data, output audio data, projection image data, etc., based on (the information included in) the communication data.
  • the output information generation unit 363 may specify ⁇ 1. Presentation of State in Communication System> An image for display such as the image 150 described in "is displayed. That is, the output information generation unit 363 determines that ⁇ 1. Presenting State in Communication System> A display image indicating at least one of the communication state, the communication state, and the user state described in “>” is generated.
  • the output information generation unit 363 generates a display image indicating a communication state between this terminal device 100 and another terminal device 100 and a communication state between a plurality of other terminal devices 100. ..
  • the output information generation unit 363 sets ⁇ 1. Presenting State in Communication System> The image indicating the state of the session may be generated.
  • the output information generation unit 363 displays the state in which the session between the terminal device 100 and the other terminal device 100 is established, the lower end of the image and the pattern (for example, a house) indicating the other terminal device 100.
  • a state in which a session between a plurality of other terminal devices 100 has been established is shown as a connecting road, and a display image is generated that shows a pattern (for example, a house) showing the other terminal devices 100 as a connecting road. May be.
  • the output information generation unit 363 displays the state in which the session between the terminal device 100 and the other terminal device 100 is established between the lower end of the image and the pattern (for example, a house) indicating the other terminal device 100.
  • the output information generation unit 363 displays the state in which a session between this terminal device 100 and another terminal device 100 is established and the state in which a session between a plurality of other terminal devices 100 is established, You may make it produce
  • the output information generation unit 363 sets the status of this communication as ⁇ 1. Presentation of State in Communication System>
  • the display image indicating the incommunicable state described in “>” may be generated.
  • the output information generation unit 363 may generate a display image that indicates this incommunicable state as the thickness of the road, the movement of the moving object, or the display state of the symbol.
  • the output information generation unit 363 sets the status of this communication as ⁇ 1. Displaying State in Communication System>
  • the display image indicating the stability of communication described in “>” may be generated.
  • the output information generation unit 363 may generate a display image indicating the stability of the communication as an obstacle provided on the road, a moving method of the moving object, or a display state of a symbol.
  • the output information generation unit 363 sets the status of this communication as ⁇ 1. Displaying State in Communication System> The display image indicating the communication delay amount described in “>” may be generated. For example, the output information generation unit 363 may generate a display image indicating the delay amount of this communication as the length of the road, the movement of the moving object, or the display state of the symbol.
  • the output information generation unit 363 sets ⁇ 1.
  • a display image showing the terminal device 100 performing the communication described in “>” may be generated.
  • the output information generation unit 363 may display this communication as a moving object, and may generate a display image showing the terminal device 100 with which the moving object and the moving destination communicate.
  • the output information generation unit 363 sets ⁇ 1.
  • Presenting State in Communication System> The display image indicating the volume described in “>” may be generated.
  • the output information generation unit 363 sets ⁇ 1.
  • Presentation of State in Communication System> A display image indicating the degree of understanding of the content of communication described in “>” may be generated.
  • the output information generation unit 363 determines that the user status described above is ⁇ 1.
  • Presentation of State in Communication System> The display image indicating the information transmission request described in “>” may be generated.
  • the output information generation unit 363 sets ⁇ 1.
  • Displaying Status in Communication System> The display image indicating the session end request described in “>” may be generated.
  • the output information generation unit 363 may generate a display image including an avatar indicating the state of the user.
  • the image may include information other than the communication state, the communication state, and the user's state, which are described above.
  • the display image may include a captured image (communication destination image) of the user of the communication partner.
  • an image showing a state other than the various states described above may be included in this display image.
  • the output information generation unit 363 supplies the generated output information to the output unit 354.
  • the output information generation unit 363 supplies the display image data (display image data) generated as described above to (the display unit 121 of) the output unit 354.
  • the input unit 353 performs processing related to information input. For example, the input unit 353 receives information about the outside of the terminal device 100 (for example, the user), an instruction input by the user, and the like. For example, the input unit 353 receives an instruction as to whether or not to disclose information regarding communication with another terminal device 100. For example, the input unit 353 receives an instruction as to whether or not to disclose the contents of the communication. In addition, the input unit 353 receives an instruction as to whether or not to disclose a state related to the communication (eg, communication state, communication state, user state, etc.). The input unit 353 supplies the received instruction and information to the control unit 352 (for example, the communication data generation unit 362).
  • the control unit 352 for example, the communication data generation unit 362.
  • the input unit 353 also includes the image capturing unit 111 and the image capturing unit 112 shown in FIG. Further, the input unit 353 further includes a microphone 373, a sensor 374, and an information input unit 375.
  • the image capturing unit 111 captures an image of a subject and generates data of the captured image (captured image data).
  • the image capturing unit 112 captures an image of (the area 101B of) the upper surface 101A and generates data of the captured image (captured image data).
  • the microphone 373 collects the voice of the user 131 and generates the voice data.
  • the sensor 374 is configured by an arbitrary sensor, detects information regarding the state of the user 131, and generates data of the detected information (detection data) (performs biometric sensing).
  • the information input unit 375 receives arbitrary data input from the outside of the terminal device 100 based on a user operation or the like.
  • the output unit 354 performs processing related to information output. For example, the output unit 354 acquires the output information supplied from the control unit 352 (output information generation unit 363). Further, the output unit 354 has a display unit 121 and a projection unit 122. Furthermore, the output unit 354 further includes a speaker 383.
  • the display unit 121 acquires the display image data supplied from the control unit 352 (output information generation unit 363) and displays the display image. For example, the display unit 121 displays the display image generated as described above by the output information generation unit 363.
  • the projection unit 122 acquires the projection image data supplied from the control unit 352 (output information generation unit 363), and projects the projection image on (the area 101B of) the upper surface 101A.
  • the speaker 383 acquires the output voice data supplied from the control unit 352 (output information generation unit 363) and outputs the output voice.
  • each processing unit may be configured by a logic circuit that realizes the above processing.
  • each processing unit may have, for example, a CPU, a ROM, a RAM, etc., and the above-described processing may be realized by executing a program using these.
  • each processing unit may have both configurations, and a part of the above-described processing may be realized by a logic circuit and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other.
  • some of the processing units may implement part of the above-described processing by a logic circuit, and some of the other processing units may execute the program. May be realized, and another processing unit may realize the above-mentioned processing by both executing the logic circuit and executing the program.
  • the communication system 300, and the terminal device 100 and the server 301 are ⁇ 1. Presenting Status in Communication System> Therefore, communication between multiple points can be performed more smoothly.
  • the terminal device 100-1 of the user A performs a connection process for establishing a session with the server 301 in step S111.
  • the terminal device 100-2 of the user B performs a connection process for establishing a session with the server 301 in step S121.
  • the terminal device 100-3 of the user C performs a connection process for establishing a session with the server 301 in step S131.
  • the server 301 performs the connection process for establishing those sessions in step S141.
  • the terminal device 100-1 performs the input transmission processing in step S112 to input information (for example, image pickup and sound collection) and the server 301 of the input information.
  • the terminal device 100-2 performs an input transmission process, inputs information (for example, image pickup and sound collection), and transmits the input information to the server 301.
  • the terminal device 100-3 performs an input transmission process, inputs information (for example, image pickup and sound collection), and transmits the input information to the server 301.
  • the server 301 performs the communication control process for controlling the communication between the terminal devices 100 in step S142.
  • the server 301 performs a state management process for managing the state of the communication controlled as described above in step S143.
  • the server 301 performs a transmission process of transmitting communication data to each terminal device 100 according to the control of the communication control process described above.
  • the terminal device 100-1 performs reception output processing, receives the communication data, and outputs output information.
  • the terminal device 100-2 performs reception output processing, receives the communication data, and outputs output information.
  • the terminal device 100-3 performs reception output processing, receives the communication data, and outputs output information.
  • Communication processing is performed according to the above flow. After that, in the state where the session is established, each processing such as the input transmission processing, the reception output processing, the communication control processing, the state management processing, and the transmission processing described above is appropriately performed.
  • the image capturing unit 111 of the terminal device 100 captures the user 131 and generates a captured image of the user in step S201.
  • step S202 the image capturing unit 112 captures a user operation performed in the area 101B on the upper surface 101A and generates a captured image thereof.
  • step S203 the microphone 373 receives a voice input such as a voice of the user and generates voice data.
  • step S204 the sensor 374 senses the user's state and generates sensor information (detection data).
  • step S205 the information input unit 375 receives data input.
  • step S206 the communication data generation unit 362 analyzes the captured image obtained in step S202 for the user operation.
  • step S207 the communication data generation unit 362 analyzes the detection data obtained in step S204 for the user's state.
  • step S208 the communication data generation unit 362 detects the captured image data obtained in step S201, the audio data obtained in step S203, the data accepted in step S205, the user operation detected in step S206, and the detection in step S207.
  • the communication data including the user's status etc. that have been generated is generated.
  • step S209 the communication control unit 361 transmits the communication data obtained in step S208 to the server 301 via the communication unit 351.
  • Input transmission processing ends when communication data is transmitted.
  • the communication control unit 323 of the server 301 controls the communication unit 321 in step S221 to receive the communication data transmitted from each terminal device 100.
  • the communication control unit 323 identifies the transmission destination of each received communication data. For example, the communication control unit 323 transmits part or all of the communication data based on the session status managed by the connection management unit 322, the communication disclosure restriction setting, the designation information of the transmission destination included in the communication data, and the like. Identify the destination. For example, if there is no particular limitation on the destination, the communication control unit 323 identifies all the terminal devices 100 with which the session has been established as the destinations of the communication data. For example, when only a part of the communication data is transmitted to the terminal device 100 (the server 301 is the transmission destination for the remaining portion), the communication control unit 323 specifies the transmission destination for that portion. Further, when the communication data includes a plurality of data in which different transmission destinations are designated, the communication control unit 323 identifies the transmission destination for each data.
  • step S223 the communication control unit 323 collects data to be transmitted for each transmission destination based on the transmission destination of each communication data specified in step S222, and generates communication data.
  • step S223 ends, the communication control process ends.
  • the communication state management unit 331 of the state management unit 324 determines, in step S241, each terminal device based on the transmission / reception state of communication data for communication transmitted from each terminal device 100.
  • Manage the status of communication with For example, the communication status management unit 331, based on the information about the communication obtained by exchanging communication data with each terminal device 100, the session status, the communication stability, the incommunicable status, the communication delay amount, etc. Specify (or estimate) a value for the parameter.
  • the communication status management unit 331 also specifies (or estimates) the status of the session between the terminal devices 100 based on the status of the session managed by the connection management unit 322.
  • the terminal device 100 and the server 301 exchange communication (for example, ping) other than communication for communication. You may do so.
  • the communication status management unit 332 manages the communication status between the terminal devices 100 based on the content of the communication data for communication transmitted from each terminal device 100. For example, the communication status management unit 332 identifies a communication partner from the direction of the user based on the information indicating the user status included in the communication data.
  • step S243 the user status management unit 333 manages the status of the user of each terminal device 100 based on the content of the communication data for communication transmitted from each terminal device 100. For example, the user status management unit 333 identifies the status of the user based on the information indicating the status of the user included in the communication data.
  • the communication state management unit 331 includes (stores) the information regarding the communication state managed in step S241 in the communication data generated in the communication control process (step S142).
  • the communication status management unit 332 includes (stores) the information regarding the communication status between the terminal devices 100 managed in step S242 in the communication data generated in the communication control process (step S142).
  • the user status management unit 333 includes (stores) information regarding the status of the user of each terminal device 100 managed in step S243 in the communication data generated in the communication control process (step S142).
  • step S246 ends, the state management process ends.
  • the communication control unit 361 controls the communication unit 351 to receive the communication data transmitted from the server 301 in step S261.
  • step S262 the output information generation unit 363 determines the communication state, the communication state, and the communication state based on the information regarding the communication state, the communication state, the user state, and the like included in the communication data received in step S261.
  • a display image indicating the user's state or the like is generated, and the data (display image data) is generated as output information.
  • step S263 the output information generation unit 363 generates a projection image based on, for example, the communication data received in step S261, and generates the data (projection image data) as output information.
  • step S264 the output information generation unit 363 generates an output voice, for example, based on the communication data received in step S261, and generates the data (output voice data) as output information.
  • step S265 the display unit 121 displays the display image generated in step S262.
  • step S266 the projection unit 122 projects the projection image generated in step S263.
  • step S267 the speaker 383 outputs the output voice generated in step S264.
  • step S267 ends, the reception output process ends.
  • the input unit 353 of the terminal device 100 specifies the disclosure / nondisclosure of the communication content to each terminal device 100 in step S311. Accept the communication disclosure restriction instruction.
  • step S312 the communication data generation unit 362 generates communication data including the communication disclosure restriction instruction.
  • the communication control unit 361 also transmits the communication data (that is, the communication disclosure restriction instruction) to the server 301.
  • step S321 the communication control unit 323 of the server 301 controls the communication unit 321 and receives the communication data (that is, the communication disclosure restriction instruction).
  • step S322 the communication control unit 323 stores the communication disclosure setting (setting of whether or not to disclose the communication content for each terminal device 100) corresponding to the communication disclosure restriction instruction obtained in step S321. If the communication disclosure setting is already stored, the content of the communication disclosure setting is updated.
  • step S323 the communication control unit 323 thereafter performs the communication control process based on the stored (or updated) communication public setting.
  • the input unit 353 of the terminal device 100 accepts the state disclosure restriction instruction for designating the disclosure / nondisclosure of the communication state to each terminal device 100 in step S331. ..
  • step S332 the communication data generation unit 362 generates communication data including the state disclosure restriction instruction.
  • the communication control unit 361 also transmits the communication data (that is, the state disclosure restriction instruction) to the server 301.
  • step S341 the communication status management unit 331 of the server 301 controls the communication unit 321 and receives the communication data (that is, the status disclosure restriction instruction).
  • step S342 the communication status management unit 331 stores the status disclosure setting (setting of whether or not to disclose the communication status for each terminal device 100) corresponding to the status disclosure restriction instruction obtained in step S341. If the state disclosure setting is already stored, the content of the state disclosure setting is updated.
  • step S343 the communication status management unit 331 thereafter performs status management processing based on the stored (or updated) status disclosure setting.
  • the communication system 300, and the terminal device 100 and the server 301 are ⁇ 1. Presenting Status in Communication System> Therefore, communication between multiple points can be performed more smoothly.
  • FIG. 1 shows an example of the external appearance of the terminal device 100
  • the configuration of the terminal device 100 is arbitrary and is not limited to the example of FIG.
  • the upper surface 101A of the housing 101 (the virtual input interface formed in the area 101B) may be omitted, and the user instruction may be input by the gesture of the user 131, the voice, or the like.
  • the terminal device 100 may include a plurality of display units such as a display unit 421 and a display unit 422.
  • the display unit 421 displays a communication destination image 431 which is a captured image including another user 432 who is a communication partner.
  • the display unit 421 has a large display area so that the entire body of the user 432 can be displayed in full size.
  • the display unit 422 displays a communication destination image 433 that is a captured image including another user 434 who is another partner of communication.
  • the display unit 422 has a large display area so that the entire body of the user 434 can be displayed in full size.
  • the user 131 is captured by the image capturing unit 111, and the captured image and the like are transmitted to the terminal device 100 of the communication partner (user 432 or user 434) via the server 301. Further, in this case, the gesture of the user 131 or the like is detected from the captured image, and the input of the user instruction or the like corresponding thereto is accepted.
  • the terminal device 100 has basically the same configuration as that shown in FIG. 11 except that the projection unit 122 and the imaging unit 112 are omitted. Therefore, also in this case, the communication system 300, the terminal device 100, and the server 301 are ⁇ 1. Presenting Status in Communication System> Therefore, communication between multiple points can be performed more smoothly.
  • the series of processes described above can be executed by hardware or software.
  • a program forming the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 19 is a block diagram showing a hardware configuration example of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal and the like.
  • the storage unit 913 includes, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the program to execute the above-described series of operations. Is processed.
  • the RAM 903 also appropriately stores data necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded in a removable medium 921 as a package medium or the like and applied.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable medium 921 in the drive 915.
  • this program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in advance in the ROM 902 or the storage unit 913.
  • the present technology is not limited to communication systems and can be applied to any communication system that connects multiple points. That is, as long as it does not contradict the above-described present technology, specifications of input / output of information, communication, etc. are arbitrary. In addition, as long as it does not conflict with the present technology, some of the processes and specifications described above may be omitted.
  • the present technology includes stationary devices (for example, personal computers, routers, etc.), portable devices (for example, mobile phones, notebook personal computers, smart phones, etc.), dedicated devices, general-purpose devices, etc. It can be applied to various electronic devices.
  • stationary devices for example, personal computers, routers, etc.
  • portable devices for example, mobile phones, notebook personal computers, smart phones, etc.
  • dedicated devices for example, general-purpose devices, etc. It can be applied to various electronic devices.
  • the present technology includes a processor (for example, a video processor) as a system LSI (Large Scale Integration) or the like, a module (for example, a video module) that uses a plurality of processors or the like, or a unit (for example, a video unit) that uses a plurality of modules or the like.
  • a processor for example, a video processor
  • LSI Large Scale Integration
  • module for example, a video module
  • a unit for example, a video unit
  • it may be implemented as a part of the configuration of a device such as a set (for example, a video set) in which other functions are added to the unit.
  • the present technology can be applied to a network system including a plurality of devices.
  • the present technology may be implemented as cloud computing in which a plurality of devices share and jointly process via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to arbitrary terminals such as computers, AV (Audio Visual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may do so.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the system, device, processing unit, etc. to which the present technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factory, home appliances, weather, nature monitoring, etc. .. Further, its use is also arbitrary.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be integrated into one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or another processing unit).
  • the above-mentioned program may be executed in any device.
  • the device may have a necessary function (function block or the like) so that necessary information can be obtained.
  • one device may execute each step of one flowchart, or a plurality of devices may share and execute each step.
  • the plurality of processes may be executed by one device or may be shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in this specification, or in parallel or by calling. It may be executed individually at a necessary timing such as when it is released. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Further, the process of the step of writing this program may be executed in parallel with the process of another program, or may be executed in combination with the process of another program.
  • a receiving unit that receives information regarding communication performed between communication devices, An image indicating a communication state between the first communication device and another communication device and a communication state between the plurality of other communication devices is generated based on the information received by the receiving unit.
  • a generator that An information processing apparatus, comprising: a display unit that displays the image generated by the generation unit.
  • the information processing device according to (1) wherein the other communication device includes a second communication device and a third communication device.
  • the image shows the first content that connects the first position indicating the first communication device and the second position indicating the second communication device, and the third communication device.
  • the information processing device according to (2) including a third content and a second content that connects the second position.
  • the information processing device (4) The information processing device according to (3), wherein the first content and the second content include a road. (5) The information processing device according to (3) or (4), wherein the first position includes a lower end of the image. (6) The information includes information on communication stability, The information processing device according to any one of (3) to (5), wherein the generation unit generates the image indicating the stability of each communication as the width of the content based on the information regarding the stability of the communication. (7) The information includes information regarding a communication delay amount, The information processing apparatus according to any one of (3) to (6), wherein the generation unit generates the image indicating the delay amount of each communication as the length of the content based on the information regarding the delay amount of the communication. ..
  • the information includes information about the session,
  • the generation unit indicates a state in which a session between the first communication device and the second communication device is established, based on information about the session, a lower end of the image and the second position.
  • the path is shown as connecting, and the state in which a session between the third communication device and the second communication device is established is shown as a path connecting the third position and the second position.
  • the information processing apparatus according to any one of (5) to (7), which generates an image.
  • the information includes information indicating an incommunicable state,
  • the generation unit generates an image showing the incommunicable state of each session as an obstacle provided on the road corresponding to the session based on the information indicating the incommunicable state (8) )
  • the information processing device according to [1].
  • the information includes information about a session
  • the generation unit indicates a state in which a session between the first communication device and the second communication device is established, based on information about the session, as a first position indicating the first communication device. And a second position indicating the second communication device as a moving object, and a state in which a session between the third communication device and the second communication device has been established,
  • the information processing apparatus according to any one of (2) to (9), which generates the image shown as a moving object that moves between a third position indicating the third communication device and the second position.
  • the information includes at least one of information regarding communication stability, information indicating a communication impossible state, and information regarding communication delay amount, Based on the information, the generation unit displays at least one of the stability of each communication, the incommunicable state of each session, and the delay amount of each communication as the movement of the moving object.
  • the information processing device according to (10).
  • (12) The information includes information about a session, The generation unit is in a state in which a session between the first communication device and the second communication device has been established, and the third communication device and the second communication device, based on information about the session.
  • the information processing device according to any one of (2) to (11), which generates the image showing a state in which a session with a communication device is established by using a symbol for identifying each communication device.
  • the information includes at least one of information regarding communication stability, information indicating an incommunicable state, and information regarding a communication delay amount, Based on the information, the generation unit displays the image showing at least one of the stability of each communication, the incommunicable state of each session, and the delay amount of each communication as a display state of the symbol.
  • the receiving unit further receives information regarding communication, The information processing apparatus according to any one of (1) to (13), wherein the generation unit further generates the image indicating the state of the communication based on the information regarding the communication.
  • the receiving unit further receives information about a user of the communication device, The information processing device according to any one of (1) to (14), wherein the generation unit further generates the image indicating the state of the user based on the information regarding the user.
  • the information about the user includes information about at least one of a volume, an understanding level of the content of communication, an information transmission request, and a session end request, The generation unit generates, for each user, the image indicating at least one of the volume, the degree of understanding of the communication content, the information transmission request, and the session end request (15) Processing equipment.
  • the generation unit generates, for each user, the image including an avatar indicating at least one of the volume, the degree of understanding of the content of the communication, the information transmission request, and the session end request.
  • the information processing device according to 16).
  • the information processing device according to any one of (1) to (17), further including a detection unit that detects a user's state.
  • the information processing device according to any one of (1) to (18), further including a disclosure control unit that controls whether or not to disclose information regarding communication with the other communication device.
  • (20) receiving information about communication between communication devices, An image indicating the state of communication between the first communication device and the other communication device and the state of communication between the plurality of other communication devices is generated based on the received information. An information processing method for displaying the generated image.
  • a computer A receiving unit that receives information about communication performed between communication devices, An image indicating a communication state between the first communication device and another communication device and a communication state between the plurality of other communication devices is generated based on the information received by the receiving unit.
  • a generator that A program that functions as a display unit that displays the image generated by the generation unit.
  • a receiving unit that receives information regarding communication performed between the information processing devices, An image showing the state of communication between this information processing device and other information processing devices and the state of communication between a plurality of other information processing devices based on the information received by the receiving unit.
  • a generator to generate, An information processing apparatus comprising: a display unit that displays the image generated by the generation unit.
  • the information includes information about a session, The generation unit, based on the information about the session, a state in which a session between the information processing apparatus and the other information processing apparatus is established, a pattern indicating the lower end of the image and the other information processing apparatus.
  • the information processing device described. includes information about communication stability, The information processing apparatus according to (32), wherein the generation unit generates the image indicating the stability of each communication as the thickness of the road, based on the information regarding the stability of the communication. (34)
  • the information includes information indicating an incommunicable state, The generation unit generates an image showing the incommunicable state of each session as an obstacle provided on the road corresponding to the session, based on the information indicating the incommunicable state (32) ) Or (33).
  • the information includes information regarding a communication delay amount, The information processing apparatus according to any one of (32) to (34), wherein the generation unit generates the image showing the delay amount of each communication as the length of the road based on the information on the delay amount of the communication. .. (36)
  • the information includes information about a session, The generation unit, based on the information about the session, a state in which a session between the information processing apparatus and the other information processing apparatus is established, a pattern indicating the lower end of the image and the other information processing apparatus. And a state in which a session between a plurality of the other information processing devices is established, as a moving object that moves between the patterns indicating the other information processing devices.
  • the information processing apparatus according to any one of (31) to (35), which generates an image.
  • the information includes at least one of information regarding communication stability, information indicating an incommunicable state, and information regarding a communication delay amount, Based on the information, the generation unit displays at least one of the stability of each communication, the incommunicable state of each session, and the delay amount of each communication as the movement of the moving object.
  • the information processing apparatus according to (36).
  • the information includes information about a session, The generation unit, based on the information about the session, a state in which a session between the information processing device and the other information processing device is established, and a session between the plurality of other information processing devices, The information processing apparatus according to any one of (31) to (37), which generates the image showing the established state by using a symbol for identifying each information processing apparatus.
  • the information includes at least one of information regarding communication stability, information indicating an incommunicable state, and information regarding an amount of communication delay, Based on the information, the generation unit displays the image showing at least one of the stability of each communication, the incommunicable state of each session, and the delay amount of each communication as a display state of the symbol.
  • the information processing apparatus according to (38), which generates.
  • the receiving unit further receives information regarding communication performed using the communication performed between the information processing devices, The information processing device according to any one of (31) to (39), wherein the generation unit further generates the image indicating the state of the communication based on the information regarding the communication.
  • the information regarding the communication is information indicating the information processing device that performs the communication, The information processing apparatus according to (40), wherein the generation unit generates the image showing the information processing apparatus that is in communication.
  • the receiving unit further receives information about a user of the information processing device, The information processing apparatus according to any one of (31) to (42), wherein the generation unit further generates the image indicating the state of the user based on the information regarding the user.
  • the information about the user includes information about at least one of a volume, an understanding level of communication contents, an information transmission request, and a session end request
  • the generation unit generates, for each user, the image indicating at least one of the volume, the degree of understanding of the content of the communication, the information transmission request, and the session end request (43) Processing equipment.
  • the generation unit generates, for each user, the image including an avatar indicating at least one of the volume, the degree of understanding of the communication content, the information transmission request, and the session end request. 44) The information processing device described in 44). (46) The information processing device according to any one of (31) to (45), further including a communication unit that performs communication for communication.
  • the information processing device according to any one of (31) to (46), further comprising: a transmission unit that transmits information regarding the state of the user detected by the detection unit.
  • the information processing apparatus according to any one of (31) to (47), further including a disclosure control unit that controls whether or not to disclose information regarding communication with the other information processing apparatus.
  • receiving information relating to communication between information processing devices Based on the received information, to generate an image showing the state of communication between this information processing device and another information processing device, and the state of communication between a plurality of other information processing devices, An information processing method for displaying the generated image.
  • (50) Computer A receiving unit that receives information regarding communication performed between the information processing devices, An image showing the state of communication between this information processing device and other information processing devices and the state of communication between a plurality of other information processing devices based on the information received by the receiving unit.
  • a receiving unit that receives communication data transmitted from a plurality of other information processing apparatuses that communicate with each other, A generation unit that generates information regarding communication between the other information processing devices based on the communication data received by the reception unit, and includes the information in the communication data;
  • An information processing apparatus comprising: a transmission unit that transmits the communication data including the information related to the communication by the generation unit to the other information processing device that is the transmission destination of the communication data.
  • receiving communication data transmitted from a plurality of other information processing apparatuses that communicate with each other Based on the received communication data, generate information about communication between other information processing devices, and include in the communication data, An information processing method in which communication data including information about communication is transmitted to another information processing apparatus that is the transmission destination of the communication data.
  • the computer A receiving unit that receives communication data transmitted from a plurality of other information processing apparatuses that communicate with each other, A generation unit that generates information regarding communication between the other information processing devices based on the communication data received by the reception unit, and includes the information in the communication data; A program that causes the communication data including the information related to the communication by the generation unit to function as a transmission unit that transmits the communication data to the other information processing apparatus to which the communication data is transmitted.
  • 100 terminal device 101 housing, 102 arm, 111 imaging unit, 112 imaging unit, 121 display unit, 122 projection unit, 131 user, 150 image, 151 house, 152 communication destination image, 153 user, 154 house, 155 communication destination Images, 156 users, 157-159 roads, 161 rocks, 171-173 birds, 181 and 182 symbols, 191-193 symbol display areas, 201 people, 211 and 212 avatars, 300 communication systems, 301 servers, 302 networks, 321 communication Section, 322 connection management section, 323 communication control section, 324 status management section, 331 communication status management section, 332 communication status Management unit, 333 user state management unit, 351 communication unit, 352 control unit, 353 input unit, 354 output unit, 362 communication data generation unit, 363 output information generation unit, 373 microphone, 374 sensor, 375 information input unit, 383 speaker , 421 and 422 display part, 431 communication destination image, 432 user, 433 communication destination image, 434 user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示は、多地点間の通信の状態をより容易に把握することができるようにする情報処理装置および方法、並びに、プログラムに関する。 通信装置間で行われる通信に関する情報を受信し、その受信した情報に基づいて、第1の通信装置と他の通信装置との間の通信の状態と、複数の他の通信装置の間の通信の状態とを示す画像を生成し、その生成した画像を表示する。本開示は、例えば、情報処理装置、通信装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

情報処理装置および方法、並びに、プログラム
 本開示は、情報処理装置および方法、並びに、プログラムに関し、特に、多地点間の通信の状態をより容易に把握することができるようにした情報処理装置および方法、並びに、プログラムに関する。
 従来、多地点(3地点以上)を接続し、通信を行うシステム(例えばTV電話会議システム)があった。そして、そのようなシステムにおいて、空間のつながりに3次元的表現を用いることで多数の通信相手との距離を演出し、より快適なコミュニケーションを実現することが提案された(例えば、特許文献1参照)。
国際公開第2018/020766号
 しかしながら、特許文献1に記載の方法では、自身と通信先との通信の情報、または、通信先同士の通信の情報が個別に提示されるため、多地点間の通信の状態の全体を把握することが困難であった。
 本開示は、このような状況に鑑みてなされたものであり、多地点間の通信の状態をより容易に把握することができるようにするものである。
 本技術の一側面の情報処理装置は、通信装置間で行われる通信に関する情報を受信する受信部と、前記受信部により受信された前記情報に基づいて、第1の通信装置と他の通信装置との間の通信の状態と、複数の他の通信装置の間の通信の状態とを示す画像を生成する生成部と、前記生成部により生成された前記画像を表示する表示部とを備える情報処理装置である。
 本技術の一側面の情報処理方法は、通信装置間で行われる通信に関する情報を受信し、受信された前記情報に基づいて、第1の通信装置と他の通信装置との間の通信の状態と、複数の他の通信装置の間の通信の状態とを示す画像を生成し、生成された前記画像を表示する情報処理方法である。
 本技術の一側面のプログラムは、コンピュータを、通信装置間で行われる通信に関する情報を受信する受信部と、前記受信部により受信された前記情報に基づいて、第1の通信装置と他の通信装置との間の通信の状態と、複数の他の通信装置の間の通信の状態とを示す画像を生成する生成部と、前記生成部により生成された前記画像を表示する表示部として機能させるプログラムである。
 本技術の一側面の情報処理装置および方法、並びにプログラムにおいては、通信装置間で行われる通信に関する情報が受信され、その受信された情報に基づいて、第1の通信装置と他の通信装置との間の通信の状態と、複数の他の通信装置の間の通信の状態とを示す画像が生成され、その生成された画が表示される。
端末装置の主な構成例を示す図である。 画像表示例を示す図である。 画像表示例を示す図である。 画像表示例を示す図である。 画像表示例を示す図である。 画像表示例を示す図である。 画像表示例を示す図である。 画像表示例を示す図である。 コミュニケーションシステムの主な構成例を示す図である。 サーバの主な構成例を示すブロック図である。 端末装置の主な構成例を示すブロック図である。 通信処理の流れの例を説明するフローチャートである。 入力送信処理の流れの例を説明するフローチャートである。 通信制御処理の流れの例を説明するフローチャートである。 状態管理処理の流れの例を説明するフローチャートである。 受信出力処理の流れの例を説明するフローチャートである。 公開制限処理の流れの例を説明するフローチャートである。 端末装置の主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
 1.コミュニケーションシステムにおける状態の提示
 2.第1の実施の形態(コミュニケーションシステム)
 3.付記
 <1.コミュニケーションシステムにおける状態の提示>
  <コミュニケーションシステム>
 従来、多地点(3地点以上)を接続し、通信を行うシステム(例えばTV電話会議システム)があった。このようなシステムにより、多地点を1つのグループとして、グループ内の多様なコミュニケーションが可能になる。例えば、複数の相手に対して同時に話しかけたり、異なる地点間の複数の会話を並行して行ったりすることができる。
 このような通信システムにおいて、例えば、特許文献1に記載のように、空間のつながりに3次元的表現を用いることで多数の通信相手との距離を演出し、より快適なコミュニケーションを実現することが提案された。
 しかしながら、特許文献1に記載の方法では、自身と通信先との通信の情報、または、通信先同士の通信の情報が個別に提示されるため、それぞれの通信の状況を個別に把握することはできるものの、多地点間の通信の状態の全体を把握することが困難であった。例えば、多地点間の通信の状態の全体を把握するためには、ユーザは、自身と通信先との通信の情報を表示させて、その通信の状態を把握し、次に、通信先の通信の情報を表示させて、その通信の状態を把握する等、煩雑な作業が必要であった。また、通信の状態は、時々刻々と変化するため、このような方法では通信の状態を正しく把握することが困難になるおそれもあった。
  <多地点間通信の状態の提示>
 そこで、ある端末装置と他の端末装置との間の通信の状態と、複数の他の端末装置の間の通信の状態とを示す画像を表示するようにする。
 例えば、端末装置(例えば通信装置)間で行われる通信に関する情報を受信し、その受信された情報に基づいて、ある端末装置(例えば第1の通信装置)と他の端末装置(例えば他の通信装置)との間の通信の状態と、複数の他の端末装置の間の通信の状態とを示す画像を生成し、その生成された画像を表示するようにする。
 例えば、情報処理装置において、端末装置(例えば通信装置)間で行われる通信に関する情報を受信する受信部と、その受信部により受信された情報に基づいて、ある端末装置(例えば第1の通信装置)と他の端末装置(例えば他の通信装置)との間の通信の状態と、複数の他の端末装置の間の通信の状態とを示す画像を生成する生成部と、その生成部により生成された画像を表示する表示部とを備えるようにする。
 このようにすることにより、ユーザは、その表示された画像から、各端末装置間の通信の状態を把握することができる。つまり、多地点間の通信の状態の全体をより容易に把握することができる。
 なお、このような画像の表示は、端末装置(例えば第1の通信装置)において行うようにしてもよいし、端末装置以外の装置で行うようにしてもよい。つまり、上述の情報処理装置は、ある端末装置(例えば第1の通信装置)であってもよいし、端末装置以外の装置であってもよい。
 また、上述の他の端末装置(他の通信装置)は、第2の端末装置(例えば第2の通信装置)および第3の端末装置(第3の通信装置)を含むようにしてもよい。他の端末装置の数は、2以上であれば任意である。
  <端末装置外観>
 以上のような端末装置の外観の例を図1に示す。図1に示される端末装置100は、本技術を適用した情報処理装置(または通信装置)の一態様であり、多地点(3以上の端末装置)間の通信が可能なコミュニケーションシステムにおいて、コミュニケーションをとるユーザが操作する端末装置である。
 図1に示されるように、端末装置100の筐体101は、テーブル状の形状を有しており、その上面101Aは、入力インタフェースとして利用される。筐体101上部にはアーム102が設けられており、そのアーム102には、撮像部111、撮像部112、および投影部122が設けられている。さらに、筐体101の正面には表示部121が設けられている。ユーザ131は、この端末装置100を操作して、他の端末装置100のユーザとのコミュニケーションをとる。
 撮像部111は、端末装置100を操作するユーザ131(特に顔)周辺を撮像する。得られた撮像画像(ユーザ131を含む撮像画像)は、他の端末装置100に送信される。このコミュニケーションシステムは多地点(3以上の端末装置100)間の通信が可能であるので、この端末装置100において生成された撮像画像は、複数地点(2以上の端末装置100)に供給され得る。
 表示部121は、他のユーザの様子等を示す画像を表示する。例えば、他の端末装置100において撮像された、その端末装置100のユーザを含む撮像画像が、この端末装置100に供給され、表示部121に表示される。このコミュニケーションシステムは多地点(3以上の端末装置100)間の通信が可能であるので、この端末装置100には、複数の他の端末装置100のそれぞれにおいて生成された撮像画像(それぞれのユーザ(他のユーザとも称する)を含む撮像画像)が供給され得る。つまり、表示部121は、複数の他の端末装置100のそれぞれにおいて生成された撮像画像を表示し得る。
 また、図示は省略するが筐体101にはマイクロホンやスピーカも設けられており、音声情報も、上述の画像と同様に端末装置100間で授受され、出力され得る。以上のように、画像や音声を授受することにより、端末装置100(のユーザ)間のコミュニケーションが実現される。つまり、多地点間のコミュニケーションが実現される。
 さらに、共有データ等、画像や音声以外の情報も端末装置100間で授受することができる。例えば、テキストデータ、表データ、プレゼンテーションデータ、動画像、静止画像、スライドショー等、様々なコンテンツデータを端末装置100間で授受することができる。例えば、このように端末装置100間で授受されたデータ(複数の端末装置100間で供給されたデータ)を表示部121に表示させ、資料等として、コミュニケーションに利用することもできる。
 投影部122は、筐体101の上面101Aに画像を投影する。例えば投影部122は、キーボードやGUI(Graphical User Interface)等の入力インタフェースの画像を投影する。撮像部112は、上面101Aの、図中点線枠で示される、このような画像が投影された領域101Bを撮像する。この撮像画像から、投影された入力インタフェースの画像に対するユーザ131の操作が検出され、その検出された操作に応じた情報や指示等が入力として受け付けられる。つまり、上面101Aの領域101Bが、仮想的な入力インタフェースとして機能する。なお、投影部122が投影する画像は任意であり、入力インタフェースの画像以外であってもよい。もちろん、入力インタフェースの画像とその他の画像とが混在していてもよい。例えば、他の端末装置100から送信された情報が、この投影部122により画像として領域101Bに投影されるようにしてもよい。
  <通信の状態を示す画像の表示>
 以上のような端末装置100において、表示部121は、通信相手である他の端末装置100から送信される撮像画像(他のユーザの画像)とともに、各端末装置100間の通信の状態を示す画像も表示する。すなわち、表示部121は、この端末装置100(例えば、第1の通信装置)と他の端末装置100(例えば、第2の通信装置または第3の通信装置)との間の通信の状態と、複数の他の端末装置100(例えば、第2の通信装置及び第3の通信装置)の間の通信の状態(つながり感とも称する)を示す画像を表示する。
 このようにすることにより、ユーザは、その表示された画像から、各端末装置間の通信の状態を把握することができる。つまり、多地点間の通信の状態の全体をより容易に把握することができる。
 例えば、その画像が、この端末装置100である第1の通信装置を示す第1の位置と他の端末装置100の1つである第2の通信装置を示す第2の位置とを連結する第1のコンテンツと、他の端末装置100の1つである第3の通信装置を示す第3の位置と第2の位置とを連結する第2のコンテンツとを含むようにしてもよい。
 このようにすることにより、ユーザは、その表示された画像に含まれる第1のコンテンツから、この端末装置100と他の端末装置100との間の通信の状態をより容易に把握することができる。また、ユーザは、その表示された画像に含まれる第2のコンテンツから、他の端末装置100同士の間の通信の状態をより容易に把握することができる。つまり、多地点間の通信の状態の全体をより容易に把握することができる。
 なお、上述の第1のコンテンツおよび第2のコンテンツは、どのようなコンテンツであってもよい。例えば、「道」の画像であってもよい。つまり、第1のコンテンツは、第1の地点と第2の地点とを連結する道の画像であってもよいし、第2のコンテンツは、第2の地点と第3の地点とを連結する道の画像であってもよい。
 また、表示される画像における、第1の地点乃至第3の地点の場所は任意である。例えば、第1の地点は、その画像の下端としてもよい。また、例えば、第1の地点乃至第3の地点は、それぞれの通信装置を示すコンテンツ(例えば「家」の画像)の位置であってもよい。
  <通信の状態(つながり感)>
 通信の状態(つながり感)とは、コミュニケーションのし易さを表す情報であり、例えば通信環境を表すパラメータや接続状況を表すパラメータ等を用いて表現し得る情報である。通信環境を表すパラメータは、例えば、通信速度や帯域幅等の、通信路(ネットワークや通信デバイス等)に関するパラメータを含む。接続状況を表すパラメータは、例えば、端末装置100間におけるコミュニケーションをとるための通信を行うことができる状態であるセッションの状態、データの授受を行うことができるか否かを示す通信の可否、レートの変動を示す通信の安定度、データの伝送時間を示す遅延量等の、データの授受に関するパラメータを含む。もちろん、通信の状態(つながり感)を表すパラメータは、コミュニケーションのし易さを表すことができるものであればどのようなものであってもよく、上述の例に限定されない。
  <セッションの状態の提示>
 例えば、つながり感として、通信装置間におけるコミュニケーションをとるための通信を行うことができる状態であるセッションの状態が提示されるようにしてもよい。図2は、表示部121に画像150が表示されている様子を示している。この画像150は、通信(コミュニケーション)を行う多地点を仮想空間内に3次元的に表現し、さらにその多地点間のつながり感をその仮想空間内において表現する画像である。
 例えば、図2の例の画像150の場合、家151と家154とが仮想空間内に3次元的に配置されている。この家151は、通信相手(コミュニケーションの相手)であるユーザ153の地点(すなわち、ユーザ153の端末装置100)を示す。つまり、例えば、ユーザ153の端末装置100を第2の通信装置とする場合、この家151が第2の地点を示す。また、家154は、他の通信相手(コミュニケーションの他の相手)であるユーザ156の地点(すなわち、ユーザ156の端末装置100)を示す。つまり、例えば、ユーザ156の端末装置100を第3の通信装置とする場合、この家154が第3の地点を示す。家151の正面には、ユーザ153を撮像した撮像画像である通信先画像152が表示される。家154の正面には、通信先画像155は、ユーザ156を撮像した撮像画像である通信先画像155が表示される。
 また、画像150においては、各地点間のセッションが確立された状態が、仮想空間内の道として示される。例えば、画像150の下端(第1の位置)と家151とを繋ぐ(連結する)道157は、第1の位置と第2の位置とを連結する第1のコンテンツであり、この端末装置100とユーザ153の端末装置100との間のセッションが確立された状態を示す。また、画像150の下端と家154とを繋ぐ道158は、この端末装置とユーザ156の端末装置100との間のセッションが確立された状態を示す。さらに、家151と家154とを繋ぐ道159は、第3の位置と第2の位置とを連結する第2のコンテンツであり、ユーザ153の端末装置100と、ユーザ156の端末装置100との間のセッションが確立された状態(通信装置間におけるコミュニケーションをとるための通信を行うことができる状態)を示す。
 なお、セッションが切れている場合、すなわち通信装置間におけるコミュニケーションをとるための通信を行うことができない状態の場合、そのセッションに対応する仮想空間内の道が消去される(表示されない)。例えば、この端末装置100とユーザ153の端末装置100との間のセッションが切れている場合、道157が表示されない。また、この端末装置100とユーザ156の端末装置100との間のセッションが切れている場合、道158が表示されない。さらに、ユーザ153の端末装置100とユーザ156の端末装置100との間のセッションが切れている場合、道159が表示されない。
 このように、画像150においては、仮想空間内の道の有無により、セッションの状態(通信装置間におけるコミュニケーションをとるための通信を行うことができる状態であるか否か)が示される。したがって、通信を行う各端末装置100間のセッションの状態をより容易に把握することができる。つまり、多地点間のセッションの状態の全体をより容易に把握することができる。これにより、例えば、セッションが未確立の状態が存在する場合に、その要因となる装置をより容易に推定することができる。
 例えば、道157および道159が表示されていなければ、これらのセッション切断(セッション未確立)の要因がユーザ153の端末装置100(家151に対応する端末装置)にあると推定することができる。また、道158および道159が表示されていなければ、これらのセッション切断(セッション未確立)の要因がユーザ156の端末装置100(家154に対応する端末装置)にあると推定することができる。また、道157および道158が表示されていなければ、これらのセッション切断(セッション未確立)の要因がこの端末装置100にあると推定することができる。さらに、道157乃至道159が表示されていなければ、これらのセッション切断(セッション未確立)の要因がサーバにあると推定することができる。
 例えば、この端末装置100と通信相手の端末装置100との通信の状態のみが表示部121に表示されている場合、通信相手の端末装置100同士の間の通信の状態を把握することができないので、上述のようなセッション切断(セッション未確立)の要因の特定をすることは困難である。また、通信相手の端末装置100同士の間の通信の状態のみが表示部121に表示されている場合も、この端末装置100と通信相手の端末装置100との通信の状態を把握することができないので、上述のようなセッション切断(セッション未確立)の要因の特定をすることは困難である。
 画像150においては、この端末装置100と通信相手の端末装置100との通信の状態と、通信相手の端末装置100同士の間の通信の状態との両方が示されるので、上述のように、セッション切断(セッション未確立)の要因となる装置をより容易に推定することができる。
 なお、以上のようなセッションの状態に関する情報が、通信を行う端末装置100に供給され、コミュニケーションをとるユーザ131に提示されることにより、ユーザ131は、コミュニケーションにおいて、そのセッションの状態の変化に即時的に対応することができる。
 例えば、ある通信相手の端末装置100が要因となりセッションが切断された場合、上述のようにより容易にその端末装置100がセッション切断の要因であることが推定できれば、ユーザ131は、そのユーザとのコミュニケーションを諦め、そのセッションが再開されるまで他の通信相手とのコミュニケーションに専念することができる(例えば、不要な呼びかけや不要な復旧作業等を省略することができる)。また、例えば、この端末装置100が要因となりセッションが切断された場合、上述のようにより容易にこの端末装置100がセッション切断の要因であることが推定できれば、ユーザ131は、より早期に、セッションを再確立するための作業に専念することができる(例えば、不要な呼びかけ等を省略することができる)。
  <通信の安定度の提示>
 また、つながり感として、レートの変動を示す通信の安定度が提示されるようにしてもよい。例えば、通信の安定度を道の太さ(すなわちコンテンツの幅)として示すようにしてもよい。例えば、アプリケーションの仕様やネットワーク障害等の要因により通信の安定度が低い場合、すなわち、レートの変動が大きい場合、画像150において、その通信に対応する道がより細く表現されるようにしてもよい。つまり、例えば、通信の安定度が高い程(レートの変動が小さい程)、その通信に対応する道が太く表現され、通信の安定度が低い程(レートの変動が大きい程)、その通信に対応する道が細く表現されるようにしてもよい。
 例えば、道157の太さが、この端末装置100とユーザ153の端末装置100との間の通信の安定度を示すようにしてもよい。また、道158の太さが、この端末装置100とユーザ156の端末装置100との間の通信の安定度を示すようにしてもよい。さらに、道159の太さが、ユーザ153の端末装置100とユーザ156の端末装置100との間の通信の安定度を示すようにしてもよい。
 このようにすることにより、各端末装置100間の通信の安定度をより容易に(より直感的に)把握することができる。つまり、多地点間の通信の安定度の全体をより容易に把握することができる。
 なお、以上のような通信の安定度に関する情報が、通信を行う端末装置100に供給され、コミュニケーションをとるユーザ131に提示されることにより、ユーザ131は、コミュニケーションにおいて、その通信の安定度(の変化)に即時的に対応することができる。
 例えば、ある通信相手の端末装置100との通信の安定度が低い(または低下した)場合、ユーザ131は、その通信により授受する情報量を低減させたり(例えば会話を少なくする等)、授受した情報の記録をより頻繁に行うようにしたりすることができる。また、通信相手の端末装置100間の通信の安定度が低い(または低下した)場合、ユーザ131は、その通信相手間のコミュニケーションを補助するように、両通信相手とのコミュニケーションを図ることができる(例えば、会話を中継する等)。
  <不通状態の提示>
 また、つながり感として、通信が、全てのデータの授受を行うことができない不通の状態であるか否かが提示されるようにしてもよい。例えば、通信が不通の状態(全てのデータの授受を行うことができない状態)を、図3のように、道の切断や道上に置かれた障害物として示すようにしてもよい。図3の例の場合、画像150において、仮想空間内の道159の上に岩161が置かれている。この岩161は、道159を塞ぎ、この道159が示すセッションにおける通信が不通であることを示している。例えば、アプリケーションの仕様やネットワークの障害等の要因により、端末装置100間の通信が不通となる場合(その端末装置100間で全てのデータの授受を行うことができない場合)、画像150において、岩161のような障害物がそのセッションに対応する道上に置かれる。
 このようにすることにより、各セッションが通信不可能な状態であるか否か(全てのデータの授受を行うことができない状態であるか否か)をより容易に把握することができる。つまり、多地点間の通信が不可能な状態であるか否かの全体をより容易に把握することができる。
 なお、以上のような通信不可能な状態であるか否かに関する情報が、通信を行う端末装置100に供給され、コミュニケーションをとるユーザ131に提示されることにより、ユーザ131は、コミュニケーションにおいて、その通信不可能な状態であるか否か(の変化)に即時的に対応することができる。
 例えば、図3のように、通信相手の端末装置100間の通信が不通となった場合、ユーザ131は、その通信相手間のコミュニケーションを補助するように、両通信相手とのコミュニケーションを図ることができる(例えば、会話を中継する等)。
  <通信遅延量の提示>
 また、つながり感として、データの伝送時間を示す通信の遅延量が提示されるようにしてもよい。例えば、通信の遅延量を、図4のように、道の長さ(道のり、すなわち、コンテンツの長さ)として示すようにしてもよい。図4の例の場合、画像150において、仮想空間内の道158がカーブし、その長さが他の道(道157や道159)に比べて長く表現されている。これは、この端末装置100とユーザ156の端末装置100との間の通信の遅延量(データの伝送時間)が、その他の端末装置100間の通信の遅延量(データの伝送時間)に比べて大きいことを示している。つまり、画像150においては、遅延量(データの伝送時間)が、道の長さ(道を移動する移動時間)として示されている。
 このようにすることにより、各通信の遅延量をより容易に把握することができる。つまり、多地点間の通信の遅延量の全体をより容易に(より直感的に)把握することができる。したがって、各通信におけるタイムラグやエラーの発生等をより容易に推定することができる。
 なお、以上のような通信の遅延量に関する情報が、通信を行う端末装置100に供給され、コミュニケーションをとるユーザ131に提示されることにより、ユーザ131は、コミュニケーションにおいて、その通信の遅延量(の変化)に即時的に対応することができる。
 例えば、図4のように、ユーザ156の端末装置100との通信の遅延量が増大した場合、ユーザ131は、その遅延量に合わせるようにユーザ153とのコミュニケーションの速度も低減させる(例えば、会話の頻度を低減させる)等して、システム全体のコミュニケーションが円滑に進むように図ることができる。
  <動物体による提示>
 なお、つながり感を示す画像は、任意であり、上述の例(道)以外であってもよい。例えば、図5のように、動物体の移動によりつながり感が示されるようにしてもよい。つまり、画像150において、この端末装置100と他の端末装置100との間のつながり感が、画像150の下端(第1の地点)と他の端末装置100を示す絵柄(例えば、家151(第2の地点)や家154(第3の地点)等)との間を移動する動物体として示され、複数の他の端末装置100の間のつながり感が、他の端末装置100を示す絵柄同士の間(例えば第2の地点と第3の地点との間)を移動する動物体として示されるようにしてもよい。
 図5の例の場合、画像150において、各通信のつながり感が、鳥の移動(行き来)により示されている。例えば、画像150において、点線矢印171Aのように移動する鳥171により、この端末装置100とユーザ153の端末装置100とのつながり感が示される。また、点線矢印172Aのように移動する鳥172により、この端末装置100とユーザ156の端末装置100とのつながり感が示される。さらに、点線矢印173Aのように移動する鳥173により、ユーザ153の端末装置100とユーザ156の端末装置100とのつながり感が示される。
 このような動物体によっても、上述した道の場合と同様に、各端末装置100間のつながり感を表すことができる。したがって、多地点間のつながり感の全体をより容易に把握することができる。
 なお、このような動物体としての鳥を表示するか表示しないかにより、通信装置間におけるコミュニケーションをとるための通信を行うことができる状態であるセッションの状態(セッションが確立されているか否か)を示すようにしてもよい。例えば、図5の画像150において、この端末装置100と他の端末装置100との間のセッションが確立された状態が、画像150の下端と他の端末装置100を示す絵柄(例えば、家151や家154等)との間を移動する動物体として示され、複数の他の端末装置100の間のセッションが確立された状態が、他の端末装置100を示す絵柄(例えば、家151や家154等)同士の間を移動する動物体として示されるようにしてもよい。
 このような動物体によっても、上述した道の場合と同様に、各端末装置100間のセッションの状態を表すことができる。したがって、多地点間のセッションの状態の全体をより容易に把握することができる。
 また、レートの変動を示す通信の安定度、全てのデータの授受を行うことができない通信不可能な状態、およびデータの伝送時間を示す通信の遅延量の内の少なくとも1つが、各セッションに対応する鳥の動き方により示されるようにしてもよい。例えば、鳥の蛇行度合いによって通信の安定度を表すようにしてもよい。また、鳥が通信相手の家以外に向かって移動することにより、通信が不通であることを示すようにしてもよい。さらに、鳥の移動速度によって通信の遅延量を表すようにしてもよい。また、鳥の動き方の代わりに、鳥の大きさ、形状、色、模様等によって、通信の安定度、セッションの通信不可能な状態、通信の遅延量等が示されるようにしてもよい。
 このような動物体の動き方によっても、上述した道の場合と同様に、各端末装置100間の、通信の安定度、セッションの通信不可能な状態、通信の遅延量等を表すことができる。したがって、多地点間のこれらの状態の全体をより容易に把握することができる。
 なお、鳥の移動の向きは、図5の例の逆(点線矢印171A乃至点線矢印173Aのそれぞれの逆向き)であってもよいし、地点間を往復するようにしてもよい。また、動物体は任意であり、上述の鳥の例に限定されない。例えば、光る玉状の動物体であってもよい。
 このように動物体の場合も、上述した道の場合と同様に、このような画像150が、通信を行う端末装置100に供給され、コミュニケーションをとるユーザ131に提示されることにより、ユーザ131は、コミュニケーションにおいて、そのつながり感(の変化)に即時的に対応することができる。
  <シンボルによる提示>
 また、例えば、図6のように、シンボルによりつながり感が示されるようにしてもよい。つまり、画像150において、各通信のつながり感が、その通信を行う端末装置100のシンボルを用いて示されるようにしてもよい。このようにすることにより、上述した道の場合と同様に、多地点間のつながり感の全体をより容易に把握することができる。
 図6の例の場合、画像150において、家151の通信先画像152の上には、三角形のシンボル181が表示されている。このシンボル181は、家151(つまりユーザ153の端末装置100)を識別するための図柄(絵柄)である。また、家154の通信先画像155の上には、四角形のシンボル182が表示されている。このシンボル182は、家154(つまりユーザ156の端末装置100)を識別するための図柄(絵柄)である。同様に、この端末装置100に対しても、円形のシンボルが割り当てられている。
 図6の例の場合、画像150の下端付近に、この端末装置100用のシンボル表示領域191が設けられている。また、家151の下側に、ユーザ153の端末装置100用のシンボル表示領域192が設けられている。さらに、家154の下側に、ユーザ156の端末装置100用のシンボル表示領域193が設けられている。
 そして、シンボル表示領域191に三角形のシンボルが表示され、シンボル表示領域192に円形のシンボルが表示されることにより、この端末装置100とユーザ153の端末装置100との間のセッションが確立されていること(通信装置間におけるコミュニケーションをとるための通信を行うことができる状態であること)が示されている。また、シンボル表示領域191に四角形のシンボルが表示され、シンボル表示領域193に円形のシンボルが表示されることにより、この端末装置100とユーザ156の端末装置100との間のセッションが確立されていることが示されている。さらに、シンボル表示領域192に四角形のシンボルが表示され、シンボル表示領域193に三角形のシンボルが表示されることによりユーザ153の端末装置100とユーザ156の端末装置100との間のセッションが確立されていることが示されている。つまり、確立されたセッションの通信相手のシンボルがシンボル表示領域に表示されている。
 このように、この端末装置100と他の端末装置100との間のセッションの状態(セッションが確立されているか否か等)、および、複数の他の端末装置100の間のセッションの状態が、各端末装置100を識別するシンボルを用いて示されるようにしてもよい。このようにすることにより、上述した道の場合と同様に、各端末装置100間のセッションの状態を表すことができる。したがって、多地点間のセッションの状態の全体をより容易に把握することができる。
 なお、シンボルの点灯、消灯、点滅、点滅のパタン、点灯(点滅)されたシンボルの色、明るさ、濃度、若しくは大きさ、それらの組み合わせ、または、それら以外の表示方法との組み合わせ等により、セッションの状態(セッションが確立されているか否か等)を示すようにしてもよい。
 同様に、レートの変動を示す通信の安定度、全てのデータの授受を行うことができない通信不可能な状態、およびデータの伝送時間を示す通信の遅延量の内の少なくとも1つが、各セッションに対応する、上述のようなシンボル(の表示状態)により示されるようにしてもよい。例えば、シンボルの表示、点灯、消灯、点滅、点滅のパタン、点灯(点滅)されたシンボルの色、明るさ、濃度、若しくは大きさ、それらの組み合わせ、または、それら以外の表示方法との組み合わせ等により、これらの情報が示されるようにしてもよい。
 このようにすることにより、上述した道の場合と同様に、各端末装置100間についてこれらの情報(セッションの状態、通信の安定度、セッションの通信不可能な状態、通信の遅延量等)を表すことができる。したがって、多地点間のこれらの状態の全体をより容易に把握することができる。
 このようにシンボルを用いる場合も、上述した道の場合と同様に、このような画像150が、通信を行う端末装置100に供給され、コミュニケーションをとるユーザ131に提示されることにより、ユーザ131は、コミュニケーションにおいて、そのつながり感(の変化)に即時的に対応することができる。
  <コミュニケーションの状態を示す画像の表示>
 また、以上のような端末装置100において、表示部121が、この端末装置100と他の端末装置100との間のコミュニケーションの状態と、複数の他の端末装置100の間のコミュニケーションの状態を示す画像を表示するようにしてもよい。
 ここで、コミュニケーションとは、上述した端末装置100の間の通信を利用して情報を授受することにより行われるユーザ同士の意思疎通のことを示す。この授受される情報は、例えば、ユーザを撮像した撮像画像、ユーザの音声、共有データ等を含む。ただし、コミュニケーションは、単に、データのやり取りを示すのではなく、やり取りしたデータを用いた意思疎通を示す。つまり、例えばTV会議システムの場合、コミュニケーションは、そのシステムを用いて行われる会議内容を示す。また、コミュニケーションの状態とは、コミュニケーションがとられているか否か等を示す。
 多地点を結ぶ通信の場合、複数の通信相手に対して情報を発信することが可能であるため、特定の通信相手とコミュニケーションをとりたい場合であっても、全通信相手に対して情報を発信(データを送信)することにより、そのコミュニケーションを実現することが可能である。つまり、データの送信先をコミュニケーションの相手に限定する必要はない。換言するに、自分の端末装置100に対してデータが送信されたとしても、コミュニケーションの相手が自分であるとは限らない。例えば、ある通信相手が呼びかけや発話を行い、それを自分が確認した(その画像や音声が自分の端末装置100において出力された)としても、それが自分に対するものであるとは限らない(他の通信相手に対する呼びかけや発話であることもあり得る)。
 そこで、端末装置100の間の通信を利用して行われるコミュニケーションの相手を特定(または推定)し、各端末装置100の間で行われるコミュニケーションの状態を画像として示すようにする。例えば、図7に示される画像150のように、この端末装置100と他の端末装置100との間のコミュニケーションの状態と、複数の他の端末装置100の間のコミュニケーションの状態とを表示するようにする。図7の例の画像150は、この端末装置100とユーザ153の端末装置100との間、この端末装置100とユーザ156の端末装置100との間、および、ユーザ153の端末装置100とユーザ156の端末装置100との間のそれぞれのコミュニケーションの状態を表示し得る。
 換言するに、このような表示により、コミュニケーションをとる端末装置100が示される。
 コミュニケーションの状態は、例えば、動物体により示すようにしてもよい。例えば図7の場合、道159の上を人201が家154から家151に向かって歩いている(移動している)。この人201により、コミュニケーションがとられていることが示されている。また、この人201の位置または動き(移動元および移動先)により、そのコミュニケーションを行っているユーザがユーザ156とユーザ153であることが示されている。なお、より具体的には、人201の動き(移動元および移動先)により、そのコミュニケーションの向きがユーザ156からユーザ153に向かうものであること(例えば、ユーザ156からユーザ153に対して呼びかけが行われた等)が示されている。
 コミュニケーションの相手の特定(推定)方法は任意である。例えば、ユーザの撮像画像を解析してユーザが表示部121のどの部分に顔を向けているかを特定し、その部分(ユーザの顔の向きの先)に表示される家(通信先画像)のユーザをコミュニケーションの相手として特定(推定)するようにしてもよい。また、アイトラッキングによりユーザが表示部121のどの部分に視線を向けているかを特定し、その部分(ユーザの視線方向の先)に表示される家(通信先画像)のユーザをコミュニケーションの相手として特定(推定)するようにしてもよい。さらに、指向性マイクを利用してユーザの発話方向を特定し、その発話方向の先に表示される家(通信先画像)のユーザをコミュニケーションの相手として特定(推定)するようにしてもよい。
 このようにすることにより、各端末装置100(のユーザ)の間でとられるコミュニケーションの状態をより容易に(画像を切り替える等の煩雑な作業を必要とせずに)把握することができる。換言するに、上述のような表示により、コミュニケーションをとる端末装置100が示される。したがって、どの端末装置100(のユーザ)の間でコミュニケーションがとられているかをより容易に把握することができる。つまり、多地点間のコミュニケーションの状態の全体をより容易に把握することができる。
 また、以上のようなコミュニケーションの状態に関する情報が、通信を行う端末装置100に供給され、コミュニケーションをとるユーザ131に提示されることにより、ユーザ131は、そのコミュニケーションの状態の変化に即時的に対応することができる。
 例えば、ユーザ131は、自分に対するコミュニケーションであるか否かを容易に把握することができるので、自分以外への呼びかけであれば応答を省略することができる。また、例えば、通信相手同士で行われるコミュニケーションの邪魔をしないように、そのコミュニケーションをとっている通信相手(図7の場合ユーザ153およびユーザ156)への呼びかけ等を控えることができる。
 さらに、コミュニケーションをとる通信相手を特定することができるので、ユーザ131は、どの通信相手がどのような情報を得ているかをより容易に(画像を切り替える等の煩雑な作業を必要とせずに)把握することができる。例えば、通信相手同士のコミュニケーションの状態を把握することができない場合、どの通信相手がどのような情報を得ているのかを把握することができないので、ユーザ131は、通信相手から問いかけがあった場合に、何の情報を前提とした問いかけであるのかを把握することが困難になり、スムーズにコミュニケーションを図ることができなくなる場合があり得る。図7の例のように、通信相手同士のコミュニケーションの状態も把握することができるようにすることにより、例えば、通信相手から、その通信相手が行ったコミュニケーションを踏まえた問いかけ等がユーザ131に対してあった場合に、ユーザ131は、その問いかけが何の情報に基づくものであるのかを容易に把握することができるので、より適切に応答することができる。
 また、図7の例の画像150のように、コミュニケーションの状態を、通信の状態と合わせて表現する(例えば、道159の上を歩く人201のように表現する)ことにより、どのような状況(通信の状態)で行われたコミュニケーションであるかもより容易に(画像を切り替える等の煩雑な作業を必要とせずに)把握することができる。例えば、通信の状態によってコミュニケーションが円滑に図られているか否か等をより容易に把握することができる。
 もちろん、コミュニケーションの状態の表現方法は任意であり、上述の人201以外の動物体(例えば図5の例のように鳥等)を用いて表現するようにしてもよい。また、動物体以外の表現方法もあり得る。例えば、道やシンボルの色、明るさ、濃度等により、コミュニケーションの状態を表現するようにしてもよい。
 さらに、コミュニケーションの状態とともに表現する通信の状態の表現方法も任意であり、上述の道以外であってもよい。例えば、動物体やシンボルを用いて通信の状態を表現するようにしてもよい。
  <ユーザの状態を示す画像の表示>
 また、以上のような端末装置100において、表示部121が、各端末装置100のユーザ(例えば、ユーザ131、ユーザ153、ユーザ156)の状態を示す画像を表示するようにしてもよい。
 ここで、ユーザの状態とは、例えば、音量、コミュニケーションの内容の理解度、情報発信要求、および、通信装置間におけるコミュニケーションをとるための通信を行うことができる状態であるセッションの終了を要求するセッション終了要求を含むようにしてもよい。例えば、各ユーザについて、音量、コミュニケーションの内容の理解度、情報発信要求、およびセッション終了要求の内の少なくとも1つを示す画像が表示部121に表示されるようにしてもよい。
 また、ユーザの状態は、アバタ(ユーザの分身となる仮想的なキャラクタ画像)を用いて表現するようにしてもよい。例えば、各ユーザについて、音量、コミュニケーションの内容の理解度、情報発信要求、およびセッション終了要求の内の少なくとも1つを示すアバタを含む画像が表示部121に表示されるようにしてもよい。
 例えば、図8の画像150において、通信先画像152内に、ユーザ153のアバタ211-1が表示されている。アバタ211-1は、正面(ユーザ131の方)を向き、手で耳を塞いでいる。手で耳を塞ぐ身ぶりは、音量が大き過ぎることを示している。また、アバタの向きは、その状態に対応する通信の相手を示している。つまり、アバタ211-1は、この端末装置100から送信された音声の音量が大きすぎることを示している。このような情報が、その通信の当事者であるこの端末装置100のユーザ131に提示されるので、ユーザ131は、声を小さくする等の対応を即時的に行うことができる。
 また、通信先画像152内には、ユーザ153のアバタ211-2も表示されている。このアバタ211-2は、画像右側(ユーザ156の方)を向き、手で耳を塞いでいる。つまり、アバタ211-2は、ユーザ156の端末装置100から送信された音声の音量が大きすぎることを示している。このような情報が、その通信の当事者でない(第三者である)この端末装置100のユーザ131に提示されるので、ユーザ131は、ユーザ156に対して声を小さくするように要請する等の対応を即時的に行うことができる。
 なお、図8の例の場合、アバタ211-1およびアバタ211-2の両方が手で耳を塞いでいるので、ユーザ153の端末装置100においては、全ての音声の音量が大きすぎることが推定し得る。このように、ユーザ131とのコミュニケーションだけでなく、通信相手同士のコミュニケーションによるユーザの状態もユーザ131に提示されるので、ユーザ131は、そのユーザの状態の要因をより推定し易くなり、より適切な対応を行うことができる。例えば、図8の場合、ユーザ131は、ユーザ153に対して、音量設定を下げるように提案することができる。
 なお、アバタ211-1およびアバタ211-2を互いに区別して説明する必要が無い場合、アバタ211と称する。
 また、音量が小さすぎる場合は、例えば、アバタが耳の後ろに手を当てて、耳を澄ますような身振りによりそれを表現する。この場合も向きは、そのコミュニケーションの相手を示す。
 以上のように、アバタの身振りや向きにより音量の大小やそのコミュニケーションの相手を表現するようにしてもよい。もちろん、この音量の大小を表現する身振りは任意であり、上述の例に限定されない。また、アバタの表情等により、音量の大小を表現するようにしてもよい。このようなアバタを用いた表現により、音量の大小をより容易に(より直感的に)把握することができる。
 コミュニケーションの内容の理解度、情報発信要求、およびセッション終了要求等、その他の情報についてもこの音量の場合と基本的に同様である。アバタの向き、表情、身振り等により、これらの情報を表現するようにしてもよい。
 ユーザのコミュニケーションの内容の理解度を表現する身振りや表情等は、任意である。例えば、ユーザのコミュニケーションの内容の理解度が低い場合は、そのユーザのアバタが首を傾げたり、考える仕草をしたり、顔をしかめたり、「?」マークを表示したりするようにしてもよい。また、ユーザのコミュニケーションの内容の理解度が高い場合は、そのユーザのアバタが目を大きく開いたり、手を叩いたり、喜んだり、「!」マークを表示したりするようにしてもよい。この場合もアバタの向きによって、そのコミュニケーションの相手を表すようにしてもよい。
 このような情報がこの端末装置100のユーザ131に提示されるので、ユーザ131は、そのコミュニケーションの当事者である場合、説明をし直したり、説明を省略したりする等の対応を即時的に行うことができる。また、そのコミュニケーションの当事者でない(第三者である)場合、ユーザ131は、コミュニケーションの当事者に対して説明の追加や省略を要求したり、そのコミュニケーション内容を補助するような情報提供を行ったりする等の対応を即時的に行うことができる。
 情報発信要求を表現する身振りや表情等は、任意である。例えば、ユーザに情報発信要求がある場合(例えば発言したい場合)、そのユーザのアバタが手を挙げたり、口を開けたり、大きくなったり、光ったりするようにしてもよい。例えば、図8の例の画像150において、通信先画像155内に、ユーザ156のアバタ212が表示されている。そして、このアバタ212は、正面(ユーザ131の方)を向き、手を挙げている。手を挙げる身ぶりは、そのユーザに情報発信要求がある(例えば発言したがっている)ことを示している。
 また、アバタ212の向きによって、その要求先を示すようにしてもよい。図8の例の場合、アバタ212は、ユーザ131に対してユーザ156による情報発信を要求している。ユーザ153に対して情報発信を要求する場合、アバタ212は、画像左側(ユーザ153の方)を向くようにすればよい。
 このような情報がこの端末装置100のユーザ131に提示されるので、ユーザ131は、そのコミュニケーションの当事者である場合、例えば自身の発言を控えたり、ユーザ156に発言を勧めたりする等の、ユーザ156に対して情報発信を促す対応を即時的に行うことができる。また、そのコミュニケーションの当事者でない(第三者である)場合、ユーザ131は、例えば当事者に対して発言を控えさせたり、ユーザ156に発言を勧めたりする等の、ユーザ156に対して情報発信を促す対応を即時的に行うことができる。
 セッション終了要求を表現する身振りや表情等は、任意である。例えば、ユーザにセッション終了要求(会話を終了したい、帰宅したい等)がある場合、そのユーザのアバタが下を向いたり、後ろを見たり、腕時計を見たり、上着を羽織る等の帰り支度を行ったりするようにしてもよい。また、アバタ212の向きによって、その要求先を示すようにしてもよい。
 このような情報がこの端末装置100のユーザ131に提示されるので、ユーザ131は、例えば会話の終了を促すような発言を行ったり、挨拶を行ったりする等の対応を即時的に行うことができる。
 以上のようにアバタを用いて表現することにより、ユーザの状態をより容易に(より直感的に)把握することができる。例えば、ユーザ自身の表現のみによりユーザの状態を表すようにすると、ユーザの表現の大きさや仕方に個人差があるため、ユーザの撮像画像を介した目視では、ユーザの状態や向きの識別が困難になるおそれがある。また、ユーザに所定の身振りを行わせることによりそのユーザの状態を表現させる方法の場合、ユーザがその身振りを記憶する等の煩雑な作業が必要になる。また、ユーザが身振りを間違えたり、識別困難な身振りを行ったりする可能性もある。アバタを用いて表現することにより、このような不具合を抑制し、適切な表現を行うことができる。また、アバタを用いて間接的な表現とすることにより、コミュニケーションの相手の感情への影響を抑制することもできる。
 なお、ユーザの状態の判定方法は任意である。例えば、音量の大小は、その端末装置100から出力される音声の音量に基づいて判定するようにしてもよい。また、ユーザの撮像画像を解析してそのユーザの表情や仕草等から推定するようにしてもよい。さらに、例えば温度センサやアイトラッカ等、その他のセンサを用いてユーザの状態を検出し(生体センシングを行い)、その検出した情報に基づいて推定するようにしてもよい。また、そのユーザが入力したユーザ指示等に基づいて判定するようにしてもよい。
 また、例えば、コミュニケーションの内容の理解度や情報発信要求は、ユーザの撮像画像を解析して、そのユーザの表情や仕草等から判定するようにしてもよい。また、例えば温度センサやアイトラッカ等、その他のセンサを用いてユーザの状態を検出し(生体センシングを行い)、その検出した情報に基づいて判定するようにしてもよい。さらに、そのユーザが入力したユーザ指示等に基づいて判定するようにしてもよい。
 さらに、例えば、セッション終了要求は、ユーザの撮像画像を解析して、そのユーザの表情や仕草等から判定するようにしてもよい。また、例えば温度センサやアイトラッカ等、その他のセンサを用いてユーザの状態を検出し(生体センシングを行い)、その検出した情報に基づいて判定するようにしてもよい。さらに、そのユーザが入力したユーザ指示等に基づいて判定するようにしてもよい。また、そのユーザのスケジュール等、その他の情報に基づいて判定するようにしてもよい。例えば、予め設定されたスケジュールにおいて帰宅時刻として設定された時刻になる(またはその時刻に近くなると)と、そのユーザにセッション終了要求があると判定されるようにしてもよい。
 なお、以上のように表現するユーザの状態は、任意であり、上述の例に限定されない。例えば、ユーザのコミュニケーションの話題に対する興味の度合い等が含まれていてもよい。
 また、上述のユーザの状態を、上述の通信の状態やコミュニケーションの状態等とともに表現するようにしてもよい。このようにすることにより、ユーザの状態とともに通信の状態やコミュニケーションの状態もより容易に把握することができるので、より多様な状況の把握をより容易に行うことができる。例えば、ユーザの状態の要因の推定をより容易かつより正確に行うことができる。
  <通信公開制御>
 なお、以上のような多地点間の通信を行うシステムにおいて、通信の公開を制御することができるようにしてもよい。例えば、システムに参加する複数の端末装置の内の、一部の端末装置間の通信を、その他の端末装置に対して非公開とすることができるようにしてもよい。例えば、図2の場合、ユーザ153の端末装置100とユーザ156の端末装置100との間の通信(画像や音声等の授受)を、この端末装置100(そのコミュニケーションの第三者であるユーザ131)に対して非公開とするようにしてもよい。さらに、このような設定(通信を公開するか非公開にするか)を制御する(公開するように設定したり、非公開にするように設定したりする)ことができるようにしてもよい。
 このようにすることにより不適切な情報提供を抑制することができ、より安全なコミュニケーションを図ることができる。
  <状態公開制御>
 また、上述したような各種状態(例えば、通信の状態、コミュニケーションの状態、ユーザの状態等)の公開を制御することができるようにしてもよい。例えば、システムに参加する複数の端末装置の内の、一部の端末装置間の通信の状態を、その他の端末装置に対して非公開とすることができるようにしてもよい。また、例えば、システムに参加する複数の端末装置の内の、一部の端末装置間のコミュニケーションの状態を、その他の端末装置に対して非公開とすることができるようにしてもよい。さらに、例えば、ユーザの状態を、他の端末装置(一部または全部)に対して非公開とすることができるようにしてもよい。さらに、このような設定(状態を公開するか非公開にするか)を制御する(公開するように設定したり、非公開にするように設定したりする)ことができるようにしてもよい。
 このようにすることにより不適切な情報提供を抑制することができ、より安全なコミュニケーションを図ることができる。
  <コミュニケーションの円滑化>
 以上のような各種状態を提示して、多地点間の通信に関する各種状態の全体を把握することができるようにすることにより、多地点間のコミュニケーションがより円滑に行われるようにすることができる。
 <2.第1の実施の形態>
  <コミュニケーションシステム>
 次に、以上のようなコミュニケーションを実現するシステムの構成について説明する。図9は、本技術を適用した通信システムの一態様であるコミュニケーションシステムの主な構成の一例を示す図である。図9に示されるコミュニケーションシステム300は、多地点間のコミュニケーションを実現するシステムである。
 図9に示されるように、コミュニケーションシステム300は、サーバ301、並びに、端末装置100-1乃至端末装置100-3を有する。これらのサーバ301、並びに、端末装置100-1乃至端末装置100-3は、ネットワーク302を介して互いに通信可能に接続されている。
 端末装置100-1乃至端末装置100-3は、本技術を適用した情報処理装置の一態様であり、図1に示されるような外観を有する。なお、端末装置100-1乃至端末装置100-3を互いに区別して説明する必要が無い場合、端末装置100と称する。各端末装置100は、コミュニケーションを行うユーザにより操作される。以下においては、端末装置100-1のユーザをユーザA、端末装置100-2のユーザをユーザB、端末装置100-3のユーザをユーザCと称する。
 各端末装置100は、有線通信若しくは無線通信、またはその両方によりネットワーク302に接続される。なお、図9においては、3台の端末装置100が示されているが、コミュニケーションシステム300が有する端末装置100の数は、3台以上であればよく、4台以上であってもよい。
 サーバ301は、本技術を適用した情報処理装置の一態様であり、多地点間の通信を実現するサービスを端末装置100に提供する。サーバ301は、有線通信若しくは無線通信、またはその両方によりネットワーク302に接続される。なお、図9においては、1台のサーバ301が示されているが、コミュニケーションシステム300が有するサーバ301の数は、任意であり、2台以上であってもよい。
 例えば、サーバ301は、各端末装置100とのセッションを確立し、その接続を管理する。
 また、サーバ301は、各端末装置100同士の通信を制御する。例えば、各端末装置100は、画像や音声等の通信データをサーバ301に向けて送信する。サーバ301は、その通信データを、適切な送信先(端末装置100)に送信する。
 さらに、サーバ301は、通信の状態、コミュニケーションの状態、ユーザの状態等、各種状態を管理する。例えば、サーバ301は、各端末装置100から供給される情報に基づいて、各種状態に関する情報を生成したり、必要に応じてその情報を適切な端末装置100に対して送信したりする。
 ネットワーク302は、任意の通信網であり、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク302が、1の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN(Wide Area Network)、LAN(Local Area Network)、Bluetooth(登録商標)規格に準拠した通信を行う無線通信網、NFC(Near Field Communication)等の近距離無線通信の通信路、赤外線通信の通信路、HDMI(High-Definition Multimedia Interface)(登録商標)やUSB(Universal Serial Bus)(登録商標)等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク302に含まれるようにしてもよい。
  <サーバ>
 図10は、サーバ301の主な構成例を示すブロック図である。図10に示されるように、サーバ301は、通信部321、接続管理部322、通信制御部323、および状態管理部324を有する。
 通信部321は、通信インタフェースであり、ネットワーク302に接続され、そのネットワーク302を介した他の装置(例えば、端末装置100)との通信に関する処理を行う。例えば、通信部321は、ネットワーク302を介して端末装置100から送信された通信データを受信し、その通信データに含まれる情報を、接続管理部322、通信制御部323、状態管理部324等に供給する。また、通信部321は、接続管理部322、通信制御部323、状態管理部324等から供給される通信データを、ネットワーク302を介して、その送信先となる端末装置100に送信する。
 接続管理部322は、各端末装置100とのセッションの状態の管理に関する処理を行う。例えば、接続管理部322は、端末装置100からの要求に応じて、セッションを確立したり、切断したりする。また、接続管理部322は、各端末装置100とのセッションの状態(換言するに、<1.コミュニケーションシステムにおける状態の提示>において説明した端末装置100間のセッションの状態)を記憶し、管理する。さらに、接続管理部322は、必要に応じてその情報を通信制御部323に提供することができる。
 通信制御部323は、多地点間の通信、すなわち端末装置100の間の通信の制御に関する処理を行う。例えば、通信制御部323は、端末装置100から送信される通信データを、通信部321を介して取得する。また、通信制御部323は、その通信データの送信先を特定する。さらに、通信制御部323は、その通信データを通信部321に供給し、特定した送信先に送信させる。
 また、通信制御部323は、端末装置100から送信される通信に関する情報の公開・非公開を制御する制御情報に基づいて、その通信の内容の公開・非公開を制御する。つまり、通信制御部323は、端末装置100からの要求に応じて、<1.コミュニケーションシステムにおける状態の提示>において説明したように、通信の内容を、第三者である他の端末装置100に対して公開したり、公開しないようにしたりする。
 状態管理部324は、例えば、<1.コミュニケーションシステムにおける状態の提示>において説明した、通信の状態、コミュニケーションの状態、ユーザの状態等、各種状態の管理に関する処理を行う。また、状態管理部324は、各端末装置100の間の通信に関する情報を、所望の端末装置100に向けて送信される通信データに含める。つまり、状態管理部324は、各端末装置100の間の通信に関する情報を、適宜、端末装置100に提供する。
 状態管理部324は、通信状態管理部331、コミュニケーション状態管理部332、およびユーザ状態管理部333を有する。
 通信状態管理部331は、<1.コミュニケーションシステムにおける状態の提示>において説明した通信の状態の管理に関する処理を行う。例えば、通信状態管理部331は、端末装置100から送信される通信データの送受信状況等に基づいて、各端末装置100の間の通信の状態を管理する。
 例えば、通信状態管理部331が、その通信の状態として、<1.コミュニケーションシステムにおける状態の提示>において説明した通信安定度を管理するようにしてもよい。また、通信状態管理部331が、その通信の状態として、<1.コミュニケーションシステムにおける状態の提示>において説明した通信不可能な状態を管理するようにしてもよい。さらに、通信状態管理部331が、その通信の状態として、<1.コミュニケーションシステムにおける状態の提示>において説明した通信の遅延量を管理するようにしてもよい。また、通信状態管理部331が、その通信の状態として、<1.コミュニケーションシステムにおける状態の提示>において説明した端末装置100間のセッションの状態を管理するようにしてもよい。その場合、通信状態管理部331は、接続管理部322が管理する各端末装置100とのセッションの状態に関する情報を用いて、この端末装置100間のセッションの状態を管理する。
 さらに、通信状態管理部331は、端末装置100の間の通信に関する情報として、その通信の状態に関する情報を、所望の端末装置100に向けて送信される通信データに含める。つまり、通信状態管理部331は、端末装置100の間の通信の状態に関する情報を、適宜、端末装置100に提供する。
 例えば、通信状態管理部331が、その通信の状態に関する情報として、<1.コミュニケーションシステムにおける状態の提示>において説明した通信の安定度に関する情報を、その通信データに含めるようにしてもよい。また、通信状態管理部331が、その通信の状態に関する情報として、<1.コミュニケーションシステムにおける状態の提示>において説明した通信不可能な状態を示す情報を、その通信データに含めるようにしてもよい。さらに、通信状態管理部331が、その通信の状態に関する情報として、<1.コミュニケーションシステムにおける状態の提示>において説明した通信の遅延量に関する情報を、その通信データに含めるようにしてもよい。
 コミュニケーション状態管理部332は、<1.コミュニケーションシステムにおける状態の提示>において説明したコミュニケーションの状態の管理に関する処理を行う。例えば、コミュニケーション状態管理部332は、端末装置100から送信される通信データの内容に基づいて、端末装置100間のコミュニケーションの状態を管理する。
 例えば、コミュニケーション状態管理部332が、そのコミュニケーションの状態として、<1.コミュニケーションシステムにおける状態の提示>において説明したコミュニケーションをとるユーザの端末装置100を管理するようにしてもよい。
 また、コミュニケーション状態管理部332は、端末装置100の間の通信に関する情報として、そのコミュニケーションの状態に関する情報を、所望の端末装置100に向けて送信される通信データに含める。つまり、コミュニケーション状態管理部332は、端末装置100の間のコミュニケーションの状態に関する情報を、適宜、端末装置100に提供する。
 例えば、コミュニケーション状態管理部332が、そのコミュニケーションの状態に関する情報として、<1.コミュニケーションシステムにおける状態の提示>において説明したコミュニケーションをとるユーザの端末装置100を示す情報を、その通信データに含めるようにしてもよい。
 ユーザ状態管理部333は、<1.コミュニケーションシステムにおける状態の提示>において説明したユーザの状態の管理に関する処理を行う。例えば、ユーザ状態管理部333は、端末装置100から送信される通信データの内容に基づいて、各端末装置100のユーザの状態を管理する。
 また、ユーザ状態管理部333は、端末装置100の間の通信に関する情報として、そのユーザの状態に関する情報を、所望の端末装置100に向けて送信される通信データに含める。つまり、ユーザ状態管理部333は、端末装置100のユーザの状態に関する情報を、適宜、端末装置100に提供する。
 例えば、ユーザ状態管理部333が、そのユーザの状態に関する情報として、<1.コミュニケーションシステムにおける状態の提示>において説明した音量に関する情報を、その通信データに含めるようにしてもよい。また、ユーザ状態管理部333が、そのユーザの状態に関する情報として、<1.コミュニケーションシステムにおける状態の提示>において説明したコミュニケーションの内容の理解度を示す情報を、その通信データに含めるようにしてもよい。さらに、ユーザ状態管理部333が、そのユーザの状態に関する情報として、<1.コミュニケーションシステムにおける状態の提示>において説明した情報発信要求を示す情報を、その通信データに含めるようにしてもよい。また、ユーザ状態管理部333が、そのユーザの状態に関する情報として、<1.コミュニケーションシステムにおける状態の提示>において説明したセッション終了要求を示す情報を、その通信データに含めるようにしてもよい。
 なお、図10においては、状態管理部324が通信状態管理部331乃至ユーザ状態管理部333を有するように説明したが、状態管理部324は、通信状態管理部331乃至ユーザ状態管理部333の内、少なくとも1つを有していればよい。つまり、状態管理部324は、<1.コミュニケーションシステムにおける状態の提示>において説明した、通信の状態、コミュニケーションの状態、ユーザの状態の内の1つ以上を管理し、その状態に関する情報を通信データに含めることができればよい。また、状態管理部324は、通信状態管理部331乃至ユーザ状態管理部333以外の状態管理部を有していてもよい。すなわち、状態管理部324は、<1.コミュニケーションシステムにおける状態の提示>において説明した各種状態以外の任意の状態も管理し、通信データに含めることができるようにしてもよい。
 また、状態管理部324は、端末装置100から送信される通信に関する情報の公開・非公開を制御する制御情報に基づいて、その通信の状態の公開・非公開を制御する。つまり、状態管理部324は、端末装置100からの要求に応じて、<1.コミュニケーションシステムにおける状態の提示>において説明したように、その通信に関する状態(例えば、通信の状態、コミュニケーションの状態、ユーザの状態等)を、第三者である他の端末装置100に対して公開したり、公開しないようにしたりする。
 なお、これらの処理部(通信部321乃至状態管理部324(通信状態管理部331乃至ユーザ状態管理部333))は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
  <端末装置>
 図11は、端末装置100の主な構成例を示すブロック図である。図11に示されるように、端末装置100は、通信部351、制御部352、入力部353、および出力部354を有する。
 通信部351は、通信インタフェースであり、ネットワーク302に接続され、後述する通信制御部361により制御されて、そのネットワーク302を介した他の装置(例えば、サーバ301)との通信に関する処理を行う。例えば、通信部351は、ネットワーク302を介してサーバ301から送信された通信データを受信し、受信した通信データを制御部352(後述する通信制御部361)に供給する。また、通信部351は、制御部352等から供給される通信データを取得し、取得した通信データを、ネットワーク302を介してサーバ301に向けて送信する。
 このサーバ301から送信される通信データには、例えば、上述したような、端末装置100の間の通信に関する情報等が含まれていてもよい。つまり、その場合、通信部351は、この端末装置100の間の通信に関する情報を受信する。
 また、この送受信する通信データには、例えば、端末装置100のユーザの撮像画像や音声等の、端末装置100間で授受するデータが含まれていてもよい。つまり、その場合、通信部351は、コミュニケーションをとるための通信を行う。
 さらに、この送信する通信データには、例えば、入力部353(後述する各種センサ)において検出されたユーザの状態に関する情報が含まれていてもよい。つまり、その場合、通信部351は、ユーザの状態に関する情報をサーバ301に送信する。
 制御部352は、通信等の各種処理の制御に関する処理を行う。また、制御部352は、通信制御部361、通信データ生成部362、および出力情報生成部363を有する。
 通信制御部361は、通信の制御に関する処理を行う。例えば、通信制御部361は、通信データ生成部362により生成された通信データを取得する。また、通信制御部361は、その通信データを通信部351に供給し、送信させる。さらに、通信制御部361は、通信部351を制御して、サーバ301から送信される通信データを受信させ、受信した通信データを取得する。また、通信制御部361は、その通信データを出力情報生成部363に供給する。
 通信データ生成部362は、通信データの生成に関する処理を行う。例えば、通信データ生成部362は、入力部353等から供給される情報を含む、所定の通信規格に準拠したフォーマットの通信データを生成する。また、通信データ生成部362は、その生成した通信データを通信制御部361に供給する。
 例えば、通信データ生成部362は、撮像部111により生成された撮像画像データや、後述するマイクロホン373により生成された音声データ等を含む通信データを生成する。また、通信データ生成部362は、後述するセンサ374により生成された検出データを含む通信データを生成する。さらに、通信データ生成部362は、後述する情報入力部375により入力されたデータを含む通信データを生成する。また、通信データ生成部362は、撮像部112により生成された撮像画像データを解析し、ユーザ131の操作を検出し、そのユーザ操作に対応する処理を行ったり、そのユーザ操作に対応する命令やデータ等を含む通信データを生成したりする。
 また、通信データ生成部362は、入力部353において受け付けられた、ユーザ指示等に基づいて、他の端末装置100との間の通信に関する情報を公開するか否かを制御する制御情報を生成する。この制御情報は、例えば、通信の内容を公開するか否かを制御する情報を含む。また、この制御情報は、例えば、通信に関する状態(例えば、通信の状態、コミュニケーションの状態、ユーザの状態等)を公開するか否かを制御する情報を含む。通信データ生成部362は、このような制御情報を、通信制御部361等を介してサーバ301に供給することにより、<1.コミュニケーションシステムにおける状態の提示>において説明したように、他の端末装置100との間の通信に関する情報(例えば、通信の内容や通信に関する状態等)を公開するか否か(通信に関する情報の公開・非公開)を制御する。
 出力情報生成部363は、出力情報の生成に関する処理を行う。例えば、出力情報生成部363は、通信制御部361から供給される、サーバ301から送信された通信データを取得する。また、出力情報生成部363は、その通信データ(に含まれる情報)に基づいて、表示用画像データ、出力用音声データ、投影用画像データ等の出力情報を生成する。
 例えば、出力情報生成部363は、通信データに含まれる端末装置100の間の通信に関する情報に基づいて、<1.コミュニケーションシステムにおける状態の提示>において説明した画像150のような表示用画像を生成する。つまり、出力情報生成部363は、<1.コミュニケーションシステムにおける状態の提示>において説明した通信の状態、コミュニケーションの状態、ユーザの状態の内の少なくとも1つを示す表示用画像を生成する。
 例えば、出力情報生成部363は、この端末装置100と他の端末装置100との間の通信の状態と、複数の他の端末装置100の間の通信の状態とを示す表示用画像を生成する。例えば、出力情報生成部363が、この通信の状態として、<1.コミュニケーションシステムにおける状態の提示>において説明したセッションの状態を示す画像を生成するようにしてもよい。
 例えば、出力情報生成部363が、この端末装置100と他の端末装置100との間のセッションが確立された状態を、画像の下端と他の端末装置100を示す絵柄(例えば家等)とを繋ぐ道として示し、複数の他の端末装置100の間のセッションが確立された状態を、他の端末装置100を示す絵柄(例えば家等)同士を繋ぐ道として示す表示用画像を生成するようにしてもよい。
 また、出力情報生成部363が、この端末装置100と他の端末装置100との間のセッションが確立された状態を、画像の下端と他の端末装置100を示す絵柄(例えば家等)との間を移動する動物体(例えば鳥等)として示し、複数の他の端末装置100の間のセッションが確立された状態を、他の端末装置100を示す絵柄(例えば家等)同士の間を移動する動物体(例えば鳥等)として示す表示用画像を生成するようにしてもよい。
 さらに、出力情報生成部363が、この端末装置100と他の端末装置100との間のセッションが確立された状態、および、複数の他の端末装置100の間のセッションが確立された状態を、各端末装置100を識別するシンボルを用いて示す表示用画像を生成するようにしてもよい。
 また、例えば、出力情報生成部363が、この通信の状態として、<1.コミュニケーションシステムにおける状態の提示>において説明した通信不可能な状態を示す表示用画像を生成するようにしてもよい。例えば、出力情報生成部363が、この通信不可能な状態を、道の太さ、動物体の動き方、または、シンボルの表示状態として示す表示用画像を生成するようにしてもよい。
 また、例えば、出力情報生成部363が、この通信の状態として、<1.コミュニケーションシステムにおける状態の提示>において説明した通信の安定度を示す表示用画像を生成するようにしてもよい。例えば、出力情報生成部363が、この通信の安定度を、道に設けられた障害物、動物体の動き方、または、シンボルの表示状態として示す表示用画像を生成するようにしてもよい。
 また、例えば、出力情報生成部363が、この通信の状態として、<1.コミュニケーションシステムにおける状態の提示>において説明した通信の遅延量を示す表示用画像を生成するようにしてもよい。例えば、出力情報生成部363が、この通信の遅延量を、道の長さ、動物体の動き方、または、シンボルの表示状態として示す表示用画像を生成するようにしてもよい。
 また、例えば、出力情報生成部363が、上述したコミュニケーションの状態として、<1.コミュニケーションシステムにおける状態の提示>において説明したコミュニケーションをとる端末装置100を示す表示用画像を生成するようにしてもよい。例えば、出力情報生成部363が、このコミュニケーションを動物体として示し、その動物体の移動元および移動先によりコミュニケーションをとる端末装置100を示す表示用画像を生成するようにしてもよい。
 さらに、例えば、出力情報生成部363が、上述したユーザの状態として、<1.コミュニケーションシステムにおける状態の提示>において説明した音量を示す表示用画像を生成するようにしてもよい。また、出力情報生成部363が、上述したユーザの状態として、<1.コミュニケーションシステムにおける状態の提示>において説明したコミュニケーションの内容の理解度を示す表示用画像を生成するようにしてもよい。さらに、出力情報生成部363が、上述したユーザの状態として、<1.コミュニケーションシステムにおける状態の提示>において説明した情報発信要求を示す表示用画像を生成するようにしてもよい。また、出力情報生成部363が、上述したユーザの状態として、<1.コミュニケーションシステムにおける状態の提示>において説明したセッション終了要求を示す表示用画像を生成するようにしてもよい。例えば、出力情報生成部363が、ユーザの状態を示すアバタを含む表示用画像を生成するようにしてもよい。
 なお、出力情報生成部363が生成する表示用画像に、<1.コミュニケーションシステムにおける状態の提示>において説明した通信の状態、コミュニケーションの状態、ユーザの状態以外の情報を示す画像が含まれていてもよい。例えば、<1.コミュニケーションシステムにおける状態の提示>において説明したように、通信相手のユーザの撮像画像(通信先画像)等がこの表示用画像に含まれていてもよい。また、上述した各種の状態以外の状態を示す画像がこの表示用画像に含まれていてもよい。
 出力情報生成部363は、生成した出力情報を出力部354に供給する。例えば、出力情報生成部363は、以上のように生成した表示用画像のデータ(表示用画像データ)を出力部354(の表示部121)に供給する。
 入力部353は、情報の入力に関する処理を行う。例えば、入力部353は、端末装置100の外部(例えばユーザ等)に関する情報や、ユーザにより入力される指示等を受け付ける。例えば、入力部353は、他の端末装置100との間の通信に関する情報を公開するか否かの指示を受け付ける。例えば、入力部353は、その通信の内容を公開するか否かの指示を受け付ける。また、入力部353は、その通信に関する状態(例えば、通信の状態、コミュニケーションの状態、ユーザの状態等)を公開するか否かの指示を受け付ける。入力部353は、受け付けた指示や情報を、制御部352(例えば通信データ生成部362)に供給する。
 また、入力部353は、図1に示される撮像部111および撮像部112を有する。さらに入力部353は、その他に、マイクロホン373、センサ374、および情報入力部375を有する。
 撮像部111は、被写体を撮像し、その撮像画像のデータ(撮像画像データ)を生成する。撮像部112は、上面101A(の領域101B)を撮像し、その撮像画像のデータ(撮像画像データ)を生成する。マイクロホン373は、ユーザ131の音声を集音し、その音声データを生成する。センサ374は、任意のセンサにより構成され、ユーザ131の状態に関する情報の検出を行い、検出した情報のデータ(検出データ)を生成する(生体センシングを行う)。情報入力部375は、ユーザの操作等に基づいて端末装置100の外部から入力される任意のデータを受け付ける。
 出力部354は、情報の出力に関する処理を行う。例えば、出力部354は、制御部352(出力情報生成部363)から供給される出力情報を取得する。また、出力部354は、表示部121および投影部122を有する。さらに、出力部354は、その他に、スピーカ383を有する。
 表示部121は、制御部352(出力情報生成部363)から供給される表示用画像データを取得し、その表示用画像を表示する。例えば、表示部121は、出力情報生成部363により上述したように生成された表示用画像を表示する。
 投影部122は、制御部352(出力情報生成部363)から供給される投影用画像データを取得し、その投影用画像を上面101A(の領域101B)に投影する。スピーカ383は、制御部352(出力情報生成部363)から供給される出力用音声データを取得し、その出力用音声を出力する。
 なお、これらの処理部(通信部351乃至出力部354、並びに、通信制御部361乃至出力情報生成部363)は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
 以上の構成を有することにより、コミュニケーションシステム300、並びに、端末装置100およびサーバ301は、<1.コミュニケーションシステムにおける状態の提示>において説明したような効果を得ることができる。したがって、多地点間のコミュニケーションがより円滑に行われるようにすることができる。
  <通信処理の流れ>
 次に、以上のようなコミュニケーションシステム300において実行される処理の流れについて説明する。図12のフローチャートを参照して、通信処理の流れの例を説明する。
 通信処理が開始されると、ユーザAの端末装置100-1は、ステップS111において、サーバ301とのセッションを確立するための接続処理を行う。同様に、ユーザBの端末装置100-2は、ステップS121において、サーバ301とのセッションを確立するための接続処理を行う。同様に、ユーザCの端末装置100-3は、ステップS131において、サーバ301とのセッションを確立するための接続処理を行う。サーバ301は、これらの処理に対応して、ステップS141において、それらのセッションを確立するための接続処理を行う。
 以上のような処理によりセッションが確立された状態において、端末装置100-1は、ステップS112において、入力送信処理を行い、情報の入力(例えば撮像や集音等)や、その入力情報のサーバ301への送信を行う。同様に、端末装置100-2は、ステップS122において、入力送信処理を行い、情報の入力(例えば撮像や集音等)や、その入力情報のサーバ301への送信を行う。同様に、端末装置100-3は、ステップS132において、入力送信処理を行い、情報の入力(例えば撮像や集音等)や、その入力情報のサーバ301への送信を行う。サーバ301は、これらの処理に対応して、ステップS142において、端末装置100間の通信を制御する通信制御処理を行う。
 また、サーバ301は、ステップS143において、以上のように制御される通信について、状態を管理する状態管理処理を行う。
 さらに、サーバ301は、上述の通信制御処理の制御に従って、通信データを各端末装置100に送信する送信処理を行う。この処理に対応して、端末装置100-1は、ステップS113において、受信出力処理を行い、その通信データを受信し、出力情報を出力する。同様に、端末装置100-2は、ステップS133において、受信出力処理を行い、その通信データを受信し、出力情報を出力する。同様に、端末装置100-3は、ステップS133において、受信出力処理を行い、その通信データを受信し、出力情報を出力する。
 以上のような流れで通信処理が行われる。以降は、セッションが確立されている状態において、上述のような入力送信処理、受信出力処理、通信制御処理、状態管理処理、送信処理等の各処理が適宜行われる。
  <入力送信処理の流れ>
 次に、各端末装置100において実行される、上述した入力送信処理(ステップS112、ステップS122、ステップS132)の流れの例を、図13のフローチャートを参照して説明する。
 入力送信処理が開始されると、端末装置100の撮像部111は、ステップS201において、ユーザ131を撮像し、ユーザの撮像画像を生成する。
 ステップS202において、撮像部112は、上面101Aの領域101Bにおいて行われるユーザ操作を撮像し、その撮像画像を生成する。
 ステップS203において、マイクロホン373は、ユーザの声等の音声入力を受け付け、音声データを生成する。
 ステップS204において、センサ374は、ユーザの状態をセンシングし、センサ情報(検出データ)を生成する。
 ステップS205において、情報入力部375は、データ入力を受け付ける。
 ステップS206において、通信データ生成部362は、ユーザ操作について、ステップS202において得られた撮像画像を解析する。
 ステップS207において、通信データ生成部362は、ユーザの状態について、ステップS204において得られた検出データを解析する。
 ステップS208において、通信データ生成部362は、ステップS201において得られた撮像画像データ、ステップS203において得られた音声データ、ステップS205において受け付けたデータ、ステップS206において検出されたユーザ操作、ステップS207において検出されたユーザの状態等を含む通信データを生成する。
 ステップS209において、通信制御部361は、ステップS208において得られた通信データを、通信部351を介してサーバ301に送信する。
 通信データが送信されると入力送信処理が終了する。
  <通信制御処理の流れ>
 次に、サーバ301において実行される通信制御処理(ステップS142)の流れの例を、図14のフローチャートを参照して説明する。
 通信制御処理が開始されると、サーバ301の通信制御部323は、ステップS221において、通信部321を制御し、各端末装置100から送信される通信データを受信する。
 ステップS222において、通信制御部323は、受信した各通信データの送信先を特定する。例えば、通信制御部323は、接続管理部322が管理するセッションの状態、通信公開制限設定、その通信データに含まれる送信先の指定情報等に基づいて、その通信データの一部または全部の送信先を特定する。例えば、特に送信先の制限が無い場合、通信制御部323は、セッションが確立されている全ての端末装置100を、その通信データの送信先として特定する。例えば、通信データの内一部のみを端末装置100に送信する(残りの部分はサーバ301が送信先である)場合、通信制御部323は、その一部について、送信先を特定する。また、その通信データに、互いに異なる送信先が指定される複数のデータが含まれている場合、通信制御部323は、それぞれのデータについて送信先を特定する。
 ステップS223において、通信制御部323は、ステップS222において特定した各通信データの送信先に基づいて、その送信先毎に送信するデータをまとめて通信データを生成する。
 ステップS223の処理が終了すると、通信制御処理が終了する。
  <状態管理処理の流れ>
 次に、サーバ301において実行される状態管理処理(ステップS143)の流れの例を、図15のフローチャートを参照して説明する。
 状態管理処理が開始されると、状態管理部324の通信状態管理部331は、ステップS241において、各端末装置100から送信されるコミュニケーション用の通信データ等の送受信状況等に基づいて、各端末装置との通信の状態を管理する。例えば、通信状態管理部331は、各端末装置100との通信データの授受において得られる、その通信に関する情報に基づいて、セッションの状態、通信安定度、通信不可能な状態、通信の遅延量等のパラメータについて値を特定(または推定)する。また、通信状態管理部331は、接続管理部322により管理されるセッションの状態に基づいて、端末装置100間のセッションの状態を特定(または推定)する。なお、通信状態管理部331が通信の状態に関する情報(例えば上述のような各パラメータ)を得るために、端末装置100やサーバ301が、コミュニケーション用の通信以外の通信(例えば、ping等)を授受するようにしてもよい。
 ステップS242において、コミュニケーション状態管理部332は、各端末装置100から送信されるコミュニケーション用の通信データの内容に基づいて、端末装置100間のコミュニケーションの状態を管理する。例えば、コミュニケーション状態管理部332は、その通信データに含まれるユーザの状態を示す情報に基づいて、そのユーザの向き等から、コミュニケーションの相手を特定する。
 ステップS243において、ユーザ状態管理部333は、各端末装置100から送信されるコミュニケーション用の通信データの内容に基づいて、各端末装置100のユーザの状態を管理する。例えば、ユーザ状態管理部333は、その通信データに含まれるユーザの状態を示す情報に基づいて、そのユーザの状態を特定する。
 ステップS244において、通信状態管理部331は、ステップS241において管理する通信状態に関する情報を、通信制御処理(ステップS142)において生成された通信データに含める(格納する)。
 ステップS245において、コミュニケーション状態管理部332は、ステップS242において管理する端末装置100間のコミュニケーションの状態に関する情報を、通信制御処理(ステップS142)において生成された通信データに含める(格納する)。
 ステップS246において、ユーザ状態管理部333は、ステップS243において管理する各端末装置100のユーザの状態に関する情報を、通信制御処理(ステップS142)において生成された通信データに含める(格納する)。
 ステップS246の処理が終了すると、状態管理処理が終了する。
  <受信出力処理の流れ>
 次に、各端末装置100において実行される受信出力処理(ステップS113、ステップS123、ステップS133)の流れの例を、図16のフローチャートを参照して説明する。
 受信出力処理が開始されると、通信制御部361は、ステップS261において、通信部351を制御し、サーバ301から送信される通信データを受信する。
 ステップS262において、出力情報生成部363は、ステップS261において受信した通信データに含まれる、通信の状態、コミュニケーションの状態、およびユーザの状態等に関する情報に基づいて、通信の状態、コミュニケーションの状態、およびユーザの状態等を示す表示用画像を生成し、そのデータ(表示用画像データ)を出力情報として生成する。
 ステップS263において、出力情報生成部363は、例えばステップS261において受信した通信データ等に基づいて、投影用画像を生成し、そのデータ(投影用画像データ)を出力情報として生成する。
 ステップS264において、出力情報生成部363は、例えばステップS261において受信した通信データ等に基づいて、出力用音声を生成し、そのデータ(出力用音声データ)を出力情報として生成する。
 ステップS265において、表示部121は、ステップS262において生成された表示用画像を表示する。
 ステップS266において、投影部122は、ステップS263において生成された投影用画像を投影する。
 ステップS267において、スピーカ383は、ステップS264において生成された出力用音声を出力する。
 ステップS267の処理が終了すると、受信出力処理が終了する。
  <公開制限処理の流れ>
 次に、通信に関する情報(通信の内容や通信に関する状態)の公開・非公開の制御が行われる場合に、コミュニケーションシステム300において実行される公開制限処理の流れの例を、図17のフローチャートを参照して説明する。
 公開制限処理が開始されると、通信の内容の公開・非公開を制御する場合、端末装置100の入力部353は、ステップS311において、各端末装置100に対する通信の内容の公開・非公開を指定する通信公開制限指示を受け付ける。
 ステップS312において、通信データ生成部362は、その通信公開制限指示を含む通信データを生成する。また、通信制御部361は、その通信データ(すなわち、通信公開制限指示)を、サーバ301に送信する。
 サーバ301の通信制御部323は、ステップS321において、通信部321を制御し、その通信データ(すなわち、通信公開制限指示)を受信する。
 ステップS322において、通信制御部323は、ステップS321において得られた通信公開制限指示に対応する通信公開設定(端末装置100毎に通信の内容を公開するか否かの設定)を記憶する。既に、通信公開設定が記憶されている場合は、その通信公開設定の内容が更新される。
 ステップS323において、通信制御部323は、それ以降において、その記憶した(または更新された)通信公開設定に基づいて通信制御処理を行うようにする。
 以上のように公開制限処理の各処理を実行することにより、通信の内容の公開・非公開が制御される。
 また、通信の状態の公開・非公開を制御する場合、端末装置100の入力部353は、ステップS331において、各端末装置100に対する通信の状態の公開・非公開を指定する状態公開制限指示を受け付ける。
 ステップS332において、通信データ生成部362は、その状態公開制限指示を含む通信データを生成する。また、通信制御部361は、その通信データ(すなわち、状態公開制限指示)を、サーバ301に送信する。
 サーバ301の通信状態管理部331は、ステップS341において、通信部321を制御し、その通信データ(すなわち、状態公開制限指示)を受信する。
 ステップS342において、通信状態管理部331は、ステップS341において得られた状態公開制限指示に対応する状態公開設定(端末装置100毎に通信の状態を公開するか否かの設定)を記憶する。既に、状態公開設定が記憶されている場合は、その状態公開設定の内容が更新される。
 ステップS343において、通信状態管理部331は、それ以降において、その記憶した(または更新された)状態公開設定に基づいて状態管理処理を行うようにする。
 以上のように公開制限処理の各処理を実行することにより、通信の状態の公開・非公開が制御される。
 以上のように、各処理を実行することにより、コミュニケーションシステム300、並びに、端末装置100およびサーバ301は、<1.コミュニケーションシステムにおける状態の提示>において説明したような効果を得ることができる。したがって、多地点間のコミュニケーションがより円滑に行われるようにすることができる。
  <端末装置の他の構成例>
 図1においては、端末装置100の外観の例を示したが、端末装置100の構成は、任意であり、図1の例に限定されない。例えば、筐体101の上面101A(の領域101Bに形成される仮想的な入力インタフェース)を省略し、ユーザ131の身振りや音声等により、ユーザ指示の入力を行うようにしてもよい。
 例えば、図18に示されるように、端末装置100が、表示部421および表示部422のように複数の表示部を備えるようにしてもよい。図18の例の場合、表示部421には、コミュニケーションの相手となる他のユーザ432を含む撮像画像である通信先画像431が表示される。表示部421は、ユーザ432の全身を等身大で表示させることができるほど表示領域が大きい。また、表示部422には、コミュニケーションの他の相手となる他のユーザ434を含む撮像画像である通信先画像433が表示される。表示部422は、ユーザ434の全身を等身大で表示させることができるほど表示領域が大きい。
 ユーザ131は、撮像部111により撮像され、その撮像画像等が、サーバ301を介して、コミュニケーションの相手(ユーザ432やユーザ434)の端末装置100に送信される。また、この場合、その撮像画像からユーザ131の身振り等が検出され、それに応じたユーザ指示等の入力が受け付けられる。
 この場合も端末装置100は、投影部122や撮像部112が省略されること以外、図11に示される構成と基本的に同様の構成を有する。したがって、この場合も、コミュニケーションシステム300、並びに、端末装置100およびサーバ301は、<1.コミュニケーションシステムにおける状態の提示>において説明したような効果を得ることができる。したがって、多地点間のコミュニケーションがより円滑に行われるようにすることができる。
 <3.付記>
  <コンピュータ>
 上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
 図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 図19に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
 バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
 入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
 以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
 コンピュータ(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。
 また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。
 その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。
  <本技術の適用対象>
 本技術は、コミュニケーションシステムに限らず、多地点を結ぶ任意の通信システムに対して適用することができる。つまり、上述した本技術と矛盾しない限り、情報の入出力や通信等の仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
 本技術は、任意の構成に適用することができる。例えば、本技術は、据え置き型のデバイス(例えば、パーソナルコンピュータ、ルータ等)、携帯型のデバイス(例えば、携帯電話機、ノート型のパーソナルコンピュータ、スマートホン等)、専用のデバイス、汎用のデバイス等、様々な電子機器に適用され得る。
 また、例えば、本技術は、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、または、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等、装置の一部の構成として実施することもできる。
 また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、画像(動画像)に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
  <本技術を適用可能な分野・用途>
 本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
  <その他>
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
 また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
 また、例えば、1つのフローチャートの各ステップを、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、1つのステップに複数の処理が含まれる場合、その複数の処理を、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
 また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
 また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
 なお、本技術は以下のような構成も取ることができる。
 (1) 通信装置間で行われる通信に関する情報を受信する受信部と、
 前記受信部により受信された前記情報に基づいて、第1の通信装置と他の通信装置との間の通信の状態と、複数の他の通信装置の間の通信の状態とを示す画像を生成する生成部と、
 前記生成部により生成された前記画像を表示する表示部と
 を備える情報処理装置。
 (2) 前記他の通信装置は、第2の通信装置と第3の通信装置とを含む
 (1)に記載の情報処理装置。
 (3) 前記画像は、前記第1の通信装置を示す第1の位置と前記第2の通信装置を示す第2の位置とを連結する第1のコンテンツと、前記第3の通信装置を示す第3の位置と前記第2の位置とを連結する第2のコンテンツとを含む
 (2)に記載の情報処理装置。
 (4) 前記第1のコンテンツおよび前記第2のコンテンツは、道を含む
 (3)に記載の情報処理装置。
 (5) 前記第1の位置は、前記画像の下端を含む
 (3)または(4)に記載の情報処理装置。
 (6) 前記情報は、通信の安定度に関する情報を含み、
 前記生成部は、前記通信の安定度に関する情報に基づいて、各通信の安定度を前記コンテンツの幅として示す前記画像を生成する
 (3)乃至(5)のいずれかに記載の情報処理装置。
 (7) 前記情報は、通信の遅延量に関する情報を含み、
 前記生成部は、前記通信の遅延量に関する情報に基づいて、各通信の遅延量を前記コンテンツの長さとして示す前記画像を生成する
 (3)乃至(6)のいずれかに記載の情報処理装置。
 (8) 前記情報は、セッションに関する情報を含み、
 前記生成部は、前記セッションに関する情報に基づいて、前記第1の通信装置と前記第2の通信装置との間のセッションが確立された状態を、前記画像の下端と前記第2の位置とを連結する道として示し、前記第3の通信装置と前記第2の通信装置との間のセッションが確立された状態を、前記第3の位置と前記第2の位置とを連結する道として示す前記画像を生成する
 (5)乃至(7)のいずれかに記載の情報処理装置。
 (9) 前記情報は、通信不可能な状態を示す情報を含み、
 前記生成部は、前記通信不可能な状態を示す情報に基づいて、各セッションの前記通信不可能な状態を、前記セッションに対応する前記道に設けられた障害物として示す画像を生成する
 (8)に記載の情報処理装置。
 (10) 前記情報は、セッションに関する情報を含み、
 前記生成部は、前記セッションに関する情報に基づいて、前記第1の通信装置と前記第2の通信装置との間のセッションが確立された状態を、前記第1の通信装置を示す第1の位置と前記第2の通信装置を示す第2の位置との間を移動する動物体として示し、前記第3の通信装置と前記第2の通信装置との間のセッションが確立された状態を、前記第3の通信装置を示す第3の位置と前記第2の位置との間を移動する動物体として示す前記画像を生成する
 (2)乃至(9)のいずれかに記載の情報処理装置。
 (11) 前記情報は、通信の安定度に関する情報、通信不可能な状態を示す情報、および通信の遅延量に関する情報の内の少なくとも1つを含み、
 前記生成部は、前記情報に基づいて、各通信の安定度、各セッションの前記通信不可能な状態、および各通信の遅延量の内の少なくとも1つを前記動物体の動き方として示す前記画像を生成する
 (10)に記載の情報処理装置。
 (12) 前記情報は、セッションに関する情報を含み、
 前記生成部は、前記セッションに関する情報に基づいて、前記第1の通信装置と前記第2の通信装置との間のセッションが確立された状態、および、前記第3の通信装置と前記第2の通信装置との間のセッションが確立された状態を、各通信装置を識別するシンボルを用いて示す前記画像を生成する
 (2)乃至(11)のいずれかに記載の情報処理装置。
 (13) 前記情報は、通信の安定度に関する情報、通信不可能な状態を示す情報、および通信の遅延量に関する情報の内の少なくとも1つを含み、
 前記生成部は、前記情報に基づいて、各通信の安定度、各セッションの前記通信不可能な状態、および各通信の遅延量の内の少なくとも1つを前記シンボルの表示状態として示す前記画像を生成する
 (12)に記載の情報処理装置。
 (14) 前記受信部は、さらに、コミュニケーションに関する情報を受信し、
 前記生成部は、前記コミュニケーションに関する情報に基づいて、さらに前記コミュニケーションの状態を示す前記画像を生成する
 (1)乃至(13)のいずれかに記載の情報処理装置。
 (15) 前記受信部は、さらに、前記通信装置のユーザに関する情報を受信し、
 前記生成部は、前記ユーザに関する情報に基づいて、さらに前記ユーザの状態を示す前記画像を生成する
 (1)乃至(14)のいずれかに記載の情報処理装置。
 (16) 前記ユーザに関する情報は、音量、コミュニケーションの内容の理解度、情報発信要求、およびセッション終了要求の内の少なくとも1つに関する情報を含み、
 前記生成部は、各ユーザについて、前記音量、前記コミュニケーションの内容の理解度、前記情報発信要求、および前記セッション終了要求の内の少なくとも1つを示す前記画像を生成する
 (15)に記載の情報処理装置。
 (17) 前記生成部は、各ユーザについて、前記音量、前記コミュニケーションの内容の理解度、前記情報発信要求、および前記セッション終了要求の内の少なくとも1つを示すアバタを含む前記画像を生成する
 (16)に記載の情報処理装置。
 (18) ユーザの状態を検出する検出部をさらに備える
 (1)乃至(17)のいずれかに記載の情報処理装置。
 (19) 前記他の通信装置との間の通信に関する情報を公開するか否かを制御する公開制御部をさらに備える
 (1)乃至(18)のいずれかに記載の情報処理装置。
 (20) 通信装置間で行われる通信に関する情報を受信し、
 受信された前記情報に基づいて、第1の通信装置と他の通信装置との間の通信の状態と、複数の他の通信装置の間の通信の状態とを示す画像を生成し、
 生成された前記画像を表示する
 情報処理方法。
 (21) コンピュータを、
 通信装置間で行われる通信に関する情報を受信する受信部と、
 前記受信部により受信された前記情報に基づいて、第1の通信装置と他の通信装置との間の通信の状態と、複数の他の通信装置の間の通信の状態とを示す画像を生成する生成部と、
 前記生成部により生成された前記画像を表示する表示部と
 して機能させるプログラム。
 (31) 情報処理装置間で行われる通信に関する情報を受信する受信部と、
 前記受信部により受信された前記情報に基づいて、この情報処理装置と他の情報処理装置との間の通信の状態と、複数の他の情報処理装置の間の通信の状態とを示す画像を生成する生成部と、
 前記生成部により生成された前記画像を表示する表示部と
 を備える情報処理装置。
 (32) 前記情報は、セッションに関する情報を含み、
 前記生成部は、前記セッションに関する情報に基づいて、この情報処理装置と前記他の情報処理装置との間のセッションが確立された状態を、前記画像の下端と前記他の情報処理装置を示す絵柄とを繋ぐ道として示し、複数の前記他の情報処理装置の間のセッションが確立された状態を、前記他の情報処理装置を示す絵柄同士を繋ぐ道として示す前記画像を生成する
 (31)に記載の情報処理装置。
 (33) 前記情報は、通信の安定度に関する情報を含み、
 前記生成部は、前記通信の安定度に関する情報に基づいて、各通信の安定度を前記道の太さとして示す前記画像を生成する
 (32)に記載の情報処理装置。
 (34) 前記情報は、通信不可能な状態を示す情報を含み、
 前記生成部は、前記通信不可能な状態を示す情報に基づいて、各セッションの前記通信不可能な状態を、前記セッションに対応する前記道に設けられた障害物として示す画像を生成する
 (32)または(33)に記載の情報処理装置。
 (35) 前記情報は、通信の遅延量に関する情報を含み、
 前記生成部は、前記通信の遅延量に関する情報に基づいて、各通信の遅延量を前記道の長さとして示す前記画像を生成する
 (32)乃至(34)のいずれかに記載の情報処理装置。
 (36) 前記情報は、セッションに関する情報を含み、
 前記生成部は、前記セッションに関する情報に基づいて、この情報処理装置と前記他の情報処理装置との間のセッションが確立された状態を、前記画像の下端と前記他の情報処理装置を示す絵柄との間を移動する動物体として示し、複数の前記他の情報処理装置の間のセッションが確立された状態を、前記他の情報処理装置を示す絵柄同士の間を移動する動物体として示す前記画像を生成する
 (31)乃至(35)のいずれかに記載の情報処理装置。
 (37) 前記情報は、通信の安定度に関する情報、通信不可能な状態を示す情報、および通信の遅延量に関する情報の内の少なくとも1つを含み、
 前記生成部は、前記情報に基づいて、各通信の安定度、各セッションの前記通信不可能な状態、および各通信の遅延量の内の少なくとも1つを前記動物体の動き方として示す前記画像を生成する
 (36)に記載の情報処理装置。
 (38) 前記情報は、セッションに関する情報を含み、
 前記生成部は、前記セッションに関する情報に基づいて、この情報処理装置と前記他の情報処理装置との間のセッションが確立された状態、および、複数の前記他の情報処理装置の間のセッションが確立された状態を、各情報処理装置を識別するシンボルを用いて示す前記画像を生成する
 (31)乃至(37)のいずれかに記載の情報処理装置。
 (39) 前記情報は、通信の安定度に関する情報、通信不可能な状態を示す情報、および通信の遅延量に関する情報の内の少なくとも1つを含み、
 前記生成部は、前記情報に基づいて、各通信の安定度、各セッションの前記通信不可能な状態、および各通信の遅延量の内の少なくとも1つを前記シンボルの表示状態として示す前記画像を生成する
 (38)に記載の情報処理装置。
 (40) 前記受信部は、さらに、前記情報処理装置間で行われる前記通信を利用してとられるコミュニケーションに関する情報を受信し、
 前記生成部は、前記コミュニケーションに関する情報に基づいて、さらに前記コミュニケーションの状態を示す前記画像を生成する
 (31)乃至(39)のいずれかに記載の情報処理装置。
 (41) 前記コミュニケーションに関する情報は、前記コミュニケーションをとる前記情報処理装置を示す情報であり、
 前記生成部は、前記コミュニケーションをとる前記情報処理装置を示す前記画像を生成する
 (40)に記載の情報処理装置。
 (42) 前記生成部は、前記コミュニケーションを動物体として示し、前記動物体の移動元および移動先により前記コミュニケーションをとる前記情報処理装置を示す前記画像を生成する
 (41)に記載の情報処理装置。
 (43) 前記受信部は、さらに、前記情報処理装置のユーザに関する情報を受信し、
 前記生成部は、前記ユーザに関する情報に基づいて、さらに前記ユーザの状態を示す前記画像を生成する
 (31)乃至(42)のいずれかに記載の情報処理装置。
 (44) 前記ユーザに関する情報は、音量、コミュニケーションの内容の理解度、情報発信要求、およびセッション終了要求の内の少なくとも1つに関する情報を含み、
 前記生成部は、各ユーザについて、前記音量、前記コミュニケーションの内容の理解度、前記情報発信要求、および前記セッション終了要求の内の少なくとも1つを示す前記画像を生成する
 (43)に記載の情報処理装置。
 (45) 前記生成部は、各ユーザについて、前記音量、前記コミュニケーションの内容の理解度、前記情報発信要求、および前記セッション終了要求の内の少なくとも1つを示すアバタを含む前記画像を生成する
 (44)に記載の情報処理装置。
 (46) コミュニケーションをとるための通信を行う通信部をさらに備える
 (31)乃至(45)のいずれかに記載の情報処理装置。
 (47) ユーザの状態を検出する検出部と、
 前記検出部により検出された前記ユーザの状態に関する情報を送信する送信部と
 をさらに備える(31)乃至(46)のいずれかに記載の情報処理装置。
 (48) 前記他の情報処理装置との間の通信に関する情報を公開するか否かを制御する公開制御部をさらに備える
 (31)乃至(47)のいずれかに記載の情報処理装置。
 (49) 情報処理装置間で行われる通信に関する情報を受信し、
 受信された前記情報に基づいて、この情報処理装置と他の情報処理装置との間の通信の状態と、複数の他の情報処理装置の間の通信の状態とを示す画像を生成し、
 生成された前記画像を表示する
 情報処理方法。
 (50) コンピュータを、
 情報処理装置間で行われる通信に関する情報を受信する受信部と、
 前記受信部により受信された前記情報に基づいて、この情報処理装置と他の情報処理装置との間の通信の状態と、複数の他の情報処理装置の間の通信の状態とを示す画像を生成する生成部と、
 前記生成部により生成された前記画像を表示する表示部と
 して機能させるプログラム。
 (51) 互いにコミュニケーションをとる複数の他の情報処理装置から送信される通信データを受信する受信部と、
 前記受信部により受信された前記通信データに基づいて、前記他の情報処理装置間の通信に関する情報を生成し、前記通信データに含める生成部と、
 前記生成部により前記通信に関する情報が含められた前記通信データを、前記通信データの送信先である前記他の情報処理装置に送信する送信部と
 を備える情報処理装置。
 (52) 互いにコミュニケーションをとる複数の他の情報処理装置から送信される通信データを受信し、
 その受信された通信データに基づいて、他の情報処理装置間の通信に関する情報を生成し、その通信データに含め、
 通信に関する情報が含められた通信データを、その通信データの送信先である他の情報処理装置に送信する
 情報処理方法。
 (53) コンピュータを、
 互いにコミュニケーションをとる複数の他の情報処理装置から送信される通信データを受信する受信部と、
 前記受信部により受信された前記通信データに基づいて、前記他の情報処理装置間の通信に関する情報を生成し、前記通信データに含める生成部と、
 前記生成部により前記通信に関する情報が含められた前記通信データを、前記通信データの送信先である前記他の情報処理装置に送信する送信部と
 して機能させるプログラム。
 100 端末装置, 101 筐体, 102 アーム, 111 撮像部, 112 撮像部, 121 表示部, 122 投影部, 131 ユーザ, 150 画像, 151 家, 152 通信先画像, 153 ユーザ, 154 家, 155 通信先画像, 156 ユーザ, 157乃至159 道, 161 岩, 171乃至173 鳥, 181および182 シンボル, 191乃至193 シンボル表示領域, 201 人, 211および212 アバタ, 300 コミュニケーションシステム, 301 サーバ, 302 ネットワーク, 321 通信部, 322 接続管理部, 323 通信制御部, 324 状態管理部, 331 通信状態管理部, 332 コミュニケーション状態管理部, 333 ユーザ状態管理部, 351 通信部, 352 制御部, 353 入力部, 354 出力部, 362 通信データ生成部, 363 出力情報生成部, 373 マイクロホン, 374 センサ, 375 情報入力部, 383 スピーカ, 421および422 表示部, 431 通信先画像, 432 ユーザ, 433 通信先画像, 434 ユーザ

Claims (21)

  1.  通信装置間で行われる通信に関する情報を受信する受信部と、
     前記受信部により受信された前記情報に基づいて、第1の通信装置と他の通信装置との間の通信の状態と、複数の他の通信装置の間の通信の状態とを示す画像を生成する生成部と、
     前記生成部により生成された前記画像を表示する表示部と
     を備える情報処理装置。
  2.  前記他の通信装置は、第2の通信装置と第3の通信装置とを含む
     請求項1に記載の情報処理装置。
  3.  前記画像は、前記第1の通信装置を示す第1の位置と前記第2の通信装置を示す第2の位置とを連結する第1のコンテンツと、前記第3の通信装置を示す第3の位置と前記第2の位置とを連結する第2のコンテンツとを含む
     請求項2に記載の情報処理装置。
  4.  前記第1のコンテンツおよび前記第2のコンテンツは、道を含む
     請求項3に記載の情報処理装置。
  5.  前記第1の位置は、前記画像の下端を含む
     請求項3に記載の情報処理装置。
  6.  前記情報は、通信の安定度に関する情報を含み、
     前記生成部は、前記通信の安定度に関する情報に基づいて、各通信の安定度を前記コンテンツの幅として示す前記画像を生成する
     請求項3に記載の情報処理装置。
  7.  前記情報は、通信の遅延量に関する情報を含み、
     前記生成部は、前記通信の遅延量に関する情報に基づいて、各通信の遅延量を前記コンテンツの長さとして示す前記画像を生成する
     請求項3に記載の情報処理装置。
  8.  前記情報は、セッションに関する情報を含み、
     前記生成部は、前記セッションに関する情報に基づいて、前記第1の通信装置と前記第2の通信装置との間のセッションが確立された状態を、前記画像の下端と前記第2の位置とを連結する道として示し、前記第3の通信装置と前記第2の通信装置との間のセッションが確立された状態を、前記第3の位置と前記第2の位置とを連結する道として示す前記画像を生成する
     請求項5に記載の情報処理装置。
  9.  前記情報は、通信不可能な状態を示す情報を含み、
     前記生成部は、前記通信不可能な状態を示す情報に基づいて、各セッションの前記通信不可能な状態を、前記セッションに対応する前記道に設けられた障害物として示す画像を生成する
     請求項8に記載の情報処理装置。
  10.  前記情報は、セッションに関する情報を含み、
     前記生成部は、前記セッションに関する情報に基づいて、前記第1の通信装置と前記第2の通信装置との間のセッションが確立された状態を、前記第1の通信装置を示す第1の位置と前記第2の通信装置を示す第2の位置との間を移動する動物体として示し、前記第3の通信装置と前記第2の通信装置との間のセッションが確立された状態を、前記第3の通信装置を示す第3の位置と前記第2の位置との間を移動する動物体として示す前記画像を生成する
     請求項2に記載の情報処理装置。
  11.  前記情報は、通信の安定度に関する情報、通信不可能な状態を示す情報、および通信の遅延量に関する情報の内の少なくとも1つを含み、
     前記生成部は、前記情報に基づいて、各通信の安定度、各セッションの前記通信不可能な状態、および各通信の遅延量の内の少なくとも1つを前記動物体の動き方として示す前記画像を生成する
     請求項10に記載の情報処理装置。
  12.  前記情報は、セッションに関する情報を含み、
     前記生成部は、前記セッションに関する情報に基づいて、前記第1の通信装置と前記第2の通信装置との間のセッションが確立された状態、および、前記第3の通信装置と前記第2の通信装置との間のセッションが確立された状態を、各通信装置を識別するシンボルを用いて示す前記画像を生成する
     請求項2に記載の情報処理装置。
  13.  前記情報は、通信の安定度に関する情報、通信不可能な状態を示す情報、および通信の遅延量に関する情報の内の少なくとも1つを含み、
     前記生成部は、前記情報に基づいて、各通信の安定度、各セッションの前記通信不可能な状態、および各通信の遅延量の内の少なくとも1つを前記シンボルの表示状態として示す前記画像を生成する
     請求項12に記載の情報処理装置。
  14.  前記受信部は、さらに、コミュニケーションに関する情報を受信し、
     前記生成部は、前記コミュニケーションに関する情報に基づいて、さらに前記コミュニケーションの状態を示す前記画像を生成する
     請求項1に記載の情報処理装置。
  15.  前記受信部は、さらに、前記通信装置のユーザに関する情報を受信し、
     前記生成部は、前記ユーザに関する情報に基づいて、さらに前記ユーザの状態を示す前記画像を生成する
     請求項1に記載の情報処理装置。
  16.  前記ユーザに関する情報は、音量、コミュニケーションの内容の理解度、情報発信要求、およびセッション終了要求の内の少なくとも1つに関する情報を含み、
     前記生成部は、各ユーザについて、前記音量、前記コミュニケーションの内容の理解度、前記情報発信要求、および前記セッション終了要求の内の少なくとも1つを示す前記画像を生成する
     請求項15に記載の情報処理装置。
  17.  前記生成部は、各ユーザについて、前記音量、前記コミュニケーションの内容の理解度、前記情報発信要求、および前記セッション終了要求の内の少なくとも1つを示すアバタを含む前記画像を生成する
     請求項16に記載の情報処理装置。
  18.  ユーザの状態を検出する検出部をさらに備える
     請求項1に記載の情報処理装置。
  19.  前記他の通信装置との間の通信に関する情報を公開するか否かを制御する公開制御部をさらに備える
     請求項1に記載の情報処理装置。
  20.  通信装置間で行われる通信に関する情報を受信し、
     受信された前記情報に基づいて、第1の通信装置と他の通信装置との間の通信の状態と、複数の他の通信装置の間の通信の状態とを示す画像を生成し、
     生成された前記画像を表示する
     情報処理方法。
  21.  コンピュータを、
     通信装置間で行われる通信に関する情報を受信する受信部と、
     前記受信部により受信された前記情報に基づいて、第1の通信装置と他の通信装置との間の通信の状態と、複数の他の通信装置の間の通信の状態とを示す画像を生成する生成部と、
     前記生成部により生成された前記画像を表示する表示部と
     して機能させるプログラム。
PCT/JP2019/041857 2018-11-09 2019-10-25 情報処理装置および方法、並びに、プログラム Ceased WO2020095714A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980072725.2A CN113170023A (zh) 2018-11-09 2019-10-25 信息处理装置和方法以及程序
US17/290,513 US11553158B2 (en) 2018-11-09 2019-10-25 Information processing apparatus, information processing method, and program
JP2020555955A JP7415940B2 (ja) 2018-11-09 2019-10-25 情報処理装置および方法、並びに、プログラム
DE112019005601.8T DE112019005601T5 (de) 2018-11-09 2019-10-25 Informationsverarbeitungsvorrichtung und -verfahren und programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-211357 2018-11-09
JP2018211357 2018-11-09

Publications (1)

Publication Number Publication Date
WO2020095714A1 true WO2020095714A1 (ja) 2020-05-14

Family

ID=70610885

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041857 Ceased WO2020095714A1 (ja) 2018-11-09 2019-10-25 情報処理装置および方法、並びに、プログラム

Country Status (5)

Country Link
US (1) US11553158B2 (ja)
JP (1) JP7415940B2 (ja)
CN (1) CN113170023A (ja)
DE (1) DE112019005601T5 (ja)
WO (1) WO2020095714A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023080121A1 (ja) * 2021-11-02 2023-05-11 株式会社ドワンゴ 端末、処理方法、通信システム、プログラムおよび記録媒体
JP7318139B1 (ja) 2020-10-20 2023-07-31 カトマイ テック インコーポレイテッド 操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016139911A (ja) * 2015-01-27 2016-08-04 沖電気工業株式会社 無線ネットワーク状況提示装置及びプログラム
WO2016158267A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018020766A1 (ja) * 2016-07-28 2018-02-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201141226A (en) * 2010-05-04 2011-11-16 Utw Technologies Corp Virtual conversing method
JP6229314B2 (ja) * 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP6958360B2 (ja) * 2015-12-11 2021-11-02 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11159766B2 (en) * 2019-09-16 2021-10-26 Qualcomm Incorporated Placement of virtual content in environments with a plurality of physical participants
US11233974B1 (en) * 2020-12-31 2022-01-25 Capital One Services, Llc Virtual environments associated with processed video streams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016139911A (ja) * 2015-01-27 2016-08-04 沖電気工業株式会社 無線ネットワーク状況提示装置及びプログラム
WO2016158267A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018020766A1 (ja) * 2016-07-28 2018-02-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7318139B1 (ja) 2020-10-20 2023-07-31 カトマイ テック インコーポレイテッド 操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用
JP2023534092A (ja) * 2020-10-20 2023-08-08 カトマイ テック インコーポレイテッド 操縦可能なアバターを有するウェブベースのテレビ会議仮想環境及びその適用
WO2023080121A1 (ja) * 2021-11-02 2023-05-11 株式会社ドワンゴ 端末、処理方法、通信システム、プログラムおよび記録媒体
JP2023068612A (ja) * 2021-11-02 2023-05-17 株式会社バーチャルキャスト 端末、処理方法、通信システム、プログラムおよび記録媒体
JP7766922B2 (ja) 2021-11-02 2025-11-11 Popopo株式会社 端末、処理方法、通信システム、プログラムおよび記録媒体

Also Published As

Publication number Publication date
US20220014713A1 (en) 2022-01-13
CN113170023A (zh) 2021-07-23
DE112019005601T5 (de) 2021-07-29
US11553158B2 (en) 2023-01-10
JP7415940B2 (ja) 2024-01-17
JPWO2020095714A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
US11722537B2 (en) Communication sessions between computing devices using dynamically customizable interaction environments
EP2880858B1 (en) Using an avatar in a videoconferencing system
JP6126076B2 (ja) 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム
US7725547B2 (en) Informing a user of gestures made by others out of the user's line of sight
US8963987B2 (en) Non-linguistic signal detection and feedback
US20220224735A1 (en) Information processing apparatus, non-transitory computer readable medium storing program, and method
US11172007B2 (en) Technologies for a seamless data streaming experience
US11871147B2 (en) Adjusting participant gaze in video conferences
US12206719B2 (en) Communication sessions between devices using customizable interaction environments and physical location determination
KR102428438B1 (ko) 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템
US10511818B2 (en) Context aware projection
JPWO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20240211093A1 (en) Artificial Reality Coworking Spaces for Two-Dimensional and Three-Dimensional Interfaces
WO2020095714A1 (ja) 情報処理装置および方法、並びに、プログラム
TW201716975A (zh) 即時視訊互動方法與裝置
US20250104371A1 (en) Augmented Call Spawn Configuration for Digital Human Representations in an Artificial Reality Environment
CN118691718A (zh) 使用化身用户表示的轻量化通话
CN117221641A (zh) 虚拟互动方法、装置、设备和存储介质
WO2024100703A1 (ja) 映像表示装置、映像表示システム及び映像表示装置の制御方法
WO2023009112A1 (en) Augmented reality content rendering

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19882655

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020555955

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19882655

Country of ref document: EP

Kind code of ref document: A1