JP6647711B2 - Video chat robot system, hand-over play control method, and hand-over play control program - Google Patents
Video chat robot system, hand-over play control method, and hand-over play control program Download PDFInfo
- Publication number
- JP6647711B2 JP6647711B2 JP2016053021A JP2016053021A JP6647711B2 JP 6647711 B2 JP6647711 B2 JP 6647711B2 JP 2016053021 A JP2016053021 A JP 2016053021A JP 2016053021 A JP2016053021 A JP 2016053021A JP 6647711 B2 JP6647711 B2 JP 6647711B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- hand
- video chat
- video
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
Description
本発明は、ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラムに関する。 The present invention relates to a video chat robot system, a hand-over play control method, and a hand-over play control program.
子育てをしている家庭においては、例えば家事の間だけでも誰かに子供の相手をしてもらえたら助かるという状況が多々ある。一方で、祖父母（子供から見て）は子供とのコミュニケーションを欲している場合が多いが、遠方に住んでいる場合には頻繁にやってくるわけにもいかないというのが現実である。そこで、昨今のＩＴ（情報通信技術）を活用した解決が望まれる。 In families raising children, for example, there are many situations where it is helpful to have someone to deal with a child only during housework. On the other hand, grandparents (as seen by children) often want to communicate with their children, but the reality is that if they live far away they will not be able to come frequently. Therefore, a solution utilizing recent IT (information communication technology) is desired.
特許文献１には、気軽にベビーシッターを利用できることをひとつの目標として、遠く離れたところにいても対面型のコミュニケーションをとることができる見守りシステムが開示されている。しかし、ベビーシッターと子供の間のビデオチャットや、クイズやゲームのコンテンツにより子供の相手をするものであるため、ある程度、年齢の高い子供にしか使えない面があり、乳幼児に適用するのは困難であると考えられる。
乳幼児はビデオチャット機器の前にじっとしていられず、呼びかけてもビデオチャット機器の近くに来てくれるとは限らない。見守りシステム以外でも、ビデオチャットを利用したものでは同様の問題が発生し、３０分も子供を引きつけていられないと予想される。 Infants cannot sit still in front of the video chat device, and calling does not always come near the video chat device. Other than the watching system, the one using video chat causes the same problem, and it is expected that the child cannot be attracted for 30 minutes.
乳幼児がビデオチャット機器の前に長く滞在できない問題の解決には、テレプレゼンスロボットが有効であると考えられる。テレプレゼンスロボットは、簡潔に言えば移動できるビデオチャット機器であり、操作者が遠く離れた場所から操作し、まるでその場にいるかのように動き回ることができ、相手に近づいて会話を行うことができる（非特許文献１−８）。 Telepresence robots are considered to be effective in solving the problem that infants cannot stay in front of a video chat device for a long time. Telepresence robots are, in short, mobile video chat devices that allow operators to operate from a distance and move around as if they were there, allowing them to approach and talk to each other. (Non-Patent Documents 1-8).
しかし、既存のテレプレゼンスロボットは、いずれも乳幼児と遊ぶことを想定していない。非特許文献１−５に示されるロボットは背が高すぎ、乳幼児と同じ目線で遊ぶことができない。また、乳幼児と長く遊ぶためには、身体を使う遊びや、絵本の読み聞かせなど、乳幼児の楽しめる遊びができなければならないが、スマートフォンサイズのロボット（非特許文献６、７）では、乳幼児に合った多様な遊びを行うことができない。非特許文献８に示される機器は、高さの点では乳幼児との遊びに適しているが、移動することができない。 However, none of the existing telepresence robots are intended to play with infants. The robot shown in Non-Patent Documents 1-5 is too tall and cannot play with the same eyes as infants. In addition, in order to play with infants for a long time, it is necessary to be able to enjoy the infants, such as playing with the body and reading a picture book. I can't play various games. The device described in Non-Patent Document 8 is suitable for playing with an infant in terms of height, but cannot move.
また、発明者らの既存研究として、遠くの場所から乳幼児とコミュニケーションするためのテレプレゼンスロボットがある（非特許文献９）。しかし、子供が相手と対面しているかのような感覚を得ながら遊ぶには不十分であり、子供の興味を引き付けて長くビデオチャットを続けることは難しいと考えられる。 Further, as an existing study by the inventors, there is a telepresence robot for communicating with an infant from a distant place (Non-Patent Document 9). However, it is not enough to play while obtaining the feeling that the child is facing the other party, and it is considered difficult to keep the video chat for a long time by attracting the interest of the child.
一方、特許文献２にはビデオチャット機能を備えた人形型のデバイスが開示されており、乳幼児を対象としたものであるが、親からの介入や監督を必要とせずに本人の意志で遊ぶことを志向したものであり、方向性が異なる。
On the other hand,
上述したように、従来、遠隔地から効果的に乳幼児の相手を行う仕組が存在せず、有効な手法が要望されていた。 As described above, conventionally, there is no mechanism for effectively dealing with infants from a remote place, and an effective method has been demanded.
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、乳幼児が集中しやすく、長期的に飽きにくいコミュニケーション手法を提供することにある。 The present invention has been proposed in view of the above-described conventional problems, and an object of the present invention is to provide a communication method in which babies and infants can easily concentrate and are not tired of in the long term.
上記の課題を解決するため、本発明にあっては、ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構と、前記ロボットと通信相手の端末装置との間でビデオチャットを行う機能を提供するビデオチャット部と、前記ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する制御部とを備える。 In order to solve the above problems, in the present invention, a hand mechanism provided in a robot, imitating a hand, having a state where an article can be placed and a state where an article is taken in and hidden, A video chat unit that provides a function of performing a video chat between the robot and the terminal device of the communication partner; and, in accordance with the placement of the article on the hand mechanism, the hand mechanism is fetched and hidden. Controlling, in this state, combining the video showing the article with the video of the communication partner on the video chat, deleting the video showing the article on the video chat in response to the return instruction of the communication partner, And a control unit for controlling the state in which the articles can be placed.
本発明にあっては、乳幼児が集中しやすく、長期的に飽きにくいコミュニケーション手法を提供することができる。 According to the present invention, it is possible to provide a communication method in which babies and infants can easily concentrate and are not tired in the long term.
以下、本発明の好適な実施形態につき説明する。 Hereinafter, preferred embodiments of the present invention will be described.
＜構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。図１において、主に乳幼児が使用するビデオチャットロボット１と、主に祖父母等の通信相手が使用する端末装置２とが、インターネット等のネットワーク３を介して接続可能になっている。また、必要に応じて、ネットワーク３にはサーバ４が接続可能になっている。
<Structure>
FIG. 1 is a diagram showing a configuration example of a system according to an embodiment of the present invention. In FIG. 1, a
ビデオチャットロボット１は、ビデオチャット部１１とハンド制御部１２と映像制御部１３とを備えている。ビデオチャット部１１は、ビデオチャットロボット１側でのビデオチャットについての処理を実行する機能を有している。ハンド制御部１２は、ビデオチャットロボット１に備えられたハンド（後述）を制御する機能を有している。映像制御部１３は、ハンドの制御に連動してビデオチャット上の映像を制御する機能を有している。なお、ハンドの制御に連動したビデオチャット上の映像の制御を端末装置２側またはサーバ４側で行う場合には、映像制御部１３は不要となる。
The
端末装置２は、ビデオチャット部２１と映像制御部２２とを備えている。ビデオチャット部２１は、端末装置２側でのビデオチャットについての処理を実行する機能を有している。映像制御部２２は、ビデオチャットロボット１のハンドの制御に連動してビデオチャット上の映像を制御する機能を有している。なお、ビデオチャットロボット１のハンドの制御に連動したビデオチャット上の映像の制御をビデオチャットロボット１側またはサーバ４側で行う場合には、映像制御部２２は不要となる。ビデオチャットロボット１の映像制御部１３と端末装置２の映像制御部２２とで、連携してビデオチャット上の映像の制御を行ってもよい。
The
サーバ４は、ビデオチャット制御部４１と映像制御部４２とログ取得部４３とを備えている。ビデオチャット制御部４１は、ビデオチャットロボット１と端末装置２の間のビデオチャットを制御する機能を有している。映像制御部４２は、ビデオチャットロボット１のハンドの制御に連動してビデオチャット上の映像を制御する機能を有している。ログ取得部４３は、ビデオチャットロボット１と端末装置２の動作ログを取得する機能を有している。
The
図２はビデオチャットロボット１の外観構成例を示す図である。図２において、ビデオチャットロボット１は、頭部筐体１０１と胴部筐体１０６とを備えている。頭部筐体１０１には、前面に画面部１０２が設けられるとともに、画面部１０２の上部にはカメラ１０３が設けられ、画面部１０２の両側にはスピーカ１０４が設けられ、下部にはマイク１０５が設けられている。胴部筐体１０６には、手を模し、物品が載置可能な状態と、物品が取り込まれて隠された状態とを有するハンド１０７が設けられている。また、ビデオチャットロボット１には、利用者（子供）に追従して利用者の正面を向くための自走機構や回転機構を設けることができる。利用者の認識は、カメラ１０３やその他のセンサによる顔認識や色認識等で行うことができる。
FIG. 2 is a diagram illustrating an example of an external configuration of the
図３はハンド１０７の構成例を示す図であり、図２のビデオチャットロボット１を右側方から見た図である。図３（ａ）において、ハンド１０７は、上方に向かって湾曲した受皿部１０７−１が支点１０７−２で揺動自在に保持されており、駆動部１０７−３により、受皿部１０７−１が上方向に振り上がるようになっている。図３（ｂ）は受皿部１０７−１が上がりきった状態を示している。これにより、図３（ａ）の状態で受皿部１０７−１に載置された物品ＯＢＪが、図３（ｂ）の状態では隠されて見えない状態になる。
FIG. 3 is a diagram showing a configuration example of the
図４はハンド１０７の他の構成例を示す図である。図４（ａ）において、ハンド１０７は、円弧状の断面を有し、上方に向かって湾曲した受皿部１０７−４が、駆動部１０７−５によって円弧の中心を維持しながら回転して、せり出し可能となっている。図４（ｂ）はせり出しきった状態を示している。これにより、図４（ａ）の状態で受皿部１０７−４に載置された物品ＯＢＪが、図４（ｂ）の状態では隠されて見えない状態になる。
FIG. 4 is a diagram illustrating another configuration example of the
図５はハンド１０７の他の構成例を示す図である。図５（ａ）において、ハンド１０７は、断面が略Ｌ字形の受け部１０７−６が駆動部１０７−８により、胴部筐体１０６に設けられた空洞部１０７−７に向かって後退可能になっている。図５（ｂ）は後退しきった状態を示している。これにより、図５（ａ）の状態で受け部１０７−６に載置された物品ＯＢＪが、図５（ｂ）の状態では隠されて見えない状態になる。
FIG. 5 is a diagram illustrating another configuration example of the
図６はハンド１０７の他の構成例を示す図である。図６（ａ）において、ハンド１０７は、断面が略Ｌ字形で、固定されたハンド受部１０７−９に対し、断面が略逆Ｌ字状のハンド押さえ部１０７−１０が駆動部１０７−１１により下方に移動し、ハンド受部１０７−９と噛み合うようになっている。図６（ｂ）はかみあった状態を示している。これにより、図６（ａ）の状態でハンド受部１０７−９に載置された物品ＯＢＪが、図６（ｂ）の状態では隠されて見えない状態になる。
FIG. 6 is a diagram showing another configuration example of the
図７はハンド１０７の他の構成例を示す図であり、ビデオチャットロボット１を正面から見た図である。図７（ａ）において、ハンド１０７は、胴部筐体１０６の両端付近にヒンジ止めされた、いわゆる観音開きの右側ハンド１０７−１２と左側ハンド１０７−１３とを備え、胴部筐体１０６の中央に空洞部１０７−１４を備えている。そして、右側ハンド１０７−１２と左側ハンド１０７−１３が開いた状態から、内部の駆動部により右側ハンド１０７−１２と左側ハンド１０７−１３が内側に閉じられるようになっている。図７（ｂ）は右側ハンド１０７−１２と左側ハンド１０７−１３が閉じられた状態を示している。これにより、図７（ａ）の状態で空洞部１０７−１４に載置された物品ＯＢＪが、図７（ｂ）の状態では隠されて見えない状態になる。
FIG. 7 is a diagram showing another configuration example of the
図８はビデオチャットロボット１の情報処理にかかるハードウェア構成例を示す図である。図８において、ビデオチャットロボット１は、バス１０００を介して相互に接続されたＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３、ＨＤＤ（Hard Disk Drive）／ＳＳＤ（Solid State Drive）１００４、接続Ｉ／Ｆ（Interface）１００５、通信Ｉ／Ｆ１００６を備えている。
FIG. 8 is a diagram illustrating an example of a hardware configuration related to information processing of the
ＣＰＵ１００１は、ＲＡＭ１００３をワークエリアとしてＲＯＭ１００２またはＨＤＤ／ＳＳＤ１００４等に格納されたプログラムを実行することで、ビデオチャットロボット１の動作を統括的に制御する。接続Ｉ／Ｆ１００５は、カメラ１００７、マイク１００８、スピーカ１００９、センサ１０１０、モータ１０１１とのインタフェースである。通信Ｉ／Ｆ１００６は、ネットワークを介して他の情報処理装置（端末装置２、サーバ４等）と通信を行うためのインタフェースである。図１で説明したビデオチャットロボット１の機能は、ＣＰＵ１００１において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。
The
センサ１０１０はビデオチャットロボット１に物品が載置されたか否かを検出するためのものであり、
・触覚センサを用いる場合
・加重センサを用いる場合
・カメラを用いる場合
・ＲＦＩＤタグリーダを用いる場合
・ＶＲマーカリーダを用いる場合
・操作者の操作による場合
といった、いくつかのヴァリエーションがある。なお、センサ１０１０は、物品がハンド１０７に載置されたことの検出と、載置された物品の特定（合成する物品の画像の特定）とを行うためのものであり、上述のヴァリエーションを複数組み合わせることもできる。
The
There are several variations, such as using a tactile sensor, using a weight sensor, using a camera, using an RFID tag reader, using a VR marker reader, and using an operator's operation. The
触覚センサを用いる場合、触覚センサは物品が載置される部分に配置され、物品の載置による接触で、物品の載置を検出する。加重センサを用いる場合、加重センサは物品が載置される部分に配置され、物品の載置による加重変化で、物品の載置を検出する。加重センサとしては、歪ゲージを用いることもできるし、モータ（ハンド駆動用モータ）の負荷変化を利用することもできる。カメラを用いる場合、カメラは物品が載置される部分を撮影可能な位置に配置される。ビデオチャットに用いるカメラと兼用することもできる。カメラを用いる場合、物品が載置されていない状態の背景画像と、撮影画像との差分をとることで、物品の載置を検出することができる。また、検出した物品の画像をそのまま合成に用いる場合には、更に物品を特定することは不要となる。 In the case of using a tactile sensor, the tactile sensor is disposed at a portion where the article is placed, and detects the placement of the article by contact due to the placement of the article. When a weight sensor is used, the weight sensor is disposed at a portion where the article is placed, and detects the placement of the article based on a change in weight due to the placement of the article. As the load sensor, a strain gauge can be used, or a load change of a motor (motor for driving a hand) can be used. When a camera is used, the camera is arranged at a position where a part on which an article is placed can be photographed. It can also be used as a camera for video chatting. When a camera is used, the placement of an article can be detected by taking the difference between a background image in which no article is placed and a captured image. When the detected image of the article is used as it is for synthesis, it is not necessary to further specify the article.
ＲＦＩＤタグリーダを用いる場合、ＲＦＩＤタグリーダは物品が載置される部分に設けられ、物品に予め貼り付けられたＲＦＩＤタグを近接検出することで、物品の載置の検出と物品の特定を行うことができる。ＶＲマーカリーダを用いる場合、物品に予め貼り付けられたＶＲマーカを検出することで、物品の載置の検出と物品の特定を行うことができる。ＶＲマーカリーダは、物品が載置される位置を撮影するカメラと、カメラ画像からＶＲマーカを検出する処理部とにより構成することができる。操作者の操作による場合、所定のボタン等に操作が行われたことで、物品の載置を検出することができる。この場合、物品の種類毎にボタン等を設けることも考えられるが、ボタンを１つとする場合、物品の特定は他の手法を併用することが望ましい。 When an RFID tag reader is used, the RFID tag reader is provided in a portion where the article is placed, and detects the placement of the article and specifies the article by detecting the proximity of the RFID tag attached in advance to the article. it can. When the VR marker reader is used, the placement of the article and the identification of the article can be performed by detecting the VR marker attached to the article in advance. The VR marker reader can be configured by a camera that captures the position where the article is placed, and a processing unit that detects the VR marker from the camera image. In the case of the operation by the operator, the placement of the article can be detected by operating the predetermined button or the like. In this case, it is conceivable to provide a button or the like for each type of article, but in the case of using one button, it is desirable to specify the article using another method.
なお、検出の安定性を増すために、物品の載置に対応する所定の閾値以上の反応が所定の時間以上継続した場合に物品の載置を検出したとすることが望ましい。 In order to increase the stability of the detection, it is desirable that the placement of the article is detected when the reaction equal to or more than the predetermined threshold value corresponding to the placement of the article continues for a predetermined time or more.
端末装置２とサーバ４のハードウェア構成も図８に示したものと同様であるが、端末装置２にはセンサ１０１０、モータ１０１１等は不要であり、サーバ４にはカメラ１００７、マイク１００８、スピーカ１００９、センサ１０１０、モータ１０１１等は不要である。
Although the hardware configurations of the
＜動作＞
図９は上記の実施形態の処理例を示すシーケンス図であり、乳幼児等の子供と祖父との間でビデオチャットを介した物品の手渡し遊びを行う例である。なお、ビデオチャットロボット１のハンド１０７の制御に連動したビデオチャット上の映像の制御を端末装置２側で行う場合について示している。
<Operation>
FIG. 9 is a sequence diagram showing a processing example of the above-described embodiment, in which a hand-playing of goods through video chat is performed between a child such as an infant and a grandfather. Note that a case is shown in which the
図９において、ビデオチャットロボット１と端末装置２の間で、一般的な手順に従ってビデオチャットが開始されているとする（ステップＳ１０１）。
In FIG. 9, it is assumed that a video chat is started between the
その後、ビデオチャットロボット１において、子供がハンド１０７に物品を載置するものとする（ステップＳ１０２）。図１０（ａ）は、子供ＣＨがビデオチャットロボット１のハンド１０７に物品ＯＢＪを載置しようとしている状態を示している。図１０（ｂ）は、その際の祖父ＧＦ側の端末装置２において表示される画面例を示しており、主画面には物品ＯＢＪを持った子供ＣＨの映像が表示されており、副画面には祖父ＧＦ本人の映像（ビデオチャットロボット１側に表示されている映像）が表示されている。
Thereafter, in the
図９に戻り、ビデオチャットロボット１のハンド制御部１２が物品の載置を検出すると（ステップＳ１０３）、ハンド制御部１２はハンド１０７を開状態から閉状態に制御する（ステップＳ１０４）。図１１はビデオチャットロボット１においてハンド１０７が閉状態となったことで、物品が隠され、見えなくなった状態を示している。
Returning to FIG. 9, when the
次いで、図９に戻り、ハンド制御部１２は、ハンド１０７が閉状態となったこと（載置された物品が隠されたこと）を確認した後、端末装置２に対して物品載置通知を行う（ステップＳ１０５）。この物品載置通知には、物品の画像または物品を識別する情報が伴われる。
Next, returning to FIG. 9, after confirming that the
端末装置２の映像制御部２２は、物品載置通知を受け付けると、端末装置２側で撮影されるビデオチャットの映像に、載置された物品の画像を合成する（ステップＳ１０６）。物品載置通知に物品の画像が伴われる場合はその画像を合成し、物品を識別する情報が伴われる場合は、その情報に対応する画像を取得して合成する。
Upon receiving the article placement notification, the
合成が行われた映像はビデオチャットに反映される。図１２（ａ）は、ビデオチャットロボット１の画面部１０２に祖父ＧＦとともに物品ＯＢＪの画像（合成画像）が表示された状態を示している。子供ＣＨは、自分が渡した物品ＯＢＪが祖父ＧＦに渡ったと認識する。また、図１２（ｂ）は、その際の祖父ＧＦ側の端末装置２において表示される画面例を示しており、主画面には子供ＣＨの映像が表示されており、副画面には祖父ＧＦ本人の映像と物品ＯＢＪの画像が表示されている。
The synthesized video is reflected in the video chat. FIG. 12A shows a state in which an image (composite image) of the article OBJ is displayed together with the grandfather GF on the
図９に戻り、端末装置２側で、マウスやキーボード等により、合成された物品の画像の位置を変更する操作を行い（ステップＳ１０７）、それを映像制御部２２が検出すると（ステップＳ１０８）、映像制御部２２は、合成する物品の画像の位置を変更する（ステップＳ１０９）。合成位置の変更が行われた映像はビデオチャットに反映される。これにより、例えば、端末装置２を操作する祖父は、物品が食べ物の玩具である場合、口の近くに持って行って「もぐもぐ 美味しいね」といった発話を行い、子供を喜ばすことができる。
Returning to FIG. 9, the
次いで、端末装置２側で、合成された物品を返却する操作を行うものとする（ステップＳ１１０）。返却の操作は、マウスやキーボード等により物品の画像を副画面外に移動したり、返却のボタンを押す等により行うことができる。そして、映像制御部２２が物品返却操作を検出すると（ステップＳ１１１）、映像制御部２２は、ビデオチャットロボット１に対して物品返却通知を行う（ステップＳ１１２）。これとほぼ同時に、端末装置２の映像制御部２２は、端末装置２側で撮影されるビデオチャットの映像への物品の合成を停止する（ステップＳ１１３）。合成の停止が行われた映像はビデオチャットに反映される。
Next, it is assumed that the
ビデオチャットロボット１のハンド制御部１２は、物品返却通知を受け取ると、ハンド１０７を閉状態から開状態に制御する（ステップＳ１１４）。図１３（ａ）は、祖父ＧＦ側の端末装置２において表示される画面例を示しており、主画面には子供ＣＨの映像が表示されており、副画面には祖父ＧＦ本人の映像が表示されている。図１３（ｂ）は、ビデオチャットロボット１のハンド１０７が開状態となって、物品ＯＢＪが再び見えるようになった状態を示している。
Upon receiving the article return notification, the
ビデオチャットロボット１のハンド１０７の制御に連動したビデオチャット上の映像の制御を端末装置２側で行う場合について説明したが、ビデオチャットの映像そのものには加工を行わず、画面表示される映像についてビデオチャットロボット１側と端末装置２側で物品の映像の合成および合成停止を行うようにしてもよい。なお、ビデオチャットの映像への物品ＯＢＪの合成の停止とハンド１０７の閉状態から開状態への制御とが子供ＣＨに不信感を抱かせないタイミングで行われれば、つまり、ビデオチャットロボット１のビデオチャットの映像に物品ＯＢＪが映っており、かつハンド１０７が開状態となり載置された物品ＯＢＪが視認できるということが無ければ、ステップＳ１１２〜Ｓ１１４はどのような順番で処理が行われてもよい。
A case has been described in which the video on the video chat is controlled by the
図１４は実施形態の他の処理例を示すシーケンス図であり、サーバ４を介して制御を行うようにした例である。
FIG. 14 is a sequence diagram illustrating another processing example of the embodiment, in which control is performed via the
図１４において、ビデオチャットロボット１と端末装置２の間で、サーバ４を介し、一般的な手順に従ってビデオチャットが開始されているとする（ステップＳ２０１、Ｓ２０２）。
In FIG. 14, it is assumed that a video chat has been started between the
その後、ビデオチャットロボット１において、子供がハンド１０７に物品を載置し（ステップＳ２０３）、ビデオチャットロボット１のハンド制御部１２が物品の載置を検出すると（ステップＳ２０４）、ハンド制御部１２はハンド１０７を開状態から閉状態に制御する（ステップＳ２０５）。
Thereafter, in the
次いで、ハンド制御部１２は、ハンド１０７が閉状態となったこと（載置された物品が隠されたこと）を確認した後、サーバ４に対して物品載置通知を行う（ステップＳ２０６）。この物品載置通知には、物品の画像または物品を識別する情報が伴われる。
Next, after confirming that the
サーバ４の映像制御部４２は、物品載置通知を受け付けると、端末装置２側で撮影されるビデオチャットの映像に、載置された物品の画像を合成する（ステップＳ２０７）。物品載置通知に物品の画像が伴われる場合はその画像を合成し、物品を識別する情報が伴われる場合は、その情報に対応する画像を取得して合成する。合成が行われた映像はビデオチャットに反映される。
Upon receiving the article placement notification, the
その後、端末装置２側で、マウスやキーボード等により、合成された物品の画像の位置を変更する操作を行い（ステップＳ２０８）、それを映像制御部２２が検出すると（ステップＳ２０９）、映像制御部２２は、サーバ４に対して物品位置変更通知を行う（ステップＳ２１０）。
Thereafter, the
サーバ４の映像制御部４２は、物品位置変更通知を受け付けると、合成する物品の画像の位置を変更する（ステップＳ２１１）。合成位置の変更が行われた映像はビデオチャットに反映される。
Upon receiving the article position change notification, the
次いで、端末装置２側で、合成された物品を返却する操作を行うものとする（ステップＳ２１２）。返却の操作は、マウスやキーボード等により物品の画像を副画面外に移動したり、返却のボタンを押す等により行うことができる。そして、映像制御部２２が物品返却操作を検出すると（ステップＳ２１３）、映像制御部２２は、サーバ４に対して物品返却通知を行う（ステップＳ２１４）。サーバ４の映像制御部４２は、物品返却通知を受け付けると、ビデオチャットロボット１に対して物品返却通知を行う（ステップＳ２１５）。これとほぼ同時に、サーバ４の映像制御部４２は、端末装置２側で撮影されるビデオチャットの映像への物品の合成を停止する（ステップＳ２１６）。合成の停止が行われた映像はビデオチャットに反映される。
Next, an operation of returning the synthesized article is performed on the
ビデオチャットロボット１のハンド制御部１２は、物品返却通知を受け取ると、ハンド１０７を閉状態から開状態に制御する（ステップＳ２１７）。
Upon receiving the article return notification, the
なお、上記の図９の処理例と同様、ビデオチャットの映像への物品ＯＢＪの合成の停止とハンド１０７の閉状態から開状態への制御とが子供ＣＨに不信感を抱かせないタイミングで行われれば、ステップＳ２１４〜Ｓ２１７はどのような順番で処理が行われてもよい。
Note that, similarly to the processing example of FIG. 9 described above, the stop of the combination of the article OBJ with the video chat video and the control of the
＜総括＞
以上説明したように、本実施形態によれば、物品の手渡し遊びを実現することで、乳幼児が集中しやすく、長期的に飽きにくいコミュニケーション手法を提供することができる。
<Summary>
As described above, according to the present embodiment, by realizing the hand-to-hand play of articles, it is possible to provide a communication method in which infants can easily concentrate and are not tired over a long period of time.
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。 The present invention has been described with reference to the preferred embodiments of the present invention. Although the invention has been described with reference to specific embodiments, various modifications and changes may be made to these embodiments without departing from the broader spirit and scope of the invention as defined in the appended claims. Obviously you can do that. In other words, the present invention should not be construed as being limited by the details of the specific examples and the accompanying drawings.
１ ビデオチャットロボット
１１ ビデオチャット部
１２ ハンド制御部
１３ 映像制御部
１０１ 頭部筐体
１０２ 画面部
１０３ カメラ
１０４ スピーカ
１０５ マイク
１０６ 胴部筐体
１０７ ハンド
２ 端末装置
２１ ビデオチャット部
２２ 映像制御部
３ ネットワーク
４ サーバ
４１ ビデオチャット制御部
４２ 映像制御部
４３ ログ取得部
DESCRIPTION OF
Claims (6)
前記ロボットと通信相手の端末装置との間でビデオチャットを行う機能を提供するビデオチャット部と、
前記ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する制御部と
を備えたことを特徴とするビデオチャットロボットシステム。 A hand mechanism provided on the robot, imitating a hand, having a state where an article can be placed and a state where the article is captured and hidden.
A video chat unit that provides a function of performing a video chat between the robot and a communication partner terminal device,
In accordance with the placement of the article on the hand mechanism, the hand mechanism is controlled so that the article is taken in and hidden, and in this state, the image showing the article is synthesized with the video image of the communication partner on the video chat. And a control unit for erasing an image indicating an article on the video chat in response to the return instruction of the communication partner, and controlling the hand mechanism so that the article can be placed on the video chat. Robot system.
前記端末装置において返却指示が行われた場合に前記ロボットに通知を行い、前記端末装置において物品を示す映像を消去する
ことを特徴とする請求項１に記載のビデオチャットロボットシステム。 Notify the terminal device when the placement of an article is detected in the robot, synthesize a video showing the article in the terminal device,
The video chat robot system according to claim 1, wherein when the return instruction is issued in the terminal device, the robot is notified and a video indicating an article is deleted in the terminal device.
前記ロボットにおいて物品の載置が検出された場合に前記サーバに対して通知を行い、前記サーバにおいて物品を示す映像を合成し、
前記端末装置において返却指示が行われた場合に前記サーバを介して前記ロボットに通知を行い、前記サーバにおいて物品を示す映像を消去する
ことを特徴とする請求項１に記載のビデオチャットロボットシステム。 Equipped with a server that mediates video chat,
Notify the server when the placement of an article is detected in the robot, synthesize a video showing the article in the server,
2. The video chat robot system according to claim 1, wherein when the return instruction is issued in the terminal device, the robot is notified via the server, and an image indicating an article is deleted in the server. 3.
ことを特徴とする請求項１乃至３のいずれか一項に記載のビデオチャットロボットシステム。 4. The method according to claim 1, wherein when a move instruction is given to the image of the article combined and displayed on the terminal device, a combining position of the image of the article is changed. 5. Video chat robot system.
前記ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構に対し、該ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する、
処理をコンピュータが実行することを特徴とする手渡し遊び制御方法。 Providing a function to perform video chat between the robot and the terminal device of the communication partner,
A hand mechanism provided in the robot, imitating a hand, having a state in which an article can be placed and a state in which the article is taken in and concealed, the hand mechanism according to the placement of the article on the hand mechanism The mechanism is controlled so that the article is taken in and concealed, and in this state, the video showing the article is synthesized with the video of the communication partner on the video chat, and the video chat is performed in response to the return instruction of the communication partner. Erase the image showing the article of, and control the hand mechanism so that the article can be placed,
A hand-held play control method, wherein the processing is executed by a computer.
前記ロボットに設けられ、手を模し、物品が載置可能な状態と物品が取り込まれて隠された状態とを有するハンド機構に対し、該ハンド機構への物品の載置に応じて前記ハンド機構を物品が取り込まれて隠された状態に制御し、該状態においてビデオチャット上の前記通信相手を撮影した映像に物品を示す映像を合成し、前記通信相手の返却指示に応じてビデオチャット上の物品を示す映像を消去し、前記ハンド機構を物品が載置可能な状態に制御する、
処理をコンピュータに実行させることを特徴とする手渡し遊び制御プログラム。 Providing a function to perform video chat between the robot and the terminal device of the communication partner,
A hand mechanism provided in the robot, imitating a hand, having a state in which an article can be placed and a state in which the article is taken in and concealed, the hand mechanism according to the placement of the article on the hand mechanism The mechanism is controlled so that the article is taken in and concealed, and in this state, the video showing the article is synthesized with the video of the communication partner on the video chat, and the video chat is performed according to the return instruction of the communication partner. Erase the image showing the article of, and control the hand mechanism so that the article can be placed,
A hand-held play control program for causing a computer to execute processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016053021A JP6647711B2 (en) | 2016-03-16 | 2016-03-16 | Video chat robot system, hand-over play control method, and hand-over play control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016053021A JP6647711B2 (en) | 2016-03-16 | 2016-03-16 | Video chat robot system, hand-over play control method, and hand-over play control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017164319A JP2017164319A (en) | 2017-09-21 |
| JP6647711B2 true JP6647711B2 (en) | 2020-02-14 |
Family
ID=59908542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016053021A Active JP6647711B2 (en) | 2016-03-16 | 2016-03-16 | Video chat robot system, hand-over play control method, and hand-over play control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6647711B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945803A (en) * | 2017-11-28 | 2018-04-20 | 上海与德科技有限公司 | The assisted learning method and robot of a kind of robot |
| JP6564484B1 (en) * | 2018-03-23 | 2019-08-21 | 国立大学法人電気通信大学 | Same room communication system |
| JP7257022B2 (en) * | 2018-09-21 | 2023-04-13 | 国立大学法人電気通信大学 | Communication support system, robot, video processing device and video processing program |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0681633B2 (en) * | 1988-10-31 | 1994-10-19 | 株式会社タカラ | Change mechanism in toys |
| JP2903671B2 (en) * | 1990-08-20 | 1999-06-07 | 株式会社トミー | Coin toys and piggy banks |
| JP3758007B2 (en) * | 1997-10-17 | 2006-03-22 | 株式会社ナムコ | Composite image display device, game device, and bowling game device |
| JP2004173928A (en) * | 2002-11-27 | 2004-06-24 | System Watt Co Ltd | Toy for portable telephone |
| JP2004261941A (en) * | 2003-03-04 | 2004-09-24 | Sharp Corp | Communication robot and communication system |
| JP5407069B2 (en) * | 2009-11-02 | 2014-02-05 | 株式会社国際電気通信基礎技術研究所 | Listening dialog system |
| JP2015093353A (en) * | 2013-11-12 | 2015-05-18 | 敏之 三津江 | Multifunctional information terminal remote-manipulation type robot |
| WO2015159561A1 (en) * | 2014-04-16 | 2015-10-22 | 株式会社ソニー・コンピュータエンタテインメント | Information-processing device, information-processing system, and information-processing method |
| KR101870067B1 (en) * | 2014-08-25 | 2018-06-22 | 엑스 디벨롭먼트 엘엘씨 | Methods and systems for augmented reality to display virtual representations of robotic device actions |
-
2016
- 2016-03-16 JP JP2016053021A patent/JP6647711B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017164319A (en) | 2017-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8914139B2 (en) | Robot | |
| US10438394B2 (en) | Information processing method, virtual space delivering system and apparatus therefor | |
| JP6244593B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP7298860B2 (en) | Autonomous action type robot assuming a virtual character | |
| EP2923252B1 (en) | Method and apparatus to control hardware in an environment | |
| US11423627B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
| JP6290467B1 (en) | Information processing method, apparatus, and program causing computer to execute information processing method | |
| WO2016068262A1 (en) | Communication robot | |
| CN109262606B (en) | Device, method, recording medium and robot | |
| JP2012054897A (en) | Conference system, information processing apparatus, and information processing method | |
| WO2019116521A1 (en) | Entertainment system, robot device, and server device | |
| JP6647711B2 (en) | Video chat robot system, hand-over play control method, and hand-over play control program | |
| US12236152B2 (en) | Information processing apparatus and information processing method for displaying a feeling parameter associated with an autonomous moving body | |
| US12020389B2 (en) | Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements | |
| US20140314327A1 (en) | Systems and Methods for Computer Recognition of Plush Toys | |
| JP6667878B1 (en) | Costume effect support device, costume effect support system, and costume effect support method | |
| CN113165177B (en) | Information processing apparatus, method for processing information, and program | |
| JP2024025810A (en) | Control device, control method and control program | |
| JPWO2020022371A1 (en) | Robots and their control methods and programs | |
| CN110543234B (en) | Information processing apparatus and non-transitory computer readable medium | |
| JP6586810B2 (en) | toy | |
| JP2018124981A (en) | Information processing method, information processing device and program causing computer to execute information processing method | |
| GB2612053A (en) | System and method of simultaneous localisation and mapping | |
| US20230218984A1 (en) | Methods and systems for interactive gaming platform scene generation utilizing captured visual data and artificial intelligence-generated environment | |
| TW201841595A (en) | Massager |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200107 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6647711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |