JP2020064362A - Photobook production system and server device - Google Patents
Photobook production system and server device Download PDFInfo
- Publication number
- JP2020064362A JP2020064362A JP2018194471A JP2018194471A JP2020064362A JP 2020064362 A JP2020064362 A JP 2020064362A JP 2018194471 A JP2018194471 A JP 2018194471A JP 2018194471 A JP2018194471 A JP 2018194471A JP 2020064362 A JP2020064362 A JP 2020064362A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- smart speaker
- photobook
- touch panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、フォトブック作製システム及びサーバ装置に関する。 The present invention relates to a photobook production system and a server device.
デジタルカメラやスマートフォン等で撮影した画像を、ネットワーク上にアップロードして保存することが行われている。また、アップロードした画像をプリントして、フォトブックやポスター等の印画物を作製するサービスが知られている（例えば特許文献１参照）。
Images taken by digital cameras, smartphones, etc. are uploaded and stored on a network. In addition, a service is known in which an uploaded image is printed to produce a printed matter such as a photo book or a poster (see
従来、アップロードした画像を用いてフォトブックを注文する場合、パーソナルコンピュータやスマートフォンを操作して画像の選択、配置、コメントの入力等を行っていた。 Conventionally, when ordering a photo book using uploaded images, a personal computer or a smartphone is operated to select images, arrange them, input comments, and the like.
近年、対話型の音声操作に対応したＡＩアシスタントを利用可能なスマートスピーカが普及している。ユーザがスマートスピーカに話しかけることで、検索エンジンを用いた調べ物、ニュースの読み上げ、音楽や動画の再生、家電の操作など、様々なアクションを実行できる。 In recent years, smart speakers that can use an AI assistant that supports interactive voice operations have become widespread. By speaking to the smart speaker, the user can perform various actions such as research using a search engine, reading news, playing music and videos, and operating home appliances.
本発明は、タッチパネル搭載のスマートスピーカを使用し、音声操作とタッチパネル操作とを組み合わせることでフォトブックの編集や注文を行うことができるフォトブック作製システム及びサーバ装置を提供することを課題とする。 An object of the present invention is to provide a photobook production system and a server device that can edit and order a photobook by using a smart speaker with a touch panel and combining voice operation and touch panel operation.
本発明によるフォトブック作製システムは、ユーザ端末から受信した画像データを保存するサーバ装置と、前記サーバ装置と通信可能に接続され、音声出力部、ユーザの発話の集音を行う集音部、及びタッチパネルを有するスマートスピーカと、を備え、前記サーバ装置は、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、前記ユーザ端末から受信した画像の中から複数の画像を選択する画像選択部と、選択された画像を用いてフォトブックデータを生成し、前記フォトブックデータのプレビュー画面を前記スマートスピーカへ送信する編集処理部と、を有し、前記編集処理部は、前記ユーザの音声による指示、又は前記プレビュー画面を表示する前記タッチパネルに対する操作に基づいて、前記フォトブックデータ及び前記プレビュー画面を更新するものである。 A photobook production system according to the present invention includes a server device that stores image data received from a user terminal, a voice output unit that is communicatively connected to the server device, a sound collection unit that collects a user's speech, and A smart speaker having a touch panel, wherein the server device understands a user's voice input via the smart speaker, generates a response sentence for the user, and outputs the response sentence via the smart speaker. An interactive processing unit for outputting to a user, an image selection unit for selecting a plurality of images from images received from the user terminal when the user's voice is a photobook production instruction, and the selected image are used. An edit processing unit for generating photobook data by transmitting the preview screen of the photobook data to the smart speaker. Has, the edit processing unit, instruction by the user voice, or based on operation on the touch panel to display the preview screen is for updating the photo book data and the preview screen.
本発明の一態様では、前記ユーザの音声が前記プレビュー画面のページ切替指示である場合、前記タッチパネルに表示された前記プレビュー画面内のページ切替ボタンが押された場合、又は前記タッチパネルに対しスワイプ操作が行われた場合、前記編集処理部は、対応するページのプレビュー画面を前記スマートスピーカへ送信する。 In one aspect of the present invention, when the user's voice is a page switching instruction of the preview screen, when a page switching button in the preview screen displayed on the touch panel is pressed, or a swipe operation is performed on the touch panel. When the above is performed, the edit processing unit transmits a preview screen of the corresponding page to the smart speaker.
本発明の一態様では、前記タッチパネルに表示された画像が所定時間以上押された場合、前記編集処理部は、保存している画像を用いた画像一覧画面を前記スマートスピーカへ送信し、押されていた画像を、前記画像一覧画面を介して選択された画像に変更する。 In one aspect of the present invention, when the image displayed on the touch panel is pressed for a predetermined time or more, the edit processing unit transmits an image list screen using the saved images to the smart speaker and is pressed. The existing image is changed to the image selected through the image list screen.
本発明の一態様では、前記タッチパネルに表示された画像がタップされた後、画像の拡大又は縮小を指示するユーザの音声を受信した場合、又は前記タッチパネルに対しピンチアウト又はピンチイン操作が行われた場合、前記編集処理部は、選択された画像の拡大又は縮小を行う。 In one aspect of the present invention, after an image displayed on the touch panel is tapped, a user's voice instructing to enlarge or reduce the image is received, or a pinch-out or pinch-in operation is performed on the touch panel. In this case, the edit processing unit enlarges or reduces the selected image.
本発明の一態様では、前記タッチパネルに表示された画像がタップされた後、画像の回転を指示するユーザの音声を受信した場合、又は前記タッチパネルに対し円弧を描く操作が行われた場合、前記編集処理部は、選択された画像の回転を行う。 In one aspect of the present invention, after the image displayed on the touch panel is tapped, when a user's voice instructing rotation of the image is received, or when an operation of drawing an arc on the touch panel is performed, The edit processing unit rotates the selected image.
本発明によるサーバ装置は、音声出力部、ユーザの発話の集音を行う集音部、及びタッチパネルを有するスマートスピーカと通信可能に接続されたサーバ装置であって、ユーザ端末から受信した画像を保存する記憶部と、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、前記ユーザ端末から受信した画像の中から複数の画像を選択する画像選択部と、選択された画像を用いてフォトブックデータを生成し、前記フォトブックデータのプレビュー画面を前記スマートスピーカへ送信する編集処理部と、を有し、前記編集処理部は、前記ユーザの音声による指示、又は前記プレビュー画面を表示する前記タッチパネルに対する操作に基づいて、前記フォトブックデータ及び前記プレビュー画面を更新するものである。 A server device according to the present invention is a server device communicatively connected to a voice output unit, a sound collection unit that collects sound of a user's speech, and a smart speaker having a touch panel, and stores an image received from a user terminal. And a dialogue processing unit that understands a user's voice input through the smart speaker, generates a response sentence for the user, and outputs the response sentence to the user through the smart speaker, When the user's voice is a photobook production instruction, an image selection unit that selects a plurality of images from the images received from the user terminal, and photobook data is generated using the selected images, and the photobook data is generated. An edit processing unit for transmitting a preview screen of book data to the smart speaker, wherein the edit processing unit is responsive to the voice of the user. Indication, or based on operation on the touch panel to display the preview screen is for updating the photo book data and the preview screen.
本発明によれば、タッチパネル搭載のスマートスピーカを使用し、音声操作とタッチパネル操作とを組み合わせることでフォトブックの編集や注文を行うことができる。 According to the present invention, it is possible to edit and order a photo book by using a smart speaker with a touch panel and combining voice operation and touch panel operation.
以下、本発明の実施の形態を図面に基づいて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１に示すように、本発明の実施形態に係るフォトブック作製システムは、サーバ装置１及びスマートスピーカ２を備える。サーバ装置１は、インターネット等の通信ネットワークを介して、スマートスピーカ２及びユーザ端末３と通信可能となっている。
As shown in FIG. 1, the photobook production system according to the embodiment of the present invention includes a
ユーザ端末３は、スマートフォン、タブレット端末等である。ユーザ端末３はユーザが所有する端末である。サーバ装置１には、ユーザからアップロードされた画像データが保存されている。スマートスピーカ２は、通信機能、対話型音声操作のアシスタント機能、及びタッチパネルを有するスピーカである。
The
スマートスピーカ２及びユーザ端末３には、サーバ装置１から、ユーザを識別する同一の識別情報（ユーザＩＤ）が付与されている。従って、サーバ装置１は、スマートスピーカ２及びユーザ端末３が、同一のユーザが使用するものであることを認識している。上述した画像のアップロードは、ユーザ端末３から行われてもよいし、同じユーザＩＤでログインした他の端末から行われてもよい。
The
サーバ装置１は、画像解析機能を有し、ユーザからアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著作権を侵害する可能性のある画像の検出である。例えば、サーバ装置１はウェブ上で類似している画像を検索して、著作権侵害の有無を判定する。サーバ装置１は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、その他の画像についてはフォトブックに使用可能な画像と判定する。
The
本実施形態において、ユーザは、スマートスピーカ２に話しかけることで、フォトブック作製処理を開始し、スマートスピーカ２に搭載されたタッチパネル２４に表示されるプレビュー画面を確認する。また、ユーザは、タッチパネル２４を操作したり、スマートスピーカ２に話しかけたりすることで、画像の変更等のフォトブック編集処理を行う。
In the present embodiment, the user speaks to the
例えば、図２に示すように、ユーザは「ＯＫ、スピーカ」のような所定のウェイクワード（コマンドワード）でスマートスピーカ２に呼びかけ、アシスタント機能を起動させる。続いて、ユーザはフォトブックを作製するようにスマートスピーカ２に話かける。例えば「１２月の旅行の写真でフォトブック作って」と話しかける。
For example, as shown in FIG. 2, the user calls the
スマートスピーカ２は、ウェイクワード以降のユーザの発話の音声データをサーバ装置１へ送信する。サーバ装置１は、ユーザの発話文を解釈し、フォトブックの作製処理を開始する。サーバ装置１は、このユーザによりアップロードされている画像を選択し、フォトブックのテンプレートに配置する。例えば、サーバ装置１は、保存している画像のＥＸＩＦデータを参照し、撮影日や撮影場所の情報から、１２月の旅行の写真を絞り込み、フォトブックに好適な画像を選択する。例えば、構図や明るさなどに基づいて、画像を選択する。
The
サーバ装置１は、選択した画像をレイアウトしてフォトブックデータを作成すると、応答文（音声データ）を生成し、フォトブックのプレビュー画面と共にスマートスピーカ２へ送信する。スマートスピーカ２は、タッチパネル２４にフォトブックのプレビュー画面を表示し、プレビュー画面を確認するように音声を出力する。例えば、スマートスピーカ２は「プレビューを表示します。確認してください。」という音声を出力する。
When the
例えば、スマートスピーカ２のタッチパネル２４には、図３に示すようなフォトブックのプレビュー画面が表示される。
For example, on the
例えば、プレビュー画面には、各ページ（見開き２ページ）の画像が表示される。ページ切替ボタンＢ１、Ｂ２を押したり、指でスワイプ操作を行ったりすると、スマートスピーカ２が、サーバ装置１に対し、次ページ又は前ページの表示をリクエストする。サーバ装置１が次ページ又は前ページのプレビュー画面をスマートスピーカ２へ送信し、タッチパネル２４に表示することで、ページが切り替わる。
For example, an image of each page (two-page spread) is displayed on the preview screen. When the page switching buttons B1 and B2 are pressed or a swipe operation is performed with a finger, the
発話により選択ページを切り替えることもできる。例えば、ユーザが「５ページ見せて」や「ページをめくって」とスマートスピーカ２に話かける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、対応するページのプレビュー画面をスマートスピーカ２へ送信する。
It is also possible to switch the selected page by utterance. For example, the user speaks to the
フォトブックに使用する画像を変更する場合、図４（ａ）に示すように、ユーザがタッチパネル２４の変更対象画像を指で長押し選択すると、スマートスピーカ２は、サーバ装置１に対し、画像変更をリクエストする。サーバ装置１は、画像変更のリクエストを受け付けると、画像の一覧画面と応答文をスマートスピーカ２へ送信する。スマートスピーカ２は、「一覧画面から写真を選んでください」という音声を出力すると共に、図４（ｂ）に示すように、タッチパネル２４に画像一覧画面を表示する。
When changing the image used for the photo book, as shown in FIG. 4A, when the user long-presses and selects the change target image on the
ユーザが、タッチパネル２４に表示された画像一覧画面から画像を選択すると、サーバ装置１は画像を変更し、フォトブックデータ及びプレビュー画面を更新する。
When the user selects an image from the image list screen displayed on the
発話により画像を変更することもできる。例えば、ユーザが「３ページの写真を変更して」とスマートスピーカ２に話かける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、画像一覧画面及び応答文をスマートスピーカ２へ送信する。
The image can be changed by utterance. For example, the user speaks to the
画像の一覧画面には、ユーザが指定したアルバムにアップロードされた全ての画像が含まれる。すなわち、サーバ装置１の画像解析により、フォトブックに使用すべきでないと判定された不適切画像も含まれる。ユーザが一覧画面から不適切画像を選択した場合、サーバ装置１は、画像の出所を質問する応答文を生成してスマートスピーカ２へ送信する。例えば、スマートスピーカ２は「６ページの写真にキャラクターコンテンツが含まれますが、ご自身で撮影された写真ですか」のような音声を出力する。
The image list screen includes all the images uploaded to the album designated by the user. That is, an inappropriate image which is determined not to be used in the photo book by the image analysis of the
ユーザが「はい、そうです」のような肯定的な返答をした場合、サーバ装置１は、選択した画像の使用を承認する応答文を生成し、スマートスピーカ２へ送信する。一方、ユーザが「いいえ」のような否定的な応答をした場合、サーバ装置１はこの画像の使用には問題があることを説明する応答文を生成してスマートスピーカ２から音声を出力し、タッチパネル２４の表示を画像一覧画面に戻す。
When the user replies affirmatively, such as “yes, yes”, the
画像の拡大や縮小を行う場合、図５に示すように、ユーザは、タッチパネル２４の拡縮対象の画像を指でタップして選択し、「拡大（縮小）して」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、選択された画像を拡大（縮小）し、プレビュー画面及びフォトブックデータを更新する。
When enlarging or reducing an image, as shown in FIG. 5, the user taps the image to be enlarged or reduced on the
サーバ装置１は、ユーザが「拡大（縮小）して」と話す度に、所定の倍率で画像を拡大（縮小）する。あるいはまた、サーバ装置１は、ユーザが「拡大（縮小）して」と話してから、ユーザが「止めて」というまで、画像を連続的に拡大（縮小）してもよい。
The
ユーザが指を使い、タッチパネル２４をピンチアウト／ピンチインすることで、画像の拡大／縮小を行ってもよい。
The user may use a finger to pinch out / pinch in the
画像の回転を行う場合、図６に示すように、タッチパネル２４の回転対象の画像を指でタップして選択し、「右（左）に回転して」とスマートスピーカ２に話かける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、選択された画像を回転し、プレビュー画面及びフォトブックデータを更新する。
When the image is rotated, as shown in FIG. 6, the image to be rotated on the
サーバ装置１は、ユーザが「右（左）に回転して」と話す度に、画像を所定の角度だけ回転する。ユーザが「右に９０°回転して」と話して、回転方向や回転角度を指定してもよい。あるいはまた、サーバ装置１は、ユーザが「右（左）に回転して」と話してから、ユーザが「止めて」というまで、画像を連続的に右（左）に回転してもよい。
The
ユーザが指を使い、タッチパネル２４から指を離さずに円弧を描く動作をすることで、画像を任意の角度で回転させてもよい。また、円弧を描く代わりにドラッグアンドドロップ操作を行うことで、画像の移動が可能となる。
The image may be rotated at an arbitrary angle by the user using a finger and performing an operation of drawing an arc without releasing the finger from the
サーバ装置１は、画像を選択してフォトブックデータを作成する際に、選択した画像に対し、コメント（又はタイトル）を生成して付与できる。サーバ装置１は、画像解析により検出された画像内の物体やテキスト、フォトブックの目的等に基づいて、コメントを生成する。例えば、サーバ装置１は、特徴的な物体が検出された画像に対してコメントを生成して付与する。
When selecting an image and creating photobook data, the
タッチパネル２４にコメントを付与したページを表示する場合、サーバ装置１は、コメントを生成・付与したこと及びコメント内容を知らせる応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は、コメントを音声で読み上げる。ユーザは、スマートスピーカ２から出力される音声を聞いて、コメントを確認する。
When displaying a page with a comment on the
コメントを変更する場合は、発話によりコメントの変更を指示する。例えば、ユーザが「コメント変更」とスマートスピーカ２に話しかけ、続いて変更後のコメントを発話する。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、現在表示している画像のコメントを変更し、フォトブックデータ及びプレビュー画面を更新する。
When changing the comment, utterance is instructed to change the comment. For example, the user speaks “change comment” to the
ユーザがフォトブックのプレビュー画面を一通り確認し、画像の変更等の編集処理を行った後、「注文します」等の所定のワードを発するか、又はプレビュー画面の確定ボタンＢ５（図３参照）を押すと、サーバ装置１は最終確認画面及び応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「画面で、写真とコメントの最終確認をお願いします」等の音声を出力する。
After confirming the preview screen of the photo book, the user issues a predetermined word such as "I will place an order" after performing editing processing such as changing the image, or confirm button B5 (see Fig. 3) on the preview screen. ) Is pressed, the
スマートスピーカ２には、図７に示すような最終確認画面ＦＣが表示される。例えば、画面の下部には、各ページの画像選択者、コメント作成者、コメント内容を含む編集一覧が表示され、画面の上部には選択したページが表示される。編集一覧の画像選択者及びコメント作成者における“ＡＩ自動選択”、“ＡＩ自動作成”は、サーバ装置１に相当する。
A final confirmation screen FC as shown in FIG. 7 is displayed on the
上述したように、サーバ装置１は、画像の選択、配置、コメントの作成等を自動で行う。そのため、図７に示すように、編集一覧では、サーバ装置１が画像を選択し、かつコメントもサーバ装置１が作成したか又はコメントの無いページについては、ページ番号を強調表示する。これらのページは、ユーザが見落としている可能性があるためである。
As described above, the
ユーザが画像を選択（変更、入れ替え）したり、コメントを作成したりしたページは、既にユーザが目を通しているページであるため、強調表示する必要はない。 The page on which the user has selected (changed or replaced) the image or created the comment does not need to be highlighted because it is the page that the user has already read.
ユーザが、強調表示されているページを確認した後、「注文します」等の所定のワードを発するか、又は最終確認画面の確定ボタンＢ７を押すと、サーバ装置１は決済画面を生成してユーザ端末３へ送信し、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「決済処理に進みます。ここからは端末より入力をお願いします」等の音声を出力する。決済画面では、フォトブックの配送先やクレジットカード番号の入力が必要となり、スマートスピーカ２を用いた音声入力より、ユーザ端末３の操作による手入力の方が好ましい。
When the user confirms the highlighted page and then issues a predetermined word such as “I will place an order” or presses the finalization confirmation button B7, the
サーバ装置１は、ユーザ（ユーザ端末３）から決済情報が入力され、フォトブックの注文を受け付けると、フォトブックデータ及び注文内容を工場５へ送信する。
When the settlement information is input from the user (user terminal 3) and the order for the photo book is accepted, the
工場５に設置されたプリンタ（図示略）は、受信したフォトブックデータに基づいて印画処理を行い、フォトブック６を作製する。工場５で作製されたフォトブック６は、ユーザへ配送される。
A printer (not shown) installed in the
工場５へ送信されるフォトブックデータを考査端末４へ送信し、考査端末４で人手による考査を行ってもよい。これにより、サーバ装置１の画像解析で見落とした不適切画像を検出できる。
The photobook data transmitted to the
このように、本実施形態によれば、スマートスピーカ２を介して、音声によりフォトブックの作製を指示できる。また、自動レイアウトされた画像の入れ替え等の編集処理を、スマートスピーカ２を介した音声操作及びタッチパネル操作を組み合わせて行うことができるため、ユーザは簡便にフォトブックを注文できる。
As described above, according to the present embodiment, it is possible to instruct the production of the photo book by voice through the
サーバ装置１は、ユーザからアップロードされた画像の解析を行い、公序良俗に反するおそれがある画像や著作権を侵害するおそれがある画像等の不適切画像を予め特定している。サーバ装置１は、フォトブックの作製にあたり、不適切画像以外の、フォトブックでの使用に問題無い画像から画像を選択できる。
The
画像変更処理において、ユーザにより、画像一覧画面から不適切画像が選択された場合、スマートスピーカ２を介してユーザに画像の出所等を質問し、問題無いことが確認されると、フォトブックに使用する。
When an inappropriate image is selected from the image list screen by the user in the image change process, the user is queried via the
図８は、フォトブック作製システムのブロック構成図である。図８に示すように、スマートスピーカ２は、制御部２０、集音部（マイク）２１、音声出力部（スピーカ）２２、通信部２３及びタッチパネル２４を有する。
FIG. 8 is a block diagram of the photobook production system. As shown in FIG. 8, the
制御部２０は、音声認識の機能を有し、集音部２１を介して所定のウェイクワードが入力されると、ウェイクワード以降の音声を、通信部２３を用いてサーバ装置１へ送信する。また、制御部２０は、タッチパネル２４を介してユーザから入力された操作情報を、サーバ装置１へ送信する。
The
音声出力部２２は、通信部２３を介してサーバ装置１から受信した応答文の音声データを出力する。
The
タッチパネル２４は、通信部２３を介してサーバ装置１から受信したプレビュー画面等の画像データを表示する。また、タッチパネル２４は、ユーザから、画像の選択や拡縮等の操作指示を受け付ける。
The
サーバ装置１は、対話処理部１０及びフォトブック編集部１００を備える。
The
対話処理部１０は、ユーザからの音声指示を理解し、ユーザに対する適切な応答文を生成するものであり、入力理解部１１、対話管理部１２及び出力生成部１３を有する。入力理解部１１は、スマートスピーカ２から受け取ったユーザの発話文からユーザの意図（タスク）を推定する意図推定と、人名や地名等の固有名詞、日付、時間等の表現を発話文から抽出する固有表現抽出の機能を有する。
The
対話管理部１２は、入力理解部１１から受け取った結果情報をデータベースに相当する内部状態に書き込んで更新する内部状態更新と、内部状態及び対話戦略（行動選択規則）に基づいて次の行動を選択する行動選択の機能を有する。
The
出力生成部１３は、対話管理部１２の行動選択が出した指示に合う応答文を生成し、スマートスピーカ２へ送信する。
The
対話処理部１０は、フォトブック編集部１００と連携し、フォトブック編集部１００の処理結果を応答文に反映させることができる。
The
フォトブック編集部１００は、画像ＤＢ、解析結果ＤＢ、フォトブックデータＤＢ、注文内容ＤＢ、各種プログラム等を有する記憶部１１０を備える。
The
ＣＰＵ（中央処理装置）が記憶部１１０に記憶されているプログラムを実行することで、画像受信部１０１、画像解析部１０２、画像選択部１０３、編集処理部１０４、コメント生成部１０５及び注文処理部１０６の機能が実現される。
By the CPU (Central Processing Unit) executing the program stored in the
画像受信部１０１は、ユーザ端末３からアップロードされた画像データを受信し、画像ＤＢに格納する。
The
画像解析部１０２は、ユーザ端末３からアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著名人や有名キャラクター等が写った著作権を侵害する可能性のある画像の検出である。画像解析部１０２は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、判定結果を画像ＤＢ内の画像データに紐付ける。画像解析部１０２は、画像毎に、画像から検出した物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等をタグとして解析結果ＤＢに格納する。
The image analysis unit 102 analyzes the image uploaded from the
画像選択部１０３は、対話処理部１０がユーザの発話からフォトブックの作製というタスクを抽出すると、画像ＤＢからフォトブックに好適な画像を選択する。ユーザの発話に日時が含まれている場合は、画像データに含まれる撮影日情報を参照し、画像を選択する。
When the
編集処理部１０４は、画像選択部１０３により選択された画像を所定のテンプレートに配置し、フォトブックデータを生成し、プレビュー画面をスマートスピーカ２へ送信する。生成したフォトブックデータは、フォトブックデータＤＢに格納される。
The edit processing unit 104 arranges the image selected by the
対話処理部１０が、「５ページ見せて」「ページをめくって」「前のページに戻って」などのユーザの発話からページの入れ替えというタスクを抽出すると、編集処理部１０４は、対応するページのプレビュー画面をスマートスピーカ２へ送信する。また、スマートスピーカ２から、ページ切替ボタンＢ１、Ｂ２が押されたことや、スワイプ操作が行われたことなどの操作情報が通知されると、編集処理部１０４は、操作に対応するページのプレビュー画面をスマートスピーカ２へ送信する。
When the
スマートスピーカ２から、タッチパネル２４上の画像が所定時間以上押されているという操作情報が通知されると、編集処理部１０４は、画像ＤＢ内の画像を用いて画像一覧画面を作成し、スマートスピーカ２へ送信する。スマートスピーカ２から画像一覧画面内の画像選択情報が通知されると、編集処理部１０４は、画像を変更してフォトブックデータ及びプレビュー画面を更新する。
When the
また、編集処理部１０４は、対話処理部１０が「３ページの写真を変更して」などのユーザの発話から画像の変更というタスクを抽出した場合も同様に、画像一覧画面をスマートスピーカ２へ送信する。
Similarly, when the
画像一覧画面から不適切画像が選択された場合、不適切画像が選択されたことを対話処理部１０に通知する。対話処理部１０は、不適切画像の出所等を問う質問文を生成し、スマートスピーカ２から出力させる。
When the inappropriate image is selected from the image list screen, the
編集処理部１０４は、対話処理部１０がユーザの発話からコメントの変更というタスクを抽出すると、ユーザから音声入力されたコメントに変更し、フォトブックデータ及びプレビュー画面を更新する。
When the
スマートスピーカ２から、タッチパネル２４上の画像がタップされ、ピンチアウト／ピンチインされたという操作情報が通知されると、編集処理部１０４は、選択された画像の拡縮を行い、フォトブックデータ及びプレビュー画面を更新する。
When the operation information indicating that the image on the
また、編集処理部１０４は、スマートスピーカ２からタッチパネル２４上の画像がタップされたという操作情報が通知された後、対話処理部１０が「拡大（縮小）して」などのユーザの発話から画像の拡縮というタスクを抽出した場合、選択された画像の拡縮を行い、フォトブックデータ及びプレビュー画面を更新する。
Further, the edit processing unit 104 receives the operation information that the image on the
スマートスピーカ２から、タッチパネル２４上の画像がタップされ、円弧を描く動作やドラッグアンドドロップされたという操作情報が通知されると、編集処理部１０４は、選択された画像の回転や移動を行い、フォトブックデータ及びプレビュー画面を更新する。
When the image on the
また、編集処理部１０４は、スマートスピーカ２からタッチパネル２４上の画像がタップされたという操作情報が通知された後、対話処理部１０が「右（左）に回転して」「上（下）に移動して」などのユーザの発話から画像の回転・移動というタスクを抽出した場合、選択された画像の回転・移動を行い、フォトブックデータ及びプレビュー画面を更新する。
In addition, in the edit processing unit 104, after the operation information that the image on the
また、編集処理部１０４は、図７に示すような最終確認画面ＦＣを作成する。 The edit processing unit 104 also creates a final confirmation screen FC as shown in FIG. 7.
コメント生成部１０５は、フォトブックに使用している画像に対して、コメントを自動生成し、付与する。各画像には、画像解析により画像から検出された物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等がタグとして付与されている。コメント生成部１０５はこれらのタグを用いて、コメントを生成する。
The
注文処理部１０６は、ユーザ端末３から、フォトブックのプリント冊数等の注文を受け付ける。注文処理部１０６が決済情報の入力を受け付けて決済処理を行うと、プリント注文が完了する。注文処理部１０６はフォトブックのプリント冊数や配送先住所等を含む注文内容を注文内容ＤＢに格納する。
The
プリント注文されたフォトブックデータと、注文内容とが工場５へ送信され、フォトブック６が製造される。
The photo book data for which the print order is placed and the order details are transmitted to the
このように、本実施形態によれば、スマートスピーカ２に話しかけることで、フォトブック作製処理を開始し、スマートスピーカ２を介した音声操作及びタッチパネル操作を組み合わせて、フォトブックの編集を簡便に行うことができる。
As described above, according to the present embodiment, by talking to the
上記実施形態において、フォトブックのプレビュー画面を、スマートスピーカ２のタッチパネル２４だけでなく、ユーザ端末３にも表示してもよい。
In the above embodiment, the preview screen of the photo book may be displayed not only on the
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above embodiments as they are, and can be embodied by modifying the constituent elements within a range not departing from the gist of the invention in an implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, the constituent elements of different embodiments may be combined appropriately.
１ サーバ装置
２ スマートスピーカ
３ ユーザ端末
４ 考査端末
５ 工場
６ フォトブック
1
Claims (6)
前記サーバ装置と通信可能に接続され、音声出力部、ユーザの発話の集音を行う集音部、及びタッチパネルを有するスマートスピーカと、
を備え、
前記サーバ装置は、
前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
前記ユーザの音声がフォトブック作製指示である場合に、前記ユーザ端末から受信した画像の中から複数の画像を選択する画像選択部と、
選択された画像を用いてフォトブックデータを生成し、前記フォトブックデータのプレビュー画面を前記スマートスピーカへ送信する編集処理部と、
を有し、
前記編集処理部は、前記ユーザの音声による指示、又は前記プレビュー画面を表示する前記タッチパネルに対する操作に基づいて、前記フォトブックデータ及び前記プレビュー画面を更新することを特徴とするフォトブック作製システム。 A server device for saving the image data received from the user terminal,
A smart speaker that is communicatively connected to the server device, has a voice output unit, a sound collection unit that collects sounds of a user's speech, and a touch panel;
Equipped with
The server device is
An interactive processing unit that understands a user's voice input through the smart speaker, generates a response sentence for the user, and outputs the response sentence to the user through the smart speaker,
An image selection unit that selects a plurality of images from the images received from the user terminal when the user's voice is a photobook production instruction;
An edit processing unit that generates photobook data using the selected image and transmits a preview screen of the photobook data to the smart speaker.
Have
The photobook production system, wherein the edit processing unit updates the photobook data and the preview screen based on an instruction by the user's voice or an operation on the touch panel that displays the preview screen.
ユーザ端末から受信した画像を保存する記憶部と、
前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
前記ユーザの音声がフォトブック作製指示である場合に、前記ユーザ端末から受信した画像の中から複数の画像を選択する画像選択部と、
選択された画像を用いてフォトブックデータを生成し、前記フォトブックデータのプレビュー画面を前記スマートスピーカへ送信する編集処理部と、
を有し、
前記編集処理部は、前記ユーザの音声による指示、又は前記プレビュー画面を表示する前記タッチパネルに対する操作に基づいて、前記フォトブックデータ及び前記プレビュー画面を更新することを特徴とするサーバ装置。 A server device communicatively connected to a voice output unit, a sound collecting unit that collects sound of a user's speech, and a smart speaker having a touch panel,
A storage unit for storing the image received from the user terminal,
An interactive processing unit that understands a user's voice input through the smart speaker, generates a response sentence for the user, and outputs the response sentence to the user through the smart speaker,
An image selection unit that selects a plurality of images from the images received from the user terminal when the user's voice is a photobook production instruction;
An edit processing unit that generates photobook data using the selected image and transmits a preview screen of the photobook data to the smart speaker.
Have
The edit processing unit updates the photobook data and the preview screen based on an instruction by the user's voice or an operation on the touch panel that displays the preview screen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018194471A JP2020064362A (en) | 2018-10-15 | 2018-10-15 | Photobook production system and server device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018194471A JP2020064362A (en) | 2018-10-15 | 2018-10-15 | Photobook production system and server device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020064362A true JP2020064362A (en) | 2020-04-23 |
Family
ID=70388318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018194471A Pending JP2020064362A (en) | 2018-10-15 | 2018-10-15 | Photobook production system and server device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020064362A (en) |
-
2018
- 2018-10-15 JP JP2018194471A patent/JP2020064362A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20110227951A1 (en) | Conference system, information processing apparatus, display method, and non-transitory computer-readable recording medium encoded with display program | |
| KR20100036347A (en) | Apparatus, method and computer program product for using images in contact lists maintained in electronic devices | |
| JP2013046151A (en) | Projector, projection system, and information search display method | |
| JP7263869B2 (en) | Information processing device and program | |
| CN109783246B (en) | Information processing system and information processing apparatus | |
| JP2015090623A (en) | Form reading device, program, and form reading system | |
| JP2011134122A (en) | Information processing apparatus, conference system, information processing method, conference support method, and computer program | |
| JP7147295B2 (en) | Photobook production system and server device | |
| JP6988608B2 (en) | Photobook production system and server equipment | |
| CN110992960A (en) | Control method, device, electronic device and storage medium | |
| JP7666495B2 (en) | Information processing device, information processing method, and program | |
| JPWO2012085993A1 (en) | Image folder transmission reproduction apparatus and image folder transmission reproduction program | |
| CN102402570B (en) | Data management device and recording medium | |
| JP2020064362A (en) | Photobook production system and server device | |
| JP6988607B2 (en) | Photobook production system and server equipment | |
| JP7091890B2 (en) | Photobook production system and server equipment | |
| JP2023139194A (en) | Program, information processing apparatus, and information processing method | |
| JP5513539B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP6988606B2 (en) | Photobook production system and server equipment | |
| CN109597896B (en) | Information quotation method and device | |
| JP2022082767A (en) | Information processing device, search history storage method and search history storage program | |
| US20080040383A1 (en) | Electronic device, computer program product, and data ranking method | |
| JP2020047227A (en) | Photo book creation system and server device | |
| JP5677119B2 (en) | Photobook creation device and control method thereof | |
| JP2019008745A (en) | Image processing device, image processing method, and program |