JP2014225798A - 電子機器、制御方法、及び制御プログラム - Google Patents
電子機器、制御方法、及び制御プログラム Download PDFInfo
- Publication number
- JP2014225798A JP2014225798A JP2013104418A JP2013104418A JP2014225798A JP 2014225798 A JP2014225798 A JP 2014225798A JP 2013104418 A JP2013104418 A JP 2013104418A JP 2013104418 A JP2013104418 A JP 2013104418A JP 2014225798 A JP2014225798 A JP 2014225798A
- Authority
- JP
- Japan
- Prior art keywords
- smartphone
- voice
- item
- record
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
【課題】対話型のインタフェースを介して行われる処理を改善すること。【解決手段】1つの態様において、電子機器(例えば、スマートフォン1)は、マイクと、複数の項目に対応するデータを含む電話帳データを記憶するストレージと、前記マイクを介して音声で入力される文字列に対応するレコードを、前記電話帳データから抽出し、抽出したレコードに含まれる項目を報知するコントローラとを有する。例えば、電子機器(例えば、スマートフォン1)は、抽出したレコードに含まれる項目に属する小項目がある場合には、小項目を報知する処理を実現する。コントローラは、自機(例えば、スマートフォン1)を通じてレコードの対象に接触を図るために用いられる項目又は小項目を報知する処理を実現する。【選択図】図1
Description
本出願は、電子機器、制御方法、及び制御プログラムに関する。
タッチスクリーンを備えるタッチスクリーンデバイスが知られている。タッチスクリーンデバイスは、例えば、携帯電話、スマートフォン及びタブレットなどの電子機器を含むが、これらに限定されない。タッチスクリーンデバイスは、タッチスクリーンを介して指、ペン、又はスタイラスペンのジェスチャを検出する。タッチスクリーンデバイスは、検出したジェスチャに従って動作する。検出したジェスチャに従った動作の例は、例えば、特許文献1に記載されている。
タッチスクリーンデバイスの基本的な動作は、デバイスに搭載されるOS(Operating System)によって実現される。タッチスクリーンデバイスに搭載されるOSは、例えば、Android(登録商標)、BlackBerry(登録商標) OS、iOS、Symbian(登録商標) OS、及びWindows(登録商標) Phoneを含むが、これらに限定されない。
近年、上記電子機器の中に、ジェスチャによる操作だけでなく、音声入力により操作を可能にする対話型のインタフェースを備えるものが普及しはじめている。これらの電子機器は、音声により、例えば、アプリケーションの起動、インターネット検索などの操作を実現する。
対話型のインタフェースを備える電子機器には、対話型のインタフェースを介する処理に改善の余地がある。
1つの態様に係る電子機器は、マイクと、複数の項目に対応するデータを含む電話帳データを記憶するストレージと、前記マイクを介して音声で入力される文字列に対応するレコードを、前記電話帳データから抽出し、抽出したレコードに含まれる項目を報知するコントローラとを有する。
1つの態様に係る制御方法は、マイクを有する電子機器を制御する制御方法であって、複数の項目に対応するデータを含む電話帳データを記憶するストレージから、前記マイクを介して音声で入力される文字列に対応するレコードを抽出するステップと、抽出したレコードに含まれる項目を報知するステップとを含む。
1つの態様に係る制御プログラムは、マイクを有する電子機器に、複数の項目に対応するデータを含む電話帳データを記憶するストレージから、前記マイクを介して音声で入力される文字列に対応するレコードを抽出するステップと、抽出したレコードに含まれる項目を報知するステップとを実行させる。
本出願に係る電子機器、制御方法、及び制御プログラムを実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、電子機器の一例として、スマートフォンを取り上げて説明する。
(実施形態)
図1を参照しながら、実施形態に係るスマートフォン1の機能的な構成について説明する。図1は、実施形態に係るスマートフォンのブロック図である。以下の説明においては、同様の構成要素に同一の符号を付すことがある。重複する説明は省略することがある。
図1を参照しながら、実施形態に係るスマートフォン1の機能的な構成について説明する。図1は、実施形態に係るスマートフォンのブロック図である。以下の説明においては、同様の構成要素に同一の符号を付すことがある。重複する説明は省略することがある。
図1に示すように、スマートフォン1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、姿勢検出ユニット15と、バイブレータ18とを備える。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2A及びタッチスクリーン2Bは、例えば、重ねて配置されてもよいし、並べて配置されてもよいし、離して配置されてもよい。ディスプレイ2Aとタッチスクリーン2Bとが重ねて配置される場合、例えば、ディスプレイ2Aの1ないし複数の辺がタッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを備える。ディスプレイ2Aは、文字、画像、記号、及び図形等を表示する。ディスプレイ2Aが表示する文字、画像、記号、及び図形等を含む画面には、ロック画面と呼ばれる画面、及びホーム画面と呼ばれる画面が含まれる。ホーム画面は、デスクトップ、待受画面、アイドル画面又は標準画面と呼ばれることもある。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等(以下、単に「指」という)がタッチスクリーン2Bに接触した位置を検出することができる。タッチスクリーン2Bは、タッチスクリーン2B(タッチスクリーンディスプレイ2)に対する指の接触を、接触された場所のタッチスクリーンディスプレイ2上での位置とともに、コントローラ10に通知する。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式(又は超音波方式)、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン1を操作するために指を用いてタッチスクリーン2Bに接触するものと想定する。
コントローラ10(スマートフォン1)は、タッチスクリーン2Bにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別する。ジェスチャは、指を用いて、タッチスクリーン2B(タッチスクリーンディスプレイ2)に対して行われる操作である。コントローラ10(スマートフォン1)が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるがこれらに限定されない。
ボタン3は、利用者からの操作入力を受け付ける。ボタン3の数は、単数であっても、複数であってもよい。
照度センサ4は、スマートフォン1の周囲光の照度を検出する。照度は、光の強さ、明るさ、又は輝度を示す。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。
近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、ディスプレイ2Aが顔に近づけられたことを検出する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、WiMAX(Worldwide Interoperability for Microwave Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)等がある。近距離無線の通信規格としては、例えば、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)、WPAN(Wireless Personal Area Network)等がある。WPANの通信規格には、例えば、ZigBee(登録商標)がある。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。
通信ユニット6は、GPS衛星からの所定の周波数帯の電波信号を受信し、受信した電波信号を復調処理して、処理後の信号をコントローラ10に送出する。スマートフォン1は、GPS衛星との通信機能を通信ユニット6から分散させて、通信ユニット6から独立した個別の通信部を設けてもよい。
レシーバ7は、音出力部である。レシーバ7は、コントローラ10から送信される音信号を音として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。マイク8は、音入力部である。マイク8は、利用者の音声等を音信号へ変換してコントローラ10へ送信する。
ストレージ9は、プログラム及びデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。フォアグランドで実行されるアプリケーションは、例えば、ディスプレイ2Aに画面が表示される。制御プログラムには、例えば、OSが含まれる。アプリケーション及び制御プログラムは、通信ユニット6による無線通信又は非一過的な記憶媒体を介してストレージ9にインストールされてもよい。
ストレージ9は、例えば、制御プログラム9A、通話アプリケーション9B、SMSアプリケーション9C、Eメールアプリケーション9D、メモ帳アプリケーション9E、動画アプリケーション9F、ブラウザアプリケーション9G、電話帳データ9Y及び設定データ9Zなどを記憶する。
制御プログラム9Aは、スマートフォン1を稼働させるための各種制御に関する機能を提供する。制御プログラム9Aは、対話型のインタフェース機能を提供する。対話型のインタフェース機能には、対話型のインタフェース機能の実行中であることを示す実行画面をディスプレイ2Aに表示させる機能が含まれる。対話型のインタフェース機能には、マイク8により入力される音声を認識し、認識結果に応じて音声及び文字などで応答する機能が含まれる。
制御プログラム9Aは、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行する機能を提供する。この機能には、音声の認識に成功した場合に、ストレージ9に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを自動的に実行する機能が含まれる。
制御プログラム9Aは、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行できない場合に、ストレージ9に記憶されているアプリケーションの一覧を表示する機能を提供する。認識結果に基づいて処理を実行できない場合には、例えば、音声の認識に失敗した場合、あるいは、ストレージ9に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できないと判定した場合が含まれる。
制御プログラム9Aは、マイク8を介して音声で入力される文字列に対応するレコードを、電話帳データ9Yから抽出し、抽出したレコードに含まれる項目を報知するための機能を提供する。この機能に関連して、制御プログラム9Aには、上記レコードに含まれる項目に属する複数の小項目がある場合には、当該小項目を報知する機能が含まれる。この機能に関連して、制御プログラム9Aには、自機(スマートフォン1)を通じて上記レコードの対象に接触を図るために用いられる項目又は小項目を報知する機能が含まれる。自機を通じて上記レコードの対象に接触を図るために用いられる項目には、電話番号、メールアドレス、URLなどが含まれる。項目は、ストレージ9に記憶されている種々のアプリケーションに対応付けられている。自機を通じて上記レコードの対象に接触を図るために用いられる小項目には、自宅、携帯、会社などの項目が含まれる。小項目は、当該小項目が属する項目が対応付けられているアプリケーションに対応付けられている。
その他、制御プログラム9Aは、通信ユニット6などを制御することによって、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、WiMAX(Worldwide Interoperability for Microwave Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communications)、PHS(Personal Handy−phone System)などを用いた通信を実現させるための機能を提供する。
制御プログラム9Aは、通信ユニット6などを制御することによって、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)、WPAN(Wireless Personal Area Network)等を用いた近距離無線通信を実現させるための機能を提供する。
制御プログラム9Aは、例えば、通信ユニット6及びマイク8などを制御することによって、通話を実現させるための機能を提供する。
制御プログラム9Aにより提供される機能は、通話を実現させる場合、通話アプリケーション又はメールアプリケーションなど、ストレージ9に記憶される他のプログラムなどが提供する機能と組み合わせて利用されることがある。例えば、制御プログラム9Aにより提供される上記対話型のインタフェース機能と、制御プログラム9Aにより提供される他の機能とは、組み合わせて利用されることがある。制御プログラム9Aにより提供される各機能は、複数のプログラムモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。例えば、制御プログラム9Aにより提供される対話型のインタフェース機能は、他のモジュールに分割されていてもよい。
通話アプリケーション9Bは、通話を実現するための機能を提供する。SMSアプリケーション9Cは、SMS(Short Message Service)として、所定の文字数以内のメールを送受信するための機能を提供する。Eメールアプリケーション9Dは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。メモ帳アプリケーション9Eは、テキストデータの作成及び管理するためのテキストエディタ機能を提供する。動画アプリケーション9Fは、動画の再生などを行うための機能を提供する。ブラウザアプリケーション9Gは、ブラウジング機能を提供する。ストレージ9に記憶されるアプリケーションは一例に過ぎない。図1に示すもの以外に、ナビゲートアプリケーション、音楽プレイヤーアプリケーション、計算機アプリケーション、付箋アプリケーションなど、複数のアプリケーションが記憶されていてもよい。
電話帳データ9Yは、電話番号、メールアドレスなどの情報を含む。図2は、電話帳データ9Yの一例を示す図である。図2に示すように、電話帳データ9Yは、「名前」、「電話番号」、「メールアドレス」、「誕生日」などの項目が含まれる。「電話番号」及び「メールアドレス」の項目には、「自宅」、「会社」、「携帯」の3つの小項目がそれぞれ属している。電話帳データ9Yは、「名前」、「電話番号」、「メールアドレス」、「誕生日」などの項目、及び「自宅」、「会社」、「携帯」の小項目に対応するデータを相互に関連付けて構成されている。例えば、図2に示すように、「名前」の項目に対応するデータ“特許一郎”には、「電話番号」の項目に属する小項目「自宅」に対応するデータ“aa−bbbb−cccc”と、同じく「電話番号」の項目に属する小項目「会社」に対応するデータ“dd−eeee−ffff”と、同じく「電話番号」の項目に属する小項目「携帯」に対応するデータ“0A0−BBBB−CCCC”とが関連付けられている。さらに、図2に示すように、「名前」の項目に対応するデータ“特許一郎”には、「メールアドレス」の項目に属する小項目「自宅」に対応するデータ“ONE@jitaku.com”と、同じく「メールアドレス」の項目に属する小項目「会社」に対応するデータ“ONE@kaisya.com”と、同じく「メールアドレス」の項目に属する小項目「携帯」に対応するデータ“ONE@keitai.com”とが関連付けられる。
設定データ9Zは、スマートフォン1の動作に関連する各種の設定及び処理に関する情報を含む。
コントローラ10は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、及びFPGA(Field−Programmable Gate Array)を含むが、これらに限定されない。コントローラ10は、スマートフォン1の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、マイク8、及びスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、及び姿勢検出ユニット15を含むが、これらに限定されない。
コントローラ10は、制御プログラム9Aを実行することにより、対話型のインタフェースによる処理を実現する。例えば、コントローラ10は、対話型のインタフェース機能の実行中であることを示す実行画面をディスプレイ2Aに表示させる。例えば、コントローラ10は、マイク8により入力される音声を認識し、認識結果に応じて音声及び文字などで応答する。
コントローラ10は、制御プログラム9Aを実行することにより、ユーザにより入力される音声を認識し、認識結果に基づく処理を実現する。例えば、コントローラ10は、音声の認識に成功した場合に、ストレージ9に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを自動的に起動する。
コントローラ10は、制御プログラム9Aを実行することにより、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行できない場合に、ストレージ9に記憶されているアプリケーションの一覧を表示する処理を実現する。認識結果に基づいて処理を実行できない場合には、例えば、音声の認識に失敗した場合、または、ストレージ9に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できないと判定した場合が含まれる。
コントローラ10は、制御プログラム9Aを実行することにより、マイク8を介して音声で入力される文字列に対応するレコードを、電話帳データ9Yから抽出し、抽出したレコードに含まれる項目を報知する処理を実現する。コントローラ10は、抽出したレコードに含まれる項目に属する小項目がある場合には、小項目を報知する処理を実現する。コントローラ10は、自機(スマートフォン1)を通じて上記レコードの対象に接触を図るために用いられる項目又は小項目を報知する処理を実現する。
スピーカ11は、音出力部である。スピーカ11は、コントローラ10から送信される音信号を音として出力する。スピーカ11は、例えば、着信音及び音楽を出力するために用いられる。レシーバ7及びスピーカ11の一方が、他方の機能を兼ねてもよい。
カメラ12は、撮影した画像を電気信号へ変換する。カメラ12には、例えば、ディスプレイ2Aに面している物体を撮影するインカメラ、ディスプレイ2Aの反対側の面に面している物体を撮影するアウトカメラが含まれる。
姿勢検出ユニット15は、スマートフォン1の姿勢を検出する。姿勢検出ユニット15は、姿勢を検出するために、加速度センサ、方位センサ、及びジャイロスコープの少なくとも1つを備える。
バイブレータ18は、スマートフォン1の一部又は全体を振動させる。バイブレータ18は、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。バイブレータ18による振動は、着信等の各種のイベントを利用者に報知するために用いられる。
図1に示したスマートフォン1の機能構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。
図3〜図5を用いて、実施形態におけるスマートフォン1により実行される処理の一例について説明する。図3〜図5に登場するF1は、ユーザの指を示す。図3〜図5では、いわゆるロック画面がディスプレイ2Aに表示されている場合の処理の一例について説明するが、対話型のインタフェースを起動可能な状況であれば、同様の処理を実現できる。以下の説明において、“操作”と表記するものは、スマートフォン1(コントローラ10)が、タッチスクリーン2Bを介して、検出可能な任意のタッチジェスチャであってよい。
図3は、マイク8を介して音声で入力される文字列に対応するレコードを、電話帳データ9Yから抽出し、抽出したレコードに含まれる項目を報知する処理の一例を示す図である。図3に示すように、スマートフォン1は、ディスプレイ2Aにロック画面40を表示している。ロック画面40は、スマートフォン1がロック状態にある場合に表示される。スマートフォン1は、ディスプレイ2Aにロック画面40が表示されている場合、特定の操作を除いて、ユーザの操作を受け付けない。特定の操作には、例えば、ロック状態を解除するための操作、及び通知画面をディスプレイ2Aに表示させるための操作が含まれる。ロック状態には、単に、ユーザの操作を受け付けない状態だけでなく、セキュリティロック状態を含んでもよい。図3に示すように、ロック画面40には、対話型のインタフェースを起動させるためのアイコン40aが配置されている。
図3に示すように、スマートフォン1は、タッチスクリーン2Bを介して、ロック画面40に配置されているアイコン40aに対する操作を検出すると(ステップS11)、ディスプレイ2Aに対話型のインタフェースの実行画面50を表示する(ステップS12)。このとき、スマートフォン1は、ステップS12に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像(O−1)を実行画面50に表示する。
続いて、スマートフォン1は、マイク8により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン1は、ユーザに応答するとともに、マイク8を介して入力される文字列に対応するレコードを、ストレージ9に記憶されている電話帳データ9Yの中から抽出し、抽出したレコードに含まれる項目を報知する(ステップS13〜ステップS14)。
具体的には、スマートフォン1は、マイク8を介して音声で入力される文字列を“特許一郎”であると認識すると、ステップS13に示すように、認識した文字列に対応する吹き出しの画像(I−1)を実行画面50に表示する。続いて、スマートフォン1は、電話帳データ9Yに含まれる「名前」の項目に記憶されているデータの中から、特許一郎を検索する。続いて、スマートフォン1は、特許一郎を検出すると、特許一郎に対応するレコードを抽出する。例えば、抽出されるレコードには、「電話番号」、「メールアドレス」、「誕生日」などの項目と、「電話番号」及び「メールアドレス」に属する「自宅」、「会社」、「携帯」の小項目と、各項目に対応するデータとが含まれる。続いて、スマートフォン1は、抽出したレコードに含まれる項目の中から、自機(スマートフォン1)を通じてレコードの対象である特許一郎との接触を図るために用いられる項目である「電話番号」及び「メールアドレス」を音声及び画像により報知する。例えば、スマートフォン1は、ステップS14に示すように、“電話帳に電話番号、メールアドレスが登録されています。何をしますか?”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像(O−2)を実行画面50に表示する。さらに、スマートフォン1は、ユーザの行動を促すための音声及び画像による補助的な報知を行う。例えば、スマートフォン1は、ステップS14に示すように、“マイクに近づいてお話下さい。”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像(O−3)を実行画面50に表示する。
続いて、スマートフォン1は、マイク8により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン1は、ユーザに応答するとともに、認識結果に対応するアプリケーションを自動的に起動し、アプリケーションの画面をディスプレイ2Aに表示する(ステップS15〜ステップS17)。
具体的には、スマートフォン1は、マイク8を介して音声で入力される文字列を“携帯に電話”であると認識すると、ステップS15に示すように、認識した文字列に対応する吹き出しの画像(I−2)を実行画面50に表示する。続いて、スマートフォン1は、特許一郎に対応するレコードの中に携帯の電話番号のデータが含まれるかを判定する。判定の結果、携帯の電話番号が含まれる場合には、スマートフォン1は、ステップS16に示すように、“携帯に電話します。”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像(O−4)を実行画面50に表示する。一方、スマートフォン1は、特許一郎に対応するレコードの中に携帯の電話番号のデータが含まれていない場合、携帯の電話番号が含まれていない旨の音声ガイダンスを出力してもよい。あるいは、スマートフォン1は、携帯の電話番号が含まれていない旨の音声ガイダンスに加えて、その他の指示を要求する音声ガイダンスを出力してもよい。続いて、スマートフォン1は、ステップS17に示すように、通話アプリケーション9Bを実行して、特許一郎の携帯の電話番号に対して発信するとともに、通話アプリケーション9Bの画面60をディスプレイ2Aに表示する。
図3に示す例では、スマートフォン1は、マイク8を介して音声で入力される文字列を“特許一郎”であると認識すると、特許一郎に対応するレコードを抽出する。そして、スマートフォン1は、抽出したレコードに含まれる項目の中から、自機(スマートフォン1)を通じてレコードの対象である特許一郎との接触を図るために用いられる項目である「電話番号」及び「メールアドレス」を音声及び画像により報知する。例えば、スマートフォン1は、“電話帳に電話番号、メールアドレスが登録されています。何をしますか?”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像を実行画面50に表示する。このようなことから、スマートフォン1は、対話型のインタフェースを介して、ユーザの音声入力の内容に対応する具体的な情報を提供することができる。スマートフォン1では、提供された具体的な情報に基づいてユーザが希望する動作を判断することができる。このようにして、スマートフォン1では、対話型のインタフェースを介する処理を改善することができる。
図3に示す例では、スマートフォン1は、抽出したレコードに含まれる項目の中から、自機(スマートフォン1)を通じてレコードの対象(特許一郎)に接触を図るために用いられる項目を報知する例を説明したが、これには限定されない。スマートフォン1は、抽出したレコードに含まれる項目をもれなく報知してもよい。スマートフォン1は、抽出した特許一郎に対応するレコードの中から、例えば、自機(スマートフォン1)を通じてレコードの対象に接触を図るために用いられる項目ではない「誕生日」についても報知してもよい。
図4は、マイク8を介して音声で入力される文字列に対応するレコードを、電話帳データ9Yから抽出し、抽出したレコードに含まれる小項目を報知する処理の一例を示す図である。
図4に示すように、スマートフォン1は、タッチスクリーン2Bを介して、ロック画面40に配置されているアイコン40aに対する操作を検出すると(ステップS21)、ディスプレイ2Aに対話型のインタフェースの実行画面50を表示する(ステップS22)。このとき、スマートフォン1は、ステップS22に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像(O−1)を実行画面50に表示する。
続いて、スマートフォン1は、マイク8により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン1は、マイク8を介して入力される文字列に対応するレコードを、ストレージ9に記憶されている電話帳データ9Yの中から抽出し、抽出したレコードに含まれる項目を報知する(ステップS23〜ステップS24)。
具体的には、スマートフォン1は、マイク8を介して音声で入力される文字列を“特許一郎”であると認識すると、ステップS23に示すように、認識した文字列に対応する吹き出しの画像(I−1)を実行画面50に表示する。続いて、スマートフォン1は、電話帳データ9Yに含まれる「名前」の項目に記憶されているデータの中から、特許一郎を検索する。続いて、スマートフォン1は、特許一郎を検出すると、特許一郎に対応するレコードを抽出する。例えば、抽出されるレコードには、「電話番号」、「メールアドレス」、「誕生日」などの項目と、「電話番号」及び「メールアドレス」に属する「自宅」、「会社」、「携帯」の小項目と、各項目に対応するデータとが含まれる。続いて、スマートフォン1は、抽出したレコードに含まれる項目の中から、自機(スマートフォン1)を通じてレコードの対象である特許一郎との接触を図るために用いられる項目である「電話番号」及び「メールアドレス」を特定し、特定した「電話番号」及び「メールアドレス」の項目に属する「自宅」、「会社」、「携帯」の小項目を音声及び画像により報知する。例えば、スマートフォン1は、ステップS24に示すように、“電話帳に自宅・会社・携帯の電話番号、自宅・会社・携帯のメールアドレスが登録されています。何をしますか?”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像(O−5)を実行画面50に表示する。さらに、スマートフォン1は、ユーザの行動を促すための音声及び画像による補助的な報知を行う。例えば、スマートフォン1は、ステップS24に示すように、“マイクに近づいてお話下さい。”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像(O−3)を実行画面50に表示する。
続いて、スマートフォン1は、マイク8により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン1は、ユーザに応答するとともに、認識結果に対応するアプリケーションを自動的に起動し、アプリケーションの画面をディスプレイ2Aに表示する(ステップS25〜ステップS27)。
具体的には、スマートフォン1は、マイク8を介して音声で入力される文字列を“携帯にメール”であると認識すると、ステップS25に示すように、認識した文字列に対応する吹き出しの画像(I−3)を実行画面50に表示する。続いて、スマートフォン1は、ステップS26に示すように、“メールアプリを起動します。”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像(O−6)を実行画面50に表示する。続いて、スマートフォン1は、ステップS27に示すように、Eメールアプリケーション9Dを実行して、Eメールアプリケーション9Dの画面70をディスプレイ2Aに表示する。Eメールアプリケーション9Dを実行する際、スマートフォン1は、特許一郎の携帯のメールアドレスを宛先アドレスに予め挿入しておく。
上記ステップS25〜ステップS27において、スマートフォン1は、マイク8を介して音声で入力される文字列を、例えば“携帯にショートメール”であると認識した場合には、SMSアプリケーション9Cを実行して、SMSアプリケーション9Cの画面をディスプレイ2Aに表示する。
図4に示す例では、スマートフォン1は、マイク8を介して音声で入力される文字列を“特許一郎”であると認識すると、特許一郎に対応するレコードを抽出する。そして、スマートフォン1は、抽出したレコードに含まれる項目の中から、自機(スマートフォン1)を通じてレコードの対象である特許一郎との接触を図るために用いられる項目である「電話番号」及び「メールアドレス」を特定し、さらには、特定した「電話番号」及び「メールアドレス」の項目に属する「自宅」、「会社」、「携帯」の小項目を音声及び画像により報知する。例えば、スマートフォン1は、“電話帳に自宅・会社・携帯の電話番号、自宅・会社・携帯のメールアドレスが登録されています。何をしますか?”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像を実行画面50に表示する。このようなことから、スマートフォン1は、対話型のインタフェースを介して、ユーザの音声入力の内容に対応するより具体的な情報を提供することができる。スマートフォン1では、提供されたより具体的な情報に基づいてユーザが希望する動作を判断することができる。このようにして、スマートフォン1では、対話型のインタフェースを介する処理を改善することができる。
図5は、マイク8を介して音声で入力される文字列に対応するレコードを、電話帳データ9Yから抽出できない場合の処理の一例を示す図である。以下の説明において、“連携アプリケーション(連携アプリ)”と表記するものは、ストレージ9に記憶されているアプリケーションに該当し、対話型のインタフェースを介して実行することができる。
図5に示すように、スマートフォン1は、ロック画面40をディスプレイ2Aに表示している。スマートフォン1は、ロック画面40に配置されているアイコン40aに対する操作を検出すると(ステップS31)、ディスプレイ2Aに対話型のインタフェースの実行画面50を表示する(ステップS32)。このとき、スマートフォン1は、ステップS32に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像(O−1)を実行画面50に表示する。
続いて、スマートフォン1は、マイク8により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン1は、ユーザに応答するとともに、ストレージ9に記憶されている電話帳データ9Yの中から、マイク8を介して入力される文字列に対応するレコードを抽出できない場合には、連携アプリケーションの実行指示であるものと判断して処理を実行する(ステップS33〜ステップS34)。
具体的には、スマートフォン1は、マイク8を介して音声で入力される文字列を“天気”であると認識すると、ステップS33に示すように、認識した文字列に対応する吹き出しの画像(I−4)を実行画面50に表示する。続いて、スマートフォン1は、電話帳データ9Yに含まれる「名前」の項目に記憶されているデータの中から、天気を検索する。天気を検出できなかった場合、スマートフォン1は、続いて、連携アプリケーションを検索する。連携アプリケーションも検出できなかった場合、スマートフォン1は、例えば、ステップS34に示すように、“連携アプリが見つかりませんでした。”という音声ガイダンスをスピーカ11から出力するとともに、音声ガイダンスに対応する吹き出しの画像(O−7)を実行画面50に表示する。さらに、スマートフォン1は、例えば、ステップS34に示すように、アプリケーションの一覧を実行画面50に表示する。実行画面50に表示されるアプリケーションの一覧には、SMSアプリケーション9Cに対応するアイコンA1、Eメールアプリケーション9Dに対応するアイコンA2、メモ帳アプリケーション9Eに対応するアイコンA3、動画アプリケーション9Fに対応するアイコンA4、及びブラウザアプリケーション9Gに対応するアイコンA5が表示される。
続いて、スマートフォン1は、タッチスクリーン2Bを介して、例えば、メモ帳アプリケーション9Eに対応するアイコンA3に対する操作を検出すると、メモ帳アプリケーション9Eを起動し、メモ帳アプリケーション9Eの画面80をディスプレイ2Aに表示する(ステップS35〜ステップS36)。
図6を用いて、実施形態に係るスマートフォン1による処理手順の一例を説明する。図6は、実施形態に係るスマートフォンの処理手順の一例を示すフローチャートである。図6に示す処理手順は、コントローラ10が、ストレージ9に記憶されている制御プログラム9Aなどを実行することによって実現される。
図6に示すように、コントローラ10は、対話型のインタフェースの実行画面をディスプレイ2Aに表示させる(ステップS101)。コントローラ10は、例えば、タッチスクリーン2Bを介して、対話型のインタフェースを起動させるためのアイコン40aに対する操作を検出すると、対話型のインタフェースを起動し、インタフェースの実行画面50をディスプレイ2Aに表示させる(図3、4参照)。
続いて、コントローラ10は、マイク8により入力される音声の音声データを取得すると(ステップS102)、音声データの認識処理を実行し、音声の認識に成功したかを判定する(ステップS103)。
コントローラ10は、判定の結果、音声の認識に成功した場合には(ステップS103,Yes)、ストレージ9に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できたかを判定する(ステップS104)。
コントローラ10は、判定の結果、認識結果に対応するアプリケーションを検出できた場合には(ステップS104、Yes)、対応するアプリケーションを起動し(ステップS105)、図6に示す処理手順を終了する。
一方、コントローラ10は、判定の結果、認識結果に対応するアプリケーションを検出できない場合には(ステップS104,No)、認識結果に対応する電話帳データがあるかを判定する(ステップS106)。すなわち、コントローラ10は、認識結果に対応するデータが、電話帳データ9Yに含まれているかを検索する。
コントローラ10は、判定の結果、認識結果に対応する電話帳データがある場合には(ステップS106,Yes)、該当のレコードを抽出し、抽出したレコードに含まれる項目を報知する(ステップS107)。コントローラ10は、抽出したレコードに含まれる項目を報知する際、例えば、自機(スマートフォン1)を通じてレコードの対象に接触を図るために用いられる項目(電話番号、メールアドレス、URLなど)を報知する。コントローラ10は、例えば、自機(スマートフォン1)を通じて上記レコードの対象に接触を図るために用いられる項目(電話番号、メールアドレス、URLなど)に複数の小項目(自宅、携帯、会社など)が属する場合には、小項目をそれぞれ報知する。
続いて、コントローラ10は、動作指示の音声入力を要求して(ステップS108)、ステップS102の手順に戻り、再入力される音声データを取得する。
ステップS106において、コントローラ10は、判定の結果、認識結果に対応する電話帳データがない場合には(ステップS106,No)、音声の再入力を要求して(ステップS109)、ステップS102の手順に戻り、再入力される音声データを取得する。
ステップS103において、コントローラ10は、判定の結果、音声の認識に失敗した場合には(ステップS103,No)、失敗回数が閾値を超えているかを判定する(ステップS110)。
コントローラ10は、判定の結果、失敗回数が閾値を超えている場合には(ステップS110,Yes)、連携アプリケーションの一覧を実行画面50に表示する(ステップS111)。続いて、コントローラ10は、連携アプリケーションの一覧に対する操作に応じて、アプリケーションの処理を実行し(ステップS112)、図6に示す処理手順を終了する。
一方、コントローラ10は、判定の結果、失敗回数が閾値を超えていない場合には(ステップS110,No)、ステップS109の手順に移り、音声の再入力を要求する。
図6に示す処理手順の順番は、図6に示す例に限定されない。図6に示す処理手順において、例えば、ステップS104の手順と、ステップS106の手順の順序が逆であってもよい。図6に示す処理手順は、図6に示す全ての処理手順を含んでいなくてもよい。例えば、ステップS110の手順を省略して、直接ステップS111の手順を実行してもよい。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。
例えば、図1に示した制御プログラム9A及び各アプリケーションは、複数のモジュールに分割されていてもよい。あるいは、図1に示した制御プログラム9Aは、他のプログラムと結合されていてもよい。
上記実施形態では、タッチスクリーンを備える装置の一例として、スマートフォンについて説明したが、添付の請求項に係る装置は、スマートフォンに限定されない。添付の請求項に係る装置は、スマートフォン以外の電子機器であってもよい。電子機器は、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機である。あるいは、添付の請求項に係る装置は、据え置き型の電子機器であってもよい。据え置き型の電子機器は、例えば、デスクトップパソコン、及びテレビ受像器である。
上記実施形態の対話型のインタフェースでは、音声入力に対して音声ガイダンスおよびディスプレイ表示によって応答しているが、いずれか一方によって応答するインタフェースを採用してもよい。上記の実施形態において、スマートフォン1は、レコードの対象に接触を図るための項目に属する小項目が1つのみの場合には、項目名に対応する音声入力によりアプリケーションを実行するようにしてもよい。例えば、スマートフォン1は、抽出したレコードの対象に接触を図るための項目である電話番号に対して、自宅、会社および携帯のうちのいずれか1つの小項目が属している場合には、「電話」という音声入力により通話アプリケーション9Bをそのまま実行する。
上記実施形態の対話型のインタフェースでは、音声入力によってアプリケーションを起動することができる。このスマートフォン1では、音声入力によって起動することになったアプリケーションが既に起動している場合、当該アプリケーションを実行する。上記実施形態において、スマートフォン1(コントローラ10)がプログラム(又は、アプリケーション)を起動する場合には、ストレージ9に記憶されているプログラムを新たに読み出してその処理を開始する場合と、既に読み出されているプログラムの処理を新たに開始する場合とが含まれる。上記実施形態において、スマートフォン1(コントローラ10)がプログラムを実行する場合には、プログラムを起動する場合と、中断中のプログラムを再開する場合と、起動済のプログラムの処理を継続する場合とが含まれる。
1 スマートフォン
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 制御プログラム
9B 通話アプリケーション
9C SMSアプリケーション
9D Eメールアプリケーション
9E メモ帳アプリケーション
9F 動画アプリケーション
9G ブラウザアプリケーション
9Y 電話帳データ
9Z 設定データ
10 コントローラ
11 スピーカ
12 カメラ
15 姿勢検出ユニット
18 バイブレータ
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 制御プログラム
9B 通話アプリケーション
9C SMSアプリケーション
9D Eメールアプリケーション
9E メモ帳アプリケーション
9F 動画アプリケーション
9G ブラウザアプリケーション
9Y 電話帳データ
9Z 設定データ
10 コントローラ
11 スピーカ
12 カメラ
15 姿勢検出ユニット
18 バイブレータ
Claims (6)
- マイクと、
複数の項目に対応するデータを含む電話帳データを記憶するストレージと、
前記マイクを介して音声で入力される文字列に対応するレコードを、前記電話帳データから抽出し、抽出したレコードに含まれる項目を報知するコントローラと
を有する電子機器。 - 前記コントローラは、自機を通じて前記レコードの対象に接触を図るために用いられる前記項目を報知する請求項1に記載の電子機器。
- 前記コントローラは、前記項目に属する複数の小項目がある場合に、当該小項目を報知する請求項1又は2に記載の電子機器。
- 前記コントローラは、前記項目を報知した後に、報知した当該項目が前記マイクを介して音声で入力される文字列と一致すると、前記報知した項目を前記レコードに関する処理として受け付ける請求項1から4のいずれかに記載の電子機器。
- マイクを有する電子機器を制御する制御方法であって、
複数の項目に対応するデータを含む電話帳データを記憶するストレージから、前記マイクを介して音声で入力される文字列に対応するレコードを抽出するステップと、
抽出したレコードに含まれる項目を報知するステップと
を含む制御方法。 - マイクを有する電子機器に、
複数の項目に対応するデータを含む電話帳データを記憶するストレージから、前記マイクを介して音声で入力される文字列に対応するレコードを抽出するステップと、
抽出したレコードに含まれる項目を報知するステップと
を実行させる制御プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013104418A JP2014225798A (ja) | 2013-05-16 | 2013-05-16 | 電子機器、制御方法、及び制御プログラム |
| PCT/JP2014/062996 WO2014185503A1 (ja) | 2013-05-16 | 2014-05-15 | 電子機器、制御方法、及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013104418A JP2014225798A (ja) | 2013-05-16 | 2013-05-16 | 電子機器、制御方法、及び制御プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014225798A true JP2014225798A (ja) | 2014-12-04 |
Family
ID=52124162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013104418A Pending JP2014225798A (ja) | 2013-05-16 | 2013-05-16 | 電子機器、制御方法、及び制御プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014225798A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017167366A (ja) * | 2016-03-16 | 2017-09-21 | Kddi株式会社 | 通信端末、通信方法及びプログラム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007529831A (ja) * | 2004-03-18 | 2007-10-25 | ソニー株式会社 | 音声対話型メッセージング方法及び装置 |
-
2013
- 2013-05-16 JP JP2013104418A patent/JP2014225798A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007529831A (ja) * | 2004-03-18 | 2007-10-25 | ソニー株式会社 | 音声対話型メッセージング方法及び装置 |
Non-Patent Citations (1)
| Title |
|---|
| JPN6015016825; shnsk: 'iPhone『Siri』とドコモ『しゃべってコンシェル』を対決させてみた(対決動画編)' ガジェット通信 , 20120323, 東京産業新聞社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017167366A (ja) * | 2016-03-16 | 2017-09-21 | Kddi株式会社 | 通信端末、通信方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6393021B2 (ja) | 電子機器、制御方法、及び制御プログラム | |
| JP6125811B2 (ja) | 電子機器、制御方法、及び制御プログラム | |
| US9609108B2 (en) | Electronic device, control method, and control program | |
| US9298265B2 (en) | Device, method, and storage medium storing program for displaying a paused application | |
| JP6133564B2 (ja) | 電子機器、制御方法、及び制御プログラム | |
| JP6199142B2 (ja) | 携帯電子機器、制御方法、及び制御プログラム | |
| JP6215128B2 (ja) | 携帯電子機器、制御方法及び制御プログラム | |
| JP2014235526A (ja) | 装置、方法、及びプログラム | |
| JP2018121274A (ja) | 電子機器、制御方法、及びプログラム | |
| JP6139912B2 (ja) | 携帯電子機器、制御方法及び制御プログラム | |
| JP2014072756A (ja) | 電子機器、制御方法及び制御プログラム | |
| JP2014225798A (ja) | 電子機器、制御方法、及び制御プログラム | |
| US20150229802A1 (en) | Electronic device, control method, and control program | |
| JP2014068240A (ja) | 電子機器、制御方法、及び制御プログラム | |
| JP5763117B2 (ja) | 携帯電子機器、制御方法及び制御プログラム | |
| JP2014225796A (ja) | 電子機器、制御方法、及び制御プログラム | |
| JP6059256B2 (ja) | 通信端末及び記憶媒体 | |
| JP6152334B2 (ja) | 電子機器、制御方法、及び制御プログラム | |
| JP6087685B2 (ja) | 携帯電子機器、制御方法及び制御プログラム | |
| JP2016197441A (ja) | 電子機器、制御方法、及び制御プログラム | |
| WO2014185503A1 (ja) | 電子機器、制御方法、及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150428 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150901 |