[go: up one dir, main page]

JP7550335B1 - システム - Google Patents

システム Download PDF

Info

Publication number
JP7550335B1
JP7550335B1 JP2024054015A JP2024054015A JP7550335B1 JP 7550335 B1 JP7550335 B1 JP 7550335B1 JP 2024054015 A JP2024054015 A JP 2024054015A JP 2024054015 A JP2024054015 A JP 2024054015A JP 7550335 B1 JP7550335 B1 JP 7550335B1
Authority
JP
Japan
Prior art keywords
call
user
function
emotion
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024054015A
Other languages
English (en)
Other versions
JP2025048708A (ja
Inventor
裕子 久保木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Group Corp
Original Assignee
SoftBank Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Group Corp filed Critical SoftBank Group Corp
Application granted granted Critical
Publication of JP7550335B1 publication Critical patent/JP7550335B1/ja
Publication of JP2025048708A publication Critical patent/JP2025048708A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)

Abstract

Figure 0007550335000001
【課題】本発明は、未登録または非通知の電話番号からの着信時に、生成系AIが応答し、通話終了後に用件を文書化して送信するシステムにおいて、家族や知人の確認手段や悪用歴のある番号の警察連携手段を提供することを課題としている。
【解決手段】未登録または非通知の電話番号からの着信時に、生成系AIが最初の応答を行う応答手段と、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する送信手段と、家族や知人と名乗る場合には、専用の質問や合言葉を使用して確認する確認手段と、配送業者は、業者用の合言葉を使用して本人につながる接続手段と、通話中には、電話番号をチェックし、悪用歴のある番号の場合は警察に連携する連携手段とを含むシステム。
【選択図】図１

Description

本開示の技術は、システムに関する。
特許文献１には、少なくとも一つのプロセッサにより遂行される、ペルソナチャットボット制御方法であって、ユーザ発話を受信するステップと、前記ユーザ発話を、チャットボットのキャラクターに関する説明と関連した指示文を含むプロンプトに追加するステップと前記プロンプトをエンコードするステップと、前記エンコードしたプロンプトを言語モデルに入力して、前記ユーザ発話に応答するチャットボット発話を生成するステップ、を含む、方法が開示されている。
特開２０２２－１８０２８２号公報
本発明は、未登録または非通知の電話番号からの着信時に、生成系AIが応答し、通話終了後に用件を文書化して送信するシステムにおいて、家族や知人の確認手段や悪用歴のある番号の警察連携手段を提供することを課題としている。
未登録または非通知の電話番号からの着信時に、生成系AIが最初の応答を行う応答手段と、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する送信手段と、家族や知人と名乗る場合には、専用の質問や合言葉を使用して確認する確認手段と、配送業者は、業者用の合言葉を使用して本人につながる接続手段と、通話中には、電話番号をチェックし、悪用歴のある番号の場合は警察に連携する連携手段とを含むシステム。
第１実施形態に係るデータ処理システムの構成の一例を示す概念図である。 第１実施形態に係るデータ処理装置及びスマートデバイスの要部機能の一例を示す概念図である。 第２実施形態に係るデータ処理システムの構成の一例を示す概念図である。 第２実施形態に係るデータ処理装置及びスマート眼鏡の要部機能の一例を示す概念図である。 第３実施形態に係るデータ処理システムの構成の一例を示す概念図である。 第３実施形態に係るデータ処理装置及びヘッドセット型端末の要部機能の一例を示す概念図である。 第４実施形態に係るデータ処理システムの構成の一例を示す概念図である。 第４実施形態に係るデータ処理装置及びロボットの要部機能の一例を示す概念図である。 複数の感情がマッピングされる感情マップを示す。 複数の感情がマッピングされる感情マップを示す。
以下、添付図面に従って本開示の技術に係るシステムの実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
以下の実施形態において、符号付きのプロセッサ（以下、単に「プロセッサ」と称する）は、１つの演算装置であってもよいし、複数の演算装置の組み合わせであってもよい。また、プロセッサは、１種類の演算装置であってもよいし、複数種類の演算装置の組み合わせであってもよい。演算装置の一例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）、ＡＰＵ（Accelerated Processing Unit）、又はＴＰＵ（Tensor Processing Unit）等が挙げられる。
以下の実施形態において、符号付きのＲＡＭ（Random Access Memory）は、一時的に情報が格納されるメモリであり、プロセッサによってワークメモリとして用いられる。
以下の実施形態において、符号付きのストレージは、各種プログラム及び各種パラメータ等を記憶する１つ又は複数の不揮発性の記憶装置である。不揮発性の記憶装置の一例としては、フラッシュメモリ（ＳＳＤ（Solid State Drive））、磁気ディスク（例えば、ハードディスク）、又は磁気テープ等が挙げられる。
以下の実施形態において、符号付きの通信Ｉ／Ｆ（Interface）は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信Ｉ／Ｆは、複数のコンピュータ間での通信を司る。通信Ｉ／Ｆに対して適用される通信規格の一例としては、５Ｇ（5th Generation Mobile Communication System）、Ｗｉ－Ｆｉ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標）等を含む無線通信規格が挙げられる。
以下の実施形態において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
［第１実施形態］
図１には、第１実施形態に係るデータ処理システム１０の構成の一例が示されている。
図１に示すように、データ処理システム１０は、データ処理装置１２及びスマートデバイス１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。
データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。
スマートデバイス１４は、コンピュータ３６、受付装置３８、出力装置４０、カメラ４２、及び通信Ｉ／Ｆ４４を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、受付装置３８、出力装置４０、及びカメラ４２も、バス５２に接続されている。
受付装置３８は、タッチパネル３８Ａ及びマイクロフォン３８Ｂ等を備えており、ユーザ入力を受け付ける。タッチパネル３８Ａは、指示体（例えば、ペン又は指等）の接触を検出することにより、指示体の接触によるユーザ入力を受け付ける。マイクロフォン３８Ｂは、ユーザの音声を検出することにより、音声によるユーザ入力を受け付ける。制御部４６Ａは、タッチパネル３８Ａ及びマイクロフォン３８Ｂによって受け付けたユーザ入力を示すデータをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０（図２参照）が、ユーザ入力を示すデータを取得する。
出力装置４０は、ディスプレイ４０Ａ及びスピーカ４０Ｂ等を備えており、データをユーザが知覚可能な表現形（例えば、音声及び／又はテキスト）で出力することでデータをユーザに対して提示する。ディスプレイ４０Ａは、プロセッサ４６からの指示に従ってテキスト及び画像等の可視情報を表示する。スピーカ４０Ｂは、プロセッサ４６からの指示に従って音声を出力する。カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラである。
通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。
図２には、データ処理装置１２及びスマートデバイス１４の要部機能の一例が示されている。
図２に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って特定処理部２９０として動作することによって実現される。
ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。
スマートデバイス１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。受付出力プログラム６０は、データ処理システム１０によって特定処理プログラム５６と併用される。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。
なお、データ処理装置１２以外の他の装置がデータ生成モデル５８を有してもよい。例えば、サーバ装置（例えば、ＣｈａｔＧＰＴサーバ）がデータ生成モデル５８を有してもよい。この場合、データ処理装置１２は、データ生成モデル５８を有するサーバ装置と通信を行うことで、データ生成モデル５８が用いられた処理結果（予測結果など）を得る。また、データ処理装置１２は、サーバ装置であってもよいし、ユーザが保有する端末装置（例えば、携帯電話、ロボット、家電）であってもよい。次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。
（形態例１）
本発明を実施するための形態は、未登録または非通知の電話番号からの着信時に、生成系AIが応答する応答手段と、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する送信手段とを具備するシステムである。さらに、家族や知人と名乗る場合には、専用の質問や合言葉を使用して確認する確認手段と、配送業者は業者用の合言葉を使用して本人につながる接続手段と、通話中には電話番号をチェックし、悪用歴のある番号の場合は警察に連携する連携手段とを具備する。
応答手段、送信手段、確認手段、接続手段、および連携手段は、例えば、データ処理装置１２の特定処理部２９０によって実現される。また、これらの手段の一部または全部は、例えば、スマートデバイス１４の制御部４６Ａによって実現されてもよい。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
応答手段は、音声認識技術を活用した発話理解機能が含まれ、未登録または非通知の番号からの着信に対して、事前に訓練されたAIが生成した自然言語による応答を行う。このAIは、大量の通話データを学習しており、さまざまなシナリオに対応できる回答を生成する能力を有する。着信があると、AIはリアルタイムで着信内容を解析し、適切な応答を選択して会話を進める。応答内容は、通話の性質に合わせてカスタマイズされるため、営業電話からの質問には丁寧に対応し、不審な着信に対しては慎重に応答する。また、応答手段は、未登録または非通知の電話番号からの着信に対応するため、音声合成技術と発話内容理解技術を駆使し、事前に訓練を受けたAIが適切な対応を行うこともできる。このAIは複数の応答シナリオを学習し、通話の意図を把握して、状況に応じた自然な対話を提供することができる。着信内容に基づいてAIが瞬時に応答を選択し、通話の趣旨に合わせてカスタマイズされた対応を行うため、営業電話の問い合わせには適切に対処し、怪しい着信には慎重に応じることができる。
送信手段には、通話内容をテキスト化する音声認識技術と、そのテキストを基に通話の要約を生成する自然言語生成技術が含まれる。通話が終了すると、AIは通話内容をテキストデータに変換し、その内容を要約して文書化する。生成された文書は、メッセンジャーアプリやメールなどのコミュニケーション手段を介して、ユーザーに送信される。このプロセスにより、ユーザーは通話の詳細を後からでも確認でき、重要な情報を見逃すことがない。また、送信手段では、終了した通話の内容を音声認識技術によりテキストに変換し、その後、自然言語処理技術を用いて要約を行い、生成された文書をメッセンジャーアプリやメールでユーザーに送付することもできる。ユーザーは送付された文書を介して通話の詳細をいつでも確認可能で、重要な情報が記録され、見落とされることがなくなる。
確認手段は、家族や知人からの着信と名乗る場合に、特定の質問や合言葉を使用して本人確認を行う機能を有する。この手段は、ユーザーが設定した質問や合言葉をAIが使用し、着信者が正しい応答を行うことで本人であることを確認する。本人確認が成功すると、AIは通話を継続し、必要に応じてユーザーに転送する。このプロセスにより、不正アクセスや詐欺を防ぎながら、本人であれば円滑な通信を確保する。また、確認手段は、家族や知人を名乗る着信者に対して、ユーザーが設定した質問や合言葉をAIが提示し、正確な回答が得られた場合にのみ、通話を継続またはユーザーに転送することもできる。この機能により、不正なアクセスや詐欺を未然に防ぎつつ、本人であることが確認された場合にはスムーズなコミュニケーションを実現する。
接続手段は、配送業者などの特定の職種の者が業者用の合言葉を使用することで本人と通話ができる機能を有する。この手段では、AIが業者用の合言葉を受け取り、正しい合言葉であることを確認した後、通話を本人に繋ぐ。業者用の合言葉は、通話のセキュリティを確保するために重要であり、誤った合言葉が入力された場合、通話は繋がらない。また、接続手段は、配送業者などの職種固有の合言葉をAIが受け取り、その正当性を確認した上で、通話をユーザーにつなぐ機能を担うこともできる。この合言葉によって、通話のセキュリティが確保され、誤った合言葉の場合には通話が切断される仕組みとなっている。
連携手段は、通話中に電話番号をリアルタイムでチェックし、その番号に悪用歴がある場合は自動的に警察や関連機関に連携する機能を有する。この手段は、データベースに蓄積された不審な番号のリストを参照し、着信番号がそのリストに含まれているかを確認する。不審な番号からの通話であると判断された場合、システムは即座に警察への報告プロトコルを開始し、状況に応じて適切な対応を取る。また、連携手段は、通話中の番号をリアルタイムで監視し、過去に悪用された履歴がある番号であれば自動的に警察などの関連機関と連携する機能を果たすこともできる。不審な番号の検出時には、警察への通報プロトコルが起動し、迅速な対応が取られる。
これらの手段は、ユーザーのセキュリティと利便性を高めるために、複数のAI技術と連携機能を組み合わせて実装される。データ処理装置とスマートデバイスの制御部が協力し、これらの手段を柔軟に実現するためのプラットフォームが提供される。各手段は、独立して機能するだけでなく、連動してより高度なサービスを提供するために設計される。ユーザーは、これらの手段を通じて、未登録または非通知の電話番号からの着信に対する対応を自動化し、日常生活の中で発生する潜在的なリスクから自己を守ることができる。また、これらの手段は、AI技術を中心に構築され、ユーザーのセキュリティを向上させると同時に、日常のコミュニケーションを効率化する。センサーを使用しないデータ収集の代替手段として、ユーザーが手動で情報を入力し、システムがその情報を利用するプロセスが可能である。ユーザーはこれらの手段によって、未登録または非通知の着信に対する対処を自動化し、不測の事態からの保護を強化することができる。
本形態例のシステムには、さらなる機能を追加し、その利便性を高めることができる。例えば、応答手段には、会話中にユーザーの感情を解析する機能を追加し、通話相手の声のトーンや話し方から感情を推定し、それに応じた応答をAIが行う。これにより、通話相手が怒りや不安を感じている場合は、より慎重かつ共感的な応答が可能となり、通話の品質を向上させる。
送信手段には、文書化した通話内容をユーザーのカレンダーやリマインダーに自動的に統合する機能を追加する。これにより、通話で得たアポイントメントやタスクを忘れずに管理できるようになり、生産性の向上を図ることができる。
確認手段は、ユーザーの生体情報を利用して本人確認を行う機能を備える。例えば、スマートウォッチやフィットネストラッカーから得た生体情報を用いて、通話相手が実際に家族や知人であることを確認する。これにより、より高度なセキュリティを実現しつつ、利用者の手間を減らすことができる。
接続手段には、配送業者がQRコード（登録商標）またはNFCタグをスキャンすることで認証を行い、通話を本人に直接繋ぐ機能を追加する。これにより、合言葉のやり取りを省略し、より迅速かつ安全に配送業者との連携を図ることが可能となる。
連携手段では、通話中の音声データから不審なキーワードを検出し、その内容を自動で分析する機能を追加する。キーワードに基づいて不審な通話と判断された場合、警察への通報を行う前に、まずはユーザーに警告することで、より正確な判断をサポートする。
これらの追加機能により、本形態例のシステムは、通話の自動応答だけでなく、日々の生活の中でのセキュリティやスケジュール管理をより効率的にサポートする。また、各種のAI技術とデータベースの連携によって、ユーザーの生活に更なる安心と便利さを提供する。さらに、これらの技術をユーザーのスマートデバイスや家庭内のIoT機器と統合することで、よりパーソナライズされた体験を実現することが可能となる。
本形態例のシステムには、さらなる機能拡張が可能であり、利便性およびセキュリティを高めるために応答手段には、発信者の声紋を分析し、登録済みの家族や知人の声と照合する機能を追加することができる。これにより、発信者が本人であるかをより正確に判断し、特定の質問や合言葉を使用しなくても安全に通話を継続することが可能になる。
送信手段では、音声認識と自然言語処理を活用して得られた通話内容を、ユーザーが選択した複数の言語に翻訳し、異なる言語を話すユーザー間のコミュニケーションを支援する機能を組み入れることができる。これにより、国際的なビジネスシーンや多言語を話す家庭内での利用が促進される。
確認手段には、ユーザーが特定のジェスチャーや動作をカメラに示すことで本人確認を行う機能を追加することができる。この機能により、通話中に手軽にかつ迅速に本人確認を行うことが可能となり、セキュリティが一層強化される。
接続手段に関しては、AIが発信者の位置情報と配送予定情報を照合し、本人確認を行う機能を追加することで、配送業者が実際に商品を配送している場所から通話していることを確認し、通話の真正性を保証することが可能になる。
連携手段では、不審な通話が検出された際に、警察だけでなく、ユーザーの指定した緊急連絡先にも自動通報する機能を追加することで、万が一の緊急時に迅速な対応が行えるようになる。
これらの機能追加は、既存のシステムの基本的な構造を維持しつつ、ユーザーのニーズに合わせて柔軟な対応が可能となる。また、スマートデバイスや家庭内のIoT機器と連携することで、ユーザーが日常的に使用する環境においてもシームレスな経験を提供する。これらの追加機能により、本形態例のシステムは通話の自動応答を超え、日常生活のあらゆる面でユーザーのセキュリティと利便性を向上させる。
（形態例２）
本発明を実施するための形態は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、家族宛に送信可能な送信手段を具備するシステムである。具体的には、通話終了後に生成された文書を選択し、送信先を家族と指定することで、家族宛に用件を送信することができる。
送信手段は、例えば、データ処理装置１２の特定処理部２９０によって実現される。また、送信手段は、例えば、スマートデバイス１４の制御部４６Ａによって実現されてもよい。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
通話終了後の内容を文書化する手段は、音声認識技術を用いた会話内容解析手段を含む。この解析手段は、通話の音声データをテキストに変換し、通話の要点を抽出する。また、音声認識技術を用いた会話内容解析手段は、通話が終了した後に発生する音声データをテキストに変換し、そのテキストデータから通話の主要なポイントを抽出する機能を持つ。音声認識技術は、ディープラーニングに基づくモデルを活用し、さまざまな言語やアクセントに対応するためのトレーニングが行われる。また、この解析手段は、多様な言語やアクセントに対応するためにディープラーニングモデルを活用し、大量の音声データを基に学習を進める。会話内容解析手段は、形態素解析や構文解析を行い、会話の中で交わされた重要な情報や行動を要する内容を特定する。特に、キーワード抽出機能を用いて会話の中で頻繁に使われる単語やフレーズを特定し、それらを基に通話の要点を文書化する。また、会話の要点を明確にするために、形態素解析機能と構文解析機能を組み合わせ、会話中に交わされた重要な情報やアクションを要する内容を特定する。キーワード抽出機能は、会話の中で頻出する単語やフレーズを識別し、それらの情報を基に文書化する。
文書化された内容をメッセージとしてフォーマットする手段は、テキストエディタ機能を含む。この機能は、解析されたテキストを整理し、文書の構造を整える。メッセージフォーマット手段は、ユーザが容易に内容を確認し、必要に応じて編集や追加情報を加えることができるインタフェースを提供する。また、文書化された内容をメッセージ形式に整える手段には、テキストエディタ機能が含まれ、解析されたテキストを整理し、文書のレイアウトを整える。ユーザがメッセージの内容を確認し、編集や追加情報を加えることができるインターフェイスを提供する。
送信手段は、メッセージを宛先指定機能を用いて特定の家族に送信する。この宛先指定機能は、ユーザの連絡先リストと連携し、選択された家族メンバーの連絡先情報に基づいてメッセージを自動的に送信する。また、送信手段は、メッセージ送信の確認と送信履歴を管理する機能も備えており、ユーザは送信されたメッセージの状態を追跡し、必要に応じて再送信を行うことができる。メッセージの送信は、メッセンジャーアプリやメールアプリとの連携によって行われる。メッセンジャーアプリやメールアプリとの連携機能は、ユーザのアカウント情報を用いて認証を行い、安全にメッセージを送信する。また、送信手段は、セキュリティ対策としてメッセージの暗号化や送信時の認証プロセスを実施し、プライバシーの保護を確保する。また、送信手段は、ユーザが選択したメッセージ送信方法に応じて、メッセージを適切なフォーマットで送信する。例えば、メッセンジャーアプリではインスタントメッセージとして、メールアプリでは電子メールとして送信する。メッセージの送信手段は、ユーザが選択した家族メンバーに対してメッセージを送るための宛先指定機能を備えており、ユーザの連絡先リストと連携して、家族メンバーの連絡先に基づいたメッセージの自動送信を行う。送信手段には、メッセージの送信状況を確認し、送信履歴を管理する機能も含まれており、ユーザは送信したメッセージの状態を追跡し、必要に応じて再送信を行うことができる。メッセージの送信プロセスは、メッセンジャーアプリやメールアプリと連携し、ユーザのアカウント情報を基に認証を行い、安全にメッセージを送信する機能を持つ。送信手段は、メッセージの内容を暗号化し、送信時の認証を行うセキュリティ対策を施して、プライバシーを守る。また、メッセンジャーアプリではインスタントメッセージとして、メールアプリでは電子メールとして、ユーザが選択した送信方法に応じて適切なフォーマットでメッセージを送信する。
センサーを含まないデータ収集の例としては、ユーザが手動で通話内容をメモする場合が考えられる。この場合、ユーザは通話終了後に自分で通話の要点を記録し、そのテキストデータをメッセージとして家族に送信する。ユーザが手動で記録した通話内容は、テキストエディタ機能を用いて整理され、フォーマットされたメッセージとして送信手段によって家族宛に送信される。この手動記録は、音声認識技術を用いた自動文書化が適用できない状況や、ユーザが特定の情報を自らの言葉で伝えたい場合に適している。また、センサーを用いないデータ収集の方法として、ユーザが通話終了後に手動で通話内容をメモし、その情報をメッセージとして家族に送るシナリオも考えられる。この手動記録は、テキストエディタ機能を用いて整理され、フォーマットされたメッセージとして送信される。音声認識技術が適用できない状況や、ユーザが自らの言葉で特定の情報を伝えたい場合に利用される。
本発明の実施形態では、通話内容の文書化を超えた機能を考慮することができる。例えば、音声認識によって生成されたテキストに基づき、スケジュール管理システムと連携して、通話中に言及されたアポイントメントや予定を自動的にカレンダーに登録する機能を追加する。これにより、ユーザーは通話後に手動でスケジュールを管理する手間を省くことができる。さらに、家族間で共有されるカレンダーへの予定登録を提案し、家族全員が予定を共有しやすくする。
また、文書化されたテキストデータを基に、自動的にタスクリストを生成し、家族全員がアクセスできる共有プラットフォームに投稿する機能を設けることも可能である。このプラットフォームでは、各家族メンバーがタスクの進捗を更新したり、完了したタスクにチェックを入れることができ、家族全員で情報を共有し協力する環境を構築する。
さらに、文書化されたメッセージに対して、感情分析を行い、通話中の感情的なニュアンスをテキストに反映させる機能を追加することで、メッセージの受取人が発信者の意図をより正確に理解することを助ける。例えば、通話中に喜びや心配といった感情が表れた場合、その感情をテキストに特定の絵文字やフォーマットで表現し、コミュニケーションの豊かさを高める。
また、音声認識と解析を活用して、通話内容から自動的にFAQやよくある質問リストを生成し、家族が同様の問い合わせをする際に参照できる知識ベースを構築する機能も考えられる。この知識ベースは、家族内で共有され、新たな通話が発生するたびに更新されることで、家族間のコミュニケーションの効率を向上させる。
さらに、通話終了後に生成されるテキストは、メッセンジャーアプリやメールで送信するだけでなく、音声形式で再生する機能を付加することで、視覚障害のある家族メンバーや読み書きが苦手な子供でも情報を容易に受け取れるようにする。
最後に、通話終了後に文書化された内容を、家族メンバーのプライバシーを保護するために、文書内の機微な情報を識別し、自動的に匿名化や伏せ字処理を行う機能を組み込むことで、安心して情報を共有できる環境を提供する。これにより、個々のプライバシーを尊重しつつ、必要な情報のみを共有するバランスを保つことができる。
本発明の実施形態は、通話内容の自動文書化と送信に関するものであり、これに新たな機能を追加することが考えられる。例えば、通話内容を分析し、通話終了後に自動でアクションアイテムを生成し、対応が必要なタスクとしてユーザーのスマートデバイスにリマインダーをセットする機能が考えられる。このリマインダーは、通話で言及された期限や重要性に基づいて優先度を設定し、ユーザーが忘れずに行動に移せるようサポートする。
さらに、家族間でのコミュニケーションを強化するために、文書化されたメッセージ内の特定の単語やフレーズに基づいて、関連する画像やビデオ、リンクを自動的に添付する機能を追加することも有益である。これにより、テキストベースのメッセージだけでなく、視覚的な情報も共有でき、コミュニケーションがより豊かになる。
また、通話内容の文書化に際して、プライバシーに配慮し、特定の個人情報や機密情報を自動的に検出し、ブラー処理や伏せ字に変換する機能を実装することで、セキュリティを高めることができる。このプロセスは、自然言語処理技術とプライバシー保護のガイドラインに従って行われる。
通話内容のテキスト化では、ユーザーの多様なニーズに対応するため、複数の言語への翻訳機能を組み込むことも有効である。家族が異なる言語を話す多文化の環境では、通話内容を自動的に翻訳し、各メンバーが理解しやすい言語でメッセージを送信することが可能となる。
さらなる利便性を追求するために、メッセージの送信タイミングをユーザーがカスタマイズできるスケジュール機能を追加する。ユーザーは、即時送信だけでなく、特定の日時にメッセージを送信するよう設定できるため、家族が情報を受け取るタイミングを最適化できる。
最後に、メッセージの受け取り側で、受信したメッセージに対するアクションを簡単にとれるよう、返信や確認のためのクイックアクションボタンを設けることで、迅速なフィードバックと効率的なコミュニケーションを実現する。これにより、家族間での情報共有がさらにスムーズに行われるようになる。
（形態例３）
本発明を実施するための形態は、通話中に電話番号をチェックし、悪用歴のある番号の場合には警察に連携する際に、警察との連携手段を具備するシステムである。具体的には、通話中に着信番号をデータベースと照合し、悪用歴のある番号であることを検出した場合には、自動的に警察に通報する機能を備えている。
連携手段は、例えば、データ処理装置１２の特定処理部２９０によって実現される。また、連携手段は、例えば、スマートデバイス１４の制御部４６Ａによって実現されてもよい。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
抽出手段は、通信網を介して発信される各通話の信号に含まれる発信者情報を抽出するために備わっており、デジタル信号処理技術を用いて通話データから発信者の電話番号を正確に取得することができる。また、抽出手段は、Caller ID情報を解析し、電話番号を特定するための信号解析機能を持っている。このシステムは、通話信号の中から発信者の電話番号を抽出するための信号抽出機能と、Caller ID情報の解読に特化した解析アルゴリズムを利用して、着信番号を正確に特定することもできる。
照合手段は、抽出された電話番号を不正利用が疑われる電話番号を収集し、カテゴリ別に整理したデータベースに照合する機能を有しており、データベース管理システムを通じてリアルタイムでの照合処理が可能であり、高速な検索アルゴリズムとインデックス技術により、通話が進行している間に迅速な照合が行われる。また、照合手段は、悪用歴のある番号をリスト化したデータベースを参照し、迅速な検索と照合を行うための高性能なデータベース検索機能とインデックス機能を備えている。
連携手段は、悪用歴のある番号が検出された場合に自動的に警察に通報する機能を持ち、通報システムとのインターフェイス機能が含まれ、通報する際の警察の受付システムとのプロトコルに基づいたデータ形式で通報情報を生成し、安全な通信チャネルを用いて警察の受付システムに送信する。通報情報の内容には、検出された悪用歴のある電話番号、通話の日時、通話の持続時間、発信者が利用している通信事業者などの情報が含まれ、個人情報の保護や通報の正確性を確保するために、暗号化技術や認証システムが用いられる。また、連携手段は、複数の通信プロトコルや通報システムとの互換性を持ち、システム間のデータ交換を円滑に行うためのアダプター機能を設け、通報のプロセスにおいて、警察の受付システムの要件に合わせて通報情報のフォーマットを調整し、適切な通報プロトコルを選択して通報を行う機能を持つ。通報プロセスが発動されると、システムは警察の受付システムに対して、通報情報を送信し、通報の受付確認を取得する。この確認は、通報が正しく行われたことをシステムが記録し、通報履歴として保存するための情報として利用される。通報履歴は、将来的な分析や改善のために用いられ、通報プロセスの効率化や精度向上に寄与する。この連携機能は、通報データ生成機能により、必要な情報を含む通報フォーマットを作成し、セキュアな通報送信機能を介して警察の受付システムへ情報を送信する。通報のセキュリティと信頼性を保証するため、データの暗号化機能とシステム認証機能が導入されている。また、システムの連携手段は、複数の通報プロトコルと互換性を持ち、異なる通報システムとのデータ交換を実現するアダプター機能を有しており、このアダプター機能は、通報プロトコル選択機能により、通報時のプロトコル要件に適した形式に自動的に調整し、通報情報の送信と受付確認を行う。通報履歴記録機能は通報の成功を記録し、システムのパフォーマンス分析や改善に使用される。
データ収集手段には、センサーを用いない例として、ユーザがアプリケーションやウェブインターフェース上で疑わしい通話に関する報告を行う機能があり、ユーザは、通話の経験や通話中に感じた不審な点をフォームに入力し、その情報がデータベースに登録される。この手動報告により収集されたデータは、自動的にデータベースに照合される電話番号のリストに追加される可能性があり、悪用歴のある番号の検出精度の向上に寄与する。また、センサーを使用しないデータ収集例として、ユーザが疑わしい通話について報告するための入力機能が提供される。ユーザはインタラクティブな報告フォームを通じて、疑わしい通話の内容をデータベースに登録し、これにより収集された情報は悪用歴のある番号の検出に活用される。この手動報告システムは、ユーザの経験と感覚に基づいて追加データを提供し、番号照合データベースの拡張に貢献する。
このシステムには、データベースの更新メカニズムを強化する機能を追加することができる。例えば、新たに悪用が確認された番号は、通報後も自動的にデータベースに追加される。さらに、疑わしい通話が報告された際には、その番号の信用情報を他のデータベースとも照合し、ユーザーからの報告に基づく情報と組み合わせることで、より正確な悪用歴の特定を実現する。データベースの整合性を保つために、定期的なクリーニングプロセスを実行し、誤った情報や古いデータを排除する仕組みも設けられる。また、通報システムとの連携を強化するため、警察が提供する犯罪データベースと直接連携し、照合プロセス中にリアルタイムで犯罪情報を取得し、照合結果の精度を向上させる機能も導入される。
通報の即時性を高めるために、通話が開始された瞬間に照合プロセスが開始され、悪用歴のある番号が検出された場合、通話者に警告音を出すか、自動的に通話を遮断するオプションも設けられる。さらに、通話を遮断した際には、通報者に代わって通話内容の録音を保存し、警察の調査に役立てることができる。警察が介入する際には、通報者の位置情報や通話履歴を含む詳細なレポートが自動生成され、犯罪捜査の迅速化を支援する。
ユーザインターフェースには、通報システムの透明性を高めるために、通報プロセスの進行状況をリアルタイムで確認できる機能が追加される。通報の結果や警察からのフィードバックをユーザが確認できるようにすることで、システムへの信頼性を向上させる。また、悪用歴のある番号に関する統計データやトレンド分析を提供し、ユーザが通話に対する警戒心を持つための情報提供も行われる。
さらに、悪用歴のある番号を特定するための機械学習技術を導入し、通話パターンや通話の頻度などの様々な指標を分析することで、悪用の可能性が高い新たな番号を予測する。これにより、データベースの予防的な更新が可能となり、未知の犯罪行為を防ぐための対策を強化する。また、ユーザが通報システムの効果について直接フィードバックを提供できる機能を設け、システムの改善に役立てる。フィードバックは匿名で行われることで、ユーザのプライバシーを保護しつつ、システムの改善に資する貴重な情報を収集する。
通話中の電話番号チェックをより効果的にするためには、ユーザーが直面する可能性のある様々な詐欺のパターンをAIが学習し、特定の単語やフレーズが通話中に検出された際にリアルタイムでフラグを立てる機能を実装する。これにより、単に電話番号がデータベース内の悪用歴と一致するだけでなく、通話の内容からも悪意を持った行動を推測し、検出することが可能になる。また、ユーザーが詐欺を疑う通話を簡単に報告できるショートカットやボタンをスマートフォンのインターフェースに設け、報告プロセスを簡略化する。これにより、データベースはより迅速に更新され、他のユーザーに対する保護が向上する。
警察との連携を強化するためには、通報された情報を基に警察が迅速に対応できるよう、通報システムに位置情報追跡機能を統合し、犯罪者の追跡と捕捉を支援する。また、通報システムに組み込まれる人工知能は、通報データから犯罪パターンを分析し、予防的な警戒活動を計画するための情報を警察に提供する。このような予測分析を活用することで、将来的な犯罪を未然に防ぐことに繋がる。
警察とのデータ共有を促進するために、警察が把握している詐欺事件やその他の犯罪に関する情報をリアルタイムで受け取り、データベースを更新する機能を設ける。これにより、通報システムは最新の犯罪情報に基づいて機能し、ユーザーを守るための対策が強化される。さらに、システムにはブロックリスト機能を追加し、ユーザーが自身で疑わしい番号を登録して通話を拒否できるようにする。これにより、ユーザー自身が直接リスクをコントロールすることが可能になる。
教育プログラムとして、ユーザーが詐欺の手口を認識し、予防するための情報を提供するオンライン講座やワークショップを開催する。これにより、ユーザーは自分自身を守るための知識を得ることができ、社会全体のセキュリティ意識が向上する。また、通報システムの利用によって防がれた詐欺事件の事例を共有し、ユーザーがシステムの実効性を理解しやすくする。
最後に、システムのアップデートを通じて、通話が詐欺である可能性が高いと判断された場合に、ユーザーに自動的に警告メッセージを送信し、詐欺に対する警戒を促す機能を実装する。これにより、ユーザーは即座に詐欺である可能性を認識し、適切な対応を取ることができるようになる。
以下に、各形態例の処理の流れについて説明する。
（形態例１）
ステップ１：未登録または非通知の電話番号からの着信があった場合、生成系AIが応答する。
ステップ２：通話終了後、用件をチャットGPTで文書化する。
ステップ３：文書化された用件をメッセンジャーアプリやメールで送信する。家族や知人と名乗る場合には、専用の質問や合言葉を使用して確認する。配送業者は業者用の合言葉を使用して本人につながる。通話中には電話番号をチェックし、悪用歴のある番号の場合は警察に連携する。
（形態例２）
ステップ１：通話終了後、用件をチャットGPTで文書化する。
ステップ２：文書化された用件を選択し、送信先を家族と指定する。
ステップ３：家族宛に用件をメッセンジャーアプリやメールで送信する。
（形態例３）
ステップ１：通話中に着信番号をデータベースと照合し、悪用歴のある番号であることを検出する。
ステップ２：悪用歴のある番号である場合、自動的に警察に通報する。
ステップ３：通話終了後、用件をチャットGPTで文書化する。文書化された用件は、警察との連携に使用される。
更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。
（形態例１）
本発明を実施するための形態は、未登録または非通知の電話番号からの着信時に、生成系AIが応答する応答手段と、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する送信手段とを具備するシステムである。さらに、ユーザの感情を認識する感情エンジンを組み合わせる感情認識手段として、通話中にユーザの声のトーンや言葉の選択などを分析し、感情を推定する。推定された感情に基づいて、生成系AIの応答や文書化された用件の表現を調整する。例えば、ユーザが不安な感情を示している場合には、より穏やかな表現を使用することで安心感を与える。
応答手段および送信手段は、例えば、データ処理装置１２の特定処理部２９０によって実現される。感情認識手段は、例えば、スマートデバイス１４のマイクロフォン３８Ｂを用いてユーザの声のトーンを検出し、制御部４６Ａによって分析を行い、データ処理装置１２の特定処理部２９０によって感情を推定する。また、応答手段、送信手段、および感情認識手段の一部または全部は、例えば、スマートデバイス１４の制御部４６Ａによって実現されてもよい。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
応答手段は、自然言語処理と音声合成を組み合わせた対話生成手段が含まれる。この対話生成手段は、未登録または非通知の着信に対して自動で応答を行い、ユーザとの対話を可能にする。未登録または非通知の着信を検出すると、生成系AIは事前に訓練された会話モデルを用いて応答する。この会話モデルは、様々なシナリオに対応できるように多様な対話データを基に学習しており、着信者の質問や要求に対して適切な回答や案内を提供する。また、応答手段は、AIによる対話生成機能を備え、未登録または非通知の電話番号からの着信に対して、自動的に適切な返答を行うことができる。この機能は、通話の初期段階で着信者の目的や要望を理解し、対応する応答を行うための対話管理機能と、生成された応答を自然な音声に変換することもできるための音声生成機能を組み合わせたものである。対話管理機能は、特定のキーワードやフレーズの検出に基づいて着信者の意図を分析し、適切な返答を生成することができる。音声生成機能は、テキストベースの応答をリアルタイムに音声に変換し、着信者に対して自然な会話体験を提供することができる。
送信手段には、チャットボットや自然言語理解技術を用いた文書化手段が含まれる。通話終了後、チャットGPTのような高度な自然言語理解モデルを使用して、通話内容を精確に文書化する。文書化手段は、通話の要点を抽出し、要約する能力を有しており、用件を簡潔かつ明瞭に伝える文書を生成することができる。生成された文書は、メッセンジャーアプリやメールを介してユーザに送信される。この過程には、ユーザのメールアドレスやメッセンジャーアカウントへの連携機能が含まれ、文書は適切な形式で自動的に送付される。また、送信手段は、通話内容をテキスト化し、これをユーザがアクセス可能な形で提供することができる。通話が終了すると、通話内容文書化機能が活動し、会話の主要なポイントを抽出し、要約することができる。この要約されたテキストは、自動配信機能を通じてユーザ指定のメールアドレスやメッセンジャーアプリに送信される。この自動配信機能には、文書を適切なフォーマットで整え、指定された送信先に確実に届けるためのメール送信機能やアプリ連携機能が含まれる。
感情認識手段には、音声分析を行う声紋解析手段と、言葉の選択から感情を推定する言語解析手段が含まれる。声紋解析手段は、スマートデバイスのマイクロフォンを利用してユーザの声のトーン、ピッチ、速度などの特徴を検出し、それらの声の特性からユーザの感情状態を推定することができる。言語解析手段は、ユーザの発言の内容を解析し、使用される言葉やフレーズから感情的なコンテキストを抽出することができる。これらの分析結果は、生成系AIが応答を行う際や、文書化された用件の表現を調整する際に使用される。例えば、ユーザが不安を示している場合、応答や文書の表現はより穏やかで安心感を与えるように調整される。また、感情認識手段は、通話中のユーザの声の特徴と言語使用から感情を推定する機能を有する。声紋分析機能は、マイクロフォンによって収集された音声データから、声の高低、強弱、速度などの特徴を抽出し、これらの特性を解析することで感情を推定することができる。言語感情分析機能は、通話中の言語データを処理し、使用される単語やフレーズが持つ感情的な意味を解析し、ユーザの感情状態を把握することができる。これらの分析結果は、AIが行う応答のトーンや、文書化された通話内容の表現を調整する際に利用され、ユーザに対して適切な感情的対応を提供することができる。
センサーを含まないデータ収集手段としては、ユーザが自身で入力するテキストデータや、システム利用に関するフィードバックが挙げられる。これらは、ユーザ入力受付機能やフィードバック収集機能を通じてシステムに提供され、サービス改善のための貴重な情報源として活用される。
これらの手段は、ユーザの要求に迅速かつ効果的に対応し、コミュニケーションの質を向上させることを目的としている。また、各手段の実装は、データ処理装置やスマートデバイスの制御部によって柔軟に行われ、システムの効率性とユーザビリティを高めるために様々な形で変更が可能となっている。
本発明のシステムは、追加機能として、未登録または非通知の着信に対して、応答前に通話者の意図を推測するための概要予測手段を備えることができる。これにより、応答手段がより精度の高い対話を生成し、ユーザーにとって有意義なやり取りが実現する。また、生成系AIが応答する際には、通話者の国や地域に基づいた言語選択機能を持たせ、多言語対応の自動応答が可能となる。
送信手段に関しては、通話内容の文書化に加えて、重要なキーワードやフレーズのハイライト機能を設けることで、ユーザーが文書を素早く把握できるようにする。さらに、文書化された内容に基づいて自動的にアクションアイテムを生成し、ユーザーのタスクリストに追加する機能を追加することができる。
感情認識手段においては、通話中にユーザーの感情が変化した場合、その変化をリアルタイムで検知し、応答手段の対話のトーンやテンポを動的に調整する機能を持たせることができる。また、特定の感情が検出された場合には、それに応じた特別なサポートやアドバイスを提供する専門家への連絡を促すプロトコルも組み込むことができる。
応答手段には、着信者の過去の通話履歴や関連データを分析し、より個人化された応答を提供するパーソナライゼーション機能を追加することができる。これにより、ユーザーにとってより関連性が高い情報を提供し、応答の有用性を高めることが可能となる。
送信手段に関しては、文書化された通話内容に基づいてフォローアップのアクションを提案する機能を追加することができる。例えば、通話内容に含まれるタスクや予定に対して、カレンダーアプリへの自動登録機能を統合することで、ユーザーの時間管理をサポートする。
さらに、感情認識手段は、ユーザーのストレスレベルや緊張感を検知し、適宜、ストレス軽減のためのアドバイスやリラクゼーションコンテンツへのリンクを提供する機能を備えることができる。これにより、ユーザーの精神的な健康を支援し、総合的なウェルビーイングを促進することができる。
本形態例のシステムには、さらなる機能向上を図るための複数の追加機能が考慮される。例えば、未登録または非通知の着信に対して、通話者の声紋を分析し、以前の通話データと照合することにより、通話者の身元を特定する声紋認識手段を追加することができる。これにより、通話者が過去にシステムとやり取りしたことがある場合、その情報を基に応答手段がより適切な対応を行うことが可能となる。また、声紋認識手段は、セキュリティ対策としても機能し、ユーザーに対する信頼性の高い通話体験を提供する。
送信手段についても、通話内容を文書化する際に、通話の内容を構造化し、情報の重要度に応じてテキストの階層化を行う機能を考慮する。これにより、ユーザーは文書を読む際に重要な情報をより迅速に把握できるようになる。さらに、文書化された内容をユーザーの好みや過去の行動パターンに合わせてカスタマイズすることで、より個人的な体験を提供することが可能となる。
感情認識手段では、通話中にユーザーのストレスレベルを検知し、ストレスが高いと推定される場合には、通話内容に関連したリラクゼーション方法や心理的サポートへの案内を提供する。これにより、ユーザーが通話を通じてリラックスし、ストレスを軽減できるようなサービスを提供する。
さらに、応答手段には、通話内容に基づいてユーザーへのフォローアップアクションを自動的に提案する機能を追加する。例えば、通話中に提案された製品やサービスに関する追加情報へのリンクを提供したり、次の行動ステップを提案することで、ユーザーの意思決定をサポートする。
応答手段の改善としては、通話者の意図に応じて自動的に応答スタイルを変更する機能を検討する。たとえば、通話者が緊急の状況を示している場合には、迅速かつ的確な指示を提供するようにAIを調整する。このような対応により、通話者のニーズに即応できるようなシステムを実現する。
これらの追加機能は、ユーザーエクスペリエンスの向上を目指すとともに、通話内容の正確な把握と迅速な対応を可能にするためのものである。また、それぞれの機能は、データ処理装置やスマートデバイスの制御部の能力を最大限に活用し、システムの有用性をさらに高めることが期待される。
（形態例２）
本発明を実施するための形態は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、ユーザの感情を認識する感情エンジンを使用して文書の表現を調整する調整手段とを具備するシステムである。具体的には、文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。分析結果に基づいて、文書の表現を適切に調整する。例えば、ユーザが喜びや興奮を感じている場合には、より明るく活気のある表現を使用することで、ユーザの感情を共有する。
調整手段は、例えば、データ処理装置１２の特定処理部２９０によって実現される。また、調整手段の一部または全部は、例えば、スマートデバイス１４の制御部４６Ａによって実現されてもよい。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
会話内容抽出手段は、音声認識技術を駆使して通話内容をテキストデータに変換する。また、会話内容抽出手段は、音声信号を受信した後、ノイズリダクション手段を用いて背景雑音を除去し、音声からテキストへの変換精度を向上させる。さらに、会話内容抽出手段は、最先端の音声認識技術を用いて、通話内容を精確にテキストデータへ変換し、その過程でノイズ除去手段が背景雑音を除去し、変換精度を向上させる。
テキスト処理手段は、変換されたテキストデータの構文上の誤りを修正し、言語の流暢さを保つために文法検査手段を介して文法チェックを行う。また、テキスト処理手段は、テキスト化されたデータの文法検査手段が語法の正確性を保証し、文書の自然な流れを維持するための調整を行う。
感情認識手段には、テキストマイニングと感情分析技術に基づく感情抽出手段が含まれ、生成されたテキストデータの言葉遣いや文脈からユーザの感情を推定する。また、感情抽出手段は、様々な感情を表す単語やフレーズ、文法的パターンを識別し、それらをポジティブ、ネガティブ、ニュートラルなどの感情カテゴリに分類する。また、感情強調手段は、抽出された感情に応じてテキストのトーンや言い回しを調整し、ユーザの感情状態をより適切に伝えるための修正を行う。さらに、感情抽出手段は、文書に表れる言語パターンからユーザの感情を読み取り、それを基に文書のトーンを調整する。
調整手段は、感情認識手段によって分析された感情データを基に、テキストの表現を変化させる。また、表現強化手段は、喜びや興奮などのポジティブな感情が検出された場合、使われる語彙をより明るく活気のあるものに置き換え、メッセージに好意的な印象を与える。さらに、表現緩和手段は、悲しみや怒りなどのネガティブな感情が検出された場合、メッセージのトーンを穏やかにし、共感と理解を示すような言い回しを選択する。また、ユーザの感情がポジティブな場合は、表現強化手段が文書に活力を与え、ネガティブな感情を示す場合は、表現緩和手段によって、より穏やかな表現を使用する。
メッセージの送信手段には、メッセンジャーアプリやメールクライアントとの連携機能が含まれ、調整されたテキストを適切な形式で送信する。また、送信プロトコル選定手段は、受信者のプラットフォームや設定に合わせて最適な送信プロトコルを選択し、メッセージの配信を保証する。また、ユーザインタフェース提示手段は、送信前に文書の最終レビューを行うためのプレビュー画面を提供し、ユーザが必要に応じて最終的な修正を加えることができるようにする。さらに、メッセージ送信手段がメッセンジャーアプリやメールクライアントに適したフォーマットで調整されたテキストを送信し、プレビュー画面がユーザが文書を最終確認するためのインターフェースを提供する。
以上のプロセスは、ユーザの使用するデバイスや設定に応じて、スマートデバイスの制御部やデータ処理装置に内蔵された特定処理部で実現される。また、これらの手段は、モジュール化されたコンポーネントとして設計され、システムの構成要素としての交換や拡張が容易に行われる。さらに、各手段の対応関係はフレキシブルに設定されており、システムのアップグレードやカスタマイズに対応するための多様な変更が可能である。また、この一連のプロセスは、デバイスや環境に応じて柔軟に対応できるようにモジュール化されており、システムのアップグレードやカスタマイズが容易に行えるように設計されている。
この形態例を更に拡張して、ユーザーの感情をより深く理解し、コミュニケーションの質を高める機能を追加することができる。例えば、感情エンジンにビデオチャット中の表情認識機能を組み込むことで、視覚的な情報からも感情を分析し、より正確な感情判断を行う。感情認識の精度を向上させるために、ユーザーの声のトーンやピッチの分析も行い、テキストに反映させることが可能である。さらに、ユーザーの過去のコミュニケーション履歴や反応パターンを分析することで、個人の感情表現スタイルを学習し、それに応じたよりパーソナライズされたテキスト調整を実現する。
テキスト処理手段は、表現の多様性と創造性を高めるために、文学作品や詩などからインスピレーションを得た言い回しを提案する機能を持つ。これにより、ユーザーの感情がより豊かに表現される。また、社会的コンテキストや文化的背景を考慮し、コミュニケーションが行われる環境や状況に合わせた適切な表現を選択することもできる。
メッセージ送信手段には、送信されるテキストが受け手の感情に与える影響を予測する機能を追加し、ユーザーがより責任を持ってコミュニケーションを取れるようにする。さらに、受信者の反応をAIが予測し、その情報をもとにユーザーが次に取るべきコミュニケーション戦略を提案することも可能である。
全体として、これらの機能は、ユーザーが感情を的確かつ敏感にコミュニケーションに反映させることをサポートし、より深い人間関係の構築に貢献する。また、これらの進化した手段は、個人だけでなく、企業のカスタマーサポートやCRMシステムにおいても、顧客との関係を深めるために有効活用できる。さらに、これらのシステムは、ユーザー教育やカウンセリングといった人間の感情が重要な役割を果たす分野での応用が期待される。
本システムは、感情エンジンを活用してユーザーの感情に応じた文書の表現調整を提供する。この機能を拡張するために、ユーザーの生体情報を取得するセンサーを統合し、心拍数や皮膚の導電率などの生理的反応から感情をより正確に読み取ることができる。センサーからのデータはリアルタイムで分析され、文書のトーンを即座に調整することが可能となる。
さらに、ユーザーの日常的なコミュニケーションを継続的に分析し、その人固有の表現スタイルや好みを把握する個性化学習機能を搭載する。この機能により、システムはユーザーの個性を反映したより自然で個別化された文書の提案が可能になる。
また、マルチリンガル対応を強化し、さまざまな言語での感情的ニュアンスを捉えることができるようにする。この機能により、国際的なコミュニケーションや多言語を話すユーザー間での理解を深めることができる。
ユーザーのプライバシー保護のために、感情データの匿名化や暗号化を行い、セキュリティを強化する機能も追加する。これにより、ユーザーは安心してシステムを利用できるようになる。
教育やカウンセリングの分野での応用を目指し、感情認識の結果を活用してコミュニケーションスキルのトレーニングをサポートする機能を開発する。トレーニングプログラムには、感情表現の練習や、適切なコミュニケーション手法の学習が含まれる。
最後に、システムのユーザビリティを向上させるために、ユーザーインターフェースをリッチかつ直感的なものにする。さまざまなジェスチャーや音声コマンドをサポートし、ユーザーが文書の調整プロセスに容易に介入できるようにする。これにより、ユーザーは自分の意志で表現を微調整し、より個人的なコミュニケーションを実現できる。
（形態例３）
本発明を実施するための形態は、通話中にユーザの感情を認識する感情エンジンを使用して、応答や対話の内容をユーザの感情に合わせて調整する調整手段とを具備するシステムである。具体的には、通話中にユーザの声のトーンや言葉の選択などを感情エンジンに入力し、ユーザの感情を推定する。推定された感情に基づいて、生成系AIの応答や対話の内容を調整する。例えば、ユーザが悲しい感情を示している場合には、共感の言葉を用いて励ましや支援を提供する。
調整手段は、例えば、スマートデバイス１４のマイクロフォン３８Ｂを用いてユーザの声のトーンを検出し、制御部４６Ａによって分析を行い、データ処理装置１２の特定処理部２９０によって感情を推定する。また、調整手段の一部または全部は、例えば、データ処理装置１２の特定処理部２９０によって実現されてもよい。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
音声データ収集手段は、高感度でノイズキャンセリング機能を備えたマイクロフォンが含まれる。このマイクロフォンは、周囲の雑音を除去し、ユーザの声を明瞭に録音するためのデジタル信号処理アルゴリズムを搭載している。また、音声データ収集手段は、ユーザの発話から微細な音響特性を把握する高感度マイクロフォンを採用し、これにデジタル信号処理技術を組み合わせて周囲の雑音を効果的に除去する。このマイクロフォンは、ユーザの声の特性を正確に捉え、感情の変化を検出するための基礎データを提供する。
音声特徴抽出手段は、音声信号から人間の感情を反映する可能性のある特徴量を抽出する。この抽出手段は、音響特徴分析を行うためのスペクトログラム解析機能やピッチ追跡機能、音響モデルを用いた感情識別機能が含まれる。また、音声特徴抽出手段は、スペクトル分析機能やピッチ解析機能といった音響解析ツールを用いて、音声信号から感情を示唆する特徴量を抽出し、これらのデータを感情推定モデルへと供給する。
感情分析手段には、機械学習に基づいた感情推定モデルが含まれ、音声特徴抽出手段によって抽出された特徴量を入力として、ユーザの感情状態を推定する。感情推定モデルは、トレーニングデータに基づいて訓練されたニューラルネットワーク、サポートベクターマシン、決定木などの分類器から構成され、ユーザの感情をポジティブ、ネガティブ、中立などのカテゴリに分類する。感情推定モデルは、継続的な学習を通じてその精度を向上させ、ユーザの感情に対する認識の微妙な変化にも対応できるように進化する。また、感情分析手段は、機械学習技術を活用した感情推定モデルを有し、抽出された音声特徴を元にユーザの感情を分析する。このモデルは、様々な機械学習アルゴリズムを組み合わせて、ユーザの発話から感情カテゴリーを識別し、これに基づいてユーザの感情状態を推定する。推定された感情状態は、ユーザの発話や振る舞いに対するシステムの反応を調整するための重要な情報となる。
対話調整手段には、生成系AIモデルを用いた応答生成機能が含まれ、感情分析手段によって推定された感情に応じて、対話の内容を動的に調整する。応答生成機能は、自然言語生成技術を駆使し、ユーザの感情に適した言葉選びやトーンを用いて応答文を生成する。例えば、ユーザが悲しい感情を示している場合、共感表現や慰めの言葉を含む応答が生成される。この応答生成機能は、会話の文脈を考慮し、ユーザの感情とコミュニケーションの目的に合致した内容を提供するためのコンテキストアウェア処理機能を備える。また、生成された応答は、ユーザにとって自然であり、感情的なニーズを満たすように構築される。応答生成機能は、大規模な会話データセットに基づいて訓練された機械学習モデルによって実現され、ユーザの言葉遣いや話し方に適応することができる。また、対話調整手段には、生成系AIモデルを用いた応答生成機能が含まれ、推定された感情に適切に応じた対話内容を生成する。この機能は、ユーザの感情に対応する言葉選びや対話トーンを選定し、ユーザの現在の感情や会話の文脈に合わせた反応を提供する。応答生成機能は、コンテキストアウェアな処理を行い、ユーザが必要とする情報やサポートを適切な形で提供するために設計されている。この機能は、大量の会話データから学習されたモデルを基に、ユーザの言葉遣いや情緒に適応した応答を生成することが可能である。
センサーを含まないデータ収集手段としては、ユーザがシステムに直接入力したテキスト情報や、通話記録から得られるメタデータが考えられる。これらは、ユーザの行動パターンや好みを分析する際の補足情報として利用され、感情エンジンの精度向上や応答生成機能の最適化に寄与する。ユーザが入力するテキスト情報は、感情分析手段の一部として、感情推定モデルの訓練データとしても活用される。
本システムは、通話中にユーザの感情をリアルタイムで分析し、対話内容を自動調整する能力を有しているため、さらに細かな感情の変化を捉えるために、音声データに加えて、表情認識技術を統合することができる。ウェブカメラやスマートデバイスのカメラを活用して、ユーザの顔の表情を分析し、感情分析の精度を向上させる。この追加された表情認識機能は、ユーザの感情をより正確に認識し、さらに微細な感情変化に応じた対話調整が可能となる。
また、ユーザの生理的シグナルを捉えるためのウェアラブルデバイスを組み込むことも考えられる。心拍数や皮膚電気活動など、生理的反応を測定することで、声のトーンや表情だけでは捉えきれない感情の深層を解析する。これらのデータを統合することで、感情分析の精度はさらに向上し、より適切な対話応答を生成することができる。
対話調整手段には、ユーザの文化的背景や個人的な価値観を考慮したカスタマイズ機能を追加することも有効である。ユーザプロファイルを構築し、その情報に基づいて、対話のトーンや内容をさらにパーソナライズする。これにより、ユーザ一人ひとりに合わせたきめ細やかなサポートを提供することが可能となる。
さらに、感情推定モデルの進化を促すために、クラウドソーシングによる感情データの収集や、多様なユーザからのフィードバックを取り入れて、モデルを継続的にアップデートする仕組みを構築する。これにより、多様な感情表現や言語に対応できる柔軟なシステムとなる。
また、教育やメンタルヘルスケアの分野における応用も検討することができる。例えば、教育分野では、学生の感情に適応した教材の提示やカウンセリングセッションでの使用が考えられる。メンタルヘルスケアでは、ユーザの感情を認識し、ストレスや不安を軽減するための対話支援を行う。これにより、ユーザが抱える問題に対してより効果的なアプローチが可能となる。
システムのプライバシー保護に関しても、ユーザの感情データを安全に保管し、適切なアクセス制御と暗号化技術を用いて、情報漏洩のリスクを最小限に抑えるためのセキュリティ対策を強化する。これにより、ユーザは安心してシステムを利用することができる。
最終的には、このシステムが提供するパーソナライズされた対話体験が、ユーザの生活の質を向上させるようなサービスへと発展することが期待される。
本発明の形態は、通話のみならず、ビデオ会議やオンライン教育のプラットフォームにも適用可能である。例えば、講師が生徒の感情をリアルタイムで把握し、カリキュラムの進行を感情に合わせて調整することで、より効果的な学習経験を提供する。ビデオ会議においても、参加者の感情を反映した対話管理が行われ、生産的かつポジティブな会議環境を促進する。
また、本システムには、感情反応に基づいた健康状態の監視機能を追加することも可能である。例えば、ユーザの声のトーンや話し方が一定期間にわたってネガティブな感情を示している場合、メンタルヘルスの専門家に通知を送り、必要に応じた介入を促すことができる。
さらに、感情エンジンの高度化に向け、ユーザの日常生活における感情パターンを分析し、その情報を元に長期的な感情管理やストレス軽減のアドバイスを提供する機能を組み込む。ユーザの生活リズムや活動パターンを分析し、感情の波を予測することで、適切なタイミングでリラクゼーションやモチベーション向上のためのコンテンツを提案する。
このシステムは、カスタマーサポートの分野でも応用が期待される。例えば、コールセンターのオペレーターが顧客の感情をリアルタイムで把握し、不満や怒りなどのネガティブな感情を検出した際には、即座に対応策を講じ、顧客満足度の向上に寄与する。
また、ゲームやエンターテインメントの分野でも、ユーザの感情に応じてコンテンツを動的に変化させることで、没入感や楽しさを増幅させる効果が期待される。ゲーム内のキャラクターがプレイヤーの感情に反応し、ストーリー展開や対話内容が変化することで、よりパーソナライズされた体験を実現する。
さらに、音声アシスタントや仮想現実（VR）との統合を図り、ユーザの感情に対してより自然な対話を実現する。音声アシスタントはユーザの感情を把握し、個々のニーズに合わせた情報やサービスを提供する。VR環境では、ユーザの感情に応じてシナリオや環境が変化し、リアルタイムで感情に合わせた体験を提供する。
本システムは、ユーザインタフェース（UI）やユーザーエクスペリエンス（UX）の設計においても革新をもたらす可能性を秘めている。感情認識技術を利用して、ユーザの感情に最適化されたUIやUXを提供し、利用者の満足度を高める。例えば、ウェブサイトやアプリケーションがユーザの感情をリアルタイムで把握し、コンテンツの提示方法やインタラクションの形式を調整する。
最終的には、このシステムが提供する感情調整機能が、人間関係の質を向上させ、コミュニケーションの効果を高めるツールとして社会に広く浸透していくことが期待される。
以下に、各形態例の処理の流れについて説明する。
（形態例１）
ステップ１：未登録または非通知の電話番号からの着信があった場合、生成系AIが応答する。
ステップ２：通話終了後、用件をチャットGPTで文書化する。
ステップ３：文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。
ステップ４：分析結果に基づいて、文書の表現を調整する。
ステップ５：調整された文書をメッセンジャーアプリやメールで送信する。
（形態例２）
ステップ１：通話終了後、用件をチャットGPTで文書化する。
ステップ２：文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。
ステップ３：分析結果に基づいて、文書の表現を調整する。
ステップ４：調整された文書を選択し、送信先を指定する（例：家族）。
ステップ５：指定された送信先に文書をメッセンジャーアプリやメールで送信する。
（形態例３）
ステップ１：通話中にユーザの声のトーンや言葉の選択などを感情エンジンに入力し、ユーザの感情を分析する。
ステップ２：分析結果に基づいて、生成系AIの応答や対話の内容を調整する。
ステップ３：通話終了後、用件をチャットGPTで文書化する。文書化された用件は、感情エンジンに入力するために使用される。
特定処理部２９０は、特定処理の結果をスマートデバイス１４に送信する。スマートデバイス１４では、制御部４６Ａが、出力装置４０に対して特定処理の結果を出力させる。マイクロフォン３８Ｂは、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン３８Ｂによって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。
データ生成モデル５８は、いわゆる生成ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。特定処理部２９０は、データ生成モデル５８を用いながら、上述した特定処理を行う。
上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、スマートデバイス１４によって特定処理が行われるようにしてもよい。
［第２実施形態］
図３には、第２実施形態に係るデータ処理システム２１０の構成の一例が示されている。
図３に示すように、データ処理システム２１０は、データ処理装置１２及びスマート眼鏡２１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。
データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。
スマート眼鏡２１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、及び通信Ｉ／Ｆ４４を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、及びカメラ４２も、バス５２に接続されている。
マイクロフォン２３８は、ユーザが発する音声を受け付けることで、ユーザから指示等を受け付ける。マイクロフォン２３８は、ユーザが発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。
カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザの周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。
通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。
図４には、データ処理装置１２及びスマート眼鏡２１４の要部機能の一例が示されている。図４に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。
特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。
ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。
スマート眼鏡２１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。
なお、データ処理装置１２以外の他の装置がデータ生成モデル５８を有してもよい。例えば、サーバ装置（例えば、ＣｈａｔＧＰＴサーバ）がデータ生成モデル５８を有してもよい。この場合、データ処理装置１２は、データ生成モデル５８を有するサーバ装置と通信を行うことで、データ生成モデル５８が用いられた処理結果（予測結果など）を得る。また、データ処理装置１２は、サーバ装置であってもよいし、ユーザが保有する端末装置（例えば、携帯電話、ロボット、家電）であってもよい。次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。
（形態例１）
本発明を実施するための形態は、未登録または非通知の電話番号からの着信時に、生成系AIが応答する応答手段と、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する送信手段とを具備するシステムである。さらに、家族や知人と名乗る場合には、専用の質問や合言葉を使用して確認する確認手段と、配送業者は業者用の合言葉を使用して本人につながる接続手段と、通話中には電話番号をチェックし、悪用歴のある番号の場合は警察に連携する連携手段とを具備する。
応答手段は、データ処理装置１２の特定処理部２９０によって実現され、未登録または非通知の電話番号からの着信に対して、生成系AIを用いて応答する。送信手段は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する機能として、データ処理装置１２の特定処理部２９０によって実現される。確認手段は、専用の質問や合言葉を使用して家族や知人を確認する機能として、スマート眼鏡２１４の制御部４６Ａによって実現されることができる。接続手段は、配送業者が業者用の合言葉を使用して本人につながる機能として、スマート眼鏡２１４の制御部４６Ａによって実現されることができる。連携手段は、通話中に電話番号をチェックし、悪用歴のある番号の場合は警察に連携する機能として、データ処理装置１２の特定処理部２９０によって実現される。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
応答手段は、音声認識技術を活用した発話理解機能が含まれ、未登録または非通知の番号からの着信に対して、事前に訓練されたAIが生成した自然言語による応答を行う。このAIは、大量の通話データを学習しており、さまざまなシナリオに対応できる回答を生成する能力を有する。着信があると、AIはリアルタイムで着信内容を解析し、適切な応答を選択して会話を進める。応答内容は、通話の性質に合わせてカスタマイズされるため、営業電話からの質問には丁寧に対応し、不審な着信に対しては慎重に応答する。また、応答手段は、未登録または非通知の電話番号からの着信に対応するため、音声合成技術と発話内容理解技術を駆使し、事前に訓練を受けたAIが適切な対応を行うこともできる。このAIは複数の応答シナリオを学習し、通話の意図を把握して、状況に応じた自然な対話を提供することができる。着信内容に基づいてAIが瞬時に応答を選択し、通話の趣旨に合わせてカスタマイズされた対応を行うため、営業電話の問い合わせには適切に対処し、怪しい着信には慎重に応じることができる。
送信手段には、通話内容をテキスト化する音声認識技術と、そのテキストを基に通話の要約を生成する自然言語生成技術が含まれる。通話が終了すると、AIは通話内容をテキストデータに変換し、その内容を要約して文書化する。生成された文書は、メッセンジャーアプリやメールなどのコミュニケーション手段を介して、ユーザーに送信される。このプロセスにより、ユーザーは通話の詳細を後からでも確認でき、重要な情報を見逃すことがない。また、送信手段では、終了した通話の内容を音声認識技術によりテキストに変換し、その後、自然言語処理技術を用いて要約を行い、生成された文書をメッセンジャーアプリやメールでユーザーに送付することもできる。ユーザーは送付された文書を介して通話の詳細をいつでも確認可能で、重要な情報が記録され、見落とされることがなくなる。
確認手段は、家族や知人からの着信と名乗る場合に、特定の質問や合言葉を使用して本人確認を行う機能を有する。この手段は、ユーザーが設定した質問や合言葉をAIが使用し、着信者が正しい応答を行うことで本人であることを確認する。本人確認が成功すると、AIは通話を継続し、必要に応じてユーザーに転送する。このプロセスにより、不正アクセスや詐欺を防ぎながら、本人であれば円滑な通信を確保する。また、確認手段は、家族や知人を名乗る着信者に対して、ユーザーが設定した質問や合言葉をAIが提示し、正確な回答が得られた場合にのみ、通話を継続またはユーザーに転送することもできる。この機能により、不正なアクセスや詐欺を未然に防ぎつつ、本人であることが確認された場合にはスムーズなコミュニケーションを実現する。
接続手段は、配送業者などの特定の職種の者が業者用の合言葉を使用することで本人と通話ができる機能を有する。この手段では、AIが業者用の合言葉を受け取り、正しい合言葉であることを確認した後、通話を本人に繋ぐ。業者用の合言葉は、通話のセキュリティを確保するために重要であり、誤った合言葉が入力された場合、通話は繋がらない。また、接続手段は、配送業者などの職種固有の合言葉をAIが受け取り、その正当性を確認した上で、通話をユーザーにつなぐ機能を担うこともできる。この合言葉によって、通話のセキュリティが確保され、誤った合言葉の場合には通話が切断される仕組みとなっている。
連携手段は、通話中に電話番号をリアルタイムでチェックし、その番号に悪用歴がある場合は自動的に警察や関連機関に連携する機能を有する。この手段は、データベースに蓄積された不審な番号のリストを参照し、着信番号がそのリストに含まれているかを確認する。不審な番号からの通話であると判断された場合、システムは即座に警察への報告プロトコルを開始し、状況に応じて適切な対応を取る。また、連携手段は、通話中の番号をリアルタイムで監視し、過去に悪用された履歴がある番号であれば自動的に警察などの関連機関と連携する機能を果たすこともできる。不審な番号の検出時には、警察への通報プロトコルが起動し、迅速な対応が取られる。
これらの手段は、ユーザーのセキュリティと利便性を高めるために、複数のAI技術と連携機能を組み合わせて実装される。データ処理装置とスマートデバイスの制御部が協力し、これらの手段を柔軟に実現するためのプラットフォームが提供される。各手段は、独立して機能するだけでなく、連動してより高度なサービスを提供するために設計される。ユーザーは、これらの手段を通じて、未登録または非通知の電話番号からの着信に対する対応を自動化し、日常生活の中で発生する潜在的なリスクから自己を守ることができる。また、これらの手段は、AI技術を中心に構築され、ユーザーのセキュリティを向上させると同時に、日常のコミュニケーションを効率化する。センサーを使用しないデータ収集の代替手段として、ユーザーが手動で情報を入力し、システムがその情報を利用するプロセスが可能である。ユーザーはこれらの手段によって、未登録または非通知の着信に対する対処を自動化し、不測の事態からの保護を強化することができる。
本形態例のシステムには、さらなる機能を追加し、その利便性を高めることができる。例えば、応答手段には、会話中にユーザーの感情を解析する機能を追加し、通話相手の声のトーンや話し方から感情を推定し、それに応じた応答をAIが行う。これにより、通話相手が怒りや不安を感じている場合は、より慎重かつ共感的な応答が可能となり、通話の品質を向上させる。
送信手段には、文書化した通話内容をユーザーのカレンダーやリマインダーに自動的に統合する機能を追加する。これにより、通話で得たアポイントメントやタスクを忘れずに管理できるようになり、生産性の向上を図ることができる。
確認手段は、ユーザーの生体情報を利用して本人確認を行う機能を備える。例えば、スマートウォッチやフィットネストラッカーから得た生体情報を用いて、通話相手が実際に家族や知人であることを確認する。これにより、より高度なセキュリティを実現しつつ、利用者の手間を減らすことができる。
接続手段には、配送業者がQRコード（登録商標）またはNFCタグをスキャンすることで認証を行い、通話を本人に直接繋ぐ機能を追加する。これにより、合言葉のやり取りを省略し、より迅速かつ安全に配送業者との連携を図ることが可能となる。
連携手段では、通話中の音声データから不審なキーワードを検出し、その内容を自動で分析する機能を追加する。キーワードに基づいて不審な通話と判断された場合、警察への通報を行う前に、まずはユーザーに警告することで、より正確な判断をサポートする。
これらの追加機能により、本形態例のシステムは、通話の自動応答だけでなく、日々の生活の中でのセキュリティやスケジュール管理をより効率的にサポートする。また、各種のAI技術とデータベースの連携によって、ユーザーの生活に更なる安心と便利さを提供する。さらに、これらの技術をユーザーのスマートデバイスや家庭内のIoT機器と統合することで、よりパーソナライズされた体験を実現することが可能となる。
本形態例のシステムには、さらなる機能拡張が可能であり、利便性およびセキュリティを高めるために応答手段には、発信者の声紋を分析し、登録済みの家族や知人の声と照合する機能を追加することができる。これにより、発信者が本人であるかをより正確に判断し、特定の質問や合言葉を使用しなくても安全に通話を継続することが可能になる。
送信手段では、音声認識と自然言語処理を活用して得られた通話内容を、ユーザーが選択した複数の言語に翻訳し、異なる言語を話すユーザー間のコミュニケーションを支援する機能を組み入れることができる。これにより、国際的なビジネスシーンや多言語を話す家庭内での利用が促進される。
確認手段には、ユーザーが特定のジェスチャーや動作をカメラに示すことで本人確認を行う機能を追加することができる。この機能により、通話中に手軽にかつ迅速に本人確認を行うことが可能となり、セキュリティが一層強化される。
接続手段に関しては、AIが発信者の位置情報と配送予定情報を照合し、本人確認を行う機能を追加することで、配送業者が実際に商品を配送している場所から通話していることを確認し、通話の真正性を保証することが可能になる。
連携手段では、不審な通話が検出された際に、警察だけでなく、ユーザーの指定した緊急連絡先にも自動通報する機能を追加することで、万が一の緊急時に迅速な対応が行えるようになる。
これらの機能追加は、既存のシステムの基本的な構造を維持しつつ、ユーザーのニーズに合わせて柔軟な対応が可能となる。また、スマートデバイスや家庭内のIoT機器と連携することで、ユーザーが日常的に使用する環境においてもシームレスな経験を提供する。これらの追加機能により、本形態例のシステムは通話の自動応答を超え、日常生活のあらゆる面でユーザーのセキュリティと利便性を向上させる。
（形態例２）
本発明を実施するための形態は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、家族宛に送信可能な送信手段を具備するシステムである。具体的には、通話終了後に生成された文書を選択し、送信先を家族と指定することで、家族宛に用件を送信することができる。
送信手段は、通話終了後に生成された文書を選択し、送信先を家族と指定することで、家族宛に用件を送信する機能として、データ処理装置１２の特定処理部２９０によって実現される。また、この送信手段は、スマート眼鏡２１４の制御部４６Ａによって実現されることも可能である。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
通話終了後の内容を文書化する手段は、音声認識技術を用いた会話内容解析手段を含む。この解析手段は、通話の音声データをテキストに変換し、通話の要点を抽出する。また、音声認識技術を用いた会話内容解析手段は、通話が終了した後に発生する音声データをテキストに変換し、そのテキストデータから通話の主要なポイントを抽出する機能を持つ。音声認識技術は、ディープラーニングに基づくモデルを活用し、さまざまな言語やアクセントに対応するためのトレーニングが行われる。また、この解析手段は、多様な言語やアクセントに対応するためにディープラーニングモデルを活用し、大量の音声データを基に学習を進める。会話内容解析手段は、形態素解析や構文解析を行い、会話の中で交わされた重要な情報や行動を要する内容を特定する。特に、キーワード抽出機能を用いて会話の中で頻繁に使われる単語やフレーズを特定し、それらを基に通話の要点を文書化する。また、会話の要点を明確にするために、形態素解析機能と構文解析機能を組み合わせ、会話中に交わされた重要な情報やアクションを要する内容を特定する。キーワード抽出機能は、会話の中で頻出する単語やフレーズを識別し、それらの情報を基に文書化する。
文書化された内容をメッセージとしてフォーマットする手段は、テキストエディタ機能を含む。この機能は、解析されたテキストを整理し、文書の構造を整える。メッセージフォーマット手段は、ユーザが容易に内容を確認し、必要に応じて編集や追加情報を加えることができるインタフェースを提供する。また、文書化された内容をメッセージ形式に整える手段には、テキストエディタ機能が含まれ、解析されたテキストを整理し、文書のレイアウトを整える。ユーザがメッセージの内容を確認し、編集や追加情報を加えることができるインターフェイスを提供する。
送信手段は、メッセージを宛先指定機能を用いて特定の家族に送信する。この宛先指定機能は、ユーザの連絡先リストと連携し、選択された家族メンバーの連絡先情報に基づいてメッセージを自動的に送信する。また、送信手段は、メッセージ送信の確認と送信履歴を管理する機能も備えており、ユーザは送信されたメッセージの状態を追跡し、必要に応じて再送信を行うことができる。メッセージの送信は、メッセンジャーアプリやメールアプリとの連携によって行われる。メッセンジャーアプリやメールアプリとの連携機能は、ユーザのアカウント情報を用いて認証を行い、安全にメッセージを送信する。また、送信手段は、セキュリティ対策としてメッセージの暗号化や送信時の認証プロセスを実施し、プライバシーの保護を確保する。また、送信手段は、ユーザが選択したメッセージ送信方法に応じて、メッセージを適切なフォーマットで送信する。例えば、メッセンジャーアプリではインスタントメッセージとして、メールアプリでは電子メールとして送信する。メッセージの送信手段は、ユーザが選択した家族メンバーに対してメッセージを送るための宛先指定機能を備えており、ユーザの連絡先リストと連携して、家族メンバーの連絡先に基づいたメッセージの自動送信を行う。送信手段には、メッセージの送信状況を確認し、送信履歴を管理する機能も含まれており、ユーザは送信したメッセージの状態を追跡し、必要に応じて再送信を行うことができる。メッセージの送信プロセスは、メッセンジャーアプリやメールアプリと連携し、ユーザのアカウント情報を基に認証を行い、安全にメッセージを送信する機能を持つ。送信手段は、メッセージの内容を暗号化し、送信時の認証を行うセキュリティ対策を施して、プライバシーを守る。また、メッセンジャーアプリではインスタントメッセージとして、メールアプリでは電子メールとして、ユーザが選択した送信方法に応じて適切なフォーマットでメッセージを送信する。
センサーを含まないデータ収集の例としては、ユーザが手動で通話内容をメモする場合が考えられる。この場合、ユーザは通話終了後に自分で通話の要点を記録し、そのテキストデータをメッセージとして家族に送信する。ユーザが手動で記録した通話内容は、テキストエディタ機能を用いて整理され、フォーマットされたメッセージとして送信手段によって家族宛に送信される。この手動記録は、音声認識技術を用いた自動文書化が適用できない状況や、ユーザが特定の情報を自らの言葉で伝えたい場合に適している。また、センサーを用いないデータ収集の方法として、ユーザが通話終了後に手動で通話内容をメモし、その情報をメッセージとして家族に送るシナリオも考えられる。この手動記録は、テキストエディタ機能を用いて整理され、フォーマットされたメッセージとして送信される。音声認識技術が適用できない状況や、ユーザが自らの言葉で特定の情報を伝えたい場合に利用される。
本発明の実施形態では、通話内容の文書化を超えた機能を考慮することができる。例えば、音声認識によって生成されたテキストに基づき、スケジュール管理システムと連携して、通話中に言及されたアポイントメントや予定を自動的にカレンダーに登録する機能を追加する。これにより、ユーザーは通話後に手動でスケジュールを管理する手間を省くことができる。さらに、家族間で共有されるカレンダーへの予定登録を提案し、家族全員が予定を共有しやすくする。
また、文書化されたテキストデータを基に、自動的にタスクリストを生成し、家族全員がアクセスできる共有プラットフォームに投稿する機能を設けることも可能である。このプラットフォームでは、各家族メンバーがタスクの進捗を更新したり、完了したタスクにチェックを入れることができ、家族全員で情報を共有し協力する環境を構築する。
さらに、文書化されたメッセージに対して、感情分析を行い、通話中の感情的なニュアンスをテキストに反映させる機能を追加することで、メッセージの受取人が発信者の意図をより正確に理解することを助ける。例えば、通話中に喜びや心配といった感情が表れた場合、その感情をテキストに特定の絵文字やフォーマットで表現し、コミュニケーションの豊かさを高める。
また、音声認識と解析を活用して、通話内容から自動的にFAQやよくある質問リストを生成し、家族が同様の問い合わせをする際に参照できる知識ベースを構築する機能も考えられる。この知識ベースは、家族内で共有され、新たな通話が発生するたびに更新されることで、家族間のコミュニケーションの効率を向上させる。
さらに、通話終了後に生成されるテキストは、メッセンジャーアプリやメールで送信するだけでなく、音声形式で再生する機能を付加することで、視覚障害のある家族メンバーや読み書きが苦手な子供でも情報を容易に受け取れるようにする。
最後に、通話終了後に文書化された内容を、家族メンバーのプライバシーを保護するために、文書内の機微な情報を識別し、自動的に匿名化や伏せ字処理を行う機能を組み込むことで、安心して情報を共有できる環境を提供する。これにより、個々のプライバシーを尊重しつつ、必要な情報のみを共有するバランスを保つことができる。
本発明の実施形態は、通話内容の自動文書化と送信に関するものであり、これに新たな機能を追加することが考えられる。例えば、通話内容を分析し、通話終了後に自動でアクションアイテムを生成し、対応が必要なタスクとしてユーザーのスマートデバイスにリマインダーをセットする機能が考えられる。このリマインダーは、通話で言及された期限や重要性に基づいて優先度を設定し、ユーザーが忘れずに行動に移せるようサポートする。
さらに、家族間でのコミュニケーションを強化するために、文書化されたメッセージ内の特定の単語やフレーズに基づいて、関連する画像やビデオ、リンクを自動的に添付する機能を追加することも有益である。これにより、テキストベースのメッセージだけでなく、視覚的な情報も共有でき、コミュニケーションがより豊かになる。
また、通話内容の文書化に際して、プライバシーに配慮し、特定の個人情報や機密情報を自動的に検出し、ブラー処理や伏せ字に変換する機能を実装することで、セキュリティを高めることができる。このプロセスは、自然言語処理技術とプライバシー保護のガイドラインに従って行われる。
通話内容のテキスト化では、ユーザーの多様なニーズに対応するため、複数の言語への翻訳機能を組み込むことも有効である。家族が異なる言語を話す多文化の環境では、通話内容を自動的に翻訳し、各メンバーが理解しやすい言語でメッセージを送信することが可能となる。
さらなる利便性を追求するために、メッセージの送信タイミングをユーザーがカスタマイズできるスケジュール機能を追加する。ユーザーは、即時送信だけでなく、特定の日時にメッセージを送信するよう設定できるため、家族が情報を受け取るタイミングを最適化できる。
最後に、メッセージの受け取り側で、受信したメッセージに対するアクションを簡単にとれるよう、返信や確認のためのクイックアクションボタンを設けることで、迅速なフィードバックと効率的なコミュニケーションを実現する。これにより、家族間での情報共有がさらにスムーズに行われるようになる。
（形態例３）
本発明を実施するための形態は、通話中に電話番号をチェックし、悪用歴のある番号の場合には警察に連携する際に、警察との連携手段を具備するシステムである。具体的には、通話中に着信番号をデータベースと照合し、悪用歴のある番号であることを検出した場合には、自動的に警察に通報する機能を備えている。
警察との連携手段は、通話中に着信番号をデータベースと照合し、悪用歴のある番号であることを検出した場合に自動的に警察に通報する機能として、データ処理装置１２の特定処理部２９０によって実現される。この連携手段は、スマート眼鏡２１４の制御部４６Ａによって実現されることも可能である。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
抽出手段は、通信網を介して発信される各通話の信号に含まれる発信者情報を抽出するために備わっており、デジタル信号処理技術を用いて通話データから発信者の電話番号を正確に取得することができる。また、抽出手段は、Caller ID情報を解析し、電話番号を特定するための信号解析機能を持っている。このシステムは、通話信号の中から発信者の電話番号を抽出するための信号抽出機能と、Caller ID情報の解読に特化した解析アルゴリズムを利用して、着信番号を正確に特定することもできる。
照合手段は、抽出された電話番号を不正利用が疑われる電話番号を収集し、カテゴリ別に整理したデータベースに照合する機能を有しており、データベース管理システムを通じてリアルタイムでの照合処理が可能であり、高速な検索アルゴリズムとインデックス技術により、通話が進行している間に迅速な照合が行われる。また、照合手段は、悪用歴のある番号をリスト化したデータベースを参照し、迅速な検索と照合を行うための高性能なデータベース検索機能とインデックス機能を備えている。
連携手段は、悪用歴のある番号が検出された場合に自動的に警察に通報する機能を持ち、通報システムとのインターフェイス機能が含まれ、通報する際の警察の受付システムとのプロトコルに基づいたデータ形式で通報情報を生成し、安全な通信チャネルを用いて警察の受付システムに送信する。通報情報の内容には、検出された悪用歴のある電話番号、通話の日時、通話の持続時間、発信者が利用している通信事業者などの情報が含まれ、個人情報の保護や通報の正確性を確保するために、暗号化技術や認証システムが用いられる。また、連携手段は、複数の通信プロトコルや通報システムとの互換性を持ち、システム間のデータ交換を円滑に行うためのアダプター機能を設け、通報のプロセスにおいて、警察の受付システムの要件に合わせて通報情報のフォーマットを調整し、適切な通報プロトコルを選択して通報を行う機能を持つ。通報プロセスが発動されると、システムは警察の受付システムに対して、通報情報を送信し、通報の受付確認を取得する。この確認は、通報が正しく行われたことをシステムが記録し、通報履歴として保存するための情報として利用される。通報履歴は、将来的な分析や改善のために用いられ、通報プロセスの効率化や精度向上に寄与する。この連携機能は、通報データ生成機能により、必要な情報を含む通報フォーマットを作成し、セキュアな通報送信機能を介して警察の受付システムへ情報を送信する。通報のセキュリティと信頼性を保証するため、データの暗号化機能とシステム認証機能が導入されている。また、システムの連携手段は、複数の通報プロトコルと互換性を持ち、異なる通報システムとのデータ交換を実現するアダプター機能を有しており、このアダプター機能は、通報プロトコル選択機能により、通報時のプロトコル要件に適した形式に自動的に調整し、通報情報の送信と受付確認を行う。通報履歴記録機能は通報の成功を記録し、システムのパフォーマンス分析や改善に使用される。
データ収集手段には、センサーを用いない例として、ユーザがアプリケーションやウェブインターフェース上で疑わしい通話に関する報告を行う機能があり、ユーザは、通話の経験や通話中に感じた不審な点をフォームに入力し、その情報がデータベースに登録される。この手動報告により収集されたデータは、自動的にデータベースに照合される電話番号のリストに追加される可能性があり、悪用歴のある番号の検出精度の向上に寄与する。また、センサーを使用しないデータ収集例として、ユーザが疑わしい通話について報告するための入力機能が提供される。ユーザはインタラクティブな報告フォームを通じて、疑わしい通話の内容をデータベースに登録し、これにより収集された情報は悪用歴のある番号の検出に活用される。この手動報告システムは、ユーザの経験と感覚に基づいて追加データを提供し、番号照合データベースの拡張に貢献する。
このシステムには、データベースの更新メカニズムを強化する機能を追加することができる。例えば、新たに悪用が確認された番号は、通報後も自動的にデータベースに追加される。さらに、疑わしい通話が報告された際には、その番号の信用情報を他のデータベースとも照合し、ユーザーからの報告に基づく情報と組み合わせることで、より正確な悪用歴の特定を実現する。データベースの整合性を保つために、定期的なクリーニングプロセスを実行し、誤った情報や古いデータを排除する仕組みも設けられる。また、通報システムとの連携を強化するため、警察が提供する犯罪データベースと直接連携し、照合プロセス中にリアルタイムで犯罪情報を取得し、照合結果の精度を向上させる機能も導入される。
通報の即時性を高めるために、通話が開始された瞬間に照合プロセスが開始され、悪用歴のある番号が検出された場合、通話者に警告音を出すか、自動的に通話を遮断するオプションも設けられる。さらに、通話を遮断した際には、通報者に代わって通話内容の録音を保存し、警察の調査に役立てることができる。警察が介入する際には、通報者の位置情報や通話履歴を含む詳細なレポートが自動生成され、犯罪捜査の迅速化を支援する。
ユーザインターフェースには、通報システムの透明性を高めるために、通報プロセスの進行状況をリアルタイムで確認できる機能が追加される。通報の結果や警察からのフィードバックをユーザが確認できるようにすることで、システムへの信頼性を向上させる。また、悪用歴のある番号に関する統計データやトレンド分析を提供し、ユーザが通話に対する警戒心を持つための情報提供も行われる。
さらに、悪用歴のある番号を特定するための機械学習技術を導入し、通話パターンや通話の頻度などの様々な指標を分析することで、悪用の可能性が高い新たな番号を予測する。これにより、データベースの予防的な更新が可能となり、未知の犯罪行為を防ぐための対策を強化する。また、ユーザが通報システムの効果について直接フィードバックを提供できる機能を設け、システムの改善に役立てる。フィードバックは匿名で行われることで、ユーザのプライバシーを保護しつつ、システムの改善に資する貴重な情報を収集する。
通話中の電話番号チェックをより効果的にするためには、ユーザーが直面する可能性のある様々な詐欺のパターンをAIが学習し、特定の単語やフレーズが通話中に検出された際にリアルタイムでフラグを立てる機能を実装する。これにより、単に電話番号がデータベース内の悪用歴と一致するだけでなく、通話の内容からも悪意を持った行動を推測し、検出することが可能になる。また、ユーザーが詐欺を疑う通話を簡単に報告できるショートカットやボタンをスマートフォンのインターフェースに設け、報告プロセスを簡略化する。これにより、データベースはより迅速に更新され、他のユーザーに対する保護が向上する。
警察との連携を強化するためには、通報された情報を基に警察が迅速に対応できるよう、通報システムに位置情報追跡機能を統合し、犯罪者の追跡と捕捉を支援する。また、通報システムに組み込まれる人工知能は、通報データから犯罪パターンを分析し、予防的な警戒活動を計画するための情報を警察に提供する。このような予測分析を活用することで、将来的な犯罪を未然に防ぐことに繋がる。
警察とのデータ共有を促進するために、警察が把握している詐欺事件やその他の犯罪に関する情報をリアルタイムで受け取り、データベースを更新する機能を設ける。これにより、通報システムは最新の犯罪情報に基づいて機能し、ユーザーを守るための対策が強化される。さらに、システムにはブロックリスト機能を追加し、ユーザーが自身で疑わしい番号を登録して通話を拒否できるようにする。これにより、ユーザー自身が直接リスクをコントロールすることが可能になる。
教育プログラムとして、ユーザーが詐欺の手口を認識し、予防するための情報を提供するオンライン講座やワークショップを開催する。これにより、ユーザーは自分自身を守るための知識を得ることができ、社会全体のセキュリティ意識が向上する。また、通報システムの利用によって防がれた詐欺事件の事例を共有し、ユーザーがシステムの実効性を理解しやすくする。
最後に、システムのアップデートを通じて、通話が詐欺である可能性が高いと判断された場合に、ユーザーに自動的に警告メッセージを送信し、詐欺に対する警戒を促す機能を実装する。これにより、ユーザーは即座に詐欺である可能性を認識し、適切な対応を取ることができるようになる。
以下に、各形態例の処理の流れについて説明する。
（形態例１）
ステップ１：未登録または非通知の電話番号からの着信があった場合、生成系AIが応答する。
ステップ２：通話終了後、用件をチャットGPTで文書化する。
ステップ３：文書化された用件をメッセンジャーアプリやメールで送信する。家族や知人と名乗る場合には、専用の質問や合言葉を使用して確認する。配送業者は業者用の合言葉を使用して本人につながる。通話中には電話番号をチェックし、悪用歴のある番号の場合は警察に連携する。
（形態例２）
ステップ１：通話終了後、用件をチャットGPTで文書化する。
ステップ２：文書化された用件を選択し、送信先を家族と指定する。
ステップ３：家族宛に用件をメッセンジャーアプリやメールで送信する。
（形態例３）
ステップ１：通話中に着信番号をデータベースと照合し、悪用歴のある番号であることを検出する。
ステップ２：悪用歴のある番号である場合、自動的に警察に通報する。
ステップ３：通話終了後、用件をチャットGPTで文書化する。文書化された用件は、警察との連携に使用される。
なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。
（形態例１）
本発明を実施するための形態は、未登録または非通知の電話番号からの着信時に、生成系AIが応答する応答手段と、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する送信手段とを具備するシステムである。さらに、ユーザの感情を認識する感情エンジンを組み合わせる感情認識手段として、通話中にユーザの声のトーンや言葉の選択などを分析し、感情を推定する。推定された感情に基づいて、生成系AIの応答や文書化された用件の表現を調整する。例えば、ユーザが不安な感情を示している場合には、より穏やかな表現を使用することで安心感を与える。
応答手段は、データ処理装置１２の特定処理部２９０によって実現され、未登録または非通知の電話番号からの着信に対して生成系AIが応答する。送信手段は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する機能として、データ処理装置１２の特定処理部２９０によって実現される。感情認識手段は、通話中にユーザの声のトーンや言葉の選択を分析し、感情を推定する機能として、データ処理装置１２の特定処理部２９０またはスマート眼鏡２１４の制御部４６Ａによって実現される。推定された感情に基づいて、生成系AIの応答や文書化された用件の表現を調整する機能も、データ処理装置１２の特定処理部２９０またはスマート眼鏡２１４の制御部４６Ａによって実現される。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
応答手段は、自然言語処理と音声合成を組み合わせた対話生成手段が含まれる。この対話生成手段は、未登録または非通知の着信に対して自動で応答を行い、ユーザとの対話を可能にする。未登録または非通知の着信を検出すると、生成系AIは事前に訓練された会話モデルを用いて応答する。この会話モデルは、様々なシナリオに対応できるように多様な対話データを基に学習しており、着信者の質問や要求に対して適切な回答や案内を提供する。また、応答手段は、AIによる対話生成機能を備え、未登録または非通知の電話番号からの着信に対して、自動的に適切な返答を行うことができる。この機能は、通話の初期段階で着信者の目的や要望を理解し、対応する応答を行うための対話管理機能と、生成された応答を自然な音声に変換することもできるための音声生成機能を組み合わせたものである。対話管理機能は、特定のキーワードやフレーズの検出に基づいて着信者の意図を分析し、適切な返答を生成することができる。音声生成機能は、テキストベースの応答をリアルタイムに音声に変換し、着信者に対して自然な会話体験を提供することができる。
送信手段には、チャットボットや自然言語理解技術を用いた文書化手段が含まれる。通話終了後、チャットGPTのような高度な自然言語理解モデルを使用して、通話内容を精確に文書化する。文書化手段は、通話の要点を抽出し、要約する能力を有しており、用件を簡潔かつ明瞭に伝える文書を生成することができる。生成された文書は、メッセンジャーアプリやメールを介してユーザに送信される。この過程には、ユーザのメールアドレスやメッセンジャーアカウントへの連携機能が含まれ、文書は適切な形式で自動的に送付される。また、送信手段は、通話内容をテキスト化し、これをユーザがアクセス可能な形で提供することができる。通話が終了すると、通話内容文書化機能が活動し、会話の主要なポイントを抽出し、要約することができる。この要約されたテキストは、自動配信機能を通じてユーザ指定のメールアドレスやメッセンジャーアプリに送信される。この自動配信機能には、文書を適切なフォーマットで整え、指定された送信先に確実に届けるためのメール送信機能やアプリ連携機能が含まれる。
感情認識手段には、音声分析を行う声紋解析手段と、言葉の選択から感情を推定する言語解析手段が含まれる。声紋解析手段は、スマートデバイスのマイクロフォンを利用してユーザの声のトーン、ピッチ、速度などの特徴を検出し、それらの声の特性からユーザの感情状態を推定することができる。言語解析手段は、ユーザの発言の内容を解析し、使用される言葉やフレーズから感情的なコンテキストを抽出することができる。これらの分析結果は、生成系AIが応答を行う際や、文書化された用件の表現を調整する際に使用される。例えば、ユーザが不安を示している場合、応答や文書の表現はより穏やかで安心感を与えるように調整される。また、感情認識手段は、通話中のユーザの声の特徴と言語使用から感情を推定する機能を有する。声紋分析機能は、マイクロフォンによって収集された音声データから、声の高低、強弱、速度などの特徴を抽出し、これらの特性を解析することで感情を推定することができる。言語感情分析機能は、通話中の言語データを処理し、使用される単語やフレーズが持つ感情的な意味を解析し、ユーザの感情状態を把握することができる。これらの分析結果は、AIが行う応答のトーンや、文書化された通話内容の表現を調整する際に利用され、ユーザに対して適切な感情的対応を提供することができる。
センサーを含まないデータ収集手段としては、ユーザが自身で入力するテキストデータや、システム利用に関するフィードバックが挙げられる。これらは、ユーザ入力受付機能やフィードバック収集機能を通じてシステムに提供され、サービス改善のための貴重な情報源として活用される。
これらの手段は、ユーザの要求に迅速かつ効果的に対応し、コミュニケーションの質を向上させることを目的としている。また、各手段の実装は、データ処理装置やスマートデバイスの制御部によって柔軟に行われ、システムの効率性とユーザビリティを高めるために様々な形で変更が可能となっている。
本発明のシステムは、追加機能として、未登録または非通知の着信に対して、応答前に通話者の意図を推測するための概要予測手段を備えることができる。これにより、応答手段がより精度の高い対話を生成し、ユーザーにとって有意義なやり取りが実現する。また、生成系AIが応答する際には、通話者の国や地域に基づいた言語選択機能を持たせ、多言語対応の自動応答が可能となる。
送信手段に関しては、通話内容の文書化に加えて、重要なキーワードやフレーズのハイライト機能を設けることで、ユーザーが文書を素早く把握できるようにする。さらに、文書化された内容に基づいて自動的にアクションアイテムを生成し、ユーザーのタスクリストに追加する機能を追加することができる。
感情認識手段においては、通話中にユーザーの感情が変化した場合、その変化をリアルタイムで検知し、応答手段の対話のトーンやテンポを動的に調整する機能を持たせることができる。また、特定の感情が検出された場合には、それに応じた特別なサポートやアドバイスを提供する専門家への連絡を促すプロトコルも組み込むことができる。
応答手段には、着信者の過去の通話履歴や関連データを分析し、より個人化された応答を提供するパーソナライゼーション機能を追加することができる。これにより、ユーザーにとってより関連性が高い情報を提供し、応答の有用性を高めることが可能となる。
送信手段に関しては、文書化された通話内容に基づいてフォローアップのアクションを提案する機能を追加することができる。例えば、通話内容に含まれるタスクや予定に対して、カレンダーアプリへの自動登録機能を統合することで、ユーザーの時間管理をサポートする。
さらに、感情認識手段は、ユーザーのストレスレベルや緊張感を検知し、適宜、ストレス軽減のためのアドバイスやリラクゼーションコンテンツへのリンクを提供する機能を備えることができる。これにより、ユーザーの精神的な健康を支援し、総合的なウェルビーイングを促進することができる。
本形態例のシステムには、さらなる機能向上を図るための複数の追加機能が考慮される。例えば、未登録または非通知の着信に対して、通話者の声紋を分析し、以前の通話データと照合することにより、通話者の身元を特定する声紋認識手段を追加することができる。これにより、通話者が過去にシステムとやり取りしたことがある場合、その情報を基に応答手段がより適切な対応を行うことが可能となる。また、声紋認識手段は、セキュリティ対策としても機能し、ユーザーに対する信頼性の高い通話体験を提供する。
送信手段についても、通話内容を文書化する際に、通話の内容を構造化し、情報の重要度に応じてテキストの階層化を行う機能を考慮する。これにより、ユーザーは文書を読む際に重要な情報をより迅速に把握できるようになる。さらに、文書化された内容をユーザーの好みや過去の行動パターンに合わせてカスタマイズすることで、より個人的な体験を提供することが可能となる。
感情認識手段では、通話中にユーザーのストレスレベルを検知し、ストレスが高いと推定される場合には、通話内容に関連したリラクゼーション方法や心理的サポートへの案内を提供する。これにより、ユーザーが通話を通じてリラックスし、ストレスを軽減できるようなサービスを提供する。
さらに、応答手段には、通話内容に基づいてユーザーへのフォローアップアクションを自動的に提案する機能を追加する。例えば、通話中に提案された製品やサービスに関する追加情報へのリンクを提供したり、次の行動ステップを提案することで、ユーザーの意思決定をサポートする。
応答手段の改善としては、通話者の意図に応じて自動的に応答スタイルを変更する機能を検討する。たとえば、通話者が緊急の状況を示している場合には、迅速かつ的確な指示を提供するようにAIを調整する。このような対応により、通話者のニーズに即応できるようなシステムを実現する。
これらの追加機能は、ユーザーエクスペリエンスの向上を目指すとともに、通話内容の正確な把握と迅速な対応を可能にするためのものである。また、それぞれの機能は、データ処理装置やスマートデバイスの制御部の能力を最大限に活用し、システムの有用性をさらに高めることが期待される。
（形態例２）
本発明を実施するための形態は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、ユーザの感情を認識する感情エンジンを使用して文書の表現を調整する調整手段とを具備するシステムである。具体的には、文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。分析結果に基づいて、文書の表現を適切に調整する。例えば、ユーザが喜びや興奮を感じている場合には、より明るく活気のある表現を使用することで、ユーザの感情を共有する。
調整手段は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、ユーザの感情を認識する感情エンジンを使用して文書の表現を調整する機能として、データ処理装置１２の特定処理部２９０によって実現される。文書化された用件を感情エンジンに入力し、ユーザの感情を分析する機能も、データ処理装置１２の特定処理部２９０によって実現される。分析結果に基づいて文書の表現を適切に調整する機能は、データ処理装置１２の特定処理部２９０またはスマート眼鏡２１４の制御部４６Ａによって実現される。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
会話内容抽出手段は、音声認識技術を駆使して通話内容をテキストデータに変換する。また、会話内容抽出手段は、音声信号を受信した後、ノイズリダクション手段を用いて背景雑音を除去し、音声からテキストへの変換精度を向上させる。さらに、会話内容抽出手段は、最先端の音声認識技術を用いて、通話内容を精確にテキストデータへ変換し、その過程でノイズ除去手段が背景雑音を除去し、変換精度を向上させる。
テキスト処理手段は、変換されたテキストデータの構文上の誤りを修正し、言語の流暢さを保つために文法検査手段を介して文法チェックを行う。また、テキスト処理手段は、テキスト化されたデータの文法検査手段が語法の正確性を保証し、文書の自然な流れを維持するための調整を行う。
感情認識手段には、テキストマイニングと感情分析技術に基づく感情抽出手段が含まれ、生成されたテキストデータの言葉遣いや文脈からユーザの感情を推定する。また、感情抽出手段は、様々な感情を表す単語やフレーズ、文法的パターンを識別し、それらをポジティブ、ネガティブ、ニュートラルなどの感情カテゴリに分類する。また、感情強調手段は、抽出された感情に応じてテキストのトーンや言い回しを調整し、ユーザの感情状態をより適切に伝えるための修正を行う。さらに、感情抽出手段は、文書に表れる言語パターンからユーザの感情を読み取り、それを基に文書のトーンを調整する。
調整手段は、感情認識手段によって分析された感情データを基に、テキストの表現を変化させる。また、表現強化手段は、喜びや興奮などのポジティブな感情が検出された場合、使われる語彙をより明るく活気のあるものに置き換え、メッセージに好意的な印象を与える。さらに、表現緩和手段は、悲しみや怒りなどのネガティブな感情が検出された場合、メッセージのトーンを穏やかにし、共感と理解を示すような言い回しを選択する。また、ユーザの感情がポジティブな場合は、表現強化手段が文書に活力を与え、ネガティブな感情を示す場合は、表現緩和手段によって、より穏やかな表現を使用する。
メッセージの送信手段には、メッセンジャーアプリやメールクライアントとの連携機能が含まれ、調整されたテキストを適切な形式で送信する。また、送信プロトコル選定手段は、受信者のプラットフォームや設定に合わせて最適な送信プロトコルを選択し、メッセージの配信を保証する。また、ユーザインタフェース提示手段は、送信前に文書の最終レビューを行うためのプレビュー画面を提供し、ユーザが必要に応じて最終的な修正を加えることができるようにする。さらに、メッセージ送信手段がメッセンジャーアプリやメールクライアントに適したフォーマットで調整されたテキストを送信し、プレビュー画面がユーザが文書を最終確認するためのインターフェースを提供する。
以上のプロセスは、ユーザの使用するデバイスや設定に応じて、スマートデバイスの制御部やデータ処理装置に内蔵された特定処理部で実現される。また、これらの手段は、モジュール化されたコンポーネントとして設計され、システムの構成要素としての交換や拡張が容易に行われる。さらに、各手段の対応関係はフレキシブルに設定されており、システムのアップグレードやカスタマイズに対応するための多様な変更が可能である。また、この一連のプロセスは、デバイスや環境に応じて柔軟に対応できるようにモジュール化されており、システムのアップグレードやカスタマイズが容易に行えるように設計されている。
この形態例を更に拡張して、ユーザーの感情をより深く理解し、コミュニケーションの質を高める機能を追加することができる。例えば、感情エンジンにビデオチャット中の表情認識機能を組み込むことで、視覚的な情報からも感情を分析し、より正確な感情判断を行う。感情認識の精度を向上させるために、ユーザーの声のトーンやピッチの分析も行い、テキストに反映させることが可能である。さらに、ユーザーの過去のコミュニケーション履歴や反応パターンを分析することで、個人の感情表現スタイルを学習し、それに応じたよりパーソナライズされたテキスト調整を実現する。
テキスト処理手段は、表現の多様性と創造性を高めるために、文学作品や詩などからインスピレーションを得た言い回しを提案する機能を持つ。これにより、ユーザーの感情がより豊かに表現される。また、社会的コンテキストや文化的背景を考慮し、コミュニケーションが行われる環境や状況に合わせた適切な表現を選択することもできる。
メッセージ送信手段には、送信されるテキストが受け手の感情に与える影響を予測する機能を追加し、ユーザーがより責任を持ってコミュニケーションを取れるようにする。さらに、受信者の反応をAIが予測し、その情報をもとにユーザーが次に取るべきコミュニケーション戦略を提案することも可能である。
全体として、これらの機能は、ユーザーが感情を的確かつ敏感にコミュニケーションに反映させることをサポートし、より深い人間関係の構築に貢献する。また、これらの進化した手段は、個人だけでなく、企業のカスタマーサポートやCRMシステムにおいても、顧客との関係を深めるために有効活用できる。さらに、これらのシステムは、ユーザー教育やカウンセリングといった人間の感情が重要な役割を果たす分野での応用が期待される。
本システムは、感情エンジンを活用してユーザーの感情に応じた文書の表現調整を提供する。この機能を拡張するために、ユーザーの生体情報を取得するセンサーを統合し、心拍数や皮膚の導電率などの生理的反応から感情をより正確に読み取ることができる。センサーからのデータはリアルタイムで分析され、文書のトーンを即座に調整することが可能となる。
さらに、ユーザーの日常的なコミュニケーションを継続的に分析し、その人固有の表現スタイルや好みを把握する個性化学習機能を搭載する。この機能により、システムはユーザーの個性を反映したより自然で個別化された文書の提案が可能になる。
また、マルチリンガル対応を強化し、さまざまな言語での感情的ニュアンスを捉えることができるようにする。この機能により、国際的なコミュニケーションや多言語を話すユーザー間での理解を深めることができる。
ユーザーのプライバシー保護のために、感情データの匿名化や暗号化を行い、セキュリティを強化する機能も追加する。これにより、ユーザーは安心してシステムを利用できるようになる。
教育やカウンセリングの分野での応用を目指し、感情認識の結果を活用してコミュニケーションスキルのトレーニングをサポートする機能を開発する。トレーニングプログラムには、感情表現の練習や、適切なコミュニケーション手法の学習が含まれる。
最後に、システムのユーザビリティを向上させるために、ユーザーインターフェースをリッチかつ直感的なものにする。さまざまなジェスチャーや音声コマンドをサポートし、ユーザーが文書の調整プロセスに容易に介入できるようにする。これにより、ユーザーは自分の意志で表現を微調整し、より個人的なコミュニケーションを実現できる。
（形態例３）
本発明を実施するための形態は、通話中にユーザの感情を認識する感情エンジンを使用して、応答や対話の内容をユーザの感情に合わせて調整する調整手段とを具備するシステムである。具体的には、通話中にユーザの声のトーンや言葉の選択などを感情エンジンに入力し、ユーザの感情を推定する。推定された感情に基づいて、生成系AIの応答や対話の内容を調整する。例えば、ユーザが悲しい感情を示している場合には、共感の言葉を用いて励ましや支援を提供する。
調整手段は、通話中にユーザの感情を認識する感情エンジンを使用して、応答や対話の内容をユーザの感情に合わせて調整する機能として、データ処理装置１２の特定処理部２９０またはスマート眼鏡２１４の制御部４６Ａによって実現される。通話中にユーザの声のトーンや言葉の選択を感情エンジンに入力し、ユーザの感情を推定する機能も、データ処理装置１２の特定処理部２９０またはスマート眼鏡２１４の制御部４６Ａによって実現される。推定された感情に基づいて生成系AIの応答や対話の内容を調整する機能は、データ処理装置１２の特定処理部２９０またはスマート眼鏡２１４の制御部４６Ａによって実現される。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
音声データ収集手段は、高感度でノイズキャンセリング機能を備えたマイクロフォンが含まれる。このマイクロフォンは、周囲の雑音を除去し、ユーザの声を明瞭に録音するためのデジタル信号処理アルゴリズムを搭載している。また、音声データ収集手段は、ユーザの発話から微細な音響特性を把握する高感度マイクロフォンを採用し、これにデジタル信号処理技術を組み合わせて周囲の雑音を効果的に除去する。このマイクロフォンは、ユーザの声の特性を正確に捉え、感情の変化を検出するための基礎データを提供する。
音声特徴抽出手段は、音声信号から人間の感情を反映する可能性のある特徴量を抽出する。この抽出手段は、音響特徴分析を行うためのスペクトログラム解析機能やピッチ追跡機能、音響モデルを用いた感情識別機能が含まれる。また、音声特徴抽出手段は、スペクトル分析機能やピッチ解析機能といった音響解析ツールを用いて、音声信号から感情を示唆する特徴量を抽出し、これらのデータを感情推定モデルへと供給する。
感情分析手段には、機械学習に基づいた感情推定モデルが含まれ、音声特徴抽出手段によって抽出された特徴量を入力として、ユーザの感情状態を推定する。感情推定モデルは、トレーニングデータに基づいて訓練されたニューラルネットワーク、サポートベクターマシン、決定木などの分類器から構成され、ユーザの感情をポジティブ、ネガティブ、中立などのカテゴリに分類する。感情推定モデルは、継続的な学習を通じてその精度を向上させ、ユーザの感情に対する認識の微妙な変化にも対応できるように進化する。また、感情分析手段は、機械学習技術を活用した感情推定モデルを有し、抽出された音声特徴を元にユーザの感情を分析する。このモデルは、様々な機械学習アルゴリズムを組み合わせて、ユーザの発話から感情カテゴリーを識別し、これに基づいてユーザの感情状態を推定する。推定された感情状態は、ユーザの発話や振る舞いに対するシステムの反応を調整するための重要な情報となる。
対話調整手段には、生成系AIモデルを用いた応答生成機能が含まれ、感情分析手段によって推定された感情に応じて、対話の内容を動的に調整する。応答生成機能は、自然言語生成技術を駆使し、ユーザの感情に適した言葉選びやトーンを用いて応答文を生成する。例えば、ユーザが悲しい感情を示している場合、共感表現や慰めの言葉を含む応答が生成される。この応答生成機能は、会話の文脈を考慮し、ユーザの感情とコミュニケーションの目的に合致した内容を提供するためのコンテキストアウェア処理機能を備える。また、生成された応答は、ユーザにとって自然であり、感情的なニーズを満たすように構築される。応答生成機能は、大規模な会話データセットに基づいて訓練された機械学習モデルによって実現され、ユーザの言葉遣いや話し方に適応することができる。また、対話調整手段には、生成系AIモデルを用いた応答生成機能が含まれ、推定された感情に適切に応じた対話内容を生成する。この機能は、ユーザの感情に対応する言葉選びや対話トーンを選定し、ユーザの現在の感情や会話の文脈に合わせた反応を提供する。応答生成機能は、コンテキストアウェアな処理を行い、ユーザが必要とする情報やサポートを適切な形で提供するために設計されている。この機能は、大量の会話データから学習されたモデルを基に、ユーザの言葉遣いや情緒に適応した応答を生成することが可能である。
センサーを含まないデータ収集手段としては、ユーザがシステムに直接入力したテキスト情報や、通話記録から得られるメタデータが考えられる。これらは、ユーザの行動パターンや好みを分析する際の補足情報として利用され、感情エンジンの精度向上や応答生成機能の最適化に寄与する。ユーザが入力するテキスト情報は、感情分析手段の一部として、感情推定モデルの訓練データとしても活用される。
本システムは、通話中にユーザの感情をリアルタイムで分析し、対話内容を自動調整する能力を有しているため、さらに細かな感情の変化を捉えるために、音声データに加えて、表情認識技術を統合することができる。ウェブカメラやスマートデバイスのカメラを活用して、ユーザの顔の表情を分析し、感情分析の精度を向上させる。この追加された表情認識機能は、ユーザの感情をより正確に認識し、さらに微細な感情変化に応じた対話調整が可能となる。
また、ユーザの生理的シグナルを捉えるためのウェアラブルデバイスを組み込むことも考えられる。心拍数や皮膚電気活動など、生理的反応を測定することで、声のトーンや表情だけでは捉えきれない感情の深層を解析する。これらのデータを統合することで、感情分析の精度はさらに向上し、より適切な対話応答を生成することができる。
対話調整手段には、ユーザの文化的背景や個人的な価値観を考慮したカスタマイズ機能を追加することも有効である。ユーザプロファイルを構築し、その情報に基づいて、対話のトーンや内容をさらにパーソナライズする。これにより、ユーザ一人ひとりに合わせたきめ細やかなサポートを提供することが可能となる。
さらに、感情推定モデルの進化を促すために、クラウドソーシングによる感情データの収集や、多様なユーザからのフィードバックを取り入れて、モデルを継続的にアップデートする仕組みを構築する。これにより、多様な感情表現や言語に対応できる柔軟なシステムとなる。
また、教育やメンタルヘルスケアの分野における応用も検討することができる。例えば、教育分野では、学生の感情に適応した教材の提示やカウンセリングセッションでの使用が考えられる。メンタルヘルスケアでは、ユーザの感情を認識し、ストレスや不安を軽減するための対話支援を行う。これにより、ユーザが抱える問題に対してより効果的なアプローチが可能となる。
システムのプライバシー保護に関しても、ユーザの感情データを安全に保管し、適切なアクセス制御と暗号化技術を用いて、情報漏洩のリスクを最小限に抑えるためのセキュリティ対策を強化する。これにより、ユーザは安心してシステムを利用することができる。
最終的には、このシステムが提供するパーソナライズされた対話体験が、ユーザの生活の質を向上させるようなサービスへと発展することが期待される。
本発明の形態は、通話のみならず、ビデオ会議やオンライン教育のプラットフォームにも適用可能である。例えば、講師が生徒の感情をリアルタイムで把握し、カリキュラムの進行を感情に合わせて調整することで、より効果的な学習経験を提供する。ビデオ会議においても、参加者の感情を反映した対話管理が行われ、生産的かつポジティブな会議環境を促進する。
また、本システムには、感情反応に基づいた健康状態の監視機能を追加することも可能である。例えば、ユーザの声のトーンや話し方が一定期間にわたってネガティブな感情を示している場合、メンタルヘルスの専門家に通知を送り、必要に応じた介入を促すことができる。
さらに、感情エンジンの高度化に向け、ユーザの日常生活における感情パターンを分析し、その情報を元に長期的な感情管理やストレス軽減のアドバイスを提供する機能を組み込む。ユーザの生活リズムや活動パターンを分析し、感情の波を予測することで、適切なタイミングでリラクゼーションやモチベーション向上のためのコンテンツを提案する。
このシステムは、カスタマーサポートの分野でも応用が期待される。例えば、コールセンターのオペレーターが顧客の感情をリアルタイムで把握し、不満や怒りなどのネガティブな感情を検出した際には、即座に対応策を講じ、顧客満足度の向上に寄与する。
また、ゲームやエンターテインメントの分野でも、ユーザの感情に応じてコンテンツを動的に変化させることで、没入感や楽しさを増幅させる効果が期待される。ゲーム内のキャラクターがプレイヤーの感情に反応し、ストーリー展開や対話内容が変化することで、よりパーソナライズされた体験を実現する。
さらに、音声アシスタントや仮想現実（VR）との統合を図り、ユーザの感情に対してより自然な対話を実現する。音声アシスタントはユーザの感情を把握し、個々のニーズに合わせた情報やサービスを提供する。VR環境では、ユーザの感情に応じてシナリオや環境が変化し、リアルタイムで感情に合わせた体験を提供する。
本システムは、ユーザインタフェース（UI）やユーザーエクスペリエンス（UX）の設計においても革新をもたらす可能性を秘めている。感情認識技術を利用して、ユーザの感情に最適化されたUIやUXを提供し、利用者の満足度を高める。例えば、ウェブサイトやアプリケーションがユーザの感情をリアルタイムで把握し、コンテンツの提示方法やインタラクションの形式を調整する。
最終的には、このシステムが提供する感情調整機能が、人間関係の質を向上させ、コミュニケーションの効果を高めるツールとして社会に広く浸透していくことが期待される。
以下に、各形態例の処理の流れについて説明する。
（形態例１）
ステップ１：未登録または非通知の電話番号からの着信があった場合、生成系AIが応答する。
ステップ２：通話終了後、用件をチャットGPTで文書化する。
ステップ３：文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。
ステップ４：分析結果に基づいて、文書の表現を調整する。
ステップ５：調整された文書をメッセンジャーアプリやメールで送信する。
（形態例２）
ステップ１：通話終了後、用件をチャットGPTで文書化する。
ステップ２：文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。
ステップ３：分析結果に基づいて、文書の表現を調整する。
ステップ４：調整された文書を選択し、送信先を指定する（例：家族）。
ステップ５：指定された送信先に文書をメッセンジャーアプリやメールで送信する。
（形態例３）
ステップ１：通話中にユーザの声のトーンや言葉の選択などを感情エンジンに入力し、ユーザの感情を分析する。
ステップ２：分析結果に基づいて、生成系AIの応答や対話の内容を調整する。
ステップ３：通話終了後、用件をチャットGPTで文書化する。文書化された用件は、感情エンジンに入力するために使用される。
特定処理部２９０は、特定処理の結果をスマート眼鏡２１４に送信する。スマート眼鏡２１４では、制御部４６Ａが、スピーカ２４０に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。
データ生成モデル５８は、いわゆる生成ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。特定処理部２９０は、データ生成モデル５８を用いながら、上述した特定処理を行う。
上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、スマート眼鏡２１４によって特定処理が行われるようにしてもよい。
［第３実施形態］
図５には、第３実施形態に係るデータ処理システム３１０の構成の一例が示されている。
図５に示すように、データ処理システム３１０は、データ処理装置１２及びヘッドセット型端末３１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。
データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。
ヘッドセット型端末３１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、通信Ｉ／Ｆ４４、及びディスプレイ３４３を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、カメラ４２、及びディスプレイ３４３も、バス５２に接続されている。
マイクロフォン２３８は、ユーザが発する音声を受け付けることで、ユーザから指示等を受け付ける。マイクロフォン２３８は、ユーザが発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。
カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザの周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。
通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。
図６には、データ処理装置１２及びヘッドセット型端末３１４の要部機能の一例が示されている。図６に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。
特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。
ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。
ヘッドセット型端末３１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。
なお、データ処理装置１２以外の他の装置がデータ生成モデル５８を有してもよい。例えば、サーバ装置（例えば、ＣｈａｔＧＰＴサーバ）がデータ生成モデル５８を有してもよい。この場合、データ処理装置１２は、データ生成モデル５８を有するサーバ装置と通信を行うことで、データ生成モデル５８が用いられた処理結果（予測結果など）を得る。また、データ処理装置１２は、サーバ装置であってもよいし、ユーザが保有する端末装置（例えば、携帯電話、ロボット、家電）であってもよい。次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。
（形態例１）
本発明を実施するための形態は、未登録または非通知の電話番号からの着信時に、生成系AIが応答する応答手段と、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する送信手段とを具備するシステムである。さらに、家族や知人と名乗る場合には、専用の質問や合言葉を使用して確認する確認手段と、配送業者は業者用の合言葉を使用して本人につながる接続手段と、通話中には電話番号をチェックし、悪用歴のある番号の場合は警察に連携する連携手段とを具備する。
応答手段は、データ処理装置１２の特定処理部２９０によって実現され、未登録または非通知の電話番号からの着信時に生成系AIを用いて応答する。送信手段は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する手段として、データ処理装置１２の特定処理部２９０によって実現される。確認手段は、専用の質問や合言葉を使用して家族や知人を確認する手段として、ヘッドセット型端末３１４の制御部４６Ａによって実現されてもよい。接続手段は、配送業者が業者用の合言葉を使用して本人につながる手段として、ヘッドセット型端末３１４の制御部４６Ａによって実現されてもよい。連携手段は、通話中に電話番号をチェックし、悪用歴のある番号の場合は警察に連携する手段として、データ処理装置１２の特定処理部２９０によって実現される。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
応答手段は、音声認識技術を活用した発話理解機能が含まれ、未登録または非通知の番号からの着信に対して、事前に訓練されたAIが生成した自然言語による応答を行う。このAIは、大量の通話データを学習しており、さまざまなシナリオに対応できる回答を生成する能力を有する。着信があると、AIはリアルタイムで着信内容を解析し、適切な応答を選択して会話を進める。応答内容は、通話の性質に合わせてカスタマイズされるため、営業電話からの質問には丁寧に対応し、不審な着信に対しては慎重に応答する。また、応答手段は、未登録または非通知の電話番号からの着信に対応するため、音声合成技術と発話内容理解技術を駆使し、事前に訓練を受けたAIが適切な対応を行うこともできる。このAIは複数の応答シナリオを学習し、通話の意図を把握して、状況に応じた自然な対話を提供することができる。着信内容に基づいてAIが瞬時に応答を選択し、通話の趣旨に合わせてカスタマイズされた対応を行うため、営業電話の問い合わせには適切に対処し、怪しい着信には慎重に応じることができる。
送信手段には、通話内容をテキスト化する音声認識技術と、そのテキストを基に通話の要約を生成する自然言語生成技術が含まれる。通話が終了すると、AIは通話内容をテキストデータに変換し、その内容を要約して文書化する。生成された文書は、メッセンジャーアプリやメールなどのコミュニケーション手段を介して、ユーザーに送信される。このプロセスにより、ユーザーは通話の詳細を後からでも確認でき、重要な情報を見逃すことがない。また、送信手段では、終了した通話の内容を音声認識技術によりテキストに変換し、その後、自然言語処理技術を用いて要約を行い、生成された文書をメッセンジャーアプリやメールでユーザーに送付することもできる。ユーザーは送付された文書を介して通話の詳細をいつでも確認可能で、重要な情報が記録され、見落とされることがなくなる。
確認手段は、家族や知人からの着信と名乗る場合に、特定の質問や合言葉を使用して本人確認を行う機能を有する。この手段は、ユーザーが設定した質問や合言葉をAIが使用し、着信者が正しい応答を行うことで本人であることを確認する。本人確認が成功すると、AIは通話を継続し、必要に応じてユーザーに転送する。このプロセスにより、不正アクセスや詐欺を防ぎながら、本人であれば円滑な通信を確保する。また、確認手段は、家族や知人を名乗る着信者に対して、ユーザーが設定した質問や合言葉をAIが提示し、正確な回答が得られた場合にのみ、通話を継続またはユーザーに転送することもできる。この機能により、不正なアクセスや詐欺を未然に防ぎつつ、本人であることが確認された場合にはスムーズなコミュニケーションを実現する。
接続手段は、配送業者などの特定の職種の者が業者用の合言葉を使用することで本人と通話ができる機能を有する。この手段では、AIが業者用の合言葉を受け取り、正しい合言葉であることを確認した後、通話を本人に繋ぐ。業者用の合言葉は、通話のセキュリティを確保するために重要であり、誤った合言葉が入力された場合、通話は繋がらない。また、接続手段は、配送業者などの職種固有の合言葉をAIが受け取り、その正当性を確認した上で、通話をユーザーにつなぐ機能を担うこともできる。この合言葉によって、通話のセキュリティが確保され、誤った合言葉の場合には通話が切断される仕組みとなっている。
連携手段は、通話中に電話番号をリアルタイムでチェックし、その番号に悪用歴がある場合は自動的に警察や関連機関に連携する機能を有する。この手段は、データベースに蓄積された不審な番号のリストを参照し、着信番号がそのリストに含まれているかを確認する。不審な番号からの通話であると判断された場合、システムは即座に警察への報告プロトコルを開始し、状況に応じて適切な対応を取る。また、連携手段は、通話中の番号をリアルタイムで監視し、過去に悪用された履歴がある番号であれば自動的に警察などの関連機関と連携する機能を果たすこともできる。不審な番号の検出時には、警察への通報プロトコルが起動し、迅速な対応が取られる。
これらの手段は、ユーザーのセキュリティと利便性を高めるために、複数のAI技術と連携機能を組み合わせて実装される。データ処理装置とスマートデバイスの制御部が協力し、これらの手段を柔軟に実現するためのプラットフォームが提供される。各手段は、独立して機能するだけでなく、連動してより高度なサービスを提供するために設計される。ユーザーは、これらの手段を通じて、未登録または非通知の電話番号からの着信に対する対応を自動化し、日常生活の中で発生する潜在的なリスクから自己を守ることができる。また、これらの手段は、AI技術を中心に構築され、ユーザーのセキュリティを向上させると同時に、日常のコミュニケーションを効率化する。センサーを使用しないデータ収集の代替手段として、ユーザーが手動で情報を入力し、システムがその情報を利用するプロセスが可能である。ユーザーはこれらの手段によって、未登録または非通知の着信に対する対処を自動化し、不測の事態からの保護を強化することができる。
本形態例のシステムには、さらなる機能を追加し、その利便性を高めることができる。例えば、応答手段には、会話中にユーザーの感情を解析する機能を追加し、通話相手の声のトーンや話し方から感情を推定し、それに応じた応答をAIが行う。これにより、通話相手が怒りや不安を感じている場合は、より慎重かつ共感的な応答が可能となり、通話の品質を向上させる。
送信手段には、文書化した通話内容をユーザーのカレンダーやリマインダーに自動的に統合する機能を追加する。これにより、通話で得たアポイントメントやタスクを忘れずに管理できるようになり、生産性の向上を図ることができる。
確認手段は、ユーザーの生体情報を利用して本人確認を行う機能を備える。例えば、スマートウォッチやフィットネストラッカーから得た生体情報を用いて、通話相手が実際に家族や知人であることを確認する。これにより、より高度なセキュリティを実現しつつ、利用者の手間を減らすことができる。
接続手段には、配送業者がQRコード（登録商標）またはNFCタグをスキャンすることで認証を行い、通話を本人に直接繋ぐ機能を追加する。これにより、合言葉のやり取りを省略し、より迅速かつ安全に配送業者との連携を図ることが可能となる。
連携手段では、通話中の音声データから不審なキーワードを検出し、その内容を自動で分析する機能を追加する。キーワードに基づいて不審な通話と判断された場合、警察への通報を行う前に、まずはユーザーに警告することで、より正確な判断をサポートする。
これらの追加機能により、本形態例のシステムは、通話の自動応答だけでなく、日々の生活の中でのセキュリティやスケジュール管理をより効率的にサポートする。また、各種のAI技術とデータベースの連携によって、ユーザーの生活に更なる安心と便利さを提供する。さらに、これらの技術をユーザーのスマートデバイスや家庭内のIoT機器と統合することで、よりパーソナライズされた体験を実現することが可能となる。
本形態例のシステムには、さらなる機能拡張が可能であり、利便性およびセキュリティを高めるために応答手段には、発信者の声紋を分析し、登録済みの家族や知人の声と照合する機能を追加することができる。これにより、発信者が本人であるかをより正確に判断し、特定の質問や合言葉を使用しなくても安全に通話を継続することが可能になる。
送信手段では、音声認識と自然言語処理を活用して得られた通話内容を、ユーザーが選択した複数の言語に翻訳し、異なる言語を話すユーザー間のコミュニケーションを支援する機能を組み入れることができる。これにより、国際的なビジネスシーンや多言語を話す家庭内での利用が促進される。
確認手段には、ユーザーが特定のジェスチャーや動作をカメラに示すことで本人確認を行う機能を追加することができる。この機能により、通話中に手軽にかつ迅速に本人確認を行うことが可能となり、セキュリティが一層強化される。
接続手段に関しては、AIが発信者の位置情報と配送予定情報を照合し、本人確認を行う機能を追加することで、配送業者が実際に商品を配送している場所から通話していることを確認し、通話の真正性を保証することが可能になる。
連携手段では、不審な通話が検出された際に、警察だけでなく、ユーザーの指定した緊急連絡先にも自動通報する機能を追加することで、万が一の緊急時に迅速な対応が行えるようになる。
これらの機能追加は、既存のシステムの基本的な構造を維持しつつ、ユーザーのニーズに合わせて柔軟な対応が可能となる。また、スマートデバイスや家庭内のIoT機器と連携することで、ユーザーが日常的に使用する環境においてもシームレスな経験を提供する。これらの追加機能により、本形態例のシステムは通話の自動応答を超え、日常生活のあらゆる面でユーザーのセキュリティと利便性を向上させる。
（形態例２）
本発明を実施するための形態は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、家族宛に送信可能な送信手段を具備するシステムである。具体的には、通話終了後に生成された文書を選択し、送信先を家族と指定することで、家族宛に用件を送信することができる。
送信手段は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで家族宛に送信する手段として、データ処理装置１２の特定処理部２９０によって実現される。また、送信手段は、ヘッドセット型端末３１４の制御部４６Ａによって実現されてもよい。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
通話終了後の内容を文書化する手段は、音声認識技術を用いた会話内容解析手段を含む。この解析手段は、通話の音声データをテキストに変換し、通話の要点を抽出する。また、音声認識技術を用いた会話内容解析手段は、通話が終了した後に発生する音声データをテキストに変換し、そのテキストデータから通話の主要なポイントを抽出する機能を持つ。音声認識技術は、ディープラーニングに基づくモデルを活用し、さまざまな言語やアクセントに対応するためのトレーニングが行われる。また、この解析手段は、多様な言語やアクセントに対応するためにディープラーニングモデルを活用し、大量の音声データを基に学習を進める。会話内容解析手段は、形態素解析や構文解析を行い、会話の中で交わされた重要な情報や行動を要する内容を特定する。特に、キーワード抽出機能を用いて会話の中で頻繁に使われる単語やフレーズを特定し、それらを基に通話の要点を文書化する。また、会話の要点を明確にするために、形態素解析機能と構文解析機能を組み合わせ、会話中に交わされた重要な情報やアクションを要する内容を特定する。キーワード抽出機能は、会話の中で頻出する単語やフレーズを識別し、それらの情報を基に文書化する。
文書化された内容をメッセージとしてフォーマットする手段は、テキストエディタ機能を含む。この機能は、解析されたテキストを整理し、文書の構造を整える。メッセージフォーマット手段は、ユーザが容易に内容を確認し、必要に応じて編集や追加情報を加えることができるインタフェースを提供する。また、文書化された内容をメッセージ形式に整える手段には、テキストエディタ機能が含まれ、解析されたテキストを整理し、文書のレイアウトを整える。ユーザがメッセージの内容を確認し、編集や追加情報を加えることができるインターフェイスを提供する。
送信手段は、メッセージを宛先指定機能を用いて特定の家族に送信する。この宛先指定機能は、ユーザの連絡先リストと連携し、選択された家族メンバーの連絡先情報に基づいてメッセージを自動的に送信する。また、送信手段は、メッセージ送信の確認と送信履歴を管理する機能も備えており、ユーザは送信されたメッセージの状態を追跡し、必要に応じて再送信を行うことができる。メッセージの送信は、メッセンジャーアプリやメールアプリとの連携によって行われる。メッセンジャーアプリやメールアプリとの連携機能は、ユーザのアカウント情報を用いて認証を行い、安全にメッセージを送信する。また、送信手段は、セキュリティ対策としてメッセージの暗号化や送信時の認証プロセスを実施し、プライバシーの保護を確保する。また、送信手段は、ユーザが選択したメッセージ送信方法に応じて、メッセージを適切なフォーマットで送信する。例えば、メッセンジャーアプリではインスタントメッセージとして、メールアプリでは電子メールとして送信する。メッセージの送信手段は、ユーザが選択した家族メンバーに対してメッセージを送るための宛先指定機能を備えており、ユーザの連絡先リストと連携して、家族メンバーの連絡先に基づいたメッセージの自動送信を行う。送信手段には、メッセージの送信状況を確認し、送信履歴を管理する機能も含まれており、ユーザは送信したメッセージの状態を追跡し、必要に応じて再送信を行うことができる。メッセージの送信プロセスは、メッセンジャーアプリやメールアプリと連携し、ユーザのアカウント情報を基に認証を行い、安全にメッセージを送信する機能を持つ。送信手段は、メッセージの内容を暗号化し、送信時の認証を行うセキュリティ対策を施して、プライバシーを守る。また、メッセンジャーアプリではインスタントメッセージとして、メールアプリでは電子メールとして、ユーザが選択した送信方法に応じて適切なフォーマットでメッセージを送信する。
センサーを含まないデータ収集の例としては、ユーザが手動で通話内容をメモする場合が考えられる。この場合、ユーザは通話終了後に自分で通話の要点を記録し、そのテキストデータをメッセージとして家族に送信する。ユーザが手動で記録した通話内容は、テキストエディタ機能を用いて整理され、フォーマットされたメッセージとして送信手段によって家族宛に送信される。この手動記録は、音声認識技術を用いた自動文書化が適用できない状況や、ユーザが特定の情報を自らの言葉で伝えたい場合に適している。また、センサーを用いないデータ収集の方法として、ユーザが通話終了後に手動で通話内容をメモし、その情報をメッセージとして家族に送るシナリオも考えられる。この手動記録は、テキストエディタ機能を用いて整理され、フォーマットされたメッセージとして送信される。音声認識技術が適用できない状況や、ユーザが自らの言葉で特定の情報を伝えたい場合に利用される。
本発明の実施形態では、通話内容の文書化を超えた機能を考慮することができる。例えば、音声認識によって生成されたテキストに基づき、スケジュール管理システムと連携して、通話中に言及されたアポイントメントや予定を自動的にカレンダーに登録する機能を追加する。これにより、ユーザーは通話後に手動でスケジュールを管理する手間を省くことができる。さらに、家族間で共有されるカレンダーへの予定登録を提案し、家族全員が予定を共有しやすくする。
また、文書化されたテキストデータを基に、自動的にタスクリストを生成し、家族全員がアクセスできる共有プラットフォームに投稿する機能を設けることも可能である。このプラットフォームでは、各家族メンバーがタスクの進捗を更新したり、完了したタスクにチェックを入れることができ、家族全員で情報を共有し協力する環境を構築する。
さらに、文書化されたメッセージに対して、感情分析を行い、通話中の感情的なニュアンスをテキストに反映させる機能を追加することで、メッセージの受取人が発信者の意図をより正確に理解することを助ける。例えば、通話中に喜びや心配といった感情が表れた場合、その感情をテキストに特定の絵文字やフォーマットで表現し、コミュニケーションの豊かさを高める。
また、音声認識と解析を活用して、通話内容から自動的にFAQやよくある質問リストを生成し、家族が同様の問い合わせをする際に参照できる知識ベースを構築する機能も考えられる。この知識ベースは、家族内で共有され、新たな通話が発生するたびに更新されることで、家族間のコミュニケーションの効率を向上させる。
さらに、通話終了後に生成されるテキストは、メッセンジャーアプリやメールで送信するだけでなく、音声形式で再生する機能を付加することで、視覚障害のある家族メンバーや読み書きが苦手な子供でも情報を容易に受け取れるようにする。
最後に、通話終了後に文書化された内容を、家族メンバーのプライバシーを保護するために、文書内の機微な情報を識別し、自動的に匿名化や伏せ字処理を行う機能を組み込むことで、安心して情報を共有できる環境を提供する。これにより、個々のプライバシーを尊重しつつ、必要な情報のみを共有するバランスを保つことができる。
本発明の実施形態は、通話内容の自動文書化と送信に関するものであり、これに新たな機能を追加することが考えられる。例えば、通話内容を分析し、通話終了後に自動でアクションアイテムを生成し、対応が必要なタスクとしてユーザーのスマートデバイスにリマインダーをセットする機能が考えられる。このリマインダーは、通話で言及された期限や重要性に基づいて優先度を設定し、ユーザーが忘れずに行動に移せるようサポートする。
さらに、家族間でのコミュニケーションを強化するために、文書化されたメッセージ内の特定の単語やフレーズに基づいて、関連する画像やビデオ、リンクを自動的に添付する機能を追加することも有益である。これにより、テキストベースのメッセージだけでなく、視覚的な情報も共有でき、コミュニケーションがより豊かになる。
また、通話内容の文書化に際して、プライバシーに配慮し、特定の個人情報や機密情報を自動的に検出し、ブラー処理や伏せ字に変換する機能を実装することで、セキュリティを高めることができる。このプロセスは、自然言語処理技術とプライバシー保護のガイドラインに従って行われる。
通話内容のテキスト化では、ユーザーの多様なニーズに対応するため、複数の言語への翻訳機能を組み込むことも有効である。家族が異なる言語を話す多文化の環境では、通話内容を自動的に翻訳し、各メンバーが理解しやすい言語でメッセージを送信することが可能となる。
さらなる利便性を追求するために、メッセージの送信タイミングをユーザーがカスタマイズできるスケジュール機能を追加する。ユーザーは、即時送信だけでなく、特定の日時にメッセージを送信するよう設定できるため、家族が情報を受け取るタイミングを最適化できる。
最後に、メッセージの受け取り側で、受信したメッセージに対するアクションを簡単にとれるよう、返信や確認のためのクイックアクションボタンを設けることで、迅速なフィードバックと効率的なコミュニケーションを実現する。これにより、家族間での情報共有がさらにスムーズに行われるようになる。
（形態例３）
本発明を実施するための形態は、通話中に電話番号をチェックし、悪用歴のある番号の場合には警察に連携する際に、警察との連携手段を具備するシステムである。具体的には、通話中に着信番号をデータベースと照合し、悪用歴のある番号であることを検出した場合には、自動的に警察に通報する機能を備えている。
連携手段は、通話中に電話番号をチェックし、悪用歴のある番号の場合には警察に連携する手段として、データ処理装置１２の特定処理部２９０によって実現される。また、連携手段は、ヘッドセット型端末３１４の制御部４６Ａによって実現されてもよい。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
抽出手段は、通信網を介して発信される各通話の信号に含まれる発信者情報を抽出するために備わっており、デジタル信号処理技術を用いて通話データから発信者の電話番号を正確に取得することができる。また、抽出手段は、Caller ID情報を解析し、電話番号を特定するための信号解析機能を持っている。このシステムは、通話信号の中から発信者の電話番号を抽出するための信号抽出機能と、Caller ID情報の解読に特化した解析アルゴリズムを利用して、着信番号を正確に特定することもできる。
照合手段は、抽出された電話番号を不正利用が疑われる電話番号を収集し、カテゴリ別に整理したデータベースに照合する機能を有しており、データベース管理システムを通じてリアルタイムでの照合処理が可能であり、高速な検索アルゴリズムとインデックス技術により、通話が進行している間に迅速な照合が行われる。また、照合手段は、悪用歴のある番号をリスト化したデータベースを参照し、迅速な検索と照合を行うための高性能なデータベース検索機能とインデックス機能を備えている。
連携手段は、悪用歴のある番号が検出された場合に自動的に警察に通報する機能を持ち、通報システムとのインターフェイス機能が含まれ、通報する際の警察の受付システムとのプロトコルに基づいたデータ形式で通報情報を生成し、安全な通信チャネルを用いて警察の受付システムに送信する。通報情報の内容には、検出された悪用歴のある電話番号、通話の日時、通話の持続時間、発信者が利用している通信事業者などの情報が含まれ、個人情報の保護や通報の正確性を確保するために、暗号化技術や認証システムが用いられる。また、連携手段は、複数の通信プロトコルや通報システムとの互換性を持ち、システム間のデータ交換を円滑に行うためのアダプター機能を設け、通報のプロセスにおいて、警察の受付システムの要件に合わせて通報情報のフォーマットを調整し、適切な通報プロトコルを選択して通報を行う機能を持つ。通報プロセスが発動されると、システムは警察の受付システムに対して、通報情報を送信し、通報の受付確認を取得する。この確認は、通報が正しく行われたことをシステムが記録し、通報履歴として保存するための情報として利用される。通報履歴は、将来的な分析や改善のために用いられ、通報プロセスの効率化や精度向上に寄与する。この連携機能は、通報データ生成機能により、必要な情報を含む通報フォーマットを作成し、セキュアな通報送信機能を介して警察の受付システムへ情報を送信する。通報のセキュリティと信頼性を保証するため、データの暗号化機能とシステム認証機能が導入されている。また、システムの連携手段は、複数の通報プロトコルと互換性を持ち、異なる通報システムとのデータ交換を実現するアダプター機能を有しており、このアダプター機能は、通報プロトコル選択機能により、通報時のプロトコル要件に適した形式に自動的に調整し、通報情報の送信と受付確認を行う。通報履歴記録機能は通報の成功を記録し、システムのパフォーマンス分析や改善に使用される。
データ収集手段には、センサーを用いない例として、ユーザがアプリケーションやウェブインターフェース上で疑わしい通話に関する報告を行う機能があり、ユーザは、通話の経験や通話中に感じた不審な点をフォームに入力し、その情報がデータベースに登録される。この手動報告により収集されたデータは、自動的にデータベースに照合される電話番号のリストに追加される可能性があり、悪用歴のある番号の検出精度の向上に寄与する。また、センサーを使用しないデータ収集例として、ユーザが疑わしい通話について報告するための入力機能が提供される。ユーザはインタラクティブな報告フォームを通じて、疑わしい通話の内容をデータベースに登録し、これにより収集された情報は悪用歴のある番号の検出に活用される。この手動報告システムは、ユーザの経験と感覚に基づいて追加データを提供し、番号照合データベースの拡張に貢献する。
このシステムには、データベースの更新メカニズムを強化する機能を追加することができる。例えば、新たに悪用が確認された番号は、通報後も自動的にデータベースに追加される。さらに、疑わしい通話が報告された際には、その番号の信用情報を他のデータベースとも照合し、ユーザーからの報告に基づく情報と組み合わせることで、より正確な悪用歴の特定を実現する。データベースの整合性を保つために、定期的なクリーニングプロセスを実行し、誤った情報や古いデータを排除する仕組みも設けられる。また、通報システムとの連携を強化するため、警察が提供する犯罪データベースと直接連携し、照合プロセス中にリアルタイムで犯罪情報を取得し、照合結果の精度を向上させる機能も導入される。
通報の即時性を高めるために、通話が開始された瞬間に照合プロセスが開始され、悪用歴のある番号が検出された場合、通話者に警告音を出すか、自動的に通話を遮断するオプションも設けられる。さらに、通話を遮断した際には、通報者に代わって通話内容の録音を保存し、警察の調査に役立てることができる。警察が介入する際には、通報者の位置情報や通話履歴を含む詳細なレポートが自動生成され、犯罪捜査の迅速化を支援する。
ユーザインターフェースには、通報システムの透明性を高めるために、通報プロセスの進行状況をリアルタイムで確認できる機能が追加される。通報の結果や警察からのフィードバックをユーザが確認できるようにすることで、システムへの信頼性を向上させる。また、悪用歴のある番号に関する統計データやトレンド分析を提供し、ユーザが通話に対する警戒心を持つための情報提供も行われる。
さらに、悪用歴のある番号を特定するための機械学習技術を導入し、通話パターンや通話の頻度などの様々な指標を分析することで、悪用の可能性が高い新たな番号を予測する。これにより、データベースの予防的な更新が可能となり、未知の犯罪行為を防ぐための対策を強化する。また、ユーザが通報システムの効果について直接フィードバックを提供できる機能を設け、システムの改善に役立てる。フィードバックは匿名で行われることで、ユーザのプライバシーを保護しつつ、システムの改善に資する貴重な情報を収集する。
通話中の電話番号チェックをより効果的にするためには、ユーザーが直面する可能性のある様々な詐欺のパターンをAIが学習し、特定の単語やフレーズが通話中に検出された際にリアルタイムでフラグを立てる機能を実装する。これにより、単に電話番号がデータベース内の悪用歴と一致するだけでなく、通話の内容からも悪意を持った行動を推測し、検出することが可能になる。また、ユーザーが詐欺を疑う通話を簡単に報告できるショートカットやボタンをスマートフォンのインターフェースに設け、報告プロセスを簡略化する。これにより、データベースはより迅速に更新され、他のユーザーに対する保護が向上する。
警察との連携を強化するためには、通報された情報を基に警察が迅速に対応できるよう、通報システムに位置情報追跡機能を統合し、犯罪者の追跡と捕捉を支援する。また、通報システムに組み込まれる人工知能は、通報データから犯罪パターンを分析し、予防的な警戒活動を計画するための情報を警察に提供する。このような予測分析を活用することで、将来的な犯罪を未然に防ぐことに繋がる。
警察とのデータ共有を促進するために、警察が把握している詐欺事件やその他の犯罪に関する情報をリアルタイムで受け取り、データベースを更新する機能を設ける。これにより、通報システムは最新の犯罪情報に基づいて機能し、ユーザーを守るための対策が強化される。さらに、システムにはブロックリスト機能を追加し、ユーザーが自身で疑わしい番号を登録して通話を拒否できるようにする。これにより、ユーザー自身が直接リスクをコントロールすることが可能になる。
教育プログラムとして、ユーザーが詐欺の手口を認識し、予防するための情報を提供するオンライン講座やワークショップを開催する。これにより、ユーザーは自分自身を守るための知識を得ることができ、社会全体のセキュリティ意識が向上する。また、通報システムの利用によって防がれた詐欺事件の事例を共有し、ユーザーがシステムの実効性を理解しやすくする。
最後に、システムのアップデートを通じて、通話が詐欺である可能性が高いと判断された場合に、ユーザーに自動的に警告メッセージを送信し、詐欺に対する警戒を促す機能を実装する。これにより、ユーザーは即座に詐欺である可能性を認識し、適切な対応を取ることができるようになる。
以下に、各形態例の処理の流れについて説明する。
（形態例１）
ステップ１：未登録または非通知の電話番号からの着信があった場合、生成系AIが応答する。
ステップ２：通話終了後、用件をチャットGPTで文書化する。
ステップ３：文書化された用件をメッセンジャーアプリやメールで送信する。家族や知人と名乗る場合には、専用の質問や合言葉を使用して確認する。配送業者は業者用の合言葉を使用して本人につながる。通話中には電話番号をチェックし、悪用歴のある番号の場合は警察に連携する。
（形態例２）
ステップ１：通話終了後、用件をチャットGPTで文書化する。
ステップ２：文書化された用件を選択し、送信先を家族と指定する。
ステップ３：家族宛に用件をメッセンジャーアプリやメールで送信する。
（形態例３）
ステップ１：通話中に着信番号をデータベースと照合し、悪用歴のある番号であることを検出する。
ステップ２：悪用歴のある番号である場合、自動的に警察に通報する。
ステップ３：通話終了後、用件をチャットGPTで文書化する。文書化された用件は、警察との連携に使用される。
なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。
（形態例１）
本発明を実施するための形態は、未登録または非通知の電話番号からの着信時に、生成系AIが応答する応答手段と、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する送信手段とを具備するシステムである。さらに、ユーザの感情を認識する感情エンジンを組み合わせる感情認識手段として、通話中にユーザの声のトーンや言葉の選択などを分析し、感情を推定する。推定された感情に基づいて、生成系AIの応答や文書化された用件の表現を調整する。例えば、ユーザが不安な感情を示している場合には、より穏やかな表現を使用することで安心感を与える。
応答手段は、データ処理装置１２の特定処理部２９０によって実現され、未登録または非通知の電話番号からの着信に対して生成系AIが応答する機能を提供する。送信手段は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する機能として、データ処理装置１２の特定処理部２９０によって実現される。感情認識手段は、通話中にユーザの声のトーンや言葉の選択を分析し、感情を推定する機能として、ヘッドセット型端末３１４の制御部４６Ａによって実現されるが、データ処理装置１２の特定処理部２９０によって実現されてもよい。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
応答手段は、自然言語処理と音声合成を組み合わせた対話生成手段が含まれる。この対話生成手段は、未登録または非通知の着信に対して自動で応答を行い、ユーザとの対話を可能にする。未登録または非通知の着信を検出すると、生成系AIは事前に訓練された会話モデルを用いて応答する。この会話モデルは、様々なシナリオに対応できるように多様な対話データを基に学習しており、着信者の質問や要求に対して適切な回答や案内を提供する。また、応答手段は、AIによる対話生成機能を備え、未登録または非通知の電話番号からの着信に対して、自動的に適切な返答を行うことができる。この機能は、通話の初期段階で着信者の目的や要望を理解し、対応する応答を行うための対話管理機能と、生成された応答を自然な音声に変換することもできるための音声生成機能を組み合わせたものである。対話管理機能は、特定のキーワードやフレーズの検出に基づいて着信者の意図を分析し、適切な返答を生成することができる。音声生成機能は、テキストベースの応答をリアルタイムに音声に変換し、着信者に対して自然な会話体験を提供することができる。
送信手段には、チャットボットや自然言語理解技術を用いた文書化手段が含まれる。通話終了後、チャットGPTのような高度な自然言語理解モデルを使用して、通話内容を精確に文書化する。文書化手段は、通話の要点を抽出し、要約する能力を有しており、用件を簡潔かつ明瞭に伝える文書を生成することができる。生成された文書は、メッセンジャーアプリやメールを介してユーザに送信される。この過程には、ユーザのメールアドレスやメッセンジャーアカウントへの連携機能が含まれ、文書は適切な形式で自動的に送付される。また、送信手段は、通話内容をテキスト化し、これをユーザがアクセス可能な形で提供することができる。通話が終了すると、通話内容文書化機能が活動し、会話の主要なポイントを抽出し、要約することができる。この要約されたテキストは、自動配信機能を通じてユーザ指定のメールアドレスやメッセンジャーアプリに送信される。この自動配信機能には、文書を適切なフォーマットで整え、指定された送信先に確実に届けるためのメール送信機能やアプリ連携機能が含まれる。
感情認識手段には、音声分析を行う声紋解析手段と、言葉の選択から感情を推定する言語解析手段が含まれる。声紋解析手段は、スマートデバイスのマイクロフォンを利用してユーザの声のトーン、ピッチ、速度などの特徴を検出し、それらの声の特性からユーザの感情状態を推定することができる。言語解析手段は、ユーザの発言の内容を解析し、使用される言葉やフレーズから感情的なコンテキストを抽出することができる。これらの分析結果は、生成系AIが応答を行う際や、文書化された用件の表現を調整する際に使用される。例えば、ユーザが不安を示している場合、応答や文書の表現はより穏やかで安心感を与えるように調整される。また、感情認識手段は、通話中のユーザの声の特徴と言語使用から感情を推定する機能を有する。声紋分析機能は、マイクロフォンによって収集された音声データから、声の高低、強弱、速度などの特徴を抽出し、これらの特性を解析することで感情を推定することができる。言語感情分析機能は、通話中の言語データを処理し、使用される単語やフレーズが持つ感情的な意味を解析し、ユーザの感情状態を把握することができる。これらの分析結果は、AIが行う応答のトーンや、文書化された通話内容の表現を調整する際に利用され、ユーザに対して適切な感情的対応を提供することができる。
センサーを含まないデータ収集手段としては、ユーザが自身で入力するテキストデータや、システム利用に関するフィードバックが挙げられる。これらは、ユーザ入力受付機能やフィードバック収集機能を通じてシステムに提供され、サービス改善のための貴重な情報源として活用される。
これらの手段は、ユーザの要求に迅速かつ効果的に対応し、コミュニケーションの質を向上させることを目的としている。また、各手段の実装は、データ処理装置やスマートデバイスの制御部によって柔軟に行われ、システムの効率性とユーザビリティを高めるために様々な形で変更が可能となっている。
本発明のシステムは、追加機能として、未登録または非通知の着信に対して、応答前に通話者の意図を推測するための概要予測手段を備えることができる。これにより、応答手段がより精度の高い対話を生成し、ユーザーにとって有意義なやり取りが実現する。また、生成系AIが応答する際には、通話者の国や地域に基づいた言語選択機能を持たせ、多言語対応の自動応答が可能となる。
送信手段に関しては、通話内容の文書化に加えて、重要なキーワードやフレーズのハイライト機能を設けることで、ユーザーが文書を素早く把握できるようにする。さらに、文書化された内容に基づいて自動的にアクションアイテムを生成し、ユーザーのタスクリストに追加する機能を追加することができる。
感情認識手段においては、通話中にユーザーの感情が変化した場合、その変化をリアルタイムで検知し、応答手段の対話のトーンやテンポを動的に調整する機能を持たせることができる。また、特定の感情が検出された場合には、それに応じた特別なサポートやアドバイスを提供する専門家への連絡を促すプロトコルも組み込むことができる。
応答手段には、着信者の過去の通話履歴や関連データを分析し、より個人化された応答を提供するパーソナライゼーション機能を追加することができる。これにより、ユーザーにとってより関連性が高い情報を提供し、応答の有用性を高めることが可能となる。
送信手段に関しては、文書化された通話内容に基づいてフォローアップのアクションを提案する機能を追加することができる。例えば、通話内容に含まれるタスクや予定に対して、カレンダーアプリへの自動登録機能を統合することで、ユーザーの時間管理をサポートする。
さらに、感情認識手段は、ユーザーのストレスレベルや緊張感を検知し、適宜、ストレス軽減のためのアドバイスやリラクゼーションコンテンツへのリンクを提供する機能を備えることができる。これにより、ユーザーの精神的な健康を支援し、総合的なウェルビーイングを促進することができる。
本形態例のシステムには、さらなる機能向上を図るための複数の追加機能が考慮される。例えば、未登録または非通知の着信に対して、通話者の声紋を分析し、以前の通話データと照合することにより、通話者の身元を特定する声紋認識手段を追加することができる。これにより、通話者が過去にシステムとやり取りしたことがある場合、その情報を基に応答手段がより適切な対応を行うことが可能となる。また、声紋認識手段は、セキュリティ対策としても機能し、ユーザーに対する信頼性の高い通話体験を提供する。
送信手段についても、通話内容を文書化する際に、通話の内容を構造化し、情報の重要度に応じてテキストの階層化を行う機能を考慮する。これにより、ユーザーは文書を読む際に重要な情報をより迅速に把握できるようになる。さらに、文書化された内容をユーザーの好みや過去の行動パターンに合わせてカスタマイズすることで、より個人的な体験を提供することが可能となる。
感情認識手段では、通話中にユーザーのストレスレベルを検知し、ストレスが高いと推定される場合には、通話内容に関連したリラクゼーション方法や心理的サポートへの案内を提供する。これにより、ユーザーが通話を通じてリラックスし、ストレスを軽減できるようなサービスを提供する。
さらに、応答手段には、通話内容に基づいてユーザーへのフォローアップアクションを自動的に提案する機能を追加する。例えば、通話中に提案された製品やサービスに関する追加情報へのリンクを提供したり、次の行動ステップを提案することで、ユーザーの意思決定をサポートする。
応答手段の改善としては、通話者の意図に応じて自動的に応答スタイルを変更する機能を検討する。たとえば、通話者が緊急の状況を示している場合には、迅速かつ的確な指示を提供するようにAIを調整する。このような対応により、通話者のニーズに即応できるようなシステムを実現する。
これらの追加機能は、ユーザーエクスペリエンスの向上を目指すとともに、通話内容の正確な把握と迅速な対応を可能にするためのものである。また、それぞれの機能は、データ処理装置やスマートデバイスの制御部の能力を最大限に活用し、システムの有用性をさらに高めることが期待される。
（形態例２）
本発明を実施するための形態は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、ユーザの感情を認識する感情エンジンを使用して文書の表現を調整する調整手段とを具備するシステムである。具体的には、文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。分析結果に基づいて、文書の表現を適切に調整する。例えば、ユーザが喜びや興奮を感じている場合には、より明るく活気のある表現を使用することで、ユーザの感情を共有する。
調整手段は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、ユーザの感情を認識し、文書の表現を調整する機能として、データ処理装置１２の特定処理部２９０によって実現される。この調整手段は、感情エンジンによる分析結果に基づいて文書の表現を適切に調整する機能を提供する。また、調整手段は、ヘッドセット型端末３１４の制御部４６Ａによって実現されてもよい。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
会話内容抽出手段は、音声認識技術を駆使して通話内容をテキストデータに変換する。また、会話内容抽出手段は、音声信号を受信した後、ノイズリダクション手段を用いて背景雑音を除去し、音声からテキストへの変換精度を向上させる。さらに、会話内容抽出手段は、最先端の音声認識技術を用いて、通話内容を精確にテキストデータへ変換し、その過程でノイズ除去手段が背景雑音を除去し、変換精度を向上させる。
テキスト処理手段は、変換されたテキストデータの構文上の誤りを修正し、言語の流暢さを保つために文法検査手段を介して文法チェックを行う。また、テキスト処理手段は、テキスト化されたデータの文法検査手段が語法の正確性を保証し、文書の自然な流れを維持するための調整を行う。
感情認識手段には、テキストマイニングと感情分析技術に基づく感情抽出手段が含まれ、生成されたテキストデータの言葉遣いや文脈からユーザの感情を推定する。また、感情抽出手段は、様々な感情を表す単語やフレーズ、文法的パターンを識別し、それらをポジティブ、ネガティブ、ニュートラルなどの感情カテゴリに分類する。また、感情強調手段は、抽出された感情に応じてテキストのトーンや言い回しを調整し、ユーザの感情状態をより適切に伝えるための修正を行う。さらに、感情抽出手段は、文書に表れる言語パターンからユーザの感情を読み取り、それを基に文書のトーンを調整する。
調整手段は、感情認識手段によって分析された感情データを基に、テキストの表現を変化させる。また、表現強化手段は、喜びや興奮などのポジティブな感情が検出された場合、使われる語彙をより明るく活気のあるものに置き換え、メッセージに好意的な印象を与える。さらに、表現緩和手段は、悲しみや怒りなどのネガティブな感情が検出された場合、メッセージのトーンを穏やかにし、共感と理解を示すような言い回しを選択する。また、ユーザの感情がポジティブな場合は、表現強化手段が文書に活力を与え、ネガティブな感情を示す場合は、表現緩和手段によって、より穏やかな表現を使用する。
メッセージの送信手段には、メッセンジャーアプリやメールクライアントとの連携機能が含まれ、調整されたテキストを適切な形式で送信する。また、送信プロトコル選定手段は、受信者のプラットフォームや設定に合わせて最適な送信プロトコルを選択し、メッセージの配信を保証する。また、ユーザインタフェース提示手段は、送信前に文書の最終レビューを行うためのプレビュー画面を提供し、ユーザが必要に応じて最終的な修正を加えることができるようにする。さらに、メッセージ送信手段がメッセンジャーアプリやメールクライアントに適したフォーマットで調整されたテキストを送信し、プレビュー画面がユーザが文書を最終確認するためのインターフェースを提供する。
以上のプロセスは、ユーザの使用するデバイスや設定に応じて、スマートデバイスの制御部やデータ処理装置に内蔵された特定処理部で実現される。また、これらの手段は、モジュール化されたコンポーネントとして設計され、システムの構成要素としての交換や拡張が容易に行われる。さらに、各手段の対応関係はフレキシブルに設定されており、システムのアップグレードやカスタマイズに対応するための多様な変更が可能である。また、この一連のプロセスは、デバイスや環境に応じて柔軟に対応できるようにモジュール化されており、システムのアップグレードやカスタマイズが容易に行えるように設計されている。
この形態例を更に拡張して、ユーザーの感情をより深く理解し、コミュニケーションの質を高める機能を追加することができる。例えば、感情エンジンにビデオチャット中の表情認識機能を組み込むことで、視覚的な情報からも感情を分析し、より正確な感情判断を行う。感情認識の精度を向上させるために、ユーザーの声のトーンやピッチの分析も行い、テキストに反映させることが可能である。さらに、ユーザーの過去のコミュニケーション履歴や反応パターンを分析することで、個人の感情表現スタイルを学習し、それに応じたよりパーソナライズされたテキスト調整を実現する。
テキスト処理手段は、表現の多様性と創造性を高めるために、文学作品や詩などからインスピレーションを得た言い回しを提案する機能を持つ。これにより、ユーザーの感情がより豊かに表現される。また、社会的コンテキストや文化的背景を考慮し、コミュニケーションが行われる環境や状況に合わせた適切な表現を選択することもできる。
メッセージ送信手段には、送信されるテキストが受け手の感情に与える影響を予測する機能を追加し、ユーザーがより責任を持ってコミュニケーションを取れるようにする。さらに、受信者の反応をAIが予測し、その情報をもとにユーザーが次に取るべきコミュニケーション戦略を提案することも可能である。
全体として、これらの機能は、ユーザーが感情を的確かつ敏感にコミュニケーションに反映させることをサポートし、より深い人間関係の構築に貢献する。また、これらの進化した手段は、個人だけでなく、企業のカスタマーサポートやCRMシステムにおいても、顧客との関係を深めるために有効活用できる。さらに、これらのシステムは、ユーザー教育やカウンセリングといった人間の感情が重要な役割を果たす分野での応用が期待される。
本システムは、感情エンジンを活用してユーザーの感情に応じた文書の表現調整を提供する。この機能を拡張するために、ユーザーの生体情報を取得するセンサーを統合し、心拍数や皮膚の導電率などの生理的反応から感情をより正確に読み取ることができる。センサーからのデータはリアルタイムで分析され、文書のトーンを即座に調整することが可能となる。
さらに、ユーザーの日常的なコミュニケーションを継続的に分析し、その人固有の表現スタイルや好みを把握する個性化学習機能を搭載する。この機能により、システムはユーザーの個性を反映したより自然で個別化された文書の提案が可能になる。
また、マルチリンガル対応を強化し、さまざまな言語での感情的ニュアンスを捉えることができるようにする。この機能により、国際的なコミュニケーションや多言語を話すユーザー間での理解を深めることができる。
ユーザーのプライバシー保護のために、感情データの匿名化や暗号化を行い、セキュリティを強化する機能も追加する。これにより、ユーザーは安心してシステムを利用できるようになる。
教育やカウンセリングの分野での応用を目指し、感情認識の結果を活用してコミュニケーションスキルのトレーニングをサポートする機能を開発する。トレーニングプログラムには、感情表現の練習や、適切なコミュニケーション手法の学習が含まれる。
最後に、システムのユーザビリティを向上させるために、ユーザーインターフェースをリッチかつ直感的なものにする。さまざまなジェスチャーや音声コマンドをサポートし、ユーザーが文書の調整プロセスに容易に介入できるようにする。これにより、ユーザーは自分の意志で表現を微調整し、より個人的なコミュニケーションを実現できる。
（形態例３）
本発明を実施するための形態は、通話中にユーザの感情を認識する感情エンジンを使用して、応答や対話の内容をユーザの感情に合わせて調整する調整手段とを具備するシステムである。具体的には、通話中にユーザの声のトーンや言葉の選択などを感情エンジンに入力し、ユーザの感情を推定する。推定された感情に基づいて、生成系AIの応答や対話の内容を調整する。例えば、ユーザが悲しい感情を示している場合には、共感の言葉を用いて励ましや支援を提供する。
調整手段は、通話中にユーザの感情を認識し、応答や対話の内容をユーザの感情に合わせて調整する機能として、ヘッドセット型端末３１４の制御部４６Ａによって実現される。この調整手段は、通話中にユーザの声のトーンや言葉の選択を感情エンジンに入力し、ユーザの感情を推定し、生成系AIの応答や対話の内容を調整する機能を提供する。また、調整手段は、データ処理装置１２の特定処理部２９０によって実現されてもよい。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
音声データ収集手段は、高感度でノイズキャンセリング機能を備えたマイクロフォンが含まれる。このマイクロフォンは、周囲の雑音を除去し、ユーザの声を明瞭に録音するためのデジタル信号処理アルゴリズムを搭載している。また、音声データ収集手段は、ユーザの発話から微細な音響特性を把握する高感度マイクロフォンを採用し、これにデジタル信号処理技術を組み合わせて周囲の雑音を効果的に除去する。このマイクロフォンは、ユーザの声の特性を正確に捉え、感情の変化を検出するための基礎データを提供する。
音声特徴抽出手段は、音声信号から人間の感情を反映する可能性のある特徴量を抽出する。この抽出手段は、音響特徴分析を行うためのスペクトログラム解析機能やピッチ追跡機能、音響モデルを用いた感情識別機能が含まれる。また、音声特徴抽出手段は、スペクトル分析機能やピッチ解析機能といった音響解析ツールを用いて、音声信号から感情を示唆する特徴量を抽出し、これらのデータを感情推定モデルへと供給する。
感情分析手段には、機械学習に基づいた感情推定モデルが含まれ、音声特徴抽出手段によって抽出された特徴量を入力として、ユーザの感情状態を推定する。感情推定モデルは、トレーニングデータに基づいて訓練されたニューラルネットワーク、サポートベクターマシン、決定木などの分類器から構成され、ユーザの感情をポジティブ、ネガティブ、中立などのカテゴリに分類する。感情推定モデルは、継続的な学習を通じてその精度を向上させ、ユーザの感情に対する認識の微妙な変化にも対応できるように進化する。また、感情分析手段は、機械学習技術を活用した感情推定モデルを有し、抽出された音声特徴を元にユーザの感情を分析する。このモデルは、様々な機械学習アルゴリズムを組み合わせて、ユーザの発話から感情カテゴリーを識別し、これに基づいてユーザの感情状態を推定する。推定された感情状態は、ユーザの発話や振る舞いに対するシステムの反応を調整するための重要な情報となる。
対話調整手段には、生成系AIモデルを用いた応答生成機能が含まれ、感情分析手段によって推定された感情に応じて、対話の内容を動的に調整する。応答生成機能は、自然言語生成技術を駆使し、ユーザの感情に適した言葉選びやトーンを用いて応答文を生成する。例えば、ユーザが悲しい感情を示している場合、共感表現や慰めの言葉を含む応答が生成される。この応答生成機能は、会話の文脈を考慮し、ユーザの感情とコミュニケーションの目的に合致した内容を提供するためのコンテキストアウェア処理機能を備える。また、生成された応答は、ユーザにとって自然であり、感情的なニーズを満たすように構築される。応答生成機能は、大規模な会話データセットに基づいて訓練された機械学習モデルによって実現され、ユーザの言葉遣いや話し方に適応することができる。また、対話調整手段には、生成系AIモデルを用いた応答生成機能が含まれ、推定された感情に適切に応じた対話内容を生成する。この機能は、ユーザの感情に対応する言葉選びや対話トーンを選定し、ユーザの現在の感情や会話の文脈に合わせた反応を提供する。応答生成機能は、コンテキストアウェアな処理を行い、ユーザが必要とする情報やサポートを適切な形で提供するために設計されている。この機能は、大量の会話データから学習されたモデルを基に、ユーザの言葉遣いや情緒に適応した応答を生成することが可能である。
センサーを含まないデータ収集手段としては、ユーザがシステムに直接入力したテキスト情報や、通話記録から得られるメタデータが考えられる。これらは、ユーザの行動パターンや好みを分析する際の補足情報として利用され、感情エンジンの精度向上や応答生成機能の最適化に寄与する。ユーザが入力するテキスト情報は、感情分析手段の一部として、感情推定モデルの訓練データとしても活用される。
本システムは、通話中にユーザの感情をリアルタイムで分析し、対話内容を自動調整する能力を有しているため、さらに細かな感情の変化を捉えるために、音声データに加えて、表情認識技術を統合することができる。ウェブカメラやスマートデバイスのカメラを活用して、ユーザの顔の表情を分析し、感情分析の精度を向上させる。この追加された表情認識機能は、ユーザの感情をより正確に認識し、さらに微細な感情変化に応じた対話調整が可能となる。
また、ユーザの生理的シグナルを捉えるためのウェアラブルデバイスを組み込むことも考えられる。心拍数や皮膚電気活動など、生理的反応を測定することで、声のトーンや表情だけでは捉えきれない感情の深層を解析する。これらのデータを統合することで、感情分析の精度はさらに向上し、より適切な対話応答を生成することができる。
対話調整手段には、ユーザの文化的背景や個人的な価値観を考慮したカスタマイズ機能を追加することも有効である。ユーザプロファイルを構築し、その情報に基づいて、対話のトーンや内容をさらにパーソナライズする。これにより、ユーザ一人ひとりに合わせたきめ細やかなサポートを提供することが可能となる。
さらに、感情推定モデルの進化を促すために、クラウドソーシングによる感情データの収集や、多様なユーザからのフィードバックを取り入れて、モデルを継続的にアップデートする仕組みを構築する。これにより、多様な感情表現や言語に対応できる柔軟なシステムとなる。
また、教育やメンタルヘルスケアの分野における応用も検討することができる。例えば、教育分野では、学生の感情に適応した教材の提示やカウンセリングセッションでの使用が考えられる。メンタルヘルスケアでは、ユーザの感情を認識し、ストレスや不安を軽減するための対話支援を行う。これにより、ユーザが抱える問題に対してより効果的なアプローチが可能となる。
システムのプライバシー保護に関しても、ユーザの感情データを安全に保管し、適切なアクセス制御と暗号化技術を用いて、情報漏洩のリスクを最小限に抑えるためのセキュリティ対策を強化する。これにより、ユーザは安心してシステムを利用することができる。
最終的には、このシステムが提供するパーソナライズされた対話体験が、ユーザの生活の質を向上させるようなサービスへと発展することが期待される。
本発明の形態は、通話のみならず、ビデオ会議やオンライン教育のプラットフォームにも適用可能である。例えば、講師が生徒の感情をリアルタイムで把握し、カリキュラムの進行を感情に合わせて調整することで、より効果的な学習経験を提供する。ビデオ会議においても、参加者の感情を反映した対話管理が行われ、生産的かつポジティブな会議環境を促進する。
また、本システムには、感情反応に基づいた健康状態の監視機能を追加することも可能である。例えば、ユーザの声のトーンや話し方が一定期間にわたってネガティブな感情を示している場合、メンタルヘルスの専門家に通知を送り、必要に応じた介入を促すことができる。
さらに、感情エンジンの高度化に向け、ユーザの日常生活における感情パターンを分析し、その情報を元に長期的な感情管理やストレス軽減のアドバイスを提供する機能を組み込む。ユーザの生活リズムや活動パターンを分析し、感情の波を予測することで、適切なタイミングでリラクゼーションやモチベーション向上のためのコンテンツを提案する。
このシステムは、カスタマーサポートの分野でも応用が期待される。例えば、コールセンターのオペレーターが顧客の感情をリアルタイムで把握し、不満や怒りなどのネガティブな感情を検出した際には、即座に対応策を講じ、顧客満足度の向上に寄与する。
また、ゲームやエンターテインメントの分野でも、ユーザの感情に応じてコンテンツを動的に変化させることで、没入感や楽しさを増幅させる効果が期待される。ゲーム内のキャラクターがプレイヤーの感情に反応し、ストーリー展開や対話内容が変化することで、よりパーソナライズされた体験を実現する。
さらに、音声アシスタントや仮想現実（VR）との統合を図り、ユーザの感情に対してより自然な対話を実現する。音声アシスタントはユーザの感情を把握し、個々のニーズに合わせた情報やサービスを提供する。VR環境では、ユーザの感情に応じてシナリオや環境が変化し、リアルタイムで感情に合わせた体験を提供する。
本システムは、ユーザインタフェース（UI）やユーザーエクスペリエンス（UX）の設計においても革新をもたらす可能性を秘めている。感情認識技術を利用して、ユーザの感情に最適化されたUIやUXを提供し、利用者の満足度を高める。例えば、ウェブサイトやアプリケーションがユーザの感情をリアルタイムで把握し、コンテンツの提示方法やインタラクションの形式を調整する。
最終的には、このシステムが提供する感情調整機能が、人間関係の質を向上させ、コミュニケーションの効果を高めるツールとして社会に広く浸透していくことが期待される。
以下に、各形態例の処理の流れについて説明する。
（形態例１）
ステップ１：未登録または非通知の電話番号からの着信があった場合、生成系AIが応答する。
ステップ２：通話終了後、用件をチャットGPTで文書化する。
ステップ３：文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。
ステップ４：分析結果に基づいて、文書の表現を調整する。
ステップ５：調整された文書をメッセンジャーアプリやメールで送信する。
（形態例２）
ステップ１：通話終了後、用件をチャットGPTで文書化する。
ステップ２：文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。
ステップ３：分析結果に基づいて、文書の表現を調整する。
ステップ４：調整された文書を選択し、送信先を指定する（例：家族）。
ステップ５：指定された送信先に文書をメッセンジャーアプリやメールで送信する。
（形態例３）
ステップ１：通話中にユーザの声のトーンや言葉の選択などを感情エンジンに入力し、ユーザの感情を分析する。
ステップ２：分析結果に基づいて、生成系AIの応答や対話の内容を調整する。
ステップ３：通話終了後、用件をチャットGPTで文書化する。文書化された用件は、感情エンジンに入力するために使用される。
特定処理部２９０は、特定処理の結果をヘッドセット型端末３１４に送信する。ヘッドセット型端末３１４では、制御部４６Ａが、スピーカ２４０及びディスプレイ３４３に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。
データ生成モデル５８は、いわゆる生成ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。特定処理部２９０は、データ生成モデル５８を用いながら、上述した特定処理を行う。
上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、ヘッドセット型端末３１４によって特定処理が行われるようにしてもよい。
［第４実施形態］
図７には、第４実施形態に係るデータ処理システム４１０の構成の一例が示されている。
図７に示すように、データ処理システム４１０は、データ処理装置１２及びロボット４１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。
データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。
ロボット４１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、通信Ｉ／Ｆ４４、及び制御対象４４３を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、カメラ４２、及び制御対象４４３も、バス５２に接続されている。
マイクロフォン２３８は、ユーザが発する音声を受け付けることで、ユーザから指示等を受け付ける。マイクロフォン２３８は、ユーザが発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。
カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザの周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。
通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。
制御対象４４３は、表示装置、目部のＬＥＤ、並びに、腕、手及び足等を駆動するモータ等を含む。ロボット４１４の姿勢や仕草は、腕、手及び足等のモータを制御することにより制御される。ロボット４１４の感情の一部は、これらのモータを制御することにより表現できる。また、ロボット４１４の目部のＬＥＤの発光状態を制御することによっても、ロボット４１４の表情を表現できる。
図８には、データ処理装置１２及びロボット４１４の要部機能の一例が示されている。図８に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。
特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。
ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。
ロボット４１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。
なお、データ処理装置１２以外の他の装置がデータ生成モデル５８を有してもよい。例えば、サーバ装置（例えば、ＣｈａｔＧＰＴサーバ）がデータ生成モデル５８を有してもよい。この場合、データ処理装置１２は、データ生成モデル５８を有するサーバ装置と通信を行うことで、データ生成モデル５８が用いられた処理結果（予測結果など）を得る。また、データ処理装置１２は、サーバ装置であってもよいし、ユーザが保有する端末装置（例えば、携帯電話、ロボット、家電）であってもよい。次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。
（形態例１）
本発明を実施するための形態は、未登録または非通知の電話番号からの着信時に、生成系AIが応答する応答手段と、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する送信手段とを具備するシステムである。さらに、家族や知人と名乗る場合には、専用の質問や合言葉を使用して確認する確認手段と、配送業者は業者用の合言葉を使用して本人につながる接続手段と、通話中には電話番号をチェックし、悪用歴のある番号の場合は警察に連携する連携手段とを具備する。
応答手段は、データ処理装置１２の特定処理部２９０によって実現され、未登録または非通知の電話番号からの着信に対して生成系AIが応答する。送信手段は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する手段として、データ処理装置１２の特定処理部２９０によって実現される。確認手段は、例えば、ロボット４１４の制御部４６Ａによって実現され、専用の質問や合言葉を使用して家族や知人を確認する。接続手段は、配送業者が業者用の合言葉を使用して本人につながる手段として、ロボット４１４の制御部４６Ａによって実現される。連携手段は、電話番号をチェックし、悪用歴のある番号の場合に警察に連携する手段として、データ処理装置１２の特定処理部２９０によって実現される。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
応答手段は、音声認識技術を活用した発話理解機能が含まれ、未登録または非通知の番号からの着信に対して、事前に訓練されたAIが生成した自然言語による応答を行う。このAIは、大量の通話データを学習しており、さまざまなシナリオに対応できる回答を生成する能力を有する。着信があると、AIはリアルタイムで着信内容を解析し、適切な応答を選択して会話を進める。応答内容は、通話の性質に合わせてカスタマイズされるため、営業電話からの質問には丁寧に対応し、不審な着信に対しては慎重に応答する。また、応答手段は、未登録または非通知の電話番号からの着信に対応するため、音声合成技術と発話内容理解技術を駆使し、事前に訓練を受けたAIが適切な対応を行うこともできる。このAIは複数の応答シナリオを学習し、通話の意図を把握して、状況に応じた自然な対話を提供することができる。着信内容に基づいてAIが瞬時に応答を選択し、通話の趣旨に合わせてカスタマイズされた対応を行うため、営業電話の問い合わせには適切に対処し、怪しい着信には慎重に応じることができる。
送信手段には、通話内容をテキスト化する音声認識技術と、そのテキストを基に通話の要約を生成する自然言語生成技術が含まれる。通話が終了すると、AIは通話内容をテキストデータに変換し、その内容を要約して文書化する。生成された文書は、メッセンジャーアプリやメールなどのコミュニケーション手段を介して、ユーザーに送信される。このプロセスにより、ユーザーは通話の詳細を後からでも確認でき、重要な情報を見逃すことがない。また、送信手段では、終了した通話の内容を音声認識技術によりテキストに変換し、その後、自然言語処理技術を用いて要約を行い、生成された文書をメッセンジャーアプリやメールでユーザーに送付することもできる。ユーザーは送付された文書を介して通話の詳細をいつでも確認可能で、重要な情報が記録され、見落とされることがなくなる。
確認手段は、家族や知人からの着信と名乗る場合に、特定の質問や合言葉を使用して本人確認を行う機能を有する。この手段は、ユーザーが設定した質問や合言葉をAIが使用し、着信者が正しい応答を行うことで本人であることを確認する。本人確認が成功すると、AIは通話を継続し、必要に応じてユーザーに転送する。このプロセスにより、不正アクセスや詐欺を防ぎながら、本人であれば円滑な通信を確保する。また、確認手段は、家族や知人を名乗る着信者に対して、ユーザーが設定した質問や合言葉をAIが提示し、正確な回答が得られた場合にのみ、通話を継続またはユーザーに転送することもできる。この機能により、不正なアクセスや詐欺を未然に防ぎつつ、本人であることが確認された場合にはスムーズなコミュニケーションを実現する。
接続手段は、配送業者などの特定の職種の者が業者用の合言葉を使用することで本人と通話ができる機能を有する。この手段では、AIが業者用の合言葉を受け取り、正しい合言葉であることを確認した後、通話を本人に繋ぐ。業者用の合言葉は、通話のセキュリティを確保するために重要であり、誤った合言葉が入力された場合、通話は繋がらない。また、接続手段は、配送業者などの職種固有の合言葉をAIが受け取り、その正当性を確認した上で、通話をユーザーにつなぐ機能を担うこともできる。この合言葉によって、通話のセキュリティが確保され、誤った合言葉の場合には通話が切断される仕組みとなっている。
連携手段は、通話中に電話番号をリアルタイムでチェックし、その番号に悪用歴がある場合は自動的に警察や関連機関に連携する機能を有する。この手段は、データベースに蓄積された不審な番号のリストを参照し、着信番号がそのリストに含まれているかを確認する。不審な番号からの通話であると判断された場合、システムは即座に警察への報告プロトコルを開始し、状況に応じて適切な対応を取る。また、連携手段は、通話中の番号をリアルタイムで監視し、過去に悪用された履歴がある番号であれば自動的に警察などの関連機関と連携する機能を果たすこともできる。不審な番号の検出時には、警察への通報プロトコルが起動し、迅速な対応が取られる。
これらの手段は、ユーザーのセキュリティと利便性を高めるために、複数のAI技術と連携機能を組み合わせて実装される。データ処理装置とスマートデバイスの制御部が協力し、これらの手段を柔軟に実現するためのプラットフォームが提供される。各手段は、独立して機能するだけでなく、連動してより高度なサービスを提供するために設計される。ユーザーは、これらの手段を通じて、未登録または非通知の電話番号からの着信に対する対応を自動化し、日常生活の中で発生する潜在的なリスクから自己を守ることができる。また、これらの手段は、AI技術を中心に構築され、ユーザーのセキュリティを向上させると同時に、日常のコミュニケーションを効率化する。センサーを使用しないデータ収集の代替手段として、ユーザーが手動で情報を入力し、システムがその情報を利用するプロセスが可能である。ユーザーはこれらの手段によって、未登録または非通知の着信に対する対処を自動化し、不測の事態からの保護を強化することができる。
本形態例のシステムには、さらなる機能を追加し、その利便性を高めることができる。例えば、応答手段には、会話中にユーザーの感情を解析する機能を追加し、通話相手の声のトーンや話し方から感情を推定し、それに応じた応答をAIが行う。これにより、通話相手が怒りや不安を感じている場合は、より慎重かつ共感的な応答が可能となり、通話の品質を向上させる。
送信手段には、文書化した通話内容をユーザーのカレンダーやリマインダーに自動的に統合する機能を追加する。これにより、通話で得たアポイントメントやタスクを忘れずに管理できるようになり、生産性の向上を図ることができる。
確認手段は、ユーザーの生体情報を利用して本人確認を行う機能を備える。例えば、スマートウォッチやフィットネストラッカーから得た生体情報を用いて、通話相手が実際に家族や知人であることを確認する。これにより、より高度なセキュリティを実現しつつ、利用者の手間を減らすことができる。
接続手段には、配送業者がQRコード（登録商標）またはNFCタグをスキャンすることで認証を行い、通話を本人に直接繋ぐ機能を追加する。これにより、合言葉のやり取りを省略し、より迅速かつ安全に配送業者との連携を図ることが可能となる。
連携手段では、通話中の音声データから不審なキーワードを検出し、その内容を自動で分析する機能を追加する。キーワードに基づいて不審な通話と判断された場合、警察への通報を行う前に、まずはユーザーに警告することで、より正確な判断をサポートする。
これらの追加機能により、本形態例のシステムは、通話の自動応答だけでなく、日々の生活の中でのセキュリティやスケジュール管理をより効率的にサポートする。また、各種のAI技術とデータベースの連携によって、ユーザーの生活に更なる安心と便利さを提供する。さらに、これらの技術をユーザーのスマートデバイスや家庭内のIoT機器と統合することで、よりパーソナライズされた体験を実現することが可能となる。
本形態例のシステムには、さらなる機能拡張が可能であり、利便性およびセキュリティを高めるために応答手段には、発信者の声紋を分析し、登録済みの家族や知人の声と照合する機能を追加することができる。これにより、発信者が本人であるかをより正確に判断し、特定の質問や合言葉を使用しなくても安全に通話を継続することが可能になる。
送信手段では、音声認識と自然言語処理を活用して得られた通話内容を、ユーザーが選択した複数の言語に翻訳し、異なる言語を話すユーザー間のコミュニケーションを支援する機能を組み入れることができる。これにより、国際的なビジネスシーンや多言語を話す家庭内での利用が促進される。
確認手段には、ユーザーが特定のジェスチャーや動作をカメラに示すことで本人確認を行う機能を追加することができる。この機能により、通話中に手軽にかつ迅速に本人確認を行うことが可能となり、セキュリティが一層強化される。
接続手段に関しては、AIが発信者の位置情報と配送予定情報を照合し、本人確認を行う機能を追加することで、配送業者が実際に商品を配送している場所から通話していることを確認し、通話の真正性を保証することが可能になる。
連携手段では、不審な通話が検出された際に、警察だけでなく、ユーザーの指定した緊急連絡先にも自動通報する機能を追加することで、万が一の緊急時に迅速な対応が行えるようになる。
これらの機能追加は、既存のシステムの基本的な構造を維持しつつ、ユーザーのニーズに合わせて柔軟な対応が可能となる。また、スマートデバイスや家庭内のIoT機器と連携することで、ユーザーが日常的に使用する環境においてもシームレスな経験を提供する。これらの追加機能により、本形態例のシステムは通話の自動応答を超え、日常生活のあらゆる面でユーザーのセキュリティと利便性を向上させる。
（形態例２）
本発明を実施するための形態は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、家族宛に送信可能な送信手段を具備するシステムである。具体的には、通話終了後に生成された文書を選択し、送信先を家族と指定することで、家族宛に用件を送信することができる。
送信手段は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで家族宛に送信する手段として、データ処理装置１２の特定処理部２９０によって実現される。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
通話終了後の内容を文書化する手段は、音声認識技術を用いた会話内容解析手段を含む。この解析手段は、通話の音声データをテキストに変換し、通話の要点を抽出する。また、音声認識技術を用いた会話内容解析手段は、通話が終了した後に発生する音声データをテキストに変換し、そのテキストデータから通話の主要なポイントを抽出する機能を持つ。音声認識技術は、ディープラーニングに基づくモデルを活用し、さまざまな言語やアクセントに対応するためのトレーニングが行われる。また、この解析手段は、多様な言語やアクセントに対応するためにディープラーニングモデルを活用し、大量の音声データを基に学習を進める。会話内容解析手段は、形態素解析や構文解析を行い、会話の中で交わされた重要な情報や行動を要する内容を特定する。特に、キーワード抽出機能を用いて会話の中で頻繁に使われる単語やフレーズを特定し、それらを基に通話の要点を文書化する。また、会話の要点を明確にするために、形態素解析機能と構文解析機能を組み合わせ、会話中に交わされた重要な情報やアクションを要する内容を特定する。キーワード抽出機能は、会話の中で頻出する単語やフレーズを識別し、それらの情報を基に文書化する。
文書化された内容をメッセージとしてフォーマットする手段は、テキストエディタ機能を含む。この機能は、解析されたテキストを整理し、文書の構造を整える。メッセージフォーマット手段は、ユーザが容易に内容を確認し、必要に応じて編集や追加情報を加えることができるインタフェースを提供する。また、文書化された内容をメッセージ形式に整える手段には、テキストエディタ機能が含まれ、解析されたテキストを整理し、文書のレイアウトを整える。ユーザがメッセージの内容を確認し、編集や追加情報を加えることができるインターフェイスを提供する。
送信手段は、メッセージを宛先指定機能を用いて特定の家族に送信する。この宛先指定機能は、ユーザの連絡先リストと連携し、選択された家族メンバーの連絡先情報に基づいてメッセージを自動的に送信する。また、送信手段は、メッセージ送信の確認と送信履歴を管理する機能も備えており、ユーザは送信されたメッセージの状態を追跡し、必要に応じて再送信を行うことができる。メッセージの送信は、メッセンジャーアプリやメールアプリとの連携によって行われる。メッセンジャーアプリやメールアプリとの連携機能は、ユーザのアカウント情報を用いて認証を行い、安全にメッセージを送信する。また、送信手段は、セキュリティ対策としてメッセージの暗号化や送信時の認証プロセスを実施し、プライバシーの保護を確保する。また、送信手段は、ユーザが選択したメッセージ送信方法に応じて、メッセージを適切なフォーマットで送信する。例えば、メッセンジャーアプリではインスタントメッセージとして、メールアプリでは電子メールとして送信する。メッセージの送信手段は、ユーザが選択した家族メンバーに対してメッセージを送るための宛先指定機能を備えており、ユーザの連絡先リストと連携して、家族メンバーの連絡先に基づいたメッセージの自動送信を行う。送信手段には、メッセージの送信状況を確認し、送信履歴を管理する機能も含まれており、ユーザは送信したメッセージの状態を追跡し、必要に応じて再送信を行うことができる。メッセージの送信プロセスは、メッセンジャーアプリやメールアプリと連携し、ユーザのアカウント情報を基に認証を行い、安全にメッセージを送信する機能を持つ。送信手段は、メッセージの内容を暗号化し、送信時の認証を行うセキュリティ対策を施して、プライバシーを守る。また、メッセンジャーアプリではインスタントメッセージとして、メールアプリでは電子メールとして、ユーザが選択した送信方法に応じて適切なフォーマットでメッセージを送信する。
センサーを含まないデータ収集の例としては、ユーザが手動で通話内容をメモする場合が考えられる。この場合、ユーザは通話終了後に自分で通話の要点を記録し、そのテキストデータをメッセージとして家族に送信する。ユーザが手動で記録した通話内容は、テキストエディタ機能を用いて整理され、フォーマットされたメッセージとして送信手段によって家族宛に送信される。この手動記録は、音声認識技術を用いた自動文書化が適用できない状況や、ユーザが特定の情報を自らの言葉で伝えたい場合に適している。また、センサーを用いないデータ収集の方法として、ユーザが通話終了後に手動で通話内容をメモし、その情報をメッセージとして家族に送るシナリオも考えられる。この手動記録は、テキストエディタ機能を用いて整理され、フォーマットされたメッセージとして送信される。音声認識技術が適用できない状況や、ユーザが自らの言葉で特定の情報を伝えたい場合に利用される。
本発明の実施形態では、通話内容の文書化を超えた機能を考慮することができる。例えば、音声認識によって生成されたテキストに基づき、スケジュール管理システムと連携して、通話中に言及されたアポイントメントや予定を自動的にカレンダーに登録する機能を追加する。これにより、ユーザーは通話後に手動でスケジュールを管理する手間を省くことができる。さらに、家族間で共有されるカレンダーへの予定登録を提案し、家族全員が予定を共有しやすくする。
また、文書化されたテキストデータを基に、自動的にタスクリストを生成し、家族全員がアクセスできる共有プラットフォームに投稿する機能を設けることも可能である。このプラットフォームでは、各家族メンバーがタスクの進捗を更新したり、完了したタスクにチェックを入れることができ、家族全員で情報を共有し協力する環境を構築する。
さらに、文書化されたメッセージに対して、感情分析を行い、通話中の感情的なニュアンスをテキストに反映させる機能を追加することで、メッセージの受取人が発信者の意図をより正確に理解することを助ける。例えば、通話中に喜びや心配といった感情が表れた場合、その感情をテキストに特定の絵文字やフォーマットで表現し、コミュニケーションの豊かさを高める。
また、音声認識と解析を活用して、通話内容から自動的にFAQやよくある質問リストを生成し、家族が同様の問い合わせをする際に参照できる知識ベースを構築する機能も考えられる。この知識ベースは、家族内で共有され、新たな通話が発生するたびに更新されることで、家族間のコミュニケーションの効率を向上させる。
さらに、通話終了後に生成されるテキストは、メッセンジャーアプリやメールで送信するだけでなく、音声形式で再生する機能を付加することで、視覚障害のある家族メンバーや読み書きが苦手な子供でも情報を容易に受け取れるようにする。
最後に、通話終了後に文書化された内容を、家族メンバーのプライバシーを保護するために、文書内の機微な情報を識別し、自動的に匿名化や伏せ字処理を行う機能を組み込むことで、安心して情報を共有できる環境を提供する。これにより、個々のプライバシーを尊重しつつ、必要な情報のみを共有するバランスを保つことができる。
本発明の実施形態は、通話内容の自動文書化と送信に関するものであり、これに新たな機能を追加することが考えられる。例えば、通話内容を分析し、通話終了後に自動でアクションアイテムを生成し、対応が必要なタスクとしてユーザーのスマートデバイスにリマインダーをセットする機能が考えられる。このリマインダーは、通話で言及された期限や重要性に基づいて優先度を設定し、ユーザーが忘れずに行動に移せるようサポートする。
さらに、家族間でのコミュニケーションを強化するために、文書化されたメッセージ内の特定の単語やフレーズに基づいて、関連する画像やビデオ、リンクを自動的に添付する機能を追加することも有益である。これにより、テキストベースのメッセージだけでなく、視覚的な情報も共有でき、コミュニケーションがより豊かになる。
また、通話内容の文書化に際して、プライバシーに配慮し、特定の個人情報や機密情報を自動的に検出し、ブラー処理や伏せ字に変換する機能を実装することで、セキュリティを高めることができる。このプロセスは、自然言語処理技術とプライバシー保護のガイドラインに従って行われる。
通話内容のテキスト化では、ユーザーの多様なニーズに対応するため、複数の言語への翻訳機能を組み込むことも有効である。家族が異なる言語を話す多文化の環境では、通話内容を自動的に翻訳し、各メンバーが理解しやすい言語でメッセージを送信することが可能となる。
さらなる利便性を追求するために、メッセージの送信タイミングをユーザーがカスタマイズできるスケジュール機能を追加する。ユーザーは、即時送信だけでなく、特定の日時にメッセージを送信するよう設定できるため、家族が情報を受け取るタイミングを最適化できる。
最後に、メッセージの受け取り側で、受信したメッセージに対するアクションを簡単にとれるよう、返信や確認のためのクイックアクションボタンを設けることで、迅速なフィードバックと効率的なコミュニケーションを実現する。これにより、家族間での情報共有がさらにスムーズに行われるようになる。
（形態例３）
本発明を実施するための形態は、通話中に電話番号をチェックし、悪用歴のある番号の場合には警察に連携する際に、警察との連携手段を具備するシステムである。具体的には、通話中に着信番号をデータベースと照合し、悪用歴のある番号であることを検出した場合には、自動的に警察に通報する機能を備えている。
警察との連携手段は、通話中に着信番号をデータベースと照合し、悪用歴のある番号を検出した場合に自動的に警察に通報する機能として、データ処理装置１２の特定処理部２９０によって実現される。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
抽出手段は、通信網を介して発信される各通話の信号に含まれる発信者情報を抽出するために備わっており、デジタル信号処理技術を用いて通話データから発信者の電話番号を正確に取得することができる。また、抽出手段は、Caller ID情報を解析し、電話番号を特定するための信号解析機能を持っている。このシステムは、通話信号の中から発信者の電話番号を抽出するための信号抽出機能と、Caller ID情報の解読に特化した解析アルゴリズムを利用して、着信番号を正確に特定することもできる。
照合手段は、抽出された電話番号を不正利用が疑われる電話番号を収集し、カテゴリ別に整理したデータベースに照合する機能を有しており、データベース管理システムを通じてリアルタイムでの照合処理が可能であり、高速な検索アルゴリズムとインデックス技術により、通話が進行している間に迅速な照合が行われる。また、照合手段は、悪用歴のある番号をリスト化したデータベースを参照し、迅速な検索と照合を行うための高性能なデータベース検索機能とインデックス機能を備えている。
連携手段は、悪用歴のある番号が検出された場合に自動的に警察に通報する機能を持ち、通報システムとのインターフェイス機能が含まれ、通報する際の警察の受付システムとのプロトコルに基づいたデータ形式で通報情報を生成し、安全な通信チャネルを用いて警察の受付システムに送信する。通報情報の内容には、検出された悪用歴のある電話番号、通話の日時、通話の持続時間、発信者が利用している通信事業者などの情報が含まれ、個人情報の保護や通報の正確性を確保するために、暗号化技術や認証システムが用いられる。また、連携手段は、複数の通信プロトコルや通報システムとの互換性を持ち、システム間のデータ交換を円滑に行うためのアダプター機能を設け、通報のプロセスにおいて、警察の受付システムの要件に合わせて通報情報のフォーマットを調整し、適切な通報プロトコルを選択して通報を行う機能を持つ。通報プロセスが発動されると、システムは警察の受付システムに対して、通報情報を送信し、通報の受付確認を取得する。この確認は、通報が正しく行われたことをシステムが記録し、通報履歴として保存するための情報として利用される。通報履歴は、将来的な分析や改善のために用いられ、通報プロセスの効率化や精度向上に寄与する。この連携機能は、通報データ生成機能により、必要な情報を含む通報フォーマットを作成し、セキュアな通報送信機能を介して警察の受付システムへ情報を送信する。通報のセキュリティと信頼性を保証するため、データの暗号化機能とシステム認証機能が導入されている。また、システムの連携手段は、複数の通報プロトコルと互換性を持ち、異なる通報システムとのデータ交換を実現するアダプター機能を有しており、このアダプター機能は、通報プロトコル選択機能により、通報時のプロトコル要件に適した形式に自動的に調整し、通報情報の送信と受付確認を行う。通報履歴記録機能は通報の成功を記録し、システムのパフォーマンス分析や改善に使用される。
データ収集手段には、センサーを用いない例として、ユーザがアプリケーションやウェブインターフェース上で疑わしい通話に関する報告を行う機能があり、ユーザは、通話の経験や通話中に感じた不審な点をフォームに入力し、その情報がデータベースに登録される。この手動報告により収集されたデータは、自動的にデータベースに照合される電話番号のリストに追加される可能性があり、悪用歴のある番号の検出精度の向上に寄与する。また、センサーを使用しないデータ収集例として、ユーザが疑わしい通話について報告するための入力機能が提供される。ユーザはインタラクティブな報告フォームを通じて、疑わしい通話の内容をデータベースに登録し、これにより収集された情報は悪用歴のある番号の検出に活用される。この手動報告システムは、ユーザの経験と感覚に基づいて追加データを提供し、番号照合データベースの拡張に貢献する。
このシステムには、データベースの更新メカニズムを強化する機能を追加することができる。例えば、新たに悪用が確認された番号は、通報後も自動的にデータベースに追加される。さらに、疑わしい通話が報告された際には、その番号の信用情報を他のデータベースとも照合し、ユーザーからの報告に基づく情報と組み合わせることで、より正確な悪用歴の特定を実現する。データベースの整合性を保つために、定期的なクリーニングプロセスを実行し、誤った情報や古いデータを排除する仕組みも設けられる。また、通報システムとの連携を強化するため、警察が提供する犯罪データベースと直接連携し、照合プロセス中にリアルタイムで犯罪情報を取得し、照合結果の精度を向上させる機能も導入される。
通報の即時性を高めるために、通話が開始された瞬間に照合プロセスが開始され、悪用歴のある番号が検出された場合、通話者に警告音を出すか、自動的に通話を遮断するオプションも設けられる。さらに、通話を遮断した際には、通報者に代わって通話内容の録音を保存し、警察の調査に役立てることができる。警察が介入する際には、通報者の位置情報や通話履歴を含む詳細なレポートが自動生成され、犯罪捜査の迅速化を支援する。
ユーザインターフェースには、通報システムの透明性を高めるために、通報プロセスの進行状況をリアルタイムで確認できる機能が追加される。通報の結果や警察からのフィードバックをユーザが確認できるようにすることで、システムへの信頼性を向上させる。また、悪用歴のある番号に関する統計データやトレンド分析を提供し、ユーザが通話に対する警戒心を持つための情報提供も行われる。
さらに、悪用歴のある番号を特定するための機械学習技術を導入し、通話パターンや通話の頻度などの様々な指標を分析することで、悪用の可能性が高い新たな番号を予測する。これにより、データベースの予防的な更新が可能となり、未知の犯罪行為を防ぐための対策を強化する。また、ユーザが通報システムの効果について直接フィードバックを提供できる機能を設け、システムの改善に役立てる。フィードバックは匿名で行われることで、ユーザのプライバシーを保護しつつ、システムの改善に資する貴重な情報を収集する。
通話中の電話番号チェックをより効果的にするためには、ユーザーが直面する可能性のある様々な詐欺のパターンをAIが学習し、特定の単語やフレーズが通話中に検出された際にリアルタイムでフラグを立てる機能を実装する。これにより、単に電話番号がデータベース内の悪用歴と一致するだけでなく、通話の内容からも悪意を持った行動を推測し、検出することが可能になる。また、ユーザーが詐欺を疑う通話を簡単に報告できるショートカットやボタンをスマートフォンのインターフェースに設け、報告プロセスを簡略化する。これにより、データベースはより迅速に更新され、他のユーザーに対する保護が向上する。
警察との連携を強化するためには、通報された情報を基に警察が迅速に対応できるよう、通報システムに位置情報追跡機能を統合し、犯罪者の追跡と捕捉を支援する。また、通報システムに組み込まれる人工知能は、通報データから犯罪パターンを分析し、予防的な警戒活動を計画するための情報を警察に提供する。このような予測分析を活用することで、将来的な犯罪を未然に防ぐことに繋がる。
警察とのデータ共有を促進するために、警察が把握している詐欺事件やその他の犯罪に関する情報をリアルタイムで受け取り、データベースを更新する機能を設ける。これにより、通報システムは最新の犯罪情報に基づいて機能し、ユーザーを守るための対策が強化される。さらに、システムにはブロックリスト機能を追加し、ユーザーが自身で疑わしい番号を登録して通話を拒否できるようにする。これにより、ユーザー自身が直接リスクをコントロールすることが可能になる。
教育プログラムとして、ユーザーが詐欺の手口を認識し、予防するための情報を提供するオンライン講座やワークショップを開催する。これにより、ユーザーは自分自身を守るための知識を得ることができ、社会全体のセキュリティ意識が向上する。また、通報システムの利用によって防がれた詐欺事件の事例を共有し、ユーザーがシステムの実効性を理解しやすくする。
最後に、システムのアップデートを通じて、通話が詐欺である可能性が高いと判断された場合に、ユーザーに自動的に警告メッセージを送信し、詐欺に対する警戒を促す機能を実装する。これにより、ユーザーは即座に詐欺である可能性を認識し、適切な対応を取ることができるようになる。
以下に、各形態例の処理の流れについて説明する。
（形態例１）
ステップ１：未登録または非通知の電話番号からの着信があった場合、生成系AIが応答する。
ステップ２：通話終了後、用件をチャットGPTで文書化する。
ステップ３：文書化された用件をメッセンジャーアプリやメールで送信する。家族や知人と名乗る場合には、専用の質問や合言葉を使用して確認する。配送業者は業者用の合言葉を使用して本人につながる。通話中には電話番号をチェックし、悪用歴のある番号の場合は警察に連携する。
（形態例２）
ステップ１：通話終了後、用件をチャットGPTで文書化する。
ステップ２：文書化された用件を選択し、送信先を家族と指定する。
ステップ３：家族宛に用件をメッセンジャーアプリやメールで送信する。
（形態例３）
ステップ１：通話中に着信番号をデータベースと照合し、悪用歴のある番号であることを検出する。
ステップ２：悪用歴のある番号である場合、自動的に警察に通報する。
ステップ３：通話終了後、用件をチャットGPTで文書化する。文書化された用件は、警察との連携に使用される。
なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。
（形態例１）
本発明を実施するための形態は、未登録または非通知の電話番号からの着信時に、生成系AIが応答する応答手段と、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する送信手段とを具備するシステムである。さらに、ユーザの感情を認識する感情エンジンを組み合わせる組み合わせ手段として、通話中にユーザの声のトーンや言葉の選択などを分析し、感情を推定する。推定された感情に基づいて、生成系AIの応答や文書化された用件の表現を調整する。例えば、ユーザが不安な感情を示している場合には、より穏やかな表現を使用することで安心感を与える。
応答手段は、データ処理装置１２の特定処理部２９０によって実現され、未登録または非通知の電話番号からの着信に対して生成系AIが応答する。送信手段は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する手段として、データ処理装置１２の特定処理部２９０によって実現される。感情認識手段は、通話中にユーザの声のトーンや言葉の選択を分析し、感情を推定する手段として、データ処理装置１２の特定処理部２９０またはロボット４１４の制御部４６Ａによって実現される。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
応答手段は、自然言語処理と音声合成を組み合わせた対話生成手段が含まれる。この対話生成手段は、未登録または非通知の着信に対して自動で応答を行い、ユーザとの対話を可能にする。未登録または非通知の着信を検出すると、生成系AIは事前に訓練された会話モデルを用いて応答する。この会話モデルは、様々なシナリオに対応できるように多様な対話データを基に学習しており、着信者の質問や要求に対して適切な回答や案内を提供する。また、応答手段は、AIによる対話生成機能を備え、未登録または非通知の電話番号からの着信に対して、自動的に適切な返答を行うことができる。この機能は、通話の初期段階で着信者の目的や要望を理解し、対応する応答を行うための対話管理機能と、生成された応答を自然な音声に変換することもできるための音声生成機能を組み合わせたものである。対話管理機能は、特定のキーワードやフレーズの検出に基づいて着信者の意図を分析し、適切な返答を生成することができる。音声生成機能は、テキストベースの応答をリアルタイムに音声に変換し、着信者に対して自然な会話体験を提供することができる。
送信手段には、チャットボットや自然言語理解技術を用いた文書化手段が含まれる。通話終了後、チャットGPTのような高度な自然言語理解モデルを使用して、通話内容を精確に文書化する。文書化手段は、通話の要点を抽出し、要約する能力を有しており、用件を簡潔かつ明瞭に伝える文書を生成することができる。生成された文書は、メッセンジャーアプリやメールを介してユーザに送信される。この過程には、ユーザのメールアドレスやメッセンジャーアカウントへの連携機能が含まれ、文書は適切な形式で自動的に送付される。また、送信手段は、通話内容をテキスト化し、これをユーザがアクセス可能な形で提供することができる。通話が終了すると、通話内容文書化機能が活動し、会話の主要なポイントを抽出し、要約することができる。この要約されたテキストは、自動配信機能を通じてユーザ指定のメールアドレスやメッセンジャーアプリに送信される。この自動配信機能には、文書を適切なフォーマットで整え、指定された送信先に確実に届けるためのメール送信機能やアプリ連携機能が含まれる。
感情認識手段には、音声分析を行う声紋解析手段と、言葉の選択から感情を推定する言語解析手段が含まれる。声紋解析手段は、スマートデバイスのマイクロフォンを利用してユーザの声のトーン、ピッチ、速度などの特徴を検出し、それらの声の特性からユーザの感情状態を推定することができる。言語解析手段は、ユーザの発言の内容を解析し、使用される言葉やフレーズから感情的なコンテキストを抽出することができる。これらの分析結果は、生成系AIが応答を行う際や、文書化された用件の表現を調整する際に使用される。例えば、ユーザが不安を示している場合、応答や文書の表現はより穏やかで安心感を与えるように調整される。また、感情認識手段は、通話中のユーザの声の特徴と言語使用から感情を推定する機能を有する。声紋分析機能は、マイクロフォンによって収集された音声データから、声の高低、強弱、速度などの特徴を抽出し、これらの特性を解析することで感情を推定することができる。言語感情分析機能は、通話中の言語データを処理し、使用される単語やフレーズが持つ感情的な意味を解析し、ユーザの感情状態を把握することができる。これらの分析結果は、AIが行う応答のトーンや、文書化された通話内容の表現を調整する際に利用され、ユーザに対して適切な感情的対応を提供することができる。
センサーを含まないデータ収集手段としては、ユーザが自身で入力するテキストデータや、システム利用に関するフィードバックが挙げられる。これらは、ユーザ入力受付機能やフィードバック収集機能を通じてシステムに提供され、サービス改善のための貴重な情報源として活用される。
これらの手段は、ユーザの要求に迅速かつ効果的に対応し、コミュニケーションの質を向上させることを目的としている。また、各手段の実装は、データ処理装置やスマートデバイスの制御部によって柔軟に行われ、システムの効率性とユーザビリティを高めるために様々な形で変更が可能となっている。
本発明のシステムは、追加機能として、未登録または非通知の着信に対して、応答前に通話者の意図を推測するための概要予測手段を備えることができる。これにより、応答手段がより精度の高い対話を生成し、ユーザーにとって有意義なやり取りが実現する。また、生成系AIが応答する際には、通話者の国や地域に基づいた言語選択機能を持たせ、多言語対応の自動応答が可能となる。
送信手段に関しては、通話内容の文書化に加えて、重要なキーワードやフレーズのハイライト機能を設けることで、ユーザーが文書を素早く把握できるようにする。さらに、文書化された内容に基づいて自動的にアクションアイテムを生成し、ユーザーのタスクリストに追加する機能を追加することができる。
感情認識手段においては、通話中にユーザーの感情が変化した場合、その変化をリアルタイムで検知し、応答手段の対話のトーンやテンポを動的に調整する機能を持たせることができる。また、特定の感情が検出された場合には、それに応じた特別なサポートやアドバイスを提供する専門家への連絡を促すプロトコルも組み込むことができる。
応答手段には、着信者の過去の通話履歴や関連データを分析し、より個人化された応答を提供するパーソナライゼーション機能を追加することができる。これにより、ユーザーにとってより関連性が高い情報を提供し、応答の有用性を高めることが可能となる。
送信手段に関しては、文書化された通話内容に基づいてフォローアップのアクションを提案する機能を追加することができる。例えば、通話内容に含まれるタスクや予定に対して、カレンダーアプリへの自動登録機能を統合することで、ユーザーの時間管理をサポートする。
さらに、感情認識手段は、ユーザーのストレスレベルや緊張感を検知し、適宜、ストレス軽減のためのアドバイスやリラクゼーションコンテンツへのリンクを提供する機能を備えることができる。これにより、ユーザーの精神的な健康を支援し、総合的なウェルビーイングを促進することができる。
本形態例のシステムには、さらなる機能向上を図るための複数の追加機能が考慮される。例えば、未登録または非通知の着信に対して、通話者の声紋を分析し、以前の通話データと照合することにより、通話者の身元を特定する声紋認識手段を追加することができる。これにより、通話者が過去にシステムとやり取りしたことがある場合、その情報を基に応答手段がより適切な対応を行うことが可能となる。また、声紋認識手段は、セキュリティ対策としても機能し、ユーザーに対する信頼性の高い通話体験を提供する。
送信手段についても、通話内容を文書化する際に、通話の内容を構造化し、情報の重要度に応じてテキストの階層化を行う機能を考慮する。これにより、ユーザーは文書を読む際に重要な情報をより迅速に把握できるようになる。さらに、文書化された内容をユーザーの好みや過去の行動パターンに合わせてカスタマイズすることで、より個人的な体験を提供することが可能となる。
感情認識手段では、通話中にユーザーのストレスレベルを検知し、ストレスが高いと推定される場合には、通話内容に関連したリラクゼーション方法や心理的サポートへの案内を提供する。これにより、ユーザーが通話を通じてリラックスし、ストレスを軽減できるようなサービスを提供する。
さらに、応答手段には、通話内容に基づいてユーザーへのフォローアップアクションを自動的に提案する機能を追加する。例えば、通話中に提案された製品やサービスに関する追加情報へのリンクを提供したり、次の行動ステップを提案することで、ユーザーの意思決定をサポートする。
応答手段の改善としては、通話者の意図に応じて自動的に応答スタイルを変更する機能を検討する。たとえば、通話者が緊急の状況を示している場合には、迅速かつ的確な指示を提供するようにAIを調整する。このような対応により、通話者のニーズに即応できるようなシステムを実現する。
これらの追加機能は、ユーザーエクスペリエンスの向上を目指すとともに、通話内容の正確な把握と迅速な対応を可能にするためのものである。また、それぞれの機能は、データ処理装置やスマートデバイスの制御部の能力を最大限に活用し、システムの有用性をさらに高めることが期待される。
（形態例２）
本発明を実施するための形態は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、ユーザの感情を認識する感情エンジンを使用して文書の表現を調整する調整手段とを具備するシステムである。具体的には、文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。分析結果に基づいて、文書の表現を適切に調整する。例えば、ユーザが喜びや興奮を感じている場合には、より明るく活気のある表現を使用することで、ユーザの感情を共有する。
調整手段は、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、ユーザの感情を認識する感情エンジンを使用して文書の表現を調整する手段として、データ処理装置１２の特定処理部２９０によって実現される。文書化された用件を感情エンジンに入力し、ユーザの感情を分析する処理は、特定処理部２９０が実行する特定処理プログラム５６に従って行われる。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
会話内容抽出手段は、音声認識技術を駆使して通話内容をテキストデータに変換する。また、会話内容抽出手段は、音声信号を受信した後、ノイズリダクション手段を用いて背景雑音を除去し、音声からテキストへの変換精度を向上させる。さらに、会話内容抽出手段は、最先端の音声認識技術を用いて、通話内容を精確にテキストデータへ変換し、その過程でノイズ除去手段が背景雑音を除去し、変換精度を向上させる。
テキスト処理手段は、変換されたテキストデータの構文上の誤りを修正し、言語の流暢さを保つために文法検査手段を介して文法チェックを行う。また、テキスト処理手段は、テキスト化されたデータの文法検査手段が語法の正確性を保証し、文書の自然な流れを維持するための調整を行う。
感情認識手段には、テキストマイニングと感情分析技術に基づく感情抽出手段が含まれ、生成されたテキストデータの言葉遣いや文脈からユーザの感情を推定する。また、感情抽出手段は、様々な感情を表す単語やフレーズ、文法的パターンを識別し、それらをポジティブ、ネガティブ、ニュートラルなどの感情カテゴリに分類する。また、感情強調手段は、抽出された感情に応じてテキストのトーンや言い回しを調整し、ユーザの感情状態をより適切に伝えるための修正を行う。さらに、感情抽出手段は、文書に表れる言語パターンからユーザの感情を読み取り、それを基に文書のトーンを調整する。
調整手段は、感情認識手段によって分析された感情データを基に、テキストの表現を変化させる。また、表現強化手段は、喜びや興奮などのポジティブな感情が検出された場合、使われる語彙をより明るく活気のあるものに置き換え、メッセージに好意的な印象を与える。さらに、表現緩和手段は、悲しみや怒りなどのネガティブな感情が検出された場合、メッセージのトーンを穏やかにし、共感と理解を示すような言い回しを選択する。また、ユーザの感情がポジティブな場合は、表現強化手段が文書に活力を与え、ネガティブな感情を示す場合は、表現緩和手段によって、より穏やかな表現を使用する。
メッセージの送信手段には、メッセンジャーアプリやメールクライアントとの連携機能が含まれ、調整されたテキストを適切な形式で送信する。また、送信プロトコル選定手段は、受信者のプラットフォームや設定に合わせて最適な送信プロトコルを選択し、メッセージの配信を保証する。また、ユーザインタフェース提示手段は、送信前に文書の最終レビューを行うためのプレビュー画面を提供し、ユーザが必要に応じて最終的な修正を加えることができるようにする。さらに、メッセージ送信手段がメッセンジャーアプリやメールクライアントに適したフォーマットで調整されたテキストを送信し、プレビュー画面がユーザが文書を最終確認するためのインターフェースを提供する。
以上のプロセスは、ユーザの使用するデバイスや設定に応じて、スマートデバイスの制御部やデータ処理装置に内蔵された特定処理部で実現される。また、これらの手段は、モジュール化されたコンポーネントとして設計され、システムの構成要素としての交換や拡張が容易に行われる。さらに、各手段の対応関係はフレキシブルに設定されており、システムのアップグレードやカスタマイズに対応するための多様な変更が可能である。また、この一連のプロセスは、デバイスや環境に応じて柔軟に対応できるようにモジュール化されており、システムのアップグレードやカスタマイズが容易に行えるように設計されている。
この形態例を更に拡張して、ユーザーの感情をより深く理解し、コミュニケーションの質を高める機能を追加することができる。例えば、感情エンジンにビデオチャット中の表情認識機能を組み込むことで、視覚的な情報からも感情を分析し、より正確な感情判断を行う。感情認識の精度を向上させるために、ユーザーの声のトーンやピッチの分析も行い、テキストに反映させることが可能である。さらに、ユーザーの過去のコミュニケーション履歴や反応パターンを分析することで、個人の感情表現スタイルを学習し、それに応じたよりパーソナライズされたテキスト調整を実現する。
テキスト処理手段は、表現の多様性と創造性を高めるために、文学作品や詩などからインスピレーションを得た言い回しを提案する機能を持つ。これにより、ユーザーの感情がより豊かに表現される。また、社会的コンテキストや文化的背景を考慮し、コミュニケーションが行われる環境や状況に合わせた適切な表現を選択することもできる。
メッセージ送信手段には、送信されるテキストが受け手の感情に与える影響を予測する機能を追加し、ユーザーがより責任を持ってコミュニケーションを取れるようにする。さらに、受信者の反応をAIが予測し、その情報をもとにユーザーが次に取るべきコミュニケーション戦略を提案することも可能である。
全体として、これらの機能は、ユーザーが感情を的確かつ敏感にコミュニケーションに反映させることをサポートし、より深い人間関係の構築に貢献する。また、これらの進化した手段は、個人だけでなく、企業のカスタマーサポートやCRMシステムにおいても、顧客との関係を深めるために有効活用できる。さらに、これらのシステムは、ユーザー教育やカウンセリングといった人間の感情が重要な役割を果たす分野での応用が期待される。
本システムは、感情エンジンを活用してユーザーの感情に応じた文書の表現調整を提供する。この機能を拡張するために、ユーザーの生体情報を取得するセンサーを統合し、心拍数や皮膚の導電率などの生理的反応から感情をより正確に読み取ることができる。センサーからのデータはリアルタイムで分析され、文書のトーンを即座に調整することが可能となる。
さらに、ユーザーの日常的なコミュニケーションを継続的に分析し、その人固有の表現スタイルや好みを把握する個性化学習機能を搭載する。この機能により、システムはユーザーの個性を反映したより自然で個別化された文書の提案が可能になる。
また、マルチリンガル対応を強化し、さまざまな言語での感情的ニュアンスを捉えることができるようにする。この機能により、国際的なコミュニケーションや多言語を話すユーザー間での理解を深めることができる。
ユーザーのプライバシー保護のために、感情データの匿名化や暗号化を行い、セキュリティを強化する機能も追加する。これにより、ユーザーは安心してシステムを利用できるようになる。
教育やカウンセリングの分野での応用を目指し、感情認識の結果を活用してコミュニケーションスキルのトレーニングをサポートする機能を開発する。トレーニングプログラムには、感情表現の練習や、適切なコミュニケーション手法の学習が含まれる。
最後に、システムのユーザビリティを向上させるために、ユーザーインターフェースをリッチかつ直感的なものにする。さまざまなジェスチャーや音声コマンドをサポートし、ユーザーが文書の調整プロセスに容易に介入できるようにする。これにより、ユーザーは自分の意志で表現を微調整し、より個人的なコミュニケーションを実現できる。
（形態例３）
本発明を実施するための形態は、通話中にユーザの感情を認識する感情エンジンを使用して、応答や対話の内容をユーザの感情に合わせて調整する調整手段とを具備するシステムである。具体的には、通話中にユーザの声のトーンや言葉の選択などを感情エンジンに入力し、ユーザの感情を推定する。推定された感情に基づいて、生成系AIの応答や対話の内容を調整する。例えば、ユーザが悲しい感情を示している場合には、共感の言葉を用いて励ましや支援を提供する。
調整手段は、通話中にユーザの感情を認識する感情エンジンを使用して、応答や対話の内容をユーザの感情に合わせて調整する手段として、データ処理装置１２の特定処理部２９０またはロボット４１４の制御部４６Ａによって実現される。通話中にユーザの声のトーンや言葉の選択を感情エンジンに入力し、ユーザの感情を推定する処理は、特定処理部２９０が実行する特定処理プログラム５６に従って行われる。各手段と装置や制御部との対応関係は、上述した例に限定されず、種々の変更が可能である。
音声データ収集手段は、高感度でノイズキャンセリング機能を備えたマイクロフォンが含まれる。このマイクロフォンは、周囲の雑音を除去し、ユーザの声を明瞭に録音するためのデジタル信号処理アルゴリズムを搭載している。また、音声データ収集手段は、ユーザの発話から微細な音響特性を把握する高感度マイクロフォンを採用し、これにデジタル信号処理技術を組み合わせて周囲の雑音を効果的に除去する。このマイクロフォンは、ユーザの声の特性を正確に捉え、感情の変化を検出するための基礎データを提供する。
音声特徴抽出手段は、音声信号から人間の感情を反映する可能性のある特徴量を抽出する。この抽出手段は、音響特徴分析を行うためのスペクトログラム解析機能やピッチ追跡機能、音響モデルを用いた感情識別機能が含まれる。また、音声特徴抽出手段は、スペクトル分析機能やピッチ解析機能といった音響解析ツールを用いて、音声信号から感情を示唆する特徴量を抽出し、これらのデータを感情推定モデルへと供給する。
感情分析手段には、機械学習に基づいた感情推定モデルが含まれ、音声特徴抽出手段によって抽出された特徴量を入力として、ユーザの感情状態を推定する。感情推定モデルは、トレーニングデータに基づいて訓練されたニューラルネットワーク、サポートベクターマシン、決定木などの分類器から構成され、ユーザの感情をポジティブ、ネガティブ、中立などのカテゴリに分類する。感情推定モデルは、継続的な学習を通じてその精度を向上させ、ユーザの感情に対する認識の微妙な変化にも対応できるように進化する。また、感情分析手段は、機械学習技術を活用した感情推定モデルを有し、抽出された音声特徴を元にユーザの感情を分析する。このモデルは、様々な機械学習アルゴリズムを組み合わせて、ユーザの発話から感情カテゴリーを識別し、これに基づいてユーザの感情状態を推定する。推定された感情状態は、ユーザの発話や振る舞いに対するシステムの反応を調整するための重要な情報となる。
対話調整手段には、生成系AIモデルを用いた応答生成機能が含まれ、感情分析手段によって推定された感情に応じて、対話の内容を動的に調整する。応答生成機能は、自然言語生成技術を駆使し、ユーザの感情に適した言葉選びやトーンを用いて応答文を生成する。例えば、ユーザが悲しい感情を示している場合、共感表現や慰めの言葉を含む応答が生成される。この応答生成機能は、会話の文脈を考慮し、ユーザの感情とコミュニケーションの目的に合致した内容を提供するためのコンテキストアウェア処理機能を備える。また、生成された応答は、ユーザにとって自然であり、感情的なニーズを満たすように構築される。応答生成機能は、大規模な会話データセットに基づいて訓練された機械学習モデルによって実現され、ユーザの言葉遣いや話し方に適応することができる。また、対話調整手段には、生成系AIモデルを用いた応答生成機能が含まれ、推定された感情に適切に応じた対話内容を生成する。この機能は、ユーザの感情に対応する言葉選びや対話トーンを選定し、ユーザの現在の感情や会話の文脈に合わせた反応を提供する。応答生成機能は、コンテキストアウェアな処理を行い、ユーザが必要とする情報やサポートを適切な形で提供するために設計されている。この機能は、大量の会話データから学習されたモデルを基に、ユーザの言葉遣いや情緒に適応した応答を生成することが可能である。
センサーを含まないデータ収集手段としては、ユーザがシステムに直接入力したテキスト情報や、通話記録から得られるメタデータが考えられる。これらは、ユーザの行動パターンや好みを分析する際の補足情報として利用され、感情エンジンの精度向上や応答生成機能の最適化に寄与する。ユーザが入力するテキスト情報は、感情分析手段の一部として、感情推定モデルの訓練データとしても活用される。
本システムは、通話中にユーザの感情をリアルタイムで分析し、対話内容を自動調整する能力を有しているため、さらに細かな感情の変化を捉えるために、音声データに加えて、表情認識技術を統合することができる。ウェブカメラやスマートデバイスのカメラを活用して、ユーザの顔の表情を分析し、感情分析の精度を向上させる。この追加された表情認識機能は、ユーザの感情をより正確に認識し、さらに微細な感情変化に応じた対話調整が可能となる。
また、ユーザの生理的シグナルを捉えるためのウェアラブルデバイスを組み込むことも考えられる。心拍数や皮膚電気活動など、生理的反応を測定することで、声のトーンや表情だけでは捉えきれない感情の深層を解析する。これらのデータを統合することで、感情分析の精度はさらに向上し、より適切な対話応答を生成することができる。
対話調整手段には、ユーザの文化的背景や個人的な価値観を考慮したカスタマイズ機能を追加することも有効である。ユーザプロファイルを構築し、その情報に基づいて、対話のトーンや内容をさらにパーソナライズする。これにより、ユーザ一人ひとりに合わせたきめ細やかなサポートを提供することが可能となる。
さらに、感情推定モデルの進化を促すために、クラウドソーシングによる感情データの収集や、多様なユーザからのフィードバックを取り入れて、モデルを継続的にアップデートする仕組みを構築する。これにより、多様な感情表現や言語に対応できる柔軟なシステムとなる。
また、教育やメンタルヘルスケアの分野における応用も検討することができる。例えば、教育分野では、学生の感情に適応した教材の提示やカウンセリングセッションでの使用が考えられる。メンタルヘルスケアでは、ユーザの感情を認識し、ストレスや不安を軽減するための対話支援を行う。これにより、ユーザが抱える問題に対してより効果的なアプローチが可能となる。
システムのプライバシー保護に関しても、ユーザの感情データを安全に保管し、適切なアクセス制御と暗号化技術を用いて、情報漏洩のリスクを最小限に抑えるためのセキュリティ対策を強化する。これにより、ユーザは安心してシステムを利用することができる。
最終的には、このシステムが提供するパーソナライズされた対話体験が、ユーザの生活の質を向上させるようなサービスへと発展することが期待される。
本発明の形態は、通話のみならず、ビデオ会議やオンライン教育のプラットフォームにも適用可能である。例えば、講師が生徒の感情をリアルタイムで把握し、カリキュラムの進行を感情に合わせて調整することで、より効果的な学習経験を提供する。ビデオ会議においても、参加者の感情を反映した対話管理が行われ、生産的かつポジティブな会議環境を促進する。
また、本システムには、感情反応に基づいた健康状態の監視機能を追加することも可能である。例えば、ユーザの声のトーンや話し方が一定期間にわたってネガティブな感情を示している場合、メンタルヘルスの専門家に通知を送り、必要に応じた介入を促すことができる。
さらに、感情エンジンの高度化に向け、ユーザの日常生活における感情パターンを分析し、その情報を元に長期的な感情管理やストレス軽減のアドバイスを提供する機能を組み込む。ユーザの生活リズムや活動パターンを分析し、感情の波を予測することで、適切なタイミングでリラクゼーションやモチベーション向上のためのコンテンツを提案する。
このシステムは、カスタマーサポートの分野でも応用が期待される。例えば、コールセンターのオペレーターが顧客の感情をリアルタイムで把握し、不満や怒りなどのネガティブな感情を検出した際には、即座に対応策を講じ、顧客満足度の向上に寄与する。
また、ゲームやエンターテインメントの分野でも、ユーザの感情に応じてコンテンツを動的に変化させることで、没入感や楽しさを増幅させる効果が期待される。ゲーム内のキャラクターがプレイヤーの感情に反応し、ストーリー展開や対話内容が変化することで、よりパーソナライズされた体験を実現する。
さらに、音声アシスタントや仮想現実（VR）との統合を図り、ユーザの感情に対してより自然な対話を実現する。音声アシスタントはユーザの感情を把握し、個々のニーズに合わせた情報やサービスを提供する。VR環境では、ユーザの感情に応じてシナリオや環境が変化し、リアルタイムで感情に合わせた体験を提供する。
本システムは、ユーザインタフェース（UI）やユーザーエクスペリエンス（UX）の設計においても革新をもたらす可能性を秘めている。感情認識技術を利用して、ユーザの感情に最適化されたUIやUXを提供し、利用者の満足度を高める。例えば、ウェブサイトやアプリケーションがユーザの感情をリアルタイムで把握し、コンテンツの提示方法やインタラクションの形式を調整する。
最終的には、このシステムが提供する感情調整機能が、人間関係の質を向上させ、コミュニケーションの効果を高めるツールとして社会に広く浸透していくことが期待される。
以下に、各形態例の処理の流れについて説明する。
（形態例１）
ステップ１：未登録または非通知の電話番号からの着信があった場合、生成系AIが応答する。
ステップ２：通話終了後、用件をチャットGPTで文書化する。
ステップ３：文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。
ステップ４：分析結果に基づいて、文書の表現を調整する。
ステップ５：調整された文書をメッセンジャーアプリやメールで送信する。
（形態例２）
ステップ１：通話終了後、用件をチャットGPTで文書化する。
ステップ２：文書化された用件を感情エンジンに入力し、ユーザの感情を分析する。
ステップ３：分析結果に基づいて、文書の表現を調整する。
ステップ４：調整された文書を選択し、送信先を指定する（例：家族）。
ステップ５：指定された送信先に文書をメッセンジャーアプリやメールで送信する。
（形態例３）
ステップ１：通話中にユーザの声のトーンや言葉の選択などを感情エンジンに入力し、ユーザの感情を分析する。
ステップ２：分析結果に基づいて、生成系AIの応答や対話の内容を調整する。
ステップ３：通話終了後、用件をチャットGPTで文書化する。文書化された用件は、感情エンジンに入力するために使用される。
特定処理部２９０は、特定処理の結果をロボット４１４に送信する。ロボット４１４では、制御部４６Ａが、スピーカ２４０及び制御対象４４３に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。
データ生成モデル５８は、いわゆる生成ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。特定処理部２９０は、データ生成モデル５８を用いながら、上述した特定処理を行う。
上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、ロボット４１４によって特定処理が行われるようにしてもよい。
なお、感情エンジンとしての感情特定モデル５９は、特定のマッピングに従い、ユーザの感情を決定してよい。具体的には、感情特定モデル５９は、特定のマッピングである感情マップ（図９参照）に従い、ユーザの感情を決定してよい。また、感情特定モデル５９は、同様に、ロボットの感情を決定し、特定処理部２９０は、ロボットの感情を用いた特定処理を行うようにしてもよい。
図９は、複数の感情がマッピングされる感情マップ４００を示す図である。感情マップ４００において、感情は、中心から放射状に同心円に配置されている。同心円の中心に近いほど、原始的状態の感情が配置されている。同心円のより外側には、心境から生まれる状態や行動を表す感情が配置されている。感情とは、情動や心的状態も含む概念である。同心円の左側には、概して脳内で起きる反応から生成される感情が配置されている。同心円の右側には概して、状況判断で誘導される感情が配置されている。同心円の上方向及び下方向には、概して脳内で起きる反応から生成され、かつ、状況判断で誘導される感情が配置されている。また、同心円の上側には、「快」の感情が配置され、下側には、「不快」の感情が配置されている。このように、感情マップ４００では、感情が生まれる構造に基づいて複数の感情がマッピングされており、同時に生じやすい感情が、近くにマッピングされている。
これらの感情は、感情マップ４００の３時の方向に分布しており、普段は安心と不安のあたりを行き来する。感情マップ４００の右半分では、内部的な感覚よりも状況認識の方が優位に立つため、落ち着いた印象になる。
感情マップ４００の内側は心の中、感情マップ４００の外側は行動を表すため、感情マップ４００の外側に行くほど、感情が目に見える（行動に表れる）ようになる。
ここで、人の感情は、姿勢や血糖値のような様々なバランスを基礎としており、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示す。ロボットや自動車やバイク等においても、姿勢やバッテリー残量のような様々なバランスを基礎として、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示すように感情を作ることができる。感情マップは、例えば、光吉博士の感情地図（音声感情認識及び情動の脳生理信号分析システムに関する研究、徳島大学、博士論文：https://ci.nii.ac.jp/naid/500000375379）に基づいて生成されてよい。感情地図の左半分には、感覚が優位にたつ「反応」と呼ばれる領域に属する感情が並ぶ。また、感情地図の右半分には、状況認識が優位にたつ「状況」と呼ばれる領域に属する感情が並ぶ。
感情マップでは学習を促す感情が２つ定義される。１つは、状況側にあるネガティブな「懺悔」や「反省」の真ん中周辺の感情である。つまり、「もう２度とこんな想いはしたくない」「もう叱られたくない」というネガティブな感情がロボットに生じたときである。もう１つは、反応側にあるポジティブな「欲」のあたりの感情である。つまり、「もっと欲しい」「もっと知りたい」というポジティブな気持ちのときである。
感情特定モデル５９は、ユーザ入力を、予め学習されたニューラルネットワークに入力し、感情マップ４００に示す各感情を示す感情値を取得し、ユーザの感情を決定する。このニューラルネットワークは、ユーザ入力と、感情マップ４００に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。また、このニューラルネットワークは、図１０に示す感情マップ９００のように、近くに配置されている感情同士は、近い値を持つように学習される。図１０では、「安心」、「安穏」、「心強い」という複数の感情が、近い感情値となる例を示している。
上記実施形態では、１台のコンピュータ２２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、コンピュータ２２を含めた複数のコンピュータによる特定処理に対する分散処理が行われるようにしてもよい。
上記実施形態では、ストレージ３２に特定処理プログラム５６が格納されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、特定処理プログラム５６がＵＳＢ（Universal Serial Bus）メモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されている特定処理プログラム５６は、データ処理装置１２のコンピュータ２２にインストールされる。プロセッサ２８は、特定処理プログラム５６に従って特定処理を実行する。
また、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６を格納させておき、データ処理装置１２の要求に応じて特定処理プログラム５６がダウンロードされ、コンピュータ２２にインストールされるようにしてもよい。
なお、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６の全てを格納させておいたり、ストレージ３２に特定処理プログラム５６の全てを記憶させたりしておく必要はなく、特定処理プログラム５６の一部を格納させておいてもよい。
特定処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、特定処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）、又はＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで特定処理を実行する。
特定処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、特定処理を実行するハードウェア資源は１つのプロセッサであってもよい。
１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、特定処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（System-on-a-chip）などに代表されるように、特定処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、特定処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の特定処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下を開示する。
（付記１）
未登録または非通知の電話番号からの着信時に、生成系AIが最初の応答を行い（生成系AIの回答を音声に変換して応答）、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信するシステムであって、
家族や知人と名乗る場合には、専用の質問や合言葉を使用して確認する手段と、
配送業者は、業者用の合言葉を使用して本人につながる手段と、
通話中には、電話番号をチェックし、悪用歴のある番号の場合は警察に連携する手段とを含むシステム。
（付記２）
付記１に記載のシステムであって、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、家族宛に送信可能な手段を具備することを特徴とするシステム。
（付記３）
付記１に記載のシステムであって、通話中に電話番号をチェックし、悪用歴のある番号の場合には警察に連携する際に、警察との連携手段を具備することを特徴とするシステム。
（付記１）
未登録または非通知の電話番号からの着信時に、生成系AIが応答する手段と、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する手段とを具備するシステムであって、さらに、ユーザの感情を認識する感情エンジンを組み合わせる手段とを含むシステム。
（付記２）
付記１に記載のシステムであって、通話終了後に用件をチャットGPTで文書化し、メッセンジャーアプリやメールで送信する際に、ユーザの感情を認識する感情エンジンを使用して文書の表現を調整する手段とを具備するシステム。
（付記３）
付記１に記載のシステムであって、通話中にユーザの感情を認識する感情エンジンを使用して、応答や対話の内容をユーザの感情に合わせて調整する手段とを具備するシステム。
１０、２１０、３１０、４１０ データ処理システム
１２ データ処理装置
１４ スマートデバイス
２１４ スマート眼鏡
３１４ ヘッドセット型端末
４１４ ロボット

Claims (6)

  1. システムであって、
    発信者の電話番号が未登録の着信時または発信者の電話番号が非通知の着信時に、生成系AIが応答を行う応答手段と、
    音声認識技術を用いて通話内容をテキストに変換し、変換したテキストを生成系AIで要約して文書化し、メッセンジャーアプリやメールで送信する送信手段と、
    着信時に、配送業者が使用した業者用の合言葉をAIが受け取って正しい合言葉であることを確認した場合に、ユーザーにつながる接続手段と、
    通話中には、通信網を介して発信される信号に発信者情報が含まれる場合に、前記発信者情報で示される電話番号をチェックし、悪用歴のある番号をリスト化したデータベースであって当該システムが備えるデータベースを参照し、着信番号が悪用歴のある番号の場合は警察に通報する連携手段とを含み、
    前記応答手段は、通話相手の声のトーンや話し方から感情を推定し、推定結果に応じた応答を行うシステム。
  2. 請求項１に記載のシステムであって、前記送信手段は、前記要約を、メッセンジャーアプリやメールで送信する際に、家族宛に送信することを特徴とするシステム。
  3. 請求項１に記載のシステムであって、前記連携手段は、前記警察に通報する際に、前記ユーザーによって指定された緊急連絡先に通報することを特徴とするシステム。
  4. 請求項１に記載のシステムであって、前記接続手段は、配送業者がQRコードまたはNFCタグをスキャンすることで認証を行い、通話を前記ユーザーに直接繋ぐことを特徴とするシステム。
  5. 請求項１～４のいずれか１つに記載のシステムであって、前記送信手段は、前記通話内容の文書化に加えて、前記文書化した文書の重要なキーワードやフレーズをハイライトする機能を有することを特徴とするシステム。
  6. 請求項１～４のいずれか１つに記載のシステムであって、
    前記変換したテキストに基づいて、前記通話相手の感情を推定する感情認識手段と、
    前記感情認識手段によって推定された前記通話相手の感情に基づいて前記通話内容の文書化の調整を行う調整手段と、を備えることを特徴とするシステム。
JP2024054015A 2023-09-20 2024-03-28 システム Active JP7550335B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023153789 2023-09-20
JP2023153789 2023-09-20

Publications (2)

Publication Number Publication Date
JP7550335B1 true JP7550335B1 (ja) 2024-09-12
JP2025048708A JP2025048708A (ja) 2025-04-03

Family

ID=92673367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024054015A Active JP7550335B1 (ja) 2023-09-20 2024-03-28 システム

Country Status (1)

Country Link
JP (1) JP7550335B1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014187469A (ja) 2013-03-22 2014-10-02 Zenrin Datacom Co Ltd 携帯通信端末、着信自動応答制御方法および着信自動応答制御プログラム
JP2016039383A (ja) 2014-08-05 2016-03-22 株式会社東芝 コンタクトセンターシステムおよびコンピュータ
JP2016163285A (ja) 2015-03-05 2016-09-05 日本電信電話株式会社 迷惑電話対策システム、および、迷惑電話対策方法
JP2022102700A (ja) 2020-12-25 2022-07-07 大日本印刷株式会社 処理実行装置、処理実行プログラム、処理実行方法及び代理応答システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014187469A (ja) 2013-03-22 2014-10-02 Zenrin Datacom Co Ltd 携帯通信端末、着信自動応答制御方法および着信自動応答制御プログラム
JP2016039383A (ja) 2014-08-05 2016-03-22 株式会社東芝 コンタクトセンターシステムおよびコンピュータ
JP2016163285A (ja) 2015-03-05 2016-09-05 日本電信電話株式会社 迷惑電話対策システム、および、迷惑電話対策方法
JP2022102700A (ja) 2020-12-25 2022-07-07 大日本印刷株式会社 処理実行装置、処理実行プログラム、処理実行方法及び代理応答システム

Also Published As

Publication number Publication date
JP2025048708A (ja) 2025-04-03

Similar Documents

Publication Publication Date Title
JP7550335B1 (ja) システム
JP2025048951A (ja) システム
JP2025054225A (ja) システム
JP7742466B2 (ja) システム
JP2025049275A (ja) システム
JP2026014240A (ja) システム
JP2025054251A (ja) システム
JP2025051774A (ja) システム
JP2025048936A (ja) システム
JP2026017353A (ja) システム
JP2025051671A (ja) システム
JP2025056746A (ja) システム
JP2025049186A (ja) システム
JP2025051773A (ja) システム
JP2025059089A (ja) システム
JP2025044203A (ja) システム
JP2025048138A (ja) システム
JP2025049133A (ja) システム
JP2025058390A (ja) システム
JP2025051688A (ja) システム
JP2026014946A (ja) システム
JP2025057385A (ja) システム
JP2025049286A (ja) システム
JP2025048887A (ja) システム
JP2025051724A (ja) システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240328

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240702

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240902

R150 Certificate of patent or registration of utility model

Ref document number: 7550335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150