[go: up one dir, main page]

JP2008242740A - Terminal and computer program - Google Patents

Terminal and computer program Download PDF

Info

Publication number
JP2008242740A
JP2008242740A JP2007081618A JP2007081618A JP2008242740A JP 2008242740 A JP2008242740 A JP 2008242740A JP 2007081618 A JP2007081618 A JP 2007081618A JP 2007081618 A JP2007081618 A JP 2007081618A JP 2008242740 A JP2008242740 A JP 2008242740A
Authority
JP
Japan
Prior art keywords
data
mail
unit
terminal
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007081618A
Other languages
Japanese (ja)
Other versions
JP4928323B2 (en
Inventor
Naoaki Sugio
直昭 杉尾
Takeshi Sakai
酒井　　毅
Hajime Uchida
哉 内田
Kazutoshi Onchi
和利 恩地
Akihiro Nara
明広 奈良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Hitachi Mobile Communications Co Ltd
Taito Corp
Original Assignee
Casio Hitachi Mobile Communications Co Ltd
Taito Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Hitachi Mobile Communications Co Ltd, Taito Corp filed Critical Casio Hitachi Mobile Communications Co Ltd
Priority to JP2007081618A priority Critical patent/JP4928323B2/en
Publication of JP2008242740A publication Critical patent/JP2008242740A/en
Application granted granted Critical
Publication of JP4928323B2 publication Critical patent/JP4928323B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】電子メールを受信する端末のメモリに音声データを有していない場合であっても、文字データに対応する音声データを再生しうる端末を提供すること。
【解決手段】電子メールの交換を行う端末１は、電子メールに含まれる文字データのうち一又は複数の文字データ７２に音声データ７０を関連付ける制御部５と、関連付けられた一又は複数の文字データ７２と、音声データ７０と、を記憶する記憶部１０と、電子メールを送受信する通信インタフェース部（通信Ｉ／Ｆ部１５）と、を備え、制御部５は、関連付けられた一又は複数の文字データ７２と、音声データ７０と、を含む電子メールを、通信インタフェース部（通信Ｉ／Ｆ部１５）に出力する通信出力手段５０を有する。
【選択図】図６To provide a terminal capable of reproducing voice data corresponding to character data even when the voice data is not stored in a memory of a terminal that receives an electronic mail.
A terminal 1 that exchanges e-mails includes a control unit 5 that associates voice data 70 with one or more character data 72 of character data included in the e-mail, and one or more associated character data. 72, a storage unit 10 for storing voice data 70, and a communication interface unit (communication I / F unit 15) for transmitting and receiving e-mails. The control unit 5 includes one or more associated characters. The communication output unit 50 outputs an electronic mail including the data 72 and the voice data 70 to the communication interface unit (communication I / F unit 15).
[Selection] Figure 6

Description

本発明は、音声データを含む電子メールの送受信を行う端末、及びコンピュータ・プログラムに関する。   The present invention relates to a terminal that transmits and receives electronic mail including voice data, and a computer program.

電子メールは、インターネットの発展に伴い、コミュニケーション・ツールとして広く普及しており、現在では、日常生活になくてはならないインフラの一部となっている。近年では、端末の技術向上や、操作の容易な端末の出現により、携帯電話等の携帯端末において、子供から年配者までもが電子メールを用いたコミュニケーションを行っている。このような状況下において、単なる文字データのやりとりだけでなく、キャラクタ的な絵が施された絵文字や、複数の文字を組み合わせて顔を表すように作成した顔文字等の、視覚的に分かりやすい文字データによるメールのやりとりが行われている。   With the development of the Internet, e-mail has become widespread as a communication tool, and is now part of the infrastructure that is indispensable for daily life. In recent years, with the improvement of terminal technology and the emergence of easy-to-operate terminals, communication from electronic mail to children through the mobile terminals such as mobile phones is performed. Under such circumstances, not only simple character data exchange, but also easy-to-understand visually such as emoticons with character-like pictures or emoticons created to represent faces by combining multiple characters Mail is exchanged using character data.

例えば、特許文献１には、電子メールに絵文字が記述されている場合に、その絵文字に対応する音を出力することにより、興趣を高めることを目的とした電子メール機能付き端末が開示されている。
特開２００３−１５０５０７号公報 For example, Patent Document 1 discloses a terminal with an e-mail function that aims to enhance interest by outputting a sound corresponding to a pictograph when the pictograph is described in the e-mail. .
JP 2003-150507 A

しかしながら、特許文献１の端末は、メールサーバから受信された電子メールに絵文字が記述されている場合に、その絵文字に対応する音楽や効果音等の音を表す音データが、メールを受信した端末のメモリに記憶されていれば、その音データを読み出し、読み出された音データにより表される音を再生して出力するものである。そのため、メールを受信した端末が、予め絵文字に対応する音データを有していない場合には、音を再生することができない。また、絵文字と音データとの関連付ける情報を受信側で設定しているため、絵文字と音データとの組み合わせが常に同じものとなる。   However, the terminal of Patent Document 1 is a terminal in which, when a pictogram is described in an e-mail received from a mail server, sound data representing sound such as music or sound effect corresponding to the pictogram is received from the mail. If the data is stored in the memory, the sound data is read, and the sound represented by the read sound data is reproduced and output. Therefore, if the terminal that has received the mail does not have sound data corresponding to the pictograph in advance, it is not possible to reproduce the sound. In addition, since information relating the pictogram and the sound data is set on the receiving side, the combination of the pictogram and the sound data is always the same.

そこで、本発明は、電子メールを受信する端末のメモリに音声データを有していない場合であっても、文字データに対応する音声データを再生しうる端末、及びコンピュータ・プログラムを提供することを目的とする。   Therefore, the present invention provides a terminal and a computer program capable of reproducing voice data corresponding to character data even when the voice data is not stored in the memory of the terminal that receives the e-mail. Objective.

本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施例に対応する符号を付して説明するが、これに限定されるものではない。   The present invention solves the above problems by the following means. In addition, in order to make an understanding easy, although the code | symbol corresponding to the Example of this invention is attached | subjected and demonstrated, it is not limited to this.

請求項１の発明は、電子メールの交換を行う端末（１）であって、前記電子メールに含まれる文字データのうち一又は複数の文字データ（７２）に音声データ（７０）を関連付ける制御部（５）と、関連付けられた前記一又は複数の文字データ（７２）と、前記音声データ（７０）と、を記憶する記憶部（１０）と、前記電子メールを送受信する通信インタフェース部（通信Ｉ／Ｆ部１５）と、を備え、前記制御部（５）は、関連付けられた前記一又は複数の文字データ（７２）と、前記音声データ（７０）と、を含む前記電子メールを、前記通信インタフェース部（通信Ｉ／Ｆ部１５）に出力する通信出力手段（５０）を有する端末である。   The invention of claim 1 is a terminal (1) for exchanging electronic mails, the control unit associating voice data (70) with one or a plurality of character data (72) among the character data included in the electronic mail. (5), the associated one or more character data (72), and the voice data (70), a storage unit (10), and a communication interface unit (communication I) for transmitting and receiving the e-mail. / F unit 15), and the control unit (5) transmits the electronic mail including the associated one or more character data (72) and the voice data (70) to the communication It is a terminal having communication output means (50) for outputting to the interface unit (communication I / F unit 15).

請求項２の発明は、請求項１に記載の端末（１）において、音声の入力を受け付けたことに応じて、前記音声をデータ化した前記音声データ（７０）を生成する音声入力部（１６）を更に備えることを特徴とする端末である。
請求項３の発明は、請求項１に記載の端末（１）において、前記記憶部（１０）は、予め音声データ（７１）を記憶しており、前記制御部（５）は、記憶された前記音声データ（７１）から、前記一又は複数の文字データ（７２）に関連付ける前記音声データ（７０）を選択する音声データ選択手段（５１）を有することを特徴とする端末である。
請求項４の発明は、請求項１から３のいずれかに記載の端末（１）において、前記一又は複数の文字データ（７２）は、シンボルとして意味を持つ一つの文字のデータであることを特徴とする端末である。
請求項５の発明は、請求項１から４のいずれかに記載の端末（１）において、前記制御部（５）は、前記音声データ（７０）の前記電子メールにおける埋め込み場所を指定する埋め込み場所指定手段（５２）と、前記音声データ（７０）に関連付ける前記一又は複数の文字データ（７２）を選択する文字データ選択手段（５３）と、を有することを特徴とする端末である。
請求項６の発明は、請求項１から５のいずれかに記載の端末（１）において、前記制御部（５）は、前記電子メールを受信した端末（１）における前記音声データ（７０）の再生を許可する回数を、前記電子メールに設定する再生回数設定手段（５４）を有することを特徴とする端末である。
請求項７の発明は、請求項６に記載の端末（１）において、前記制御部（５）は、設定された前記再生を許可する回数に応じて出力する音声を変化させるために、前記一又は複数の文字データ（７２）を、他の前記音声データ（７０）と関連付けて前記電子メールに設定する音声データ設定手段（５５）を有することを特徴とする端末である。
請求項８の発明は、請求項１から７のいずれかに記載の端末（１）において、前記制御部（５）は、前記電子メールを受信した端末（１）が前記電子メールを転送する処理を行ったことに応じて、前記音声データ（７０）の転送を許可するか否かを前記電子メールに設定する転送制限設定手段（５６）を有することを特徴とする端末である。
請求項９の発明は、請求項１から８のいずれかに記載の端末（１）において、前記制御部（５）は、前記電子メールを受信した端末（１）における前記音声データ（７０）の再生を許可する時期を、前記電子メールに設定する時期設定手段（５７）を有することを特徴とする端末である。
請求項１０の発明は、請求項１から９のいずれかに記載の端末（１）において、前記制御部（５）は、前記電子メールを受信した端末（１）が副次的処理を行うように前記電子メールに設定する副次的処理設定手段（５８）を有することを特徴とする端末である。
請求項１１の発明は、請求項１０に記載の端末（１）において、振動を発生するバイブレータ部（１３）を備え、前記副次的処理設定手段（５８）により設定する前記副次的処理は、前記音声データ（７０）を再生したことに応じて、前記バイブレータ部（１３）に振動を発生させる出力処理であることを特徴とする端末である。
請求項１２の発明は、請求項１０に記載の端末（１）において、発光する発光部（１４）を備え、前記副次的処理設定手段（５８）により設定する前記副次的処理は、前記音声データ（７０）を再生したことに応じて、前記発光部（１４）に発光させる出力処理であることを特徴とする端末である。
請求項１３の発明は、請求項１０に記載の端末（１）において、表示部（１１）の背面から照明するバックライト部（１８）を備え、前記副次的処理設定手段（５８）により設定する前記副次的処理は、前記電子メールを表示することに応じて、前記バックライト部（１８）に発光させる出力処理であることを特徴とする端末である。
請求項１４の発明は、請求項１０に記載の端末（１）において、表示部（１１）の背面から照明するバックライト部（１８）を備え、前記副次的処理設定手段（５８）により設定する前記副次的処理は、前記音声データ（７０）を再生したことに応じて、発光を経時的に変化させる発光パターンにより前記バックライト部（１８）に発光させる出力処理であることを特徴とする端末である。
請求項１５の発明は、請求項１４に記載の端末（１）において、前記一又は複数の文字データ（７２）が、前記バックライト部（１８）の発光を経時的に変化させる発光データを有し、副次的処理設定手段（５８）により設定する前記副次的処理は、前記発光データに応じた発光を前記バックライト部（１８）に行う出力処理であることを特徴とする端末である。 According to the second aspect of the present invention, in the terminal (1) according to the first aspect, the voice input unit (16) that generates the voice data (70) obtained by converting the voice into data in response to receiving the voice input. ) Is further provided.
According to a third aspect of the present invention, in the terminal (1) according to the first aspect, the storage unit (10) stores voice data (71) in advance, and the control unit (5) is stored. A terminal comprising voice data selection means (51) for selecting the voice data (70) associated with the one or more character data (72) from the voice data (71).
According to a fourth aspect of the present invention, in the terminal (1) according to any one of the first to third aspects, the one or more character data (72) is data of one character having a meaning as a symbol. This is a featured terminal.
According to a fifth aspect of the present invention, in the terminal (1) according to any one of the first to fourth aspects, the control unit (5) specifies an embedding location in the e-mail of the voice data (70). A terminal comprising: designation means (52); and character data selection means (53) for selecting the one or more character data (72) associated with the voice data (70).
A sixth aspect of the present invention is the terminal (1) according to any one of the first to fifth aspects, wherein the control unit (5) includes the voice data (70) of the terminal (1) that has received the electronic mail. It is a terminal characterized by having a reproduction number setting means (54) for setting the number of times reproduction is permitted in the e-mail.
According to a seventh aspect of the present invention, in the terminal (1) according to the sixth aspect, the control unit (5) is configured to change the sound to be output according to the set number of times of permitting the reproduction. Alternatively, the terminal has voice data setting means (55) for setting a plurality of character data (72) in the e-mail in association with the other voice data (70).
The invention according to claim 8 is the terminal (1) according to any one of claims 1 to 7, wherein the control unit (5) is a process in which the terminal (1) receiving the electronic mail transfers the electronic mail. The terminal is characterized by comprising transfer restriction setting means (56) for setting whether or not to permit transfer of the voice data (70) in the electronic mail in response to having performed.
A ninth aspect of the present invention is the terminal (1) according to any one of the first to eighth aspects, wherein the control unit (5) includes the voice data (70) of the terminal (1) that has received the electronic mail. It is a terminal characterized by having a time setting means (57) for setting a time when reproduction is permitted in the e-mail.
According to a tenth aspect of the present invention, in the terminal (1) according to any one of the first to ninth aspects, the control unit (5) causes the terminal (1) receiving the electronic mail to perform a secondary process. And a secondary process setting means (58) for setting in the electronic mail.
The eleventh aspect of the present invention is the terminal (1) according to the tenth aspect, further comprising a vibrator unit (13) that generates vibration, wherein the secondary processing set by the secondary processing setting means (58) is The terminal is an output process for generating vibration in the vibrator unit (13) in response to the reproduction of the audio data (70).
A twelfth aspect of the present invention is the terminal (1) according to the tenth aspect, further comprising a light emitting section (14) that emits light, wherein the subsidiary processing set by the subsidiary processing setting means (58) includes: The terminal is an output process for causing the light emitting unit (14) to emit light in response to reproduction of the audio data (70).
A thirteenth aspect of the present invention is the terminal (1) according to the tenth aspect of the present invention, further comprising a backlight unit (18) that illuminates from the back of the display unit (11), and is set by the secondary process setting means (58). The subsidiary process is a terminal that is an output process for causing the backlight unit (18) to emit light in response to displaying the electronic mail.
A fourteenth aspect of the present invention is the terminal (1) according to the tenth aspect, further comprising a backlight unit (18) that illuminates from the back of the display unit (11), and is set by the secondary process setting means (58). The subsidiary process is an output process for causing the backlight unit (18) to emit light with a light emission pattern that changes light emission over time in response to reproduction of the audio data (70). Terminal.
According to a fifteenth aspect of the present invention, in the terminal (1) according to the fourteenth aspect, the one or more character data (72) includes light emission data that changes the light emission of the backlight unit (18) over time. The subsidiary process set by the subsidiary process setting means (58) is an output process in which the backlight unit (18) emits light according to the light emission data. .

請求項１６の発明は、電子メールの交換を行う端末（１）であって、前記電子メールを送受信する通信インタフェース部（通信Ｉ／Ｆ部１５）と、前記通信インタフェース部（通信Ｉ／Ｆ部１５）により受信された、一又は複数の文字データ（７２）と、前記一又は複数の文字データ（７２）と関連付けられた音声データ（７０）と、を含む前記電子メールを入力する制御部（５）と、入力された前記電子メールを表示する表示部（１１）と、ユーザからの操作を受け付ける操作部（１２）と、前記音声データ（７０）を出力する音声出力部（１７）と、を備え、前記制御部（５）は、前記表示部（１１）に表示された前記電子メールのうち前記一又は複数の文字データ（７２）に対する操作を前記操作部（１２）から受け付けたことに応じて、前記一又は複数の文字データ（７２）に関連付けた前記音声データ（７０）を、前記音声出力部（１７）に出力させる音声データ出力手段（５９）を有する端末である。   According to a sixteenth aspect of the present invention, there is provided a terminal (1) for exchanging electronic mail, the communication interface section (communication I / F section 15) for transmitting and receiving the electronic mail, and the communication interface section (communication I / F section). 15) a control unit that inputs the e-mail including one or more character data (72) and voice data (70) associated with the one or more character data (72) received by (15) 5), a display unit (11) for displaying the input e-mail, an operation unit (12) for receiving an operation from a user, a voice output unit (17) for outputting the voice data (70), The control unit (5) has received an operation from the operation unit (12) for the one or more character data (72) in the e-mail displayed on the display unit (11). According , The audio data (70) associated with the one or more character data (72), a terminal having a speech data output means (59) to be output to the voice output unit (17).

請求項１７の発明は、電子メールの交換を行う端末（１）であって、前記電子メールを送受信する通信インタフェース部（通信Ｉ／Ｆ部１５）と、前記通信インタフェース部（通信Ｉ／Ｆ部１５）により受信された、一又は複数の文字データ（７２）と、前記一又は複数の文字データ（７２）と関連付けられた音声データ（７０）と、を含む前記電子メールを入力する制御部（５）と、入力された前記電子メールを表示する表示部（１１）と、ユーザからの操作を受け付ける操作部（１２）と、前記音声データ（７０）を出力する音声出力部（１７）と、を備え、前記制御部（５）は、前記操作部（１２）から前記電子メールを表示するプログラムを起動する操作を受け付けたことに応じて、前記電子メールに含む前記文字データを、前記表示部（１１）に順次表示させる文字データ表示手段（６０）と、前記表示部（１１）により前記一又は複数の文字データ（７２）が表示されたことに応じて、前記一又は複数の文字データ（７２）に関連付けた前記音声データ（７０）を、前記音声出力部（１７）に出力させる音声データ出力手段（５９）と、を有する端末である。   The invention according to claim 17 is a terminal (1) for exchanging electronic mail, wherein the communication interface unit (communication I / F unit 15) transmits and receives the electronic mail, and the communication interface unit (communication I / F unit). 15) a control unit that inputs the e-mail including one or more character data (72) and voice data (70) associated with the one or more character data (72) received by (15) 5), a display unit (11) for displaying the input e-mail, an operation unit (12) for receiving an operation from a user, a voice output unit (17) for outputting the voice data (70), And the control unit (5) receives the character data included in the e-mail in response to receiving an operation for starting the e-mail display program from the operation unit (12). The character data display means (60) to be sequentially displayed on the part (11) and the one or more character data in response to the display of the one or more character data (72) by the display part (11) The voice data output means (59) for outputting the voice data (70) associated with (72) to the voice output unit (17).

請求項１８の発明は、請求項１６又は１７に記載の端末（１）において、前記音声データ出力手段（５９）は、前記電子メールを送信した端末（１）により設定された所定の条件で、前記音声データ（７０）を前記音声出力部（１７）に出力させることを特徴とする端末である。
請求項１９の発明は、請求項１６から１８のいずれかに記載の端末（１）において、前記音声データ（７０）は、前記音声データ（７０）の転送を許可するか否かを示す転送許否データ及び前記音声データ（７０）の提供元を示す提供元データを含み、前記制御部（５）は、前記音声データ（７０）の前記転送許否データに基づき、前記音声データ（７０）を含む前記電子メールの転送を許可するか否かを決定する転送許否決定手段（６１）と、前記転送許否決定手段（６１）において、前記音声データ（７０）の転送を拒否する決定をした場合に、前記提供元データに基づき前記音声データ（７０）がダウンロードされたデータであるか否かを判断する音声データ判断手段（６２）と、前記音声データ判断手段（６２）において前記音声データ（７０）がダウンロードされたデータである判断がされた場合に、前記音声データ（７０）の提供元を指定するデータを前記電子メールに設定する提供元設定手段（６３）と、を有することを特徴とする端末である。 The invention of claim 18 is the terminal (1) according to claim 16 or 17, wherein the voice data output means (59) is a predetermined condition set by the terminal (1) that transmitted the electronic mail. The audio data (70) is output to the audio output unit (17).
According to a nineteenth aspect of the present invention, in the terminal (1) according to any one of the sixteenth to eighteenth aspects, the audio data (70) is a transfer permission / inhibition indicating whether or not the transfer of the audio data (70) is permitted. Data and provider data indicating a provider of the voice data (70), and the control unit (5) includes the voice data (70) based on the transfer permission data of the voice data (70). When the transfer permission / refusal determining means (61) for determining whether or not to permit the transfer of the electronic mail and the transfer permission / refusal determining means (61) determine to reject the transfer of the voice data (70), The voice data judging means (62) for judging whether or not the voice data (70) is downloaded data based on the provider data, and the voice data judging means (62) And a provider setting means (63) for setting data specifying the provider of the voice data (70) in the e-mail when it is determined that the data (70) is downloaded data. It is a terminal characterized by.

請求項２０の発明は、電子メールの作成及び送信を制御するコンピュータ・プログラムであって、コンピュータに、前記電子メールに含まれる文字データのうち一又は複数の文字データ（７２）に音声データ（７０）を関連付けるステップと、関連付けられた前記一又は複数の文字データ（７２）と、前記音声データ（７０）と、を記憶するステップと、関連付けられた前記一又は複数の文字データ（７２）と、前記音声データ（７０）と、を含む前記電子メールを送信するステップと、を実行させるためのコンピュータ・プログラムである。   The invention according to claim 20 is a computer program for controlling creation and transmission of an electronic mail, wherein the computer stores one or more character data (72) out of character data included in the electronic mail with voice data (70). ), Storing the associated one or more character data (72) and the speech data (70), and the associated one or more character data (72); A computer program for executing the step of transmitting the electronic mail including the voice data (70).

請求項２１の発明は、請求項２０に記載のコンピュータ・プログラムにおいて、音声の入力を受け付けたことに応じて、前記音声をデータ化した前記音声データ（７０）を生成するステップを実行させるためのコンピュータ・プログラムである。
請求項２２の発明は、請求項２０に記載のコンピュータ・プログラムにおいて、予め記憶された前記音声データ（７１）から、前記一又は複数の文字データ（７２）に関連付ける前記音声データ（７０）を選択するステップを実行させるためのコンピュータ・プログラムである。
請求項２３の発明は、請求項２０から２２のいずれかに記載のコンピュータ・プログラムにおいて、前記一又は複数の文字データ（７２）は、シンボルとして意味を持つ一つの文字のデータであることを特徴とするコンピュータ・プログラムである。
請求項２４の発明は、請求項２０から２３のいずれかに記載のコンピュータ・プログラムにおいて、前記音声データ（７０）の前記電子メールにおける埋め込み場所を指定するステップと、前記音声データ（７０）に関連付ける前記一又は複数の文字データ（７２）を選択するステップと、を実行させるためのコンピュータ・プログラムである。 According to a twenty-first aspect of the invention, in the computer program according to the twentieth aspect, in response to receiving a voice input, the step of generating the voice data (70) obtained by converting the voice into data is executed. It is a computer program.
The invention according to claim 22 is the computer program according to claim 20, wherein the voice data (70) to be associated with the one or more character data (72) is selected from the voice data (71) stored in advance. It is a computer program for performing the step to perform.
The invention of claim 23 is the computer program according to any one of claims 20 to 22, wherein the one or more character data (72) is data of one character having meaning as a symbol. Is a computer program.
The invention according to claim 24 is the computer program according to any one of claims 20 to 23, wherein the step of designating an embedding location of the voice data (70) in the electronic mail and the voice data (70) are associated with each other. And selecting the one or more character data (72).

請求項２５の発明は、電子メールの受信及び表示を制御するコンピュータ・プログラムであって、一又は複数の文字データ（７２）と、前記一又は複数の文字データ（７２）と関連付けられた音声データ（７０）と、を含む前記電子メールを受信するステップと、受信された前記電子メールを表示するステップと、表示された前記電子メールのうち前記一又は複数の文字データ（７２）に対する操作を受け付けたことに応じて、前記一又は複数の文字データ（７２）に関連付けた前記音声データ（７０）を出力するステップと、を実行させるためのコンピュータ・プログラムである。   The invention of claim 25 is a computer program for controlling the reception and display of electronic mail, wherein one or more character data (72) and voice data associated with the one or more character data (72) (70), receiving the e-mail including the step, displaying the received e-mail, and accepting an operation on the one or more character data (72) of the displayed e-mail. And outputting the voice data (70) associated with the one or more character data (72) according to the above.

請求項２６の発明は、電子メールの受信及び表示を制御するコンピュータ・プログラムであって、一又は複数の文字データ（７２）と、前記一又は複数の文字データ（７２）と関連付けられた音声データ（７０）と、を含む前記電子メールを受信するステップと、前記電子メールを表示するプログラムを起動する操作を受け付けたことに応じて、受信された前記電子メールに含む前記文字データを順次表示させるステップと、前記一又は複数の文字データ（７２）が表示されたことに応じて、前記一又は複数の文字データ（７２）に関連付けた前記音声データ（７０）を出力するステップと、を実行させるためのコンピュータ・プログラムである。   The invention of claim 26 is a computer program for controlling reception and display of an electronic mail, wherein one or a plurality of character data (72) and voice data associated with the one or a plurality of character data (72) (70), and the character data included in the received e-mail are sequentially displayed in response to receiving an operation of starting the program for displaying the e-mail. And outputting the voice data (70) associated with the one or more character data (72) in response to the one or more character data (72) being displayed. Computer program for

本発明によれば、以下の効果を奏することができる。
（１）本発明は、一又は複数の文字データと音声データとが関連付けられた電子メールを作成し、送信することができる。よって、受信側の端末に音声データを有していなくても、電子メールに含む音声データにより、音声を再生することができる。また、音声データは、文字データに関連付けられているので、電子メールを受信したユーザは、文字を見ると共に音声を聞くことができる。更に、一又は複数の文字データに、関連付ける音声データは、送信側の端末で設定するため、一又は複数の文字データと音声データとの組み合わせを、電子メールごと、及び文字ごとに変更することができる。なお、一の文字データとは、通常の文字の他に、絵文字をも含む概念である。また、複数の文字データとは、通常の文字を複数個組み合わせたものや、絵文字と通常の文字を組み合わせたもの、また、通常の文字を複数個組み合わせて、例えば、顔文字のように一つの意味をもつ文字としたものを含む。 According to the present invention, the following effects can be obtained.
(1) The present invention can create and send an electronic mail in which one or more character data and voice data are associated with each other. Therefore, even if the receiving terminal does not have voice data, the voice can be reproduced by the voice data included in the e-mail. Further, since the voice data is associated with the character data, the user who has received the electronic mail can see the characters and hear the voice. Furthermore, since voice data to be associated with one or more character data is set at the terminal on the transmission side, the combination of one or more character data and voice data can be changed for each e-mail and for each character. it can. One character data is a concept including pictographs in addition to normal characters. The plurality of character data is a combination of a plurality of normal characters, a combination of pictograms and a normal character, or a combination of a plurality of normal characters, for example, one emoticon. Includes characters that have meaning.

（２）本発明は、ユーザが録音した音声を入力することができる。よって、ユーザが発した声をそのまま音声データとして電子メールに含めることができる。
（３）本発明は、例えば、サーバからダウンロードすることにより、予め音声データを記憶することができ、記憶された音声データを、文字データに関連付けて電子メールに含めることができる。よって、様々な音声データを電子メールに含めることができる。 (2) The present invention can input voice recorded by the user. Therefore, the voice uttered by the user can be included in the electronic mail as it is as voice data.
(3) According to the present invention, for example, voice data can be stored in advance by downloading from a server, and the stored voice data can be included in an email in association with character data. Therefore, various audio data can be included in the e-mail.

（４）本発明により電子メールに含んで送信される文字データは、例えば、絵文字のようなシンボルとして意味を持つ一つの文字のデータである。そのため、送信する電子メールは、音声データにより、電子メールを受信したユーザの聴覚に訴えると共に、絵文字等によるシンボルとして意味を持つ文字データにより、当該ユーザの視覚に訴えることができる。よって、視覚に訴え、更に聴覚に訴えることができ、インパクトのある電子メールを送信することができる。 (4) Character data transmitted by being included in an e-mail according to the present invention is data of one character having a meaning as a symbol such as a pictograph. Therefore, the e-mail to be transmitted can appeal to the hearing of the user who has received the e-mail using voice data, and can also appeal to the user's vision using character data having a meaning as a symbol such as a pictograph. Therefore, it is possible to appeal to the eye, further appeal to the auditory sense, and transmit an impact e-mail.

（５）本発明は、音声データの埋め込み場所を指定し、音声データに関連付ける一又は複数の文字データを選択することができる。そのため、電子メールの送信側の端末で、ユーザが意図した指定の場所に音声データを埋め込むことができ、効果的に音声データを再生することができる。よって、電子メールの受信側の端末において、電子メールを受信したユーザが、より効果的に電子メール本文の情報を理解することができる可能性がある。 (5) According to the present invention, it is possible to specify an embedding location of voice data and select one or a plurality of character data associated with the voice data. Therefore, the voice data can be embedded in the designated place intended by the user at the terminal on the e-mail transmission side, and the voice data can be reproduced effectively. Therefore, there is a possibility that the user who has received the e-mail at the terminal on the e-mail receiving side can more effectively understand the information in the e-mail text.

（６）本発明は、音声データの再生を許可する回数を設定できる。そのため、数回のみ再生できる等の、電子メールの送信側のユーザの意図に応じた制限の下で、音声データを出力することができる。
（７）本発明は、音声データの再生を許可する回数に応じて、一又は複数の文字データを、他の音声データと関連付けて電子メールに設定することにより、出力する音声を変化させることができる。そのため、例えば、最初の何回かはある音声データを出力し、その後に異なる音声データを出力することができる。よって、ユーザが音声データを再生する回数によって、変化を持たせた音声データを出力することができる。 (6) The present invention can set the number of times that reproduction of audio data is permitted. Therefore, the audio data can be output under a restriction according to the intention of the user on the e-mail transmission side, such as being reproducible only several times.
(7) According to the present invention, according to the number of times that reproduction of audio data is permitted, one or more character data is set in an e-mail in association with other audio data, thereby changing the output audio. it can. Therefore, for example, it is possible to output some audio data for the first several times and then output different audio data. Therefore, it is possible to output audio data having a change depending on the number of times the user reproduces the audio data.

（８）本発明は、電子メールの転送制限を設定することができる。そのため、電子メールが転送される場合に、音声データの転送を拒否させることができる。よって、音声データのセキュリティを強化し、音声データが有する著作権の保護を図ることができる。 (8) According to the present invention, it is possible to set an e-mail transfer restriction. Therefore, when electronic mail is transferred, transfer of voice data can be rejected. Therefore, the security of the audio data can be strengthened and the copyright of the audio data can be protected.

（９）本発明は、電子メールの音声に関して再生を許可する時期を設定することができる。ここで、時期とは、期間や日及び時刻の概念を含むものである。よって、例えば、ある記念日のメッセージを音声データとした場合には、記念日が到来しなければ音声データを再生することができない、等の電子メールの送信側のユーザの意図に応じた制限の下で、音声データを出力することができる。 (9) In the present invention, it is possible to set a time when reproduction is permitted for the voice of an electronic mail. Here, the term includes the concept of period, date and time. Thus, for example, when a message for a certain anniversary is used as voice data, the voice data cannot be reproduced unless the anniversary arrives. Below, audio data can be output.

（１０）本発明は、音声データの出力と共に、副次的処理を行うことができる。そのため、視覚に訴える文字データ、及び聴覚に訴える音声データの他に、副次的処理により更なる効果を、電子メールを受信したユーザに与えることができる。
（１１）本発明は、音声データの出力と共に、振動を発生させることができる。そのため視覚、及び聴覚だけでなく、感覚も刺激することにより、インパクトのある音声データを出力することができる。
（１２）本発明は、音声データの出力と共に、発光部を発光させることができる。そのため、視覚、及び聴覚だけでなく、更に光という視覚に訴えるインパクトのある音声データを出力することができる。 (10) The present invention can perform secondary processing together with output of audio data. Therefore, in addition to the character data appealing to the eye and the voice data appealing to the hearing, a further effect can be given to the user who has received the e-mail by the secondary processing.
(11) The present invention can generate vibrations together with the output of audio data. Therefore, it is possible to output sound data with impact by stimulating not only visual and auditory senses but also senses.
(12) The present invention can cause the light emitting unit to emit light together with the output of audio data. Therefore, it is possible to output not only visual and auditory sounds, but also sound data having an impact appealing to the visual sense of light.

（１３）本発明は、電子メールが表示されている間は、表示部の背面から発光させることができる。電子メールとして文字データが表示されている間は、表示部の背面から発光させるため、ユーザにとって、電子メールの視認が容易となる。
（１４）本発明は、音声データの出力と共に、表示部の背面から発光させることができる。そのため、視覚、及び聴覚だけでなく、更に光という視覚に訴えるインパクトのある音声データを出力することができる。また、ユーザは、音声データに関連付けられた文字データを、発光により見やすい状況で視認することができる。更に、文字データが発光を経時的に変化させる発光データを有することにより、文字データの種類に応じて変化のある発光を行うことができる。なお、発光データは、発光のオン・オフや、発光の明るさを変化させる制御を行うデータである。 (13) In the present invention, light can be emitted from the back of the display unit while an e-mail is displayed. While character data is displayed as an e-mail, light is emitted from the back of the display unit, so that the user can easily view the e-mail.
(14) The present invention can emit light from the back of the display unit together with the output of audio data. Therefore, it is possible to output not only visual and auditory sounds, but also sound data having an impact appealing to the visual sense of light. In addition, the user can visually recognize the character data associated with the voice data in a situation that is easy to see by light emission. Furthermore, since the character data has the light emission data for changing the light emission over time, the light emission can be changed according to the type of the character data. The light emission data is data for performing control to turn on / off the light emission and change the brightness of the light emission.

（１５）本発明は、表示された電子メールのうち一又は複数の文字データに対する操作を受け付けたことに応じて、一又は複数の文字データに関連付けた音声データを出力することができる。そのため、ユーザが出力したい時に、ユーザの操作に応じて音声データを出力することができる。 (15) The present invention can output voice data associated with one or more character data in response to receiving an operation for one or more character data in the displayed e-mail. Therefore, when the user wants to output, voice data can be output according to the user's operation.

（１６）本発明は、電子メールを表示するプログラムを起動することにより、順次文字データを表示させ、一又は複数の文字データが表示されたことに応じて、一又は複数の文字データに関連付けた音声データを出力することができる。そのため、ユーザは、電子メールを表示するプログラムを起動することのみで、他のボタン操作等を行うことなく、電子メールを作成したユーザが設定した音声を出力させるタイミングで、音声データを出力することができる。よって、一又は複数の文字データに音声データが関連付けて記憶されているか否かをユーザが知らなくても、電子メールの送信側のユーザの意図に応じて、音声データを出力することができる。 (16) In the present invention, by starting a program that displays an e-mail, character data is displayed sequentially, and one or more character data is associated with one or more character data in response to the display of one or more character data. Audio data can be output. Therefore, the user outputs voice data at the timing of outputting the voice set by the user who created the e-mail without performing any other button operation, etc., only by starting a program for displaying the e-mail. Can do. Therefore, even if the user does not know whether or not the voice data is stored in association with one or a plurality of character data, the voice data can be output according to the intention of the user on the e-mail transmission side.

（１７）本発明は、音声データの出力条件を電子メールの送信側の端末で設定できる。そのため、電子メールの送信側のユーザの意図に応じた制限の下で、音声データを出力することができる。
（１８）本発明は、電子メールを転送する際に、音声データの転送許否データに基づいて、ダウンロードされたデータであれば、そのダウンロード元を指定するデータを電子メールに設定することができる。ダウンロード元を指定するデータとは、例えば、ダウンロード元のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を示す。よって、転送された電子メールを受信したユーザは、電子メールに設定されたダウンロード元の指定データを用いて、例えば、有料の音声データのサイトにアクセスし、当該音声データをダウンロードすることができる。よって、音声データの提供元のサイト運営者は、音声データを用いたコンテンツによる収入を得ることができる。 (17) In the present invention, the output condition of the voice data can be set at the terminal on the e-mail transmission side. Therefore, audio data can be output under the restriction according to the intention of the user on the e-mail transmission side.
(18) According to the present invention, when an electronic mail is transferred, the data specifying the download source can be set in the electronic mail as long as the data is downloaded based on the voice data transfer permission / denial data. The data specifying the download source indicates, for example, a URL (Uniform Resource Locator) of the download source. Thus, the user who has received the forwarded e-mail can access the paid audio data site and download the audio data, for example, using the download source designation data set in the e-mail. Therefore, the site operator who provides the audio data can obtain income from the content using the audio data.

本発明は、電子メールを受信する端末のメモリに音声データを有していない場合であっても、文字データに対応する音声データを再生しうる端末、及びコンピュータ・プログラムを提供するという目的を、端末が、文字データと共に文字データに関連付けた音声データを送受信することによって実現した。   An object of the present invention is to provide a terminal and a computer program capable of reproducing voice data corresponding to character data even when the terminal does not have voice data in the memory of the terminal that receives the e-mail. This is realized by transmitting and receiving voice data associated with the character data together with the character data.

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。   Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings. This is merely an example, and the technical scope of the present invention is not limited to this.

［端末ブロック図］
図１は、本発明の好適な実施形態の一例に係る端末１の構成を示すブロック図である。端末１は、主な構成として、制御部５、記憶部１０、表示部１１、操作部１２、バイブレータ部１３、発光部１４、通信Ｉ／Ｆ部１５、音声入力部１６、及び音声出力部１７を備える。また、表示部１１の背面から照明するバックライト部１８を備える。この図１のブロック図では、制御部５を介して各構成が接続された形となっているが、バスを介して全ての構成が接続される形であってもよい。また、端末１は携帯電話機として以下に説明するが、これに限らない。ＰＤＡ等に代表される携帯情報端末や、パーソナル・コンピュータといった、インターネット上のメールサーバと電子メールを送受信可能な端末であればよい。また、本実施例では、送信側の端末１の機能、及び受信側の端末１の機能の両機能を一つの端末１が有する記載としているが、これに限らず、送信側の端末１の機能のみを有する端末１と、受信側の端末１の機能のみを有する端末１と、の各々に関しても本発明に含まれる。 [Terminal block diagram]
FIG. 1 is a block diagram showing a configuration of a terminal 1 according to an example of a preferred embodiment of the present invention. The terminal 1 mainly includes a control unit 5, a storage unit 10, a display unit 11, an operation unit 12, a vibrator unit 13, a light emitting unit 14, a communication I / F unit 15, a voice input unit 16, and a voice output unit 17. Is provided. Moreover, the backlight part 18 illuminated from the back surface of the display part 11 is provided. In the block diagram of FIG. 1, each configuration is connected via the control unit 5, but all configurations may be connected via a bus. Moreover, although the terminal 1 is demonstrated below as a mobile telephone, it is not restricted to this. Any terminal that can send and receive e-mails to and from a mail server on the Internet, such as a personal digital assistant represented by a PDA or the like, or a personal computer may be used. In this embodiment, one terminal 1 has both the function of the terminal 1 on the transmission side and the function of the terminal 1 on the reception side. However, the present invention is not limited to this, and the function of the terminal 1 on the transmission side is described. Each of the terminal 1 having only the function and the terminal 1 having only the function of the receiving terminal 1 is also included in the present invention.

制御部５は、情報の演算、及び処理を行う情報演算処理装置（ＣＰＵ）であり、当該端末１全体を制御するものである。制御部５は、記憶部１０に記憶された各種プログラムを適宜読み出して実行することにより、端末１のハードウェアと協働し、本発明に係る各種機能を実現している。   The control unit 5 is an information calculation processing device (CPU) that performs calculation and processing of information, and controls the terminal 1 as a whole. The control unit 5 reads out and executes various programs stored in the storage unit 10 as appropriate, thereby realizing various functions according to the present invention in cooperation with the hardware of the terminal 1.

記憶部１０は、制御部５と組み合わせてプログラムの実行に使用するメモリを含んでよい。記憶部１０を実現するものとして、電気的、磁気的、光学的、電磁的に実現するものを含んでよい。より具体的には、半導体記憶装置、磁気ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リードオンリー・メモリ（ＲＯＭ）等が含まれる。端末１と外部接続することができる磁気テープ、ＣＤ−ＲＯＭとＣＤ−Ｒ／ＷとＤＶＤとを含む光ディスクや、メモリカード等の補助記憶装置も含む概念である。   The storage unit 10 may include a memory used for executing the program in combination with the control unit 5. As what implement | achieves the memory | storage part 10, you may include what implement | achieves electrically, magnetically, optically, and electromagnetically. More specifically, a semiconductor memory device, a magnetic disk, a random access memory (RAM), a read only memory (ROM), and the like are included. The concept includes a magnetic tape that can be externally connected to the terminal 1, an optical disk including a CD-ROM, a CD-R / W, and a DVD, and an auxiliary storage device such as a memory card.

表示部１１は、ユーザの操作により電子メールの内容を示す画面を表示したり、当該端末１がプログラムを実行することにより、実行結果の画面を表示したりするものである。主に、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。表示部１１は、端末１に直接組み込まれているか、又は介在Ｉ／Ｏコントローラを介して当該端末１と接続することができる。また、バックライト部１８は、表示部１１の背面から表示部１１を照明するためのものである。表示部１１に表示されたデータを、ユーザが視認しやすくするためのものであると共に、照明方法によっては、臨場感のある演出を行うことができる。   The display unit 11 displays a screen showing the contents of the e-mail by a user's operation, or displays an execution result screen when the terminal 1 executes a program. It mainly includes display devices such as liquid crystal display devices (LCD). The display unit 11 is directly incorporated in the terminal 1 or can be connected to the terminal 1 via an intervening I / O controller. The backlight unit 18 is for illuminating the display unit 11 from the back surface of the display unit 11. While the data displayed on the display unit 11 is intended to make it easy for the user to visually recognize, depending on the lighting method, it is possible to provide a realistic effect.

操作部１２は、ユーザによる入力の受け付けを行うものであり、各種キーやボタン等を含んでよい。操作部１２は、直接又は介在Ｉ／Ｏコントローラを介して当該端末１と接続されている。
バイブレータ部１３は、振動を発生させて端末１を振動させるものであり、制御部５からの命令により、例えば、錘付きのモータ（図示せず）が回転することにより振動を発生させる。
発光部１４は、例えば、端末１に有する例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が、制御部５からの命令に応じて発光するものである。 The operation unit 12 accepts input by the user, and may include various keys and buttons. The operation unit 12 is connected to the terminal 1 directly or via an intervening I / O controller.
The vibrator unit 13 generates vibrations to vibrate the terminal 1, and generates vibrations by rotating a motor (not shown) with a weight, for example, according to a command from the control unit 5.
The light emitting unit 14 is, for example, an LED (Light Emitting Diode) included in the terminal 1 that emits light in response to a command from the control unit 5.

通信Ｉ／Ｆ（インタフェース）部１５は、当該端末１から電子メールの送受信を行うための通信を行うものであり、アンテナ２３に接続されている。
音声入力部１６は、マイク２１を介して入力された音声をデータ化して、制御部５に音声データを送信する役割を果たす。
音声出力部１７は、制御部５から送信される音声データを、スピーカ２２により再生させるための役割を果たす。 The communication I / F (interface) unit 15 performs communication for transmitting and receiving e-mails from the terminal 1, and is connected to the antenna 23.
The voice input unit 16 serves to convert voice input through the microphone 21 into data and transmit the voice data to the control unit 5.
The audio output unit 17 plays a role for causing the speaker 22 to reproduce the audio data transmitted from the control unit 5.

図２は、本発明の好適な実施形態の一例に係る端末１の制御部５の機能を示すブロック図である。送信側の端末１での機能として、通信出力手段５０、音声データ選択手段５１、埋め込み場所指定手段５２、及び文字データ選択手段５３を有する。また、送信側の端末１で送信する電子メールの設定機能として、再生回数設定手段５４、音声データ設定手段５５、転送制限設定手段５６、時期設定手段５７、及び副次的処理設定手段５８を有する。   FIG. 2 is a block diagram illustrating functions of the control unit 5 of the terminal 1 according to an example of the preferred embodiment of the present invention. As functions at the terminal 1 on the transmission side, a communication output unit 50, a voice data selection unit 51, an embedding location designation unit 52, and a character data selection unit 53 are provided. In addition, as a function for setting an e-mail to be transmitted by the terminal 1 on the transmission side, it has a reproduction count setting means 54, an audio data setting means 55, a transfer restriction setting means 56, a time setting means 57, and a secondary process setting means 58. .

受信側の端末１での機能として、音声データ出力手段５９、及び文字データ表示手段６０を有する。また、受信側の端末１で電子メールを転送する際の機能として、転送許否決定手段６１、音声データ判断手段６２、及び提供元設定手段６３を有する。
なお、図２に示した制御部５の機能は、主な機能を列挙したものにすぎない。また、各機能の説明については後述する。 As functions at the terminal 1 on the receiving side, a voice data output means 59 and a character data display means 60 are provided. In addition, as a function for transferring an electronic mail in the terminal 1 on the receiving side, a transfer permission / rejection determination unit 61, a voice data determination unit 62, and a provider setting unit 63 are provided.
In addition, the function of the control part 5 shown in FIG. 2 is only what enumerated the main functions. The description of each function will be described later.

［端末概略図］
図３は、本発明の好適な実施形態の一例に係る端末１の概略構成を示す概略図である。この図３で示す端末１として、一般的に普及している携帯電話機を例に説明する。端末１の中央上部には、表示部１１が配置されている。この表示部１１には、電子メールの内容が表示される。なお、携帯電話機で通常の電話機能を用いる場合に、相手方の電話番号を表示することは、もちろん可能である。 [Terminal schematic]
FIG. 3 is a schematic diagram illustrating a schematic configuration of the terminal 1 according to an example of the preferred embodiment of the present invention. As a terminal 1 shown in FIG. 3, a generally used mobile phone will be described as an example. A display unit 11 is arranged at the upper center of the terminal 1. The display unit 11 displays the contents of the e-mail. Of course, it is possible to display the other party's telephone number when using the normal telephone function on the cellular phone.

また、端末１の中央下部には、複数のボタンが配設された操作部１２が配置されている。操作部１２の各ボタンは、電子メールの本文等を作成するための文字が関連付けられており、文字の入力を行う他、表示部１１に表示された操作に関連付けられたキーを入力することにより、文字データに音声データを関連付け、又は、電子メールの送信等の各種処理を行うことができる。端末１の中央左方には、スピーカ２２が配置されている。音声出力部１７により変換され、このスピーカ２２を通じて音声が出力されるため、ユーザは耳を近づけなくとも、スピーカ２２から出力される音声を聞くことができる。   In addition, an operation unit 12 having a plurality of buttons is arranged at the center lower portion of the terminal 1. Each button of the operation unit 12 is associated with a character for creating the body of the e-mail, etc. In addition to inputting characters, by inputting a key associated with the operation displayed on the display unit 11 Various processes such as associating voice data with character data or sending an e-mail can be performed. A speaker 22 is arranged at the center left of the terminal 1. Since the sound is converted by the sound output unit 17 and the sound is output through the speaker 22, the user can listen to the sound output from the speaker 22 without having his ear close.

また、端末１の下方略中央には、マイク２１が配置されている。例えば、ユーザが音声を録音したい場合には、マイク２１に向かって音声を発することにより、発した音声がマイク２１を介して音声入力部１６に送信され、音声データとして録音することができる。端末１の上方右方には、アンテナ２３が端末１の筐体に埋め込まれている。アンテナ２３により、送信された電子メールを受信することができる。また、端末１にて作成した電子メールを送信することができる。最後に、端末１の上側略中央には、発光部１４が配置されている。例えば、端末１がスピーカ２２から音声を発する際に、発光部１４が発光することにより、視覚からも音声出力を認識することができる。   In addition, a microphone 21 is disposed at a substantially lower center of the terminal 1. For example, when the user wants to record voice, the voice is emitted toward the microphone 21, so that the emitted voice is transmitted to the voice input unit 16 via the microphone 21 and can be recorded as voice data. An antenna 23 is embedded in the casing of the terminal 1 on the upper right side of the terminal 1. The transmitted electronic mail can be received by the antenna 23. In addition, an electronic mail created by the terminal 1 can be transmitted. Finally, a light emitting unit 14 is disposed at the approximate center on the upper side of the terminal 1. For example, when the terminal 1 emits sound from the speaker 22, the light emitting unit 14 emits light, so that the sound output can be recognized visually.

［電子メール作成処理の実施例］
図４は、本発明の好適な実施形態の一例に係る端末１での電子メールの作成処理の流れの概略を示す図である。まず図４の（１）では、表示部１１に電子メール作成画面が表示されている。 [Example of email creation process]
FIG. 4 is a diagram showing an outline of the flow of an e-mail creation process in the terminal 1 according to an example of the preferred embodiment of the present invention. First, in (1) of FIG. 4, an e-mail creation screen is displayed on the display unit 11.

電子メール作成画面は、主に属性表示部４０、メール本文表示部３０、操作説明表示部３１、及び各種ボタン表示部４１から構成されている。ユーザは、電子メール作成画面を用いて電子メールを作成する。メール本文表示部３０には、「私はアナタの事がなのです！」と、ユーザにより入力された文字列が表示されている。「…がな…」の部分が日本語としての繋がりがない状態であり、後述の処理を行うことにより、「が」と「な」の間に音声データが関連付いた文字データである絵文字を埋め込む。また、操作説明表示部３１には、都度、必要な操作説明を表示している。図４の（１）の例では、メール本文表示部３０に文字が入力されていることから、「録音ボタンで録音を開始します。」との操作説明を表示している。   The e-mail creation screen mainly includes an attribute display section 40, a mail text display section 30, an operation explanation display section 31, and various button display sections 41. The user creates an email using the email creation screen. The mail text display unit 30 displays a character string input by the user, “I am yours!”. The part of “… gana…” is in a state where there is no connection in Japanese, and by performing the processing described later, pictograms that are character data associated with audio data between “ga” and “na” are displayed. Embed. The operation explanation display unit 31 displays necessary operation explanations each time. In the example of (1) of FIG. 4, since a character is input in the mail body display unit 30, an operation explanation “Start recording with the record button” is displayed.

各種ボタン表示部４１には、左から右へ送信ボタン３６、録音ボタン３２、及びメニューボタン３３が表示されている。この各種ボタン表示部４１には、表示部１１に表示されている電子メールの作成状況に応じて、必要なボタンが表示される。そして、各種ボタン表示部４１に表示されている各種ボタンに対応した操作部１２の入力を受け付けることにより、制御部５に、入力を受け付けたボタンの設定に応じた命令が送信される。例えば、送信ボタン３６に対応したボタンが押下された場合には、属性表示部４０の宛先に指定された相手方に、作成した電子メールが送信される。また、録音ボタン３２に対応したボタンが押下された場合には、録音機能が起動し、音声の録音を開始する（図４の（２ａ））。更に、メニューボタン３３に対応したボタンが押下され、音声データ選択モードが選択された場合には、画面が音声データ選択モードへ遷移し、音声データ７０の一覧が表示部１１のメール本文表示部３０に表示される（図４の（２ｂ））。   In the various button display section 41, a transmission button 36, a recording button 32, and a menu button 33 are displayed from left to right. In the various button display portions 41, necessary buttons are displayed according to the creation status of the e-mail displayed on the display portion 11. Then, by receiving input from the operation unit 12 corresponding to the various buttons displayed on the various button display units 41, a command corresponding to the setting of the button that has received the input is transmitted to the control unit 5. For example, when a button corresponding to the send button 36 is pressed, the created e-mail is sent to the other party designated as the destination of the attribute display unit 40. When the button corresponding to the recording button 32 is pressed, the recording function is activated and recording of the voice is started ((2a) in FIG. 4). Further, when the button corresponding to the menu button 33 is pressed and the voice data selection mode is selected, the screen changes to the voice data selection mode, and a list of the voice data 70 is displayed in the mail text display section 30 of the display section 11. ((2b) in FIG. 4).

図４の（２ａ）では、例えば、ユーザが発した発声の音等の音声を録音する。ここでは、ユーザがマイク２１（図３参照）に向かって「大好き！」と発している様子が示されている。なお、録音ボタン３２に対応したボタンを押下している間は音声を録音する構成としてもよいし、録音ボタン３２に対応したボタンを一度押下すると録音ボタン３２が表示されていた場所に停止ボタンが表示され、停止ボタンに対応したボタンを押下することにより、録音を停止する構成としてもよい。音声を録音することにより、音声データ７０が生成される。この図４の例では、「大好き！」と発した声が「００１．ｍｍｆ」という名前の音声データ７０として記憶される。   In (2a) of FIG. 4, for example, a voice such as a voice uttered by the user is recorded. Here, it is shown that the user is uttering “I love you” toward the microphone 21 (see FIG. 3). The voice may be recorded while the button corresponding to the recording button 32 is being pressed, or when the button corresponding to the recording button 32 is pressed once, a stop button is displayed at the place where the recording button 32 was displayed. The recording may be stopped by pressing a button displayed and corresponding to the stop button. Audio data 70 is generated by recording the audio. In the example of FIG. 4, a voice uttered “I love you!” Is stored as voice data 70 named “001.mmf”.

図４の（２ｂ）では、記憶部１０に記憶された音声データ群７１の一覧がメール本文表示部３０に表示されている。そして、「大好き！．ｍｍｆ」という音声データ７０がカーソル３５により選択されている。このカーソル３５は、操作部１２のキーの操作に応じて上下に移動することができる。また、操作説明表示部３１には、操作説明が表示されている。各種ボタン表示部４１の中央に配置された決定ボタン３４に対応したボタンを押下すると、選択されている「大好き！．ｍｍｆ」の音声データ７０が埋め込む音声データとして決定される。本実施例では、音声データ７０としてｍｍｆ拡張子のデータを用いているが、ｍｍｆ拡張子で作成されたものに限らない。なお、ｍｍｆ拡張子は、携帯電話向けに開発したマルチメディアデータ形式であるＳＭＡＦ（Ｓｙｎｔｈｅｔｉｃ ｍｕｓｉｃ Ｍｏｂｉｌｅ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）のデータファイルに付く拡張子であり、一部の携帯電話サービスで着信メロディの配信等に用いられているものである。   In (2b) of FIG. 4, a list of voice data groups 71 stored in the storage unit 10 is displayed on the mail text display unit 30. Then, the voice data 70 “love! .Mmf” is selected by the cursor 35. The cursor 35 can be moved up and down according to the operation of the keys of the operation unit 12. The operation explanation display unit 31 displays an operation explanation. When a button corresponding to the determination button 34 arranged in the center of the various button display portions 41 is pressed, the selected “love! .Mmf” audio data 70 is determined as the audio data to be embedded. In the present embodiment, the data with the mmf extension is used as the audio data 70, but the data is not limited to those created with the mmf extension. The mmf extension is an extension attached to the data file of SMAF (Synthetic Music Mobile Application Format), a multimedia data format developed for mobile phones. It is used.

音声データ７０が生成（図４の（２ａ））され、もしくは選択（図４の（２ｂ））されると、表示部１１には、メール本文表示部３０上にカーソル３５が表示されると同時に、操作説明表示部３１には、埋め込み場所を指定する旨の操作説明が表示される（図４の（３））。ユーザは、操作部１２を介してカーソル３５を上下左右に移動させ、音声ファイルの埋め込み場所を決定する。決定は、決定ボタン３４に対応したボタンを押下することにより行われる。   When the voice data 70 is generated ((2a) in FIG. 4) or selected ((2b) in FIG. 4), the cursor 35 is displayed on the mail body display unit 30 on the display unit 11 at the same time. The operation explanation display unit 31 displays an operation explanation for designating an embedding location ((3) in FIG. 4). The user moves the cursor 35 up, down, left, and right via the operation unit 12 to determine the location where the audio file is to be embedded. Determination is performed by pressing a button corresponding to the determination button 34.

音声データ７０の埋め込み場所を決定すると、メール本文表示部３０には絵文字のアイコン一覧が表示される（図４の（４））。ここで、音声データ７０と関連付けて記憶する文字データ７２を選択する。この図４の（４）の例では、カーソル３５によりハートマークの絵文字が選択されている。ユーザは、操作部１２のキー操作を介して、カーソル３５を上下左右に移動させることができる。そして、決定ボタン３４に対応したボタンを押下することにより、カーソル３５で指定された絵文字のアイコンが決定される。   When the embedding location of the audio data 70 is determined, an icon list of pictographs is displayed on the mail body display unit 30 ((4) in FIG. 4). Here, the character data 72 to be stored in association with the voice data 70 is selected. In the example of (4) of FIG. 4, a heart mark pictogram is selected by the cursor 35. The user can move the cursor 35 up, down, left, and right through the key operation of the operation unit 12. Then, by pressing a button corresponding to the determination button 34, the icon of the pictogram designated by the cursor 35 is determined.

音声データ７０を埋め込む絵文字を決定すると、表示部１１には、メール本文表示部３０上に選択した絵文字の文字データ７２が表示される（図４の（５））。この例によると、メール本文表示部３０に表示された文字データ７２であるハートマークの絵文字に、音声データ７０である「大好き！」を関連付けて記憶部１０に記憶する。以降、図４の（１）から図４の（５）の処理を繰り返すことにより、メール本文中に複数箇所の音声データ７０を、文字データ７２と関連付けて埋め込むことができる。   When the pictograph to embed the audio data 70 is determined, the display unit 11 displays the character data 72 of the selected pictograph on the mail body display unit 30 ((5) in FIG. 4). According to this example, the heart mark pictogram, which is the character data 72 displayed on the mail text display unit 30, is associated with the voice data 70 “I love!” And stored in the storage unit 10. Thereafter, by repeating the processing from (1) in FIG. 4 to (5) in FIG. 4, the voice data 70 at a plurality of locations can be embedded in the mail body in association with the character data 72.

［電子メール再生処理の実施例］
図５は、本発明の好適な実施形態の一例に係る端末１での電子メールの再生処理の流れの概略を示す図である。まず図５の（１）では、表示部１１に受信した電子メールが表示されている。この電子メールが受信したものであるか否かは、属性表示部４０のメールアドレスが記述されている箇所が差出人であることからも判別できる。 [Example of e-mail playback processing]
FIG. 5 is a diagram showing an outline of the flow of an e-mail reproduction process in the terminal 1 according to an example of the preferred embodiment of the present invention. First, in (1) of FIG. 5, the received e-mail is displayed on the display unit 11. Whether or not this e-mail has been received can also be determined from the fact that the location where the e-mail address of the attribute display section 40 is described is the sender.

メール本文表示部３０には、「私はアナタの事が」と「なのです！」の間にハートマークの絵文字である文字データ７２が記述されたメール本文が表示されている。また、操作説明表示部３１には、このメールの説明として、音声が埋め込まれているメールである旨が表示されている。ユーザは、操作説明表示部３１を見て、再生方法を決定することができる。   The mail text display section 30 displays a mail text in which character data 72, which is a pictograph of a heart symbol, is described between “I am yours” and “What is it!”. Further, the operation explanation display unit 31 displays, as an explanation of the mail, that the mail is an embedded voice. The user can determine the playback method by looking at the operation explanation display unit 31.

図５の（２）は、カーソル３５を絵文字の部分に移動させて、選択ボタン３７に対応したボタンを押下した場合を示す。操作説明表示部３１には、選択ボタンで再生する旨の操作説明が表示されている。そのため、ユーザは、操作部１２を操作することにより、カーソル３５を絵文字の部分に移動させ、そこで、選択ボタン３７に対応したボタンを押下する。すると、スピーカ２２（図３参照）から「大好き！」との音声データ７０が出力されるのである。   (2) of FIG. 5 shows a case where the cursor 35 is moved to the pictogram portion and the button corresponding to the selection button 37 is pressed. The operation explanation display unit 31 displays an operation explanation for reproduction by the selection button. Therefore, the user moves the cursor 35 to the pictogram portion by operating the operation unit 12, and presses the button corresponding to the selection button 37 there. Then, the audio data 70 “I love you!” Is output from the speaker 22 (see FIG. 3).

他方、図５の（１）でメニューボタン３３に対応したボタンを押下し、専用の自動読み取りビューアを起動させると（図５の（３））、図５の（４）の画面が表示部１１に表示される。そこで、各種ボタン表示部４１の中央に配置された再生ボタン３８に対応したボタンを押下すると、メール本文表示部３０にメール本文の文字を一文字ずつ順番に表示していく（図５の（５））。その間、操作説明表示部３１には「再生中。」と表示され、再生ボタン３８の箇所には停止ボタン３９が表示される。なお、専用自動読み取りビューアは、端末１に予め製品として組み込まれているものを用いる。もしくは、専用自動読み取りビューアを、インターネットのサイトからダウンロード等して予め取り込んでおいてもよい。   On the other hand, when a button corresponding to the menu button 33 in FIG. 5A is pressed to activate a dedicated automatic reading viewer (FIG. 5C), the screen in FIG. 5D is displayed on the display unit 11. Is displayed. Therefore, when a button corresponding to the playback button 38 arranged at the center of the various button display portions 41 is pressed, the characters of the mail text are displayed one by one on the mail text display section 30 ((5) in FIG. 5). ). Meanwhile, “Now playing” is displayed on the operation explanation display unit 31, and a stop button 39 is displayed at the position of the playback button 38. Note that the dedicated automatic reading viewer is preinstalled in the terminal 1 as a product. Alternatively, a dedicated automatic reading viewer may be downloaded in advance from an Internet site and captured in advance.

そして、音声データ７０が埋め込まれた文字データ７２である絵文字が表示されると同時に、音声データ７０が再生されて「大好き！」との音声がスピーカ２２（図３参照）から出力される（図５の（６））。その後、メール本文表示部３０には、更に続きの電子メール本文が表示され、再生が終了する。すると、操作説明表示部３１には「再生終了。」と表示されて再生が終了した旨が表示される。また、各種ボタン表示部４１の中央に配置されていた停止ボタン３９が、再生ボタン３８に変更される。この図５の（７）で再生ボタン３８に対応したボタンを押下すると、図５の（５）から図５の（７）と同様な再生を再度行う。   Then, at the same time as the pictograms, which are the character data 72 in which the audio data 70 is embedded, are displayed, the audio data 70 is reproduced and the voice “I love you!” Is output from the speaker 22 (see FIG. 3) (see FIG. 3). 5 (6)). Thereafter, a further e-mail text is displayed on the mail text display unit 30 and the reproduction ends. Then, the operation explanation display unit 31 displays “Reproduction finished” to indicate that the reproduction is finished. In addition, the stop button 39 arranged at the center of the various button display portions 41 is changed to a play button 38. When the button corresponding to the playback button 38 is pressed in (7) of FIG. 5, the same playback as in (5) to (7) of FIG. 5 is performed again.

このように、図５の（２）の画面において、何度も選択ボタン３７を押下することにより、又は、図５の（４）の画面において、何度も再生ボタン３８を押下して専用自動読み取りビューアを再生させることにより、何度でも文字データ７２に関連付けられた音声データ７０を再生することができ、ユーザは、何度でも音声を聞くことができる。   In this way, by pressing the selection button 37 many times on the screen (2) in FIG. 5 or by pressing the play button 38 many times on the screen (4) in FIG. By reproducing the reading viewer, the audio data 70 associated with the character data 72 can be reproduced any number of times, and the user can listen to the sound any number of times.

［送信側の端末のフローチャート］
図６は、本発明の好適な実施形態の一例に係る電子メール送信側の端末１の処理を示すフローチャートである。まず、ユーザは、操作部１２を操作することにより、電子メール本文を作成する。ステップＳ１１では、端末１の制御部５は、電子メール本文を作成できる画面を表示部１１に表示させると共に、操作部１２からの操作を受け付け、操作に応じた文字データ７２を表示部１１に表示させる。その後、制御部５は、処理をステップＳ１２に移す。 [Flowchart of sending terminal]
FIG. 6 is a flowchart showing the processing of the terminal 1 on the e-mail transmission side according to an example of the preferred embodiment of the present invention. First, the user creates an e-mail text by operating the operation unit 12. In step S <b> 11, the control unit 5 of the terminal 1 displays a screen on which the e-mail text can be created on the display unit 11, accepts an operation from the operation unit 12, and displays character data 72 corresponding to the operation on the display unit 11. Let Thereafter, the control unit 5 moves the process to step S12.

ステップＳ１２では、制御部５は、音声をユーザが作成するか否かを判断する。具体的には、ユーザによる操作部１２の操作に応じて判断する。音声をユーザが作成する場合（ステップＳ１２の処理でＹＥＳが判断される場合）には、制御部５は、処理をステップＳ１３に移す。他方、音声をユーザが作成しない場合（ステップＳ１２の処理でＮＯが判断される場合）には、制御部５は、処理をステップＳ１５に移す。   In step S12, the control unit 5 determines whether or not the user creates a voice. Specifically, the determination is made according to the operation of the operation unit 12 by the user. When the user creates a sound (when YES is determined in the process of step S12), the control unit 5 moves the process to step S13. On the other hand, when the user does not create a voice (when NO is determined in the process of step S12), the control unit 5 moves the process to step S15.

ステップＳ１３では、制御部５は、例えば、マイク２１に向かってユーザが発声した音声を、音声入力部１６から音声データ７０として入力する。なお、入力する音声データ７０は、ユーザが発声した音声に限らない。街中の音等、意味のある言葉でなくてもよい。その後、制御部５は、処理をステップＳ１４に移す。
ステップＳ１４では、制御部５は、ステップＳ１３で入力した音声データ７０を記憶部１０に記憶する。その後、制御部５は、処理をステップＳ１７に移す。 In step S <b> 13, for example, the control unit 5 inputs the voice uttered by the user toward the microphone 21 as the voice data 70 from the voice input unit 16. The voice data 70 to be input is not limited to the voice uttered by the user. It does not have to be meaningful words such as city sounds. Then, the control part 5 moves a process to step S14.
In step S14, the control unit 5 stores the audio data 70 input in step S13 in the storage unit 10. Thereafter, the control unit 5 moves the process to step S17.

他方、ステップＳ１５では、操作部１２が受け付けた入力により、制御部５は、記憶部１０に記憶された音声データ７０の一覧である音声データ群７１を、表示部１１に表示させる。その後、制御部５は、処理をステップＳ１６に移す。
ステップＳ１６では、制御部５（音声データ選択手段５１）は、ステップＳ１５により表示部１１に表示された音声データ群７１から、操作部１２を介して一つの音声データ７０の選択を受け付ける。その後、制御部５は、処理をステップＳ１７に移す。
ステップＳ１７では、制御部５（埋め込み場所指定手段５２）は、音声データ７０の埋め込み場所を指定する。その後、制御部５は、処理をステップＳ１８に移す。 On the other hand, in step S <b> 15, the control unit 5 causes the display unit 11 to display the audio data group 71 that is a list of the audio data 70 stored in the storage unit 10 by the input received by the operation unit 12. Thereafter, the control unit 5 moves the process to step S16.
In step S <b> 16, the control unit 5 (audio data selection unit 51) accepts selection of one audio data 70 via the operation unit 12 from the audio data group 71 displayed on the display unit 11 in step S <b> 15. Thereafter, the control unit 5 moves the process to step S17.
In step S <b> 17, the control unit 5 (embedding location designating unit 52) designates the embedding location of the audio data 70. Thereafter, the control unit 5 moves the process to step S18.

ステップＳ１８では、制御部５（文字データ選択手段５３）は、音声データ７０に関連付ける文字データ７２を選択する。音声データ７０に関連付ける文字データ７２としては、通常の文字の他、絵文字であってもよい。また、文字データ７２は一文字であってもよいし、複数文字であってもよい。また、図４の（４）に示すように文字データ７２を選択する他、直接文字データ７２を入力するようにしてもよい。その後、制御部５は、処理をステップＳ１９に移す。   In step S <b> 18, the control unit 5 (character data selection unit 53) selects character data 72 associated with the voice data 70. The character data 72 associated with the audio data 70 may be a pictograph in addition to a normal character. The character data 72 may be a single character or a plurality of characters. In addition to selecting the character data 72 as shown in (4) of FIG. 4, the character data 72 may be directly input. Thereafter, the control unit 5 moves the process to step S19.

ステップＳ１９では、制御部５は、後述の図７にて説明する各種設定処理を行う。その後、制御部５は、処理をステップＳ２０に移す。
ステップＳ２０では、制御部５（通信出力手段５０）は、音声データ７０が関連付けられた文字データ７２を含む、作成した電子メールを通信Ｉ／Ｆ部１５を介して送信する。その後、制御部５は、本処理を終了する。 In step S19, the control unit 5 performs various setting processes described later with reference to FIG. Thereafter, the control unit 5 moves the process to step S20.
In step S <b> 20, the control unit 5 (communication output unit 50) transmits the created electronic mail including the character data 72 associated with the voice data 70 via the communication I / F unit 15. Then, the control part 5 complete | finishes this process.

本処理により、文字データ７２に音声データ７０を関連付けた電子メールを作成し、送信することができる。よって、電子メールを受信した端末１に、音声データ７０を予め有していなくても、電子メールに含む音声データ７０により、音声を再生することができる。また、文字データ７２を異なる文字とした場合に、同じ音声データ７０を関連付けたり、文字データ７２を同じ文字とした場合に、異なる音声データ７０を関連付けたり、と、様々な文字データ７２と音声データ７０の組み合わせの電子メールを送信することができる。   By this processing, an e-mail in which the voice data 70 is associated with the character data 72 can be created and transmitted. Therefore, even if the terminal 1 that has received the e-mail does not have the audio data 70 in advance, the audio can be reproduced by the audio data 70 included in the e-mail. Further, when the character data 72 is a different character, the same voice data 70 is associated, and when the character data 72 is the same character, the different voice data 70 is associated, and various character data 72 and the voice data. 70 combinations of emails can be sent.

図７は、上述の図６で呼び出される各種設定処理を示すフローチャートである。まず、ステップＳ１１１では、制御部５（再生回数設定手段５４）は、後述の図８で説明する再生回数設定処理を行う。その後、制御部５は、処理をステップＳ１１２に移す。
ステップＳ１１２では、制御部５（転送制限設定手段５６）は、転送制限の設定を行う。具体的には、電子メールを受信した端末１が、電子メールの転送を行う際に、音声データ７０の転送を許可するか否かを電子メールに設定する処理を行う。その後、制御部５は、処理をステップＳ１１３に移す。
ステップＳ１１３では、制御部５（時期設定手段５７）は、時期の設定を行う。具体的には、電子メールを受信した端末１が、電子メールに含む音声データ７０を再生可能な時期を電子メールに設定する処理を行う。その後、制御部５は、処理をステップＳ１１４に移す。
ステップＳ１１４では、制御部５（副次的処理設定手段５８）は、副次的処理の設定を行う。具体的には、制御部５（副次的処理設定手段５８）が、音声データ７０の再生と共に、バイブレータ部１３に振動を発生させたり、発光部１４や、バックライト部１８に発光させる出力を行うように、電子メールに設定する処理を行う。また、文字データ７２の種類に応じてバックライト部１８の発光を経時的に変化させる発光パターンを有するようにし、バックライト部１８は、発光パターンにより発光するようにしてもよい。その後、制御部５は、本処理を終了する。 FIG. 7 is a flowchart showing various setting processes called up in FIG. First, in step S111, the control unit 5 (reproduction count setting means 54) performs a reproduction count setting process described later with reference to FIG. Thereafter, the control unit 5 moves the process to step S112.
In step S112, the control unit 5 (transfer restriction setting means 56) sets transfer restrictions. Specifically, the terminal 1 that has received the e-mail performs a process of setting whether or not to permit the transfer of the voice data 70 to the e-mail when the e-mail is transferred. Thereafter, the control unit 5 moves the process to step S113.
In step S113, the control unit 5 (time setting means 57) sets the time. Specifically, the terminal 1 that has received the e-mail performs a process of setting the e-mail to a time when the voice data 70 included in the e-mail can be reproduced. Thereafter, the control unit 5 moves the process to step S114.
In step S114, the control unit 5 (secondary process setting means 58) sets a secondary process. Specifically, the control unit 5 (secondary processing setting unit 58) generates an output for causing the vibrator unit 13 to vibrate or for causing the light emitting unit 14 or the backlight unit 18 to emit light as the audio data 70 is reproduced. As in the case of e-mail, the process for setting the e-mail is performed. In addition, the backlight unit 18 may have a light emission pattern that changes the light emission of the backlight unit 18 over time according to the type of the character data 72, and the backlight unit 18 may emit light by the light emission pattern. Then, the control part 5 complete | finishes this process.

なお、各種設定処理は、上述のものの他、例えば、受信側の端末１が電子メールを受信し、音声データ７０を再生した後に、当該音声データ７０を削除する設定を行うことも可能である。このように副次的処理は、各種のバリエーションが考えられる。   In addition to the above-described various setting processes, for example, it is possible to perform a setting for deleting the audio data 70 after the receiving terminal 1 receives the e-mail and reproduces the audio data 70. As described above, various variations of the secondary processing can be considered.

図８は、上述の図７で呼び出される再生回数設定処理を示すフローチャートである。まず、ステップＳ１２１では、制御部５（再生回数設定手段５４）は、音声データ７０を再生する回数として回数ｎを設定する。回数ｎは、操作部１２からの入力により設定してもよいし、予め定められたものであってもよい。その後、制御部５（再生回数設定手段５４）は、処理をステップＳ１２２に移す。   FIG. 8 is a flowchart showing the number-of-plays setting process called in FIG. First, in step S121, the control unit 5 (reproduction count setting means 54) sets the number n as the number of times the audio data 70 is reproduced. The number n may be set by an input from the operation unit 12 or may be determined in advance. Thereafter, the control unit 5 (reproduction count setting means 54) moves the process to step S122.

ステップＳ１２２では、制御部５（再生回数設定手段５４）は、再生回数に応じて音声データ７０を変更するか否かを判断する。再生回数に応じて音声データ７０を変更する場合（ステップＳ１２２の処理でＹＥＳが判断される場合）には、制御部５（再生回数設定手段５４）は、処理をステップＳ１２３に移す。他方、再生回数に応じて音声データ７０を変更しない場合（ステップＳ１２２の処理でＮＯが判断される場合）には、制御部５（再生回数設定手段５４）は、本処理を終了する。   In step S122, the control unit 5 (reproduction count setting means 54) determines whether or not to change the audio data 70 in accordance with the reproduction count. When the audio data 70 is changed according to the number of times of reproduction (when YES is determined in the process of step S122), the control unit 5 (reproduction number setting means 54) moves the process to step S123. On the other hand, when the audio data 70 is not changed according to the number of times of reproduction (when NO is determined in the process of step S122), the control unit 5 (the number of times of reproduction setting means 54) ends this process.

ステップＳ１２３では、制御部５（再生回数設定手段５４）は、カウンタＣに１をセットする。その後、制御部５（再生回数設定手段５４）は、処理をステップＳ１２４に移す。
ステップＳ１２４では、制御部５（再生回数設定手段５４）は、カウンタＣの値が設定した回数ｎを超えているか否かを判断する。カウンタＣの値が回数ｎを超えている場合（ステップＳ１２４の処理でＹＥＳが判断される場合）には、制御部５（再生回数設定手段５４）は、再生回数の設定が済んだものとして、本処理を終了する。他方、カウンタＣの値が設定した回数ｎを超えていない場合（ステップＳ１２４の処理でＮＯが判断される場合）には、制御部５（再生回数設定手段５４）は、処理をステップＳ１２５に移す。 In step S123, the control unit 5 (reproduction count setting means 54) sets 1 to the counter C. Thereafter, the controller 5 (reproduction count setting means 54) moves the process to step S124.
In step S124, the control unit 5 (reproduction count setting means 54) determines whether or not the value of the counter C exceeds the set count n. When the value of the counter C exceeds the number n (when YES is determined in the process of step S124), the control unit 5 (reproduction number setting means 54) assumes that the number of reproductions has been set. This process ends. On the other hand, when the value of the counter C does not exceed the set number n (when NO is determined in the process of step S124), the control unit 5 (reproduction count setting means 54) moves the process to step S125. .

ステップＳ１２５では、制御部５（再生回数設定手段５４）は、Ｃ回目に再生される音声データ７０を変更するか否かを判断する。具体的には、操作部１２から入力された変更データに基づき、音声データ７０を変更するか否かを判断する。Ｃ回目に再生される音声データ７０を変更する場合（ステップＳ１２５の処理でＹＥＳが判断される場合）には、制御部５（再生回数設定手段５４）は、処理をステップＳ１２６に移す。Ｃ回目に再生される音声データ７０を変更しない場合（ステップＳ１２５の処理でＮＯが判断される場合）には、制御部５（再生回数設定手段５４）は、処理をステップＳ１２８に移す。   In step S125, the control unit 5 (reproduction count setting means 54) determines whether or not to change the audio data 70 reproduced for the Cth time. Specifically, it is determined whether or not the audio data 70 is to be changed based on the change data input from the operation unit 12. When changing the audio data 70 reproduced at the C-th time (when YES is determined in the process of step S125), the control unit 5 (reproduction count setting means 54) moves the process to step S126. When the audio data 70 reproduced at the C-th time is not changed (when NO is determined in the process of step S125), the control unit 5 (reproduction count setting means 54) moves the process to step S128.

ステップＳ１２６では、制御部５（再生回数設定手段５４）は、音声データを入力する。具体的には、音声入力部１６から音声データ７０を入力するか、又は記憶部１０に記憶された音声データ群７１から音声データ７０を選択する。その後、制御部５（再生回数設定手段５４）は、処理をステップＳ１２７に移す。
ステップＳ１２７では、制御部５（音声データ設定手段５５）は、入力した音声データ７０を、カウンタＣ及び音声データ７０に関連付けた文字データ７２と共に、電子メールに設定する。その後、制御部５（再生回数設定手段５４）は、処理をステップＳ１２８に移す。 In step S126, the control unit 5 (reproduction count setting means 54) inputs audio data. Specifically, the audio data 70 is input from the audio input unit 16 or the audio data 70 is selected from the audio data group 71 stored in the storage unit 10. Thereafter, the control unit 5 (reproduction count setting means 54) moves the process to step S127.
In step S127, the control unit 5 (voice data setting means 55) sets the inputted voice data 70 together with the counter C and the character data 72 associated with the voice data 70 in an e-mail. Thereafter, the control unit 5 (reproduction count setting means 54) moves the process to step S128.

ステップＳ１２８では、制御部５（再生回数設定手段５４）は、カウンタＣの値に１を加算する。その後、制御部５（再生回数設定手段５４）は、処理をステップＳ１２４に移し、カウンタＣの値が回数ｎを超えるまで、ステップＳ１２５からステップＳ１２８の処理を行う。   In step S128, the control unit 5 (reproduction count setting means 54) adds 1 to the value of the counter C. Thereafter, the control unit 5 (reproduction count setting means 54) shifts the processing to step S124, and performs the processing from step S125 to step S128 until the value of the counter C exceeds the count n.

本処理により、文字データ７２に関連付けた音声データ７０の再生可能な回数を設定できる。更に、再生回数に応じて、様々な音声を出力するように設定することができる。よって、電子メールを送信するユーザの意図に応じた、音声データ７０の設定を行うことができる。   With this processing, the number of times that the audio data 70 associated with the character data 72 can be reproduced can be set. Furthermore, it can be set to output various sounds according to the number of times of reproduction. Therefore, the audio data 70 can be set according to the intention of the user who transmits the e-mail.

［受信側の端末のフローチャート］
図９は、本発明の好適な実施形態の一例に係る電子メール受信側の端末１の処理を示すフローチャートである。まず、ステップＳ３１では、制御部５は、通信Ｉ／Ｆ部１５を介して電子メールを受信する。その後、制御部５は、処理をステップＳ３２に移す。
ステップＳ３２では、制御部５は、操作部１２からの入力を受け付け、ステップＳ３１で受信した電子メール本文を表示部１１に表示させる。その際、制御部５は、バックライト部１８に表示部１１の背面から照明させるようにしてもよい。その後、制御部５は、処理をステップＳ３３に移す。 [Flowchart of receiving terminal]
FIG. 9 is a flowchart showing processing of the terminal 1 on the e-mail receiving side according to an example of the preferred embodiment of the present invention. First, in step S <b> 31, the control unit 5 receives an e-mail via the communication I / F unit 15. Thereafter, the control unit 5 moves the process to step S32.
In step S32, the control unit 5 receives an input from the operation unit 12, and causes the display unit 11 to display the e-mail text received in step S31. In that case, you may make it the control part 5 make the backlight part 18 illuminate from the back surface of the display part 11. FIG. Thereafter, the control unit 5 moves the process to step S33.

ステップＳ３３では、制御部５は、操作部１２の入力により、電子メール専用のビューアを起動したか否かを判断する。専用ビューアとは、電子メールの本文を自動で１文字ずつ表示させ、音声データ７０と関連付けた文字データ７２を表示させると共に、音声データ７０を再生する機能のついた専用の表示プログラムである。専用のビューアを起動した場合（ステップＳ３３の処理でＹＥＳが判断される場合）には、制御部５は、処理をステップＳ３８に移す。他方、専用のビューアを起動しない場合（ステップＳ３３の処理でＮＯが判断される場合）には、制御部５は、処理をステップＳ３４に移す。   In step S <b> 33, the control unit 5 determines whether or not a viewer dedicated to e-mail is activated by an input from the operation unit 12. The dedicated viewer is a dedicated display program having a function of automatically displaying the text of the e-mail one character at a time, displaying the character data 72 associated with the voice data 70, and reproducing the voice data 70. When the dedicated viewer is activated (when YES is determined in the process of step S33), the control unit 5 moves the process to step S38. On the other hand, when the dedicated viewer is not activated (NO in the process of step S33), the control unit 5 moves the process to step S34.

ステップＳ３４では、制御部５は、ユーザにより電子メール本文中の文字データ７２を選択したか否かを、操作部１２からの入力を受け付けることにより判断する。ここで、文字データ７２を選択するとは、例えば、文字データ７２にカーソルを当ててクリックする動作を行うことを示す。ユーザにより、電子メール本文中の文字データ７２が選択された場合（ステップＳ３４の処理でＹＥＳが判断される場合）には、制御部５は、処理をステップＳ３５に移す。他方、ユーザにより、電子メール本文中の文字データ７２が選択されなかった場合（ステップＳ３４の処理でＮＯが判断される場合）には、制御部５は、音声データ７０を再生することなく本処理を終了する。   In step S <b> 34, the control unit 5 determines whether or not the user has selected the character data 72 in the e-mail body by receiving an input from the operation unit 12. Here, selecting the character data 72 indicates, for example, performing an operation of placing the cursor on the character data 72 and clicking. When the character data 72 in the e-mail body is selected by the user (when YES is determined in the process of step S34), the control unit 5 moves the process to step S35. On the other hand, when the character data 72 in the e-mail body is not selected by the user (when NO is determined in the process of step S34), the control unit 5 performs this process without reproducing the audio data 70. Exit.

ステップＳ３５では、制御部５は、音声データ７０の出力条件が合致しているか否かを判断する。音声データ７０の出力条件が合致しているか否かとは、具体的には、再生回数に制限がある場合に、再生可能な回数を満たしているか否か、及び音声データ７０の再生時期が設定されている場合に、再生時期の条件を満たしているか否か、等を示す。音声データ７０の出力条件が合致している場合（ステップＳ３５の処理でＹＥＳが判断される場合）には、制御部５は、処理をステップＳ３６に移す。他方、音声データ７０の出力条件が合致していない場合（ステップＳ３５の処理でＮＯが判断される場合）には、制御部５は、本処理を終了する。   In step S35, the control unit 5 determines whether or not the output condition of the audio data 70 is met. Specifically, whether or not the output condition of the audio data 70 is met is determined by whether or not the reproducible number of times is satisfied and the reproduction time of the audio data 70 when the number of reproductions is limited. If it is, whether or not the reproduction time condition is satisfied is indicated. When the output condition of the audio data 70 is met (when YES is determined in the process of step S35), the control unit 5 moves the process to step S36. On the other hand, when the output condition of the audio data 70 is not met (when NO is determined in the process of step S35), the control unit 5 ends this process.

ステップＳ３６では、制御部５（音声データ出力手段５９）は、文字データ７２に対応する音声データ７０を音声出力部１７に対して出力させる。その後、制御部５は、処理をステップＳ３７に移す。
ステップＳ３７では、制御部５は、端末１に関する各種の副次的処理を行う。具体的には、上述の図７のステップＳ１１４で設定したものであり、制御部５（副次的処理設定手段５８）が、音声データ７０の再生と共に、バイブレータ部１３に振動を発生させたり、発光部１４やバックライト部１８に発光させる出力を行う。その後、制御部５は、本処理を終了する。 In step S <b> 36, the control unit 5 (voice data output unit 59) causes the voice output unit 17 to output voice data 70 corresponding to the character data 72. Thereafter, the control unit 5 moves the process to step S37.
In step S <b> 37, the control unit 5 performs various secondary processes related to the terminal 1. Specifically, it is set in step S114 of FIG. 7 described above, and the control unit 5 (secondary processing setting unit 58) causes the vibrator unit 13 to generate vibrations along with the reproduction of the audio data 70, An output for causing the light emitting unit 14 and the backlight unit 18 to emit light is performed. Then, the control part 5 complete | finishes this process.

他方、ステップＳ３３で専用ビューアを起動した場合、ステップＳ３８では、制御部５は、音声データ７０の出力条件が合致しているか否かを判断する。音声データ７０の出力条件が合致している場合（ステップＳ３８の処理でＹＥＳが判断される場合）には、制御部５は、処理をステップＳ３９に移す。他方、音声データ７０の出力条件が合致していない場合（ステップＳ３８の処理でＮＯが判断される場合）には、制御部５は、処理をステップＳ４０に移す。   On the other hand, when the dedicated viewer is activated in step S33, in step S38, the control unit 5 determines whether or not the output condition of the audio data 70 is met. When the output condition of the audio data 70 is met (when YES is determined in the process of step S38), the control unit 5 moves the process to step S39. On the other hand, when the output condition of the audio data 70 does not match (NO is determined in the process of step S38), the control unit 5 moves the process to step S40.

ステップＳ３９では、制御部５（文字データ表示手段６０、音声データ出力手段５９）は、電子メール本文を音声付きで自動で表示出力する。具体的には、制御部５（文字データ表示手段６０）が、表示部１１に電子メールの文字データを順次表示させると同時に、制御部５（音声データ出力手段５９）が、文字データに関連付けた音声データ７０を、文字データ７２が表示させるタイミングで音声出力部１７に出力させる。その際、バックライト部１８を発光させるようにしてもよい。その後、制御部５は、本処理を終了する。   In step S39, the control unit 5 (character data display means 60, voice data output means 59) automatically displays and outputs the e-mail text with voice. Specifically, the control unit 5 (character data display unit 60) causes the display unit 11 to sequentially display the character data of the e-mail, and the control unit 5 (voice data output unit 59) associates the character data with the character data. The voice data 70 is output to the voice output unit 17 at the timing when the character data 72 is displayed. At that time, the backlight unit 18 may emit light. Then, the control part 5 complete | finishes this process.

他方、ステップＳ４０では、制御部５（文字データ表示手段６０）は、電子メール本文を、音声を出力することなく自動で表示する。具体的には、制御部５（文字データ表示手段６０）が、表示部１１に電子メールの文字データ７２を順次表示させる。その後、制御部５は、本処理を終了する。   On the other hand, in step S40, the control unit 5 (character data display means 60) automatically displays the electronic mail text without outputting voice. Specifically, the control unit 5 (character data display means 60) causes the display unit 11 to sequentially display the e-mail character data 72. Then, the control part 5 complete | finishes this process.

本処理により、電子メールを受信した端末１で、文字データ７２に関連付いた音声データ７０の音声を、文字の出力に応じて、又はユーザによる文字の選択により聞くことができる。また、出力する音声を再生した回数により変化させたり、条件に合致した場合のみ音声を出力したり、と、様々なバリエーションの出力を行うことができる。   With this process, the voice of the voice data 70 associated with the character data 72 can be heard at the terminal 1 that has received the e-mail according to the output of the character or by the user selecting a character. Also, it is possible to output various variations such as changing the output sound according to the number of times of reproduction, or outputting the sound only when the condition is met.

［受信側の端末の電子メール転送のフローチャート］
図１０は、本発明の好適な実施形態の一例に係る電子メール受信側の端末１での電子メール転送時の処理を示すフローチャートである。まず、ステップＳ５１では、制御部５は、電子メールの転送をするために、電子メールを作成するための操作を操作部１２から受け付ける。具体的には、例えば、図５の（１）に示すメニューボタン３３に対応したボタンを押下することにより、転送メールの作成を可能とする。その後、制御部５は、処理をステップＳ５２に移す。 [Flowchart of e-mail transfer of receiving terminal]
FIG. 10 is a flowchart showing processing at the time of e-mail transfer in the terminal 1 on the e-mail receiving side according to an example of the preferred embodiment of the present invention. First, in step S51, the control unit 5 receives an operation for creating an e-mail from the operation unit 12 in order to transfer the e-mail. Specifically, for example, a forwarded mail can be created by pressing a button corresponding to the menu button 33 shown in (1) of FIG. Thereafter, the control unit 5 moves the process to step S52.

ステップＳ５２では、制御部５（転送許否決定手段６１）は、電子メール転送を許可するか否かを判断する。具体的には、音声データ７０に含む電子メールの転送を許可するか否かを示す転送許否データの内容に基づき、音声データ７０付きの電子メールの転送を許可するか否かを判断する。電子メールの転送を許可する場合（ステップＳ５２の処理でＹＥＳが判断される場合）には、制御部５は、処理をステップＳ５３に移す。他方、電子メールの転送を拒否する場合（ステップＳ５２の処理でＮＯが判断される場合）には、制御部５は、処理をステップＳ５４に移す。
ステップＳ５３では、制御部５は、音声データ７０を文字データ７２と関連付けた転送メールを作成する。その後、制御部５は、処理をステップＳ５８に移す。 In step S52, the control unit 5 (transfer permission / non-permission determination means 61) determines whether or not to permit e-mail transfer. Specifically, based on the content of the transfer permission / refusal data indicating whether or not the transfer of the electronic mail included in the voice data 70 is permitted, it is determined whether or not the transfer of the electronic mail with the voice data 70 is permitted. When the transfer of the e-mail is permitted (when YES is determined in the process of step S52), the control unit 5 moves the process to step S53. On the other hand, when rejecting the transfer of the e-mail (when NO is determined in the process of step S52), the control unit 5 moves the process to step S54.
In step S <b> 53, the control unit 5 creates a transfer mail in which the voice data 70 is associated with the character data 72. Thereafter, the control unit 5 moves the process to step S58.

他方、ステップＳ５４では、制御部５（音声データ判断手段６２）は、転送メールの音声データ７０はサーバからダウンロードしたものであるか否かを判断する。具体的には、転送元の音声データ７０に含む提供元を示す提供元データにより判断する。転送メールの音声データ７０がサーバからダウンロードしたものである場合（ステップＳ５４の処理でＹＥＳが判断される場合）には、制御部５は、処理をステップＳ５６に移す。他方、転送メールの音声データ７０がサーバからダウンロードしたものではない場合（ステップＳ５４の処理でＮＯが判断される場合）には、制御部５は、処理をステップＳ５５に移す。なお、音声データ７０がサーバからダウンロードしたものではない場合とは、送信元のユーザが音声データ７０を録音した場合等が該当する。
ステップＳ５５では、制御部５は、音声データ７０を消去した転送メールを作成する。その後、制御部５は、処理をステップＳ５８に移す。 On the other hand, in step S54, the control unit 5 (voice data determination means 62) determines whether or not the voice data 70 of the forwarded mail has been downloaded from the server. Specifically, the determination is made based on the provider data indicating the provider included in the audio data 70 of the transfer source. When the voice data 70 of the forward mail is downloaded from the server (when YES is determined in the process of step S54), the control unit 5 moves the process to step S56. On the other hand, when the voice data 70 of the forward mail is not downloaded from the server (when NO is determined in the process of step S54), the control unit 5 moves the process to step S55. The case where the audio data 70 is not downloaded from the server corresponds to the case where the transmission source user has recorded the audio data 70.
In step S55, the control unit 5 creates a transfer mail from which the audio data 70 is deleted. Thereafter, the control unit 5 moves the process to step S58.

他方、ステップＳ５６では、制御部５（提供元設定手段６３）は、転送メールを作成し、音声データ７０のダウンロード元のＵＲＬを転送メールに貼り付ける。その後、制御部５は、処理をステップＳ５７に移す。
ステップＳ５７では、制御部５は、作成した転送メールから音声データ７０を消去する。その後、制御部５は、処理をステップＳ５８に移す。 On the other hand, in step S56, the control unit 5 (provider setting unit 63) creates a transfer mail and pastes the URL of the download source of the audio data 70 into the transfer mail. Thereafter, the control unit 5 moves the process to step S57.
In step S57, the control unit 5 deletes the voice data 70 from the created transfer mail. Thereafter, the control unit 5 moves the process to step S58.

ステップＳ５８では、制御部５は、作成した転送メールを送信する。具体的には、操作部１２から送信するための入力を受け付けたことに応じて、作成した転送メールの宛先に、作成した転送メールを送信する。その後、制御部５は、本処理を終了する。   In step S58, the control unit 5 transmits the created transfer mail. Specifically, in response to receiving an input for transmission from the operation unit 12, the created forwarded mail is transmitted to the destination of the created forwarded mail. Then, the control part 5 complete | finishes this process.

本処理により、電子メールを転送する際に、音声データ７０の転送が許可されていない場合であっても、音声データ７０を除いた状態で、電子メールを転送することができる。また、音声データ７０がダウンロードされたデータである場合には、ダウンロード元を指定するデータとしてＵＲＬ等を電子メールに表示することにより、転送メールを受信したユーザが、提供元から音声データ７０をダウンロードすることができる。また、ダウンロードをするにあたり、音声データ７０のダウンロード元のサイトの運営者は、例えば、有料コンテンツとすれば、ユーザから収入を得ることができる。   With this process, when transferring an e-mail, the e-mail can be transferred without the audio data 70 even if the transfer of the audio data 70 is not permitted. If the audio data 70 is downloaded data, the URL or the like is displayed in the e-mail as data specifying the download source, so that the user who has received the forwarded mail downloads the audio data 70 from the provider. can do. Moreover, when downloading, if the operator of the site from which the audio data 70 is downloaded is paid content, for example, the operator can obtain income.

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。   As mentioned above, although embodiment of this invention was described, this invention is not restricted to embodiment mentioned above. The effects described in the embodiments of the present invention are only the most preferable effects resulting from the present invention, and the effects of the present invention are limited to those described in the embodiments of the present invention. is not.

例えば、図６に示す電子メールの送信側の端末の処理において、音声データ７０を決定してから、音声データ７０の埋め込み場所を決定し、更に文字データ７２を選択する処理としているが、これに限られない。例えば、文字データ７２を決定してから音声データ７０を決定してもよい。要するに、文字データ７２に音声データ７０を関連付けた電子メールを作成できればよい。   For example, in the processing of the terminal on the e-mail transmission side shown in FIG. 6, the voice data 70 is determined, the embedding location of the voice data 70 is determined, and the character data 72 is further selected. Not limited. For example, the voice data 70 may be determined after the character data 72 is determined. In short, it is sufficient that an e-mail in which the voice data 70 is associated with the character data 72 can be created.

本発明の好適な実施形態の一例に係る端末の構成を示すブロック図である。It is a block diagram which shows the structure of the terminal which concerns on an example of suitable embodiment of this invention. 本発明の好適な実施形態の一例に係る端末の制御部の機能を示すブロック図である。It is a block diagram which shows the function of the control part of the terminal which concerns on an example of suitable embodiment of this invention. 本発明の好適な実施形態の一例に係る端末の概略構成を示す概略図である。It is the schematic which shows schematic structure of the terminal which concerns on an example of suitable embodiment of this invention. 本発明の好適な実施形態の一例に係る端末での電子メールの作成処理の流れの概略を示す図である。It is a figure which shows the outline of the flow of an e-mail preparation process with the terminal which concerns on an example of suitable embodiment of this invention. 本発明の好適な実施形態の一例に係る端末での電子メールの再生処理の流れの概略を示す図である。It is a figure which shows the outline of the flow of the reproduction | regeneration processing of the email in the terminal which concerns on an example of suitable embodiment of this invention. 本発明の好適な実施形態の一例に係る電子メール送信側の端末の処理を示すフローチャートである。It is a flowchart which shows the process of the terminal by the side of the email transmission which concerns on an example of suitable embodiment of this invention. 図６で呼び出される各種設定処理を示すフローチャートである。It is a flowchart which shows the various setting processes called in FIG. 図７で呼び出される再生回数設定処理を示すフローチャートである。It is a flowchart which shows the reproduction | regeneration frequency setting process called in FIG. 本発明の好適な実施形態の一例に係る電子メール受信側の端末の処理を示すフローチャートである。It is a flowchart which shows the process of the terminal by the side of the email which concerns on an example of suitable embodiment of this invention. 本発明の好適な実施形態の一例に係る電子メール受信側の端末での電子メール転送時の処理を示すフローチャートである。It is a flowchart which shows the process at the time of the email transfer in the terminal by the side of the email which concerns on an example of suitable embodiment of this invention.

符号の説明Explanation of symbols

１ 端末
５ 制御部
１０ 記憶部
１１ 表示部
１２ 操作部
１３ バイブレータ部
１４ 発光部
１５ 通信Ｉ／Ｆ部
１６ 音声入力部
１７ 音声出力部
１８ バックライト部
２１ マイク
２２ スピーカ
２３ アンテナ
５０ 通信出力手段
５１ 音声データ選択手段
５２ 埋め込み場所指定手段
５３ 文字データ選択手段
５４ 再生回数設定手段
５５ 音声データ設定手段
５６ 転送制限設定手段
５７ 時期設定手段
５８ 副次的処理設定手段
５９ 音声データ出力手段
６０ 文字データ表示手段
６１ 転送許否決定手段
６２ 音声データ判断手段
６３ 提供元設定手段
７０ 音声データ
７２ 文字データ DESCRIPTION OF SYMBOLS 1 Terminal 5 Control part 10 Memory | storage part 11 Display part 12 Operation part 13 Vibrator part 14 Light emission part 15 Communication I / F part 16 Voice input part 17 Voice output part 18 Backlight part 21 Microphone 22 Speaker 23 Antenna 50 Communication output means 51 Voice Data selection means 52 Embedding location designation means 53 Character data selection means 54 Reproduction count setting means 55 Audio data setting means 56 Transfer restriction setting means 57 Timing setting means 58 Secondary processing setting means 59 Audio data output means 60 Character data display means 61 Transfer permission / refusal decision means 62 Voice data judgment means 63 Provider setting means 70 Voice data 72 Character data

Claims (26)

電子メールの交換を行う端末であって、
前記電子メールに含まれる文字データのうち一又は複数の文字データに音声データを関連付ける制御部と、
関連付けられた前記一又は複数の文字データと、前記音声データと、を記憶する記憶部と、
前記電子メールを送受信する通信インタフェース部と、を備え、
前記制御部は、関連付けられた前記一又は複数の文字データと、前記音声データと、を含む前記電子メールを、前記通信インタフェース部に出力する通信出力手段を有する端末。 A terminal for exchanging emails,
A control unit associating voice data with one or more character data of character data included in the e-mail;
A storage unit that stores the one or more associated character data and the voice data;
A communication interface unit for sending and receiving the electronic mail,
The control unit includes a communication output unit configured to output the electronic mail including the associated one or more character data and the voice data to the communication interface unit. 請求項１に記載の端末において、
音声の入力を受け付けたことに応じて、前記音声をデータ化した前記音声データを生成する音声入力部を更に備えることを特徴とする端末。 The terminal according to claim 1,
A terminal further comprising: a voice input unit that generates the voice data obtained by converting the voice into data in response to receiving a voice input. 請求項１に記載の端末において、
前記記憶部は、予め音声データを記憶しており、
前記制御部は、記憶された前記音声データから、前記一又は複数の文字データに関連付ける前記音声データを選択する音声データ選択手段を有することを特徴とする端末。 The terminal according to claim 1,
The storage unit stores voice data in advance,
The terminal comprising: a voice data selection unit that selects the voice data to be associated with the one or more character data from the stored voice data. 請求項１から３のいずれかに記載の端末において、
前記一又は複数の文字データは、シンボルとして意味を持つ一つの文字のデータであることを特徴とする端末。 The terminal according to any one of claims 1 to 3,
The terminal is characterized in that the one or more character data is data of one character having a meaning as a symbol. 請求項１から４のいずれかに記載の端末において、
前記制御部は、
前記音声データの前記電子メールにおける埋め込み場所を指定する埋め込み場所指定手段と、
前記音声データに関連付ける前記一又は複数の文字データを選択する文字データ選択手段と、を有することを特徴とする端末。 The terminal according to any one of claims 1 to 4,
The controller is
An embedding location designation means for designating an embedding location in the e-mail of the voice data;
Character data selection means for selecting the one or more character data to be associated with the voice data. 請求項１から５のいずれかに記載の端末において、
前記制御部は、前記電子メールを受信した端末における前記音声データの再生を許可する回数を、前記電子メールに設定する再生回数設定手段を有することを特徴とする端末。 In the terminal according to any one of claims 1 to 5,
The terminal according to claim 1, wherein the control unit includes a number-of-plays setting unit that sets, in the e-mail, the number of times the terminal that has received the e-mail allows the reproduction of the audio data. 請求項６に記載の端末において、
前記制御部は、設定された前記再生を許可する回数に応じて出力する音声を変化させるために、前記一又は複数の文字データを、他の前記音声データと関連付けて前記電子メールに設定する音声データ設定手段を有することを特徴とする端末。 The terminal according to claim 6, wherein
The control unit sets the one or a plurality of character data in the e-mail in association with the other sound data in order to change the sound to be output according to the set number of times the reproduction is permitted. A terminal comprising data setting means. 請求項１から７のいずれかに記載の端末において、
前記制御部は、前記電子メールを受信した端末が前記電子メールを転送する処理を行ったことに応じて、前記音声データの転送を許可するか否かを前記電子メールに設定する転送制限設定手段を有することを特徴とする端末。 In the terminal according to any one of claims 1 to 7,
The control unit sets transfer restriction setting means for setting whether or not to permit the transfer of the audio data in response to the terminal receiving the electronic mail performing the process of transferring the electronic mail. A terminal characterized by comprising: 請求項１から８のいずれかに記載の端末において、
前記制御部は、前記電子メールを受信した端末における前記音声データの再生を許可する時期を、前記電子メールに設定する時期設定手段を有することを特徴とする端末。 The terminal according to any one of claims 1 to 8,
The terminal according to claim 1, wherein the control unit includes a time setting unit that sets, in the electronic mail, a time at which reproduction of the audio data is permitted in the terminal that has received the electronic mail. 請求項１から９のいずれかに記載の端末において、
前記制御部は、前記電子メールを受信した端末が副次的処理を行うように前記電子メールに設定する副次的処理設定手段を有することを特徴とする端末。 The terminal according to any one of claims 1 to 9,
The terminal according to claim 1, wherein the control unit includes a secondary process setting unit configured to set the electronic mail so that the terminal that receives the electronic mail performs a secondary process. 請求項１０に記載の端末において、
振動を発生するバイブレータ部を備え、
前記副次的処理設定手段により設定する前記副次的処理は、前記音声データを再生したことに応じて、前記バイブレータ部に振動を発生させる出力処理であることを特徴とする端末。 The terminal according to claim 10, wherein
It has a vibrator that generates vibration,
The terminal characterized in that the subsidiary process set by the subsidiary process setting means is an output process that causes the vibrator unit to generate vibration in response to the reproduction of the audio data. 請求項１０に記載の端末において、
発光する発光部を備え、
前記副次的処理設定手段により設定する前記副次的処理は、前記音声データを再生したことに応じて、前記発光部に発光させる出力処理であることを特徴とする端末。 The terminal according to claim 10, wherein
It has a light emitting part that emits light,
The terminal characterized in that the subsidiary process set by the subsidiary process setting means is an output process for causing the light emitting unit to emit light in response to reproduction of the audio data. 請求項１０に記載の端末において、
表示部の背面から照明するバックライト部を備え、
前記副次的処理設定手段により設定する前記副次的処理は、前記電子メールを表示することに応じて、前記バックライト部に発光させる出力処理であることを特徴とする端末。 The terminal according to claim 10, wherein
A backlight unit that illuminates from the back of the display unit,
The terminal characterized in that the subsidiary process set by the subsidiary process setting means is an output process for causing the backlight unit to emit light in response to displaying the electronic mail. 請求項１０に記載の端末において、
表示部の背面から照明するバックライト部を備え、
前記副次的処理設定手段により設定する前記副次的処理は、前記音声データを再生したことに応じて、発光を経時的に変化させる発光パターンにより前記バックライト部に発光させる出力処理であることを特徴とする端末。 The terminal according to claim 10, wherein
A backlight unit that illuminates from the back of the display unit,
The secondary processing set by the secondary processing setting means is output processing for causing the backlight unit to emit light with a light emission pattern that changes light emission with time in response to reproduction of the audio data. A terminal characterized by. 請求項１４に記載の端末において、
前記一又は複数の文字データが、前記バックライト部の発光を経時的に変化させる発光データを有し、
副次的処理設定手段により設定する前記副次的処理は、前記発光データに応じた発光を前記バックライト部に行う出力処理であることを特徴とする端末。 The terminal according to claim 14, wherein
The one or more character data includes light emission data for changing the light emission of the backlight portion over time,
The terminal characterized in that the subsidiary process set by the subsidiary process setting means is an output process in which light emission according to the light emission data is performed on the backlight unit. 電子メールの交換を行う端末であって、
前記電子メールを送受信する通信インタフェース部と、
前記通信インタフェース部により受信された、一又は複数の文字データと、前記一又は複数の文字データと関連付けられた音声データと、を含む前記電子メールを入力する制御部と、
入力された前記電子メールを表示する表示部と、
ユーザからの操作を受け付ける操作部と、
前記音声データを出力する音声出力部と、を備え、
前記制御部は、前記表示部に表示された前記電子メールのうち前記一又は複数の文字データに対する操作を前記操作部から受け付けたことに応じて、前記一又は複数の文字データに関連付けた前記音声データを、前記音声出力部に出力させる音声データ出力手段を有する端末。 A terminal for exchanging emails,
A communication interface for transmitting and receiving the e-mail;
A control unit for inputting the e-mail including one or more character data received by the communication interface unit and voice data associated with the one or more character data;
A display unit for displaying the inputted e-mail;
An operation unit for receiving an operation from the user;
An audio output unit for outputting the audio data;
The control unit, in response to receiving an operation on the one or more character data from the operation unit in the e-mail displayed on the display unit, the voice associated with the one or more character data A terminal having audio data output means for outputting data to the audio output unit. 電子メールの交換を行う端末であって、
前記電子メールを送受信する通信インタフェース部と、
前記通信インタフェース部により受信された、一又は複数の文字データと、前記一又は複数の文字データと関連付けられた音声データと、を含む前記電子メールを入力する制御部と、
入力された前記電子メールを表示する表示部と、
ユーザからの操作を受け付ける操作部と、
前記音声データを出力する音声出力部と、を備え、
前記制御部は、前記操作部から前記電子メールを表示するプログラムを起動する操作を受け付けたことに応じて、前記電子メールに含む前記文字データを、前記表示部に順次表示させる文字データ表示手段と、
前記表示部により前記一又は複数の文字データが表示されたことに応じて、前記一又は複数の文字データに関連付けた前記音声データを、前記音声出力部に出力させる音声データ出力手段と、を有する端末。 A terminal for exchanging emails,
A communication interface for transmitting and receiving the e-mail;
A control unit for inputting the e-mail including one or more character data received by the communication interface unit and voice data associated with the one or more character data;
A display unit for displaying the inputted e-mail;
An operation unit for receiving an operation from the user;
An audio output unit for outputting the audio data;
The control unit, in response to receiving an operation for starting a program for displaying the e-mail from the operation unit, character data display means for sequentially displaying the character data included in the e-mail on the display unit ,
Audio data output means for causing the audio output unit to output the audio data associated with the one or more character data in response to the display of the one or more character data. Terminal. 請求項１６又は１７に記載の端末において、
前記音声データ出力手段は、前記電子メールを送信した端末により設定された所定の条件で、前記音声データを前記音声出力部に出力させることを特徴とする端末。 The terminal according to claim 16 or 17,
The voice data output means causes the voice output unit to output the voice data under a predetermined condition set by the terminal that sent the electronic mail. 請求項１６から１８のいずれかに記載の端末において、
前記音声データは、前記音声データの転送を許可するか否かを示す転送許否データ及び前記音声データの提供元を示す提供元データを含み、
前記制御部は、前記音声データの前記転送許否データに基づき、前記音声データを含む前記電子メールの転送を許可するか否かを決定する転送許否決定手段と、
前記転送許否決定手段において、前記音声データの転送を拒否する決定をした場合に、前記提供元データに基づき前記音声データがダウンロードされたデータであるか否かを判断する音声データ判断手段と、
前記音声データ判断手段において前記音声データがダウンロードされたデータである判断がされた場合に、前記音声データの提供元を指定するデータを前記電子メールに設定する提供元設定手段と、を有することを特徴とする端末。 The terminal according to any one of claims 16 to 18,
The audio data includes transfer permission / rejection data indicating whether transfer of the sound data is permitted and provider data indicating a provider of the sound data,
The control unit, based on the transfer permission data of the voice data, transfer permission determination means for determining whether to permit the transfer of the e-mail including the voice data;
In the transfer permission / refusal determining means, when it is determined to refuse transfer of the sound data, sound data determining means for determining whether the sound data is downloaded data based on the provider data;
A provider setting unit that sets data specifying a provider of the voice data in the e-mail when the voice data determining unit determines that the voice data is downloaded data; Characteristic terminal. 電子メールの作成及び送信を制御するコンピュータ・プログラムであって、
コンピュータに、
前記電子メールに含まれる文字データのうち一又は複数の文字データに音声データを関連付けるステップと、
関連付けられた前記一又は複数の文字データと、前記音声データと、を記憶するステップと、
関連付けられた前記一又は複数の文字データと、前記音声データと、を含む前記電子メールを送信するステップと、を実行させるためのコンピュータ・プログラム。 A computer program for controlling the creation and transmission of e-mail,
On the computer,
Associating voice data with one or more of the character data included in the email;
Storing the associated one or more character data and the voice data;
A computer program for executing the step of transmitting the e-mail including the one or more character data and the voice data associated with each other. 請求項２０に記載のコンピュータ・プログラムにおいて、
音声の入力を受け付けたことに応じて、前記音声をデータ化した前記音声データを生成するステップを実行させるためのコンピュータ・プログラム。 The computer program according to claim 20, wherein
A computer program for executing a step of generating the voice data obtained by converting the voice into data in response to receiving a voice input. 請求項２０に記載のコンピュータ・プログラムにおいて、
予め記憶された前記音声データから、前記一又は複数の文字データに関連付ける前記音声データを選択するステップを実行させるためのコンピュータ・プログラム。 The computer program according to claim 20, wherein
A computer program for executing a step of selecting the voice data to be associated with the one or more character data from the voice data stored in advance. 請求項２０から２２のいずれかに記載のコンピュータ・プログラムにおいて、
前記一又は複数の文字データは、シンボルとして意味を持つ一つの文字のデータであることを特徴とするコンピュータ・プログラム。 The computer program according to any one of claims 20 to 22,
The computer program according to claim 1, wherein the one or more character data is data of one character having a meaning as a symbol. 請求項２０から２３のいずれかに記載のコンピュータ・プログラムにおいて、
前記音声データの前記電子メールにおける埋め込み場所を指定するステップと、
前記音声データに関連付ける前記一又は複数の文字データを選択するステップと、を実行させるためのコンピュータ・プログラム。 24. The computer program according to claim 20, wherein:
Designating an embedding location in the email of the audio data;
Selecting the one or more character data to be associated with the voice data. 電子メールの受信及び表示を制御するコンピュータ・プログラムであって、
一又は複数の文字データと、前記一又は複数の文字データと関連付けられた音声データと、を含む前記電子メールを受信するステップと、
受信された前記電子メールを表示するステップと、
表示された前記電子メールのうち前記一又は複数の文字データに対する操作を受け付けたことに応じて、前記一又は複数の文字データに関連付けた前記音声データを出力するステップと、を実行させるためのコンピュータ・プログラム。 A computer program for controlling the reception and display of e-mail,
Receiving the e-mail including one or more character data and voice data associated with the one or more character data;
Displaying the received email;
Outputting the voice data associated with the one or more character data in response to accepting an operation on the one or more character data in the displayed e-mail. ·program. 電子メールの受信及び表示を制御するコンピュータ・プログラムであって、
一又は複数の文字データと、前記一又は複数の文字データと関連付けられた音声データと、を含む前記電子メールを受信するステップと、
前記電子メールを表示するプログラムを起動する操作を受け付けたことに応じて、受信された前記電子メールに含む前記文字データを順次表示させるステップと、
前記一又は複数の文字データが表示されたことに応じて、前記一又は複数の文字データに関連付けた前記音声データを出力するステップと、を実行させるためのコンピュータ・プログラム。 A computer program for controlling the reception and display of e-mail,
Receiving the e-mail including one or more character data and voice data associated with the one or more character data;
Sequentially displaying the character data included in the received e-mail in response to accepting an operation of starting a program for displaying the e-mail; and
And outputting the voice data associated with the one or more character data in response to the one or more character data being displayed.
JP2007081618A 2007-03-27 2007-03-27 Terminal and computer program Expired - Fee Related JP4928323B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007081618A JP4928323B2 (en) 2007-03-27 2007-03-27 Terminal and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007081618A JP4928323B2 (en) 2007-03-27 2007-03-27 Terminal and computer program

Publications (2)

Publication Number Publication Date
JP2008242740A true JP2008242740A (en) 2008-10-09
JP4928323B2 JP4928323B2 (en) 2012-05-09

Family

ID=39914021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007081618A Expired - Fee Related JP4928323B2 (en) 2007-03-27 2007-03-27 Terminal and computer program

Country Status (1)

Country Link
JP (1) JP4928323B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011109342A (en) * 2009-11-16 2011-06-02 Nec Corp Portable terminal device, and presence notification method thereof
JP2012134855A (en) * 2010-12-22 2012-07-12 Dentsu Tec Inc Mail relay apparatus and mail relay method
JP5524950B2 (en) * 2009-03-04 2014-06-18 パナソニック株式会社 Metadata generation management device, metadata generation system, integrated circuit for metadata generation management, metadata generation management method, and program
JP2015201125A (en) * 2014-04-10 2015-11-12 グリー株式会社 Output control program, output control apparatus, and output control method
JP2016134054A (en) * 2015-01-21 2016-07-25 シャープ株式会社 Display operation device, image forming device, and electronic blackboard device
JP2021157813A (en) * 2019-11-07 2021-10-07 グリー株式会社 Output control program, information processor, and output control method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6113730A (en) * 1984-06-29 1986-01-22 Nippon Telegr & Teleph Corp <Ntt> Electronic mail with voice
JPH0927840A (en) * 1995-07-12 1997-01-28 Nippon Denki Ido Tsushin Kk Portable telephone set with recording function
JP2001265703A (en) * 1999-12-10 2001-09-28 Sega Corp Electronic document transmission / reception system
JP2002007281A (en) * 2000-06-26 2002-01-11 Megafusion Corp System and method for electronic mail transmission and reception, and recording medium
JP2003076647A (en) * 2001-08-31 2003-03-14 Hitachi Ltd Mail sending / receiving method and device using the same
JP2003150507A (en) * 2001-11-19 2003-05-23 Denso Corp Terminal with electronic mail function and computer program
JP2003150506A (en) * 2001-11-14 2003-05-23 Sharp Corp Mobile phone terminal and mail display method
JP2004128910A (en) * 2002-10-03 2004-04-22 Hitachi Ltd Mobile terminal

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6113730A (en) * 1984-06-29 1986-01-22 Nippon Telegr & Teleph Corp <Ntt> Electronic mail with voice
JPH0927840A (en) * 1995-07-12 1997-01-28 Nippon Denki Ido Tsushin Kk Portable telephone set with recording function
JP2001265703A (en) * 1999-12-10 2001-09-28 Sega Corp Electronic document transmission / reception system
JP2002007281A (en) * 2000-06-26 2002-01-11 Megafusion Corp System and method for electronic mail transmission and reception, and recording medium
JP2003076647A (en) * 2001-08-31 2003-03-14 Hitachi Ltd Mail sending / receiving method and device using the same
JP2003150506A (en) * 2001-11-14 2003-05-23 Sharp Corp Mobile phone terminal and mail display method
JP2003150507A (en) * 2001-11-19 2003-05-23 Denso Corp Terminal with electronic mail function and computer program
JP2004128910A (en) * 2002-10-03 2004-04-22 Hitachi Ltd Mobile terminal

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5524950B2 (en) * 2009-03-04 2014-06-18 パナソニック株式会社 Metadata generation management device, metadata generation system, integrated circuit for metadata generation management, metadata generation management method, and program
US8886683B2 (en) 2009-03-04 2014-11-11 Panasonic Intellectual Property Corporation Of America Metadata generation management device, metadata generation system, integrated circuit for managing generation of metadata, metadata generation management method, and program
JP2011109342A (en) * 2009-11-16 2011-06-02 Nec Corp Portable terminal device, and presence notification method thereof
JP2012134855A (en) * 2010-12-22 2012-07-12 Dentsu Tec Inc Mail relay apparatus and mail relay method
JP2015201125A (en) * 2014-04-10 2015-11-12 グリー株式会社 Output control program, output control apparatus, and output control method
JP2016134054A (en) * 2015-01-21 2016-07-25 シャープ株式会社 Display operation device, image forming device, and electronic blackboard device
JP2021157813A (en) * 2019-11-07 2021-10-07 グリー株式会社 Output control program, information processor, and output control method
JP7162698B2 (en) 2019-11-07 2022-10-28 グリー株式会社 Output control program, information processing device, and output control method

Also Published As

Publication number Publication date
JP4928323B2 (en) 2012-05-09

Similar Documents

Publication Publication Date Title
US7551916B2 (en) Method and device for automatically changing a digital content on a mobile device according to sensor data
KR101088527B1 (en) Electronic messaging method, sender terminal, receiver terminal and electronic messaging system
JP5734816B2 (en) Personalize your phone
KR100773706B1 (en) System, method, and apparatus for communicating via sound messages and personal sound identifiers
JP4928323B2 (en) Terminal and computer program
KR101419764B1 (en) Mobile terminal control method for voice emoticon
US20070066310A1 (en) Mobile communication terminal and method
KR20010076533A (en) Implementation Method Of Karaoke Function For Portable Hand Held Phone And It&#39;s Using Method
CN100420214C (en) Actions on certain information using devices connected to your home network
JP5688347B2 (en) COMMUNICATION DEVICE, COMMUNICATION SYSTEM, AND PROGRAM
JP2002057736A (en) Data transmission method, data transmission device, and medium recording data transmission program
JP2007174066A (en) Information communication terminal, content distribution apparatus, and content distribution system
KR101114155B1 (en) Ringtone service method of mobile phone using MP3 music
KR101017177B1 (en) Messaging service providing system and mobile terminal and method thereof
JP4722369B2 (en) Mobile phone equipment
JP2006033017A (en) Mobile telephone, mobile telephone server, and mobile telephone system
JP4514513B2 (en) Music mail output method, music mail output system, and music output device
JP2007189706A (en) Terminal device
JP2007048255A (en) Data distribution system
KR100630896B1 (en) Mobile terminal and mood message management method for managing mood messages
KR20070010591A (en) Communication terminal and multimedia content transmission method
JP2003308282A (en) Communication equipment
KR101436881B1 (en) Apparatus for generating music message and method for generating music message performed thereby
JP2005100128A (en) Mobile phone with chat function, chat mobile phone system, and chat method
JP5559917B2 (en) Hand flag signal communication system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091201

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100408

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100415

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4928323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees