JP2006287297A - Mobile communication terminal, communication terminal, relaying apparatus, and program - Google Patents
Mobile communication terminal, communication terminal, relaying apparatus, and program Download PDFInfo
- Publication number
- JP2006287297A JP2006287297A JP2005100690A JP2005100690A JP2006287297A JP 2006287297 A JP2006287297 A JP 2006287297A JP 2005100690 A JP2005100690 A JP 2005100690A JP 2005100690 A JP2005100690 A JP 2005100690A JP 2006287297 A JP2006287297 A JP 2006287297A
- Authority
- JP
- Japan
- Prior art keywords
- communication terminal
- information
- video
- caller
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000004891 communication Methods 0.000 title claims abstract description 68
- 238000010295 mobile communication Methods 0.000 title claims description 28
- 230000033001 locomotion Effects 0.000 claims abstract description 35
- 230000001133 acceleration Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 20
- 239000000463 material Substances 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 230000008685 targeting Effects 0.000 claims 1
- 230000005389 magnetism Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 230000008921 facial expression Effects 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Landscapes
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
Abstract
Description
この発明は、携帯通信端末および他の通信端末間で通話を行う際、前記携帯通信端末から通話者に係る画像を他の通信端末に送信する通信技術に関する。 The present invention relates to a communication technique for transmitting an image relating to a caller from another mobile communication terminal to another communication terminal when making a call between the mobile communication terminal and another communication terminal.
従来、携帯電話機は電子カメラを内蔵したものが普及し、通話と同時に通話者の映像を送信する、いわゆるテレビ電話機能を備えたものも提供されるに至っている。この種の従来の技術として、特許文献1および特許文献2に記載されるものがある。
一般に携帯電話機は時間や場所等に比較的制約を受けずに通話できる利便性が特徴であるが、上記のテレビ電話機能を用いる場合、かかる利便性のために不都合を生じることも考えられる。すなわち、いつどこでもテレビ電話による着信の可能性があるということは、いつどこでも他者の視線にさらされる可能性があるということであり、特にテレビ電話を使い慣れてないユーザにとって心理的な負担を生じるケースもあり得る。また自宅等において、入浴前後や就寝・睡眠時などプライベートな場面にあって、コミュニケーションを優先して常にテレビ電話による通話を許容することは負担となることも考えられる。 In general, a mobile phone is characterized by the convenience of making a call without being relatively restricted by time, place, etc., but when using the above-mentioned videophone function, it may be inconvenient for such convenience. In other words, the possibility of an incoming videophone call anytime and anywhere means that you can be exposed to the eyes of others anytime and anywhere, especially for users who are not familiar with videophones. There can be cases. Also, at home and in private situations such as before and after bathing, sleeping and sleeping, it may be burdensome to always allow videophone calls with priority on communication.
この発明は、このような事情に鑑みてなされたものであり、意思の表現手段として機能する動画を通話者の映像の代替とすることが可能な携帯通信技術を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a mobile communication technique that can replace a moving image functioning as a means of expressing intention with a video image of a caller.
上記の課題を解決するために請求項1記載の発明にあっては、他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末であって、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記切替指示により選択され前記動画を規定する規定情報を取得する取得手段と、前記規定情報に基づいて動画を生成する生成手段と、前記通話者の映像の代わりに前記動画を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末を提供する。
In order to solve the above-mentioned problem, the invention according to
Instruction means for instructing to switch the video of the caller to be transmitted to the other communication terminal to a predetermined video, acquisition means for acquiring regulation information selected by the switching instruction and defining the video, There is provided a portable communication terminal comprising: generating means for generating a moving picture based on prescribed information; and transmitting means for transmitting the moving picture to another communication terminal instead of the video of the caller.
また請求項2記載の発明にあっては、請求項1記載の通信システムにおいて、前記生成手段は、前記動画を構成する素材として予め登録された画像情報を記憶する記憶手段と、前記規定情報に従って前記画像情報を選択編集して前記動画を得る画像処理手段とを備えたものであることを特徴とする通信システムを提供する。 According to a second aspect of the present invention, in the communication system according to the first aspect, the generation means is in accordance with storage means for storing image information registered in advance as a material constituting the moving image, and the prescribed information. There is provided a communication system comprising image processing means for selectively editing the image information to obtain the moving image.
また請求項3記載の発明にあっては、他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末であって、
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記動画を規定する規定情報を取得する取得手段と、前記切替指示により選択され前記通話者の映像の代わりに前記規定情報を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末を提供する。
The invention of claim 3 is a portable communication terminal that transmits a video of a caller to the other communication terminal when making a call with the other communication terminal,
Instructing means for instructing to switch the video of the caller to be transmitted to the other communication terminal to a predetermined moving image, acquiring means for acquiring definition information defining the moving image, and selected by the switching instruction There is provided a portable communication terminal comprising a transmission means for transmitting the specified information to another communication terminal instead of a caller's video.
また請求項4記載の発明にあっては、請求項1ないし3記載の携帯通信端末において、前記取得手段は、携帯通信端末の筐体の動きを検出する検出手段と、前記動きを示す検出信号を蓄積して時系列情報として記憶する第2の記憶手段と、前記規定情報に対応付けられて予め設定された前記筐体の動きの時系列条件を記憶する第3の記憶手段と、前記時系列情報が前記時系列条件を満たすと当該時系列条件に対応する規定情報を選択する選択手段とを備えたことを特徴とする携帯通信端末を提供する。 According to a fourth aspect of the present invention, in the mobile communication terminal according to the first to third aspects, the acquisition means includes a detection means for detecting a movement of a casing of the mobile communication terminal, and a detection signal indicating the movement. Second storage means for storing the time series information as time series information, third storage means for storing a time series condition of the movement of the casing set in advance in association with the specified information, and the time Provided is a portable communication terminal comprising selection means for selecting prescribed information corresponding to a time series condition when the series information satisfies the time series condition.
また請求項5記載の発明にあっては、請求項4記載の携帯通信端末において、検出手段は、前記筐体の長手方向にわたって離間した位置に設置された複数の加速度センサを備えていることを特徴とする携帯通信端末を提供する。 According to a fifth aspect of the present invention, in the portable communication terminal according to the fourth aspect, the detection means includes a plurality of acceleration sensors installed at positions separated in the longitudinal direction of the casing. A portable communication terminal is provided.
また請求項6記載の発明にあっては、請求項3記載の携帯通信端末と通信する通信端末であって、
前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を表示する表示手段とを備えたことを特徴とする通信端末を提供する。
The invention according to claim 6 is a communication terminal that communicates with the mobile communication terminal according to claim 3,
There is provided a communication terminal comprising: receiving means for receiving the regulation information; generation means for generating a moving picture based on the received regulation information; and display means for displaying the moving picture.
また請求項7記載の発明にあっては、請求項3記載の携帯通信端末および他の通信端末間の通話を中継する中継装置であって、前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を前記他の通信端末に送信する送信手段とを備えたことを特徴とする中継装置を提供する。 The invention according to claim 7 is a relay device for relaying a call between the mobile communication terminal according to claim 3 and another communication terminal, the receiving means for receiving the specification information, and the received specification There is provided a relay device comprising a generating unit that generates a moving image based on information and a transmitting unit that transmits the moving image to the other communication terminal.
また請求項8記載の発明にあっては、携帯通信端末および他の通信端末間で通話を行う際、前記携帯通信端末から通話者の映像を前記他の通信端末に送信する通信システムを対象とし、前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記切替指示により選択され前記動画を規定する規定情報を取得するステップと、前記規定情報に基づいて動画を生成するステップを実行させると共に、前記通話者の映像の代わりに前記動画および規定情報のいずれか一方を他の通信端末に送信するステップとを実行させることを特徴とするプログラムを提供する。
The invention according to
また請求項9記載の発明にあっては、他の通信端末と通話を行う際、通話者の映像を前記他の通信端末に送信する携帯通信端末を対象とし、前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記動画を規定する規定情報を取得するステップとを実行させると共に、前記規定情報を取得するステップには、前記携帯通信端末の筐体の動きを検出するステップと、前記動きを示す検出信号を蓄積して時系列情報として記憶するステップと、前記規定情報に対応付けられて予め設定された前記筐体の動きの時系列条件を記憶するステップと、前記時系列情報が前記時系列条件を満たすと当該時系列条件に対応する規定情報を選択するステップとを含むことを特徴とするプログラムを提供する。 In the invention of claim 9, when a call is made with another communication terminal, the mobile communication terminal that transmits a caller's image to the other communication terminal is transmitted to the other communication terminal. The step of performing a switching instruction to switch the video of the caller to a predetermined moving image and the step of acquiring the defining information that defines the moving image, and the step of acquiring the defining information include the mobile communication A step of detecting the movement of the casing of the terminal, a step of accumulating a detection signal indicating the movement and storing it as time-series information, and a time of the movement of the casing set in advance in association with the specified information A program is provided that includes a step of storing a sequence condition and a step of selecting regulation information corresponding to the time series condition when the time series information satisfies the time series condition.
この発明によれば、指示手段により切替指示を行うことによって通話先に送信する通話者の映像の代替として所定の動画を切り替えて送信することが可能となる。したがって通話者は、映像付きの通話の拒否を伴わずに、他者の視線にさらされないプライベートな空間を確保でき、通話者の心理的な負担を軽減できる利点がある。 According to the present invention, it is possible to switch and transmit a predetermined moving image as an alternative to the caller's video to be transmitted to the other party by instructing switching by the instruction means. Therefore, the caller can secure a private space that is not exposed to another person's line of sight without refusing a call with video, and has an advantage that the caller's psychological burden can be reduced.
また通話者の映像の代替として送信する動画を生成するにあたって、素材となる画像情報を規定情報により選択編集する形態をとれば、通話の内容等に応じて通話者が規定情報を適宜変更することにより動画の内容を変更することが可能となる。すなわち、通話者の表情変化等を伝達する映像の代替として好適な動画を生成することが可能となる利点がある。 In addition, when generating a video to be transmitted as a substitute for the caller's video, if the image information used as material is selectively edited based on the regulation information, the caller can change the regulation information as appropriate according to the content of the call. This makes it possible to change the content of the moving image. In other words, there is an advantage that it is possible to generate a moving image suitable as an alternative to a video image that conveys a caller's facial expression change or the like.
また素材となる画像情報を相手先の通信端末や中継装置と共有していることを前提として、動画の代わりに上記の規定情報を送信する形態をとることができる。この場合、送信元の携帯通信端末が動画生成のための処理負荷から解放され、さらに送信量も低減する利点がある。動画生成の処理は、相手先の通信端末あるいは中継装置で行えばよい。 In addition, it is possible to take a form in which the above-mentioned regulation information is transmitted instead of a moving picture on the premise that image information as a material is shared with a communication terminal or a relay device of the other party. In this case, there is an advantage that the transmission source mobile communication terminal is released from the processing load for moving image generation and the transmission amount is also reduced. The moving image generation process may be performed by the communication terminal or relay device of the other party.
また携帯通信端末の筐体の動きを検出し、かかる動きの時系列情報が所定の時系列条件を満たすとき、当該時系列条件に対応する所定の規定情報を取得する形態をとれば、筐体の動きに連動して動画を変更することができ、キー入力等を伴わずに動画の中のキャラクタの表情変化等を実現できる利点がある。 Further, when the movement of the casing of the mobile communication terminal is detected and the time-series information of the movement satisfies a predetermined time-series condition, the predetermined regulation information corresponding to the time-series condition is acquired. The moving image can be changed in conjunction with the movement of the character, and there is an advantage that a change in the facial expression of the character in the moving image can be realized without key input or the like.
以下、図面を用いてこの発明の実施形態を説明する。
図1は、この発明の第1の実施形態にかかる携帯電話機(携帯通信端末)の概略を示すブロック図、図2は携帯電話機の端末ユニットを開いた状態にしたときの正面図であり、X軸およびY軸は同図中の矢印で示す方向に設定する。図1に示すように端末ユニット1−1、1−2は携帯電話機1の2つの筐体であり、蝶番部1−3は2つの端末ユニットを開閉自在に連結する部分である。アンテナ201は図示しない無線基地局との間の電波信号の送受信を行うためのアンテナである。RF(Radio Frequency)部202は、アンテナ201が受信する受信信号を中間周波数の受信信号に変換して変復調部203へ出力するものである。さらにこのRF部202は変復調部203から入力する送信信号を送信周波数の信号に変調し、アンテナ201へ出力して送信を行うものである。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing an outline of a mobile phone (mobile communication terminal) according to a first embodiment of the present invention. FIG. 2 is a front view of the mobile phone when a terminal unit is opened. The axis and the Y axis are set in the directions indicated by the arrows in the figure. As shown in FIG. 1, the terminal units 1-1 and 1-2 are two housings of the
変復調部203は、RF部202から入力した受信信号の復調処理と、CDMA(Code Division Mupltile Access:符号分割多元接続)部204から入力した送信信号の変調処理とを行うものである。CDMA部204は、送信符号の符号化処理、および受信信号の復号化処理を行うものである。音声処理部205は、マイクロホン301から入力される音声信号をデジタル信号に変換してCDMA部204へ出力し、また、CDMA部204からデジタル信号化された音声信号を入力してアナログ音声信号に変換し、スピーカ302へ出力して発音させるものである。
The
アンテナ401は、GPS(Global Positioning System)衛星からの電波信号を受信するためのアンテナである。GPS受信部402は、GPS衛星から受信した電波信号を復調し、復調した電波信号に基づいて携帯電話機1の緯度・経度(3次元モードの場合はさらに高度等)で表される位置を算出するものである。
The
加速度センサ510−1〜510−3はX,Y軸方向の加速度を検出するものであり、端末ユニット1−1,1−2からなる筐体の長手方向にわたって離れた位置に設置される。端末ユニット1−1の蝶番部1−3側を上部、その対向側を下部とすれば、端末ユニット1−1の下部に加速度センサ510−1が設置される。加速度センサ510−2は蝶番部1−3あるいはその近傍に設置される。加速度センサ510−3は、端末ユニット1−2の蝶番部1−3側を下部、その対向側を上部とすれば、端末ユニット1−2の上部に設置される。この実施形態では、加速度センサ510−1〜510−3はX、Y軸方向の重力加速度成分を検出し、その出力の直流成分から傾きを、交流成分から振動を検出するものである。 The acceleration sensors 510-1 to 510-3 detect accelerations in the X and Y axis directions, and are installed at positions separated from each other in the longitudinal direction of the casing made up of the terminal units 1-1 and 1-2. If the hinge part 1-3 side of the terminal unit 1-1 is the upper part and the opposite side is the lower part, the acceleration sensor 510-1 is installed in the lower part of the terminal unit 1-1. The acceleration sensor 510-2 is installed at the hinge portion 1-3 or in the vicinity thereof. The acceleration sensor 510-3 is installed in the upper part of the terminal unit 1-2 if the hinge part 1-3 side of the terminal unit 1-2 is a lower part and the opposite side is an upper part. In this embodiment, the acceleration sensors 510-1 to 510-3 detect the gravitational acceleration components in the X and Y axis directions, and detect the inclination from the DC component of the output and the vibration from the AC component.
磁気センサ部520は磁気センサ521−1〜521−3、温度センサ522およびセンサ制御部523を備えたものであり、1つのパッケージに組み込まれ1チップ化されている。磁気センサ521−1〜521−3は、互いに直交するX、Y、Z軸各々の軸方向の磁気(磁界)を検出し、磁界データとして出力するものである。温度センサ522は、磁気センサ521−1〜521−3の温度補償を行うために周囲温度を検出するものである。センサ制御部523は、磁気センサ521−1〜521−3、温度センサ522および加速度センサ510−1〜510−3の検出出力に対してデータ処理を行うものである。
The
主制御部601は、携帯電話機1の主制御を司るCPU(Central Processing Unit)である。ROM(Read Only Memory)602およびRAM(Random Access Memory)603は、主制御部601のメインメモリを構成するメモリである。ROM602は、主制御部601のプログラムおよびアニメーションを作成するための素材となる各種の情報(後述する。)を保持している。RAM603は、CPUが動作中に使用するデータ等を記憶する領域をCPUに提供する。
The
報知手段303は、スピーカ・バイブレータ・発光ダイオード等を備え、着信やメール受信等を音・振動・光等によってユーザに報知するものである。時計部304は、主制御部601が使用する計時機能部である。主操作部305はテンキーおよびファンクションキーを有し、ユーザの指示入力を取り込んで主制御部601に与えるものである。画像切替スイッチ306は、相手側の携帯電話機に送信する画像を、後述する電子カメラ部307より取り込んだ映像にするか、アニメーションにするかを切り替えるプッシュスイッチである。
The
電子カメラ部307はCCD(Charge Coupled Device)等の撮像素子とレンズ等の光学系とを有し、電子カメラ機能の主要部を構成するものである。電子カメラ部307の光学系は、通話者自身を被写体とする映像を取り込み可能となっている。また電子カメラ部307は撮影した映像を一時記憶するバッファメモリ(図示せず)を有し、所定の時間間隔をもって映像を取り込んでこのバッファメモリに蓄積することにより、連続的な映像を取り込むことが可能となっている。
The
表示部308は、主制御部から入力する表示用の信号に基づいて画像や文字等を表示する液晶ディスプレイ(LCD)である。タッチパネル309は、表示部308の液晶ディスプレイの表面に組み込まれ、ユーザの接触操作による入力内容を表す信号を主制御部601へ出力するものである。
The
次に、上述した実施形態の動作を図3ないし図7を参照して説明する。図3に示すように、携帯電話機1は音声および画像を無線基地局2に対して送信する。無線基地局2は携帯電話機1からのデータを受信し通信先の電話番号を確認すると、通信先の携帯電話機1aと通信可能な無線基地局2aに対してネットワーク10を介してデータを送信する。無線基地局2aは無線基地局2からのデータを受信し通信先の電話番号を確認すると、通信先の携帯電話機1aにデータを送信する。携帯電話機1aでは、受信したデータを処理して音声の再生および画像の表示を行う。一方、携帯電話機1aから送信されたデータは、無線基地局2a・ネットワーク10・無線基地局2を経由して、携帯電話機1に到達する。携帯電話機1は受信したデータを処理して音声の再生および画像の表示を行う。このように、無線基地局2、2aおよびネットワーク10を中継して携帯電話機間で音声および画像の送受信を繰り返すことによってテレビ電話を行う。
Next, the operation of the above-described embodiment will be described with reference to FIGS. As shown in FIG. 3, the
続いて、携帯電話機1における主制御部601の処理を図4、図5を参照して説明する。図4に示すように、携帯電話機1の電源がオンとなると、上位のプログラムが立ち上がり、主制御部601を始めとして携帯電話機1の各部を初期化して立ち上げる処理を実行する(ステップS401)。この初期化処理が終了すると、テレビ電話を開始するために通話ボタンが押されたかどうかを判定し(ステップS402)、通話ボタンが押されていた場合は通話処理を行う(ステップS403)。この通話処理では、ユーザにより設定された電話番号を入力し、その電話番号で発信して相手の携帯電話機1aとの通信を確立する。通話処理が終了すると画像処理に移行し、相手の携帯電話機1aより受信した画像の表示および自機(携帯電話機1)における画像の送信を行う(ステップS404)。音声の送受信に関しては携帯電話機間でとられている従来の方法と同様で良いため、以下では画像の送受信に関する説明を行う。
Next, processing of the
図5は上記の画像処理のフローチャートであり、まず初めに相手の携帯電話機1aから受信した画像を処理し、表示部308の画面701に表示する(ステップS501)。次に、画像切替スイッチ306の設定を確認する(ステップS502)。この設定に基づいて、自機が相手の携帯電話機1aに送信する画像として、通話者の映像かアニメーションのいずれかが選択される。
FIG. 5 is a flowchart of the above-described image processing. First, an image received from the other party's mobile phone 1a is processed and displayed on the
つまり、たとえば開閉の2状態をとる画像切替スイッチ306が、通話者の映像を表示する設定を示す状態である場合、主制御部601は映像モードを選択する。この映像モードでは、電子カメラ部307より取り込んだ映像を処理し、表示部308の画面702に表示する(ステップS503)。このとき取り込む映像は、通話者自身の映像であることが通常の使用形態として想定されている。また相手の携帯電話機1aに対しても映像を送信し、一連の処理を終了する(ステップS504)。
That is, for example, when the
一方、通話者の映像ではなく代替のアニメーションを表示する設定の場合、主制御部601はアニメーションモードを選択する。このアニメーションモードでは、通話者の映像の代わりに所定のアニメーションを相手の携帯電話機1aに送信する。送信するアニメーションは、たとえば主制御部601がリアルタイムで生成することにより提供する形態をとることができる。
On the other hand, in the case of setting to display an alternative animation instead of the video of the caller, the
アニメーションの生成は、予めROM602に記憶されたアニメーションに関する情報に基づいて行われる。このアニメーションに関する情報は、画像の素材となる素材情報と、この素材情報をどのように選択して扱うかを指示してアニメーションを規定する規定情報とからなる。素材情報としては、キャラクタの顔や体の部位にあたるキャラクタ情報や、キャラクタの服装や背景などにあたる補助的な素材情報などがある。キャラクタ情報は、予め設定された複数のキャラクタ分用意されており、キャラクタの各種の表情や動作を描いた連続的な画像として用意されている。一方、規定情報は、どのキャラクタを選択するかどの服装を選択するかといった基本的な選択指示の他、表情や動作を選択する動作選択指示も含む。
The generation of the animation is performed based on the information regarding the animation stored in the
主制御部601は、通話者が予め登録した規定情報をRAM603から読み出す。もし不足している情報があればデフォルト情報で補完する。読み出した規定情報に基づいてアニメーション処理を実行し、所定の素材情報を合成するなどしてアニメーション、すなわちキャラクタの動きを示す動画を生成する。生成したアニメーションは、通話者の映像の代替として、相手側の携帯電話機1aに送信される。
The
したがって通話者は、テレビ電話による着信あるいは通信要求があったとき、通話自体は行いたいが通話者の映像を送信したくない場合、画像切替スイッチ306を操作してアニメーションモードに設定することにより、通話者の映像の代替としてアニメーションを送信する形態をもってテレビ電話による通話を受けることが可能となる。在宅時等、プライベートな場面で予めアニメーションモードに設定するなどの使用形態をとることができる。またタイマ機能を利用して夜間は自動的にアニメーションモードになるように設定しておく形態も可能である。このアニメーションモードへの切替機能を前提とすると、プライベートな場面を他者の視線にさらす可能性があるという心理的な負担を伴うことなく、携帯電話機によるテレビ電話機能を利用できる利点がある。
Therefore, when the caller wants to make a call but does not want to transmit the video of the caller when there is an incoming videophone call or a communication request, the caller operates the
また相手の携帯電話機1aに送信するアニメーションは、通話者の映像の代替としての性質から、通話者の意思を表現できるものであることが望ましく、特に会話の内容に伴ってリアルタイムで感情表現等を変更できる機能を有することが望ましい。この実施形態では、前述したアニメーションの規定情報のうち、動作選択を指示する規定情報を、通話中に簡単な操作で入力可能とすることにより、かかる要請に対処している。 The animation transmitted to the other party's mobile phone 1a is preferably capable of expressing the caller's intention because of the nature of the substitute for the caller's video. In particular, the animation can be expressed in real time according to the content of the conversation. It is desirable to have a function that can be changed. In this embodiment, the request information is dealt with by making it possible to input the rule information for instructing the action selection among the animation rule information described above with a simple operation during a call.
すなわち、作成したアニメーションを送信するにあたって主制御部601は、アニメーションの動作情報を規定するため、まず磁気センサおよび加速度センサの出力データを時系列情報として取り込み、その時系列情報をRAM603に保存する(ステップS505、ステップS506)。ここでROM602には、予めアニメーションの動作規定に対応する筐体の動きの時系列条件が保持されている。
That is, when transmitting the created animation, the
主制御部601は、上記の時系列情報に対し時系列条件を照合する処理を行い、時系列条件と一致する箇所が出現するかどうか検索する(ステップS507)。かかる照合処理としては、デジタルフィルタを用いたパターン認識処理等、既存の各種の手法を採用できる。一例を挙げて簡単に説明すると、たとえば加速度センサ510−1〜510−3の取付位置をそれぞれ上中下とし、上中下の各成分の大中小を前件部、対応する規定情報を後件部とする条件式を予め設定しておく。
The
条件式の例を挙げると条件式1「上のY軸成分の動きが大きく変動を繰り返し他がすべて小さい(端末ユニット1−1を固定して端末ユニット1−2を揺動させる)ならばお辞儀である」、条件式2「中のX軸成分の動きが大きく変動を繰り返し他がすべて小さい(端末ユニット1−1の下部と端末ユニット1−2の上部を動かさず長手方向を回転軸として蝶番部1−3辺りを回転させる)ならばダンスである」、条件式3「上のX軸成分の動きが大きく、中のX軸成分が中程度に、下のX軸成分が小さく変動を繰り返し他がすべて小さい(端末ユニット1−1の下部を中心に左右に揺動させる)ならば手を振る」等、携帯電話機1の筐体の動きから直感的に想起される動きを示す規定情報を登録する形態が好ましい。
As an example of the conditional expression, if
また、条件式4「上のX軸成分の動きが中程度に速く、中のX軸成分が小さく速く変動を繰り返し他がすべて小さい(端末ユニット1−1の下部を中心に左右に小刻みに揺動させる)ならば微笑む」などキャラクタの動きだけでなく表情を指定する規定情報を登録することも可能である。さらに条件式3,4を組み合わせた内容の条件式5「上のX軸成分の動きが大と中、中のX軸成分が中と小の変動を繰り返し他がすべて小さい(端末ユニット1−1の下部を中心に左右に振幅が大中を繰り返すように揺動させる)ならば微笑みながら手を振る」というように動きと表情を組み合わせた規定情報を登録することも可能である。 In addition, conditional expression 4 “the movement of the X-axis component on the top is moderately fast, the middle X-axis component is small and repeats the fluctuations fast, and everything else is small (swaying from side to side centering on the lower part of the terminal unit 1-1). It is also possible to register not only the character's movement, but also regulation information for designating the facial expression, such as “smile if you move”. Furthermore, conditional expression 5 “contents combining conditional expressions 3 and 4”, the movement of the upper X-axis component is large and medium, the middle X-axis component repeats medium and small fluctuations, and everything else is small (terminal unit 1-1 It is also possible to register prescribed information that combines movement and facial expression, such as “washes with a smile if the rocker swings so that the amplitude repeats large and middle in the left and right directions centering on the lower part of the head.”
加速度センサ510−1〜510−3のX,Y軸の各検出出力は所定のデジタルフィルタを通して動きと速度についてX,Y軸各軸の大中小の成分が弁別され、上記の条件式の前件部の成立度が評価される。そして前件部の成立度から条件式の後件部の成立度がたとえば最小最大重心法等により評価される。このようにして時系列情報を時系列条件をもって照合し、時系列条件を満たす箇所が見つかった場合は、かかる時系列条件に対応するアニメーションの規定情報を選択し、その結果をRAM603に記憶する(ステップS508)。次に、選択されているアニメーションの基本情報(特定のキャラクタが手を振っている等)に表情(微笑んでいる)や服装などをマスキングするなどアニメーション処理を施してアニメーションの生成を行う(ステップS509)。最後に、生成したアニメーションを相手の携帯電話機1aに送信し、一連の処理を終了する(ステップS511)。 The detected outputs on the X and Y axes of the acceleration sensors 510-1 to 510-3 are distinguished from large, medium and small components of the X and Y axes with respect to movement and speed through a predetermined digital filter. The degree of establishment of the part is evaluated. Then, the establishment degree of the consequent part of the conditional expression is evaluated from the establishment degree of the antecedent part by, for example, the minimum maximum centroid method. In this way, when the time series information is collated with the time series condition and a part satisfying the time series condition is found, the animation defining information corresponding to the time series condition is selected, and the result is stored in the RAM 603 ( Step S508). Next, animation processing is performed by performing animation processing such as masking facial expressions (smiles) and clothes on the basic information of the selected animation (such as a specific character waving) (step S509). ). Finally, the generated animation is transmitted to the partner mobile phone 1a, and the series of processes is terminated (step S511).
また携帯通信端末の筐体の動きを検出し、かかる動きの時系列情報が所定の時系列条件を満たすとき、当該時系列条件に対応する所定の規定情報を取得する形態をとれば、筐体の動きに連動して動画を変更することができ、キー入力等を伴わずに動画の中のキャラクタの表情変化等を実現できる利点がある。 Further, when the movement of the casing of the mobile communication terminal is detected and the time-series information of the movement satisfies a predetermined time-series condition, the predetermined regulation information corresponding to the time-series condition is acquired. The moving image can be changed in conjunction with the movement of the character, and there is an advantage that a change in the facial expression of the character in the moving image can be realized without key input or the like.
なお、上記の規定情報は予め出荷時に用意された情報を使用する他、ユーザが各自で任意の時系列条件を登録し、所望の動作や表情等を対応付けておくことも可能である。この場合、時系列条件を登録する画面においては、現在の傾きや動きの度合を示す棒グラフ状のインジケータ等を表示部308に表示して登録時に参照できるようにする形態をとることもできる。
In addition to the information prepared in advance at the time of shipment, the user can register an arbitrary time series condition and associate a desired action, facial expression, and the like. In this case, on the screen for registering the time series condition, a bar graph indicator indicating the current inclination and the degree of movement may be displayed on the
図6は携帯電話機1の表示部308に出力される画像の一例であり、画面に大きく表示されている画像701が相手の携帯電話機1aから受信した映像であり、画面の右下に小さく表示されている画像702が自分の携帯電話機1で生成した動画である。図7は相手側の携帯電話機1aの表示部に出力される画像の一例であり、画面に大きく表示されているのが自分の携帯電話機1から送信した動画、右下に表示されているのが相手の映像である。
FIG. 6 is an example of an image output to the
画像処理(図4のステップS404)が終了すると、通話を継続するか通話を終了するかを判定する(ステップS405)。通話を終了するのであれば、主制御部601はテレビ電話の開始を判定する段階に戻る(ステップS405:Yes)。一方、通話が継続される場合は、通話処理(ステップS403)に戻り、以後ステップS403、ステップS404を繰り返し実行する。
When the image processing (step S404 in FIG. 4) ends, it is determined whether to continue the call or to end the call (step S405). If the call is to be terminated, the
次に、この発明の第2の実施形態について説明する。
図8はこの発明の第2の実施形態にかかる携帯電話機11および無線基地局12の概略を示すブロック図である。この実施形態では、アニメーションの基本情報・表情・動作指定に関する情報は無線基地局12内の記憶部803で保持する。携帯電話機11の記憶部は、無線基地局12で保持している画像に対応する識別子(ID)を保持し、通話者の映像の代替となる画像を表示する設定では携帯電話機11はこの識別子を送信部210より無線基地局12に対して送信する。無線基地局12は受信部801で識別子を受信し、動画生成部802に出力する。動画生成部802は受信した識別子と記憶部803に保持されているアニメーションの情報とから動画を生成し、送信部804から相手先の携帯電話機へ送信する。
Next explained is the second embodiment of the invention.
FIG. 8 is a block diagram showing an outline of the
この第2の実施形態では、キャラクタの画像情報を携帯電話機11で保存する必要がないため、携帯電話機11に必要とされる記憶容量が少なくてすむ。また、通話者の映像の代替となる動画を表示する設定では、無線基地局12に対して動画と比較して情報量の少ない識別子を送信しており、ネットワーク上を流れる情報量が軽減される。
In the second embodiment, since it is not necessary to store character image information in the
以上、この発明の実施形態を詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。たとえば主制御部601(図1参照)はCPU型のプロセッサとして説明したが、具体的にはBBP(Base Band Processor)あるいはBBPをメインにDSP(Digital Signal Processor)をサブとして組み合わせて構築する形態等をとることができる。 The embodiment of the present invention has been described in detail above, but the specific configuration is not limited to this embodiment, and includes a design and the like within a range not departing from the gist of the present invention. For example, although the main control unit 601 (see FIG. 1) has been described as a CPU type processor, specifically, a configuration in which BBP (Base Band Processor) or BBP is used as a main and a DSP (Digital Signal Processor) is combined as a sub, or the like. Can be taken.
BBPやDSPに組み込むプログラムは、コンピュータ読み取り可能な記録媒体に記録されて頒布されることができ、機能の一部を実現する形態で頒布されるものであっても良い。たとえばOS(オペレーション・システム)が提供する基本機能を利用したアプリケーションソフトの形式で頒布されるものであっても良い。さらにコンピュータシステムにすでに記録されている既存システムのプログラムとの組み合わせで所定の機能を実現できるもの、いわゆる差分プログラムで頒布される形態をとることも可能である。 The program incorporated in the BBP or DSP can be recorded and distributed on a computer-readable recording medium, and may be distributed in a form that realizes a part of the functions. For example, it may be distributed in the form of application software using basic functions provided by an OS (operation system). Further, it is possible to adopt a form in which a predetermined function can be realized in combination with a program of an existing system already recorded in a computer system, that is, a so-called differential program.
また上記のコンピュータ読み取り可能な記録媒体には、可搬型の磁気ディスクや光磁気ディスク等の記憶媒体等以外にも、ハードディスク等の記憶装置その他不揮発性の記憶装置を含む。さらにインターネットその他のネットワーク等、任意の伝送媒体を介して他のコンピュータシステムから提供される形態でも良い。この場合、「コンピュータ読み取り可能な記録媒体」には、ネットワーク上のホストやクライアントとなるコンピュータシステム内部の揮発性メモリのように、伝送媒体において一定時間プログラムを保持しているものも含む。 The computer-readable recording medium includes a storage device such as a hard disk and other nonvolatile storage devices in addition to a storage medium such as a portable magnetic disk and a magneto-optical disk. Furthermore, the form provided from another computer system via arbitrary transmission media, such as the internet and other networks, may be sufficient. In this case, the “computer-readable recording medium” includes a medium that holds a program for a certain period of time in a transmission medium such as a volatile memory inside a computer system serving as a host or client on a network.
またBBPやDSPによるコプロセッサ方式により制御部を構築する形態に言及したが、少なくともその一部のプロセッサをFPGA(Field Programmable Gate Alley)により構築する形態も可能である。この場合、FPGAに組み込む回路プログラム情報の頒布については、上記のプログラムの頒布と同様に各種の形態をとることも可能である。 In addition, although a configuration in which the control unit is constructed by a coprocessor system such as BBP or DSP has been described, a configuration in which at least a part of the processor is constructed by Field Programmable Gate Array (FPGA) is also possible. In this case, the distribution of the circuit program information to be incorporated into the FPGA can take various forms in the same manner as the distribution of the program.
1、1a…携帯電話機(携帯通信端末) 1−1、1−2…端末ユニット 1−3…蝶番部 2、2a…無線基地局 10…ネットワーク 201…アンテナ 210…送信部 305…主操作部 306…画像切替スイッチ 307…電子カメラ部 308…表示部 309…タッチパネル 510−1〜510−3…加速度センサ 520…磁気センサ部 521−1〜521−3…磁気センサ 522…温度センサ 523…センサ制御部 601…主制御部 602…ROM 603…RAM 801…受信部 802…動画生成部 803…記憶部 804…送信部
DESCRIPTION OF
Claims (9)
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記切替指示により選択され前記動画を規定する規定情報を取得する取得手段と、前記規定情報に基づいて動画を生成する生成手段と、前記通話者の映像の代わりに前記動画を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末。 A portable communication terminal that transmits a caller's video to the other communication terminal when making a call with the other communication terminal;
Instruction means for instructing to switch the video of the caller to be transmitted to the other communication terminal to a predetermined video, acquisition means for acquiring regulation information selected by the switching instruction and defining the video, A portable communication terminal comprising: generating means for generating a moving picture based on prescribed information; and transmitting means for transmitting the moving picture to another communication terminal instead of the video of the caller.
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行う指示手段と、前記動画を規定する規定情報を取得する取得手段と、前記切替指示により選択され前記通話者の映像の代わりに前記規定情報を他の通信端末に送信する送信手段とを備えたことを特徴とする携帯通信端末。 A portable communication terminal that transmits a caller's video to the other communication terminal when making a call with the other communication terminal;
Instructing means for instructing switching to switch the video of the caller to be transmitted to the other communication terminal to a predetermined video, acquisition means for acquiring regulation information defining the video, and selected by the switching instruction A mobile communication terminal, comprising: a transmission unit that transmits the specified information to another communication terminal instead of a video of a caller.
前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を表示する表示手段とを備えたことを特徴とする通信端末。 A communication terminal that communicates with the mobile communication terminal according to claim 3,
A communication terminal comprising: receiving means for receiving the defining information; generating means for generating a moving image based on the received defining information; and display means for displaying the moving image.
前記規定情報を受信する受信手段と、受信した規定情報に基づいて動画を生成する生成手段と、該動画を前記他の通信端末に送信する送信手段とを備えたことを特徴とする中継装置。 A relay device that relays a call between the mobile communication terminal according to claim 3 and another communication terminal,
A relay apparatus comprising: a receiving unit that receives the definition information; a generation unit that generates a moving image based on the received definition information; and a transmission unit that transmits the moving image to the other communication terminal.
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記切替指示により選択され前記動画を規定する規定情報を取得するステップと、前記規定情報に基づいて動画を生成するステップを実行させると共に、
前記通話者の映像の代わりに前記動画および規定情報のいずれか一方を他の通信端末に送信するステップとを実行させることを特徴とするプログラム。 When a call is made between a mobile communication terminal and another communication terminal, the communication system for transmitting a video of a caller from the mobile communication terminal to the other communication terminal is targeted.
A step of performing a switching instruction to switch the video of the caller to be transmitted to the other communication terminal to a predetermined moving image, a step of acquiring the defining information selected by the switching instruction and defining the moving image, and the defining information To generate a video based on the
And a step of transmitting one of the moving image and the specified information to another communication terminal instead of the video of the caller.
前記他の通信端末に送信する前記通話者の映像を所定の動画に切り替える旨の切替指示を行うステップと、前記動画を規定する規定情報を取得するステップとを実行させると共に、
前記規定情報を取得するステップには、前記携帯通信端末の筐体の動きを検出するステップと、前記動きを示す検出信号を蓄積して時系列情報として記憶するステップと、前記規定情報に対応付けられて予め設定された前記筐体の動きの時系列条件を記憶するステップと、前記時系列情報が前記時系列条件を満たすと当該時系列条件に対応する規定情報を選択するステップとを含むことを特徴とするプログラム。 Targeting mobile communication terminals that transmit a caller's video to the other communication terminal when making a call with the other communication terminal,
Performing a switching instruction to switch the video of the caller to be transmitted to the other communication terminal to a predetermined video, and obtaining regulation information defining the video;
The step of acquiring the regulation information includes a step of detecting a movement of the casing of the mobile communication terminal, a step of accumulating a detection signal indicating the movement and storing it as time series information, and associating with the regulation information Storing a preset time series condition of the movement of the housing, and selecting the regulation information corresponding to the time series condition when the time series information satisfies the time series condition. A program characterized by
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005100690A JP2006287297A (en) | 2005-03-31 | 2005-03-31 | Mobile communication terminal, communication terminal, relaying apparatus, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005100690A JP2006287297A (en) | 2005-03-31 | 2005-03-31 | Mobile communication terminal, communication terminal, relaying apparatus, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006287297A true JP2006287297A (en) | 2006-10-19 |
| JP2006287297A5 JP2006287297A5 (en) | 2008-07-31 |
Family
ID=37408775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005100690A Withdrawn JP2006287297A (en) | 2005-03-31 | 2005-03-31 | Mobile communication terminal, communication terminal, relaying apparatus, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006287297A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7813643B2 (en) | 2006-12-01 | 2010-10-12 | Hon Hai Precision Industry Co., Ltd. | Portable electronic apparatus having remote control module |
| JP2011524720A (en) * | 2008-06-16 | 2011-09-01 | クゥアルコム・インコーポレイテッド | A method of showing an active voice call using animation. |
| JP2013143752A (en) * | 2012-01-12 | 2013-07-22 | Nippon Telegr & Teleph Corp <Ntt> | Image transmission control device, method, and program |
| US8698602B2 (en) | 2002-09-11 | 2014-04-15 | Nxp B.V. | Method of reading a plurality of non-contact data carriers, including an anti-collision scheme |
| JP2021056818A (en) * | 2019-09-30 | 2021-04-08 | 株式会社コロプラ | Program, method, and terminal device |
| JP2021512562A (en) * | 2018-01-18 | 2021-05-13 | 上海掌門科技有限公司Shanghai Zhangmen Science And Technology Co., Ltd. | Video call methods and devices based on virtual images |
| WO2021220494A1 (en) * | 2020-04-30 | 2021-11-04 | 塁 佐藤 | Communication terminal device, communication method, and software program |
| JP2022084763A (en) * | 2020-09-23 | 2022-06-07 | グリー株式会社 | Computer programs, methods, and server equipment |
-
2005
- 2005-03-31 JP JP2005100690A patent/JP2006287297A/en not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8698602B2 (en) | 2002-09-11 | 2014-04-15 | Nxp B.V. | Method of reading a plurality of non-contact data carriers, including an anti-collision scheme |
| US8994507B2 (en) | 2002-09-11 | 2015-03-31 | Nxp B.V. | Non-contact data carriers including an anti-collision scheme |
| US9875380B2 (en) | 2002-09-11 | 2018-01-23 | Nxp B.V. | Non-contact data carriers including an anti-collision scheme |
| US7813643B2 (en) | 2006-12-01 | 2010-10-12 | Hon Hai Precision Industry Co., Ltd. | Portable electronic apparatus having remote control module |
| JP2011524720A (en) * | 2008-06-16 | 2011-09-01 | クゥアルコム・インコーポレイテッド | A method of showing an active voice call using animation. |
| JP2013143752A (en) * | 2012-01-12 | 2013-07-22 | Nippon Telegr & Teleph Corp <Ntt> | Image transmission control device, method, and program |
| JP2021512562A (en) * | 2018-01-18 | 2021-05-13 | 上海掌門科技有限公司Shanghai Zhangmen Science And Technology Co., Ltd. | Video call methods and devices based on virtual images |
| JP2021056818A (en) * | 2019-09-30 | 2021-04-08 | 株式会社コロプラ | Program, method, and terminal device |
| WO2021220494A1 (en) * | 2020-04-30 | 2021-11-04 | 塁 佐藤 | Communication terminal device, communication method, and software program |
| JPWO2021220494A1 (en) * | 2020-04-30 | 2021-11-04 | ||
| JP7525598B2 (en) | 2020-04-30 | 2024-07-30 | 塁 佐藤 | COMMUNICATION TERMINAL DEVICE, COMMUNICATION METHOD, AND SOFTWARE PROGRAM |
| US12231614B2 (en) | 2020-04-30 | 2025-02-18 | Virtual Window Co., Ltd. | Communication terminal device, communication method, and software program |
| JP2022084763A (en) * | 2020-09-23 | 2022-06-07 | グリー株式会社 | Computer programs, methods, and server equipment |
| JP7429930B2 (en) | 2020-09-23 | 2024-02-09 | グリー株式会社 | Computer program, method and server device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101782649B1 (en) | Device and method for providing application of external accessory in wireless terminal | |
| KR101953308B1 (en) | System and method for transmitting communication information | |
| JP4218830B2 (en) | Portable information device | |
| KR20060128737A (en) | Information processing apparatus and method, and program | |
| JP6088744B2 (en) | Program, portable terminal, information processing method, and information processing system | |
| JP2008058917A (en) | Map information display system with image | |
| JP2002191067A (en) | Mobile communication unit | |
| JP2007017596A (en) | Mobile terminal device | |
| CN104936039B (en) | Image processing method and device | |
| CN109151044A (en) | Information-pushing method, device, electronic equipment and storage medium | |
| CN107888765A (en) | A kind of method of handoff scenario pattern, mobile terminal | |
| JPWO2008114369A1 (en) | Route search system, mobile terminal, route providing server, and route providing program | |
| JP2008244660A (en) | Image analysis system automatically acquiring related information from captured image, mobile terminal, method, and program | |
| JP2006287297A (en) | Mobile communication terminal, communication terminal, relaying apparatus, and program | |
| KR100548418B1 (en) | Method and system for limiting shooting of camera integrated mobile terminal | |
| JP4421929B2 (en) | Server system | |
| KR101005041B1 (en) | Recording medium recording communication terminal device and communication program | |
| JP2004274550A (en) | Mobile communication terminal equipment | |
| JP2008131412A (en) | Video telephone system and program | |
| JP2002262338A (en) | Mobile communication unit | |
| JP2007067783A (en) | Information communication terminal | |
| JPWO2006051750A1 (en) | Position display system | |
| JP2004163241A (en) | Wireless portable terminal, navigation method used therefor, and program therefor | |
| JP2010154047A (en) | Portable information terminal | |
| JP2018019305A (en) | Portable terminal device and image recording system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080617 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090128 |