[go: up one dir, main page]

JP6478181B2 - 携帯端末と外部表示装置の連結運用方法及びこれを支援する装置 - Google Patents

携帯端末と外部表示装置の連結運用方法及びこれを支援する装置 Download PDF

Info

Publication number
JP6478181B2
JP6478181B2 JP2013187476A JP2013187476A JP6478181B2 JP 6478181 B2 JP6478181 B2 JP 6478181B2 JP 2013187476 A JP2013187476 A JP 2013187476A JP 2013187476 A JP2013187476 A JP 2013187476A JP 6478181 B2 JP6478181 B2 JP 6478181B2
Authority
JP
Japan
Prior art keywords
display device
screen
mobile terminal
external display
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013187476A
Other languages
English (en)
Other versions
JP2014053014A (ja
Inventor
到演 姜
到演 姜
成振 朴
成振 朴
光林 李
光林 李
相珍 李
相珍 李
ボラム 朴
ボラム 朴
洙贊 林
洙贊 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130003465A external-priority patent/KR20140034025A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014053014A publication Critical patent/JP2014053014A/ja
Application granted granted Critical
Publication of JP6478181B2 publication Critical patent/JP6478181B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24—Transfer of terminal data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/22—Detection of presence or absence of input display information or of connection or disconnection of a corresponding information source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/16—Details of telephonic subscriber devices including more than one display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、携帯端末の機能運用方法及び装置に関し、特に携帯端末と外部表示装置を連結した状態における連結運用方法及び装置に関するものである。
近年、デジタル技術の発達と共に移動通信端末機、ＰＤＡ(Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ)、電子手帳、スマートフォン、タブレットＰＣ(Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ)などのように移動しながら通信及び個人情報処理が可能な携帯端末が多様に発売されている。このような携帯端末は各者の伝統的な固有領域に留まらず他の端末の領域まで包含するモバイルコンバージェンス(ｍｏｂｉｌｅ ｃｏｎｖｅｒｇｅｎｃｅ)段階に至っている。代表的に、携帯端末は音声通話及び映像通話などのような通話機能、ＳＭＳ(Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ)/ＭＭＳ(Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ)及び電子メールなどのようなメッセージ送受信機能、電子手帳機能、撮影機能、放送再生機能、動映像再生機能、音楽再生機能、インターネット機能、メッセンジャー機能及びソーシャルネットワークサービス(ＳＮＳ、Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ)機能など具備することができる。
一方、最近携帯端末は、外部表示装置と連結して携帯端末のデータを外部表示装置(例えば、ＬＣＤモニターなど)を介して表示することができる外部出力機能を支援している。例えば、携帯端末は、外部表示装置が連結される場合、携帯端末の表示部を介して表示される画面を外部表示装置にそのまま伝達して外部表示装置による表示を提供している(クローンモード(ｃｌｏｎｅ ｍｏｄｅ))。または携帯端末は外部表示装置が連結される場合、携帯端末で実行される機能(または、アプリケーション)の実行画面(例えば、動映像再生によるビデオ画面)のみを外部表示装置へ伝達して外部表示装置による表示を提供している(ビデオオンリーモード(ｖｉｄｅｏ ｏｎｌｙ ｍｏｄｅ))。
しかし、上記のような従来の方式は、携帯端末に外部表示装置が連結される場合、互いに異なる大きさの画面を效果的に活用することができない問題点がある。すなわち、従来では上記のクローンモードやビデオオンリーモードのように制限的な機能のみを提供することができる。
また、従来では携帯端末に表示される画面に係る１つのレイアウト(ｌａｙｏｕｔ)のみを支援するから外部表示装置でも携帯端末のレイアウトによる同様な様子のレイアウト画面だけが提供される。ただ、従来では外部表示装置の画面大きさに比例して同様なレイアウトを単純拡大して表示する程度に止めている。したがって、従来では携帯端末に外部表示装置が連結される場合、互いに異なる画面大きさを有する表示装置別で效果的な活用の難しいという問題点がある。
また、従来デュアル表示システムは、外部入力装置を別に具備すべきであるという点でコスト面において短所がある。もちろん外部入力装置代わりに携帯端末の入力部が使用されることができる。ただ、携帯端末の入力部がタッチスクリーンの場合、タッチスクリーンと外部表示装置を使用し難いという問題がある。
本発明は、携帯端末と外部表示装置の連動時、携帯端末を介してデスクトップ環境の作業が可能にする携帯端末でデスクトップ仮想化方法及び装置を提供することを目的とする。
本発明の他の目的は、携帯端末の単一システムで外部表示装置を介するデスクトップウィンドウ環境を具現することができる携帯端末でデスクトップ仮想化方法及び装置を提供することである。
本発明のまた他の目的は、携帯端末で外部表示装置を介するデスクトップウィンドウ環境を具現して使用者により多い情報と多様な使用者経験を支援することができる携帯端末でデスクトップ仮想化方法及び装置を提供することである。
本発明のまた他の目的は、携帯端末でデスクトップウィンドウ環境を支援するための最適の環境を具現して、使用者便宜性及び携帯端末の使用性を向上させることができる知能型サービス提供方法及び装置を提供することである。
本発明の他の目的は、互いに異なるウィンドウレイアウトによって表示装置別の他の画面出力が可能にする携帯端末で表示装置別ウィンドウレイアウト提供方法及び装置を提供することである。
本発明の他の目的は、幾つかの表示装置が存在する場合、各表示装置別で互いに異なる様子の多様なウィンドウレイアウトの画面を支援することができる携帯端末で表示装置別ウィンドウレイアウト提供方法及び装置を提供することである。
本発明のまた他の目的は、携帯端末でアプリケーション実行時、アプリケーションの実行画面が出力される表示装置によって他の様子のウィンドウレイアウトを持つ画面表示を支援することができる携帯端末で表示装置別ウィンドウレイアウト提供方法及び装置を提供することである。
本発明のまた他の目的は、表示装置別互いに異なるウィンドウレイアウト支援を介して、使用者に各表示装置に対応する多様な様子のウィンドウレイアウトを提供することができ、表示装置の画面大きさによってより多様な情報の表示を支援することができる携帯端末で表示装置別ウィンドウレイアウト提供方法及び装置を提供することである。
本発明のまた他の目的は、携帯端末でアプリケーション実行時、表示装置別で最も適合した画面出力を支援するための最適の環境を具現して使用者便宜性及び携帯端末の使用性を向上させることができる携帯端末で表示装置別ウィンドウレイアウト提供方法及び装置を提供することである。
本発明の他の目的は、携帯端末が外部入力装置を具備しなくても外部表示装置を利用してデュアル表示モードを使用者に提供する方法を提案する。また本発明は携帯端末に具備されたタッチスクリーン及び外部表示装置を利用してデュアル表示モードを使用者に提供する方法を提供することである。
上記のような課題を解決するための本発明の実施例による方法は、携帯端末と外部表示装置を利用した機能運用方法であって、上記外部表示装置の連結を感知する過程； 上記外部表示装置が連結される時、基本デスクトップウィンドウ画面を上記外部表示装置で出力する過程；制御イベント入力を受信する過程；上記制御イベントが上記外部表示装置のデスクトップ領域の制御のための外部イベントであれば上記デスクトップ領域の画面表示を制御する過程；及び上記制御イベントが上記携帯端末の基本領域の制御のための内部イベントであれば上記基本領域の画面表示を制御する過程を含む。
上記のような課題を解決するための本発明の実施例による方法は、携帯端末と外部表示装置を利用した機能運用方法であって、携帯端末と外部表示装置の連結を感知する過程；上記外部表示装置が連結される時、デスクトップモードを実行する過程； 上記デスクトップモードによる基本デスクトップウィンドウ画面を上記外部表示装置を介して表示する過程；及び上記外部表示装置を介してデスクトップウィンドウ環境基盤のデスクトップ仮想化機能を運用する過程を含む。
上記のような課題を解決するための本発明の実施例では、上記方法をプロセッサで実行させるためのプログラムを記録したコンピューターで読める記録媒体を含む。
上記のような課題を解決するための本発明の実施例によるシステムは、携帯端末のデスクトップ仮想化のためのシステムであって、外部表示装置との連結を介して多重スクリーン機能を支援する携帯端末；及び上記携帯端末で出力される画面をデスクトップウィンドウ環境による画面で表示する上記外部表示装置を含む。
上記のような課題を解決するための本発明の実施例による装置は、携帯端末であって、外部表示装置及び外部入力装置を連結するための有無線インターフェースを提供するインターフェース部；携帯端末の基本領域に当るレイアウトによるウィンドウ画面を表示して、外部表示装置のデスクトップ領域のデスクトップ環境制御のための仮想入力装置を表示して、上記仮想入力装置による制御イベント入力を受信するタッチスクリーン；及び上記外部表示装置と連動時、携帯端末で生成されるデータとアプリケーションを上記外部表示装置を介してデスクトップ環境に対応する表示及び作業が可能なデスクトップ仮想化を制御する制御部を含む。
上記のような課題を解決するための本発明の実施例による記録媒体は、携帯端末が外部表示装置と連結される時、デスクトップモードを実行して、上記デスクトップモードによる基本デスクトップウィンドウ画面を上記外部表示装置を介して表示して、上記外部表示装置を介してデスクトップウィンドウ環境基盤のデスクトップ仮想化機能が運用されるように処理するプログラムを記録したコンピューターで読める記録媒体を含む。
上記のような課題を解決するための本発明の実施例による方法は、携帯端末と外部表示装置を利用した画面表示方法であって、アプリケーション実行によるウィンドウ生成イベントを検出する過程；上記ウィンドウ生成イベントに応答して上記ウィンドウが生成される表示装置を確認する過程；上記ウィンドウが生成される表示装置に対する資源(ｒｅｓｏｕｒｃｅ)を獲得する過程；上記獲得された資源に対応して上記表示装置のウィンドウレイアウト政策を決定する過程；決定されたウィンドウレイアウト政策によるレイアウトで上記表示装置に上記ウィンドウを生成する過程；及び上記ウィンドウを介して上記アプリケーションの実行画面を表示する過程を含む。
上記のような課題を解決するための本発明の実施例による方法は、携帯端末と外部表示装置を利用した画面表示方法であって、携帯端末は外部表示装置が連結される時、上記外部表示装置に対する資源を獲得する過程；上記獲得された資源に対応するウィンドウレイアウト政策を決定して、上記決定されたウィンドウレイアウト政策によるデスクトップウィンドウ画面を上記外部表示装置に出力する過程；上記外部表示装置は上記デスクトップウィンドウ画面を上記ウィンドウレイアウト政策のレイアウトによって表示する過程；上記携帯端末はアプリケーションを実行する使用者入力が受信されると、上記アプリケーションに対するウィンドウ生成領域を決定する過程；上記ウィンドウ生成領域が上記外部表示装置であることで決定されると、上記外部表示装置に対するウィンドウレイアウト政策を決定する過程；上記決定されたウィンドウレイアウト政策によるアプリケーション実行画面を上記外部表示装置に出力する過程；及び上記外部表示装置は上記アプリケーション実行画面を上記ウィンドウレイアウト政策のレイアウトによって表示する過程を含む。
上記のような課題を解決するための本発明の実施例による方法は、表示装置別ウィンドウレイアウト提供方法であって、表示装置に対するウィンドウレイアウト政策(ｗｉｎｄｏｗ ｌａｙｏｕｔ ｐｏｌｉｃｙ)を設定する過程；アプリケーション実行要請によるウィンドウ生成時、予め設定されたウィンドウレイアウト政策によって上記ウィンドウに適用するウィンドウレイアウト政策を決定する過程；及び決定されたウィンドウレイアウト政策によるレイアウトで上記ウィンドウを生成する過程を含む。
上記のような課題を解決するための本発明の実施例では、上記方法をプロセッサで実行させるためのプログラムを記録したコンピューターで読める記録媒体を含む。
上記のような課題を解決するための本発明の実施例によるシステムは、表示装置別ウィンドウレイアウト政策による画面表示のためのシステムであって、外部表示装置との連結を介して多重スクリーン機能を支援して、連結された外部表示装置の資源に対するウィンドウレイアウト政策によってウィンドウを生成して出力する携帯端末； 及び上記携帯端末で出力されるウィンドウを上記ウィンドウレイアウト政策によるレイアウトで表示する上記外部表示装置を含む。
上記のような課題を解決するための本発明の実施例による装置は、携帯端末であって、外部表示装置を連結するための有無線インターフェースを提供するインターフェース部；設定されたウィンドウレイアウト政策による画面を表示する表示部；及び表示装置に対するウィンドウレイアウト政策を設定して、アプリケーション実行要請によるウィンドウ生成時、予め設定されたウィンドウレイアウト政策によって上記ウィンドウに適用するウィンドウレイアウト政策を決定して、決定されたウィンドウレイアウト政策によるレイアウトで上記ウィンドウを生成して上記外部表示装置に表示されるように制御する制御部を含む。
上記のような課題を解決するための本発明の実施例による記録媒体は、アプリケーション実行によるウィンドウ生成イベントを検出して、上記ウィンドウ生成イベントに応答して上記ウィンドウが生成される表示装置を確認して上記表示装置に対する資源を獲得して、上記獲得された資源に対応して上記表示装置のウィンドウレイアウト政策を決定して、決定されたウィンドウレイアウト政策によるレイアウトで上記表示装置に上記ウィンドウを生成して、上記ウィンドウを介して上記アプリケーションの実行画面が表示されるように処理するプログラムを記録したコンピューターで読める記録媒体を含む。
上記のような課題を解決するための本発明の実施例による使用者入力の処理方法は、タッチスクリーンをもって外部表示装置と連結される携帯端末で行われて、上記タッチスクリーンから使用者入力を検出する検出段階、上記使用者入力が上記外部表示装置の第１画面に係るか否かを決定する決定段階、及び上記使用者入力が第１画面に係る場合、上記使用者入力に応答して上記第１画面に係る機能を行なって、上記使用者入力が第１画面と関係がない場合、上記使用者入力に応答して上記タッチスクリーンの第２画面に係る機能を行なう機能遂行段階を含む。
上記のような課題を解決するための本発明の実施例による携帯端末は、外部表示装置と有線で連結するためのインターフェース部、上記外部表示装置と無線で連結するための無線通信部、タッチパネルと表示パネルを含むタッチスクリーン、上記インターフェース部、上記無線通信部及び上記タッチスクリーンを制御する制御部を含み、上記制御部は上記タッチスクリーンから使用者入力を検出して、上記使用者入力が上記外部表示装置の第１画面に係るか否かを決定して、上記使用者入力が第１画面に係る場合、上記使用者入力に応答して上記第１画面に係る機能を行ない、上記使用者入力が第１画面と関連がない場合、上記使用者入力に応答して上記タッチスクリーンの第２画面に係る機能を行なう。
前述したような内容は当該分野通常の知識を有した者が後述される本発明の具体的な説明からよりよく理解することができるようにするために、本発明の特徴及び技術的な長所を多少広く略述したものである。このような特徴及び長所以外にも本発明の請求範囲の主題を形成する本発明の追加的な特徴及び長所が後述される本発明の具体的な説明からよく理解されるでしょう。
上述したように、本発明で提案する携帯端末でデスクトップ仮想化方法及び装置によれば、携帯端末と外部表示装置の間の連動時、携帯端末を介してデスクトップ環境の作業が可能にするデスクトップ仮想化機能を提供する。したがって本発明によれば、使用者に携帯端末の単一システムで外部表示装置を介するデスクトップウィンドウ環境を提供することができ、これを介して使用者により多い情報と多様な使用者経験を提供することができる利点がある。また本発明によれば、使用者は携帯端末の狭小な画面での不便な作業から脱して、より大きい画面の外部表示装置を介して携帯端末における作業をデスクトップ環境でより效果的に行なうことができる利点がある。
したがって本発明によれば、携帯端末でデスクトップウィンドウ環境を支援することができる最適の環境を具現することによって、使用者の便宜性を向上させて、携帯端末の使用性、便宜性及び競争力を向上させることに寄与することができる。このような本発明は多重スクリーン機能を支援するすべての形態の携帯端末及びそれに対応する多様なデバイスに簡便に具現されることができる。
上述したように本発明で提案する携帯端末で表示装置別ウィンドウレイアウト提供方法及び装置によれば、使用者に各表示装置に当る多様な様子のウィンドウレイアウトによる画面表示を提供することができ、各表示装置の大きさによってより多い情報を提供することができる。本発明によれば、いくつかの表示装置が存在する場合、各表示装置別で互いに異なるレイアウトを使用して表示装置によるレイアウトの便宜性を増大させることができる。
本発明によれば、２つ以上の表示装置が存在する時、それぞれの表示装置ごとに互いに異なるウィンドウレイアウト政策を設定して、使用者がアプリケーションを実行する時、上記アプリケーションが実行される表示装置によって他の様子のレイアウトを構成して表示装置別の実行アプリケーションに対する他の様子の実行画面を提供することができる。また本発明によれば、使用者は携帯端末の狭小な画面における不便な作業から脱して、より大きい画面の外部表示装置を介して携帯端末における作業をデスクトップ環境でより效果的に行なうことができる利点がある。
したがって本発明によれば、携帯端末でアプリケーション実行時、表示装置別で最も適合した画面出力を支援することができる最適の環境を具現することによって、使用者の便宜性を向上させて、携帯端末の使用性、便宜性及び競争力を向上させることに寄与することができる。このような本発明は多重スクリーン機能を支援するすべての形態の携帯端末及びそれに対応する多様なデバイスに簡便に具現されることができる。
本発明による外部表示装置を利用した使用者入力の処理方法及び携帯端末によれば、本発明は外部入力装置を具備しなくても外部表示装置を利用してデュアル表示モードを使用者に提供することができる。また本発明は携帯端末に具備されたタッチスクリーン及び外部表示装置を利用してデュアル表示モードを使用者に提供することができる。
本発明の実施例による携帯端末の構成を概略的に示した図面である。 本発明の実施例による携帯端末と外部機器の間の連結関係を説明するために概略的に示した図面である。 本発明の実施例による携帯端末と外部表示装置の間の動作関係を概略的に示した図面である。 本発明の実施例による携帯端末と外部表示装置の間の連結時、の画面例示を示した図面である。 本発明の実施例による携帯端末と外部表示装置の間の連結時、の画面例示を示した図面である。 本発明の実施例による携帯端末と外部表示装置の間の入力動作を説明するために概略的に示した図面である。 本発明の実施例による携帯端末と外部表示装置の間の入力動作を説明するために概略的に示した図面である。 本発明の実施例による携帯端末及び外部表示装置でデスクトップ仮想化運用による画面例示を示した図面である。 本発明の実施例による携帯端末及び外部表示装置でデスクトップ仮想化運用による画面例示を示した図面である。 本発明の実施例による携帯端末及び外部表示装置でデスクトップ仮想化運用による画面例示を示した図面である。 本発明の実施例による携帯端末及び外部表示装置でデスクトップ仮想化運用による画面例示を示した図面である。 本発明の実施例による携帯端末及び外部表示装置でデスクトップ仮想化運用による画面例示を示した図面である。 本発明の実施例による携帯端末でデスクトップ仮想化運用方法を示した流れ図である。 本発明の実施例による携帯端末を利用して仮想入力装置を提供する方法を示した流れ図である。 本発明の実施例による携帯端末で外部入力装置からの入力を処理する方法を示した流れ図である。 本発明の実施例による携帯端末で表示装置別ウィンドウレイアウトを提供する方法を示した流れ図である。 本発明の実施例による携帯端末で表示装置別で互いに異なるウィンドウレイアウトを運用する方法を示した流れ図である。 本発明の実施例による携帯端末と外部表示装置の連動時、の動作関係を概略的に示した図面である。 本発明の実施例による携帯端末と外部表示装置の連動時、の表示装置別で互いに異なるウィンドウレイアウトを出力する画面例示を示した図面である。 本発明の実施例による携帯端末と外部表示装置の連動時、の表示装置別で互いに異なるウィンドウレイアウトを出力する画面例示を示した図面である。 本発明の実施例による携帯端末と外部表示装置の連動時、の表示装置別で互いに異なるウィンドウレイアウトを出力する画面例示を示した図面である。 本発明の実施例による携帯端末と外部表示装置の連動時、の表示装置別で互いに異なるウィンドウレイアウトを出力する画面例示を示した図面である。 本発明の一実施例による使用者入力の処理方法を説明するための流れ図である。 外部入力装置に表示されるポインタを移動させるための手続きを説明するためのソフトウェアアーキテクチャーである。 外部入力装置に表示されるポインタを移動させるための手続きを説明するための画面例示図である。 外部入力装置に表示されるイメージの大きさを変換するための手続きを説明するためのソフトウェアアーキテクチャーである。 外部入力装置に表示されるイメージの大きさを変換するための手続きを説明するための画面例示図である。
以下、添付された図面を参照して本発明の好ましい実施例を詳しく説明する。この時、添付された図面で同一構成要素は可能な同一符号に示していることに留意すべきである。また、本発明の要旨を濁すようにできる公知機能及び構成に対する詳細な説明は省略するでしょう。すなわち、以下の説明では本発明の実施例による動作を理解することに必要な部分だけが説明されて、その以外部分の説明は本発明の要旨を乱れないように省略されるはずだということを留意すべきである。
提案する本発明は、携帯端末でデスクトップ仮想化(ｄｅｓｋｔｏｐ ｖｉｒｔｕａｌｉｚａｔｉｏｎ)を具現するための方法及び装置に関する。本発明で上記デスクトップ仮想化は、携帯端末が外部表示装置と連動時、の携帯端末で生成されるデータとアプリケーションを上記外部表示装置を介してデスクトップウィンドウ環境に対応する作業を行なうようにすることを現わす。
以下の説明で本発明の携帯端末は本発明の機能を支援するすべての情報通信機器、マルチメディア機器及びそれに対する応用機器のようにＡＰ(Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ)、ＧＰＵ(Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)を使用するすべてのデバイスを含むことができる。例えば、上記携帯端末は多様な通信システムに対応される各通信プロトコル(ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌｓ)に基づいて動作する移動通信端末機をはじめとして、タブレット(ｔａｂｌｅｔ)ＰＣ(Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ)、スマートフォン(Ｓｍａｒｔ Ｐｈｏｎｅ)、デジタルカメラ、 ＰＭＰ(Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ)、メディアプレーヤー(Ｍｅｄｉａ Ｐｌａｙｅｒ)、携帯ゲーム端末、及びＰＤＡ(Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ)などのデバイスを含むことができる。そして上記本発明の外部表示装置はモニター(ｍｏｎｉｔｏｒ)、デジタルＴＶ(Ｄｉｇｉｔａｌ Ｔｅｌｅｖｉｓｉｏｎ)、ＤＳ(Ｄｉｇｉｔａｌ Ｓｉｇｎａｇｅ)、ＬＦＤ(Ｌａｒｇｅ Ｆｏｒｍａｔ Ｄｉｓｐｌａｙ)などのように多様なディスプレーデバイスを含むことができる。
本発明の実施例によれば、外部表示装置との連結を支援する上記携帯端末と上記携帯端末で生成されるデスクトップウィンドウ環境を表示する上記外部表示装置によって具現されることができる。そして、本発明の実施例によれば、上記携帯端末と外部表示装置に追加的に、上記携帯端末に連結されて上記外部表示装置に表示された各ウィンドウを操作することができる入力装置(例えば、有/無線外部キーボード及び有/無線外部マウス)を含んで構成されることができる。
提案する本発明は携帯端末で、互いに異なるウィンドウレイアウト(Ｗｉｎｄｏｗ Ｌａｙｏｕｔ）によって表示装置別他の形態の画面出力が可能にする携帯端末で表示装置別ウィンドウレイアウト提供方法及び装置に関する。特に、本発明の実施例によれば、携帯端末と少なくとも１つの外部表示装置が連結される時、同様な実行アプリケーションに対しても携帯端末の表示装置及び上記外部表示装置に互いに異なるウィンドウレイアウトによる画面表示を支援することができる。
本発明の実施例によれば、多様な表示装置を各表示装置の資源(ｒｅｓｏｕｒｃｅ）(例えば、表示装置の種類、画面大きさなど)によって区分して、各表示装置別にウィンドウレイアウト政策を設定することができる。本発明の実施例で上記ウィンドウレイアウト政策は表示装置の資源(特に、画面大きさ)によって実行画面のウィンドウレイアウトを決定するための情報を現わすことができる。
本発明の実施例によれば、多重スクリーン(ｍｕｌｔｉ ｓｃｒｅｅｎ)機能を支援して、外部表示装置との連結を支援する携帯端末と、上記携帯端末で決定されるウィンドウレイアウト政策によって携帯端末で実行されるアプリケーションの実行画面を表示する上記外部表示装置によって具現されることができる。このような本発明は各表示装置別ウィンドウレイアウト政策を設定する構成、各表示装置別ウィンドウレイアウトを決定する構成、そして各表示装置別ウィンドウレイアウト政策によってウィンドウレイアウトを適用する構成で具現されることができる。
すなわち、本発明の実施例によれば、携帯端末に外部表示装置の連結有無に関係せず、表示装置の資源によってそれぞれの表示装置を区分して、各表示装置別で適用するウィンドウレイアウト政策を設定することができる。このようなウィンドウレイアウト政策はプロバイダ(ｐｒｏｖｉｄｅｒ)などから基本提供されることができ、使用者設定によって多様に定義されることもできる。そしてアプリケーションの実行などによってウィンドウ(ｗｉｎｄｏｗ)を生成する時、上記ウィンドウが生成される表示装置の領域を区分して、予め設定された表示装置別ウィンドウレイアウト政策から上記ウィンドウが生成される表示装置のウィンドウレイアウト政策を確認することができる。そしてウィンドウが位置する表示装置のウィンドウレイアウト政策が存在すると当該のウィンドウレイアウト政策を適用して、表示装置のウィンドウレイアウト政策が存在しなければ基本的に提供されるウィンドウレイアウト政策を適用する。
以下で、本発明の実施例による携帯端末の構成とその運用制御方法に対して以下の図面を参照して詳しく説明する。本発明の実施例による携帯端末の構成とそれの運用制御方法が以下で記述する内容に制限されるとか限定されるものではないので以下の実施例に基づいて多様な実施例に適用することができることに留意すべきである。
図１は、本発明の実施例による携帯端末１００の構成を概略的に示した図面である。
上記図１を参照すれば、本発明の携帯端末１００は無線通信部１１０、使用者入力部１２０、表示部１３０、オーディオ処理部１４０、貯蔵部１５０、インターフェース部１６０、制御部(ＣＯＮＴＲＯＬＬＥＲ)１７０、及び電源供給部１８０を含んで構成される。本発明の携帯端末１００は図１に示された構成要素が必須なものではなく、それより多くの構成要素を持ったり、またはそれより少ない構成要素を持つことに具現されることができる。例えば、本発明の実施例による携帯端末が撮影機能を支援する場合、カメラモジュールの構成がさらに含まれることができ、本発明の実施例による携帯端末が移動通信機能を支援しない場合、上記無線通信部１１０の一部構成(例えば、移動通信モジュール)が省略されることもできる。
上記無線通信部１１０は、携帯端末１００と無線通信システムの間または携帯端末１００と異なるデバイスが位置したネットワークの間の無線通信ができるようにする１つ以上のモジュールを含むことができる。例えば、無線通信部１１０は、移動通信モジュール１１１、無線ＬＡＮ(ＷＬＡＮ、Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ)モジュール１１３、近距離通信モジュール１１５、位置算出モジュール１１７、及び放送受信モジュール１１９などを含んで構成されることができる。
移動通信モジュール１１１は、移動通信ネットワーク上で基地局、外部の端末、及び多様なサーバー(例えば、統合サーバー(ｉｎｔｅｇｒａｔｉｏｎ ｓｅｒｖｅｒ)、プロバイダサーバー(ｐｒｏｖｉｄｅｒ ｓｅｒｖｅｒ)、コンテンツサーバー(ｃｏｎｔｅｎｔ ｓｅｒｖｅｒ)など)のうちの少なくとも１つと無線信号を送受信する。上記無線信号は、音声通話信号、画像通話信号または文字/マルチメディアメッセージ送受信による多様な形態のデータを含むことができる。移動通信モジュール１１１は制御部１７０の制御によって上記多様なサーバーのうちの少なくとも１つと接続して携帯端末ウィンドウ環境及びデスクトップウィンドウ環境のうちの少なくとも１つを支援するアプリケーション(Ａｐｐ、Ａｐｐｌｉｃａｔｉｏｎ)を使用者選択によって受信することができる。
本発明で上記携帯端末ウィンドウ環境は携帯端末１００の機能(またはアプリケーション)の画面を携帯端末１００の表示部１３０の画面大きさに対応するウィンドウ大きさで運用する環境を示す。上記デスクトップウィンドウ環境は、携帯端末１００の機能(またはアプリケーション)の画面を外部表示装置の画面大きさによって多様なウィンドウ大きさでデスクトップ環境の作業が可能にする環境を現わす。
一方、移動通信モジュール１１１は、制御部１７０の制御によって上記多様なサーバーのうちの少なくとも１つと接続して多様な表示装置に対するウィンドウレイアウト政策を受信することができる。
無線ＬＡＮモジュール１１３は、無線インターネット(ｉｎｔｅｒｎｅｔ) 接続及び他の携帯端末と無線ＬＡＮリンク(ｌｉｎｋ)を形成するためのモジュールを示すことで、携帯端末１００に内蔵したり外装されることができる。無線インターネット技術としては無線ＬＡＮ(Ｗｉ-Ｆｉ)、Ｗｉｂｒｏ(Ｗｉｒｅｌｅｓｓ ｂｒｏａｄｂａｎｄ)、Ｗｉｍａｘ(Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ)、及びＨＳＤＰＡ(Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ)などが利用されることができる。無線ＬＡＮモジュール１１３は、制御部１７０の制御によって上記多様なサーバーのうちの少なくとも１つと接続して携帯端末ウィンドウ環境及びデスクトップウィンドウ環境のうちの少なくとも１つを支援するアプリケーション(Ａｐｐ、Ａｐｐｌｉｃａｔｉｏｎ)を使用者選択によって受信することができる。また、無線ＬＡＮモジュール１１３は、他の携帯端末と無線ＬＡＮリンクが形成される時、使用者選択によるアプリケーションを他の携帯端末へ送信したり受信受けることができる。
また、無線ＬＡＮモジュール１１３は、制御部１７０の制御によって上記多様なサーバーのうちの少なくとも１つと接続して多様な表示装置に対するウィンドウレイアウト政策を受信することができる。また、無線ＬＡＮモジュール１１３は他の携帯端末と無線ＬＡＮリンクが形成される時、使用者選択によって貯蔵された表示装置別ウィンドウレイアウト政策を他の携帯端末へ送信したり受信受けることができる。
近距離通信モジュール１１５は、近距離通信のためのモジュールを示す。近距離通信(ｓｈｏｒｔ ｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ)技術でブルートゥース(Ｂｌｕｅｔｏｏｔｈ（登録商標）)、ブルートゥース低エネルギー（ＢＬＥ，Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）、 ＲＦＩＤ(Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ)、赤外線通信(ＩｒＤＡ、Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ)、ＵＷＢ(Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ)、ジグビー(ＺｉｇＢｅｅ)、及びＮＦＣ(Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ) などが利用されることができる。また近距離通信モジュール１１５は、他の携帯端末と近距離通信が連結される時、使用者選択によるアプリケーションを他の携帯端末へ送信したり受信受けることができる。特に、本発明の実施例で上記近距離通信モジュール１１５は、外部の無線入力装置(例えば、ブルートゥースキーボード、ブルートゥースマウス)と連結を支援する。また近距離通信モジュール１１５は、他の携帯端末と近距離通信が連結される時、使用者選択による表示装置別ウィンドウレイアウト政策を他の携帯端末へ送信したり受信受けることができる。
位置算出モジュール１１７は、携帯端末１００の位置を獲得するためのモジュールとして、代表的な例としては、ＧＰＳ(Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎ Ｓｙｓｔｅｍ)モジュールがある。位置算出モジュール１１７は、３個以上の基地局から離れた距離情報と正確な時、間情報を算出した後、上記算出された情報に三角法を適用することによって、緯度、経度、及び高度による３次元の現位置情報を算出することができる。または位置算出モジュール１１７は３個以上の衛星から携帯端末１００の現位置をリアルタイムに継続受信することによって位置情報を算出することができる。携帯端末１００の位置情報は、多様な方法によって獲得されることができる。
放送受信モジュール１１９は、放送チャンネル(例えば、衛星チャンネル、地上波チャンネルなど)を介して外部の放送管理サーバーから放送信号(例えば、ＴＶ放送信号、ラジオ放送信号、データ放送信号など)及び/または上記放送に係る情報(例えば、放送チャンネル、放送プログラムまたは放送サービス提供者に関した情報など)を受信する。
使用者入力部１２０は、使用者が携帯端末１００の動作制御のための入力データを発生させる。使用者入力部１２０は、キーパッド(ｋｅｙ ｐａｄ)、ドームスィッチ(ｄｏｍｅ ｓｗｉｔｃｈ)、タッチパッド(静圧/静電)、ジョグホイール（ｊｏｇ ｗｈｅｅｌ）、ジョグスィッチ（ｊｏｇ ｓｗｉｔｃｈ）などから構成されることができる。上記使用者入力部１２０は、携帯端末１００の外部にボタン形態で具現されることができ、一部ボタンはタッチパネル(ｔｏｕｃｈ ｐａｎｅｌ)で具現されることもできる。
一実施例によれば、使用者入力部１２０は数字または文字情報を入力受けて各種機能を設定するための多数のキーを含むことができる。このようなキーはメニューロードキー、画面オン/オフキー、電源オン/オフキー及びボリューム調節するなどを含むことができる。使用者入力部１２０は使用者設定及び携帯端末１００の機能制御に係ったキーイベントを生成して制御部１７０へ伝達する。キーイベントは電源オン/オフイベント、ボリューム調節イベント、画面オン/オフイベントなどを含むことができる。制御部１７０はこのようなキーイベントに応答して上記の構成を制御する。一方、使用者入力部１２０のキーはハードキー(ｈａｒｄ ｋｅｙ)と言い、表示部１３０に表示される仮想(ｖｉｒｔｕａｌ)のキーはソフトキー(ｓｏｆｔ ｋｅｙ)で指称されることができる。
表示部１３０は、 携帯端末１００で処理される情報を表示(出力)する。例えば、 携帯端末１００が通話モードの場合、通話に係る使用者インターフェース(ＵＩ、Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ)またはグラフィック使用者インターフェース(ＧＵＩ、Ｇｒａｐｈｉｃａｌ ＵＩ)を表示する。また表示部１３０は携帯端末１００が画像通話モードまたは撮影モードの場合には撮影または/及び受信された映像またはＵＩ、ＧＵＩを表示する。特に、表示部１３０は、携帯端末１００で実行される多様な機能(又はアプリケーション）に対する実行画面を表示する。そして表示部１３０は上記実行画面で制御部１７０の制御によっって仮想入力装置(例えば、仮想のタッチパッド)を活性化して現わして、上記仮想入力装置を介して入力される信号を上記制御部１７０へ伝達する。すなわち、上記表示部１３０は携帯端末１００で運用される多様な実行画面を表示して、上記実行画面が表示された状態で使用者選択によって上記仮想入力装置の画面で転換して現わすことができる。
また、表示部１３０は携帯端末１００で実行される多様な機能(またはアプリケーション)の実行画面をウィンドウレイアウト政策によって表示する。表示部１３０は携帯端末１００の回転方向(または置かれた方向)によって横モードによる画面表示、縦モードによる画面表示及び横モードと縦モードの間の変化による画面転換表示を支援することができる。本発明で運用される表示部１３０の画面例示に対して後述されるでしょう。
表示部１３０は、液晶ディスプレー(ＬＣＤ、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ)、薄膜トランジスター液晶ディスプレー(ＴＦＴ ＬＣＤ、Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ-ＬＣＤ)、発光ダイオード(ＬＥＤ、Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ)、有機発光ダイオード(ＯＬＥＤ、Ｏｒｇａｎｉｃ ＬＥＤ)、能動型ＯＬＥＤ(ＡＭＯＬＥＤ、Ａｃｔｉｖｅ Ｍａｔｒｉｘ ＯＬＥＤ)、フレキシブルディスプレー(ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ)、ベンデッドディスプレー(ｂｅｎｄｅｄ ｄｉｓｐｌａｙ)、及び３次元ディスプレー(３Ｄ ｄｉｓｐｌａｙ)のうちの少なくとも１つを含むことができる。これらのうちで一部ディスプレーは、外部を見られるように透明型または光透明型で構成される透明ディスプレー(ｔｒａｎｓｐａｒｅｎｔ ｄｉｓｐｌａｙ)で具現されることができる。
また表示部１３０とタッチ動作を感知するタッチパネルが相互レイヤー(ｌａｙｅｒ) 構造を成す場合(以下、「タッチスクリーン(ｔｏｕｃｈｓｃｒｅｅｎ)」と称する)に、表示部１３０は出力装置以外に入力装置でも使われることができる。タッチパネルは表示部１３０の特定部位に加えられた圧力または表示部１３０の特定部位に発生する静電容量などの変化を電気的な入力信号で変換するように構成されることができる。タッチパネルはタッチされる位置及び面積だけではなく、タッチ時の圧力までも検出するように構成されることができる。タッチパネルに対するタッチ入力がある場合、それに対応する信号はタッチ制御器(図示せず)に送られる。タッチ制御器(図示せず)はその信号を処理した後、対応するデータを制御部１７０へ送信する。これによって、制御部１７０は表示部１３０のある領域がタッチされたのか否かなどが分かるようになる。
一方、前記で言及したように本発明の表示部１３０は、タッチパネル及び表示パネルを含んで構成される。タッチパネルは表示パネルに安着(ｐｌａｃｅ ｏｎ ｔｈｅ ｄｉｓｐｌａｙ ｕｎｉｔ)されることができる。具体的にタッチパネルは表示パネル上に位置するアドオンタイプ(ａｄｄ-ｏｎ ｔｙｐｅ)や表示パネル内に挿入されるオンセルタイプ(ｏｎ-ｃｅｌｌ ｔｙｐｅ)、またはインセルタイプ(ｉｎ-ｃｅｌｌ ｔｙｐｅ)で具現されることができる。
タッチパネルは表示部１３０に対する使用者のジェスチャーに応答してアナログ信号(例えば、タッチイベント)を発生して、アナログ信号をＡ/Ｄ変換して制御部１７０へ伝達する。ここでタッチイベントはタッチ座標(ｘ、ｙ)を含む。すなわちタッチパネルは表示部１３０でタッチ領域(すなわち、使用者の指やペンなどによってタッチされた領域)に含まれた座標のうちのいずれか１つをタッチ座標で決定してタッチ座標を制御部１７０へ伝達する。ここでタッチ座標はピクセル単位であることができる。例えば、表示部１３０の解像度が６４０ｘ４８０の場合、Ｘ軸座標は０から６４０であり、Ｙ軸座標は０から４８０であることができる。一方、タッチパネルはタッチ領域の座標を含むタッチイベントを制御部１７０へ伝達することができる。こういう場合、制御部１７０は伝達した座標のうちのいずれか１つをタッチ座標で決定する。
制御部１７０はタッチパネルからタッチ座標が受信される場合、タッチ機構(例えば、指やペン)がタッチパネルにタッチされたことで決定して、タッチパネルからタッチ座標が受信されない場合、タッチ器具のタッチが解除されたことで決定する。また制御部１７０はタッチパネルからタッチの動きを検出する。すなわち、タッチ座標が例えば、(ｘ１、ｙ１)から(ｘ２、ｙ２)で変化された場合、制御部１７０はタッチが移動したことで決定する。制御部１７０はタッチの動きに応答してタッチの位置変化量(ｄｘ、ｄｙ)を算出する。制御部１７０はタッチパネルから使用者入力を検出する。ここで使用者入力はタッチ、マルチタッチ、タップ(Ｔａｐ)、ダブルタップ(Ｄｏｕｂｌｅ Ｔａｐ)、ロングタップ(Ｌｏｎｇ Ｔａｐ)、タップアンドタッチ(Ｔａｐ＆Ｔｏｕｃｈ)、ドラッグ(Ｄｒａｇ)、フリック(Ｆｌｉｃｋ)、プレス(Ｐｒｅｓｓ)、ピンチイン(ｐｉｎｃｈ ｉｎ)及びピンチアウト(ｐｉｎｃｈ ｏｕｔ)などで分類される。タッチは使用者が画面のある一地点にタッチ器具を接触する使用者入力であり、マルチタッチは多くの地点に多数のタッチ器具(例えば、親指と人差し指)を接触する使用者入力であり、タップは画面のある一地点にタッチ器具がタッチされた後、移動無しに当該の地点でタッチ解除(ｔｏｕｃｈ-ｏｆｆ)される使用者入力であり、ダブルタップは、ある一地点を連続的に２回タップする使用者入力であり、ロングタップはタップより相対的に長くタッチした後、タッチ器具の移動無しに当該の地点でタッチ器具をタッチ解除する使用者入力であり、タップアンドタッチは画面のある地点をタップした後、当該の地点を所定時間(例えば、０．５秒)以内にさらにタッチする使用者入力であり、ドラッグは、ある１つの地点をタッチした状態でタッチ器具を所定方向に移動させる使用者入力であり、フリックはドラッグに比べてタッチ器具を早く移動させた後、タッチ解除する使用者入力であり、プレスは、ある１つの地点をタッチした後、当該の地点を押す使用者入力であり、ピンチインは２つのタッチ器具で２つの地点を同時にマルチタッチした後、タッチ器具の間隔を狭める使用者入力であり、ピンチアウトはタッチ器具の間隔を広げる使用者入力である。すなわち、タッチはタッチスクリーンに接触(ｃｏｎｔａｃｔ)している状態を意味して、その外の使用者入力はタッチの変化を意味する。タッチスクリーン機能の表示部１３０は圧力センサーを具備してタッチされた地点の圧力を感知することができる。感知された圧力情報は制御部１７０へ伝達して、制御部１７０は感知された圧力情報を基づいてタッチとプレスを区分する。
タッチパネルは手ジェスチャーを感知する手タッチパネルと、ペンジェスチャーを感知するペンタッチパネルを含んで構成された複合タッチパネルであることができる。ここで手タッチパネルは静電容量方式(ｃａｐａｃｉｔｉｖｅ ｔｙｐｅ)から構成される。もちろん手タッチパネルは抵抗膜方式(ｒｅｓｉｓｔｉｖｅ ｔｙｐｅ)、赤外線方式または超音波方式から構成されることもできる。また手タッチパネルは使用者の手ジェスチャーによってだけタッチイベントを発生することではなく、他の物体(例えば、静電容量変化を加えることができる伝導性材質の物体)によってもタッチイベントを生成することができる。ペンタッチパネルは電子誘導方式(ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ ｉｎｄｕｃｔｉｏｎ ｔｙｐｅ)から構成されることができる。これによってペンタッチパネルは磁場を形成することができるように特殊製作されたタッチ用スタイラスペンによってタッチイベントを生成する。
表示パネルは制御部１７０の制御下にイメージを表示する。制御部１７０はデータをイメージでレンダリング(ｒｅｎｄｅｒｉｎｇ)してバッファーに貯蔵する。表示パネルはバッファーに貯蔵されたイメージをアナログ信号で変換して表示する。すなわち、表示パネルは携帯端末１００の利用による多様なイメージ例えば、ロック画面、ホーム画面、アプリケーション(略称、「アプリ(Ａｐｐ」) 実行画面、キーパッドなどを表示することができる。ロック画面は表示パネルがオンされると、表示パネルに表示されるイメージである。ロック解除のための使用者ジェスチャーが検出されると制御部１７０は表示されるイメージをロック画面でホーム画面またはアプリ実行画面などで転換(ｃｈａｎｇｉｎｇ)することができる。ホーム画面は背景イメージと、この上に表示される多数のアイコンを含むことができる。ここでアイコンそれぞれはアプリに対応される。アイコンのうちの１つが使用者によって選択(例えば、アイコンをタップ)された場合、制御部１７０は当該のアプリ(例えば、ブラウザー)を実行して、その実行画面を表示パネルに表示する。表示パネルは制御部１７０の制御下に、上記画面のうちのいずれか１つ例えば、アプリ実行画面を背景(ｂａｃｋｇｒｏｕｎｄ)で表示して他の１つ例えば、キーパッドをフォアグラウンド(ｆｏｒｅｇｒｏｕｎｄ)として上記背景にオーバーラップして表示することができる。また表示パネルは制御部１７０の制御下に、第１イメージを第１スクリーン領域に表示して第２イメージを第２スクリーン領域に表示する。
オーディオ処理部１４０は、制御部１７０から入力受けたオーディオ信号をスピーカー(ＳＰＫ、ｓｐｅａｋｅｒ)１４１へ送信し、マイク（ＭＩＣ、ｍｉｃｒｏｐｈｏｎｅ)１４３から入力受けた音声などのオーディオ信号を制御部１７０へ伝達する機能を行なう。オーディオ処理部１４０は音声/音響データを制御部１７０の制御によってスピーカー１４１を介して可聴音で変換して出力して、マイク１４３から受信される音声などのオーディオ信号をデジタル信号へ変換して、制御部１７０へ伝達することができる。
スピーカー１４１は、通話モード、録音(録画)モード、メディアコンテンツ再生モード、 放送受信モード及び撮影モードで無線通信部１１０から受信されたり、または貯蔵１５０に貯蔵されたオーディオデータを出力することができる。スピーカー１４１は携帯端末１００で行われる機能(例えば、通話連結受信、通話連結発信、音楽ファイル再生、動映像ファイル再生、撮影、外部出力など)に係る音響信号を出力することもできる。
マイク１４３は、通話モード、録音(録画)モード、音声認識モード、及び撮影モードなどで外部の音響信号を入力受けて電気的な音声データで処理する。処理された音声データは通話モードの場合、移動通信モジュール１１１を介して移動通信基地局で送信可能な形態に変換されて出力されることができる。そしてマイク１４３には外部の音響信号を入力受ける過程で発生される雑音(ｎｏｉｓｅ)を除去するための多様な雑音除去アルゴリズムが具現されることができる。
貯蔵部１５０は、制御部１７０の処理及び制御のためのプログラムが貯蔵されることもでき、入/出力されるデータ(例えば、電話番号、メッセージ、オーディオ、メディアコンテンツ(例えば、音楽ファイル、動映像ファイル、アプリケーションなど)貯蔵のための機能を行なうこともできる。貯蔵部１５０には携帯端末１００機能運用による使用頻度(例えば、アプリケーション使用頻度、メディアコンテンツ再生頻度、そして電話番号、メッセージ及びマルチメディアに対する使用頻度など)、重要度、優先順位及び選好度と共に貯蔵されることができる。貯蔵部１５０には、タッチスクリーン上のタッチ入力時、出力される多様なパターン(ｐａｔｔｅｒｎ)の振動及び音響に関するデータを貯蔵することもできる。特に、貯蔵部１５０は本発明でデスクトップ仮想化機能運用のための多様な種類のアプリケーションを貯蔵して、本発明で上記アプリケーションは携帯端末ウィンドウ環境及びデスクトップウィンドウ環境を支援するように区分されることができる。例えば、同様の動作を提供する特定アプリケーションは携帯端末ウィンドウ環境による実行画面を出力する基本モードのアプリケーションとデスクトップウィンドウ環境による実行画面を出力するデスクトップモードのアプリケーションからなることができる。
また、貯蔵部１５０は、本発明で表示装置別互いに異なるウィンドウレイアウトによる画面を提供する機能の運用のための多様な種類の表示装置に対するウィンドウレイアウト政策を貯蔵する。本発明で上記ウィンドウレイアウト政策は多様な種類の表示装置の各資源別に予めマッピングされてマッピングテーブル形態で上記貯蔵部１５０に貯蔵されることができる。
一方、貯蔵部１５０は、ブーティングプログラム、運営体制(ＯＳ、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ)、ミドルウェア(ｍｉｄｄｌｅｗａｒｅ)及び仮想コントローラーを貯蔵する。本発明で仮想コントローラーは仮想のタッチスクリーンの生成を運営体制に要請して、仮想のタッチスクリーンに対応される実行画面を表示するように表示部１３０を制御する。運営体制のカーネル(ｋｅｒｎｅｌ)は流入力(Ｕｉｎｐｕｔ)モジュールを含む。本発明で流入力モジュールは仮想コントローラーの要請に応答して仮想のタッチスクリーンを生成して、仮想コントローラーからタッチイベントを受信して、タッチイベントを仮想のタッチスクリーンへ伝達する。ミドルウェアは運営体制とアプリケーションの間または他の種類のアプリケーションの間でデータを中継する。本発明でＸサーバーはウィンドウ運営体制基盤のミドルウェアとして、仮想のタッチスクリーンから使用者入力(例えば、タッチの位置変化量(ｄｘ、ｄｙ))を受信して、受信された使用者入力を外部表示装置に係るアプリケーションへ伝達する。すると関連されるアプリケーションは、使用者入力に対応される機能(例えば、外部表示装置に表示されるポインタを位置変化量に比例して移動)を行なう。
貯蔵部１５０は内在化アプリケーション(ｅｍｂｅｄｄｅｄ ａｐｐｌｉｃａｔｉｏｎ)及びサードパーティーアプリケーション(３ｒｄ ｐａｒｔｙ ａｐｐｌｉｃａｔｉｏｎ)を含むことができる。内在化アプリケーションは携帯端末１００に基本的に搭載されているアプリケーションを意味する。例えば内在化アプリケーションはブラウザー(ｂｒｏｗｓｅｒ)、電子メール(ｅｍａｉｌ)、インスタントメッセンジャー(ｉｎｓｔａｎｔ ｍｅｓｓｅｎｇｅｒ)、仮想コントローラーなどとなることができる。サードパーティーアプリケーションは主旨されているようにオンラインマーケットから携帯端末１００にダウンロードされて設置されることができるアプリケーションを意味して、非常に多種多様である。このようなサードパーティーアプリケーションは設置及び除去が自由である。携帯端末１００がオンされると、先ずブーティングプログラムが制御部１７０の主記憶装置(例えば、ＲＡＭ)でローディング(ｌｏａｄｉｎｇ)される。このようなブーティングプログラムは、携帯端末１００が動作することができるように運営体制及びミドルウェアを主記憶装置でローディングする。運営体制はアプリケーションを主記憶装置でローディングして行なう。このようなブーティング及びローディングはコンピューターシステムで広く公知されている技術であるから具体的な説明は省略する。
貯蔵部１５０は、フラッシュメモリータイプ(ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ)、ハードディスクタイプ(ｈａｒｄ ｄｉｓｋ ｔｙｐｅ)、マイクロタイプ(ｍｉｃｒｏ ｔｙｐｅ)、及びカードタイプ(例えば、ＳＤカード(Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ Ｃａｒｄ)またはＸＤカード(ｅＸｔｒｅａｍ Ｄｉｇｉｔａｌ Ｃａｒｄ））などのメモリーと、ラム(ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、ＳＲＡＭ(Ｓｔａｔｉｃ ＲＡＭ)、ロム(ＲＯＭ、Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＰＲＯＭ(Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ)、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ＰＲＯＭ）、磁気メモリー(ＭＲＡＭ、Ｍａｇｎｅｔｉｃ ＲＡＭ)、磁気ディスク(ｍａｇｎｅｔｉｃ ｄｉｓｋ)、及び光ディスク(ｏｐｔｉｃａｌ ｄｉｓｋ)タイプのメモリー１のうちの少なくとも一つのタイプの貯蔵媒体(ｓｔｏｒａｇｅ ｍｅｄｉｕｍ)を含むことができる。携帯端末１００はインターネット上で上記貯蔵部１５０の貯蔵機能を行なうウェブストーリッジ(ｗｅｂ ｓｔｏｒａｇｅ)に係って動作することもできる。
インターフェース部１６０は、使用者デバイスに連結されるすべての外部機器との通路役目をする。インターフェース部１６０は外部機器からデータを送信受けるとか、電源を供給受けて携帯端末１００内部の各構成要素に伝達したり、携帯端末１００内部のデータが外部機器に送信されるようにする。例えば、有/無線ヘッドセットポート、外部充電器ポート、有/無線データポート、メモリーカード(ｍｅｍｏｒｙ ｃａｒｄ)ポート、識別モジュールが具備された装置を連結するポート、オーディオ入/出力(Ｉｎｐｕｔ/Ｏｕｔｐｕｔ) ポート、ビデオ入/出力ポート、イヤホンポートなどがインターフェース部１６０に含まれることができる。特に、本発明で上記インターフェース部１６０は外部機器である少なくとも１つの外部表示装置と有線または無線で連結するためのデータポート(ｄａｔａ ｐｏｒｔ)を含む。例えば、上記インターフェース部１６０は、携帯端末１００と外部表示装置を連結するためのＨＤＭＩ（登録商標）(Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ)(標準型ＨＤＭＩ（登録商標）、ミニＨＤＭＩ（登録商標）、マイクロＨＤＭＩ（登録商標）)及び/またはＵＳＢ(Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ)インターフェースを含むことができる。また携帯端末１００と外部表示装置が無線ＬＡＮ(Ｗｉ-Ｆｉ)で連結される時、上記無線ＬＡＮが上記インターフェース部１６０に含まれることができ、携帯端末１００と外部入力装置がブルートゥースで連結される時、上記ブルートゥースが上記インターフェース部１６０に含まれることができる。
制御部１７０は、携帯端末１００の全般的な動作を制御する。例えば、音声通話、データ通信、画像通話、デスクトップ仮想化、外部出力などに係る制御を行なう。制御部１７０はデスクトップ仮想化及び外部出力などに係る機能運用のための別度のマルチメディアモジュール(図示せず)を備えることもできる。本発明においてマルチメディアモジュール(図示せず)は制御部１７０内に具現されることもでき、制御部１７０と別に具現されることもできる。
制御部１７０は、本発明の実施例によるデスクトップ仮想化を支援するための一連の動作を制御する。すなわち、制御部１７０は上記外部表示装置２００と連動時、携帯端末１００で生成されるデータとアプリケーションを上記外部表示装置２００を介してデスクトップ環境に対応するように表示及び作業が可能なデスクトップ仮想化を制御する。すなわち、制御部１７０は携帯端末１００が外部表示装置２００と連結される時、デスクトップモードを実行して、上記デスクトップモードによる基本デスクトップウィンドウ画面を上記外部表示装置２００を介して表示されるように制御する。ここで、制御部１７０は上記デスクトップ仮想化制御時、上記携帯端末に表示されるウィンドウ画面と上記外部表示装置に表示されるウィンドウ画面を他のレイアウトで別に運用する。
また、制御部１７０は上記外部表示装置２００が連結される時、基本デスクトップウィンドウ画面を上記外部表示装置２００で出力して、上記デスクトップモードで入力される制御イベントを判別する。そして制御部１７０は制御イベントが上記外部表示装置のデスクトップ領域の制御のための外部イベントであれば上記デスクトップ領域の画面表示を制御する。一方、制御部１７０は上記制御イベントが上記携帯端末の基本領域の制御のための内部イベントであれば上記基本領域の画面表示を制御する。
また、制御部１７０は上記外部表示装置２００が連結される時、上記外部表示装置２００の画面大きさに対する情報を獲得することができる。ここで、上記外部表示装置２００の画面大きさに対する情報獲得は上記携帯端末１００によるポーリング(ｐｏｌｌｉｎｇ)方式で獲得したり、上記外部表示装置２００によるプッシュ(ｐｕｓｈ)方式で獲得されることができる。
また制御部１７０は、上記外部表示装置２００を介して上記デスクトップ環境のレイアウトを持つウィンドウ画面表示を制御して、上記外部表示装置２００のデスクトップ領域を介する上記ウィンドウ画面表示時、上記ウィンドウのフレーム上端にウィンドウ大きさ調節ボタンが構成して提供することができる。
制御部１７０は本発明の実施例による機能を支援するための一連の動作を制御する。すなわち、制御部１７０は上記外部表示装置２００と連動時、携帯端末１００で生成されるデータとアプリケーションを上記外部表示装置２００を介して設定されたウィンドウレイアウト政策に対応するレイアウトに表示されるように制御する。ここで、制御部１７０は、上記携帯端末１００に表示されるウィンドウ画面と上記外部表示装置２００に表示されるウィンドウ画面を他のレイアウトで別度に運用する。
本発明の実施例による制御部１７０は、表示装置に対するウィンドウレイアウト政策を設定することに係る動作を制御する。以後、制御部１７０はアプリケーション実行要請によるウィンドウ生成時、予め設定されたウィンドウレイアウト政策によって上記ウィンドウに適用するウィンドウレイアウト政策を決定することができる。そして制御部１７０は決定されたウィンドウレイアウト政策によるレイアウトで上記ウィンドウを生成して上記外部表示装置２００が表示されるように制御する。
制御部１７０は、表示装置に対するウィンドウレイアウト決定時、表示装置に資源を獲得して、表示装置別資源及び上記資源にマッピングされたウィンドウレイアウト政策を検索することができる。特に、制御部１７０は上記外部表示装置２００に対する資源獲得時、上記携帯端末１００によるポーリング方式で獲得したり、上記外部表示装置２００によるプッシュ方式で獲得することができる。
本発明の他の実施例によれば、制御部１７０はアプリケーション及び運営体制を貯蔵する主記憶装置と、貯蔵部１５０に記録(ｗｒｉｔｅ)するデータを貯蔵して貯蔵部１５０から読むデータを貯蔵するキャッシュメモリーと、ＣＰＵ(ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ)と、ＧＰＵ(ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ) などを含むことができる。ここで運営体制はハードウェアとプログラム間のインターフェース役目をしながら、ＣＰＵ、ＧＰＵ、主記憶装置、補助記憶装置などのコンピューター資源を管理する。すなわち、運営体制は携帯端末１００を動作させて作業(ｔａｓｋ)の手順を決定してＣＰＵの演算及びＧＰＵの演算を制御する。また運営体制は、応用プログラムの実行を制御する機能と、データとファイルの貯蔵を管理する機能などを行なう。一方、主旨されたようにＣＰＵは資料の演算及び比較と、命令語の解釈及び実行などを行なうコンピューターシステムの核心的な制御ユニットである。ＧＰＵはＣＰＵの代わりにグラフィックに係った資料の演算及び比較と、命令語の解釈及び実行などを行なうグラフィック制御ユニットである。ＣＰＵとＧＰＵはそれぞれ、２つ以上の独立コア(例えば、クアッドコア(ｑｕａｄ-ｃｏｒｅ))が単一集積回路からなった１つのパッケージ(ｐａｃｋａｇｅ)で統合されることができる。またＣＰＵとＧＰＵは１つのチップで統合(ＳｏＣ； Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ)されたものであることができる。またＣＰＵとＧＰＵはマルチレイヤー(ｍｕｌｔｉ ｌａｙｅｒ)でパッケージング(ｐａｃｋａｇｉｎｇ)されたものであることができる。一方 ＣＰＵ及びＧＰＵを含む構成はＡＰ(Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ)と指称されることができる。
このような制御部１７０の詳細制御動作に対して後述する図面を参照した携帯端末１００の動作例示及びその制御方法で説明されるでしょう。
電源供給部１８０は、制御部１７０の制御によって外部の電源、内部の電源を認可受けて各構成要素の動作に必要な電源を供給する。
一方、本発明で説明される多様な実施例はソフトウェア(ｓｏｆｔｗａｒｅ)、ハードウェア(ｈａｒｄｗａｒｅ)またはこれらの組合されたことを利用してコンピューター(ｃｏｍｐｕｔｅｒ)またはこれと類似の装置で読める記録媒体内で具現されることができる。ハードウェア的な具現によると、本発明で説明される実施例は、ＡＳＩＣｓ(Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ)、ＤＳＰｓ(ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ)、ＤＳＰＤｓ(ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ)、ＰＬＤｓ(ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ)、ＦＰＧＡｓ(ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ)、プロセッサ(ｐｒｏｃｅｓｓｏｒｓ)、制御器(ｃｏｎｔｒｏｌｌｅｒｓ)、マイクロコントローラー(ｍｉｃｒｏ-ｃｏｎｔｒｏｌｌｅｒｓ)、マイクロプロセッサー(ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ)、その他機能遂行のための電気的なユニット(ｕｎｉｔ) のうちの少なくとも１つを利用して具現されることができる。一部の場合に本明細書で説明する実施例が制御部１７０自体で具現されることができる。ソフトウェア的な具現によると、本明細書で説明する手続き及び機能のような実施例は別途のソフトウェアモジュールで具現されることができる。上記ソフトウェアモジュールそれぞれは、本明細書で説明される１つ以上の機能及び作動を行なうことができる。
ここで、上記記録媒体は携帯端末１００が外部表示装置２００と連結される時、デスクトップモードを実行して、上記デスクトップモードによる基本デスクトップウィンドウ画面を上記外部表示装置２００を介して表示して、上記外部表示装置２００を介してデスクトップウィンドウ環境基盤のデスクトップ仮想化機能が運用されるように処理するプログラムを記録したコンピューターで読める記録媒体を含むことができる。
上記記録媒体は、アプリケーション実行によるウィンドウ生成イベントを検出して、上記ウィンドウ生成イベントに応答して上記ウィンドウが生成される表示装置を確認して上記表示装置に対する資源を獲得して、上記獲得された資源に対応して上記表示装置のウィンドウレイアウト政策を決定して、決定されたウィンドウレイアウト政策によるレイアウトで上記表示装置に上記ウィンドウを生成して、上記ウィンドウを介して上記アプリケーションの実行画面が表示されるように処理するプログラムを記録したコンピューターで読める記録媒体を含むことができる。
そして本発明の携帯端末１００は、本発明の機能を支援するすべての情報通信機器、マルチメディア機器及びそれに対する応用機器のようにＡＰ(Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ)、ＧＰＵ(Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)を使うすべてのデバイスを含むことができる。例えば、上記携帯端末は多様な通信システムに対応される各通信プロトコル(ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌｓ)に基づいて動作する移動通信端末機をはじめとして、タブレット(ｔａｂｌｅｔ)ＰＣ(Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ)、スマートフォン(Ｓｍａｒｔ Ｐｈｏｎｅ)、デジタルカメラ、ＰＭＰ(Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ)、メディアプレーヤー(Ｍｅｄｉａ Ｐｌａｙｅｒ)（例えば、ＭＰ３(ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ３) プレーヤー）、携帯ゲーム端末、及びＰＤＡ(Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ) などのデバイスを含むことができる。そして、本発明の外部表示装置は、モニター、デジタルＴＶ(Ｄｉｇｉｔａｌ Ｔｅｌｅｖｉｓｉｏｎ)、ＤＳ(Ｄｉｇｉｔａｌ Ｓｉｇｎａｇｅ)、ＬＦＤ(Ｌａｒｇｅ Ｆｏｒｍａｔ Ｄｉｓｐｌａｙ) などのように多様な表示装置を含むことができる。
一方、デジタル機器のコンバージョンス(ｃｏｎｖｅｒｇｅｎｃｅ)趨勢によって変形が非常に多様で全部列挙することはできないが、携帯端末１００は加速度センサー、ザイロセンサー、ＧＰＳモジュール、ＮＦＣ(Ｎｅａｒ Ｆｉｌｅｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ)モジュール、振動モーター、カメラ、アクセサリーなどのように上記で言及されない構成をさらに含むことができる。ここでアクセサリーは携帯端末１００から分離が可能な携帯端末１００の附属品として例えば、表示部１３０にタッチのためのペンになることができる。また携帯端末１００はその提供形態によって上記の構成で特定構成が除かれたり他の構成で取り替えられることもできる。
以下、本発明のデスクトップ仮想化に対する実施例を図２乃至図１５を参照して説明する。
図２は、本発明の実施例による携帯端末１００と外部機器の間の連結関係を説明するために概略的に示した図面である。
上記図２を参照すれば、本発明のシステムは外部表示装置２００との連結を介して多重スクリーン機能を支援する携帯端末１００及び上記携帯端末１００で出力される画面をデスクトップウィンドウ環境による画面で表示する外部表示装置２００を含んで構成される。また本発明のシステムは上記携帯端末１００に連結されて上記携帯端末１００または上記外部表示装置２００に表示された各ウィンドウを操作することができる外部入力装置３００を含んで構成される。上記図２で上記外部表示装置２００はモニターを含むことができ、上記外部入力装置３００はキーボード及びマウスを含むことができる。
上記図２に示されたように、上記携帯端末１００と上記外部表示装置２００は有線インターフェースを介して連結されたり、或いは無線インターフェースを介して連結されることができる。例えば、上記携帯端末１００と上記外部表示装置２００はＨＤＭＩ（登録商標）によって有線で連結されたり、Ｗｉ-Ｆｉによって無線で連結されることができる。したがって、携帯端末１００は携帯端末１００で生成する多様な画面データを外部表示装置２００との連結方式に従って有線インターフェース(例えば、ＨＤＭＩ（登録商標）)を介して外部に出力したり、無線インターフェース(例えば、Ｗｉ-Ｆｉ)を介して外部で出力することができる。
また上記携帯端末１００と上記外部入力装置３００は、有線インターフェースを介して連結されたり、或いは無線インターフェースを介して連結されることができる。例えば、上記携帯端末１００と上記外部入力装置３００はＵＳＢインターフェースによって有線で連結されたり、ブルートゥースによって無線で連結されることができる。したがって、携帯端末１００は上記外部入力装置３００との連結方式に従って上記外部入力装置３００の制御信号を有線インターフェース(例えば、ＵＳＢインターフェース)を介して受信したり、無線インターフェース(例えば、ブルートゥース)を介して受信することができる。ここで、上記制御信号は、上記携帯端末１００に表示されたウィンドウ画面を制御する信号であるとか、上記外部表示装置２００に表示されたウィンドウ画面を制御する信号であることができる。特に、本発明の実施例では上記図２のように上記携帯端末１００が外部表示装置２００及び外部入力装置３００とそれぞれ連結されて、上記外部表示装置２００を利用したデスクトップ仮想化機能を動作する場合、上記外部入力装置３００を介して上記外部表示装置２００に表示されたウィンドウ画面を制御することを特徴とする。
したがって上記携帯端末１００は、上記外部入力装置３００から制御信号を受信する時、携帯端末１００に表示されたウィンドウ画面は維持する状態で、上記外部表示装置２００に表示されたウィンドウ画面に対する制御を行ない、それによる結果を上記外部表示装置２００を介して表示されるようにする一連の処理を行なう。
図３は、本発明の実施例による携帯端末１００と外部表示装置２００の間の動作関係を概略的に示した図面であり、図４及び図５は本発明の実施例による携帯端末１００と外部表示装置２００の間の連結時の画面例示を示した図面である。
上記図３乃至図５を参照すれば、携帯端末１００は外部表示装置２００と連結されると(３０１段階)、デスクトップモードを自動実行して、基本デスクトップウィンドウ画面を外部表示装置２００へ伝達する(３０３段階)。この時、携帯端末１００は上記デスクトップモード実行時、上記図４に示されたように携帯端末１００の現在表示は維持する状態から、内部的にデスクトップモードを実行して上記基本デスクトップウィンドウ画面を上記外部表示装置２００へ伝達する。そして上記携帯端末１００は、上記外部表示装置２００が連結される時、上記外部表示装置２００の画面大きさに対する情報を獲得して、上記画面大きさに対応して上記基本デスクトップウィンドウ画面の大きさを決定することができる。ここで、上記外部表示装置２００の画面大きさに対する情報獲得は、上記携帯端末１００が上記外部表示装置２００が連結される時点でポーリング方式で獲得したり、または上記携帯端末１００と上記外部表示装置２００が連結される時、上記外部表示装置２００が外部表示装置２００の画面大きさに対する情報をプッシュ方式で上記携帯端末１００に送信することもできる。
上記外部表示装置２００は、上記携帯端末１００と連結された後、上記携帯端末１００から上記基本デスクトップウィンドウ画面が伝達されると上記基本デスクトップウィンドウ画面を表示する(３０５段階)。ここで、上記基本デスクトップウィンドウ画面は上記図４に示されたように予め設定された背景画面２３０と外部表示装置２００を介してデスクトップウィンドウ環境に対応する作業をすぐ行なうようにする所定のアプリケーションに対するデスクトップ用ショートカットアイコン２５０(またはアイコンリスト)を含むことができる。
携帯端末１００は、デスクトップウィンドウ環境に対応する作業のための制御イベントが発生されると、上記制御イベントに対応する画面を外部表示装置２００へ伝達する(３０７段階)。例えば、使用者が携帯端末１００または外部入力装置３００を利用して上記外部表示装置２００を介して表示されたデスクトップ用ショートカットアイコン２５０のうちのいずれか１つを選択する制御イベントを入力すると、携帯端末１００は上記外部表示装置２００に表示されたアイコン２５０のうち、使用者選択によるアイコン２５０のアプリケーションを判別する。そして判別されたアプリケーションをデスクトップモードで実行してデスクトップウィンドウ環境による画面(アプリケーションデスクトップウィンドウ画面)を上記外部表示装置２００へ伝達する。すなわち、携帯端末１００は外部表示装置２００のようにデスクトップ領域に位置したアイコン選択によるアプリケーション実行を検出する時、デスクトップ環境に当るレイアウトを持つアプリケーションを実行して、それによる画面出力を処理する。
上記外部表示装置２００は、上記携帯端末１００から上記アプリケーションデスクトップウィンドウ画面が伝達されると上記アプリケーションデスクトップウィンドウ画面を表示する(３０９段階)。ここで、上記アプリケーションデスクトップウィンドウ画面は上記図５に示されたように携帯端末１００で表示されるウィンドウ画面とは異なり、デスクトップ環境に当るレイアウトを持つアプリケーションの実行画面で提供される。この時、携帯端末１００の画面は現在状態をそのまま維持することができる。ここで、上記アプリケーションの実行画面は携帯端末１００に表示される実行画面とは異なり、デスクトップウィンドウ環境に対応して各ウィンドウのフレーム上端に状態バー５５０を含む。上記状態バー５５０は実行画面(或いは、当該のウィンドウ)に対する状態情報(アプリケーション名前など)が表示されることができる。特に、上記状態バー５５０は、実行されたウィンドウの最小化、最大化、及びクローズのようにウィンドウ大きさ調節に係る最小化ボタン、最大化ボタン、及びクローズボタンのようなウィンドウ大きさ調節ボタン５５５を含むことができる。
図６及び図７は、本発明の実施例による携帯端末１００と外部表示装置２００の間の入力動作を説明するために概略的に示した図面である。
上記図６及び図７を参照すれば、上記図６は携帯端末１００を外部表示装置２００の入力手段で利用する場合の例示を示したもので、上記図７は携帯端末１００に連結された外部入力装置３００を外部表示装置２００の入力手段で利用する場合の例示を示したものである。
上記図６に示されたように、携帯端末１００は使用者選択によって仮想の入力装置(例えば、仮想のタッチパッド)を活性化して表示することができる。そして使用者は携帯端末１００に表示された上記仮想の入力装置を利用して制御イベントを入力して、外部表示装置２００に表示されたデスクトップ領域のポインタ７５０移動、アプリケーションの実行、実行されたウィンドウ画面に対する移動、ウィンドウ大きさ拡大/縮小、大きさ最小化、大きさ最大化、及びウィンドウクローズなどの操作を行なうことができる。
本発明において、上記仮想の入力装置は外部表示装置２００に表示されたウィンドウのフレーム上端に提供される状態バー５５０の最小化ボタン、最大化ボタン、及びクローズボタンに対応するように割り当てられて、各ボタンの機能をすぐ実行することができるようにするウィンドウ大きさ調節領域６３０、外部表示装置２００を介して提供されるポインタ７５０の移動、アイコン選択、シングルタッチイベント入力、そしてマルチタッチイベント入力などを支援するタッチパッド領域６５０、そしてマウスの左クリック及び右クリックに対応する機能をすぐ実行するようにするマウスボタン領域６７０で区分されて提供されることができる。そして上記仮想入力装置は携帯端末１００の多様な状態情報をリアルタイム提供するインジケータ領域６１０が選択的に表示されることもできる。ここで、上記ウィンドウ大きさ調節領域６３０には仮想のタッチキーパッド実行のためのキーパッド実行ボタンが割り当てられて提供されることができる。
上記図７に示されたように、携帯端末１００は外部入力装置３００(例えば、キーボード及びマウス)とブルートゥースによって無線連結されたり、或いはＵＳＢインターフェースによって有線連結されることができる。使用者は携帯端末１００に連結された外部入力装置３００を利用して制御イベントを入力して、外部表示装置２００に表示されたデスクトップ領域のポインタ７５０移動、アプリケーションの実行、実行されたウィンドウ画面に対する移動、ウィンドウ大きさ拡大/縮小、大きさ最小化、大きさ最大化、そしてウィンドウクローズなどの操作を行なうことができる。
図８乃至図１２は、本発明の実施例による携帯端末１００及び外部表示装置２００でデスクトップ仮想化運用による画面例示を示した図面である。
上記図８を参照すれば、上記図８は携帯端末１００の制御によって１つのアプリケーションが外部表示装置２００を介してデスクトップウィンドウ環境で実行されている状態の例示を示す。特に、上記図８に示されたようにアプリケーションに対する実行ウィンドウの場合、ウィンドウ大きさ調節ボタン５５５を持つ状態バー５５０がウィンドウフレーム上端に提供されることができる。また上記図８の場合、上記携帯端末１００に外部入力装置３００が連結されて上記外部入力装置３００を介して外部表示装置２００に表示されたウィンドウを操作する場合の例示を示し、上記外部入力装置３００による入力モードによってポインタ７５０がデスクトップ領域に提供されることができる。
ここで、上記携帯端末１００は、外部表示装置２００のようにデスクトップ領域に位置したアイコン選択によるアプリケーション実行を検出する時、デスクトップ環境に当るレイアウトを持つアプリケーションを実行して、それによる画面出力を処理する。したがって上記外部表示装置２００は上記携帯端末１００から上記アプリケーションデスクトップウィンドウ画面が伝達されると上記アプリケーションデスクトップウィンドウ画面を表示する。上記アプリケーションデスクトップウィンドウ画面は上記図８に示されたように携帯端末１００で表示されるウィンドウ画面とは異なり、デスクトップ環境に当るレイアウトを持つアプリケーションの実行画面で提供される。この時、携帯端末１００の画面は現在状態をそのまま維持することができる。
上記図９を参照すれば、上記図９は携帯端末１００の制御によって複数個のアプリケーションが外部表示装置２００を介してデスクトップウィンドウ環境で実行されている状態の例示を示す。特に、上記図９に示されたように各アプリケーションに対する複数個の実行ウィンドウの場合、ウィンドウ大きさ調節ボタン５５５を持つ状態バー５５０が各ウィンドウフレーム上端に提供されることができる。この時、各ウィンドウの状態バー５５０は実行されたアプリケーションによって実行画面の状態情報がそれぞれ異なるように提供されることができる。また上記図９の場合、上記携帯端末１００に外部入力装置３００が連結されて上記外部入力装置３００を介して外部表示装置２００に表示されたウィンドウを操作する場合の例示を示し、上記外部入力装置３００による入力モードによってポインタ７５０がデスクトップ領域に提供されることができる。
上記図１０を参照すれば、上記図１０は携帯端末１００の制御によって特定アプリケーションが外部表示装置２００を介してデスクトップウィンドウ環境で実行された状態で使用者の操作によって上記アプリケーションに対する実行ウィンドウを確張する場合の画面例示を示したものである。上記図１０に示されたように、使用者は外部入力装置３００を介してポインタ７５０をウィンドウフレームの右側端に移動することができる。上記ポインタ７５０がウィンドウフレームの端に位置する時、上記ポインタ７５０は、ウィンドウ大きさを確張したり縮小することができることを指示するインジケータに変更されて提供されることができる。そして使用者は上記インジケータを確認して、上記外部入力装置３００を操作して右側方向に移動する制御イベントを入力することができる。すると、上記図１０に示されたように、上記ウィンドウが拡張されてそれによるウィンドウ画面が提供されることができる。例えば、ギャラリーアプリケーションの実行によってウィンドウでギャラリーリストだけ表示された状態で、上記ウィンドウが拡張される時、ギャラリーリストの写真に対する詳細情報(拡大写真)を表示することができる領域まで含むウィンドウ画面が提供されることができる。
上記図１１を参照すれば、上記図１１は携帯端末１００の制御によって特定アプリケーションの外部表示装置２００を介してデスクトップウィンドウ環境で実行された状態で使用者の操作によって上記アプリケーションに対する実行ウィンドウを移動する場合の画面例示を示したものである。上記図１１に示されたように、使用者は外部入力装置３００を介してポインタ７５０をウィンドウフレームの上端すなわち、状態バー５５０に移動することができる。上記ポインタ７５０が上記状態バー５５０のある１つの領域に位置する時、上記ポインタ７５０はウィンドウを移動することができることを指示するインジケータに変更されて提供されることができる。そして使用者は上記インジケータを確認して、上記外部入力装置３００を操作して外部表示装置２００の表示領域のうち、ある一方向(例えば、右側方向)に移動する制御イベントを入力することができる。すると、上記図１１に示されたように、上記ウィンドウが使用者の入力に対応して移動されて、移動された位置で上記ウィンドウ画面が提供されることができる。
上記図１２を参照すれば、上記図１２は携帯端末１００の制御によって特定アプリケーションが外部表示装置２００を介してデスクトップウィンドウ環境で実行されている状態の例示を示す。上記図１２に示されたようにアプリケーションに対する実行ウィンドウの場合、ウィンドウ大きさ調節ボタン５５５を持つ状態バー５５０がウィンドウフレーム上端に提供されることができる。特に、上記図１２では上記図８と同様な状態で携帯端末１００の領域でアプリケーションが実行される場合の例示を示す。すなわち、上記図１２に示されたように、携帯端末１００は上記のように外部表示装置２００と連結された状態で、コール受信のようなアプリケーション実行イベントが検出される時、上記外部表示装置２００の画面は現在状態をそのまま維持する状態で携帯端末１００の実行イベントによるウィンドウ画面(例えば、コール受信状態画面)を携帯端末１００上に表示する。この時、上記図１２に示されたように、上記携帯端末１００でアプリケーション実行がなることによって上記外部表示装置２００の画面は現在状態を維持しながら、ポインタ７５０が外部表示装置２００の画面から除去されることができる。これは現在操作が携帯端末１００でなっていることを直観的に現わすために提供されることができる。
ここで、上記携帯端末１００は外部表示装置２００のようにデスクトップ領域に位置したアイコン選択によるアプリケーション実行を検出する時、デスクトップ環境に当るレイアウトを持つアプリケーションを実行して、それによる画面出力を処理する。したがって上記外部表示装置２００は、上記携帯端末１００から上記アプリケーションデスクトップウィンドウ画面が伝達されるとデスクトップ環境に当るレイアウトを持つアプリケーションデスクトップウィンドウ画面を表示する。また図１２のように上記携帯端末１００の領域でアプリケーションを実行する場合、上記携帯端末１００のレイアウトに当るアプリケーション画面が出力される。
一方、上記図８乃至図１２では携帯端末１００に外部入力装置３００が連結された場合を例示として示したが、上記図８乃至図１２のような動作で外部入力装置３００の構成は省略されて、前述したように携帯端末１００を介して提供される仮想入力装置を介して外部表示装置２００のデスクトップウィンドウ環境に対する操作を行なうこともできる。
図１３は本発明の実施例による携帯端末１００でデスクトップ仮想化運用方法を示した流れ図である。
上記図１３を参照すれば、制御部１７０は特定モード(例えば、待機モード、アプリケーション実行モードなど)を行なう中に(１３０１段階)、外部表示装置２００の連結を検出することができる(１３０３段階)。例えば、制御部１７０は、特定モード遂行中に有線(ＨＤＭＩ（登録商標）)または無線(Ｗｉ-Ｆｉ)を介して外部表示装置２００が連結されることを検出することができる。ここで、制御部１７０は外部表示装置２００が連結される時、デスクトップ仮想化のためのデスクトップモードを自動実行して、上記基本デスクトップウィンドウ画面を上記外部表示装置２００へ伝達することができる。また制御部１７０は上記外部表示装置２００が連結される時、携帯端末１００と外部表示装置２００の間に連結された連結方式を識別することもできる。
制御部１７０は、外部表示装置２００が連結される時、上記外部表示装置２００の画面大きさに対する情報を獲得する(１３０５段階)。ここで、上記外部表示装置２００の画面大きさに対する情報獲得は上記携帯端末１００が上記外部表示装置２００が連結される時点からポーリング方式で獲得したり、または上記携帯端末１００と上記外部表示装置２００が連結される時、上記外部表示装置２００が外部表示装置２００の画面大きさに対する情報をプッシュ方式で上記携帯端末１００に送信することもできる。
制御部１７０は、上記獲得された外部表示装置２００の画面大きさに対する情報に基づいて基本デスクトップウィンドウ画面の大きさを決定して(１３０７段階)、決定された画面大きさに対応する基本デスクトップウィンドウ画面を上記外部表示装置２００に出力することができる(１３０９段階)。ここで、上記制御部１７０は上記外部表示装置２００が連結された方式に従って有線(ＨＤＭＩ（登録商標）)または無線(Ｗｉ-Ｆｉ)による基本デスクトップウィンドウ画面を出力するための処理を行なうことができる。
制御部１７０は、上記外部表示装置２００を介してデスクトップモード運用のための基本デスクトップウィンドウ画面が提供された状態で制御イベント入力を受信すると(１３１１段階)、上記制御イベントが携帯端末１００の基本領域を制御する内部制御イベントであるのか、或いは外部表示装置２００のデスクトップ領域を制御する外部制御イベントであるのか判断する(１３１３段階)。
制御部１７０は、上記制御イベントが外部制御イベントではない場合(１３１３段階の ＮＯ)、すなわち内部制御イベントに該当する場合、上記外部表示装置２００の画面は現在状態を維持したまま、携帯端末１００の基本領域で携帯端末１００のレイアウトに当る上記内部制御イベントによる実行画面が表示されるように制御する(１３１５段階)。すなわち、制御部１７０は上記携帯端末１００の基本領域のウィンドウ画面表示を制御する。
制御部１７０は、上記制御イベントが外部制御イベントであれば(１３１３段階のＹＥＳ)、上記携帯端末１００の画面は現在状態を維持したまま、外部表示装置２００のデスクトップ領域でデスクトップ環境に当るレイアウトを持つデスクトップウィンドウ画面が表示されるように制御する(１３１７段階)。
図１４は、本発明の実施例による携帯端末１００でデスクトップ仮想化運用方法を示した流れ図である。特に、上記図１４では携帯端末１００に外部入力装置３００が連結されない状態であり、携帯端末１００を利用して外部表示装置２００のデータ領域を操作するための仮想入力装置を提供する場合の動作例示を示す。
上記図１４を参照すれば、制御部１７０はデスクトップモード実行(１４０１段階)中に仮想入力装置の実行が要請されると(１４０３段階)、仮想入力装置アプリケーションを行なう(１４０５段階)。例えば、制御部１７０は携帯端末１００と外部表示装置２００が連結されて基本デスクトップウィンドウ画面を外部表示装置２００を介して表示する中に携帯端末１００の操作(例えば、メニュー操作、ホットキー入力など)によって仮想入力装置の実行を要請する入力を受信することができる。すると、制御部１７０は上記外部表示装置２００の基本デスクトップウィンドウ画面は維持する状態で携帯端末１００の基本領域で仮想入力装置アプリケーションの実行を制御する。
制御部１７０は、上記仮想入力装置アプリケーション実行によって仮想入力装置を携帯端末１００の基本領域のレイアウトに当るように出力して、上記外部表示装置２００のデスクトップ領域にポインタ７５０出力を制御する(１４０７段階)。
制御部１７０は、仮想入力装置が表示された状態で上記仮想入力装置を介する使用者入力によってデスクトップ領域を制御する(１４０９段階)。例えば、制御部１７０は上記の図８乃至図１２で説明したような例示による動作を制御することができる。すなわち、制御部１７０は外部表示装置２００に表示されたデスクトップ領域のポインタ７５０移動、アプリケーションの実行、実行されたウィンドウ画面に対する移動、ウィンドウ大きさ拡大/縮小、大きさ最小化、大きさ最大化、そしてウィンドウクローズなどのデスクトップ環境による作業を制御することができる。
図１５は、本発明の実施例による携帯端末１００でデスクトップ仮想化運用方法を示した流れ図である。特に、上記図１５では携帯端末１００に外部入力装置３００が連結された状態で、上記外部入力装置３００からの入力に対する処理動作例示を示す。
上記図１５を参照すれば、制御部１７０はデスクトップモード実行(１５０１段階)中に外部入力装置３００から制御イベント入力を受信することができる(１５０３段階)。
制御部１７０は、上記デスクトップモードで外部入力装置３００から制御イベント入力が受信されると、携帯端末１００の基本領域の画面は現在状態を維持して(１５０５段階)、上記外部入力装置３００の制御イベントを区分する(１５０７段階)。例えば、制御部１７０は上記外部入力装置３００による制御イベントがキーボード及びマウスの中で何の手段による制御入力であるのか区分することができ、当該の手段で何の作業遂行のための入力であるのか区分することができる。
制御部１７０は、区分された制御イベントによるデスクトップ領域の出力を制御する(１５１１段階)。例えば、制御部１７０は携帯端末１００の画面は現在状態を維持しながら、上記制御イベントによって外部表示装置２００に表示されたデスクトップ領域のポインタ７５０移動、アプリケーションの実行、実行されたウィンドウ画面に対する移動、ウィンドウ大きさ拡大/縮小、大きさ最小化、大きさ最大化、そしてウィンドクローズなどの制御を行なうことができる。
以下、本発明の表示装置別ウィンドウレイアウト提供機能に係った実施例を図１６乃至図１９Ｄを参照して説明する。
図１６は、本発明の実施例による携帯端末１００で表示装置別ウィンドウレイアウトを提供する方法を示した流れ図である。
上記図１６を参照すれば、制御部１７０は使用者からアプリケーション実行が感知されると(１６０１段階)、アプリケーションが実行される表示装置の資源を獲得することができる(１６０３段階)。例えば、制御部１７０はアプリケーションの実行が検出される時、上記アプリケーションが実行される表示装置を区分して、上記表示装置に対する資源を獲得することができる。ここで、上記表示装置の資源は携帯端末１００と現在連結された表示装置(例えば、携帯端末１００の表示部１３０、携帯端末１００に連結された外部表示装置)に対する資源で、携帯端末１００の貯蔵部１５０から獲得したり、外部表示装置から獲得することができる。
制御部１７０は、上記アプリケーションが実行される表示装置の資源が獲得されると、獲得された資源に設定されているウィンドウレイアウト政策を決定する(１６０５段階)。例えば、制御部１７０は上記表示装置の資源に対応する予め設定されたウィンドウレイアウト政策を貯蔵部１５０のマッピングテーブルから抽出することができる。
制御部１７０は、決定されたウィンドウレイアウト政策によって上記アプリケーションのウィンドウレイアウトをデコレーション(ｄｅｃｏｒａｔｉｏｎ)する(１６０７段階)。すなわち、制御部１７０は上記アプリケーションの実行画面が表示されたウィンドウのレイアウトを上記ウィンドウレイアウト政策によって構成することができる。
制御部１７０は、デコレーションによるウィンドウレイアウトのウィンドウを上記表示装置に生成して上記アプリケーションの実行画面を表示する(１６０９段階)。
上記図１６で前述したように、本発明の実施例による制御部１７０は使用者がアプリケーションを実行する時、現在携帯端末１００に連結されている少なくとも１つの表示装置に対する資源を獲得して、各表示装置の資源別に設定されているウィンドウレイアウト政策で上記獲得された資源に対するウィンドウレイアウト政策を決定することができる。そして決定された当該のウィンドウレイアウト政策によって実行アプリケーションのウィンドウレイアウトをデコレーションすることができる。
図１７は本発明の実施例による携帯端末１００で表示装置別で互いに異なるウィンドウレイアウトを運用する方法を示した流れ図である。
上記図１７を参照すれば、制御部１７０はウィンドウ生成を要請する使用者入力が受信される時、(１７０１段階)、現在連結されている表示装置の資源を獲得する(１７０３段階)。例えば、制御部１７０は使用者によるアプリケーション実行要請が検出される時、新しいウィンドウを生成するウィンドウ生成イベントであることで決定することができる。そして制御部１７０は、上記アプリケーション実行によってウィンドウが生成される表示装置(例えば、携帯端末１００の表示部１３０、携帯端末１００に連結された外部表示装置)を区分して、区分された表示装置に対する資源を獲得することができる。上記表示装置の資源は携帯端末１００の表示部１３０に対する資源及び上記携帯端末１００に連結された少なくとも１つの外部表示装置に対する資源のうちの少なくとも１つを含むことができる。
制御部１７０は、上記表示装置の資源に対するウィンドウレイアウト政策を検索して(１７０５段階)、検索されるウィンドウレイアウト政策があるのか判別する(１７０７段階)。例えば、制御部１７０は貯蔵部１５０に予め設定されたマッピングテーブルから上記獲得された資源に対応される表示装置別資源を検索して、検索された資源にマッピングされたウィンドウレイアウト政策を抽出することができる。すなわち、制御部１７０は表示装置別で予め設定されたウィンドウレイアウト政策から上記獲得された資源の表示装置に対するウィンドウレイアウト政策を検索して、それが存在するか否かを確認することができる。
制御部１７０は、上記表示装置に対するウィンドウレイアウト政策が存在すると(１７０７段階のＹＥＳ)、検索されたウィンドウレイアウト政策を上記表示装置に生成するウィンドウのウィンドウレイアウト政策で決定する(１７０９段階)。制御部１７０は決定されたウィンドウレイアウト政策を上記表示装置に生成するウィンドウに適用して(１７１１段階)、上記表示装置に上記ウィンドウレイアウト政策が適用されたウィンドウを生成して現わす(１７１３段階)。
制御部１７０は、上記表示装置に対するウィンドウレイアウト政策が存在しなければ(１７０７段階のＮＯ)、基本的に提供される基本ウィンドウレイアウト政策を上記表示装置に生成するウィンドウのウィンドウレイアウト政策で決定する(１７１５段階)。制御部１７０は決定された基本ウィンドウレイアウト政策を上記表示装置に生成するウィンドウに適用して(１７１７段階)、上記表示装置に上記ウィンドウレイアウト政策が適用されたウィンドウを生成して示す(１７１３段階)。
上記図１７で前述したように、本発明の実施例による制御部１７０は使用者要請に従って実行アプリケーションのためのウィンドウを生成する時、上記ウィンドウが生成される表示装置のウィンドウレイアウト政策が存在するのか検索することができる。制御部１７０は上記表示装置のウィンドウレイアウト政策が検索されると検索されたウィンドウレイアウト政策を上記表示装置のウィンドウレイアウト政策で適用して、上記表示装置のウィンドウレイアウト政策が検索されなければ基本ウィンドウレイアウト政策を上記表示装置のウィンドウレイアウト政策で適用することができる。そして制御部１７０はウィンドウレイアウト政策が適用されたウィンドウを上記表示装置に生成して実行アプリケーションに対する画面を上記ウィンドウのレイアウトによって他の様子で提供することができる。
図１８は、本発明の実施例による携帯端末１００と外部表示装置の連動時、動作関係を概略的に示した図面で、図１９Ａ及び図１９Ｂは、本発明の実施例による携帯端末１００と外部表示装置の連動時、表示装置別で互いに異なるウィンドウレイアウトを出力する画面例示を示した図面である。
上記図１８乃至図１９Ｂを参照すれば、携帯端末１００は外部表示装置２００と連結されることができる(１８０１段階)。例えば、携帯端末１００は特定モード(例えば、待機モード、アプリケーション実行モードなど)を行なう中に有線(例えば、ＨＤＭＩ（登録商標）など) または無線(例えば、Ｗｉ-Ｆｉなど)を介して外部表示装置２００が連結されることを検出することができる。
携帯端末１００は、外部表示装置２００と連結される時、上記外部表示装置２００に対する資源を獲得する(１８０３段階)。例えば、携帯端末１００は外部表示装置２００が連結される時、上記外部表示装置２００の画面大きさなどに対する資源を獲得することができる。上記外部表示装置２００に対する資源は携帯端末１００が連結された外部表示装置２００に資源送信を要請して、外部表示装置２００は携帯端末１００の資源送信要請に応答して携帯端末１００に自分の資源を提供することができる。または外部表示装置２００は携帯端末１００と連結される時、自分の資源を携帯端末１００に自動送信することもできる。すなわち、本発明で上記外部表示装置２００に対する資源獲得は携帯端末１００が外部表示装置２００が連結される時点でポーリング方式で獲得したり、または上記携帯端末１００と上記外部表示装置２００が連結される時、上記外部表示装置２００が外部表示装置２００の画面大きさに対する資源をプッシュ方式で上記携帯端末１００に送信することに獲得されることもできる。携帯端末１００は獲得された資源に対して携帯端末１００の貯蔵部１５０を介してバッファリング(ｂｕｆｆｅｒｉｎｇ)することができ、貯蔵することもできる。
この時、本発明では資源を提供する主体は制御機能を行なわなくマスターの制御による画面データを表示するスレーブとなることができる。すなわち、上記マスターは全般的な制御を担当する携帯端末１００(特に、制御部１７０)となることができ、上記スレーブは携帯端末１００で提供された画面データを表示する外部表示装置２００及び携帯端末１００の表示部１３０などとなることができる。
携帯端末１００は、外部表示装置２００から獲得された資源に対応するウィンドウレイアウト政策を決定する(１８０５段階)。例えば、携帯端末１００は表示装置別ウィンドウレイアウト政策が予め設定されたマッピングテーブルを参照して、上記獲得された資源に対応するウィンドウレイアウト政策を決定することができる。
携帯端末１００は、決定されたウィンドウレイアウト政策によるデスクトップウィンドウ画面(例えば、背景画面など)を外部表示装置２００に出力する(１８０７段階)。携帯端末１００は上記デスクトップウィンドウ画面出力時、上記図１９Ａに示されたように携帯端末１００の現在表示(例えば、遂行中の特定モードの画面表示)は維持する状態で、内部的にウィンドウレイアウト政策によって生成されたデスクトップウィンドウ画面を上記外部表示装置２００へ伝達する。
外部表示装置２００は、携帯端末１００と連結された後、上記携帯端末１００から上記デスクトップウィンドウ画面が伝達されると、上記デスクトップウィンドウ画面を表示する(１８０９段階)。ここで、上記デスクトップウィンドウ画面は上記図１９Ａに示されたように予め設定された背景画面２３０と外部表示装置２００の資源に対応するウィンドウで作業をすぐ行なうようにする予め登録されたアプリケーションに対するデスクトップ用ショートカットアイコン２５０(またはアイコンリスト)を含むことができる。
携帯端末１００は、上記のように外部表示装置２００が連結された状態で、使用者からアプリケーションを行なう使用者入力を受信することができる(１８１１段階)。例えば、使用者は携帯端末１００を操作して携帯端末１００の表示装置(すなわち、表示部１３０)に現在表示された画面(例えば、図１９Ａで携帯端末１００に現在表示された画面)で特定アプリケーションのアイコンを選択することができる。または使用者は携帯端末１００を操作して外部表示装置２００に現在表示された画面(例えば、図１９Ａで外部表示装置１００に現在表示されたデスクトップウィンドウ画面)で特定アプリケーションのアイコン(例えば、デスクトップ用ショートカットアイコン(２５０))を選択することができる。
携帯端末１００は、アプリケーション実行要請に応答して上記アプリケーションに対するウィンドウ生成領域を決定する(１８１３段階)。すなわち、携帯端末１００はアプリケーション実行を検出すると上記アプリケーションが実行される表示装置を区分することができる。例えば、携帯端末１００に現在表示された画面でアプリケーション実行が検出される時、上記ウィンドウ生成領域が携帯端末１００の表示装置(すなわち、表示部１３０)であることで決定することができ、外部表示装置２００に現在表示された画面でアプリケーション実行が検出される時、上記ウィンドウ生成領域が外部表示装置２００であるから決定することができる。または少なくとも１つの外部表示装置２００が連結された状態では前者のように携帯端末１００の画面でアプリケーション実行が検出されても上記ウィンドウ生成領域が外部表示装置２００であることで決定することができ、これは使用者設定方式に従って多様に運用されることができる。
携帯端末１００は、ウィンドウ生成領域が決定されると、上記ウィンドウ生成領域の表示装置に対応するウィンドウレイアウト政策を決定する(１８１５段階)。例えば、携帯端末１００は表示装置別ウィンドウレイアウト政策が予め設定されたマッピングテーブルを参照して、上記ウィンドウが生成される領域の表示装置(例えば、携帯端末１００の表示部１３０または外部表示装置２００)の資源に対応するウィンドウレイアウト政策を決定することができる。上記図１８では実行アプリケーションによるウィンドウの生成領域が外部表示装置２００であることで説明する。
携帯端末１００は、決定されたウィンドウレイアウト政策によるアプリケーション実行画面を外部表示装置２００に出力する(１８１７段階)。すなわち、携帯端末１００は決定されたウィンドウレイアウト政策によってアプリケーションが実行されたウィンドウレイアウトを構成して、ウィンドウレイアウト政策が適用された上記ウィンドウレイアウトに対応して上記アプリケーションの実行画面を出力することができる。例えば、携帯端末１００は上記外部表示装置２００に表示されたアイコン(２５０)中の使用者選択によるアイコン２５０のアプリケーションを判別する。そして判別されたアプリケーションが実行されるウィンドウを上記決定されたウィンドウレイアウト政策によるレイアウトで構成して、それによるアプリケーション実行画面を外部表示装置２００へ伝達する。すなわち、携帯端末１００は、アプリケーションのウィンドウ生成領域を外部表示装置２００で決定する時、当該の表示装置(すなわち、上記外部表示装置２００)の資源に対応するレイアウトを持つアプリケーションを実行して、それによる画面出力を処理することができる。
外部表示装置２００は、上記携帯端末１００から上記アプリケーション実行画面が伝達されると、上記アプリケーション実行画面を表示する(１８１９段階)。ここで、上記アプリケーション実行画面は上記図１９Ｂに示されたように携帯端末１００の表示装置(すなわち、表示部１３０)で表示されるウィンドウ画面とは異なり、上記外部表示装置２００の資源に当るレイアウトを持つウィンドウ画面で提供される。例えば、上記アプリケーション実行画面は携帯端末１００に表示される実行画面とは異なり、外部表示装置２００の資源によってデスクトップ形態のウィンドウレイアウトに具現されることができる。上記図１９Ｂを例示として説明すると、携帯端末１００で表示されることができるウィンドウの大きさより大きいウィンドウ大きさを持ちながら追加的な詳細情報がさらに提供されることができる。またウィンドウのフレーム(ｆｒａｍｅ)上端に状態バー５５０のような付加的な情報がさらに提供されることができる。また上記状態バー５５０は当該のウィンドウ(すなわち、実行画面)に対する状態情報(アプリケーション名前など)が表示されることができる。特に、上記状態バー５５０は実行されたウィンドウの最小化、最大化、及びクローズのようにウィンドウ大きさ調節に係る最小化ボタン、最大化ボタン、及びクローズボタンのようなウィンドウ大きさ調節ボタン５５５を含むことができる。この時、携帯端末１００の画面は現在状態をそのまま維持することができる。
図１９Ｃは、本発明の実施例による携帯端末１００から表示装置星で互いに異なるウィンドウレイアウトを出力する画面例示を示した図面である。
上記図１９Ｃに示されたように、外部表示装置２００との連結を介して多重スクリーン機能を支援する携帯端末１００及び上記携帯端末１００で出力される画面を表示装置別ウィンドウレイアウト政策によるウィンドウレイアウトのウィンドウ画面で表示する外部表示装置２００を含んで構成される。
上記図１９Ｃでは上記携帯端末１００と上記外部表示装置２００は有線インターフェース(例えば、ＨＤＭＩ（登録商標）)または無線インターフェース(例えば、Ｗｉ-Ｆｉ)を介して連結された状態を示す。したがって携帯端末１００は携帯端末１００で生成する多様な画面データを外部表示装置２００との連結方式に従って有線インターフェース(例えば、ＨＤＭＩ（登録商標）)を介して外部に出力したり、無線インターフェース(例えば、Ｗｉ-Ｆｉ)を介して外部に出力することができる。
そして上記図１９Ｃでは携帯端末１００の制御によって特定アプリケーションが外部表示装置２００を介して上記外部表示装置２００に対するウィンドウレイアウト政策によって実行されている状態であり、携帯端末１００の領域で特定アプリケーションが携帯端末１００の表示装置(すなわち、表示部１３０)に対するウィンドウレイアウト政策によって実行されている状態の例示を示す。
上記図１９Ｃを参照すれば、携帯端末１００は、上記のように外部表示装置２００と連結された状態で、外部表示装置２００には外部表示装置２００の資源に対応するウィンドウレイアウト政策が適用されたアプリケーション実行画面が提供されることができ、携帯端末１００には携帯端末１００の表示部１３０の資源に対応するウィンドウレイアウト政策(例えば、基本ウィンドウレイアウト政策)が適用されたアプリケーション実行画面が提供されることができる。すなわち、表示装置別ウィンドウレイアウト政策によって各表示装置に当る互いに異なるウィンドウレイアウトで構成された他の様子の実行画面が提供されることができる。
すなわち、携帯端末１００は、外部表示装置２００の領域によるアプリケーション実行を検出する時、上記外部表示装置２００の資源に当るウィンドウレイアウト政策基盤のウィンドウ形態でアプリケーションを実行してそれによる画面出力を処理する。また携帯端末１００は、携帯端末１００の表示部１３０の領域によるアプリケーション実行を検出する時、上記表示部１３０の資源に当る基本ウィンドウレイアウト政策基盤のウィンドウ形態でアプリケーションを実行してそれによる画面出力を処理する。したがって携帯端末１００は外部表示装置２００の領域にアプリケーション実行によるウィンドウを生成する場合、外部表示装置２００の資源に当るレイアウトを持つアプリケーション実行画面表示を処理する。また携帯端末１００は携帯端末１００の領域にアプリケーション実行によるウィンドウを生成する場合、表示部１３０の資源に当るレイアウトを持つアプリケーション実行画面表示を処理する。
図１９Ｄは、本発明の実施例による携帯端末１００で表示装置星で互いに異なるウィンドウレイアウトを出力する画面例示を示した図面である。
上記図１９Ｄを参照すれば、上記図１９Ｄは携帯端末１００と外部表示装置２００が有線(例えば、ＨＤＭＩ（登録商標）)または無線(例えば、Ｗｉ-Ｆｉ)を介して連結された状態であり、特定アプリケーションの実行画面が携帯端末１００の領域と外部表示装置２００の領域にかけて共に表示されている状態の画面例示を示す。例えば、外部表示装置２００の領域を介してアプリケーションが実行された状態で、使用者のウィンドウ移動操作によって上記アプリケーションのウィンドウが携帯端末１００の領域に移動されながら上記アプリケーションのウィンドウ一部が携帯端末１００の領域で表示されている状態であることができる。
上記図１９Ｄに示されたように、１つのアプリケーションの実行画面に対して、携帯端末１００の領域では携帯端末１００の表示部１３０のウィンドウレイアウト政策によってレイアウトがデコレーションされた実行画面の一部が提供されることができ、外部表示装置２００の領域では外部表示装置２００に当るウィンドウレイアウト政策によってレイアウトがデコレーションされた実行画面の一部が提供されることができる。すなわち、表示装置別ウィンドウレイアウト政策によって１つのアプリケーションの実行画面がそれぞれの領域に他の様子のレイアウトで表示されることができる。例えば、ギャラリーアプリケーションの実行によって外部表示装置２００領域では写真に対するリストと関連詳細情報(例えば、拡大写真)を共に表示することができるレイアウトに表示されて、携帯端末１００領域では写真に対するリストだけ表示することができるレイアウトで表示されることができる。
そして上記図１９Ｄでは示されなかったが、ある１つの表示装置の領域に表示されたアプリケーション実行画面のウィンドウが異なる表示装置の領域に完全に移動する使用者操作がなることができる。このような場合、以前の領域でウィンドウレイアウト政策のレイアウトで表示されたウィンドウは、移動される領域のウィンドウレイアウト政策によるレイアウトに変更されて提供されることができる。例えば、上記図１９Ｄのように外部表示装置２００領域に表示されたアプリケーション実行画面が使用者操作によって携帯端末１００領域に完全に移動される時、表示部１３０のウィンドウレイアウト政策によるレイアウトのウィンドウにデコレーションされて提供されることができる。反対に、携帯端末１００領域に表示されたアプリケーション実行画面が使用者操作によって外部表示装置２００領域に完全に移動される時、外部表示装置２００のウィンドウレイアウト政策によるレイアウトのウィンドウにデコレーションされて提供されることができる。すなわち、本発明の実施例によれば、ウィンドウが生成される表示装置のウィンドウレイアウト政策によって当該の表示装置のウィンドウレイアウトで同様のアプリケーションの実行画面でも他の様子に表現されることができる。
以下、本発明の使用者入力に対応する外部表示装置の表示機能に係った実施例を図２０乃至図２４を参照してより詳しく説明する。
図２０は本発明の一実施例による使用者入力の処理方法を説明するための流れ図である。
図２０を参照すれば、段階２０１０で制御部１７０はシングル表示モードで携帯端末１００を運営する。段階２０１５で制御部１７０は携帯端末１００に外部表示装置が連結されたのか否かを決定する。ここで外部表示装置は無線通信部１５０またはインターフェース部１６０を介して制御部１７０と連結される。
外部表示装置と連結された場合、段階２０３０で制御部１７０はデュアル表示モードで携帯端末１００を運営する。段階２０３０の具体的な一例を説明すれば以下の通りである。外部表示装置と連結されると制御部１７０は外部表示装置で画面大きさ情報(例えば、解像度)を要請するメッセージを外部表示装置へ送信する。ここに応答して外部表示装置は画面大きさ情報を含む応答メッセージを制御部１７０へ送信する。表示部１３０は制御部１７０の制御下に仮想コントローラーのアイコンを含む第１ホーム画面を表示する。また外部表示装置は制御部１７０の制御下に第２ホーム画面を表示する。この時、第２ホーム画面の解像度は外部表示装置から受信された画面大きさ情報を基づいて決定される。例えば、外部表示装置の画面大きさに当るように第２ホーム画面が表示される。使用者が第１ホーム画面で仮想コントローラーのアイコンをタップすると表示部１３０はタップに応答してタッチイベントを発生させて制御部１７０へ伝達する。制御部１７０は表示部１３０からタッチイベントを検出して、タッチイベントに応答して仮想コントローラーを実行する。仮想コントローラーは仮想のタッチスクリーンを生成するようにカーネルに要請する。これによってカーネル特に、流入力モジュールは表示部１３０を外部表示装置の入力装置でエミュレーション(ｅｍｕｌａｔｉｏｎ)するために仮想のタッチスクリーンを生成する。 一方、表示部１３０は制御部１７０の制御下に、仮想コントローラーの実行画面すなわち、エミュレーション画面を表示する。この時、エミュレーション画面はタッチ領域を含む。またエミュレーション画面は１つ以上のソプトキー(例えば、マウス左側ボタン、マウス右側ボタン、最小化ボタン、最大化ボタン及び終了ボタン)を含むことができる。このようなエミュレーション画面は他の画面にオーバーラップされて表示されることができる。また他の画面は第１スクリーン領域に表示されてエミュレーション画面は第２スクリーン領域に表示されることもできる。またエミュレーション画面は使用者の要請によって表示終了される。使用者が第１ホーム画面で当該のアイコンを選択するとエミュレーション画面がさらに表示される。一方、携帯端末１１０が外部表示装置と連結されると仮想コントローラーは自動で実行されることもできる。このような自動実行するか否かは使用者が設定可能なオプションであることができる。エミュレーション画面が表示された場合、制御部１７０はポインタを他の画面(例えば、第２ホーム画面)上にオーバーラップして表示するように外部表示装置を制御する。エミュレーション画面の表示が終了された場合、ポインタの表示も終了される。
段階２０３０で制御部１７０は使用者の入力を待つ。段階２０３５で制御部１７０は表示部１３０から使用者の入力が検出されるのか否かを決定する。ここで使用者入力は上述したように、タッチ、マルチタッチ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、プレス、ピンチイン及びピンチアウトなどとなることができる。
表示部１３０から使用者入力が検出された場合、段階２０４０で制御部１７０は使用者入力が外部表示装置に係るか否かを決定する。例えば、エミュレーション画面が表示されていない場合、制御部１７０は使用者入力が外部表示装置に係らないことで決定する。使用者入力がエミュレーション画面で発生された場合、制御部１７０は使用者入力が外部表示装置に係ることで決定する。エミュレーション画面が第１スクリーン領域で表示されており、他の画面が第２スクリーン領域で表示されている状態で使用者入力が第１スクリーン領域で発生された場合、制御部１７０は使用者入力が外部表示装置に係ることで決定する。使用者入力が第２スクリーン領域で発生された場合、制御部１７０は使用者入力が外部表示装置に係らないことで決定する。
使用者入力が外部表示装置に係ることで決定された場合、段階２０５０で制御部１７０は使用者入力に応答して外部表示装置の画面に係る機能を行なう。例えば、エミュレーション画面のタッチ領域でドラッグが検出された場合、制御部１７０はドラッグの方向に沿ってポインタを移動させる。すなわち外部表示装置は制御部１７０の制御下に、ポインタが移動する様子を表示する。エミュレーション画面のタッチ領域またはマウス左側ボタンでタップが検出された場合、制御部１７０はポインタが位置したアイコンのアプリケーションを実行して、実行画面を表示するように外部表示装置を制御する。使用者入力が「タップアンドタッチ後ドラッグ」の場合、制御部１７０はドラッグの方向に沿ってポインタ及びポインタが位置した実行画面を同時に移動させる。以上に段階２０５０によれば表示部１３０が外部表示装置の入力装置で使用されることを分かる。
使用者入力が外部表示装置の画面と関係ない場合、換言すれば、使用者入力が表示部１３０の画面に係る場合、段階２０６０で制御部１７０は使用者入力に応答して表示部１３０の画面に係る機能を行なう。例えば、使用者入力がドラッグの場合、制御部１７０はドラッグの方向に沿って画面を転換する。例えば、第１ホーム画面の第１ページ代りに第２ページが表示される。使用者入力がタップの場合、制御部１７０はタップになったアイコンのアプリケーションを実行して、実行画面を表示するように表示部１３０を制御する。
段階２０７０で制御部１７０はデュアル表示モードを終了するか否かを決定する。例えば、外部表示装置と携帯端末１００の連結が解除された場合、デュアル表示モードは終了される。そうではない場合、プロセスは段階２０３０へ復帰される。
図２１は、外部入力装置に表示されるポインタを移動させるための手続きを説明するためのソフトウェアアーキテクチャーである。図２２は外部入力装置に表示されるポインタを移動させるための手続きを説明するための画面例示図である。
図２１を参考すれば、制御部１７０は仮想コントローラー３１０、流入力モジュール３２０、仮想のタッチスクリーン３３０、仮想のマルチタッチスクリーン３４０、Ｘサーバー３５０及びアプリケーション３６０を含む。第１過程で仮想コントローラー３１０が実行される。第２過程で仮想コントローラー３１０は図２２に示されたように、エミュレーション領域４１０、マウス左側ボタン４２０、マウス右側ボタン４３０、最小化ボタン４４０、最大化ボタン４５０及び終了ボタン４６０を含むエミュレーション画面を表示するように表示部１３０を制御する。第３過程で仮想コントローラー３１０は流入力モジュール３２０に仮想のタッチスクリーンの生成を要請する。第４過程で流入力モジュール３２０は仮想コントローラー３１０の要請に応答して仮想のタッチスクリーン３３０及び仮想のマルチタッチスクリーン３４０を生成する。
第５過程でタッチ座標(ｘｎ、ｙｎ)がＸサーバー３５０へ伝達する。第６過程でＸサーバー３５０はタッチ座標(ｘｎ、ｙｎ)を仮想コントローラー３１０へ伝達する。第７過程で仮想コントローラー３１０はタッチ座標(ｘｎ、ｙｎ)がエミュレーション領域４１０で発生されたことであるか否かを判断する。タッチ座標(ｘｎ、ｙｎ)がエミュレーション領域４１０で発生された場合、第８過程で仮想コントローラー３１０はタッチの位置変化量(ｄｘ(ｘｎ-ｘｎ-１)、ｄｙ(ｙｎ-ｙｎ-１))を算出する。ここで(ｘｎ-１、ｙｎ-１)は以前に検出されたタッチ座標である。第９過程で仮想コントローラー３１０は流入力モジュール３２０で位置変化量(ｄｘ、ｄｙ)を伝達する。第１０過程で流入力モジュール３２０は位置変化量(ｄｘ、ｄｙ)を仮想のタッチスクリーン３３０へ伝達する。第１１過程で仮想のタッチスクリーン３３０は位置変化量(ｄｘ、ｄｙ)をＸサーバー３５０へ伝達する。第１２過程でＸサーバー３５０は外部表示装置に係るアプリケーション３６０で位置変化量(ｄｘ、ｄｙ)を伝達する。アプリケーション３６０は位置変化量(ｄｘ、ｄｙ)に応答して図２２に示されたように、ポインタ４７０を第１位置４８０で第２位置４９０へ移動させる。
図２３は、外部入力装置に表示されるイメージの大きさを変換するための手続きを説明するためのソフトウェアアーキテクチャーである。図２４は外部入力装置に表示されるイメージの大きさを変換するための手続きを説明するための画面例示図である。
図２３を参考すれば、第１過程乃至第４過程は図２１と同様である。第５過程で第１タッチ座標(ｘ１、ｙ１)と第２タッチ座標(ｘ２、ｙ２)がＸサーバー４５０へ伝達する。第６過程でＸサーバー５５０は第１タッチ座標(ｘ１、ｙ１)と第２タッチ座標(ｘ２、ｙ２)を仮想コントローラー５１０へ伝達する。第７過程で仮想コントローラー３１０は第１タッチ座標(ｘ１、ｙ１)と第２タッチ座標(ｘ２、ｙ２)がエミュレーション領域６１０で発生されたことであるか否かを判断する。第１タッチ座標(ｘ１、ｙ１)と第２タッチ座標(ｘ２、ｙ２)がエミュレーション領域６１０で発生された場合、第８過程で仮想コントローラー３１０はエミュレーション領域６１０の大きさ(Ａ)と外部表示装置に係るアプリケーション５６０の実行画面(６２０；図６参照)の大きさ(Ｂ)を確認して、大きさ情報(Ａ及びＢ)を利用して第１タッチ座標(ｘ１、ｙ１)を第３タッチ座標(ｘ３、ｙ３)で変換して、第２タッチ座標(ｘ２、ｙ２)を第４タッチ座標(ｘ４、ｙ４)で変換する。
第９過程で仮想コントローラー５１０は、流入力モジュール５２０で３タッチ座標(ｘ３、ｙ３)と第４タッチ座標(ｘ４、ｙ４)を伝達する。第１０過程で流入力モジュール５２０は第３タッチ座標(ｘ３、ｙ３)と第４タッチ座標(ｘ４、ｙ４)を仮想のマルチタッチスクリーン(５４０)へ伝達する。第１１過程で仮想のマルチタッチスクリーン５４０は第３タッチ座標(ｘ３、ｙ３)と第４タッチ座標(ｘ４、ｙ４)をＸサーバー５５０へ伝達する。第１２過程でＸサーバー５５０は外部表示装置に係るアプリケーション５６０で第３タッチ座標(ｘ３、ｙ３)と第４タッチ座標(ｘ４、ｙ４)を伝達する。アプリケーション６６０は第３タッチ座標(ｘ３、ｙ３)と第４タッチ座標(ｘ４、ｙ４)に応答して実行画面６２０の大きさを変更(例えば、拡大)する。
一方、上述したような本発明の実施例は多様なコンピューター手段を介して行われることができるプログラム命令形態に具現されてコンピューターで判読可能な記録媒体に記録されることができる。上記コンピューターで判読可能な記録媒体はプログラム命令、データファイル、データ構造などを単独で、或いは組み合わせて含むことができる。上記記録媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであるとかコンピューターソフトウェア当業者に公知されて使用可能なものであることができる。
上記コンピューターで判読可能な記録媒体にはハードディスク、フロッピー（登録商標）ディスク及び磁気テープのようなマグネチック媒体(Ｍａｇｎｅｔｉｃ Ｍｅｄｉａ)と、ＣＤ-ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＤＶＤ(Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ)のような光記録媒体(Ｏｐｔｉｃａｌ Ｍｅｄｉａ)と、 フロプティカルディスク (Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ)のような磁気−光媒体(Ｍａｇｎｅｔｏ-Ｏｐｔｉｃａｌ Ｍｅｄｉａ)、及びＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリーなどのようなプログラム命令を貯蔵して行なうように特別に構成されたハードウェア装置が含まれる。またプログラム命令にはコンパイラーによって作われることと同様の機械語コードだけではなくインタプリターなどを使用してコンピューターによって実行されることができる高級言語コードを含む。上述したハードウェア装置は本発明の動作を行なうために１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である
また、明細書と図面に開示された本発明の実施例は本発明の記述内容を容易に説明して本発明の理解を助けるために特定例を提示したものであるだけ、本発明の範囲を限定しようとするものではない。したがって本発明の範囲はここに開示された実施例以外にも本発明の技術的思想を基づいて導出されるすべての変更または変形された形態が本発明の範囲に含まれることに解釈されなければならない。
１００ 携帯端末
２００ 外部表示装置
３００ 外部入力装置
１１０ 無線通信部
１２０ 使用者入力部
１３０ 表示部
１４０ オーディオ処理部
１５０ 貯蔵部
１６０ インターフェース部
１７０ 制御部
１８０ 電源供給部
２５０ デスクトップ用ショートカットアイコン
５５０ 状態バー
５５５ ウィンドウ大きさ調節ボタン
７５０ ポインタ

Claims (17)

  1. 外部表示装置を利用した携帯端末による機能運用方法であって、
    前記携帯端末への前記外部表示装置の連結を感知する過程と、
    前記外部表示装置が連結されると、前記外部表示装置の画面サイズに関する情報を前記外部表示装置から取得する過程と、
    前記外部表示装置の画面サイズに関する情報に応じてウィンドウレイアウトポリシーを決定する過程と、
    前記携帯端末の現在表示を維持した状態で、前記決定されたウィンドウレイアウトポリシーに従って、前記携帯端末から前記外部表示装置にウィンドウ画面を出力する過程と、
    前記携帯端末で制御イベントが発生すると、前記携帯端末の現在表示を維持した状態で、前記制御イベントに対応するアプリケーションを実行し、前記実行されたアプリケーションに対するアプリケーションデスクトップウィンドウ画面を前記外部表示装置に出力する過程と、
    を含み、
    前記ウィンドウ画面は、背景イメージと前記携帯端末に格納されているアプリケーションを表すショートカットアイコンとを含み、デスクトップウィンドウ環境のフォーマットを有し、
    前記制御イベントは、前記携帯端末から前記ショートカットアイコンのいずれかを選択する入力であることを特徴とする携帯端末による機能運用方法。
  2. 前記外部表示装置に出力された前記ウィンドウ画面に基づく画面を、前記携帯端末の表示装置に表示する過程をさらに含むことを特徴とする請求項１に記載の携帯端末による機能運用方法。
  3. 前記制御イベントに対応する入力は、外部入力装置を介して受信されることを特徴とする請求項１に記載の携帯端末による機能運用方法。
  4. 前記アプリケーションデスクトップウィンドウ画面は、前記実行されたアプリケーションに関連するアプリケーション実行画面と、前記背景イメージの少なくとも一部と、前記ショートカットアイコンとを含むことを特徴とする請求項１に記載の携帯端末による機能運用方法。
  5. 前記アプリケーション実行画面は、デスクトップ環境で表示されるように構成されることを特徴とする請求項４に記載の携帯端末による機能運用方法。
  6. 前記アプリケーション実行画面は、前記アプリケーション実行画面のフレーム上端にウィンドウのサイズを調節するための大きさ調節ボタンを含むことを特徴とする請求項５に記載の携帯端末による機能運用方法。
  7. 前記携帯端末及び前記外部表示装置は、異なる画面レイアウトを有することを特徴とする請求項１に記載の携帯端末による機能運用方法。
  8. 前記ショートカットアイコンは、前記デスクトップウィンドウ環境で実行されるように構成された、前記携帯端末に格納されたアプリケーションに関連付けられていることを特徴とする請求項３に記載の携帯端末による機能運用方法。
  9. 前記携帯端末のタッチスクリーンへの入力を検出する過程と、
    前記入力が前記外部表示装置に表示された第１画面に関連するか否かを判断する過程と、
    前記入力が前記第１画面に関連する場合、前記入力に応じて前記第１画面に関連する機能を実行する過程と、
    前記入力が前記第１画面に関連しない場合、前記入力に応じて前記タッチスクリーンに表示された第２画面に関連する機能を実行する過程と、
    をさらに含むことを特徴とする請求項１に記載の携帯端末による機能運用方法。
  10. 前記外部表示装置の画面サイズに関する情報を取得する過程は、
    前記外部表示装置の画面サイズに関する情報のために前記外部表示装置をポーリングする過程、または前記外部表示装置から画面サイズに関する情報のプッシュを受信する過程の１つを含むことを特徴とする請求項１に記載の携帯端末による機能運用方法。
  11. 携帯端末であって、
    外部表示装置に接続するための、有線及び無線インターフェースのうち少なくとも１つを提供する通信インターフェースと、
    前記通信インターフェースを介して前記外部表示装置の接続を感知し、前記外部表示装置の画面サイズに関する情報を前記外部表示装置から取得し、前記外部表示装置の画面サイズに関する前記取得した情報に応じてウィンドウレイアウトポリシーを決定し、前記決定されたウィンドウレイアウトポリシーに応じて、前記携帯端末の現在表示を維持した状態で、前記携帯端末から前記外部表示装置にウィンドウ画面を出力し、前記携帯端末で制御イベントが発生すると、前記携帯端末の現在表示を維持した状態で、前記制御イベントに対応するアプリケーションを実行し、前記実行されたアプリケーションに対するアプリケーションデスクトップウィンドウ画面を前記外部表示装置に出力するプロセッサとを含み、
    前記ウィンドウ画面は、背景イメージと前記携帯端末に格納されているアプリケーションを表すショートカットアイコンとを含み、デスクトップウィンドウ環境のフォーマットを有し、
    前記制御イベントは、前記携帯端末から前記ショートカットアイコンのいずれかを選択する入力であることを特徴とする携帯端末。
  12. 前記ウィンドウ画面に基づく画面を表示するタッチスクリーンをさらに含むことを特徴とする請求項１１の携帯端末。
  13. 前記プロセッサは、前記制御イベントに対応する入力を外部入力装置を介して受信し、前記入力に応じてアプリケーションを実行することを特徴とする請求項１１に記載の携帯端末。
  14. 前記プロセッサは、前記外部表示装置の画面サイズに関する情報を取得するために、前記外部表示装置の画面サイズに関する情報のために前記外部表示装置をポーリングするか、または前記外部表示装置から画面サイズに関する情報のプッシュを受信することを特徴とする請求項１１に記載の携帯端末。
  15. 携帯端末と外部表示装置とからなるデスクトップ仮想化システムであって、
    前記携帯端末は、マルチスクリーン機能を支持し、
    前記外部表示装置に接続するための、有線及び無線インターフェースのうち少なくとも１つを提供する通信インターフェースと、
    前記通信インターフェースを介して前記外部表示装置の接続を感知し、前記外部表示装置の画面サイズに関する情報を前記外部表示装置から取得し、前記外部表示装置の画面サイズに関する前記取得した情報に応じてウィンドウレイアウトポリシーを決定し、前記決定されたウィンドウレイアウトポリシーに応じて、前記携帯端末の現在表示を維持した状態で、前記携帯端末から前記外部表示装置にウィンドウ画面を出力し、前記携帯端末で制御イベントが発生すると、前記携帯端末の現在表示を維持した状態で、前記制御イベントに対応するアプリケーションを実行し、前記実行されたアプリケーションに対するアプリケーションデスクトップウィンドウ画面を前記外部表示装置に出力するプロセッサとを含み、
    前記ウィンドウ画面は、背景イメージと前記携帯端末に格納されているアプリケーションを表すショートカットアイコンとを含み、デスクトップウィンドウ環境のフォーマットを有し、
    前記制御イベントは、前記携帯端末から前記ショートカットアイコンのいずれかを選択する入力であることを特徴とするデスクトップ仮想化システム。
  16. 前記携帯端末は、
    前記ウィンドウ画面に基づく画面を表示するタッチスクリーンをさらに含むことを特徴とする請求項１５に記載のデスクトップ仮想化システム。
  17. 前記プロセッサは、前記制御イベントに対応する入力を外部入力装置を介して受信し、前記入力に応じてアプリケーションを実行することを特徴とする請求項１５に記載のデスクトップ仮想化システム。
JP2013187476A 2012-09-10 2013-09-10 携帯端末と外部表示装置の連結運用方法及びこれを支援する装置 Active JP6478181B2 (ja)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201261698909P 2012-09-10 2012-09-10
US201261698985P 2012-09-10 2012-09-10
US61/698,985 2012-09-10
US61/698,909 2012-09-10
KR20120104794 2012-09-20
KR20120104823 2012-09-20
KR10-2012-0104794 2012-09-20
KR10-2012-0104823 2012-09-20
KR1020130003465A KR20140034025A (ko) 2012-09-10 2013-01-11 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치
KR10-2013-0003465 2013-01-11

Publications (2)

Publication Number Publication Date
JP2014053014A JP2014053014A (ja) 2014-03-20
JP6478181B2 true JP6478181B2 (ja) 2019-03-06

Family

ID=49182079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013187476A Active JP6478181B2 (ja) 2012-09-10 2013-09-10 携帯端末と外部表示装置の連結運用方法及びこれを支援する装置

Country Status (5)

Country Link
US (2) US12360656B2 (ja)
EP (5) EP4415338A3 (ja)
JP (1) JP6478181B2 (ja)
CN (3) CN108845782B (ja)
WO (1) WO2014038918A1 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10448111B2 (en) 2014-09-24 2019-10-15 Microsoft Technology Licensing, Llc Content projection
US9860306B2 (en) 2014-09-24 2018-01-02 Microsoft Technology Licensing, Llc Component-specific application presentation histories
US10635296B2 (en) 2014-09-24 2020-04-28 Microsoft Technology Licensing, Llc Partitioned application presentation across devices
US10025684B2 (en) 2014-09-24 2018-07-17 Microsoft Technology Licensing, Llc Lending target device resources to host device computing environment
US9769227B2 (en) 2014-09-24 2017-09-19 Microsoft Technology Licensing, Llc Presentation of computing environment on multiple devices
US9678640B2 (en) 2014-09-24 2017-06-13 Microsoft Technology Licensing, Llc View management architecture
KR101594105B1 (ko) * 2015-03-06 2016-02-16 주식회사 와이젯 사용자 장치 간에 여러 화면을 분배하고 입력 인터페이스를 공유하는 멀티 스크린 구현 방법 및 장치
WO2017055523A1 (en) * 2015-10-02 2017-04-06 Koninklijke Philips N.V. Apparatus for displaying data
CN105516781A (zh) * 2015-12-09 2016-04-20 小米科技有限责任公司 应用程序排布方法及装置
DK179594B1 (en) 2016-06-12 2019-02-25 Apple Inc. User interface for managing controllable external devices
JP6934892B2 (ja) * 2016-06-12 2021-09-15 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 制御可能な外部デバイスを管理するためのユーザインタフェース
KR102365678B1 (ko) * 2017-03-29 2022-02-21 삼성전자주식회사 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치
CN114168092B (zh) 2017-06-09 2022-11-25 华为技术有限公司 一种显示方法及装置
CN108781235B (zh) * 2017-06-13 2021-12-28 华为技术有限公司 一种显示方法及装置
CN107493375B (zh) * 2017-06-30 2020-06-16 北京超卓科技有限公司 移动终端扩展式投屏方法及投屏系统
CN107846466B (zh) * 2017-11-15 2020-04-07 中国联合网络通信集团有限公司 云终端外部设备的映射方法、服务器、云终端及系统
CN109753256A (zh) 2018-03-29 2019-05-14 北京字节跳动网络技术有限公司 一种窗口控制栏的布局方法、装置及设备
CN109753215B (zh) 2018-04-02 2020-03-27 北京字节跳动网络技术有限公司 一种窗口分屏显示方法、装置及设备
EP3769510A1 (en) 2018-05-07 2021-01-27 Apple Inc. User interfaces for viewing live video feeds and recorded video
KR102527824B1 (ko) * 2018-07-31 2023-05-02 삼성전자주식회사 복수의 출력 화면 환경에서 가상 입력 인터페이스의 표시를 제어하기 위한 전자 장치 및 그의 동작 방법
CN109358937A (zh) * 2018-09-30 2019-02-19 上海达龙信息科技有限公司 一种基于虚拟输入装置远程操控pc的方法及系统
CN109814825B (zh) * 2018-12-29 2021-01-08 维沃移动通信有限公司 显示屏操控方法和移动终端
CN109874129B (zh) * 2019-03-31 2021-11-16 联想(北京)有限公司 一种数据处理方法及电子设备
CN112019893B (zh) * 2019-05-30 2023-09-12 北京小米移动软件有限公司 终端的投屏方法和终端的投屏装置
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
CN112995727A (zh) 2019-12-17 2021-06-18 华为技术有限公司 一种多屏协同方法、系统及电子设备
JP7214165B2 (ja) * 2019-12-24 2023-01-30 株式会社ユピテル 電子情報システム及びそのプログラム
CN113050841A (zh) * 2019-12-26 2021-06-29 华为技术有限公司 显示多窗口的方法、电子设备和系统
CN111258668B (zh) * 2020-02-20 2023-05-23 湖南麒麟信安科技股份有限公司 一种gpu虚拟桌面动态切换显示的方法及装置
CN113395563A (zh) * 2020-03-13 2021-09-14 西安诺瓦星云科技股份有限公司 节目信息展示方法、装置及系统和计算机可读存储介质
CN114115629B (zh) * 2020-08-26 2025-01-10 华为技术有限公司 一种界面显示方法及设备
CN112083867A (zh) 2020-07-29 2020-12-15 华为技术有限公司 一种跨设备的对象拖拽方法及设备
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
CN113961157B (zh) 2020-07-21 2023-04-07 华为技术有限公司 显示交互系统、显示方法及设备
CN117971104A (zh) 2020-07-29 2024-05-03 华为技术有限公司 一种跨设备的对象拖拽方法及设备
CN112148162B (zh) * 2020-09-18 2021-11-16 珠海格力电器股份有限公司 图标排列方法、装置、用户终端及存储介质
CN112698764A (zh) * 2020-12-31 2021-04-23 联想(北京)有限公司 一种处理方法及装置
CN112733366B (zh) * 2021-01-12 2022-09-16 中国人民解放军陆军军事交通学院军事交通运输研究所 一种实时高爆弹破片毁伤仿真方法
US20220365667A1 (en) 2021-05-15 2022-11-17 Apple Inc. User interfaces for managing accessories
CN115373553A (zh) * 2021-05-19 2022-11-22 华为技术有限公司 一种显示方法及终端设备
CN115705229A (zh) * 2021-08-06 2023-02-17 北京小米移动软件有限公司 显示控制方法和系统、移动终端、存储介质
CN113867580B (zh) * 2021-08-30 2022-07-12 荣耀终端有限公司 窗口内指针的显示控制方法及装置、设备、存储介质
KR20230045450A (ko) * 2021-09-28 2023-04-04 삼성전자주식회사 적어도 하나의 입력 장치를 제어하는 전자 장치 및 그 제어 방법
US12379827B2 (en) 2022-06-03 2025-08-05 Apple Inc. User interfaces for managing accessories
JP2024157961A (ja) * 2023-04-26 2024-11-08 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
US20240385795A1 (en) * 2023-05-15 2024-11-21 Apple Inc. Techniques for managing one or more displays

Family Cites Families (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4386410A (en) 1981-02-23 1983-05-31 Texas Instruments Incorporated Display controller for multiple scrolling regions
US4437093A (en) 1981-08-12 1984-03-13 International Business Machines Corporation Apparatus and method for scrolling text and graphic data in selected portions of a graphic display
JPS59116787A (ja) 1982-12-24 1984-07-05 株式会社日立製作所 デイスプレイ表示方式
US5726669A (en) 1988-06-20 1998-03-10 Fujitsu Limited Multi-window communication system
DE69412479T2 (de) 1993-05-10 1999-04-22 Apple Computer, Inc., Cupertino, Calif. Fenstersystem mit unabhängigen fenstern zur behebung von gitterungseffekten
JPH0926769A (ja) 1995-07-10 1997-01-28 Hitachi Ltd 画像表示装置
US6327623B2 (en) 1997-05-30 2001-12-04 Texas Instruments Incorporated Computer system with environmental detection
US6448956B1 (en) 1997-10-31 2002-09-10 Eastman Kodak Company Systems and methods for direct image manipulation
US6300947B1 (en) 1998-07-06 2001-10-09 International Business Machines Corporation Display screen and window size related web page adaptation system
US7831930B2 (en) 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
US6252607B1 (en) * 1998-07-27 2001-06-26 Attachmate Corporation Method and system for character spacing in graphics terminal emulation
TW495716B (en) 2000-01-21 2002-07-21 Dream Technologies Corp Control device and method for starting computer application software and multi-monitor computer, client-server system, and memory media thereof
US6522309B1 (en) 2000-02-28 2003-02-18 Savry Stuff Property Trust Multiscreen personal computer display method and apparatus
US6476823B1 (en) 2000-04-25 2002-11-05 Codehorse, Inc. Interactive image tiler
US6983424B1 (en) 2000-06-23 2006-01-03 International Business Machines Corporation Automatically scaling icons to fit a display area within a data processing system
GB0023570D0 (en) 2000-09-26 2000-11-08 Volantis Systems Ltd Web server
JP2002140471A (ja) 2000-10-30 2002-05-17 Hitachi Ltd 環境対応度評価方法及びそのシステム
JP4300703B2 (ja) * 2000-11-15 2009-07-22 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム格納媒体
JP4753529B2 (ja) 2001-02-22 2011-08-24 富士通株式会社 情報処理装置、情報処理装置の表示制御方法、記憶媒体及びそのプログラム
US9032325B2 (en) 2001-06-08 2015-05-12 Real Enterprise Solutions Development B.V. Management of local applications in local and remote desktops in a server-based computing environment
KR100474724B1 (ko) 2001-08-04 2005-03-08 삼성전자주식회사 터치스크린을 가지는 장치 및 그 장치에 외부디스플레이기기를 연결하여 사용하는 방법
US9405459B2 (en) 2011-08-24 2016-08-02 Z124 Unified desktop laptop dock software operation
US9268518B2 (en) 2011-09-27 2016-02-23 Z124 Unified desktop docking rules
US8966379B2 (en) 2010-10-01 2015-02-24 Z124 Dynamic cross-environment application configuration/orientation in an active user environment
US8819705B2 (en) 2010-10-01 2014-08-26 Z124 User interaction support across cross-environment applications
US20130076592A1 (en) 2011-09-27 2013-03-28 Paul E. Reeves Unified desktop docking behavior for visible-to-visible extension
US8933949B2 (en) 2010-10-01 2015-01-13 Z124 User interaction across cross-environment applications through an extended graphics context
JP2003108283A (ja) 2001-09-18 2003-04-11 Internatl Business Mach Corp <Ibm> コンピュータ装置、表示デバイス、表示制御装置、イメージの処理方法、表示解像度の変更処理方法、コンピュータプログラム
US7895522B2 (en) * 2001-09-28 2011-02-22 Ntt Docomo, Inc. Layout of platform specific graphical user interface widgets migrated between heterogeneous device platforms
US7519918B2 (en) 2002-05-30 2009-04-14 Intel Corporation Mobile virtual desktop
US7739604B1 (en) 2002-09-25 2010-06-15 Apple Inc. Method and apparatus for managing windows
US7251783B2 (en) 2002-11-01 2007-07-31 Hewlett-Packard Development Company, L.P. Large area storage display
US7194690B2 (en) 2003-04-17 2007-03-20 Lenovo (Singapore) Pte. Ltd. Remote support for computer or other electronic device
WO2004104778A2 (en) 2003-05-19 2004-12-02 Modular Computing & Communications Corporation Apparatus and method for mobile personal computing and communications
US20050022135A1 (en) 2003-07-23 2005-01-27 De Waal Abraham B. Systems and methods for window alignment grids
KR20050022406A (ko) * 2003-08-30 2005-03-08 삼성전자주식회사 멀티스크린 디스플레이 시스템 및 그 제어방법
EP1515223A1 (de) 2003-09-10 2005-03-16 Siemens Aktiengesellschaft Generierung einer Objekt-Bearbeitungsplattform zwischen zwei Computern über eine Bildschirmzusammenfügung
US20050091610A1 (en) 2003-10-22 2005-04-28 International Business Machines Corporation Selective display of windows on an auxiliary output device
WO2005064445A1 (en) * 2003-12-23 2005-07-14 Nokia Corporation Method and apparatus for entering data with a four way input device
US8065629B1 (en) 2004-06-22 2011-11-22 Apple Inc. Displaying icon layouts in different resolutions
US8566732B2 (en) 2004-06-25 2013-10-22 Apple Inc. Synchronization of widgets and dashboards
US7590750B2 (en) 2004-09-10 2009-09-15 Microsoft Corporation Systems and methods for multimedia remoting over terminal server connections
US8407347B2 (en) 2004-11-19 2013-03-26 Xiao Qian Zhang Method of operating multiple input and output devices through a single computer
EP2808782A1 (en) 2004-12-24 2014-12-03 IZUTSU, Masahiro Mobile information communication apparatus, connection unit for mobile information communication apparatus, and external input/output unit for mobile information communication apparatus
US7657837B2 (en) 2005-04-06 2010-02-02 Ericom Software Ltd. Seamless windows functionality to remote desktop sessions regarding z-order
US7954064B2 (en) 2005-10-27 2011-05-31 Apple Inc. Multiple dashboards
US7707514B2 (en) 2005-11-18 2010-04-27 Apple Inc. Management of user interface elements in a display environment
US20070124737A1 (en) 2005-11-30 2007-05-31 Ava Mobile, Inc. System, method, and computer program product for concurrent collaboration of media
US7783985B2 (en) 2006-01-04 2010-08-24 Citrix Systems, Inc. Systems and methods for transferring data between computing devices
JP2007212578A (ja) 2006-02-07 2007-08-23 Toshiba Corp 情報処理装置および情報処理装置に適用される表示制御方法
KR100744380B1 (ko) * 2006-04-17 2007-07-30 삼성전자주식회사 외부 디스플레이 장치로 영상을 출력할 수 있는 기능을구비한 이동 단말기에서의 디스플레이 제어 장치 및 방법
US8117554B1 (en) 2006-04-25 2012-02-14 Parallels Holdings, Ltd. Seamless integration of non-native widgets and windows with dynamically scalable resolution into native operating system
US20070266335A1 (en) 2006-05-12 2007-11-15 Microsoft Corporation Providing a standard user interface (UI) across disparate display interfaces
KR100816286B1 (ko) 2006-05-18 2008-03-24 삼성전자주식회사 휴대 단말기와 외부 장치를 이용한 디스플레이 장치 및방법
KR100765789B1 (ko) 2006-06-27 2007-10-12 삼성전자주식회사 외부 기기에 대한 정보를 디스플레이하는 방법 및 장치와,그 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한기록 매체
US7779367B2 (en) 2007-02-08 2010-08-17 Microsoft Corporation Dynamic control configuration
US8316308B2 (en) 2007-06-08 2012-11-20 Google Inc. Adaptive user interface for multi-source systems
US8627218B2 (en) 2007-08-24 2014-01-07 Creative Technology Ltd Host implemented method for customising a secondary device
KR101445603B1 (ko) 2007-08-27 2014-09-29 삼성전자주식회사 디스플레이 장치의 화면 크기에 기초한 적응적 영상 처리장치 및 영상 스케일링 방법
US10091345B2 (en) 2007-09-04 2018-10-02 Apple Inc. Media out interface
US8407605B2 (en) 2009-04-03 2013-03-26 Social Communications Company Application sharing
US7961202B2 (en) 2007-10-26 2011-06-14 Mitel Networks Corporation Method and apparatus for maintaining a visual appearance of at least one window when a resolution of the screen changes
JP2009140471A (ja) * 2007-11-12 2009-06-25 Canon Inc 映像機器、その制御方法及びプログラム
JP2009122947A (ja) 2007-11-14 2009-06-04 Canon Inc 画面共有システム及びデータ転送方法
CA2711450C (en) 2008-01-07 2016-08-30 Smart Technologies Ulc Method of launching a selected application in a multi-monitor computer system and multi-monitor computer system employing the same
CN101222710A (zh) * 2008-01-31 2008-07-16 中兴通讯股份有限公司 一种移动终端上实现菜单动态配置的系统及方法
US9448814B2 (en) 2008-02-19 2016-09-20 Google Inc. Bridge system for auxiliary display devices
JP2009211241A (ja) 2008-03-03 2009-09-17 Fujitsu Ltd 表示画面設定プログラム、情報処理装置および表示画面設定方法
US8433812B2 (en) 2008-04-01 2013-04-30 Microsoft Corporation Systems and methods for managing multimedia operations in remote sessions
WO2009122684A1 (ja) 2008-04-01 2009-10-08 Yanase Takatoshi 表示システム、表示方法、プログラム、及び記録媒体
US8020116B2 (en) 2008-04-07 2011-09-13 Honeywell International Inc. System and method for visualizing a multi-screen workspace on a single display screen
US8176434B2 (en) 2008-05-12 2012-05-08 Microsoft Corporation Virtual desktop view scrolling
EP2283421B1 (en) * 2008-05-20 2019-08-14 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
US8887063B2 (en) 2008-05-21 2014-11-11 Smart Technologies Ulc Desktop sharing method and system
KR101111566B1 (ko) * 2008-05-23 2012-02-24 삼성전자주식회사 휴대 단말기의 인터페이스 전환 장치 및 방법
JP5292948B2 (ja) * 2008-06-30 2013-09-18 富士通株式会社 表示及び入力機能を備えた装置
US8543935B2 (en) 2008-08-20 2013-09-24 Red Hat, Inc. Full-screen heterogeneous desktop display and control
US8296728B1 (en) 2008-08-26 2012-10-23 Adobe Systems Incorporated Mobile device interaction using a shared user interface
US20100060549A1 (en) * 2008-09-11 2010-03-11 Ely Tsern Method and system for dynamically generating different user environments with secondary devices with displays of various form factors
US8689115B2 (en) 2008-09-19 2014-04-01 Net Power And Light, Inc. Method and system for distributed computing interface
KR101526995B1 (ko) 2008-10-15 2015-06-11 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
KR101537598B1 (ko) 2008-10-20 2015-07-20 엘지전자 주식회사 영상 프로젝터를 구비한 휴대 단말기 및 그 제어 방법
KR101495538B1 (ko) 2008-10-21 2015-02-25 삼성전자주식회사 화상형성방법 및 장치
EP2350807A1 (en) 2008-10-26 2011-08-03 Citrix Systems, Inc. Panning a native display on a mobile computing device to a window, interpreting a gesture-based instruction to scroll contents of the window, and wrapping text on the window
US7870496B1 (en) 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US20100223563A1 (en) 2009-03-02 2010-09-02 Apple Inc. Remotely defining a user interface for a handheld device
US9201593B2 (en) 2009-03-27 2015-12-01 Qualcomm Incorporated System and method of managing displays at a portable computing device and a portable computing device docking station
US8863007B2 (en) 2009-04-03 2014-10-14 International Business Machines Corporation Programmatic information transfer
US20100259464A1 (en) * 2009-04-14 2010-10-14 Jae Young Chang Terminal and controlling method thereof
JP5177071B2 (ja) 2009-04-30 2013-04-03 ソニー株式会社 送信装置および方法、受信装置および方法、並びに送受信システム
JP4676011B2 (ja) * 2009-05-15 2011-04-27 株式会社東芝 情報処理装置、表示制御方法およびプログラム
US9241062B2 (en) * 2009-05-20 2016-01-19 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
US8269736B2 (en) 2009-05-22 2012-09-18 Microsoft Corporation Drop target gestures
US8621387B2 (en) 2009-06-08 2013-12-31 Apple Inc. User interface for multiple display regions
US20110004839A1 (en) 2009-07-02 2011-01-06 Derek Cha User-customized computer display method
KR101591524B1 (ko) 2009-08-25 2016-02-03 엘지전자 주식회사 이동 통신 단말기 및 이동 통신 단말기의 메뉴 표시 방법
US20110060623A1 (en) 2009-09-08 2011-03-10 Flower City Group System and Method for Resource Workflow Scheduling
WO2011029394A1 (zh) * 2009-09-11 2011-03-17 联想(北京)有限公司 便携终端的显示控制方法及便携终端
US20110066971A1 (en) 2009-09-14 2011-03-17 Babak Forutanpour Method and apparatus for providing application interface portions on peripheral computing devices
US20110082938A1 (en) 2009-10-07 2011-04-07 Joe Jaudon Systems and methods for dynamically updating a user interface within a virtual computing environment
US9285799B2 (en) 2009-11-23 2016-03-15 Fisher-Rosemount Systems, Inc. Methods and apparatus to dynamically display data associated with a process control system
US8839128B2 (en) 2009-11-25 2014-09-16 Cooliris, Inc. Gallery application for content viewing
JP2011134278A (ja) 2009-12-25 2011-07-07 Toshiba Corp 情報処理装置およびポインティング制御方法
CN102118651B (zh) 2010-01-06 2014-03-12 Lg电子株式会社 显示设备和在该显示设备上显示内容的方法
KR101642722B1 (ko) * 2010-02-04 2016-07-27 삼성전자 주식회사 듀얼 표시부를 가지는 휴대단말 및 그 표시부의 표시 제어 방법
US20110219331A1 (en) 2010-03-02 2011-09-08 International Business Machines Corporation Window resize on remote desktops
WO2011123840A2 (en) 2010-04-01 2011-10-06 Citrix Systems, Inc. Interacting with remote applications displayed within a virtual desktop of a tablet computing device
WO2011128501A1 (en) 2010-04-15 2011-10-20 Nokia Corporation Method and apparatus for widget compatibility and transfer
GB2479996A (en) 2010-04-26 2011-11-02 Hu-Do Ltd Mobile computing device operating in conjunction with companion computing device to generate a user environment.
US20110265009A1 (en) 2010-04-27 2011-10-27 Microsoft Corporation Terminal services view toolbox
KR101695810B1 (ko) 2010-05-07 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
WO2012011636A1 (en) 2010-07-20 2012-01-26 Lg Electronics Inc. User profile based configuration of user experience environment
US20120030584A1 (en) 2010-07-30 2012-02-02 Brian Bian Method and apparatus for dynamically switching between scalable graphical user interfaces for mobile devices
CN101916186A (zh) * 2010-07-30 2010-12-15 深圳创维－Rgb电子有限公司 一种移动终端视图的扩展显示方法、装置及终端
KR101775001B1 (ko) 2010-08-13 2017-09-04 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2012020865A1 (ko) 2010-08-13 2012-02-16 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
KR101701859B1 (ko) 2010-08-13 2017-02-02 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2012020864A1 (ko) 2010-08-13 2012-02-16 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
US20120050183A1 (en) * 2010-08-27 2012-03-01 Google Inc. Switching display modes based on connection state
US9159298B2 (en) * 2010-09-08 2015-10-13 Lg Electronics Inc. Terminal and contents sharing method for terminal
US9207859B2 (en) * 2010-09-14 2015-12-08 Lg Electronics Inc. Method and mobile terminal for displaying fixed objects independent of shifting background images on a touchscreen
WO2012044539A2 (en) 2010-10-01 2012-04-05 Imerj, Llc Multi-operating system
EP2625591A4 (en) * 2010-10-05 2014-04-30 Citrix Systems Inc Touch support for remoted applications
WO2012046890A1 (ko) * 2010-10-06 2012-04-12 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
US8789144B2 (en) * 2010-10-06 2014-07-22 Citrix Systems, Inc. Mediating resource access based on a physical location of a mobile device
FR2966261A1 (fr) * 2010-10-15 2012-04-20 Sagem Wireless Procede de navigation au sein d'un terminal mobile, et terminal incluant le procede
JP2012108719A (ja) * 2010-11-17 2012-06-07 Ntt Docomo Inc 電子機器及び入出力方法
CN102541768B (zh) * 2010-12-21 2015-11-25 联想(北京)有限公司 一种移动终端、状态切换方法及显示方法
US8369893B2 (en) * 2010-12-31 2013-02-05 Motorola Mobility Llc Method and system for adapting mobile device to accommodate external display
US20120198386A1 (en) * 2011-01-31 2012-08-02 Nokia Corporation Causing display of thumbnail images
US20120206372A1 (en) 2011-02-10 2012-08-16 Kevin Mundt Method and system for flexible use of tablet information handling system resources
KR20120097863A (ko) 2011-02-25 2012-09-05 (주)세븐코아 가상화 기술 기반 다중 디스플레이 구동 방법
US20120226985A1 (en) 2011-03-02 2012-09-06 Steven Chervets Hosted virtual desktop dynamic configuration based on end point characteristics
US9367229B2 (en) 2011-04-08 2016-06-14 Adobe Systems Incorporated Touch-enabled device navigation system
WO2012141048A1 (ja) 2011-04-15 2012-10-18 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体
WO2012148087A2 (ko) 2011-04-29 2012-11-01 주식회사 케이티 외부 디바이스와 도킹 연결되는 휴대 단말 및 화면 변경 방법
JP6039203B2 (ja) 2011-05-23 2016-12-07 キヤノン株式会社 画像出力装置、画像出力装置の制御方法、及び、プログラム
JP5259772B2 (ja) * 2011-05-27 2013-08-07 株式会社東芝 電子機器、操作支援方法及びプログラム
US9606724B2 (en) 2011-07-06 2017-03-28 Sixense Entertainment, Inc. Display grid for video game input
KR101811755B1 (ko) 2011-07-15 2018-01-26 엘지전자 주식회사 이동 단말기
US9013510B2 (en) 2011-07-29 2015-04-21 Google Inc. Systems and methods for rendering user interface elements in accordance with a device type
CN102291477B (zh) * 2011-08-19 2016-09-28 中兴通讯股份有限公司 移动终端及其屏幕布局方法
US8878794B2 (en) 2011-09-27 2014-11-04 Z124 State of screen info: easel
DE102011083957B4 (de) 2011-10-04 2018-12-27 Siemens Healthcare Gmbh Gerätesteuerung mit zuschaltbaren Touch-User-Interfaces
US20130125009A1 (en) 2011-11-16 2013-05-16 International Business Machines Corporation Remote desktop localized content sharing
US20130132885A1 (en) 2011-11-17 2013-05-23 Lenovo (Singapore) Pte. Ltd. Systems and methods for using touch input to move objects to an external display and interact with objects on an external display
US20130159917A1 (en) 2011-12-20 2013-06-20 Lenovo (Singapore) Pte. Ltd. Dynamic user interface based on connected devices
RU2601831C2 (ru) 2011-12-28 2016-11-10 Нокиа Текнолоджиз Ой Предоставление открытого экземпляра приложения
US9817442B2 (en) 2012-02-28 2017-11-14 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for presenting visual interface content
JP5893456B2 (ja) 2012-03-19 2016-03-23 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
US20130286042A1 (en) 2012-04-26 2013-10-31 Akihiko Ikeda Tile icon display
US9176703B2 (en) 2012-06-29 2015-11-03 Lg Electronics Inc. Mobile terminal and method of controlling the same for screen capture
KR101822463B1 (ko) 2013-01-21 2018-01-26 삼성전자주식회사 복수 개의 아이콘들을 화면상에 배치하는 장치 및 이의 운용 방법

Also Published As

Publication number Publication date
WO2014038918A1 (en) 2014-03-13
CN108845782A (zh) 2018-11-20
EP2706740A1 (en) 2014-03-12
JP2014053014A (ja) 2014-03-20
US12360656B2 (en) 2025-07-15
EP4164203A1 (en) 2023-04-12
EP3873073A1 (en) 2021-09-01
EP4415338A3 (en) 2024-11-13
CN108958685A (zh) 2018-12-07
CN108845782B (zh) 2021-11-30
CN103677711A (zh) 2014-03-26
EP4164203B1 (en) 2025-10-29
CN103677711B (zh) 2018-07-20
EP4164203C0 (en) 2025-10-29
EP4415338A2 (en) 2024-08-14
US20250315156A1 (en) 2025-10-09
EP2706740B1 (en) 2018-05-16
EP3873073C0 (en) 2024-09-04
EP3873073B1 (en) 2024-09-04
EP3355561A1 (en) 2018-08-01
US20220164091A1 (en) 2022-05-26
CN108958685B (zh) 2021-11-02
EP3355561B1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
JP6478181B2 (ja) 携帯端末と外部表示装置の連結運用方法及びこれを支援する装置
US11698720B2 (en) Method for connecting mobile terminal and external display and apparatus implementing the same
US12511023B2 (en) Operating method for multiple windows and electronic device supporting the same
KR102080146B1 (ko) 휴대단말과 외부 표시장치 연결 운용 방법 및 이를 지원하는 장치
US10452333B2 (en) User terminal device providing user interaction and method therefor
KR102015347B1 (ko) 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치
JP6139397B2 (ja) マウス機能提供方法およびこれを具現する端末
US20150020013A1 (en) Remote operation of applications using received data
CN105739813A (zh) 用户终端设备及其控制方法
JP6251555B2 (ja) アプリケーション情報提供方法および携帯端末
KR102098258B1 (ko) 콘텐츠 편집 방법 및 이를 구현하는 전자기기

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20141226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180305

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190125

R150 Certificate of patent or registration of utility model

Ref document number: 6478181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250