[go: up one dir, main page]

WO2012081678A1 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
WO2012081678A1
WO2012081678A1 PCT/JP2011/079093 JP2011079093W WO2012081678A1 WO 2012081678 A1 WO2012081678 A1 WO 2012081678A1 JP 2011079093 W JP2011079093 W JP 2011079093W WO 2012081678 A1 WO2012081678 A1 WO 2012081678A1
Authority
WO
WIPO (PCT)
Prior art keywords
window
display
app1
upper layer
transparent layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/079093
Other languages
English (en)
French (fr)
Inventor
正裕 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of WO2012081678A1 publication Critical patent/WO2012081678A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Definitions

  • the present invention relates to a display device having an input function.
  • An object of the present invention is to provide a display device having an input layer for each of a plurality of windows displayed on a display unit, without modifying an existing application, with the function that has been conventionally provided only by an application having a handwriting input function. It is to be.
  • the display device of the present invention includes a display unit for displaying information, an input unit for inputting information to be displayed on the display unit, and a display position of a window for executing at least one application displayed on the display unit. And a window manager for managing a display layer and a transparent layer to be synthesized above the window, and the window manager is configured to input information into the transparent layer area by the input unit. In this case, information is added to the transparent layer.
  • the present invention it is possible to provide a display device having an input layer for each of a plurality of windows displayed on the display unit without modifying an existing application.
  • FIG. 1 is a block diagram showing a system configuration of a display device according to the first embodiment of the present invention.
  • the display device 2 includes a CPU 4 that controls the entire display device 2, and the CPU 4 is connected to a bus 6.
  • the bus 6 includes a ROM 8 for storing application programs executed by the CPU 16, a RAM 10 for storing application programs read from a storage medium 26 described later, an LCD display unit 12 for displaying information such as images, and an LCD display by an operator.
  • a display control unit 18 that performs display control of the touch panel 16 having a detection unit 14 that detects a touch operation on the display surface of the unit 12, and a buffer memory 20 that stores an image to be displayed on the LCD display unit 12 of the touch panel 16 are connected.
  • the bus 6 is connected to an I / O 24 that performs input control from an operation member 22 for inputting an operator's instruction such as a cursor key and performs input / output control for the touch panel 16.
  • a recording I / F 28 for controlling recording and reading of data on the recording medium 26 is connected to the bus 6.
  • WM window manager
  • the WM manages the position and size of the window on the LCD display unit 12, the overlapping order of the windows, and the like.
  • a pointing device included in the operation member 22 such as a touch pen, a mouse, and a keyboard to an application.
  • the WM When the operator activates the application program 1 (hereinafter referred to as App1) stored in the ROM 8 by operating the operation member 22 or the touch panel 16, the WM has a predetermined display size (for example, 640 ⁇ 480) from App1. A request for securing the App1 window is accepted (step S10).
  • App1 application program 1
  • the WM secures the App1 shared memory M1 in the RAM 10 as a memory (shared memory) that can be shared with App1 (step S12), and further, a transparent upper layer having the same display size as the App1 window display size (640 ⁇ 480 pixels). Allocate memory for use. That is, the upper layer App1 upper layer memory M2 displayed in the same position as the App1 window is secured in the RAM 10 (step S14). Further, the WM creates a title bar and a pointer switching icon to be displayed on the RAM 10 together with the App1 window. Further, the shared memory number for making the App1 shared memory M1 accessible is transferred to App1 (step S16).
  • App1 When App1 receives the shared memory number of the App1 shared memory M1 from the WM, the App1 uses the memory number to open the App1 shared memory M1 secured in the RAM 10 to make the App1 shared memory M1 accessible. App1 reads the information recorded in the recording medium 26, processes the read information in accordance with the processing contents described in App1, and stores the character information 34 and the like as the processing result on the App1 shared memory M1 on the RAM 10. To draw. Then, App1 requests the WM to draw on the window on the LCD display unit 12.
  • FIG. 3 shows a case where both App1 and application program 2 (hereinafter referred to as App2) are running.
  • the RAM 10 has the App1 shared memory M1, the App1 upper layer memory M2, the App2 shared memory N1 and the App2 upper layer memory N2 for the App2 window (eg, 320 ⁇ 240). Further, a title bar 38 displayed together with the App1 window, a title bar 48 displayed together with the App2 window, and a pointer switching icon 49 used for pointer switching are drawn.
  • the WM transfers drawing data obtained by combining the drawing data of the App1 shared memory M1 and the App1 upper layer memory M2 to the buffer memory 20 (step S18).
  • the drawing data of the title bar 38 and the pointer switching icon 49 are also transferred to the buffer memory 20. That is, as shown in FIG. 4, a window 52 in which the App1 window 32, the upper layer 36 of App1 and the title bar 38 are combined is drawn in the buffer memory 20.
  • a pointer switching icon 49 is also drawn. 3 and 4 show a state in which the handwritten character 70 is input to the upper layer 36 of App1, but the handwritten character 70 has not yet been input at this time. Further, FIG.
  • FIG. 4 shows a state in which an App2 window 42, a window 54 in which an App2 upper layer 46 and a title bar 48 are combined are drawn. Accordingly, as shown in FIG. 5, windows 52 and 54 drawn on the buffer memory 20 and a pointer switching icon 49 are displayed on the LCD display unit 12.
  • X and Y addresses based on the display positions and sizes of the windows 52 and 54 are assigned to the buffer memory 20. Therefore, for example, if the display position information of the App1 window 32 of App1 is changed, the display position of the window 52 in which the App1 window 32 and the upper layer 36 are combined is changed accordingly.
  • the WM reads the position of the arrow pointer 60 displayed on the LCD display unit 12 (step S20), and determines whether or not the position of the pointer 60 exists in the area of the window 52 corresponding to App1 (step S20). S22). If the position of the pointer 60 exists within the area of the window 52, it is determined what has been selected by the pointer 60 (step S24).
  • the pen icon 38a for setting ON / OFF of the upper layer on the title bar 38 is selected, the upper layer 36 is turned ON, and
  • the pen function of the pointer switching icon 49 is selected (step S24, upper layer), it is possible to draw by handwriting on the upper layer 36 of the window 52 (step S26).
  • the point data is drawn in the App1 upper layer memory M2 on the RAM 10 based on the detection result by the detection unit 14. Is done. That is, the continuous point data drawn is a line drawing, and the handwriting input locus 70 is recorded in the App1 upper layer memory M2 (see FIG. 3).
  • the WM selects the pen function of the switching icon 49 without turning on / off the upper layer on the title bar 38, and the position of the pointer 60 exists in the area of the window 52 corresponding to App1. It can also have a function that enables automatic handwriting input.
  • the WM transfers drawing data obtained by combining the drawing data of the App1 shared memory M1 and the App1 upper layer memory M2 on the RAM 10 to the buffer memory 20 (step S18), the App1 window 32, and the handwriting input locus 70. Is drawn on the buffer memory 20 (see FIG. 4). Accordingly, the handwritten input locus 70 is displayed in the window 52 on the LCD display unit 12 (see FIG. 5).
  • the upper layer 36 can be displayed or hidden by the upper layer display ON / OFF function on the title bar 38.
  • the WM does not synthesize the upper layer 36 but draws the window 52 in which the App1 window 32 and the title bar 38 are synthesized on the buffer memory 20.
  • the WM changes the function of the pointer 60 from the handwritten input to the normal pointer function.
  • the operator moves the position of the pointer 60 from the area of the window 52 to the outside by the contact operation on the touch panel 16 or the like, for example, when the enlargement icon 49a on the pointer switching icon 49 is selected (Step S24, App1). ) Synthesizes the data obtained by changing the display size of the App1 window 32 drawn in the App1 shared memory M1 to a predetermined size and the enlarged data of the App1 upper layer memory M2. The data is transferred to the buffer memory 20 (step S18).
  • the App1 window 32 and the upper layer 36 with the enlarged display size are drawn on the buffer memory 20, and the window 52 of the LCD display unit 12 is displayed with the enlarged display size.
  • the reduction icon 49b on the pointer switching icon 49 is selected by the pointer 60, a process is performed in which the enlargement when the enlargement icon 49a is selected is changed to reduction, and a window 52 on the LCD display unit 12 is displayed. Is reduced to a predetermined size and displayed.
  • the display enlargement / reduction function is realized by using linear interpolation processing of an image when the image is transferred to the buffer memory 20.
  • the WM displays the upper layer 36 including the locus 70 inputted by handwriting. Save and manage as another file (step S30). For example, the shared information shown in FIG. 6 and the file storage location are stored in the management database. Therefore, when App1 is activated next time, the upper layer 36 is displayed on the App1 window 32 with reference to the management database. Then, WM ends App 1 and closes the window 52 on the LCD display unit 12.
  • the window display position and the display size are managed for a plurality of windows displayed in a multi-window on the LCD display unit, and at the top of each window.
  • the upper layer to be synthesized is managed with the same display position and display size as the window, and when a touch operation is detected within the window area by the touch panel, information is added to the upper layer based on the detection result. Therefore, it is possible to have a handwriting input layer for each of a plurality of windows displayed on the LCD display unit. Further, it is possible to provide a function for enhancing the convenience of the operator by strengthening the cooperation between the window and the upper layer corresponding thereto.
  • a page feed function may be provided as a function attached to the title bar 38 as shown in FIG.
  • the pen icon 38a on the title bar 38 is selected, the page feed / return icon 80 is displayed, and this icon 80 is selected.
  • the WM newly secures an upper layer memory M3 (not shown), and realizes the overwrite function by the same operation as described above.
  • the shared information as shown in FIG. 6 is output from App1 to the WM so that the WM also performs page feed in the upper layer in conjunction with App1. May be.
  • the delivery of the shared information is performed using a file format or an OS message function.
  • a transparent upper layer memory having the same display size as the display size of the application program window is secured, but the upper layer is the same as the display size of the application program window.
  • the same size as an input (active) area of the application program window may be secured, or a configuration may be adopted in which input is possible only in a predetermined area of the application program window.
  • the pointer displayed on the LCD display unit 12 is operated using the touch panel 16, but the operation member 22 (touch pen, mouse, keyboard, etc.) is used. You may go.
  • a drawing function to the upper layer 36 is provided as a WM function, but it may be provided as one application.
  • the upper layer 36 is displayed on the App1 window 32, and the locus 70 input to the upper layer 36 is recorded in the upper layer memory M2 and associated with App1.
  • the configuration is such that the upper layer 36 is not displayed according to the attribute of the application, such as when App1 has security restrictions, or even when the upper layer 36 is displayed It is good also as a structure which does not associate with App1 at the time.
  • the upper layer 36 including the locus 70 input by handwriting is stored as a separate file.
  • the screen of the App1 window 32 is stored in the upper layer 36 including the locus 70. Shots may be combined, and an image file in which the upper layer 36 including the locus 70 and the App1 window 32 are combined may be stored.
  • the operator can send an image file attached to a mail to a partner who does not have dedicated software such as App1, and the convenience of the operator can be improved.
  • the display device 2 according to the second embodiment has the same configuration as that of the display device 2 according to the first embodiment, and therefore a detailed description of the same configuration as that of the first embodiment. Are omitted, and only different parts will be described in detail. Further, the same components as those in the first embodiment will be described with the same reference numerals.
  • the WM uses the App1 for a predetermined display size from App1 as in the process shown in Step S10 of FIG. Accept a window reservation request.
  • one application is displayed on one screen, such as substantially the entire display area of the LCD display unit 12 as an App1 window.
  • the WM secures the App1 shared memory P1 in the RAM 10 in the same manner as the process shown in Step S12 of FIG. Further, the WM reserves a memory for a transparent upper layer having the same display size as that of the App1 window in the RAM 10.
  • a plurality of upper layer memories are secured.
  • the RAM 10 has an App1 shared memory P1, an App1 first upper layer memory T1, an App1 second upper layer memory T2, and an App1.
  • the third upper layer memory T3 is secured.
  • index tabs 62, 64, and 66 indicating the selected upper layer are drawn on the RAM 10. Further, a keyboard image K used for input by a touch operation on the touch panel 16 is drawn.
  • the App1 shared memory P1 includes display contents of a predetermined number of pages, and the upper layer memories T1 to T3 include upper layers of a predetermined number of pages corresponding to pages included in the App1 shared memory P1. include.
  • the shared memory P1 for App1 includes pages P1-1, P1-2, pages P1-3,...
  • the first upper layer memory T1 includes first upper layer memories T1-1, T1-2. , T1-3,... Are in the second upper layer memory T2, the second upper layer memory T2-1, T2-2, T2-3,.
  • Layer memories T3-1, T3-2, T3-3,... are included.
  • T1-1, T2-1, and T3-1 are upper layer memories corresponding to page P1-1
  • T1-2, T2-2, and T3-2 are upper layer memories corresponding to page P1-2.
  • T1-3, T2-3, and T3-3 are memories for higher layers corresponding to page P1-3.
  • the pages P1-1 to P1-3 may be the first page to the third page of App1, respectively, or may be three pages from an arbitrary page where the display of App1 is started.
  • the WM is similar to the process shown in step S16 of FIG.
  • a shared memory number for making the App1 shared memory P1 accessible is transferred to App1.
  • App1 When App1 receives the shared memory number of the App1 shared memory P1 from the WM, the App1 uses the memory number to open the App1 shared memory P1 secured in the RAM 10 to make the App1 shared memory P1 accessible. App1 reads the information recorded in the recording medium 26, processes the read information in accordance with the processing contents described in App1, and draws character information or the like as the processing result in the App1 shared memory P1 on the RAM 10. To do. Then, App1 requests the WM to draw in the window on the LCD display unit 12.
  • the WM When the WM receives a drawing request from App1, the WM transfers drawing data obtained by combining the drawing data of the page P1-1 in the App1 shared memory P1 and the first upper layer memory T1-1 to the buffer memory 20. Further, the drawing data of the index tabs 62, 64 and 66 are also transferred to the buffer memory 20.
  • the index tab 62 is a tab attached to the first upper layer memory T1-1
  • the index tab 64 is a tab attached to the second upper layer memory T1-2
  • the index tab 64 is the first tab.
  • 3 is a tab attached to the upper layer memory T1-3.
  • the WM displays an index layer attached to an upper layer displayed on the LCD display unit 12 in front of other index tabs or displays it in a bright color. Displays that it is displayed.
  • the index tabs 62, 64, and 66 may display the name of the operator who entered the annotation.
  • the buffer memory 20 is rendered with a window 76 in which the window 72 for App1, the first upper layer 74 of App1, and the index tabs 62, 64, 66 are combined.
  • the index tab 62 attached to the first upper layer 74 is displayed in a lighter color than the index tabs 64 and 66.
  • a state in which the annotation 78 is input to the first upper layer 72 of App1 is shown, but at this point, the annotation 78 has not been input yet. Accordingly, the screen displayed on the LCD display unit 12 at this time is obtained by removing the annotation 78 from FIG.
  • the WM draws the keyboard on the window 76 displayed on the LCD display unit 12. That is, the WM transfers drawing data obtained by combining the drawing data of the keyboard image K drawn on the RAM 10, the page P1-1 in the App1 shared memory P1 and the first upper layer memory T1-1 to the buffer memory 20. To do. In this case, the drawing data of the index tabs 62, 64 and 66 are also transferred to the buffer memory 20.
  • the WM may display the keyboard image K on the window 76 without changing the size of the window 76, or may display the keyboard image K on the lower side of the LCD display unit 12 and the LCD display unit.
  • the entire window 76 may be reduced and displayed on the upper side of 12. It should be noted that characters and the like can be input by a touch operation on the touch panel 16 in the area where the keyboard image K is displayed.
  • the keyboard image K includes a tool for marking a character string in addition to a character input tool.
  • the annotation 78 is input to the first upper layer 74 by the touch operation on the keyboard image K by the operator, the annotation 78 is recorded in the App1 first upper layer memory T1-1 as shown in FIG.
  • the WM performs drawing on the window on the LCD display unit 12.
  • the WM transfers the drawing data obtained by synthesizing the drawing data in the page P1-1 in the App1 shared memory P1 and the second upper layer memory T2-1 to the buffer memory 20.
  • the drawing data of the index tabs 62, 64 and 66 are also transferred to the buffer memory 20. That is, as shown in FIG. 10, the buffer memory 20 is rendered with a window 76 in which the window 72 for App1, the second upper layer 82 of App1, and the index tabs 62, 64, 66 are combined. 8 and 10, the state in which the annotation 84 is input to the second upper layer 82 of App1 is shown, but at this time, the annotation 84 has not been input yet. Accordingly, the screen displayed on the LCD display unit 12 at this time is obtained by removing the annotation 84 from FIG.
  • the WM draws the keyboard on the window 76 displayed on the LCD display unit 12. That is, the WM transfers drawing data obtained by combining the drawing data of the keyboard image K drawn on the RAM 10, the page P1-1 in the App1 shared memory P1 and the second upper layer memory T2-1 to the buffer memory 20. To do. In this case, the drawing data of the index tabs 62, 64 and 66 are also transferred to the buffer memory 20.
  • the annotation 84 is input to the second upper layer 82 by the operator's touch operation on the keyboard, the annotation 84 is recorded in the App1 second upper layer memory T2-1 as shown in FIG.
  • the App1 window 72 based on the page P1-1 in the App1 shared memory P1 and the first upper layer 74 based on the first upper layer memory T1-1 are displayed on the LCD display unit 12 (FIG. 9).
  • the WM stores the page P1-2 in the App1 shared memory P1 and the first upper layer memory T1-2.
  • the drawing data is transferred to the buffer memory 20.
  • the buffer memory 20 includes an App1 window based on the page P1-2 in the App1 shared memory P1, a first upper layer based on the first upper layer memory T1-2, and an index tab 62. , 64 and 66 are drawn, and the drawn window is displayed on the LCD display unit 12. That is, a window based on the next page in the App1 shared memory P1 and a window obtained by combining the upper layer based on the upper layer memory of the next page are displayed on the LCD display unit 12 by the page turning operation.
  • the App1 window 72 based on the page P1-1 in the App1 shared memory P1 and the second upper layer 82 based on the second upper layer memory 2-1 are displayed on the LCD display unit 12 (FIG. 10).
  • the WM stores the page 1-2 in the App1 shared memory P1 and the second upper layer memory T2-2.
  • the drawing data is transferred to the buffer memory 20.
  • the buffer memory 20 includes an App1 window based on the page P1-2 in the App1 shared memory P1, a second upper layer based on the second upper layer memory T2-2, and an index tab 62. , 64 and 66 are drawn, and the drawn window is displayed on the LCD display unit 12.
  • the WM uses a page return operation for a window based on the previous page in the shared memory for App1, and for the upper layer of the previous page.
  • a window in which the upper layer based on the memory and the index tabs 62, 64, 66 are combined is drawn on the buffer memory 20, and the drawn window is displayed on the LCD display unit 12.
  • one application is displayed on one screen of the LCD display unit 12. Therefore, when the application is switched, the WM displays an icon of the application to be switched on the LCD display unit 12 by a predetermined contact operation on the touch panel 16 of the operator or a predetermined operation using the operation member 22.
  • the CPU 4 activates App2 stored in the ROM 8.
  • the WM displays the first upper layer 74 and the annotation 84 including the inputted annotation 78 as in the process shown in step S30 of FIG.
  • the included second upper layer 82 and the third upper layer are stored and managed as separate files (annotation files).
  • the upper layers of the other pages Save and manage in annotation files.
  • the shared information shown in FIG. 6 and the storage destination of the annotation file are stored in the management database.
  • the display device can associate a plurality of transparent layers with one application. Therefore, when a plurality of operators input an annotation, each operator can input the annotation on different transparent layers. Further, since an annotation can be input for each page of the application, convenience for the operator can be improved.
  • a plurality of upper layer memories are secured when App1 is activated.
  • one upper layer memory is secured when App1 is activated, and the operator's touch panel 16 is protected.
  • a configuration may be adopted in which an upper layer memory is sequentially secured when an instruction to further create an upper layer is given by a predetermined contact operation or a predetermined operation using the operation member 22.
  • the upper layer of one page of the same size is associated with one page of App1, but the size of the upper layer and the window for App1 (application layer) You may vary the thickness.
  • the size of the layer to be secured first is kept to a minimum size, and the operation of sequentially securing the memory according to the writing range is performed. As a result, memory is not consumed more than necessary, and memory resources can be used effectively.
  • the keyboard is displayed on the LCD display unit 12 and the annotation is input by a touch operation on the touch panel 16.
  • the annotation is input using a keyboard, a mouse, or the like.
  • a configuration may be adopted in which characters recognized from an input with a touch pen or an input result with a touch pen are input.
  • the input of the character recognized from the input result by the touch pen can be performed by a configuration in which the upper layer has a known character recognition function.
  • the configuration has been described in which one application is displayed on one screen of the LCD display unit 12.
  • a plurality of applications are displayed on one screen as in the first embodiment.
  • a configuration may be adopted in which a plurality of upper layers are associated with one application.
  • the application types such as App1 and App2 are applied to various types such as word processing software, spreadsheet software, presentation software, document display software such as an electronic book, and video viewing software. can do.
  • application software that can modify and change contents such as word processing software, spreadsheet software, and presentation software
  • the contents input to the upper layer are linked with the contents of modification / change in the window based on the application. May be. That is, when a line break is made in the contents of the window based on the application, the WM causes a line break to be made at a corresponding location in the upper layer.
  • deletion is performed in the contents of the window based on the application, the corresponding part is also deleted in the upper layer.
  • the upper layer is scrolled by a width corresponding to the scroll width.
  • FIG. 11 a configuration may be adopted in which an annotation 92 can be input to a notification screen 94 that is displayed superimposed on the menu screen of the LCD display unit 12 in a display device such as a portable terminal. At this time, the annotation 92 can be input in the same manner as in the second embodiment described above.
  • the operator can freely input a memo or a figure on the display screen of any application software (including wallpaper, menu screen, standby screen, etc.),
  • the information can be stored in association with each other, and the degree of freedom when using the information equipment terminal is remarkably increased.
  • a plurality of upper layers are provided in one application file, and it is possible to store and manage the upper layers freely for each page of the application file and for each of a plurality of users.
  • the degree of freedom also increases dramatically.
  • 2 ... display device, 4 ... CPU, 8 ... ROM, 10 ... RAM, 12 ... LCD display unit, 14 ... detection unit, 16 ... touch panel, 20 ... buffer memory, 26 ... recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　情報の表示を行う表示部１２と、前記表示部に表示させる情報を入力する入力部１６，２２と、前記表示部に表示される、少なくとも１つのアプリケーション実行のためのウインドウの表示位置及び表示サイズの管理を行うと共に、前記ウインドウの上位に合成される透明レイヤを管理するウインドウマネージャーとを備え、前記ウインドウマネージャーは、前記入力部により前記透明レイヤの領域内に情報の入力が行われた場合には、前記透明レイヤに情報を付加する。

Description

表示装置
　本発明は、入力機能を有する表示装置に関するものである。
　従来、表示装置の前面に配置されたタッチパネル面に対するタッチ入力により入力された手書き文字を表示装置に表示する電子黒板システムが存在する（例えば、特許文献１参照）。この電子黒板システムにおいては、表示装置に表示されている画像等に対して手書き文字を重ねて表示することができる。
特開２０００－０４３４８５号公報
　しかしながら、上述の電子黒板システムにおいては、複数のアプリケーションが実行され、それぞれのアプリケーション毎のウインドウがマルチウインドウ表示されている場合においても、手書き入力レイヤは表示画面の全体に存在し各アプリケーションを実行するウインドウに関連付けられるものではなかった。
　本発明の目的は、従来は手書き入力機能を有するアプリケーションのみが有した機能を、既存のアプリケーションを修正することなく、表示部に表示されている複数のウインドウ毎に入力レイヤを有する表示装置を提供することである。
　本発明の表示装置は、情報の表示を行う表示部と、前記表示部に表示させる情報を入力する入力部と、前記表示部に表示される、少なくとも１つのアプリケーション実行のためのウインドウの表示位置及び表示サイズの管理を行うと共に、前記ウインドウの上位に合成される透明レイヤを管理するウインドウマネージャーとを備え、前記ウインドウマネージャーは、前記入力部により前記透明レイヤの領域内に情報の入力が行われた場合には、前記透明レイヤに情報を付加することを特徴とする。
　本発明によれば、既存のアプリケーションを修正することなく、表示部に表示されている複数のウインドウ毎に入力レイヤを有する表示装置を提供することができる。
第１の実施の形態に係る表示装置のシステム構成を示すブロック図である。 第１の実施の形態に係る表示装置のアプリケーション実行時におけるウインドウマネージャーの処理を示すフローチャートである。 第１の実施の形態に係る表示装置のＲＡＭ上の概念図である。 第１の実施の形態に係る表示装置のバッファメモリ上の概念図である。 第１の実施の形態に係るＬＣＤ表示部の表示状態を示す図である。 第１の実施の形態に係る共有情報を示す図である。 第１の実施の形態に係るタイトルバーを示す図である。 第２の実施の形態に係る表示装置のＲＡＭ上の概念図である。 第２の実施の形態に係る表示装置のバッファメモリ上の概念図である。 第２の実施の形態に係る表示装置のバッファメモリ上の概念図である。 他の実施の形態に係るＬＣＤ表示部の表示状態を示す図である。
（第１実施形態）
　以下、図面を参照して、本発明の第１の実施の形態に係る表示装置について説明する。図１は、本発明の第１の実施の形態に係る表示装置のシステム構成を示すブロック図である。図１に示すように、表示装置２は、表示装置２の全体を制御するＣＰＵ４を備えており、ＣＰＵ４は、バス６に接続されている。バス６には、ＣＰＵ１６が実行するアプリケーションプログラム等を記憶するＲＯＭ８、後述する記憶媒体２６から読み込んだアプリケーションプログラム等を記憶するＲＡＭ１０、画像等の情報を表示するＬＣＤ表示部１２と操作者によるＬＣＤ表示部１２の表示面に対する接触操作を検出する検出部１４を有するタッチパネル１６の表示制御を行う表示制御部１８、タッチパネル１６のＬＣＤ表示部１２に表示する画像を記憶するバッファメモリ２０が接続されている。またバス６にはカーソルキー等の操作者の指示を入力する操作部材２２からの入力制御を行うとともに、タッチパネル１６に対する入出力制御を行うＩ／Ｏ２４が接続されている。更にバス６には記録媒体２６へのデータの記録、読み出しの制御を行う記録Ｉ／Ｆ２８が接続されている。
　次に、図２に示すフローチャートを参照して第１の実施の形態に係る表示装置２のアプリケーション実行時におけるウインドウマネージャー（以下ＷＭという）の処理について説明する。ここでは、予めＲＯＭ８に記憶されているＷＭまたは記録媒体２６から読み込まれＲＡＭ１０に記憶されているＷＭにおいてウインドウ管理が行われるものとする。ＷＭは、ウインドウのＬＣＤ表示部１２上の位置やサイズ、ウインドウの重なり順等を管理する。また、タッチペン、マウス、キーボード等の操作部材２２に含まれるポインティングデバイスによる入力をアプリケーションに配信する機能を有する。
　操作者が操作部材２２またはタッチパネル１６を操作することにより、ＲＯＭ８に記憶されているアプリケーションプログラム１（以下Ａｐｐ１という）を起動させると、ＷＭは、Ａｐｐ１から所定の表示サイズ（例えば６４０×４８０）のＡｐｐ１用ウインドウの確保の要求を受付ける（ステップＳ１０）。
　ＷＭは、Ａｐｐ１と共有できるメモリ（シェアードメモリ）としてＡｐｐ１用共有メモリＭ１をＲＡＭ１０に確保し（ステップＳ１２）、さらにＡｐｐ１用ウインドウの表示サイズ（６４０×４８０ピクセル）と同じ表示サイズの透明の上位レイヤ用のメモリを確保する。即ち、Ａｐｐ１用ウインドウと同じ位置に重ねて表示される上位レイヤ用のＡｐｐ１上位レイヤ用メモリＭ２をＲＡＭ１０に確保する（ステップＳ１４）。更に、ＷＭは、Ａｐｐ１用ウインドウと共に表示するタイトルバー及びポインタ切替アイコンをＲＡＭ１０上に作成する。また、Ａｐｐ１にＡｐｐ１用共有メモリＭ１をアクセス可能とするための共有メモリ番号を受渡する（ステップＳ１６）。
　Ａｐｐ１は、ＷＭからＡｐｐ１用共有メモリＭ１の共有メモリ番号を受取ると、このメモリ番号を用いてＲＡＭ１０に確保されているＡｐｐ１用共有メモリＭ１をオープンしてＡｐｐ１用共有メモリＭ１をアクセス可能とする。また、Ａｐｐ１は記録媒体２６に記録されている情報を読込み、Ａｐｐ１に記述された処理内容に従って、読込んだ情報に対する処理を行い処理結果である文字情報３４等をＲＡＭ１０上のＡｐｐ１用共有メモリＭ１に描画する。そして、Ａｐｐ１は、ＷＭにＬＣＤ表示部１２上のウインドウへの描画を要求する。
　なお、図３は、Ａｐｐ１とアプリケーションプログラム２（以下Ａｐｐ２という）とが共に起動している場合を示している。この場合には、ＲＡＭ１０にはＡｐｐ１用共有メモリＭ１、Ａｐｐ１上位レイヤ用メモリＭ２、Ａｐｐ２用ウインドウ（例えば３２０×２４０）についてのＡｐｐ２用共有メモリＮ１及びＡｐｐ２上位レイヤ用メモリＮ２が確保される。更にＡｐｐ１用ウインドウと共に表示するタイトルバー３８、Ａｐｐ２用ウインドウと共に表示するタイトルバー４８及びポインタ切替時に使用するポインタ切替アイコン４９が描画されている。
　ＷＭは、Ａｐｐ１から描画の要求を受取ると、Ａｐｐ１用共有メモリＭ１及びＡｐｐ１上位レイヤ用メモリＭ２のそれぞれの描画データを合成した描画データをバッファメモリ２０に転送する（ステップＳ１８）。また、この場合にタイトルバー３８及びポインタ切替アイコン４９の描画データもバッファメモリ２０に転送する。即ち、図４に示すように、バッファメモリ２０には、Ａｐｐ１用ウインドウ３２、Ａｐｐ１の上位レイヤ３６及びタイトルバー３８が合成されたウインドウ５２が描画される。またポインタ切替アイコン４９も描画される。なお、図３及び図４においては、Ａｐｐ１の上位レイヤ３６に手書き文字７０が入力された状態が示されているが、この時点ではまだ手書き文字７０の入力は行われていない。また図４においては、更にＡｐｐ２用ウインドウ４２、Ａｐｐ２の上位レイヤ４６及びタイトルバー４８を合成したウインドウ５４が描画された状態が示されている。従って、ＬＣＤ表示部１２には図５に示すように、バッファメモリ２０上に描画されたウインドウ５２，５４、ポインタ切替アイコン４９が表示される。
　ここで、バッファメモリ２０には、ウインドウ５２，５４の表示位置、サイズに基づくＸ，Ｙアドレスが割り付けられている。従って例えばＡｐｐ１のＡｐｐ１用ウインドウ３２の表示位置の情報を変更すれば、それに伴いＡｐｐ１用ウインドウ３２と上位レイヤ３６が合成されたウインドウ５２の表示位置が変更される。
　ＷＭはＬＣＤ表示部１２に表示されている矢印のポインタ６０の位置を読み取り（ステップＳ２０）、ポインタ６０の位置がＡｐｐ１に対応するウインドウ５２の領域内に存在しているか否かを判別する（ステップＳ２２）。ポインタ６０の位置がウインドウ５２の領域内に存在している場合には、ポインタ６０により何が選択されたかの判別を行う（ステップＳ２４）。ここで操作者のタッチパネル１６に対する接触操作等により、ポインタ６０の位置を移動させタイトルバー３８上の上位レイヤのＯＮ／ＯＦＦを設定するペンのアイコン３８ａを選択し、上位レイヤ３６をＯＮにし、かつポインタ切替アイコン４９のペン機能を選択すると（ステップＳ２４、上位レイヤ）、ウインドウ５２の上位レイヤ３６に対して手書き入力により描画することが可能となる（ステップＳ２６）。従って、操作者がタッチパネル１６に対する接触操作を行うことにより、上位レイヤ３６に対して手書き入力を行うと、検出部１４による検出結果に基づいてＲＡＭ１０上のＡｐｐ１上位レイヤ用メモリＭ２に点データが描画される。即ち、描画された点データの連続が線画となり、手書き入力の軌跡７０がＡｐｐ１上位レイヤ用メモリＭ２に記録される（図３参照）。
　また、ＷＭは、タイトルバー３８上の上位レイヤのＯＮ／ＯＦＦを行わずに、切替アイコン４９のペン機能を選択し、ポインタ６０の位置がＡｐｐ１に対応するウインドウ５２の領域内に存在した場合は、自動的に手書き入力が可能となる機能も持ちうる。
　ＷＭはＲＡＭ１０上のＡｐｐ１用共有メモリＭ１及びＡｐｐ１上位レイヤ用メモリＭ２のそれぞれの描画データを合成した描画データをバッファメモリ２０に転送して（ステップＳ１８）、Ａｐｐ１用ウインドウ３２、手書き入力の軌跡７０が記載された上位レイヤ３６及びタイトルバー３８が合成されたウインドウ５２をバッファメモリ２０上に描画する（図４参照）。従って、ＬＣＤ表示部１２上のウインドウ５２には、手書き入力された軌跡７０が表示される（図５参照）。
　さらには、タイトルバー３８上の上位レイヤの表示ＯＮ／ＯＦＦ機能により、上位レイヤ３６の表示、非表示が可能である。非表示の場合は、ＷＭは上位レイヤ３６の合成をおこなわず、Ａｐｐ１用ウインドウ３２及びタイトルバー３８が合成されたウインドウ５２をバッファメモリ２０上に描画する。
　ここで、ポインタ６０の位置をウインドウ５２の領域内から領域外に移動させた場合には、ＷＭはポインタ６０の機能を手書き入力から通常のポインタ機能に変更する。操作者のタッチパネル１６に対する接触操作等により、ポインタ６０の位置をウインドウ５２の領域内から領域外に移動させ、例えばポインタ切替アイコン４９上の拡大のアイコン４９ａを選択した場合には（ステップＳ２４、Ａｐｐ１）、ＷＭは、Ａｐｐ１用共有メモリＭ１に描画されているＡｐｐ１用ウインドウ３２の表示サイズを所定の大きさに拡大したサイズに変更したデータとＡｐｐ１上位レイヤ用メモリＭ２の拡大したデータを合成してバッファメモリ２０に転送する（ステップＳ１８）。
　従って、バッファメモリ２０上には、表示サイズが拡大されたＡｐｐ１用ウインドウ３２及び上位レイヤ３６が描画され、ＬＣＤ表示部１２のウインドウ５２は表示サイズが拡大されて表示される。なお、ポインタ６０によりポインタ切替アイコン４９上の縮小のアイコン４９ｂを選択した場合には、拡大のアイコン４９ａを選択した場合の拡大を縮小に代えた処理が行われ、ＬＣＤ表示部１２上のウインドウ５２は所定の大きさに縮小されて表示される。表示の拡大、縮小機能は、バッファメモリ２０に画像を転送する際、画像の線形補間処理を用いることによって実現する。
　操作者のタッチパネル１６に対する接触操作等により、ポインタ６０によりウインドウ５２のタイトルバー３８上の終了のアイコン３８ｂを選択すると（ステップＳ２４、終了）、ＷＭは手書き入力された軌跡７０を含む上位レイヤ３６を別のファイルとして保存、管理する（ステップＳ３０）。例えば管理用データベースに、図６に示す共有情報とファイルの保存先が記憶される。従って、次回Ａｐｐ１が起動された場合には、管理用データベースを参照してＡｐｐ１用ウインドウ３２上に上位レイヤ３６が表示される。そして、ＷＭはＡｐｐ１を終了しＬＣＤ表示部１２上のウインドウ５２を閉じる。
　本発明の第１の実施の形態に係る表示装置によれば、ＬＣＤ表示部にマルチウインドウ表示されている複数のウインドウについて、ウインドウの表示位置及び表示サイズの管理を行う共に、ウインドウ毎の上位に合成される上位レイヤをウインドウと同じ表示位置及び表示サイズで管理し、タッチパネルによりウインドウの領域内において接触操作が検出された場合には、検出結果に基づいて上位レイヤに情報を付加する。従って、ＬＣＤ表示部に表示されている複数のウインドウの毎に手書き入力レイヤを有することが可能となる。また、ウインドウとこれに対応する上位レイヤとの連携を強めて操作者の利便性を高める機能を提供することが可能となる。また、マルチウインドウ表示されているウインドウ毎の上位レイヤに対する手書き入力について、統一した操作性を提供することにより操作者の利便性を高めることが可能となる。さらに、上位レイヤ３６の表示、非表示の切替が可能であり、上位レイヤ表示の必要のないアプリケーションファイルでは上位レイヤ表示を行わない構成とすることも可能である。
　なお、上述の第１の実施の形態において、図７に示すように、タイトルバー３８に付随する機能としてページ送りの機能を提供してもよい。この場合には、Ａｐｐ１用ウインドウ３２においてページ送りが行われた場合に、タイトルバー３８のペンのアイコン３８ａを選択し、ページ送り・戻しのアイコン８０を表示させ、このアイコン８０を選択することにより上位レイヤのページ送りを行う。ページ送りが行われた場合、ＷＭは新規に上位レイヤ用メモリＭ３（不図示）を確保し、前記と同様の動作で、上書き機能を実現する。
　また、Ａｐｐ１においてページ送りが行われた場合に、Ａｐｐ１から図６に示すような共有情報をＷＭに対して出力することにより、ＷＭがＡｐｐ１に連動して上位レイヤにおいてもページ送りを行うようにしてもよい。ここで共有情報の受渡しはファイル形式やＯＳのメッセージ機能を用いて行われる。さらに、ページ単位のみではなく、ドット単位で情報を共有することにより、スクロール動作にも対応可能となる。
　また、上述の第１の実施の形態においてはアプリケーションプログラム用ウインドウの表示サイズと同じ表示サイズの透明の上位レイヤ用のメモリを確保しているが、上位レイヤはアプリケーションプログラム用ウィンドウの表示サイズと同じでなくともよい。例えば、アプリケーションプログラム用のウインドウのうち入力可能な（アクティブな）領域のサイズと同じサイズを確保してもよいし、アプリケーションプログラム用のウィンドウの所定の領域のみに入力可能な構成としてもよい。
　また、上述の第１の実施の形態においては、ＬＣＤ表示部１２に表示されているポインタの操作をタッチパネル１６を用いて行っているが、操作部材２２（タッチペン、マウス、キーボード等）を用いて行ってもよい。
　また、上述の第１の実施の形態においては、ＷＭの機能として上位レイヤ３６への描画機能を提供しているが、１つのアプリケーションとして提供してもよい。
　また、上述の第１の実施の形態において、Ａｐｐ１用ウインドウ３２に対して上位レイヤ３６を表示させ、さらに上位レイヤ３６に入力された軌跡７０を上位レイヤ用メモリＭ２に記録させると共にＡｐｐ１に関連付けて保存する構成としたが、Ａｐｐ１がセキュリティの制限を有する場合等アプリケーションの属性に応じて、上位レイヤ３６を非表示とする構成としてもよいし、上位レイヤ３６を表示した場合であっても保存の際にＡｐｐ１との関連付けを行わない構成としてもよい。
　また、上述の第１の実施の形態において、手書き入力された軌跡７０を含む上位レイヤ３６を別ファイルとして保存する構成としたが、軌跡７０を含む上位レイヤ３６に対してＡｐｐ１用ウインドウ３２のスクリーンショットを合成し、軌跡７０を含む上位レイヤ３６とＡｐｐ１用ウインドウ３２とが合成された画像ファイルを保存してもよい。この場合には、操作者は画像ファイルをＡｐｐ１等の専用ソフトを有さない相手に対して、メールに添付して送信することができ、操作者の利便性を高めることができる。
（第２実施形態）
　次に本発明の第２の実施の形態に係る表示装置について説明する。なお、この第２の実施の形態に係る表示装置２は、第１の実施の形態に係る表示装置２と同一の構成を有するため、第１の実施の形態と同一の構成についての詳細な説明は省略し、異なる部分のみについて詳細に説明する。また、第１の実施の形態と同一の構成には同一の符号を付して説明する。
　操作者が操作部材２２またはタッチパネル１６を操作することにより、ＲＯＭ８に記憶されているＡｐｐ１を起動させると、図２のステップＳ１０に示す処理と同様にＷＭは、Ａｐｐ１から所定の表示サイズのＡｐｐ１用ウインドウの確保の要求を受付ける。ここで、この第２の実施の形態においては、ＬＣＤ表示部１２の略全表示領域をＡｐｐ１用ウインドウとする等、１画面に１つのアプリケーションを表示させる。
　次に、ＷＭは、図２のステップＳ１２に示す処理と同様に、Ａｐｐ１用共有メモリＰ１をＲＡＭ１０に確保する。さらに、ＷＭはＲＡＭ１０にＡｐｐ１用ウインドウの表示サイズと同じ表示サイズの透明の上位レイヤ用のメモリを確保する。
　ここで、この第２の実施の形態においては、上位レイヤ用メモリを複数確保する。例えば、上位レイヤ用メモリを３つ確保する場合には、図８に示すように、ＲＡＭ１０にはＡｐｐ１用共有メモリＰ１、Ａｐｐ１第１上位レイヤ用メモリＴ１、Ａｐｐ１第２上位レイヤ用メモリＴ２、Ａｐｐ１第３上位レイヤ用メモリＴ３を確保する。また、ＲＡＭ１０には、選択された上位レイヤを示すインデックスタブ６２，６４，６６が描画されている。さらに、タッチパネル１６に対する接触操作により入力を行う際に用いられるキーボード用画像Ｋが描画されている。
　Ａｐｐ１用共有メモリＰ１には、所定のページ数の表示内容が含まれ、各上位レイヤ用メモリＴ１～Ｔ３には、Ａｐｐ１用共有メモリＰ１に含まれるページに対応する所定のページ数の上位レイヤが含まれている。
　即ち、Ａｐｐ１用共有メモリＰ１には、ページＰ１－１、ページＰ１－２、ページＰ１－３…が、第１上位レイヤ用メモリＴ１には、第１上位レイヤ用メモリＴ１－１、Ｔ１－２、Ｔ１－３…が、第２上位レイヤ用メモリＴ２には、第２上位レイヤ用メモリＴ２－１、Ｔ２－２、Ｔ２－３…が、第３上位レイヤ用メモリＴ３には、第３上位レイヤ用メモリＴ３－１、Ｔ３－２、Ｔ３－３…がそれぞれ含まれている。なお、Ｔ１－１、Ｔ２－１、Ｔ３－１はページＰ１－１に対応する上位レイヤ用メモリであり、Ｔ１－２、Ｔ２－２、Ｔ３－２はページＰ１－２に対応する上位レイヤ用メモリであり、Ｔ１－３、Ｔ２－３、Ｔ３－３はページＰ１－３に対応する上位レイヤで用メモリある。なお、ページＰ１－１～Ｐ１－３はそれぞれＡｐｐ１の１ページ目～３ページ目であってもよいし、Ａｐｐ１の表示を開始する任意のページから３ページ分であってもよい。
　次に、ＷＭは図２のステップＳ１６に示す処理と同様に。Ａｐｐ１にＡｐｐ１用共有メモリＰ１をアクセス可能とするための共有メモリ番号を受け渡す。
　Ａｐｐ１は、ＷＭからＡｐｐ１用共有メモリＰ１の共有メモリ番号を受取ると、このメモリ番号を用いてＲＡＭ１０に確保されているＡｐｐ１用共有メモリＰ１をオープンしてＡｐｐ１用共有メモリＰ１をアクセス可能とする。また、Ａｐｐ１は記録媒体２６に記録されている情報を読込み、Ａｐｐ１に記述された処理内容に従って、読込んだ情報に対する処理を行い処理結果である文字情報等をＲＡＭ１０上のＡｐｐ１共有メモリＰ１に描画する。そして、Ａｐｐ１は、ＷＭにＬＣＤ表示部１２上のウインドウへの描画を要求する。
　ＷＭは、Ａｐｐ１から描画の要求を受取ると、Ａｐｐ１用共有メモリＰ１内のページＰ１－１及び第１上位レイヤ用メモリＴ１－１の描画データを合成した描画データをバッファメモリ２０に転送する。また、インデックスタブ６２，６４，６６の描画データもバッファメモリ２０に転送する。
　ここで、インデックスタブ６２は第１上位レイヤ用メモリＴ１－１に付されたタブであり、インデックスタブ６４は第２上位レイヤ用メモリＴ１－２に付されたタブであり、インデックスタブ６４は第３上位レイヤ用メモリＴ１－３に付されたタブである。また、ＷＭは、ＬＣＤ表示部１２に表示されている上位レイヤに付されたインデックスタブを他のインデックスタブより前面に表示させたり、明るい色で表示させる等、インデックスタブが付された上位レイヤが表示されていることを示す表示を行う。また、各インデックスタブ６２，６４，６６には注釈を入力した操作者の氏名等を表示させてもよい。
　即ち、図９に示すようにバッファメモリ２０には、Ａｐｐ１用ウインドウ７２、Ａｐｐ１の第１上位レイヤ７４、インデックスタブ６２，６４，６６が合成されたウインドウ７６が描画される。また、第１上位レイヤ７４に付されたインデックスタブ６２はインデックスタブ６４，６６よりも明るい色で表示される。なお、図８及び図９においては、Ａｐｐ１の第１上位レイヤ７２に注釈７８が入力された状態が示されているが、この時点では、まだ注釈７８の入力は行われていない。従って、このときＬＣＤ表示部１２に表示される画面は、図９から注釈７８を除いたものとなる。
　操作者のタッチパネル１６に対するタップ等の接触操作により注釈の入力に用いられるキーボードの表示指示が行われると、ＷＭはＬＣＤ表示部１２に表示されているウインドウ７６に対するキーボードの描画を行う。即ち、ＷＭはＲＡＭ１０上に描画されたキーボード用画像Ｋ、Ａｐｐ１用共有メモリＰ１内のページＰ１－１及び第１上位レイヤ用メモリＴ１－１の描画データを合成した描画データをバッファメモリ２０に転送する。また、この場合にインデックスタブ６２，６４，６６の描画データもバッファメモリ２０に転送する。ここで、ＷＭは、ウインドウ７６のサイズを変更せずにウインドウ７６上にキーボード用画像Ｋを表示させてもよいし、ＬＣＤ表示部１２の下側にキーボード用画像Ｋを表示させると共にＬＣＤ表示部１２の上側にウインドウ７６全体を縮小して表示させてもよい。なお、キーボード用画像Ｋが表示された領域のタッチパネル１６に対する接触操作等により文字等の入力が可能に構成されている。また、キーボード用画像Ｋには、文字入力用のツールの他、文字列に対してマーキングを行うためのツールが含まれている。
　操作者のキーボード用画像Ｋに対する接触操作により第１上位レイヤ７４に注釈７８が入力されると、図８に示すように注釈７８はＡｐｐ１第１上位レイヤ用メモリＴ１－１に記録される。
　次に、操作者のタッチパネル１６に対する接触操作等によりインデックスタブ６４または６６が選択されると、ＷＭはＬＣＤ表示部１２上のウインドウへの描画を行う。
　インデックスタブ６４が選択された場合には、ＷＭはＡｐｐ１用共有メモリＰ１内のページＰ１－１及び第２上位レイヤ用メモリＴ２－１の描画データを合成した描画データをバッファメモリ２０に転送する。また、この場合にインデックスタブ６２，６４，６６の描画データもバッファメモリ２０に転送する。即ち、図１０に示すようにバッファメモリ２０には、Ａｐｐ１用ウインドウ７２、Ａｐｐ１の第２上位レイヤ８２、インデックスタブ６２，６４，６６が合成されたウインドウ７６が描画される。なお、図８及び図１０においては、Ａｐｐ１の第２上位レイヤ８２に注釈８４が入力された状態が示されているが、この時点では、まだ注釈８４の入力は行われていない。従って、このときＬＣＤ表示部１２に表示される画面は、図１０から注釈８４を除いたものとなる。
　操作者のタッチパネル１６に対するタップ等の接触操作によりキーボードの表示指示が行われると、ＷＭはＬＣＤ表示部１２に表示されているウインドウ７６に対するキーボードの描画を行う。即ち、ＷＭはＲＡＭ１０上に描画されたキーボード用画像Ｋ、Ａｐｐ１用共有メモリＰ１内のページＰ１－１及び第２上位レイヤ用メモリＴ２－１の描画データを合成した描画データをバッファメモリ２０に転送する。また、この場合にインデックスタブ６２，６４，６６の描画データもバッファメモリ２０に転送する。
　操作者のキーボードに対する接触操作により第２上位レイヤ８２に注釈８４が入力されると、図８に示すように注釈８４はＡｐｐ１第２上位レイヤ用メモリＴ２ー１に記録される。
　また、Ａｐｐ１用共有メモリＰ１内のページＰ１－１に基づくＡｐｐ１用ウインドウ７２及び第１上位レイヤ用メモリＴ１－１に基づく第１上位レイヤ７４がＬＣＤ表示部１２に表示されている状態（図９参照）において、操作者のタッチパネル１６に対する所定の操作によりページ送りの指示が行われた場合には、ＷＭはＡｐｐ１用共有メモリＰ１内のページＰ１－２及び第１上位レイヤ用メモリＴ１－２の描画データをバッファメモリ２０に転送する。そして、上述の処理と同様にバッファメモリ２０には、Ａｐｐ１用共有メモリＰ１内のページＰ１－２に基づくＡｐｐ１用ウインドウ、第１上位レイヤ用メモリＴ１－２に基づく第１上位レイヤ及びインデックスタブ６２，６４，６６が合成されたウインドウが描画され、描画されたウインドウがＬＣＤ表示部１２に表示される。即ち、ページ送り操作によりＡｐｐ１用共有メモリＰ１内の次ページに基づくウインドウ、次ページの上位レイヤ用メモリに基づく上位レイヤを合成したウインドウがＬＣＤ表示部１２に表示される。
　また、Ａｐｐ１用共有メモリＰ１内のページＰ１－１に基づくＡｐｐ１用ウインドウ７２及び第２上位レイヤ用メモリ２－１に基づく第２上位レイヤ８２がＬＣＤ表示部１２に表示されている状態（図１０参照）において、操作者のタッチパネル１６に対する所定の操作によりページ送りの指示が行われた場合には、ＷＭはＡｐｐ１用共有メモリＰ１内のページ１－２及び第２上位レイヤ用メモリＴ２－２の描画データをバッファメモリ２０に転送する。そして、上述の処理と同様にバッファメモリ２０には、Ａｐｐ１用共有メモリＰ１内のページＰ１－２に基づくＡｐｐ１用ウインドウ、第２上位レイヤ用メモリＴ２－２に基づく第２上位レイヤ及びインデックスタブ６２，６４，６６が合成されたウインドウが描画され、描画されたウインドウがＬＣＤ表示部１２に表示される。
　同様にして、操作者のタッチパネル１６に対する所定の操作によりページ戻しの操作が行われた場合には、ＷＭはページ戻し操作によりＡｐｐ１用共有メモリ内の前ページに基づくウインドウ、前ページの上位レイヤ用メモリに基づく上位レイヤ及びインデックスタブ６２，６４，６６が合成されたウインドウをバッファメモリ２０に描画させ、描画されたウインドウをＬＣＤ表示部１２に表示させる。
　また、この実施の形態においては、ＬＣＤ表示部１２の１画面に１つのアプリケーションを表示させている。従って、アプリケーションの切替を行う場合には、操作者のタッチパネル１６に対する所定の接触操作または操作部材２２を用いた所定の操作により、ＷＭは切り替えるアプリケーションのアイコンをＬＣＤ表示部１２に表示させる。そして、タッチパネル１６のアイコンが表示された領域に対する操作者の接触操作等により例えばＡｐｐ２のアイコンが選択されると、ＣＰＵ４はＲＯＭ８に記憶されているＡｐｐ２を起動させる。
　また、操作者のタッチパネル１６に対する接触操作等によりＡｐｐ１の終了指示が行われると、図２のステップＳ３０に示す処理と同様にＷＭは入力された注釈７８を含む第１上位レイヤ７４、注釈８４を含む第２上位レイヤ８２及び図示しない第３上位レイヤを別のファイル（注釈ファイル）として保存、管理する。ここで、Ａｐｐ１用共有メモリＰ１内のページＰ１－１だけでなく、ページＰ１－２やＰ１－３など、他のページにも注釈が入力された場合には、他のページの上位レイヤについても注釈ファイル内に保存、管理する。さらに、例えば管理用データベースに、図６に示す共有情報と注釈ファイルの保存先が記憶される。
　本発明の第２の実施の形態に係る表示装置によれば、１つのアプリケーションに対して複数の透明レイヤを関連付けることができる。従って、複数の操作者が注釈を入力する場合に、それぞれの操作者が異なる透明レイヤに注釈を入力することができる。また、アプリケーションのページ毎に注釈を入力することができるため、操作者の利便性を高めることができる。
　なお、上述の第２の実施の形態においては、Ａｐｐ１の起動時に上位レイヤ用メモリを複数確保する構成としたが、Ａｐｐ１の起動時に上位レイヤ用メモリを１つ確保し、操作者のタッチパネル１６に対する所定の接触操作または操作部材２２を用いた所定の操作により上位レイヤを更に作成する指示が行われた場合に逐次上位レイヤ用メモリを確保する構成としてもよい。
　また、上述の第２の実施の形態においては、Ａｐｐ１の１ページに対して同じ大きさの１ページの上位レイヤを対応させる構成としたが、上位レイヤとＡｐｐ１用ウインドウ（アプリケーションレイヤ）との大きさを異ならせてもよい。
　この場合は、最初に確保するレイヤの大きさを最小限の大きさに留め、書き込みの範囲に合わせて、順次メモリを確保していく動作を行う。これによって必要以上にメモリを消費しないので、有効にメモリ資源を使うことが可能となる。
　なお、上述の第２の実施の形態においては、ＬＣＤ表示部１２にキーボードを表示させ、タッチパネル１６に対する接触操作により注釈を入力する構成としたが、キーボードやマウス等を用いて注釈を入力する構成としてもよく、またタッチペンによる入力またはタッチペンによる入力結果から認識された文字を入力する構成としてもよい。タッチペンによる入力結果から認識された文字の入力は、上位レイヤに公知の文字認識機能を持たせる構成により行うことができる。
　また、上述の第２の実施の形態においては、ＬＣＤ表示部１２の１画面に１つのアプリケーションを表示させる構成として説明したが、第１の実施の形態と同様に１画面に複数のアプリケーションを表示する場合において、１つのアプリケーションに複数の上位レイヤを関連付ける構成としてもよい。
　また、上述の各実施の形態において、Ａｐｐ１やＡｐｐ２等のアプリケーションの種類としては例えば、ワープロソフト、表計算ソフト、プレゼンテーションソフト、電子書籍等の書類表示用ソフト、動画観賞ソフト等種々のものに適用することができる。ここで、ワープロソフト、表計算ソフト、プレゼンテーションソフト等、内容の修正・変更が可能なアプリケーションソフトを用いる場合には、上位レイヤに入力された内容をアプリケーションに基づくウインドウにおける修正・変更内容と連動させてもよい。即ち、ＷＭはアプリケーションに基づくウインドウの内容において改行が行われた場合には、上位レイヤにおいても対応する箇所で改行を行わせる。また、アプリケーションに基づくウインドウの内容において削除が行われた場合には、上位レイヤにおいても対応する箇所の削除を行う。さらには、同一ページでスクロールが行われた場合には、スクロール幅に応じた幅だけ上位レイヤをスクロールさせる。これらの機能は、アプリケーションソフトと上位レイヤとの連携により実現される。
　また、壁紙やメニュー画面、待受画面等に対して上位レイヤを関連付けてもよい。さらに、図１１に示すように携帯端末等の表示装置においてＬＣＤ表示部１２のメニュー画面に重畳して表示される通知画面９４に注釈９２を入力可能な構成としてもよい。このとき、注釈９２の入力は上述の第２の実施の形態と同様に行うことができる。
　上述のように、本発明によれば、操作者はあらゆるアプリケーションソフト（壁紙やメニュー画面、待受画面等も含む）の表示画面に自在にメモや図形を入力するとともに、画面と上位レイヤとを紐付けて保存することができ、情報機器端末を使用する際の自由度は格段に増す。さらには、１つのアプリケーションファイルに複数の上位レイヤを設け、アプリケーションファイルのページごとに、また複数のユーザごとに上位レイヤを自在に紐付けて保存・管理が可能になるので、アプリケーションファイルの使い勝手の自由度も格段に増す。
　２…表示装置、４…ＣＰＵ、８…ＲＯＭ、１０…ＲＡＭ、１２…ＬＣＤ表示部、１４…検出部、１６…タッチパネル、２０…バッファメモリ、２６…記録媒体。

Claims (11)

  1. 　情報の表示を行う表示部と、
    　前記表示部に表示させる情報を入力する入力部と、
    　前記表示部に表示される、少なくとも１つのアプリケーション実行のためのウインドウの表示位置及び表示サイズの管理を行うと共に、前記ウインドウの上位に合成される透明レイヤを管理するウインドウマネージャーと
    を備え、
    　前記ウインドウマネージャーは、前記入力部により前記透明レイヤの領域内に情報の入力が行われた場合には、前記透明レイヤに情報を付加することを特徴とする表示装置。
  2. 　前記入力部は、前記表示部に対する接触操作を検出するタッチパネルであることを特徴とする請求項１記載の表示装置。
  3. 　前記透明レイヤは、前記アプリケーションに対して関連付けられていることを特徴とする請求項１または２記載の表示装置。
  4. 　前記ウインドウマネージャーは、前記アプリケーションから前記透明レイヤとの間で共有される表示内容に関する共有情報を取得することを特徴とする請求項１～３の何れか一項に記載の表示装置。
  5. 　前記ウインドウマネージャーは、前記透明レイヤの表示、非表示、前記透明レイヤのページ送りを選択させるタイトルバーを表示することを特徴とする請求項１～４の何れか一項に記載の表示装置。
  6. 　前記ウインドウマネージャーは、前記アプリケーションの終了時に前記透明レイヤに付加された情報を保存し、次回前記ウインドウを表示する際に保存されている前記情報を前記透明レイヤ上に表示することを特徴とする請求項１～５の何れか一項に記載の表示装置。
  7. 　前記ウインドウマネージャーは、前記透明レイヤに付加された情報に前記ウインドウの表示内容を合成した情報を保存することを特徴とする請求項１～６の何れか一項に記載の表示装置。
  8. 　前記ウインドウマネージャーは、１の表示内容を有する前記ウインドウに対して複数の前記透明レイヤを形成することを特徴とする請求項１～７の何れか一項に記載の表示装置。
  9. 　前記ウインドウマネージャーは、ページ毎に前記透明レイヤを形成することを特徴とする請求項１～８記載の何れか一項に記載の表示装置。
  10. 　前記ウインドウマネージャーは、前記ウインドウの表示位置及び表示サイズが変更された場合に、前記ウインドウの表示位置及び表示サイズに対応させて前記透明レイヤの表示位置及び表示サイズを変更することを特徴とする請求項４～９の何れか一項に記載の表示装置。
  11. 　前記ウインドウマネージャーは、前記表示部に表示されているポインタの機能として、前記ウインドウに対する機能または前記透明レイヤに対する機能の選択を行うことを特徴とする請求項１～１０の何れか一項に記載の表示装置。
PCT/JP2011/079093 2010-12-16 2011-12-15 表示装置 Ceased WO2012081678A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010280232 2010-12-16
JP2010-280232 2010-12-16

Publications (1)

Publication Number Publication Date
WO2012081678A1 true WO2012081678A1 (ja) 2012-06-21

Family

ID=46244772

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/079093 Ceased WO2012081678A1 (ja) 2010-12-16 2011-12-15 表示装置

Country Status (1)

Country Link
WO (1) WO2012081678A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215352A (ja) * 2013-04-23 2014-11-17 大日本印刷株式会社 コンピュータ装置及びプログラム
JP2018139039A (ja) * 2017-02-24 2018-09-06 ブラザー工業株式会社 非常駐プログラム、常駐プログラム、及び情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816313A (ja) * 1994-07-04 1996-01-19 Sanyo Electric Co Ltd 手書き入力方法及び装置
JP2007147871A (ja) * 2005-11-25 2007-06-14 Sharp Corp 情報表示装置及び電子書籍装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816313A (ja) * 1994-07-04 1996-01-19 Sanyo Electric Co Ltd 手書き入力方法及び装置
JP2007147871A (ja) * 2005-11-25 2007-06-14 Sharp Corp 情報表示装置及び電子書籍装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215352A (ja) * 2013-04-23 2014-11-17 大日本印刷株式会社 コンピュータ装置及びプログラム
JP2018139039A (ja) * 2017-02-24 2018-09-06 ブラザー工業株式会社 非常駐プログラム、常駐プログラム、及び情報処理装置

Similar Documents

Publication Publication Date Title
US7681143B2 (en) System and method for providing a window management mode
JP5549588B2 (ja) 電子付箋システム
US9575647B2 (en) Method and apparatus for providing information of multiple applications
US6957395B1 (en) Computer interface having a single window mode of operation
US20100245256A1 (en) Dual screen portable touch sensitive computing system
US20100192066A1 (en) Method and system for a graphical user interface
US7614009B2 (en) Method for controlling filename display for image and video file types
US20140337705A1 (en) System and method for annotations
US20130113742A1 (en) Visual presentation method and apparatus for application in mobile terminal
US20070143324A1 (en) Graphical user interface icon for documents with status indicator
JP5222717B2 (ja) 表示ウインドウ選択方法、表示ウインドウ選択プログラムおよび端末装置
JP2009053784A (ja) コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラム
JP2020067977A (ja) 情報処理装置およびプログラム
JP2001125700A (ja) 電子書籍表示装置
JP2014106625A (ja) 携帯端末、携帯端末の制御方法、プログラム、および記録媒体
JP5875262B2 (ja) 表示制御装置
JP6188530B2 (ja) 文書管理システム、文書管理方法およびプログラム
WO2012081678A1 (ja) 表示装置
JP2007179168A (ja) 情報処理装置および方法、並びにプログラム
JPH052584A (ja) 文書処理装置
JPH05282255A (ja) 表示制御装置および表示制御方法
JP2019079324A (ja) 情報処理装置及びプログラム
EP4254151A1 (en) Information processing system and method and program
EP4254155A1 (en) Information processing system and method and program
EP4254153A1 (en) Information processing system, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11847943

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11847943

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP