CN102037437B - 信息处理装置、信息处理方法、记录介质、以及集成电路 - Google Patents

Abstract

一种信息处理装置(100)，并且，包括：指令管理部(101)，将指令与参数相关联并进行存储；命令接受部(104)，接受用户对显示在显示画面的图标的操作；显示控制部(10)，使用于识别对象的对象图标，显示在显示画面的第一显示区域；以及命令生成部(115)，生成作为指令以及参数的集合的命令，显示控制部(10)，进一步，使用于识别能够针对操作目标对象而执行的指令的指令图标，显示在第二显示区域，使用于识别与被选择的指令相关联的参数的参数图标，显示在第三显示区域，命令生成部(115)，在两个以上的所述指令图标被选择的情况下，生成用于按照被选择的顺序来执行以该两个以上的指令图标所分别识别的两个以上的指令的命令。

Description

信息处理装置、信息处理方法、记录介质、以及集成电路

技术领域

本发明涉及一种信息处理装置，尤其涉及通过使用户操作显示在显示画面的图标，从而生成对设备的工作进行规定的命令的信息处理装置。

背景技术

近几年，除了自动售票机等的公共设施之外，在如个人使用的个人计算机、PDA(Personnal Digital Assistant：个人数字助理)、电视机等的家电遥控器、以及被称作智能手机的高机能移动终端等各种信息设备上，也引入了搭载触摸屏型的显示画面。这些信息设备的大部分，都将传感器配备在画面上或画面的附近。用户通过用手指直接触摸显示在信息设备的画面上的以文字或图像构成的链接或按键，从而进行操作。由于信息设备由传感器检测用户的操作请求，因此，用户能够通过直观的操作使信息设备执行所希望的处理。

针对用户利用信息设备进行的处理，作为第一个例子，例如将文章从移动终端投稿到个人的网络日记。此投稿处理包括编辑处理以及将已编辑的图像添附到邮件后并发送的处理等，所述编辑处理例如是针对以移动终端的照相机功能所拍摄的图像，进行大小变更、褐色调(Sepia)等的色彩变更、以及在关键词上赋予标记的处理。

在此，在搭载了一般的触摸屏的移动终端上，用于接受来自用户的操作的触摸屏所利用的菜单画面被预先设为阶层的形式。并且，用户可以触摸用于启动菜单画面的触摸屏上的菜单图标，或者，可以触摸用于启动菜单画面的被设置在移动终端的主体上的按键。由此，移动终端显示菜单画面，而且，在用户触摸显示在此菜单画面上的照相机功能的启动图标之时，照相机功能被启动。

接着，以触摸屏上的快门图标，或者，设置在移动终端的主体的快门按键来开始进行拍摄，并记录拍摄图像。接着，针对作为操作目标对象的已拍摄的图像，依次进行以下处理。也就是说，用户从“子菜单”选择“图像编辑”，从再次显示的“子菜单”选择“大小变更”之后，选择“所希望的大小”。由此，移动终端进行图像的大小调整。接着，用户从“子菜单”选择“照片修饰(Photo Retouch)”等的色彩变更菜单之后，选择“褐色调”。

由此，由移动终端进行图像的色彩变更。接着，用户从“子菜单”选择“赋予关键词”之后，将想赋予的关键词进行输入或从候补中进行选择。接着，用户从“子菜单”中选择“添附到邮件并发送”之后，通过触摸操作(或者，通过按键的操作)对“收件人地址的选择”以及“输入标题/正文”等的处理进行输入。如上所述，为了实现将文章投稿到网络日记这一目的，需要反复进行多个触摸操作。

这样的操作，是熟悉移动终端的操作的用户日常所进行的操作。然而，由于菜单画面被阶层地构成，因此，即使采用触摸屏，应显示的画面数量也很多。由用户触摸触摸屏的次数(或者，操作操作键的次数)，就会与阶层数成正比而不断增加。也就是说，随着阶层数的增加，反而会有损于用户的便利性。

此外，在想连续执行基于非连续的多个功能的处理的情况下，选择菜单图标之后，用户需要预先掌握其次能够选择什么样的子菜单。因此，对于不擅长设备操作的用户或完全不具备有关终端功能的知识的用户而言，菜单画面的阶层性的构成，反而会带来操作的不便。此外，菜单画面的阶层性的构成，即使针对熟练者，也不得不在日常上反复进行相同的操作。

在专利文献1中公开了所述第一个例子中的课题的第一个解决方法。该技术的具体的内容是，在画面显示部预先决定的处理指令执行区域上显示图标。并且，用户对表示成为操作目标的图像等的数据的操作目标对象(图标)进行拖动，从而使操作目标对象(图标)通过处理指令执行区域，所述拖动是利用触摸屏或使用了鼠标的光标操作而被进行的。因此，移动终端能够针对对应于操作目标对象的数据，执行对应于此处理指令执行区域的处理。

此外，若针对各个处理指令执行区域，预先设定参数候补值(例如图像的放大倍率等)，则也能够在操作目标对象(图标)所通过的区域的周围显示对应的参数候补值。并且，用户也能够在显示的多个参数候补值中，选择所希望的值。

此外，根据脚本或批处理文件的处理执行方法是众所周知的。根据此方法，例如用户预先按照描述规则，将想使计算机连续执行的多个处理，依次描述在一个记述文件上，从而依次执行多个处理。

[专利文献1]日本国特开2005-149279号公报

然而，在上述说明的专利文献1所公开的方法中，操作目标对象被限定在图像或声音这种内容，并且，针对这样的内容处理的前提是，一次仅能处理所述内容之一。

在此虽然也能够适用上述已说明的多个处理的执行方法，但是，在此多个处理的执行方法中，需要用户自己预先在计算机上将应执行的处理，按照描述规则，以计算机可译码的语言进行记载。因此，对于不擅长设备操作的用户或完全不具备有关终端功能的知识的用户而言，不能说是一个简便的方法。

发明内容

鉴于上述的课题，本发明的目的在于提供一种信息处理装置，该信息处理装置能够根据直观性操作来执行多个处理。

本发明的一个实施例所涉及的信息处理装置，通过使用户操作显示在显示画面的图标，从而生成对设备的工作进行规定的命令，其中包括：存储部，包含指令管理部，该指令管理部将一个以上的指令与一个以上的参数相关联并进行存储，所述一个以上的指令是指针对对象执行的处理，所述一个以上的参数规定所述指令的处理内容；命令接受部，接受用户对显示在所述显示画面的所述图标的操作；显示控制部，使用于识别所述对象的一个以上的对象图标，显示在所述显示画面的第一显示区域；以及命令生成部，按照所述命令接受部所接受的用户的操作，生成作为存储在所述指令管理部的所述指令以及所述参数的集合的命令，所述显示控制部，进一步，在至少选择被显示在所述第一显示区域的所述一个以上的对象图标中的一个的操作由所述命令接受部接受了的情况下，从所述指令管理部抽出能够针对以被选择的所述对象图标来识别的操作目标对象而执行的所述指令，在维持所述显示画面的所述第一显示区域的显示内容的状态下，使用于识别被抽出的所述指令的一个以上的指令图标，显示在与所述第一显示区域不同的第二显示区域，在至少选择被显示在所述第二显示区域的所述一个以上的指令图标中的一个的操作由所述命令接受部接受了的情况下，从所述指令管理部抽出与以被选择的所述指令图标来识别的所述指令相关联的所述参数，在维持所述显示画面的所述第一显示区域以及所述第二显示区域的显示内容的状态下，使用于识别被抽出的所述参数的一个以上的参数图标，显示在与所述第一显示区域以及所述第二显示区域不同的第三显示区域，所述命令生成部，在两个以上的所述指令图标被选择的情况下，生成用于按照被选择的顺序来执行以该两个以上的指令图标所分别识别的两个以上的所述指令的命令。

根据上述构成，由于能够将对象图标、指令图标、参数图标同时显示在一个画面上，因此，用户能够以直观的操作，来执行针对操作目标对象的命令。

并且，若选择操作目标对象，则仅显示针对该操作目标对象可执行的指令的指令图标。并且，若选择指令，则仅显示与该指令相关联的参数的参数图标。而且，能够一次选择多个针对操作目标对象执行的指令。因此，能够进一步提高用户的便利性。

进一步，也可以是，所述信息处理装置还包括命令执行部，该命令执行部针对所述操作目标对象执行在所述命令生成部生成的所述命令。因此，能够针对信息处理装置所保持的内容(实体数据)，执行已生成的命令。

并且，也可以是，所述显示控制部，在两个以上的所述操作目标对象被选择的情况下，从所述指令管理部抽出能够针对所述两个以上的操作目标对象均能够执行的所述指令。

并且，也可以是，所述显示控制部，按照所述显示画面上尚未利用于显示所述图标的余留区域的大小，来校正已显示在所述显示画面上的多个所述图标的显示间隔。因此，显示区域被重新显示，并能够确保用户应选择的图标的显示区域，从而更加提高操作性。

并且，也可以是，所述命令生成部还将已生成的所述命令作为处理模式，登录到所述存储部的模式管理部，所述显示控制部还从所述模式管理部抽出能够针对以被选择的所述对象图标来识别的所述对象而执行的所述处理模式，并使用于识别被抽出的所述处理模式的处理模式图标，显示在与所述显示画面的所述第一显示区域、所述第二显示区域以及所述第三显示区域不同的模式显示区域。因此，在反复执行相同的处理的情况等，也能够提高用户的便利性。

进一步，也可以是，所述信息处理装置还包括所述显示画面和检测部，该检测部检测所述显示画面的朝向，所述显示控制部按照由所述检测部检测出的所述显示画面的朝向，来变更显示在所述显示画面上的所述图标的显示位置。因此，能够按照显示画面的朝向，以适当的布局来显示图标。

并且，也可以是，所述对象是与所述信息处理装置相连接的外部装置，所述信息处理装置还包括通信部，该通信部将在所述命令生成部生成的所述命令，发送到与所述操作目标对象相对应的外部装置。因此，能够以所持有的信息处理装置来生成命令，并使外部装置执行所述命令。

进一步，也可以是，所述通信部还从所述操作目标对象接收表示该操作目标对象的当前的工作状态的状态信息，所述显示控制部，在所述操作目标对象处于所述状态信息所表示的工作状态时，从所述指令管理部抽出能够针对该操作目标对象执行的所述指令。因此，按照操作目标对象的工作状态，能够仅显示可执行的指令图标，从而能够提高用户的操作效率。

并且，也可以是，在所述操作目标对象具有显示画面的情况下，所述通信部，从所述操作目标对象接收显示布局信息，所述显示布局信息表示显示在该操作目标对象的显示画面的显示内容，所述显示控制部，还使所述显示布局信息所表示的显示内容，显示在与所述显示画面的所述第一显示区域、所述第二显示区域以及所述第三显示区域不同的虚拟画面显示区域。因此，能够使操作目标对象的显示画面和虚拟画面显示区域联动而进行操作，从而能够更加提高操作性。

本发明的一个实施例所涉及的信息处理方法，用于所述信息处理装置，该信息处理装置通过使用户操作显示在显示画面的图标，从而生成对设备的工作进行规定的命令，所述信息处理装置具有存储部，该存储部包含指令管理部，该指令管理部将一个以上的指令与一个以上的参数相关联并进行存储，所述一个以上的指令是指针对对象执行的处理，所述一个以上的参数规定所述指令的处理内容，其中包括：命令接受步骤，接受用户对显示在所述显示画面的所述图标的操作；显示控制步骤，使用于识别所述对象的一个以上的对象图标，显示在所述显示画面的第一显示区域；以及命令生成步骤，按照在所述命令接受步骤中接受的用户的操作，生成作为存储在所述指令管理部的所述指令以及所述参数的集合的命令，在所述显示控制步骤中，进一步，在至少选择被显示在所述第一显示区域的所述一个以上的对象图标中的一个的操作在所述命令接受步骤中接受了的情况下，从所述指令管理部抽出能够针对以被选择的所述对象图标来识别的操作目标对象而执行的所述指令，在维持所述显示画面的所述第一显示区域的显示内容的状态下，使用于识别被抽出的所述指令的一个以上的指令图标，显示在与所述第一显示区域不同的第二显示区域，在至少选择被显示在所述第二显示区域的所述一个以上的指令图标中的一个的操作在所述命令接受步骤中接受了的情况下，从所述指令管理部抽出与以被选择的所述指令图标来识别的所述指令相关联的所述参数，在维持所述显示画面的所述第一显示区域以及所述第二显示区域的显示内容的状态下，使用于识别被抽出的所述参数的一个以上的参数图标，显示在与所述第一显示区域以及所述第二显示区域不同的第三显示区域，在所述命令生成步骤，在两个以上的所述指令图标被选择的情况下，生成用于按照被选择的顺序来执行以该两个以上的指令图标所分别识别的两个以上的所述指令的命令。

本发明的一个实施例所涉及的计算机可读取的记录介质，记录了程序，该程序使信息处理装置通过使用户操作显示在显示画面的图标，从而生成对设备的工作进行规定的命令，所述信息处理装置具有存储部，该存储部包含指令管理部，该指令管理部将一个以上的指令与一个以上的参数相关联并进行存储，所述一个以上的指令是指针对对象执行的处理，所述一个以上的参数规定所述指令的处理内容，所述程序使所述信息处理装置执行以下步骤：命令接受步骤，接受用户对显示在所述显示画面的所述图标的操作；显示控制步骤，使用于识别所述对象的一个以上的对象图标，显示在所述显示画面的第一显示区域；以及命令生成步骤，按照在所述命令接受步骤中接受的用户的操作，生成作为存储在所述指令管理部的所述指令以及所述参数的集合的命令，在所述显示控制步骤中，进一步，在至少选择被显示在所述第一显示区域的所述一个以上的对象图标中的一个的操作在所述命令接受步骤中接受了的情况下，从所述指令管理部抽出能够针对以被选择的所述对象图标来识别的操作目标对象而执行的所述指令，在维持所述显示画面的所述第一显示区域的显示内容的状态下，使用于识别被抽出的所述指令的一个以上的指令图标，显示在与所述第一显示区域不同的第二显示区域，在至少选择被显示在所述第二显示区域的所述一个以上的指令图标中的一个的操作在所述命令接受步骤中接受了的情况下，从所述指令管理部抽出与以被选择的所述指令图标来识别的所述指令相关联的所述参数，在维持所述显示画面的所述第一显示区域以及所述第二显示区域的显示内容的状态下，使用于识别被抽出的所述参数的一个以上的参数图标，显示在与所述第一显示区域以及所述第二显示区域不同的第三显示区域，在所述命令生成步骤，在两个以上的所述指令图标被选择的情况下，生成用于按照被选择的顺序来执行以该两个以上的指令图标所分别识别的两个以上的所述指令的命令。

本发明的一个实施例所涉及的集成电路，搭载在信息处理装置，所述信息处理装置具有存储部，并且，通过使用户操作显示在显示画面的图标，从而生成对设备的工作进行规定的命令，所述存储部包含指令管理部，该指令管理部将一个以上的指令与一个以上的参数相关联并进行存储，所述一个以上的指令是指针对对象执行的处理，所述一个以上的参数规定所述指令的处理内容，其中包括命令接受部，接受用户对显示在所述显示画面的所述图标的操作；显示控制部，使用于识别所述对象的一个以上的对象图标，显示在所述显示画面的第一显示区域；以及命令生成部，按照所述命令接受部所接受的用户的操作，生成作为存储在所述指令管理部的所述指令以及所述参数的集合的命令，所述显示控制部，进一步，在至少选择被显示在所述第一显示区域的所述一个以上的指令图标中的一个的操作由所述命令接受部接受了的情况下，从所述指令管理部抽出能够针对以被选择的所述对象图标来识别的操作目标对象而执行的所述指令，在维持所述显示画面的所述第一显示区域的显示内容的状态下，使用于识别被抽出的所述指令的一个以上的指令图标，显示在与所述第一显示区域不同的第二显示区域，在至少选择被显示在所述第二显示区域的所述一个以上的指令图标中的一个的操作由所述命令接受部接受了的情况下，从所述指令管理部抽出与以被选择的所述指令图标来识别的所述指令相关联的所述参数，在维持所述显示画面的所述第一显示区域以及所述第二显示区域的显示内容的状态下，使用于识别被抽出的所述参数的一个以上的参数图标，显示在与所述第一显示区域以及所述第二显示区域不同的第三显示区域，所述命令生成部，在两个以上的所述指令图标被选择的情况下，生成用于按照被选择的顺序来执行以该两个以上的指令图标所分别识别的两个以上的所述指令的命令。

根据本发明，能够提供根据直观性操作来执行多个处理的信息处理装置。

附图说明

图1是本发明的实施例1所涉及的信息处理装置的框图。

图2A是显示在纵向的显示部的操作画面的构成例子的图。

图2B是显示在横向的显示部的操作画面的构成例子的图。

图3A是示出操作目标对象被选择的状态的图。

图3B是示出显示能够针对操作目标对象而执行的指令的状态的图。

图3C是示出通过选择指令，从而显示与指令相关联的参数的状态的图。

图3D是示出参数被选择的状态的图。

图3E是示出通过选择第二个指令，从而显示与该指令相关联的参数的状态的图。

图3F是示出执行已生成的命令的状态的图。

图4A是示出图3A的状态中的操作履历表的内容的图。

图4B是示出图3B的状态中的操作履历表的内容的图。

图4C是示出图3C的状态中的操作履历表的内容的图。

图4D是示出图3D的状态中的操作履历表的内容的图。

图4E是示出图3E的状态中的操作履历表的内容的图。

图4F是示出图3F的状态中的操作履历表的内容的图。

图5A是示出登录处理模式的状态的图。

图5B是示出输入处理模式的信息的状态的图。

图5C是示出操作目标对象被选择的状态的图。

图5D是示出选择处理模式的状态的图。

图5E是示出针对操作目标对象执行处理模式的状态的图。

图5F是示出进展显示画面的图。

图6A是示出图5A的状态中的操作履历表的内容的图。

图6B是示出模式管理表的数据格式的一个例子的图。

图6C是示出多个处理模式被登录在模式管理表内的例子的图。

图7是示出实施例1所涉及的信息处理装置的工作的流程图。

图8是示出属性验证处理的流程图。

图9是示出实施例1中的指令管理表的一个例子的图。

图10A是示出作为指令参照表的一个例子的“Address Book：地址名册”的图。

图10B是示出作为指令参照表的一个例子的“Retouch FIlter：润饰过滤”的图。

图10C是示出作为指令参照表的一个例子的“Mark Table：符号表”的图。

图10D是示出作为指令参照表的一个例子的“Frame Tabie：框表”的图。

图10E是示出作为指令参照表的一个例子的“Tag DB：标记数据库”的图。

图10F是示出作为指令参照表的一个例子的“Size Table：大小表”的图。

图10G是示出作为指令参照表的一个例子的“Rotate Table：旋转表”的图。

图11是示出实施例1中的指令候补表的一个例子的图。

图12是示出实施例1中的内容目录表的一个例子的图。

图13是示出本发明的实施例2所涉及的系统的构成的图。

图14是本发明的实施例2所涉及的信息处理装置的框图。

图15A是示出选择操作目标对象的状态的图。

图15B是示出从外部设备取得的信息的一个例子的图。

图15C是基于图15B所示的信息的显示例子的图。

图16A是示出从外部设备取得的信息的其他的例子的图。

图16B是基于图16A所示的信息的显示例子的图。

图16C是示出信息显示装置的操作例子的图。

图17是示出实施例2中的属性验证处理的流程图。

图18是示出实施例2中的指令管理表的一个例子的图。

图19A是示出选择多个操作目标对象的状态的图。

图19B是示出显示针对多个操作目标对象均能够执行的指令的状态的图。

图19C是示出生成针对多个操作目标对象的命令的状态的一个例子的图。

图19D是生成示出针对多个操作目标对象的命令的状态的其他的例子的图。

图19E是示出进展显示画面的一个例子的图。

图19F是示出命令的执行结果画面的一个例子的图。

图20是示出指令候补表的一个例子的图。

图21A是示出作为指令参照表的一个例子的“Address Book：地址名册”的图。

图21B是示出作为指令参照表的一个例子的“Retouch Filter：润饰过滤”的图。

图21C是示出作为指令参照表的一个例子的“Mark Table：符号表”的图。

图21D是示出作为指令参照表的一个例子的“Frame Table：框表”的图。

图21E是示出作为指令参照表的一个例子的“Tag DB：标记数据库”的图。

图21F是示出作为指令参照表的一个例子的“Size Table：大小表”的图。

图21G是示出作为指令参照表的一个例子的“Rotate Table：旋转表”的图。

图21H是示出作为指令参照表的一个例子的“Power Table：电源表”的图。

图21I是示出作为指令参照表的一个例子的“Mute Table：静音表”的图。

图21J是示出作为指令参照表的一个例子的“Timer SetTable：定时器设定表”的图。

图21K是示出作为指令参照表的一个例子的“RecurringSetting Table：反复设定表”的图。

图22A是示出对被登录的处理模式的定期执行进行指示的状态的图。

图22B是示出定期执行被指示之前的处理模式的登录例子的图。

图22C是示出定期执行被指示之后的处理模式的登录例子的图。

图23是本发明的实施例3所涉及的信息处理装置的框图。

图24A是示出在显示校正层次为“0”的情况下的显示例子的图。

图24B是示出在显示校正层次为“1”的情况下的显示例子的图。

图24C是示出在图24B基础上追加新的显示项目的显示例子的图。

图24D是示出在显示校正层次为“2”的情况下的显示例子的图。

图25是示出显示内容校正处理的流程图。

图26是本发明的实施例4所涉及的信息处理装置的框图。

图27A是示出外部装置的显示画面和信息处理装置的虚拟画面显示区域之间的关系的图。

图27B是示出包含虚拟画面显示区域的显示例子的图。

图27C是示出利用了虚拟画面的操作例子的图。

图27D是示出操作命令消息的一个例子的图。

图28是本发明的实施例5所涉及的信息处理装置的框图。

图29A是示出外部装置的显示画面和信息处理装置的虚拟画面显示区域之间的关系的图。

图29B是在纵方向的显示部所显示的虚拟画面的显示例子的图。

图29C是在横方向的显示部所显示的虚拟画面的显示例子的图。

图29D是外部装置的显示画面的显示例子的图。

图29E是示出利用了虚拟画面的操作例子的图。

图30A是纵方向的显示部所显示的操作画面的构成例子的图。

图30B是横方向的显示部所显示的操作画面的构成例子的图。

具体实施方式

以下，针对本发明的实施例，参照附图进行详细的说明。另外，在实施例中，为了避免重复的说明，针对相同的构成要素赋予相同的符号，并省略其说明。

(实施例1)

图1是示出本发明的实施例1所涉及的信息处理装置100的构成的框图。在图1中，信息处理装置100包括：显示控制部10、存储部20、显示部103、命令接受部104、命令执行部106、定时器107、以及命令生成部115。此信息处理装置100通过使用户操作显示在显示部103的图标，从而生成对设备的工作进行规定的命令。

存储部20包括指令管理部101、数据保持部102、以及模式管理部110，并且，存储部20是对信息处理装置100的工作中所需的各种数据进行存储的DB(Data Base：数据库)。

指令管理部101至少保持一个指令信息。此指令信息中所保持的指令与参数相关联，所述指令是指成为开始执行信息处理装置100所具备的各种功能处理的指令(以下也称为“处理指令”)，所述参数是指规定该指令的处理内容的一个以上的参数。此外，指令信息保持有用于识别指令的指令图标和用于识别参数的参数图标。

数据保持部102将作为操作目标的对象和用于识别该对象的对象图标相对应地进行保持。另外，实施例1所涉及的对象为保持在信息处理装置100的实体数据，且典型地以文件的形式进行保持。实体数据的具体例子没有特别的限定，例如能够列举出图像文件，动态图像文件，文本文件等所有形式的数据。

模式管理部110至少保持一个将由操作命令指定的指令以及参数的集合作为处理模式来进行登录的模式管理表。也就是说，模式管理表内包含有处理顺序数据(处理模式)。

显示部103对包含与对象、指令、以及参数相对应的图标的操作画面(图形用户接口)进行显示。用户从显示在显示部103的对象图标选择操作目标对象，并且，针对所选择的操作目标对象，选择与想执行的处理相对应的指令图标以及参数图标。因此，能够针对操作目标对象执行所希望的处理。

另外，显示部103的具体例子没有特别的限定，但是，能够使用例如液晶显示器、等离子显示器、或者有机电致发光(Electro Luminescence)显示器等。此外，信息处理装置100可以不包含作为构成要素的显示部103，也可以进行外部的显示画面的显示控制。

命令接受部104接受用户针对显示在显示部103的各种图标的操作。更具体地说，若用户选择显示在显示部103的图标，则将该被选择的图标的位置信息作为坐标信息输出到操作判断部105。并且，将此坐标信息与被选择的图标的识别信息一同输出到操作判断部105。另外，输入装置与显示部103重叠而成为一体，是被安装在信息处理装置100的触摸屏型输入装置，或者，是能够以鼠标、轨迹球等光标进行操作的输入装置。

显示控制部10按照由命令接受部104接受的用户的操作，来控制显示部103的显示状态。具体地，首先，将一个以上的对象图标显示在显示部103的第一显示区域。

接着，显示控制部10在至少选择显示在第一显示区域的一个以上的对象图标中的一个的操作由命令接受部104接受了的情况下，在与第一显示区域不同的第二显示区域上显示一个以上的指令图标。另外，显示控制部10，从指令管理部101仅抽出能够针对以选择的对象图标来识别的操作目标对象而执行的指令，并使用于识别被抽出的指令的指令图标显示。此外，显示部103的第一显示区域的显示内容仍被继续显示。

接着，显示控制部10在至少选择显示在第二显示区域的一个以上的对象图标中的一个的操作由命令接受部104接受了的情况下，在与第一以及第二显示区域不同的第三显示区域上显示一个以上的参数图标。另外，显示控制部10，从指令管理部101仅抽出与以被选择的指令图标来识别的指令相关联的参数，并显示用于识别被抽出的参数的参数图标。此外，显示画面的第一显示区域以及第二显示区域的显示内容仍被继续显示。

并且，显示控制部10从模式管理部110抽出能够针对操作目标对象而执行的处理模式，使用于识别被抽出的处理模式的处理模式图标，显示在与显示部103的第一显示区域、第二显示区域以及第三显示区域不同的模式显示区域。

并且，为了执行上述的处理，显示控制部10具备操作判断部105、属性验证部108以及操作区域管理部109。

操作判断部105，例如判断从命令接受部104接受的坐标信息所表示的坐标，是否重叠在被分配于各种指令的指令图标上。也就是说，操作判断部105对从命令接受部104接受的坐标信息所表示的坐标是否与指令图标重叠进行判断。

这个判断以规定的时间间隔反复地进行。并且，操作判断部105将与从命令接受部104接受的坐标信息所表示的坐标相对应的位置的指令图标的识别信息输出到指令管理部101。在选择对象图标或参数图标的情况下，也同样进行上述的处理。

属性验证部108验证与从指令管理部101接受的操作目标对象的识别信息以及处理指令的识别信息相关联的属性，并决定在显示部103其次应显示的内容。例如，按照操作目标对象的属性，从指令管理部101抽出能够针对该操作目标对象来执行的处理指令。此外，按照被选择的处理指令的属性，从指令管理部101抽出与该处理指令相关联的参数。

操作区域管理部109，将具有共同属性的至少包含一个指令的指令图标群定义为组。并且，操作区域管理部109对显示部103中的图标的显示区域进行管理。

定时器107计算从由操作判断部105判断为坐标重叠在图标上的定时，到判断为从此图标脱离的定时为止所经过的时间，所述坐标是从命令接受部104接受的坐标信息所表示的坐标。此时间经过，按照每个图标进行管理。

此外，操作判断部105若由定时器107计算的停留时间成为规定的阈值以上，则判断为与此停留时间相对应的图标被选择。并且，将被选择的图标的识别信息输出到属性验证部108以及命令生成部115。操作判断部105，直到接受来自用户的执行命令(即执行、模式保存、取消等)为止，以停留时间成为阈值以上的顺序，来依次输出被选择的图标的识别信息。由存储在命令生成部115的图标的识别信息构成的处理顺序数据，在接受来自用户的执行命令(表示执行命令的图标被选择)的时刻，被输出到命令执行部106。

如上所述，操作判断部105以及定时器107，例如作为管理停留时间的停留时间管理单元来发挥作用，所述停留时间是指被拖动的对象图标从重叠到指令图标或参数图标直至离开指令图标或参数图标为止的时间。

另外，虽然以下作为选择指令图标以及参数图标的操作的具体例子，仅说明将对象图标与指令图标或参数图标进行重叠的操作(拖动操作)，但是，本发明并不限定于此操作。例如，也可以是通过按下各个图标(点击操作、触摸操作)，从而进行选择的方法。

命令生成部115按照由命令接受部104接受的用户的操作来生成命令，所述命令是存储在指令管理部101的指令以及参数的集合。更具体地说，命令生成部115将从操作判断部105取得的各个图标的识别信息，按照被选择的顺序进行排列而生成处理顺序数据。并且，在接受来自用户的执行命令的时刻，将该处理顺序数据输出到命令执行部106。

命令执行部106从命令生成部115取得操作目标对象的识别信息和处理顺序数据。并且，针对接受了的操作目标对象，以上述存储的顺序，依次执行与包含在上述处理顺序数据内的指令识别信息相对应的指令。此时，命令执行部106从指令管理部101接受对应于指令识别信息的指令，并利用该指令，针对操作目标对象来执行处理。

接着，针对具有以上构成的信息处理装置100的工作进行说明。

图2A以及图2B是示出显示在显示部103的操作画面的构成例子的图。在图2A中，信息处理装置100所具有的操作画面区域200内的区域201(区域1)是，至少显示一个与可选择的操作目标对象相对应的对象图标的内容目录。在输入装置为触摸屏的情况下，用户通过直接触摸画面，从而能够对显示在区域1的对象图标(在此为3个，即C1-C3)进行选择。

另外，针对没有显示的对象图标，例如作为以连续的链来连接的数据进行管理。此外，通过触摸图2A所示的左右的箭头按键区域，或者，通过将终端向箭头方向物理倾斜，从而能够显示没有显示的其他的对象图标。在此，利用滚动显示等的显示方法来进行显示。

区域202(区域2)是，显示与能够针对在区域201中被选择的操作目标对象而执行的指令(功能)相对应的指令图标的功能目录。在区域202根据操作区域管理部109所管理的显示布局信息，指令图标被显示到最大数(在此为6个，即F1-F6)为止。

区域203(区域3)是，显示与参数相对应的参数图标的信息目录，所述参数是与对应于在区域202中被选择的指令图标的处理相关联的参数。在区域203根据操作区域管理部109所管理的显示布局信息，参数图标被显示到最大数(在此为4个即D1-D4)为止。

区域204(区域4)是，除了区域201至203的已经显示的区域和预约区域之外的未显示区域(空白区域)204，所述预约区域是为了指示区域205(区域5)中所图示的处理执行操作(即，以Execute(执行)所示出的图标)以及取消操作(即，以Cancel(取消)所示出的图标)等而准备的区域。

此外，操作区域管理部109对包含区域201至区域205的显示状态，或显示所需要的面积占有率的操作区域信息进行管理。此外，操作区域管理部109也可以作为用户可目视的表现方式，对如图2A的L1至L4所示的各个操作区域进行分组，并且，以能够识别的虚线或框等的向导线来进行管理。

此外，图2B示出从图2A的状态，将信息处理装置100向左右任意方向旋转90度时的操作画面区域210。在此情况下，信息处理装置100所具有的操作画面区域210成为横宽状态，各个图标按照横宽画面，进行再配置。区域211至215分别对应于区域201至205的操作区域。在图2B中，使用了虚线框的向导线。

图3A-图3F是示出显示在显示部103的操作画面中，进行操作目标对象的选择、指令的选择、以及处理执行的状态的图。图3A-图3F中具体地示出以下的流程。用户选择作为加工目标的图像内容(C2)(图3A)，通过拖动操作，将图像的大小调整为CIF(Common Intermediate Format：通用中间格式)大小(352×288像素)(图3B-图3D)，而且，将相同的图像内容(C2)的色彩变更为褐色调(图3E-图3F)。

图4A-图4F是示出在图3A-图3F所示出的操作过程中，由命令生成部115所保持的操作履历表被改写的状态的图。此外，图5A-图5F是示出进行处理模式的登录、操作目标对象的选择、利用了已登录的处理模式的处理执行的状态的图。此外，图6A-图6C是示出将由命令生成部115所保持的操作履历表作为处理模式，登录到模式管理部110的模式管理表的状态的图。图6A-图6C中示出的处理模式与图5A-图5F中的处理模式的登录过程是相对应的。

图7是示出选择多个处理并执行处理的流程图。图8是示出操作目标对象的属性验证处理的流程图。图9是示出在实施例1中，指令管理部101所保持的指令管理表的一个例子的图。图10A-图10G是示出在实施例1中，指令管理部101所保持的指令参照表的一个例子的图。

图11是示出在实施例1中，指令管理部101所保持的指令候补表的一个例子的图。图12是示出在实施例1中，存储与数据保持部102所保持的操作目标内容(数据)有关的信息的内容目录表的一个例子的图。

以下，利用图3A-图12，针对信息处理装置100的工作进行详细的说明。基本上，按照图7以及图8的流程图进行说明。

首先，如图3A所示，用户通过触摸显示在显示部103的对象图标的操作，从而能够将作为操作目标的数据选择为操作目标对象。此时，命令接受部104检测用户的触摸操作事件。此外，操作判断部105确认当前是否为选择操作目标对象的模式(S101)。并且，若为选择模式(S101中“是”)，则继续执行以下的处理。

另一方面，在当前不是操作目标对象选择模式的情况下(S101中“否”)，命令接受部104直到检测下一个触摸操作事件为止处于待机状态(S102)。另外，所谓不是操作目标对象选择模式的状态是指，比如由于用户针对操作画面在一定时间以上没有进行操作等原因，从而导致操作被锁住的状态。

其次，操作判断部105确认从命令接受部104通知来的操作命令是否为通过拖动操作而进行的输入(S103)。并且，若为拖动操作(S103中“是”)，则继续执行以下的处理。另一方面，操作命令不是通过拖动操作的情况下(S103中“否”)，执行其他的处理(S102)，如单击触摸或者双击等单纯地选择操作目标对象，或者，直接执行与操作目标对象相对应的功能处理等(S102)。

接着，操作判断部105确认是否已经决定了操作目标对象(S104)。并且，在已经决定了的情况下(S104中“是”)，继续执行以下处理。另一方面，在没有决定操作目标对象的情况下(S104中“否”)，确认在步骤S103中检测出的拖动操作是否为与操作目标对象相对应的对象图标(即，在图2A的区域201中描绘的C1-C3的任意的对象图标)的拖动操作(S105)。此外，操作判断部105，在判断为对象图标的拖动操作的情况下(S105中“是”)，继续进行以下的处理。

另一方面，在对象图标的拖动操作没有开始的情况下(S105中“否”)，操作目标对象的选择成为无效。此时，命令接受部104直到检测下一个触摸操作事件为止，处于待机状态(S102)。

接着，操作判断部105，在判断为是对象图标的拖动操作的情况下(S105中“是”)，将被选择的至少一个对象图标(在此为C2)登录到由命令生成部115所保持的操作履历表(S106)。也就是说，如图3A所示，用户仅仅触摸操作目标对象，并不能将操作目标对象的识别信息登录到操作履历表。

然而，如图3B所示，在由用户对对象图标执行拖动操作的时刻，操作目标对象的识别信息(C2)被登录到操作履历表。在图4A以及图4B中分别示出与图3A以及图3B相对应的时刻的操作履历表。另外，图3A-图3F中“●”的部分模式性地示出用户正在触摸的部分。此外，被选择的对象图标中所表示的“×”的部分示出此区域的中心点。

而且，操作判断部105对由用户的拖动操作是否结束进行确认(S107)。并且，在拖动操作没有结束的情况下(S107中“否”)，继续执行以下处理。操作判断部105对被选择的对象图标的中心点是否被拖动到显示区域(图2A的区域201)的外部进行判断(S108)。

并且，如图3B所示，对象图标的中心点越过了表示显示区域的分界的向导线的情况下(S108中“是”)，操作判断部105向属性验证部108请求进行对象属性验证处理(S109)。针对对象属性验证处理，在后述中进行详细的说明。另一方面，在没有被拖动到显示区域(图2A的区域201)的外部的情况下(S108中“否”)，操作判断部105返回到步骤S107，并判断拖动操作结束。

接着，属性验证部108根据对象属性验证处理的结果，针对与当前被选择的对象图标相对应的操作目标对象，确认是否存在可执行的指令或被登录的处理模式(S110)。在存在可执行的指令或被登录的处理模式的情况下(S110中“是”)，显示控制部10使被分配在该指令的指令图标Fn或被分配在该处理模式的处理模式图标Rn显示在显示部103(参照图3B)。

此外，显示控制部10在由用户进行的拖动操作比较久，且在拖动操作中操作目标对象的属性发生变化的情况下，或者，在通过多点触摸而对象图标被增加的情况下，对已显示的指令图标Fn或处理模式图标Rn进行更新。

图9是示出指令管理部101所保持的指令管理表的一个例子的图。例如，在操作目标对象(在此为C2)为图像的情况下，与表示图像的属性(Image：图像)相对应的指令为适合针对操作目标对象可执行的指令。指令管理表按照每个属性，将附带有指令标识符(ID)的指令名称(Command：指令)、参照表(ReferenceData：参照数据)、指令使用次数(Rate：比率)的各种信息，相对应地进行保持。此外，图10A-图10G是示出从图9的指令管理表所参照的各种参照表，即与各个指令相关联的参数的例子的图。此外，图11是示出通过对象属性验证处理所生成的指令候补表的一个例子的图。

在此，针对被选择的操作目标对象(C2)，在显示部103上显示与图11中所示的指令相对应的指令图标内的指令图标，该指令图标的显示数为操作区域管理部109所保持的布局信息的显示最大数以下。图3B中所示出的例子中，显示最大数为6。因此，在图3B中，在上位的6个指令图标显示在显示部103。另外，由于指令图标显示在与对象图标不同的显示区域，因此，如图3B所示，对象图标和指令图标同时显示在一个画面上。

如上所示，如图3C所示，用户通过进行拖动操作，以使被分配在操作目标对象的对象图标与被分配在指令的指令图标重叠，从而能够在视觉上来指定指令处理。

接着，在说明步骤S112以及步骤S113之前，先说明步骤S114之后的处理。如图3C所示，操作判断部105在用户针对表示操作目标对象的对象图标持续进行拖动操作，且对象图标在指令图标Fn或处理模式图标Rn上停留规定时间(例如2秒)以上的情况下(S114中“是”)，如图4C所示，将被分配在指令图标Fn的指令(在此为Resize处理：调整大小处理)或被分配在处理模式图标Rn的处理模式登录到操作履历表(S115)。

并且，显示控制部10在存在与被选择的指令图标Fn相对应的参数的情况下，如图3C所示，显示从图9示出的指令管理表所参照的参照表内的参数图标Dn，该参数图标Dn的显示数为操作区域管理部109所保持的布局信息的显示最大数以下(S116)。在此，与Resize(调整大小)指令相对应的Size(大小)表(图10F)相当于参数。另外，由于参数图标显示在与对象图标以及指令图标不同的显示区域，因此，如图3C所示，对象图标、指令图标、参数图标同时显示在一个画面上。

并且，如图3D所示，操作判断部105在用户针对表示操作目标对象的对象图标持续进行拖动操作，且对象图标在参数图标Dn上停留规定时间(例如2秒)以上的情况下(S117中“是”)，如图4D所示，将被分配在参数图标Dn的参数(在此为CIF)登录到操作履历表(S118)。并且，处理返回到判断拖动操作结束的步骤S107上。

接着，如图3E所示，在用户通过持续地进行拖动操作，从而选择下一个指令图标(在此为ColorEdit：色彩编辑)的情况下(S107中“否”)，按照被选择的指令图标，重复进行步骤S108到S118为止的处理，并更新参数图标的显示。并且，如图3F所示，在对表示操作目标对象的对象图标进行拖动操作，且对象图标在参数图标(在此为Sepia：褐色)上存在规定时间以上的情况下，如图4F所示，对操作履历表进行更新。

并且，如图3F所示，在由用户的一连串的拖动操作结束了的情况下(S107中“是”)，对是否正在显示预约区域(图2A的区域205：区域5)进行确认(S119)，所述预约区域包含执行指示图标(Execute：执行)以及保存执行指示图标(Save：保存)。在预约区域显示中(S119中“是”)，进行以后的处理。另一方面，在没有显示预约区域的情况下(S119中“否”)，例如，将针对当前选择中的操作目标对象的处理指令的执行所需的信息判断为处于不足的状态。因此，操作目标对象的选择模式被解除，信息处理装置100成为待机状态(S102)。

在判断正在显示预约区域的情况(S119中“是”)下，对在结束拖动时刻的对象图标的中心点在操作画面中的位置进行确认(S120)。也就是说，对象图标中心点的位置在预约区域中的执行指示图标上的情况下(S120中“是”)，执行以后的处理。另一方面，在对象图标中心点的位置不在执行指示图标上(S120中“否”)，而在保存执行指示图标上的情况下(S121中“是”)，进行步骤S122的处理。

而且，在对象图标中心点的位置既不在执行指示图标上也不在保存执行指示图标上的情况下(S121中“否”)，例如，将针对当前选择中的操作目标对象的处理指令的执行所需的信息判断为处于不足的状态。因此，操作目标对象的选择模式被解除，信息处理装置100成为待机状态(S102)。

在判断表示操作目标对象的对象图标的拖动操作在保存执行指示图标上结束了的情况下(S121中“是”)，命令生成部115将操作管理表中所保持的指令以及参数作为处理模式Rn进行登录(S122)。

并且，在判断结束拖动时刻的对象图标的中心点的位置在预约区域中的执行指示图标上的情况下(S120中“是”)，或者，在执行步骤S122的处理之后，命令执行部106按照根据参数进行的指定，执行与登录在操作履历表的指令相对应的处理(S123)。

此时，在通过信息处理装置100的设定画面等，预先设定了能够用目视来确认处理的进展状况的“进展显示模式”的情况下(S124中“是”)，在显示部103上显示处理的执行状况(S125)。另外，针对步骤S125，在后述中利用具体的实例进行说明。

另一方面，在没有设定“进展显示模式”的情况下(S124中“否”)，显示部103的画面不发生变化。

并且，在信息处理装置100的机箱的一部分设置对处理的中断或取消进行指示的清除按键的情况下，按下此清除按键，从而正在执行中的处理被取消。也就是说，在用户按下机箱的清除按键的情况(S126中“是”)下，在信息处理装置100内产生表示取消命令的事件通知。而且，命令执行部106接受产生了的取消命令通知，中断正在执行中的处理，并执行将没有执行完的处理返回到原来状态的处理(恢复处理)(S127)。

另一方面，不产生取消命令而结束登录在操作履历表的一连串的处理执行的情况下(S126中“否”)，命令执行部106判断由命令执行部106的处理执行正常完成，并执行结束处理(S128)。并且，为了接受来自用户的下一个操作，信息处理装置100成为待机状态(S102)。另外，例如结束处理为删除操作履历表的登录内容的处理。

如上所述，由图3A-图3F所示出的，针对作为由用户选择的操作目标对象的图像内容(C2)，通过拖动操作，进行将图像内容的大小调整为CIF大小(352×288像素)，还将相同的图像内容(C2)的色彩变更为褐色调等处理。

接着，针对对象属性验证处理(S109)，利用图8-图10进行详细的说明。

如以上所述，如图3B所示，在对象图标的中心点越过了表示显示区域的分界的向导线的情况下(S108中“是”)，操作判断部105向属性验证部108请求进行对象属性验证处理(S109)。

属性验证部108根据来自操作判断部105的请求，对对象计数器和属性计数器进行初始化(计数＝0)(S201)，所述对象计数器用于计入当前已成为操作目标的对象的数量，所述属性计数器用于计入与对象相关联的属性的数量。并且，属性验证部108清除所有的内容以作为指令候补表的初始化处理。另外，操作目标对象是由操作命令作为处理对象而指定的数据以及指令。

接着，属性验证部108参照被登录在图4B所示的操作履历表的操作目标对象On，并取得作为操作目标的对象的识别信息(C2)。并且，属性验证部108针对所取得的对象的识别信息(C2)，从图12所示的内容目录，取得作为操作目标的对象的属性名称(Image：图像)。

由于在此被选择的操作目标对象的识别信息仅为识别信息(C2)，因此，作为操作目标的对象的属性仅为在C2中所参照的“Image：图像”属性。对此，例如在利用多点触摸来选择多个对象图标的情况下，存在根据表示多个操作目标对象的识别信息，来选择多个属性的情况。因此，属性验证部108取得所有的属性(S202)。

接着，属性验证部108向指令管理部101询问是否存在能够针对所取得的属性名称而执行的处理指令。指令管理部101针对来自属性验证部108的请求，参照图9所示的指令管理表，并回复可执行的指令群(S203)。在此，指令管理部101所回复的是与属性名称“Image：图像”相对应的ID1(SendMail：发送邮件)-ID10(Delete：删除)的处理指令。

接着，属性验证部108在存在与属性名称相对应的处理指令的情况下(S204中“是”)，抽出与属性相对应的处理指令，并试着存储到指令候补表(S205)。此时，在所抽出的处理指令已被登录到指令候补表，并且，通过目视仅能够确认共同的功能(处理指令)的“滤波器显示模式”，通过信息处理装置100的设定画面被预先设定的情况下(S206中“是”)，仅将共同的处理指令登录到指令候补表(S207)。因此，即使在选择了多个操作目标对象的情况下，由于也能够仅将表示共同的处理指令的指令图标作为菜单来显示，因此，避免复杂且多余的菜单显示。

并且，属性验证部108，在与属性相对应的处理指令不足于指令候补表的最大存储数量(在此为10个)的情况下(S208中“否”)，将抽出的处理指令作为处理侯补，而登录到指令候补表(S209)。另外，属性验证部108，在与属性相对应的处理指令成为指令候补表的最大存储数量以上的情况下(S208中“是”)，按照图9的“Rate：比率”所示出的指令使用次数，从使用频率高的开始登录仅登录到最大存储数量为止(S210)。

另外，在图11的以“Com.”表示的栏中示出了在各个属性的验证中被抽出的处理指令的抽出次数(出现次数)，并且是每当相同的处理指令被抽出，抽出次数就被递增并被保持的值。

另外，属性验证部108，在判断指令管理表内不存在与所取得的属性相对应的处理指令的情况下(S204中“否”)，继续进行步骤S209或S210之后的处理。

接着，属性验证部108针对与当前正在验证中的操作目标对象相对应的所有的属性，确认是否抽出了处理指令(S211)。并且，在没有对所有的属性进行验证的情况下(S211中“否”)，属性计数器所记忆的数字就递增(S212)，并返回到步骤S203之后的处理。

另一方面，属性验证部108在针对被选择的操作目标对象，判断为验证了所有属性的的情况下(S211中“是”)，将属性计数器初始化为0(S213)。

并且，属性验证部108确认是否针对除了当前正在验证中的操作目标对象之外的所有操作目标对象都进行了验证(S214)。在此，属性验证部108在没有对所有的操作目标对象进行验证的情况下(S214中“否”)，对象计数器所记忆的数字就递增(S215)，并返回到步骤S202之后的处理。

另一方面，属性验证部108在针对所有操作目标对象判断为验证已结束的情况下(S214中“是”)，结束对象属性验证处理，并返回到图7的步骤S110之后的处理。

通过以上的对象属性验证处理，由于能够按照操作目标对象的属性，动态地抽出处理指令，因此，能够动态地变更处理指令区域(菜单)。

接着，利用图5A-10G，对处理模式的登录以及利用了被登录的处理模式的处理执行进行说明。

图5A是示出了用户选择操目标对象(C2)，并在选择处理指令和参数之后的保存处理模式的状态。此外，图中的箭头表示用户进行拖动操作的轨迹。也就是说，在图5A示出了最终在保存指示图标上结束拖动操作。

在此，在判断拖动操作结束在保存指示图标上的情况下(S121中“是”)，操作判断部105请求模式管理部110，以使将登录在操作履历表的处理顺序数据作为“处理模式Rn”来登录。模式管理部110参照被指定的操作履历表，并新建处理模式之后，保存到模式管理表。在此，将在图4F中所示的操作履历表解释为图6A所示的处理模式，并调整为图6B所示的处理模式格式之后，保存到模式管理表。

在此，信息处理装置100，将操作目标对象的识别信息(C2)进行抽象化，并转换为操作目标对象的种类信息(Image：图像)。这样，在之后的处理中作为处理模式来执行的情况下，能够通过判断种类信息来判断该处理模式是否可执行。

此外，如图6B所示，模式管理部110将补充处理模式的补充信息作为信息来进行保存，所述处理模式是用于识别处理模式的处理模式ID(PatternID：模式标识符)、处理模式名称(PatternName：模式名称)、处理模式制作日期(Date：日期)、处理模式的执行指定日期和时间(ExecuteTime：执行时间)、以及反复设定(Recurring：反复)等。这些信息，也可以由信息处理装置100尽可能自动地进行补充，也可以如图5B所示，明确地提示处理模式的登录画面，使用户通过键盘等输入装置进行输入或修改。

此外，图6C示出了模式管理部110所保持的处理模式的一个例子。例如，在除了如图5A以及图5B或图6A以及图6B一样所制作的处理模式之外，在以如图6C所示的模式ID“R2”所表示的处理模式被登录的情况下，如图5C所示，在显示部103的画面上，在以“Saved Pattern(保存模式)”所示出的区域上(图2A的区域203：区域3)，将被称作“Small Image with Sepia(将图像变小且变成褐色)”以及“Send Mobile Blog(使用手机发送到网络日记)”的处理模式名称作为处理模式图标来显示。

如上所示，在下一个之后的处理指令选择中，用户通过将表示操作目标对象的对象图标拖动到已登录的处理模式的处理模式图标上的操作，从而能够执行已登录的处理模式(相当于S120之后的处理)。

另外，以图6C所示出的模式ID“R2”所表示的处理模式中所包含的处理是，针对种类信息被指定为“Image：图像”的操作目标对象，将图像大小变换为固定大小的“QCIF：quarter common intermediate format：四分之一通用中间格式”，并将作为能够进行字符串处理的标记“Food：食物”作为字符串来赋予。而且，以模式ID“R2”所表示的处理模式中包含赋予表示处理模式被指定的位置的位置(Geo)信息(表示纬度、经度等的位置的信息)的处理。此外，以模式ID“R2”所表示的处理模式中包含添附图像并发送邮件到用于投稿到个人管理并持有的网络日记的特定的邮件地址“Address1(地址1)”这样的一系列的处理。

图5D示出了对表示操作目标对象的对象图标进行拖动，从而使对象图标以比较短的时间通过功能目录的区域时的状态。此时，操作判断部105判断是否在规定时间(例如2秒)内通过了包含指令图标Fn的操作区域(S112)。并且，如判断为在规定时间内通过了的情况下(S112中“是”)，使包含在已通过的操作区域的处理候补的指令图标处于无效状态(S113)。例如，操作判断部105使处理侯补的指令图标处于不显示状态，或者，处于变灰色(Gray out)状态，以成为不能选择的显示状态。

另一方面，判断部105在判断为没有在规定时间内通过的情况下(S112中“否”)，继续执行步骤S114之后的处理。这样，由于包含在通过拖动操作在短时间内通过的操作区域内的指令图标不是用户实际上想要选择的指令图标，因此没有被选为选择候补之事可以向用户明确示出。此外，能够预先防止因在拖动操作中错误地触摸，所导致的选择用户不想选择的处理指令的情况。

另外，虽然在此仅说明对通过的判断是以固定的规定时间来进行判断的情况，但是，由于操作区域的面积未必是固定的，因此，有必要变化拖动操作的通过所需要的时间。在此，也可以按照显示部103的画面整体的面积、由操作区域管理部109管理的操作区域内能够存储的处理指令的显示最大数，或者，包含在布局信息内的操作区域的面积，动态地变更规定时间。

此外，如图5D所示，在选择了处理模式图标的情况下，“Save(保存)”的图标也处于无效的状态。这是因为，在选择了被登录的处理模式的情况下，像保存这种选项是不可能存在的。

此外，如图5E所示，在用户选择处理模式图标，且拖动操作结束在执行指示图标上的情况下(S120)，执行以被选择的处理模式定义的一连串的处理(S123)。并且，若设定了“进展显示模式”(S124中“是”)，则显示如图5F所示的进展显示画面。在此，除了可以显示表示处理进展情况的进展通知条之外，在针对操作目标对象进行图像加工的情况下，还可以作为预览画面同时显示图像加工之前的图像(Before：前)和图像加工之后的图像(After：后)。

如上所述，根据本实施例1，在信息处理装置100中，操作判断部105对在操作画面中通过光标操作而被选择的操作目标对象和针对被选择的操作目标对象而执行的处理指令进行检测。命令生成部115生成将操作目标对象、处理指令以及参数相对应地进行存储的操作履历表，所述处理指令是与各个操作目标对象相对应的指令，所述参数是与处理指令相对应的参数。此外，将至少一个以上的对象图标、指令图标以及参数图标显示在同一个操作画面上，所述指令图标识别能够针对被选择的操作目标对象而执行的处理指令，所述参数图标识别与处理指令相对应的参数。

并且，从对操作目标对象进行选择开始，直到确定针对该操作目标对象而执行的处理指令群为止，命令生成部115在不改变选择状态下的一个操作的拖动处理中，对由操作判断部105检测出的处理指令的识别信息，按照检测顺序进行排列。这样，处理顺序数据被形成。并且，命令执行部106针对被选择的操作目标对象，根据此处理顺序数据的构成识别信息来执行处理指令。

如上所述，信息处理装置100针对已选择的操作目标对象，能够仅显示可处理的菜单以及可处理的下级菜单，所述可处理的下级菜单是指与从该可处理的菜单中选择的菜单相对应的处理之后的下级菜单。而且，信息处理装置100仅通过对显示的菜单进行拖动操作，从而能够指定多个所希望的处理并执行。也就是说，能够实现通过直观性操作就能够执行多个处理的信息处理装置100。

此外，操作判断部105以及定时器107作为停留期间管理单元，从对象图标与指令图标的一部分重叠的定时开始，直到对象图标与指令图标不重叠的定时为止的停留期间进行管理，所述对象图标表示被选择的操作目标对象。并且，操作判断部105仅检测与停留时间超过了规定的阈值的指令图标相对应的指令，以作为被选择的指令。

如上所述，即使因在拖动操作中用户无意识的手颤动或错误操作，瞬间触摸了用户不想触摸的菜单，由于不视为用户选择了菜单，因此，也能够预先防止执行用户所不希望的处理。

此外，模式管理部110，将过去形成的处理顺序数据作为处理模式进行管理。这样，由于在执行相同的处理的情况下，不需要再次选择指令，因此，能够提高用户的便利性。

另外，即使在处理的指定与执行之间的定时没有间隔的情况下，也可以是，显示控制部10使处理顺序数据显示在画面，并向用户确认显示的处理顺序数据是否有错误，在接受用户的执行指示之后再执行处理。因此，能够预先防止执行用户所不希望执行的处理。此外，能够预先防止因立即执行背景处理所导致的终端负荷的增加，以及针对一连串的拖动操作的操作性能(响应)的低下。

此外，显示控制部10在同时选择了两个操作目标对象的情况下，仅显示在两个操作目标对象上共有的指令。另外，即使同时被选择的操作目标对象为两个以上的多个，也能够进行相同的处理。

此外，通过排除不能针对两个操作目标对象同时进行处理的菜单，从而能够预先防止用户的错误操作等。因此，能够提高用户的操作性。

此外，操作区域管理部109对从操作目标对象、指令、以及参数为止的各个阶段分别配置为一个组的群区域进行管理，并将相邻区域间的分界作为向导线来进行显示。如上所述，由于用户能够直观性地判断是否具有共同属性的菜单，因此，能够提高用户的操作性。

另外，操作判断部105也可以按照群区域的面积或群区域的宽度，来决定所述的规定的阈值。因此，在具有各种画面大小的各个信息处理装置100中，针对按照画面大小而变化的菜单群的显示区域的大小，能够按照所需要的拖动操作的移动量，来灵活地取阈值，并且，能够减少操作错误以及提高操作性。

(实施例2)

实施例2涉及一种系统，该系统通过经由网络相连接的信息处理装置和外部设备联动，从而执行处理。

图13示出了本发明的实施例2所涉及的系统的构成。在图13示出的系统中，信息处理装置100A、空调机300、第一电视机400、第二电视机401以及电热壶500，经由网络250而相互连接，并能够进行通信。空调机300、第一电视机400、第二电视机401、以及电热壶500相当于上述的外部装置。

图14是本发明的实施例2所涉及的信息处理装置100A的构成的框图。在图14所示出的信息处理装置100A中，取代图1所示出的信息处理装置100的命令执行部106，而具备通信部111。实施例2中的“对象”是与信息处理装置100A相连接的外部装置。并且，信息处理装置100A作为执行外部装置的遥控器来发挥作用，而不是亲自执行生成的命令。

属性验证部108在保持在指令管理部101的指令管理表内不存在与作为操作目标对象的外部装置有关的属性的情况下，从外部装置取得该属性。此属性的取得是经由通信部111来进行的。另外，显示控制部10也可以不必试着取得属性层次，而是从外部装置取得包含属性的指令管理表或功能目录。

命令生成部115将所生成的处理顺序数据与处理执行请求一同发送到作为操作目标对象的外部装置。此外，命令生成部115将保持在模式管理部110的处理模式与处理执行要求一同发送到外部装置。

处理执行要求是经由通信部111进行发送的。另外，外部装置通过利用UPnP(Universal Plug and Play：通用即插即用)或ECHONET(EnergyConservation and Homecase Network：能源节约与家庭家庭医疗组织)等标准的设备联动协议，或者，独自决定的协议，经由网络250进行通信，从而能够与信息处理装置100A之间进行信息的交换。

接着，针对具有以上构成的系统的工作进行说明。在此，将以下的事项作为前提进行说明。也就是说，用户利用信息处理装置100A，对第一电视机400以及第二电视机401(机顶盒)进行操作，所述第一电视机400能够接收地面数字广播(D)以及卫星广播(BS)，所述第二电视机401能够接收有线电视广播(CATV)。

尤其，在以下所示的图以及其说明中示出的情况是，在第一电视机400的调谐器选择地面数字广播的8频道，在第二电视机401的调谐器选择CATV的102频道，从而这两个输入影像以3∶1的比率划分为两个画面显示在第一电视机400。

图15A-图15C以及图16A-图16C是示出直到指示两个画面显示为止的操作画面的例子和从外部装置取得的信息的例子的图。此外，图17是示出实施例2中属性验证处理的流程图。

在图15A中，相当于图2A的区域201(区域1)的部分上，显示表示第一电视机400的“TV1”图标、表示第二电视机401的“TV2”图标以及表示电热壶500的“Pot”图标，以作为内容目录。也就是说，在此以以下状态为前提，即在信息处理装置100A经由网络250连接时，根据即使是UPnP等的标准协议也具有的设备发现功能，经由通信部111预先取得位于周围的外部装置的基本信息(一般为设备名称、序列号、IP地址、设备种类(属性)等)。

区域1中显示的各个对象图标(在表示外部装置的情况下，也称为“设备图标”)表示外部装置。在此，成为操作目标对象的目标不同，在实施例1中操作目标对象为内容，而在实施例2中操作目标对象为外部装置。然而，不论目标为哪种情况，都能够作为操作目标对象进行同等的处理。

也就是说，通过用户触摸操作画面的设备图标(在此为TV1和TV2)，并进行拖动操作，从而能够根据图7所示出的流程图，来进行针对操作目标对象的处理指令的选择以及执行。另外，在图15A中，除了触摸的设备图标“TV1”“TV2”之外的设备图标“Pot”，当前作为无效的图标处于变灰色(Grayout)状态。

图17是示出操作目标对象的属性验证处理的流程图。图17的流程图是图8的流程图的基础上进行了部分修改的图。具体而言，增加了步骤S216以及S217的处理。

指令管理部101针对来自属性验证部108的请求，参照图9所示的指令管理表，并回复能够执行的指令群(S203)。然而，图9所示的指令管理表内没有记载相当于“TV”图标的属性。

因此，判断指令管理部101内不存在“TV”属性(S204中“否”)。

并且，属性验证部108经由通信部111，向外部装置询问是否存在(即是否持有)与“TV”属性相对应的指令信息(S216)。并且，属性验证部108经由通信部111，接收询问的结果，并将接收的指令信息登录到指令管理部101。

属性验证部108，判断是否取得了与所希望的属性相对应的指令信息(S217)。并且，在取得了的情况下(S217中“是”)，继续执行步骤S205之后的处理。另一方面，没有取得与希望的属性相对应的指令信息的情况下(S217中“否”)，继续执行步骤S209或者步骤S210之后的处理。

图15B示出了从第一电视机400(“TV1”)取得的“TV”属性的数据例子。图15B的信息1501中描述了与设备有关的设备信息和状态信息，例如描述了装置的属性名称(TV)、设备名称(TV1)、模型(IPTV)、模型名称(GIGAVISION)、序列号(SN0123456789)、设备固有编号(uuid:giga001_0123456789)、以及电源状态(ON)等信息，所述状态信息是表示外部设备的当前的工作状态的信息，例如电源ON(开)的状态，电源OFF(关)的状态等。

信息1502-1504描述了设备所提供的功能或与服务有关的信息。信息1502-1504的最前和最后记载有设备服务标记(Device Services：设备服务)。也就是说，能够知道设备服务标记之间的部分，描述了设备所提供的功能或与服务有关的信息。在此，设备所提供的功能以及服务为3要素。

信息1502中描述了以下内容，即TV1具有调谐器，能够接收地面数字广播，用于确定功能的ID为“TV1-T1”，当前调谐器被设定接收的频道为“D-081”。信息1503中描述了以下内容，即TV1具有能够接收BS广播的调谐器，用于确定功能的ID为“TV1-T2”，当前的频道为“BS-05”。信息1504中描述了以下内容，即TV1具有EPG(Electronic Program Guide：电子节目菜单)功能，用于确定功能的ID为“TV1-EPG”，当前的状态为“Ready(待机状态)”。

信息1505-1507描述了与设备所提供的功能或与针对服务的指令有关的信息。信息1505-1507的最前和最后记载有控制目录标记(Control List：控制目录)。也就是说，能够知道控制目录标记之间的部分，描述了与设备所提供的功能和与针对服务的处理指令有关的信息。在此，设备所提供的功能或针对服务的处理指令为3要素。

信息1505中描述了作为针对成为目标的调谐器功能能够执行的指令(动作)，提供频道的升序变更(Channel Up：向上切换频道)。更具体地说，描述了有关此显示的格式被推荐为“上按键(Button(按键)：Up(向上切换)”，以及执行实际的处理指令所需的路径存在在目标外部装置的URL(UniformResource Locator：统一资源定位符)。

信息1506中描述了提供频道的降序变更(Channel Down：向下切换频道)。更具体地说，描述了格式被推荐为“下按键(Button(按键)：Down(向下切换)”，以及执行指令所需要的路径。另外，成为目标的“调谐器”是由TV1保持的功能的种类(Type(种类)标记)所表示的“Tuner(调谐器)”。此外，频道变更能够分别在用于地面数字广播的调谐器以及用于BS广播的调谐器上适用。

此外，在信息1507中描述了没有目标的指定，以及作为与TV1的基本功能相对应的指令，存在画面的划分显示(两个画面显示)。更具体地说，描述了以下内容，即作为格式被推荐为“(一般的)按键”，此按键上应显示的信息为划分比率目录(RateList：比率目录)，以及取得此划分比率目录的XML(extensible markup language：可扩展标记语言)的URL。

此外，执行实际的指令所需要的路径以目标外部装置的URL而被描述。并且，描述了在两个画面显示中所需要的两个画面的输入源的指定方法以及划分比率的指定方法。

图15C中示出了在接收了图15B所示的数据之后，在显示部103显示的操作画面的一个例子。在由属性验证部108分析了经由通信部111所取得的回复数据之后，使操作画面显示在显示部103。

在图15C中，在相当于图2A的区域202(区域2)的部分，显示有三个功能要素和最新的状态(接收D-081、BS-05的设定)，所述三个功能要素被记载在所取得的信息内。并且，通过在调谐器图标的上下所显示的按键来表示能够处理对两个调谐器的频道变更。

用户通过按下(触摸)此上下按键，从而能够变更调谐器的频道。并且，在图15C中，在相当于图2A的区域203(区域3)的部分，显示有能够指定的划分比率。并且，在图15C中，在相当于图2A的区域205(区域5)的部分，显示有表示作为最后的输出目的地(Output：输出)的能够选择的设备的设备图标(在此，仅为TV)。相当于图2A的区域205(区域5)的部分是预约区域。

图16A是从作为外部装置的第二电视机401(“TV2”)取得的“TV”属性的数据的例子。图16A的信息1508中与图15B的信息1501相同地描述了与“TV2”有关的设备信息。通过信息1509-1511可知，“TV2”所提供的功能或服务是3要素。此外，通过信息1512-1514可知，对“TV2”所提供的功能或针对服务的处理指令也是3要素。

图16B示出了在接收了图16A所示的数据之后，在显示部103显示的操作画面的一个例子。

在图16B中，相当于图2A的区域202(区域2)的部分，除了原有的图15中所显示的三个功能要素之外，还追加描述了用于接收TV2所提供的CATV的调谐器的最新状态(接收CATV102的设定)。并且，除了原有的TV1所提供的“EPG画面显示按键(EPG)”之外，还追加描述了TV2所提供的“互联网阅览浏览器显示按键(NET)“以及“视频点播显示按键(VOD)”。

此外，在图16B中，在相当于图2A的区域203(区域3)的部分，显示有能够由TV1以及TV2处理的划分比率。此外，在图16B中，作为相当于图2A的区域205(区域5)的部分的预约区域，追加描述了作为最后的输出目的地的能够选择的设备图标的“TV2”。

图16C是示出在操作画面中进行操作目标对象的选择、指令的选择、以及处理执行的状态的图。图16C具体地示出了用户在操作画面中，通过多点触摸来选择想要划分画面而显示的两个输入源“D-081(调谐器1)”以及“CATV102(调谐器2)”，并通过拖动操作来选择划分比率(3∶1)，将TV1作为输出目的地来指定的一个流程。这样，通过将外部设备作为操作目标对象来处理，并将作为操作目标对象的外部设备所具有的功能或服务作为处理指令来处理，从而能够使外部装置以与实施例1相同的操作执行处理。

图18是示出在实施例2中由指令管理部101保持的指令管理表的一个例子的图。指令管理部101在图17的步骤S217中从外部装置取得与属性相对应的处理指令信息之时，通过将此处理指令信息追加描述到指令管理表，从而扩充指令管理表。相对于图9所示的指令管理表，图18示出了追加描述了属性“AV”、“TV”、“PVR”、“Appliance”的指令管理表。

图19A-图19F是示出在操作画面中进行操作目标对象的选择、指令的选择、以及处理执行的状态的图。图19A-图19F示出了作为操作目标对象而选择基本功能不同的多个设备的情况下的流程。

在图19A中，作为设备目录(Device List)示出了多个对象图标。在图19A中，选择了空调机和电视机。这样的选择例如是用户在外出之前关闭空调机以及电视机的电源时进行的。

图19B示出了用户通过多点触摸来选择设备图标“AirCon.”和“TV”，并对这些设备图标进行拖动操作直到越过图2A的区域201与区域202之间的分界线(L1)为止的位置的状态。如实施例1的说明，若对被选择的表示作为操作目标对象的空调机(属性：Appliance)以及表示电视机(属性：AV、TV)的设备图标进行拖动而越过分界线时，则显示表示这些功能的指令图标。

在此，在空调机(属性：Appliance)以及电视机(属性：AV、TV)的功能中，使作为不是两个操作目标对象之间的共同的处理指令的“Volume(音量)”、“Mute(静音)”、“Channel Up(向上切换频道)”、“Channel Down(向下切换频道)”处于无效(变灰色)。

图20是示出由指令管理部101保持的指令候补表的一个例子的图。该指令候补表是如以下这样而被制作的。即，属性验证部108通过与所述的步骤S206以及S207相对应的处理，一边参照指令管理表(参照图18)，一边抽出与各个属性(AV、TV、Appliance)相对应的处理指令，并将抽出的处理指令逐渐描述到指令管理部101所保持的指令候补表(参照图20)。

图20中以“Com.”所表示的栏内描述了属性验证处理中的指令的抽出次数(出现次数)。此抽出次数是每当指令被抽出时，抽出次数就被递增并被保持的值，并且，抽出次数是按照每个指令进行管理的。在此，由于“Power：电源”以及“Timer：定时器”是作为操作目标对象的空调机以及电视机这两者所共同的指令，因此，如图20所示，指令抽出次数成为了“2”。

也就是说，由于“Power”以及“Timer”为被选择的两个设备均能够执行的处理，因此，在通过多点触摸等来选择多个设备的情况下，“Power”以及“Timer”被判断为共同功能。并且，属性验证部108将判断为是针对被选择的多个操作目标对象均能够执行的功能的“Power”以及“Timer”图标显示为有效。

在此，在图19B中成为有效状态的指令图标不以“Power”来显示，而是以“Power OFF(关闭电源)”来显示。此处理通过利用了以下将要说明的表的处理来实现。

也就是说，在图18所示的指令管理表的属性“AV”以及“Appliance”，分别记载了处理指令“Power：电源”，而且，作为与处理指令“Power：电源”相对应的参照表(参照图20)指定了“Power Table：电源表”。图21A-图21K是示出在实施例2中由指令管理部101保持的指令参照表的一个例子的图。

图21A-图21G所示的指令参照表与图10A-图10G所示的指令参照表相对应。另外，图21H-图21K所示的指令参照表为从外部装置所取得的指令参照表。

图21H示出了作为与图19B所示的“Power：电源”相对应的参照表的“Power Table：电源表”。图21H的“State：状态”栏中描述了成为操作对象的设备的状态。“Exec：执行”栏中描述了应按照“State”来执行的处理指令。“Path：路径”栏中描述了请求应执行的处理指令时所需要的URL或用于显示的图像的URL等。

在此，操作对象的空调机以及电视机的状态信息，利用图15B的信息1501所示的电源状态标记(Power State：电源状态)等，从而被描述到参照表。在图15B中示出了状态信息为“ON(开)”状态。

并且，属性验证部108按照操作目标对象的工作状态和指令参照表的描述，将处理指令“Power：电源”的指令图标显示为“Power OFF：关闭电源”。如上所述，由于能够按照操作目标设备的状态，不显示不能执行的处理指令的指令图标，而仅显示能够执行的处理指令的指令图标，因此，能够提高用户的操作效率。

此外，由于能够防止不使用的指令图标的显示，因此，可以不必将结构阶层化而显示指令图标。因此，例如如图19C所示，用户通过多点触摸来选择多个设备图标，并能够简单地实现以一次的拖动操作将多个设备的电源处于关闭状态的操作命令。

图19D示出的处理流程是，从图19B的状态继续进行多个设备图标的拖动操作，在使多个设备图标通过作为共同处理指令的“Timer：定时器”图标之后，再通过表示意味着“30分后”这一参数的“30min：30分”图标，最后，此拖动操作结束在“Execute：执行”的执行指示图标上。

另外，在图19D的参数图标上，在“Timer：定时器”图标被选择的定时，图21J的“Timer Set Table：定时器设定表”的信息，根据操作区域管理部109所管理的布局信息而被显示。

并且，在用户按照图19所示的过程进行操作的情况下，命令生成部115请求成为操作目标对象的设备，执行被登录在操作履历表的共同处理指令(图7的S120)。在此，命令生成部115在操作目标设备为自身装置(即信息处理装置100A)的情况下，请求命令执行部(在图14中省略其图示)执行指令。另一方面，在操作目标设备为外部装置的情况下，经由通信部111，请求外部装置的命令执行部执行指令。

并且，在设定进展显示模式的情况下(在图7的S124中为“是”)，显示如图19E所示的进展显示画面(图7中S125)。在图19E中，除了能够掌握整体进展的进展通知条之外，作为处理的详细信息，还显示针对外部装置处理指令的执行请求“Timer Set：定时器设定”的回复结果“Air Con.(空调机.)：OK”，以及正在询问中的状态“(Waiting response：等待响应)”等。并且，如图19所示，包含了外部装置的共同处理指令的执行结果被显示在操作画面上。

接着，针对利用了被登录的处理模式的处理执行进行说明。在此，尤其，以设定指令的执行时刻以及与执行有关的详细信息的情况为例进行说明。

图22A-图22C是用于说明利用了被登录的处理模式的处理执行的图。图22A示出了指定已登录处理模式的信息并执行的操作过程。

具体地说，用户从相当于图2A的区域201(区域1)的部分所显示的已登录处理模式目录，将所希望的处理模式(Morning bell：闹钟)选择为操作目标对象，并开始进行拖动操作。

并且，被选择的对象图标通过拖动操作，首先通过在相当于图2A的区域202(区域2)的部分所显示的反复设定中(Recurring Setting：反复设定)表示每天(Daily)的指令图标，接着，以横穿的形式通过相当于图2A的区域203(区域3)的部分所显示的音量设定(Volume：音量)中表示所希望的音量(在此，音量级别：80)的线段，然后，在执行指示图标“Execute(执行)”上被放开。

图22B是示出执行指示之前的模式管理表的图。此外，图22C是示出执行指示之后模式管理表的图。通过图22A的操作，有关反复设定，从图22B的“OFF：关”的状态变化为图22C的“ON(开)：Daily(每天)”的状态。此外，有关针对操作目标对象“TV”的指令“Volume：音量”的参数，从图22B的“50”的状态变化为图22C的“80”的状态。

如上所述，作为与处理模式相对应的指令，通过预先使该指令包含设定变更指令，从而能够进行包含登录了一次的多个指令的处理模式的变更或修改。此处理模式的变更或修改，也能够通过用户的拖动操作来执行。

另外，图22B以及图22C的ID(5)的操作目标对象，通过“一”中的记载被进行了抽象化。这表示是针对所有的ID(1-4)共同设定的处理指令。也就是说，图22B以及图22C的ID(5)的处理指令，请求电视机、空调机、以及壶这三个设备，在上午7点半同时打开电源。

如上所述，根据本实施例2，在信息处理装置100A中，多个操作目标对象中至少一个是外部装置。此外，信息处理装置100A具有与外部装置之间进行通信的通信部111。并且，属性验证部108在外部装置被选择为操作目标对象的情况下，将请求发送对应处理指令的请求消息，经由通信部111发送到被选择的外部装置。

因此，能够与信息处理装置100A所保持的操作目标对象(内容)相同地处理外部装置。

此外，命令生成部115在处理顺序数据内包含由外部装置执行的处理指令的识别信息的情况下，将该识别信息经由通信部111发送到外部装置。

(实施例3)

图23是示出本发明的实施例3所涉及的信息处理装置100B的构成的框图。在图23中，信息处理装置100B在图14中所示出的信息处理装置100A的构成的基础上，还增加有显示校正部112。另外，在此，虽然是以在实施例2中所说明的将外部设备作为操作目标对象来处理的情况为前提而构成的，但是，并不限定于此，也可以以不包含在实施例1中所说明的通信部111作为前提而构成。

显示校正部112按照在显示画面内尚未利用于显示操作目标对象、处理指令等的区域(即空白区域)，来校正显示内容。更具体地说，显示校正部112按照在显示部103尚未利用于显示图标的余留区域的大小，来校正已显示在显示部103的多个图标之间的显示间隔。

图24A-图24D是用于说明按照显示画面内的空白区域来进行显示内容的校正处理的图。图25是示出显示内容校正处理的流程图。这是改进图7的步骤S111的显示处理的图。

在此，以进行以下处理为前提进行说明。也就是说，信息处理装置100B能够显示，作为经由网络250，与信息处理装置100B相连接的外部装置的硬盘录像机(PVR)、电视机(TV)、电热壶(Pot)的设备图标。

并且，以以下内容为前提，即用户将电视机上正在播放的料理节目中的菜谱(假设电视机为两个画面模式，菜谱显示在两个画面中的左侧画面(Tuner1：调谐器1))作为快照进行截屏，在以邮件发送此截屏的图像时，将图像变更为QCIF大小，并将“用户C”选择为收件人进行发送。

显示控制部10使显示部103显示如图24A的上部分所示的操作画面。图24A的区域2301a显示表示操作目标设备的设备图标的目录(Device List：设备目录)。区域2302a显示表示处理指令以及参数的图标的目录(Functions：功能)。区域2303a是未显示区域(Blank：空白)。并且，区域2304a是预约区域(Reserved：预约)。

此外，图24A的下部分所示的表中示出了各个显示区域的占有率(Occupation：占有率)以及能否压缩标记(Compressible：可压缩的)。在此，占有率表示各个区域对画面整体的占有的程度。能否压缩标记表示能否进行显示的校正(true：可能/false：不可能)。此外，能否压缩标记上附加的数字表示由显示校正部112所管理的显示校正层次(在此，数值为0-2)。

以下，针对显示内容的校正处理，参照图24A-图24D以及图25来进行说明。

显示校正部112在正由命令接受部104接受来自用户的操作命令时，校正显示部103中正在显示的各个显示区域的大小，以使用户容易进行操作。显示校正部112监视所述的各个显示区域的占有率，并验证未显示区域的大小的状况(S301)。作为此验证定时，例如利用用户进行过指令区域选择操作的定时。

例如，如图24所示，在用户选择了图像的大小变更(Resize：调整大小)的详细信息(QCIF)的情况下，未显示区域(即上述的空白区域)的占有率成为整体的8％。

在此，显示校正部112确认当前未显示区域是否在规定的阈值(在此固定值：20％)以下(S302)。并且，在占有率超过阈值的情况下(S302中“否”)，结束显示内容校正处理。

另外，占有率成为阈值以下的情况下(S302中“是”)，显示校正部112确认操作履历表内是否存在已选择的项目(在处理指令区域或辅助指令区域中显示的用户能够目视的显示部分)(S303)。并且，在不存在的情况下(S303的“否”)，结束显示内容校正处理。此外，在存在的情况下(S303中“是”)，对相当于与已选择的项目相对应的区域2302a(Functions：功能)的部分的分界区域(在图24A以虚线示出的向导线显示)的显示进行清除(S304)。

而且，在相当于区域2302a(Functions：功能)的部分的显示校正层次为“0”的情况下(S305中“是”)，显示校正部112将指令图标或参数图标的上下的显示间隔设为“0(px：像素)”(S306)。

并且，显示校正部112将进行了显示校正的区域2302a的显示校正层次变更为“1”(S307)，对未显示区域的大小以及占有率进行修改(S313)，并按照变更后的设定再次描绘操作画面(S314)。据此，如区域2302b所示，已选择的项目的部分被压缩显示。

也就是说，如图24B的上部分所示，变更为处理指令之间的间隔距离上下被缩短的显示画面。从而如图24B的下部分所示，区域2303b的未显示区域的占有率成为30％，其次要显示的指令图标的区域被确保。因此，能够以用户容易看的显示形式，在新的区域2303c显示指令图标或参数图标。

另外，在显示校正层次不是“0”的情况下(S305的“否”)，显示校正部112确认显示校正层次是否为“1”(S308)。并且，在不是“1”的情况下(S308的“否”)，判断为不能够进行显示校正，并结束显示内容校正处理。

图24C的上部分示出了在新的区域2303c显示选择邮件的发送目的地的参数图标的状态的画面。在图24C的上部分示出的画面上，用户通过将拖动中的设备图标拖动到参数图标的“UserC”，从而能够继续选择项目。

在此，在图24中的未显示区域2304c的占有率成为低于应验证的阈值(在此，固定值：20％)的值(在此为18％)(S302中“否”)。因此，再次进行显示内容校正处理。然而，由于当前的区域2302c(Functions：功能)的显示校正层次是“1”，因此，将显示校正层次视为“1”(S305中“否”且S308中“是”)，继续进行之后的处理。

例如，显示校正部112将指令图标或参数图标的上下的显示间隔设为“-10(px：像素)”(S309)。从而，如图24D的上部分所示，图标之间的间隔距离上下被进一步缩短，并变更为一部分重叠状态的显示画面。而且，显示校正部112缩小在已选择的各个项目中显示的字符串的字体(在此，8px：像素)(S310)，将字符串的显示位置本身从“中心位置”设定为“上方位置”(S311)。

并且，显示校正部112将进行了显示校正的区域2302c的显示校正层次变更为“2”(S312)，继续进行所述的S313之后的处理。从而如图24D的区域2302d所示，已选择的项目的部分比区域2302c所示的部分被进一步压缩显示。因此，能够提高其次成为选择目标的图标被显示的区域(即，区域2303d以及区域2304d中所示的部分)的占有率，并且，能够以用户容易看的显示形式显示此区域的图标。

如上所述，根据本实施例3，信息处理装置100B的显示校正部112在显示新的图标时，按照在显示画面上尚未利用于显示的余留区域的量，将已显示的图标的显示形式校正为压缩形式。

通过如上所述，即使在狭窄的画面中进行拖动操作的情况下，也能够显示在其次的拖动操作中应选择的菜单，因此，能够继续进行拖动操作，并提高操作性。

压缩形式例如为缩小已显示的图标的缩小显示形式，或者，为将一部分进行重叠的显示形式。

(实施例4)

图26是本发明的实施例4所涉及的信息处理装置100C的构成的框图。在图26中，信息处理装置100C在图14中所示出的信息处理装置100A的构成的基础上，还增加有虚拟位置判断部113。

虚拟位置判断部113能够在操作画面中模仿外部装置的画面来操作外部装置。更具体地说，虚拟位置判断部113经由通信部111，从该操作目标对象接收显示布局信息，使接收的显示布局信息所表示的显示内容作为虚拟画面，显示在与显示部103的第1、第2以及第3显示区域不同的虚拟画面显示区域，所述显示布局信息表示显示在外部装置的显示画面上的显示内容。

并且，虚拟位置判断部113例如在被选择的对象图标在虚拟画面内被放开的情况下，检测虚拟画面中的放开位置，并且，将虚拟画面中的放开位置信息变换为外部装置的显示画面中的位置信息。另外，在上述说明中，以对象图标被拖动作为前提，但是，并不限定于此，即使在虚拟画面中的特定位置通过点击等而被选择的情况下，也可以检测虚拟画面中的选择位置，并且，将虚拟画面中的选择位置信息变换为外部装置的显示画面中的位置信息。即使在后述的实施例5中，也是相同的。

图27A-图27D是用于说明利用了虚拟画面显示区域的处理的图。在此，以进行以下处理作为前提来进行说明。也就是说，作为移动终端的信息处理装置100C，将电视机(TV)指定为操作目标设备，所述电视机(TV)是与信息处理装置100C经由网络250而连接的外部装置。

并且，以以下内容为前提，即在用户选择手里持有的移动终端内所保持的图像(例如家族照片)，并将已选择的图像显示在电视机的画面上任意的位置的情况下，向此选择的图像赋予消息(例如Enjoy！(愉快！))，且指定显示期限(例如一个月)，所述消息由其他的用户能够目视的字符串构成，所述显示期限为对此图像以及赋予的消息的显示进行取消的期限。

图27A示出了虚拟画面的构成信息。此外，图27B示出了操作画面的构成例子。例如，信息处理装置100C(Source Device)所具有的画面的描绘区域(Full Screen：全屏幕)的大小是，宽度(Width)为320px(像素)、高度为(Height)为480px(像素)，将画面上的坐标轴中X轴(0)/Y轴(0)作为描绘区域的初始点。

也就是说，图27B的区域2600相当于描绘区域。并且，信息处理装置100C所管理的操作目标设备的虚拟画面(Virtual Screen：虚拟屏幕)的大小是，宽度为320px(像素)、高度为180px(像素)，画面上的坐标轴中X轴(0)/Y轴(300)成为虚拟画面显示区域的初始点。也就是说，图27B的区域2604(区域4)相当于虚拟画面显示区域。

此外，操作目标设备(Target Device)其所具备的画面的描绘区域(FullScreen：全屏幕)的大小是，宽度为960px(像素)、高度为540px(像素)，将画面上的坐标轴中X轴(0)/Y轴(0)作为描绘区域的初始点。

并且，在图27所示的虚拟画面的构成信息(显示布局信息)上，记载了虚拟画面显示区域对于操作目标设备的描绘区域的扩大缩小比率(Rate(比率)：在此为33％)。另外，成为操作对象的外部装置(电视机)的画面大小等设为，能够经由通信部111，通过标准的协议或独自的协议来取得。

图27C是示出操作画面的一个例子的图。用户从区域2601(区域1)所显示的内容目录中，将所希望的内容(在此为图像)选择为操作目标对象。

并且，被选择的对象图标，通过拖动操作，通过显示在区域2602(区域2)的消息目录中的，用户所希望的消息图标(在此，Enjoy！(愉快！))，接着，通过显示在区域2603(区域3)的显示期限信息中的，表示用户所希望的期限的图标(在此，1month(一个月))，最后，此被选择的对象图标在作为执行指示图标来处理的操作目标设备的虚拟画面显示区域(称为Position ofmessage board(消息板的位置)的区域)的任意位置上被放开。

在此，信息处理装置100C的命令接受部104取得在拖动操作结束之时的虚拟画面显示区域上的拖动操作完成坐标(104，368)，并将与拖动操作完成坐标有关的信息，与拖动操作的操作命令一同传送到操作判断部105。操作判断部105判断在执行指示图标上的拖动操作已完成(图7中S120)。

连接于操作判断部105的虚拟位置判断部113按照虚拟画面的显示位置或扩大缩小比率，来调整在拖动操作完成时刻在虚拟画面显示区域上的坐标信息，并将调整后的坐标信息传送到操作判断部105。在此的坐标调整处理是，由于虚拟画面显示区域的初始点为Y轴的300px，因此，从拖动操作完成坐标的Y轴方向减去300px，并且，按照扩大缩小比率来换算坐标的处理。

并且，作为处理后的坐标信息，取得在最后的操作目标设备的画面上应处理的坐标(312，204)。操作判断部105将调整之前的坐标信息以及调整之后的坐标信息输出到命令生成部115。并且，命令生成部115经由通信部111，将调整之后的坐标信息包含到操作命令消息内，并发送到操作目标设备。

图27D是示出操作命令消息的构成例子的图。图27D示出了发送到作为外部目标设备的外部装置(电视机)的操作命令消息的一个例子。信息2605中描述了，为了利用服务器功能向外部公开信息处理装置100C所保持的图像，而将此图像追加到操作目标设备的命令。

此外，信息2606以及信息2607中描述了针对此追加图像的附加信息。具体而言，在信息2606中，以正文标记(Description：描述)，指定了在操作画面中被选择的消息“Enjoy！(愉快！)”，并且，以显示期限标记(Expire：期限)，指定了表示在相同的操作画面中被选择的显示期限“1month(一个月)”的信息。

此外，在信息2607中，以显示位置标记(Position：位置)指定了由虚拟位置判断部113计算出的操作目标设备中的坐标(312、204)。若接收此操作命令消息，则操作目标设备按照操作命令取得图像，并一同显示被指定的消息和图像。并且，按照显示期限指定来清除显示。

另外，在图27C中示出了在区域2604的虚拟画面显示区域上，显示当前设定显示在操作目标设备的画面上其他的内容(图像、笔记、向网络动态图像的链接等)的例子。这些显示位置是能够根据操作目标设备和信息处理装置100C之间所决定的任意的协议，来取得的显示位置等。

根据此显示，由于知道当前正在显示的内容的位置，因此，能够避免新的内容重叠到一直显示的内容，并掩盖该内容等的错误操作。

如上所述，根据本实施例4，信息处理装置100C的虚拟位置判断部113在操作画面上显示与外部装置的显示画面相对应的虚拟画面。此外，虚拟位置判断部113在被选择的对象图标在虚拟画面显示区域内被放开的情况下，对虚拟画面中的放开位置进行检测，并且，将虚拟画面中的放开位置信息变换为外部装置的显示画面中的位置信息。并且，虚拟位置判断部113将由外部装置执行的处理指令的识别信息和位置信息一同进行发送。

如上所述，能够在所持有的信息处理装置100C的显示部103上指定在外部装置中执行的处理，例如将笔记信息粘贴到经由网络而连接的外部装置的显示画面等处理，并且，也能够在外部装置的显示画面中指定此指定处理被执行的位置。

(实施例5)

图28是示出本发明的实施例5所涉及的信息处理装置100D的构成的框图。在图28中，信息处理装置100D在图26中所示出的信息处理装置100C的构成的基础上，还增加有传感器114。

传感器114检测表示信息处理装置100D当前所保持的状态(典型的为显示部103的朝向)的保持状态信息。传感器114将检测出的保持状态信息输出到显示控制部10。传感器114也可以按照来自显示控制部10的请求输出保持状态信息，或者，也可以是传感器114在每当检测装置朝向的变化之时，就自动地进行输出。并且，取得了保持状态信息的显示控制部10按照显示部103的朝向，来变更显示在显示部103上的图标的显示位置(布局)。

图29A-图29E是用于说明按照保持状态信息来变更操作画面的处理的图。在此，以进行以下处理为前提来进行说明。也就是说，作为移动终端的信息处理装置100D将电视机(TV)指定为操作目标设备，所述电视机(TV)是与信息处理装置100D经由网络250而连接的外部装置。

并且，以以下内容为前提，即用户从显示在作为外部装置的电视机的多个图像中选择所希望的图像，并且，在用户所持有的信息处理装置100D中，针对选择图像追加描述消息(Great！(太好了！))，在设定了显示期限(一个月)之后，再次将图像粘贴到电视机的显示画面上的任意的位置。

图29A示出了虚拟画面的构成信息以及显示要素(内容目录、功能目录等)的布局信息。此外，图29B示出了显示模式为“垂直模式(Vertical：垂直)”时的操作画面的构成例子，图29C示出了显示模式为“水平模式(Horizontal：水平)”时的操作画面的构成例子。

例如，信息处理装置100D(Source Device)所具有的画面的描绘区域(Full Screen：全屏幕)的大小是，宽度(Width)为320px(像素)、高度为(Height)为480px(像素)，将画面上的坐标轴中的X轴(0)/Y轴(0)作为描绘区域的初始点。

也就是说，图29B的区域2800相当于描绘区域。另外，在信息处理装置100D所管理的操作目标设备的虚拟画面显示区域(Virtual Screen：虚拟屏幕)为“垂直模式”的情况下，宽度为320px、高度为180px，图29B的画面上的坐标轴中的X轴(0)/Y轴(300)成为虚拟画面显示区域的初始点。此外，在虚拟画面(Virtual Screen：虚拟屏幕)为“水平模式”的情况下，宽度为420px、高度为236px，图29C的画面上的坐标轴中的X轴(30)/Y轴(42)成为虚拟画面显示区域的初始点。

也就是说，图29B的区域2804(区域4)以及图29C的区域2805(区域4)相当于虚拟画面显示区域。

此外，操作对象设备(Target Device)其所具备的画面的描绘区域(FullScreen：全屏幕)的大小是，宽度为960px、高度为540px，将画面上的坐标轴中的X轴(0)/Y轴(0)作为描绘区域的初始点。

并且，图29A所示的虚拟画面的构成信息中按照每个显示模式，记载了虚拟画面显示区域对于操作目标设备的描绘区域的扩大缩小比率(Rate(比率))(在此垂直模式时为33％，水平模式时为43％)。另外，成为操作目标的外部装置(电视机)的画面大小等设为经由通信部111，能够根据标准的协议或独自的协议来取得。

在此，传感器114在显示控制部10使显示部103描绘操作画面之前，按照来自显示控制部10的请求，检测信息处理装置100D的保持状态信息(例如包括被称为装置朝向的针对重力的朝向、方位、斜度)。

并且，传感器114将检测出的当前的保持状态信息(在此为装置朝向)输出到显示控制部10。显示控制部10根据从传感器114接受的保持状态信息来切换显示模式。也就是说，显示控制部10根据从传感器114接受的保持状态信息，来判断信息处理装置100D的保持状态。

并且，显示控制部10判断了保持状态的结果，在判断为在当前时刻的终端朝向是“垂直”的情况下，将操作画面切换成“垂直模式”。具体而言，显示如图29B所示的“垂直模式”的操作画面。另外，在显示控制部10判断为在当前时刻的终端朝向是“水平”的情况下，将操作画面切换成“水平模式”。具体而言，显示如图29C所示的“水平模式”的操作画面。

图29D以及图29E分别示出了“水平模式”以及“垂直模式”的操作画面的一个例子的图。在此，移动终端的初始状态为提供联动的设备的操作画面的“水平模式”。

在“水平模式”的操作画面中，例如如图29D所示，用户能够目视与区域2805(区域4)所显示的电视机的消息板(被安装在电视机一侧的能够将图像或文本进行粘贴的告示板的应用软件)相同的画面。并且，用户能够通过触摸等操作，来选择显示在操作画面的图像中的想添加评语或消息的图像(在此为M6)。

在此选择了图像之后，在用户将正在操作的移动终端转向垂直方向(即将终端旋转到与画面的纵横比不同的方向)的情况下，传感器114检测移动终端的装置朝向的变化。并且，如图29E所示，显示控制部10使对被选择的内容进行编辑、加工的“垂直模式”的操作画面显示。

并且，用户通过拖动所希望的内容(在此为图像：M6)，从而通过显示在区域2802(区域2)的消息目录中的，用户所希望的消息图标(在此为Great！(太好了))，接着，通过显示在区域2803(区域3)的显示期限信息中的，表示用户所希望的期限的图标(在此为1month(一个月))，最后，此拖动操作结束在作为执行指示图标来处理的虚拟画面显示区域(即在图29E中称为Postion of Message board(消息板的位置)的区域)上的任意的位置。在此之后的坐标变换处理等与在实施例4中的说明相同。

另外，在此，针对基于保持状态信息来切换显示模式的情况进行说明。然而，并不限定于此，例如能够将外部气温、体温、位置信息、电池的余量等的状态信息作为显示模式的切换基准来利用。状态信息内也包含保持状态信息。例如，能够优先显示按照外部气温或体温来督促健康护理的菜单(例如空调机的加湿设定或温度设定等)，或者，能够按照位置信息将拖动操作中显示的地图的位置设定为附近的地图，或者，能够按照电池的余量将附近的电池充电服务站显示在地图上。传感器114也检测保持状态信息之外的状态信息。

此外，在此，针对通过切换显示模式来变更操作画面的布局的情况进行了说明。然而，并不限定于此，例如“垂直模式的情况为所持有的设备的操作”、“水平模式的情况为联动对象的设备的操作”等，也可以按照终端所朝向的方向来变更操作菜单整体的作用或各种功能的显示内容以及表示方法。

如上所述，根据本实施例5，在信息处理装置100D中，由传感器114检测信息处理装置100D的状态。并且，显示控制部10按照由传感器114检测出的状态信息，来切换操作画面的显示模式。

通过如上所述，由于能够切换成与信息处理装置D相对应的操作画面，因此，能够提高用户的操作性。

(其他实施例)

(1)在实施例1至5的信息处理装置100、100A、100B、100C、100D所表示的操作画面中，通过触摸箭头按键，能够在不间断图标的显示的状态下将处于非显示状态的对象图标、指令图标、以及参数图标转换为显示状态。

在作为信息处理装置100A、100B、100C、100D与外部装置处于连接状态的实施例2至5中，也可以将处于显示状态的各个图标显示在外部装置所具有的大画面上。

图30A以及图30B是示出信息处理装置100C、100D的操作画面以及外部装置的操作画面的图。图30A的框2900为当前用户所操作的操作对象的信息处理装置100C、100D的操作画面。图30A的区域2901-2903中，没有显示在画面布局上的菜单项目(即向箭头按键区域的拖动操作或通过将终端向箭头方向物理倾斜的操作而出现的选项)的存在，通过箭头符号而被表示出来。这些非显示菜单项目能够通过用户对操作画面的操作命令而依次显现，但是，至于哪个项目处于非显示状态，要通过用户进行操作才能知道。

图30B的框2910示出了能够与信息处理装置100C、100D联动的外部装置(例如电视机)所显示的画面的例子。框2911为成为将要联动的信息处理装置100C、100D(Mobile A(移动A))所能够描绘的显示区域。此外，框2912在外部装置的画面上再现并描绘了成为将要联动的信息处理装置100C、100D当前正在显示的画面。另外，区域2913-2916分别与区域2901-2904相对应。

框2911的区域内显示了画面比外部装置小且在信息处理装置100C、100D中处于非显示状态的菜单项目。从而用户能够一边操作手边的信息处理装置100C、100D，一边目视在作为外部装置的电视机画面中处于非显示状态的菜单项目。因此，在所希望的菜单没有显示在信息处理装置100C、100D的操作画面的情况下，能够以最短过程(在显示“Memo(笔记)”的情况下，比起向右移动，向左移动更能够减少再描绘次数)执行用于显示在外部装置的画面上已确认的所希望的菜单项目(例如区域2914的“Memo(笔记)”)的操作。

另外，在此，虽然将选择的项目作为文本以及表情符号(根据特定的字符串的模式的外观来表现面部表情的字符串)，但是，也可以为静止图像、动态图像、以及符号等。此外，虽然将移动方向设为左右，但是，也可以设为上下方向以及运用了3D(三维)表示的显示等。此外，如区域2916所示，并不限定于菜单项目，也可以补充显示处于非显示状态的描绘对象(例如称为小工具的天气预报、时钟、日历这种驻留粘贴型应用程序，或者，作为告示板被粘贴的笔记或录像信等)。

此外，作为在外部装置显示非显示菜单项目的定时，可以利用以下的定时。例如，第一，可以是在用户持续拖动操作的过程中，到拖动操作开始为止进行显示。第二，可以是每当例如选择的对象图标每当超过相邻区域之间的分界线等时)拖动操作进展之时，依次进行显示。第三，可以是在传感器检测出用户有目的地使信息处理装置100D倾斜等的动作的定时。

(2)在实施例1-5中，在显示部103所显示的操作画面上，虽然是以实线的箭头来显示针对对象图标的拖动操作的轨迹的，但是，显示轨迹的方法并不限定于此，也可以显示辅助操作的操作向导线。

(3)在实施例1-5中，虽然针对对象图标与指令图标是否重叠的判断是以对象图标的中心点是否与指令图标重叠来作为判断标准的，但是，判断标准并不限定于此，也可以以对象图标的边(即边缘部分)是否与指令图标接触来作为判断标准。

(4)在实施例2-5中利用将外部装置之间收发的信息进行抽象化的XML(extensible markup language：可扩展标记语言)形式来进行了表示，但是，也可以增减各个要素。此外，也可以利用将描述形式设为二进制形式等其他的表示。

(5)在实施例1-5中，虽然以用两个手指拖动两个图标，并持续拖动到执行指示区域上为止为前提进行了说明，但是，也可以采取在两个图标通过拖动开始移动的阶段，即使放开一个手指，两个图标被合并，也能够继续进行拖动的方式。

(6)在实施例1-5的信息处理装置100、100A、100B、100C、100D能够适用在，具有表示各种功能(目标图像或目标影像的编辑、加工；与广播、影像再生有关的画质、音质、音量调整；时间表的管理、输入、参照、显示指定期限；视听、录像预约的设定；记录模式的变更；邮件正文的制作、收件人的指定等)的操作候补的画面，并在装置单体执行处理的移动终端、个人计算机、汽车导航系统等装置，所述处理是通过经由主体所具有的输入设备的操作指示而被选择的，或者，在装置内执行处理的电视接受机、硬盘录像机(Harddisk recorder)、空调机等的遥控器，所述处理是通过经由存在在装置外的远距离控制器(remote controller)(以下称为遥控器)的操作指示而被选择的。

此外，实施例1-5的信息处理装置100、100A、100B、100C、100D为计算机系统，具体地由微处理器、ROM、RAM、硬盘设备、显示器设备、键盘、鼠标等来构成。RAM或硬盘设备存储计算机程序。微处理器按照计算机程序来工作，从而实现计算机系统所具有的各个要素的功能。计算机程序为了实现规定的功能，组合多个表示指令计算机的指令代码来构成。

(7)构成实施例1-5的信息处理装置100、100A、100B、100C、100D的构成要素的部分或全部也可以由一个系统LSI(Large Scale Integration：大规模集成电路)来构成。系统LSI是将多个构成部集成在一个芯片上而制造的超级多功能LSI，具体地，是包含微处理器、ROM、RAM等来构成的计算机系统。RAM或硬盘设备存储计算机程序。微处理器按照计算机程序来工作，从而系统LSI实现其功能。

(8)构成实施例1-5的信息处理装置100、100A、100B、100C、100D的构成要素的部分或全部也可以由能够拆装于信息处理装置100、100A、100B、100C、100D的主体上的IC卡或单体的模块来构成。IC卡或单体的模块是由微处理器、ROM、RAM来构成的计算机系统。IC卡或单体的模块也可以包含上述的超级多功能LSI。微处理器按照计算机程序来工作，从而IC卡或单体的模块实现其功能。此IC卡或模块也可以具有抗篡改性。

(9)在实施例1-5中，针对本发明以由硬件来构成的情况为例进行了说明，但是，本发明也可以由软件来实现。

本发明的信息处理装置可以作为能够通过直观性的操作来执行多个处理，并且，为了操作移动终端、个人计算机、汽车导航系统、数字电视接受机、DVD光盘刻录机(Digital Video Disc Recorder)、机顶盒、放映机、以及外部显示器等的设备而利用的遥控器来应用并发挥作用。

符号说明

10显示控制部

20存储部

100、100A、100B、100C、100D信息处理装置

101指令管理部

102数据保持部

103显示部

104命令接受部

105操作判断部

106命令执行部

107定时器

108属性验证部

109操作区域管理部

110模式管理部

111通信部

112显示校正部

113虚拟位置判断部

114传感器

115命令生成部

200、210操作画面区域

201、202、203、204、205区域

250网络

300空调机

400、401电视机

500电热壶

2304c未显示区域

2900、2910、2911、2912框

Claims (11)

1.一种信息处理装置，通过由用户操作显示在显示画面的图标，从而生成对设备的工作进行规定的命令，所述信息处理装置包括：

存储部，包含指令管理部，该指令管理部将一个以上的指令与一个以上的参数相关联并进行存储，所述一个以上的指令是指针对对象执行的处理，所述一个以上的参数规定所述指令的处理内容：

命令接受部，接受用户对显示在所述显示画面的所述图标的操作：

显示控制部，使用于识别所述对象的一个以上的对象图标，显示在所述显示画面的第一显示区域：以及

命令生成部，按照所述命令接受部所接受的用户的操作，生成作为存储在所述指令管理部的所述指令以及所述参数的集合的命令，

所述显示控制部，进一步，

在至少选择被显示在所述第一显示区域的所述一个以上的对象图标中的一个的操作由所述命令接受部接受了的情况下，从所述指令管理部抽出能够针对以被选择的所述对象图标来识别的操作目标对象而执行的所述指令，在维持所述显示画面的所述第一显示区域的显示内容的状态下，从存储在所述指令管理部中的一个以上的指令中，将识别被抽出的所述指令的一个以上的指令图标，显示在与所述第一显示区域不同的第二显示区域，

在至少选择被显示在所述第二显示区域的所述一个以上的指令图标中的一个的操作由所述命令接受部接受了的情况下，从所述指令管理部抽出与以被选择的所述指令图标来识别的所述指令相关联的所述参数，在维持所述显示画面的所述第一显示区域以及所述第二显示区域的显示内容的状态下，从存储在所述指令管理部中的一个以上的参数中，将识别被抽出的所述参数的一个以上的参数图标，显示在与所述第一显示区域以及所述第二显示区域不同的第三显示区域，

所述命令生成部，在两个以上的所述指令图标被选择的情况下，生成用于按照被选择的顺序来执行以该两个以上的指令图标所分别识别的两个以上的所述指令的命令，

所述显示控制部，根据用户的操作，选择在所述第一显示区域上显示的一个对象图标，并拖动该对象图标，

当所述对象图标被选择并被拖动到所述第二显示区域上显示的至少一个指令图标上时，所述命令接受部测量所选择的该对象图标停留在该至少一个指令图标上的时间即第一时间段，当该第一时间段大于等于第一规定时间段的情况下，接受该至少一个指令图标的操作，

当所述对象图标被选择并从所述第二显示区域上显示的所述至少一个指令图标被拖动到所述第三显示区域上显示的至少一个参数图标上时，所述命令接受部测量所选择的该对象图标停留在该至少一个参数图标上的时间即第二时间段，当该第二时间段大于等于第二规定时间段的情况下，接受该至少一个参数图标的操作。

2.如权利要求1所述的信息处理装置，

所述信息处理装置还包括命令执行部，该命令执行部针对所述操作目标对象执行在所述命令生成部生成的所述命令。

3.如权利要求1所述的信息处理装置，

所述显示控制部，在两个以上的所述操作目标对象被选择的情况下，从所述指令管理部抽出能够针对所述两个以上的操作目标对象均能够执行的所述指令。

4.如权利要求1所述的信息处理装置，

所述显示控制部，按照所述显示画面上尚未利用于显示所述图标的余留区域的大小，来校正已显示在所述显示画面上的多个所述图标的显示间隔。

5.如权利要求1所述的信息处理装置，

所述命令生成部还将已生成的所述命令作为处理模式，登录到所述存储部的模式管理部，

所述显示控制部还从所述模式管理部抽出能够针对以被选择的所述对象图标来识别的所述对象而执行的所述处理模式，并使用于识别被抽出的所述处理模式的处理模式图标，显示在与所述显示画面的所述第一显示区域、所述第二显示区域以及所述第三显示区域不同的模式显示区域。

6.如权利要求1所述的信息处理装置，

所述信息处理装置还包括所述显示画面和检测部，该检测部检测所述显示画面的朝向，

所述显示控制部，按照由所述检测部检测出的所述显示画面的朝向，来变更显示在所述显示画面上的所述图标的显示位置。

7.如权利要求1所述的信息处理装置，

所述对象是与所述信息处理装置相连接的外部装置，

所述信息处理装置还包括通信部，该通信部将在所述命令生成部生成的所述命令，发送到与所述操作目标对象相对应的外部装置。

8.如权利要求7所述的信息处理装置，

所述通信部还从所述操作目标对象接收表示该操作目标对象的当前的工作状态的状态信息，

所述显示控制部，在所述操作目标对象处于所述状态信息所表示的工作状态时，从所述指令管理部抽出能够针对该操作目标对象执行的所述指令。

9.如权利要求7所述的信息处理装置，

在所述操作目标对象具有显示画面的情况下，

所述通信部，从所述操作目标对象接收显示布局信息，所述显示布局信息表示显示在该操作目标对象的显示画面的显示内容，

所述显示控制部，还使所述显示布局信息所表示的显示内容，显示在与所述显示画面的所述第一显示区域、所述第二显示区域以及所述第三显示区域不同的虚拟画面显示区域。

10.一种信息处理方法，用于所述信息处理装置，该信息处理装置通过由用户操作显示在显示画面的图标，从而生成对设备的工作进行规定的命令，所述信息处理装置具有存储部，该存储部包含指令管理部，该指令管理部将一个以上的指令与一个以上的参数相关联并进行存储，所述一个以上的指令是指针对对象执行的处理，所述一个以上的参数规定所述指令的处理内容，所述信息处理方法包括：

命令接受步骤，接受用户对显示在所述显示画面的所述图标的操作：

显示控制步骤，使用于识别所述对象的一个以上的对象图标，显示在所述显示画面的第一显示区域：以及

命令生成步骤，按照在所述命令接受步骤中接受的用户的操作，生成作为存储在所述指令管理部的所述指令以及所述参数的集合的命令，

在所述显示控制步骤中，进一步，

在至少选择被显示在所述第一显示区域的所述一个以上的对象图标中的一个的操作在所述命令接受步骤中接受了的情况下，从所述指令管理部抽出能够针对以被选择的所述对象图标来识别的操作目标对象而执行的所述指令，在维持所述显示画面的所述第一显示区域的显示内容的状态下，从存储在所述指令管理部中的一个以上的指令中，将识别被抽出的所述指令的一个以上的指令图标，显示在与所述第一显示区域不同的第二显示区域，

在至少选择被显示在所述第二显示区域的所述一个以上的指令图标中的一个的操作在所述命令接受步骤中接受了的情况下，从所述指令管理部抽出与以被选择的所述指令图标来识别的所述指令相关联的所述参数，在维持所述显示画面的所述第一显示区域以及所述第二显示区域的显示内容的状态下，从存储在所述指令管理部中的一个以上的参数中，将识别被抽出的所述参数的一个以上的参数图标，显示在与所述第一显示区域以及所述第二显示区域不同的第三显示区域，

在所述命令生成步骤，在两个以上的所述指令图标被选择的情况下，生成用于按照被选择的顺序来执行以该两个以上的指令图标所分别识别的两个以上的所述指令的命令，

在所述显示控制步骤中，根据用户的操作，选择在所述第一显示区域上显示的一个对象图标，并拖动该对象图标，

在所述命令接受步骤中，当所述对象图标被选择并被拖动到所述第二显示区域上显示的至少一个指令图标上时，测量所选择的该对象图标停留在该至少一个指令图标上的时间即第一时间段，当该第一时间段大于等于第一规定时间段的情况下，接受该至少一个指令图标的操作，

在所述命令接受步骤中，当所述对象图标被选择并从所述第二显示区域上显示的所述至少一个指令图标被拖动到所述第三显示区域上显示的至少一个参数图标上时，测量所选择的该对象图标停留在该至少一个参数图标上的时间即第二时间段，当该第二时间段大于等于第二规定时间段的情况下，接受该至少一个参数图标的操作。

11.一种集成电路，搭载在信息处理装置，所述信息处理装置具有存储部，并且，通过使用户操作显示在显示画面的图标，从而生成对设备的工作进行规定的命令，所述存储部包含指令管理部，该指令管理部将一个以上的指令与一个以上的参数相关联并进行存储，所述一个以上的指令是指针对对象执行的处理，所述一个以上的参数规定所述指令的处理内容，所述集成电路包括：

命令接受部，接受用户对显示在所述显示画面的所述图标的操作：

显示控制部，使用于识别所述对象的一个以上的对象图标，显示在所述显示画面的第一显示区域：以及

命令生成部，按照所述命令接受部所接受的用户的操作，生成作为存储在所述指令管理部的所述指令以及所述参数的集合的命令，

所述显示控制部，进一步，

在至少选择被显示在所述第一显示区域的所述一个以上的指令图标中的一个的操作由所述命令接受部接受了的情况下，从所述指令管理部抽出能够针对以被选择的所述对象图标来识别的操作目标对象而执行的所述指令，在维持所述显示画面的所述第一显示区域的显示内容的状态下，从存储在所述指令管理部中的一个以上的指令中，将识别被抽出的所述指令的一个以上的指令图标，显示在与所述第一显示区域不同的第二显示区域，

在至少选择被显示在所述第二显示区域的所述一个以上的指令图标中的一个的操作由所述命令接受部接受了的情况下，从所述指令管理部抽出与以被选择的所述指令图标来识别的所述指令相关联的所述参数，在维持所述显示画面的所述第一显示区域以及所述第二显示区域的显示内容的状态下，从存储在所述指令管理部中的一个以上的参数中，将识别被抽出的所述参数的一个以上的参数图标，显示在与所述第一显示区域以及所述第二显示区域不同的第三显示区域，

所述命令生成部，在两个以上的所述指令图标被选择的情况下，生成用于按照被选择的顺序来执行以该两个以上的指令图标所分别识别的两个以上的所述指令的命令，

所述显示控制部，根据用户的操作，选择在所述第一显示区域上显示的一个对象图标，并拖动该对象图标，

当所述对象图标被选择并被拖动到所述第二显示区域上显示的至少一个指令图标上时，所述命令接受部测量所选择的该对象图标停留在该至少一个指令图标上的时间即第一时间段，当该第一时间段大于等于第一规定时间段的情况下，接受该至少一个指令图标的操作，

当所述对象图标被选择并从所述第二显示区域上显示的所述至少一个指令图标被拖动到所述第三显示区域上显示的至少一个参数图标上时，所述命令接受部测量所选择的该对象图标停留在该至少一个参数图标上的时间即第二时间段，当该第二时间段大于等于第二规定时间段的情况下，接受该至少一个参数图标的操作。

Images