WO2015104865A1

WO2015104865A1 - ユーザインタフェース設計支援装置

Info

Publication number: WO2015104865A1
Application number: PCT/JP2014/072189
Authority: WO
Inventors: 嘉章北村; 伸俊轟木; 啓嗣岡本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-01-10
Filing date: 2014-08-25
Publication date: 2015-07-16
Anticipated expiration: 2016-07-10
Also published as: JP2017040952A

Abstract

　配置関係推定部１０８は、ＵＩ部品検索部１０７に入力された検索ＵＩ部品群を構成する各部品の配置関係を推定する。類似度計算部１０９は、配置関係推定部１０８で推定された配置関係と、ＵＩ部品検索部１０７に入力された検索対象ＵＩ部品を構成する各部品の配置関係との類似度を計算する。ＵＩ部品検索部１０７は、類似度計算部１０９の計算結果に基づいて検索結果となるＵＩ部品を決定する。

Description

ユーザインタフェース設計支援装置

　この発明は、組み込み機器のユーザインタフェースを設計するユーザインタフェース設計装置において、ユーザインタフェース部品を検索して出力するユーザインタフェース設計支援装置に関するものである。

　近年、情報機器において、ユーザインタフェースは情報機器自体や開発会社などを特徴付ける重要な位置づけとなっている。それに伴い、ユーザインタフェースはますます高度化、複雑化してきており、開発ごとにユーザインタフェース全体を完全に作り直すことは工数の面から現実的ではない。このような問題を解決するため、ユーザインタフェース設計装置においては、ユーザが利用可能なユーザインタフェース部品を組み合わせて新たにユーザインタフェース部品を作成するという部品化と称される手法を用いる場合がある。
　部品化されたユーザインタフェース部品は、その後の開発に再利用することが可能である。
　ユーザインタフェースを開発する際には、可能な限り過去の開発において部品化された
ユーザインタフェース部品を再利用し、必要がある場合のみ新たにユーザインタフェース部品を作成することによって開発工数の削減が期待できる。

　一方、このような方法によってユーザインタフェースの開発を重ねると、蓄積されたユーザインタフェース部品の数が膨大となり、開発者がユーザインタフェース部品を利用する際に所望のユーザインタフェース部品を探し出すことが困難になるという問題がある。
　そのため、開発者は再利用可能なユーザインタフェース部品を探し出すことを諦め、過去に作成されているユーザインタフェース部品であっても再度作成することとなり、開発工数が増加してしまう。

　このような問題を解決するため、従来では、例えば特許文献１に示すように、画面を設計する際に項目名や機能名などを文字列によって設定し、過去に設計した画面より同じ項目名と機能名に対して設定されたユーザインタフェース部品を検索し、開発者に提示する、といった方法があった。また、例えば、特許文献２に示すように、各属性の値や文字列を比較し、標準的な部品や類似部品を検索するといった方法があった。

特開２０１３－２０４１６号公報特開平９－１７９８９２号公報

　しかしながら、膨大に蓄積されたユーザインタフェース部品群から所望のユーザインタフェース部品を文字列や具体的な属性値によって検索することは困難であった。例えば、特殊なメニューを形成する部品を検索したい場合、抽象的な「メニュー」などの文字列で検索すると、メニューを形成する膨大な部品が出力され、結局、開発者は提示されたユーザインタフェース部品から所望のユーザインタフェース部品を手作業によって探し出さなければならないという問題があった。また、詳細な文字列によって検索しようとした場合、過去に作成されたユーザインタフェース部品は開発者と別の開発者が作成しており、かつ開発プロジェクトなども異なることが予想され、ユーザインタフェース部品に対する命名規則などが異なる場合があるため、所望のユーザインタフェース部品を検索するための正確な文字列を探し出すことは非常に難しいという問題があった。また、開発プロジェクトごとに画面サイズなども異なるため、大きさといった具体的な属性値を用いてユーザインタフェース部品を探し出すことも困難であった。

　本発明は、上記のような問題点を解決するためになされたものであり、膨大に蓄積されたユーザインタフェース部品群から所望のユーザインタフェース部品を直感的かつ容易に検索可能なユーザインタフェース設計支援装置を得ることを目的とする。

　この発明に係るユーザインタフェース設計支援装置は、複数の基本部品を組み合わせて形成された検索対象ユーザインタフェース部品と、検索対象ユーザインタフェース部品を検索するための検索クエリとしての検索ユーザインタフェース部品群とを入力し、検索対象ユーザインタフェース部品の検索を行うＵＩ部品検索部と、ＵＩ部品検索部に入力された検索ユーザインタフェース部品群を構成する各部品の配置関係を推定する配置関係推定部と、配置関係推定部で推定された各部品の配置関係と、ＵＩ部品検索部に入力された検索対象ユーザインタフェース部品を構成する各部品の配置関係との類似度を計算する類似度計算部とを備え、ＵＩ部品検索部は、類似度計算部の計算結果に基づいて、検索対象ユーザインタフェース部品の中から、検索結果となるユーザインタフェース部品を決定するようにしたものである。

　この発明のユーザインタフェース設計支援装置は、検索ユーザインタフェース部品群を構成する各部品の配置関係を推定した配置関係と、検索対象ユーザインタフェース部品を構成する各部品の配置関係との類似度に基づいて検索を行うようにしたので、膨大に蓄積されたユーザインタフェース部品の中から所望のユーザインタフェース部品を直感的かつ容易に検索することができる。

本発明の実施の形態１によるユーザインタフェース設計支援装置を示すブロック図である。本発明の実施の形態１によるユーザインタフェース設計支援装置のハードウェア構成を示すブロック図である。本発明におけるユーザインタフェース設計支援装置の階層的なユーザインタフェース部品設計方法を示す説明図である。本発明の実施の形態１によるユーザインタフェース設計支援装置のＵＩ部品検索処理の流れを示すフローチャートである。本発明の実施の形態１によるユーザインタフェース設計支援装置のＵＩ部品検索部に入力するための検索ウィンドウを示す説明図である。本発明の実施の形態１によるユーザインタフェース設計支援装置の配置関係推定処理の流れを示すフローチャートである。本発明の実施の形態１によるユーザインタフェース設計支援装置の各ＵＩ部品配置関係推定処理の流れを示すフローチャートである。本発明の実施の形態１によるユーザインタフェース設計支援装置の各ＵＩ部品配置関係推定処理の出力を示す説明図である。本発明の実施の形態１によるユーザインタフェース設計支援装置の配置関係推定処理の出力を示す説明図である。本発明の実施の形態１によるユーザインタフェース設計支援装置の類似度計算処理の流れを示すフローチャートである。本発明の実施の形態２によるユーザインタフェース設計支援装置を示すブロック図である。本発明の実施の形態２によるユーザインタフェース設計支援装置の蓄積されているＵＩ部品作成方法の違いを示す説明図である。本発明の実施の形態２によるユーザインタフェース設計支援装置のＵＩ部品変換部の処理の流れを示すフローチャートである。本発明の実施の形態３によるユーザインタフェース設計支援装置を示すブロック図である。本発明の実施の形態３によるユーザインタフェース設計支援装置のＵＩ部品検索処理の流れを示すフローチャートである。本発明の実施の形態３によるユーザインタフェース設計支援装置のユーザ入力イベント取得部で個数のみ取得した場合の出力を示す説明図である。本発明の実施の形態３によるユーザインタフェース設計支援装置のユーザ入力イベント取得部で複数の情報を取得した場合の出力を示す説明図である。本発明の実施の形態３によるユーザインタフェース設計支援装置の類似度計算処理の流れを示すフローチャートである。本発明の実施の形態４によるユーザインタフェース設計支援装置を示すブロック図である。本発明の実施の形態４によるユーザインタフェース設計支援装置のＵＩ部品検索処理の流れを示すフローチャートである。本発明の実施の形態４によるユーザインタフェース設計支援装置のユーザ入力イベント変換処理の流れを示すフローチャートである。本発明の実施の形態５によるユーザインタフェース設計支援装置を示すブロック図である。本発明の実施の形態５によるユーザインタフェース設計支援装置の検索ＵＩ部品群編集部の処理の流れを示すフローチャートである。

　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１によるユーザインタフェース設計支援装置を適用したユーザインタフェース設計装置を示す構成図である。なお、以下、ユーザインタフェースをＵＩ（User Interface）と称す。
　図１に示すＵＩ設計装置は、入力装置１０１、画面設計部１０２、ＵＩ部品設計部１０３、ＵＩ設計部１０４、画面格納部１０５、ＵＩ部品格納部１０６、ＵＩ部品検索部１０７、配置関係推定部１０８、類似度計算部１０９、表示装置１１０を備える。

　入力装置１０１は、画面設計部１０２やＵＩ部品設計部１０３、あるいはＵＩ部品検索部１０７において、ユーザがＵＩ設計装置へ入力を行うためのポインティングデバイスやキーボードといった入力装置である。画面設計部１０２では、ＵＩ部品格納部１０６に格納されたＵＩ部品を用いて画面を設計する。ＵＩ部品設計部１０３では、位置や大きさといったＵＩ部品の属性の編集や複数のＵＩ部品の組み合わせなどを行い、ＵＩ部品格納部１０６に格納する。ＵＩを設計するためには画面とＵＩ部品の両方を設計する必要があり、画面設計部１０２とＵＩ部品設計部１０３を合わせてＵＩ設計部１０４が実現されている。
　画面格納部１０５では、画面設計部１０２において設計された画面の設計情報が格納されている。画面の設計情報とは、画面の識別子、配置されているＵＩ部品の識別子、ＵＩ部品の配置情報、などであり、その他にも、画面を利用しているプロジェクトの識別子やアプリケーションの基調色、画面の機能や特徴を説明する文字列、などを含んでいても構わない。また、画面格納部１０５には、他ユーザが画面設計部１０２によって作成した画面を予め格納していてもよい。

　ＵＩ部品格納部１０６では、ＵＩ部品設計部１０３において設計されたＵＩ部品が格納されている。また、ＵＩ部品格納部１０６には、基本的な部品としてＵＩ設計装置が提供するＵＩ部品や他ユーザがＵＩ部品設計部１０３においてＵＩ部品を単一もしくは複数配置することによって作成した複合的なＵＩ部品を予め格納していてもよい。ＵＩ部品検索部１０７では、ＵＩ設計部１０４よりＵＩ部品群を入力として受け取り、ＵＩ部品格納部１０６に格納されているＵＩ部品から類似のＵＩ部品を検索する。入力として受け取ったＵＩ部品群は配置関係推定部１０８へと受け渡し、類似度計算部１０９の結果から検索結果となるＵＩ部品を決定する。検索結果のＵＩ部品はＵＩ設計部１０４を介してユーザに提供される。

　配置関係推定部１０８では、ＵＩ部品格納部１０６に格納されているＵＩ部品群やＵＩ部品検索部１０７から入力されたＵＩ部品群の配置関係を推定する。配置関係は、例えば「縦に並んでいる」かつ「大きさが同じである」といったように複数存在する場合がある。
　類似度計算部１０９では、配置関係推定部１０８によって推定されたＵＩ部品群の配置関係同士を比較し、類似度を算出する。

　図２は、このＵＩ装置を実現するハードウェア構成の一例を示す図であり、パーソナルコンピュータ（ＰＣ）２０１での構成例である。画面格納部１０５、ＵＩ部品格納部１０６は、ＲＡＭやハードディスクといった記憶装置２０３に記憶されており、ＵＩ設計部１０４に内包される画面設計部１０２およびＵＩ部品設計部１０３と、ＵＩ部品検索部１０７と、配置関係推定部１０８と、類似度計算部１０９は、処理装置２０２でプログラムを実行することで実現される。本ＵＩ設計装置における編集作業はマウス２０５、キーボード２０６といった入力装置１０１によって行われる。編集作業を行う画面はディスプレイ２０４といった表示装置１１０によって出力される。なお、入力装置１０１、表示装置１１０としては、入力／出力のどちらも行えるタッチパネルなどであってもよい。

　次に、このような構成のＵＩ設計装置におけるＵＩの設計の流れについて、以下に説明する。
　本ＵＩ設計装置のユーザである開発者は、まず、ＵＩ部品設計部１０３においてＵＩ部品を作成する。ＵＩ部品設計部１０３では、設計ウィンドウ上でＵＩ部品の外観を表示しながら、ＵＩ部品の位置や大きさといった属性の編集や既にＵＩ部品格納部１０６に格納されているＵＩ部品を配置して複合的なＵＩ部品を作成する。設定した属性値や配置したＵＩ部品は表示装置上での表示に反映されるため、対応したＵＩ部品の表示を見ながら作成することが可能である。場合によっては、作成したＵＩ部品を用いて更に他のＵＩ部品を作成していく。図３はこのように階層的に作成していくＵＩ部品のイメージを示している。作成したＵＩ部品はＵＩ部品格納部１０６に格納される。

　次に、画面設計部１０２によって画面を作成する。画面設計部１０２では、設計ウィンドウ上で画面の外観を表示しながら、ＵＩ部品格納部１０６に格納されているＵＩ部品を配置して画面を作成する。作成した画面は画面格納部１０５に格納される。
　次に、画面設計部１０２とＵＩ部品設計部１０３を内包するＵＩ設計部１０４において、ＵＩ部品検索部１０７によってＵＩ部品の検索を行う。図４はＵＩ部品検索全体のフローチャートである。ステップＳＴ１０１とステップＳＴ１０４はＵＩ部品検索部１０７において実行される。ステップＳＴ１０２は配置関係推定部１０８において実行される。ステップＳＴ１０３は類似度計算部１０９において実行される。以下、各処理について詳細に説明する。

　図４におけるステップＳＴ１０１では、ＵＩ部品検索部１０７において検索対象ＵＩ部品群入力処理を実行する。以後、検索のクエリとして入力されるＵＩ部品群を検索ＵＩ部品群、検索対象となるＵＩ部品格納部１０６に格納されているＵＩ部品を検索対象ＵＩ部品と呼称する。ＵＩ設計部１０４より検索ＵＩ部品群をする入力方法としては、例えば図５のような検索用ウィンドウを用いる方法がある。ここでは、検索ウィンドウを用いて検索ＵＩ部品群を入力する方法について説明する。検索ウィンドウは、配置可能なＵＩ部品の候補を表示する領域３０１とＵＩ部品を配置する領域３０２を持っている。配置可能なＵＩ部品の候補を表示する領域３０１に表示されているＵＩ部品を、例えばドラッグ＆ドロップによってＵＩ部品を配置する領域３０２へ配置していく。検索ボタン３０３を押下することによって、現在配置しているＵＩ部品群を検索ＵＩ部品群として入力する。なお、検索ＵＩ部品群の入力方法は別の方法であっても構わない。例えば、画面設計部１０２において設計中の画面や画面格納部１０５に格納されている画面に配置されているＵＩ部品群を検索ＵＩ部品群として入力する方法であっても構わない。

　図６は配置関係推定部１０８において実行される配置関係推定処理を示すフローチャートである。これは、図４におけるステップＳＴ１０２の処理に該当する。ステップＳＴ２０１では、入力された検索ＵＩ部品群よりＵＩ部品を１つ取得する。ステップＳＴ２０２では、ステップＳＴ２０１において取得したＵＩ部品の位置属性を取得する。ステップＳＴ２０３では、ステップＳＴ２０１において取得したＵＩ部品のサイズ属性を取得する。
　ステップＳＴ２０４では、入力された検索ＵＩ部品群に位置属性とサイズ属性を取得していないＵＩ部品が残っていないか確認する。ＵＩ部品が残っていた場合、ステップＳＴ２０１からステップＳＴ２０３を繰り返す。ＵＩ部品が残っていない場合、ステップＳＴ２０５へ進む。ステップＳＴ２０５では、各ＵＩ部品間の位置属性やサイズ属性を比較して、配置関係を推定する。

　図７は、図６におけるステップＳＴ２０５の各ＵＩ部品配置関係推定処理の流れを示すフローチャートである。ステップＳＴ３０１では、入力された検索ＵＩ部品群よりＵＩ部品を１つ取得し、これを仮にＵＩ部品Ａと呼称する。ステップＳＴ３０２では、入力された検索ＵＩ部品群よりステップＳＴ３０１において取得されたＵＩ部品Ａ以外のＵＩ部品を１つ取得する。ステップＳＴ３０３では、ステップＳＴ３０１において取得したＵＩ部品ＡとステップＳＴ３０２において取得したＵＩ部品間の配置関係を推定する。この時、推定可能な配置関係と、配置関係として推定される条件は予め決めておくこととする。例えば、「縦に並んでいる」という配置関係に対しては２つのＵＩ部品のｘ座標を比較し、同じ値、あるいは近い値であった場合に推定される。この時、どの程度の差までを近い値として許容するかは予め設定しておくか、図５に示す検索ウィンドウなどによって検索時に設定しておく。

　同じように、「横に並んでいる」という配置関係に対しては２つのＵＩ部品のｙ座標を比較し、全て同じ値、あるいは近い値であった場合に推定される。「大きさが同じである」という配置関係に対しては２つのＵＩ部品のサイズ属性を比較し、全て同じ値、あるいは近い値であった場合に推定される。「あるＵＩ部品が他のＵＩ部品に含まれる」という配置関係に対しては、１つのＵＩ部品の表示領域がもう１つのＵＩ部品の表示領域に完全に含まれる推定される。すなわち、画面の左上を（ｘ，ｙ）＝（０，０）とした場合、１つのＵＩ部品のｘ座標、ｙ座標が両方とももう１つのＵＩ部品のｘ座標、ｙ座標より座標値が大きく、かつ１つのＵＩ部品のｘ座標に幅を足した値、ｙ座標に高さを足した値が両方とももう１つのＵＩ部品のｘ座標に幅を足した値、ｙ座標に高さを足した値より小さい場合である。
　これらの値の大小は一例であり、座標系によって変化し得る。なお、配置関係と条件については、別の関係と条件であっても構わない。例えば、「同じ位置に配置されている」という関係の場合は位置属性が同一である、「あるＵＩ部品が他のＵＩ部品の半分の大きさである」という関係の場合は１つのＵＩ部品のサイズ属性がもう１つのＵＩ部品のサイズ属性の半分である、といった関係と条件があっても構わない。

　ステップＳＴ３０４では、ＵＩ部品Ａとの配置関係を推定していないＵＩ部品が残っていないか確認する。残っていた場合、ステップＳＴ３０２から処理を繰り返す。残っていない場合、ステップＳＴ３０５に進む。ステップＳＴ３０５では、ＵＩ部品Ａについての配置関係を出力する。図８は出力形態のイメージ図である。各配置関係に対し、ＵＩ部品ＡがいくつのＵＩ部品と関係があるかを出力する。ステップＳＴ３０６では、入力された検索ＵＩ部品群に配置関係を推定していないＵＩ部品が残っていないか確認する。残っていた場合、ステップＳＴ３０１からの処理を繰り返す。この場合、対象とするＵＩ部品がＵＩ部品Ｂ、Ｃ、…となる。一方、ステップＳＴ３０６で残っていない場合、各ＵＩ部品配置関係推定処理を終了する。

　図６に戻り、ステップＳＴ２０６では、ステップＳＴ２０５において推定した各ＵＩ部品の配置関係を検索ＵＩ部品群の配置関係として統合する。図９は各ＵＩ部品の配置関係を統合した結果を示すイメージ図である。検索ＵＩ部品群の配置関係は、ＵＩ部品の配置関係と異なり、構成部品数を含めた配置関係の数を記載する。例えば、図９の１行目は「３個のＵＩ部品が縦に並んでいる」という配置関係が２つ存在するということを示している。検索ＵＩ部品群の配置関係を得るには、まず、２つのＵＩ部品と「縦に並んでいる」という配置関係を「３つのＵＩ部品が縦に並んでいる」という構成部品数を含めた配置関係に変換するように、各ＵＩ部品の配置関係を構成部品数を含めた配置関係に変換する。次に、検索ＵＩ部品群の全てのＵＩ部品の配置関係を加算する。そして、「３つのＵＩ部品が縦に並んでいる」という配置関係は、３つのＵＩ部品が配置関係を持っていることが予想されるため、各配置関係の総数を配置関係に含まれたＵＩ部品の数で除算し、その値を検索ＵＩ部品群の配置関係の数とする。ステップＳＴ２０７では、入力された検索ＵＩ部品群の配置関係を図９のような形式によって出力する。

　図１０は、類似度計算部１０９において実行される類似度計算処理を示すフローチャートである。これは、図４におけるステップＳＴ１０３の処理に該当する。ステップＳＴ４０１では、配置関係推定部１０８において推定した検索ＵＩ部品群の配置関係から１つの配置関係を取得する。ステップＳＴ４０２では、検索対象ＵＩ部品の配置関係から１つの配置関係を取得する。ステップＳＴ４０３では、ステップＳＴ４０１とステップＳＴ４０２で取得した２つの配置関係の種類を比較する。２つの配置関係の種類が異なる場合は、ステップＳＴ４０７へ進む、２つの配置関係の種類が同じだった場合は、ステップＳＴ４０４において２つの配置関係の構成部品数と個数に関して類似度を計算する。類似度は例えば、２つの配置関係の構成部品数と個数の差を計算し、０でない場合はその逆数を、０である場合は１として出力する。なお、類似度計算方法はその他の方法であっても構わない。
　例えば、構成部品数について重み付けをするなどしても構わない。また、その他公知の類似度計算方法を用いても良い。

　ステップＳＴ４０５では、ステップＳＴ４０４において計算した類似度と一時的に保存している類似度を比較する。なお、初めてこのステップに到達した際などは一時的に保存している類似度は最低であるとする。一時的に保存している類似度が高い場合には、ステップＳＴ４０７へ進む。ステップＳＴ４０４において計算した類似度が高い場合には、ステップＳＴ４０６へ進む。ステップＳＴ４０６では、ステップＳＴ４０４において計算した類似度を一時保存している類似度として上書きする。ステップＳＴ４０７では、検索対象ＵＩ部品の配置関係を全て取得したか確認する。取得していない配置関係が残っている場合、ステップＳＴ４０２に戻り処理を繰り返す。全て取得していた場合、ステップＳＴ４０８へ進む。ステップＳＴ４０８では、一時保存している類似度をステップＳＴ４０１において取得した配置関係の類似度として出力する。ステップＳＴ４０９では、一時保存している類似度を最低に上書きする。

　ステップＳＴ４１０では、検索ＵＩ部品群の配置関係を全て取得したか確認する。取得していない配置関係が残っている場合、ステップＳＴ４０１に戻り処理を繰り返す。全て取得していた場合、ステップＳＴ４１１へ進む。ステップＳＴ４１１では、検索ＵＩ部品群の各配置関係における類似度を統合して検索ＵＩ部品群と検索対象ＵＩ部品の類似度を計算する。計算方法は、例えば各配置関係の類似度を加算平均する。なお、この計算方法は他の方法であっても構わない。例えば、特定の配置関係の類似度を高く見積もるなど重み付けを行っても良い。ステップＳＴ４１２では、ステップＳＴ４１１において計算した類似度を出力する。

　なお、類似度計算部１０９において利用される検索対象ＵＩ部品の配置関係は、予め推定しておきＵＩ部品格納部１０６へ格納しておいても良いし、配置関係推定部１０８において検索ＵＩ部品群と共に推定しても良い。

　図４に戻り、ステップＳＴ１０４では、類似度計算部１０９の計算結果に基づき、類似度が高い検索対象ＵＩ部品を順に出力する。この時、出力されるＵＩ部品数は予め設定しておいても良いし、図５に示す検索ウィンドウなどによって検索時に設定しておいても良い。

　このように、実施の形態１では、ＵＩ部品群の配置関係によってＵＩ部品を検索することによって、文字列や具体的な属性値によらず検索を行うことが可能となる。例えば、具体的な入力による絞込みが必要である文字列による検索に比べ、抽象的にＵＩ部品を配置することによって検索結果を得られ、直感的かつ容易に所望のＵＩ部品を検索することが可能である。

　以上説明したように、実施の形態１のユーザインタフェース設計支援装置によれば、複数の基本部品を組み合わせて形成された検索対象ユーザインタフェース部品と、検索対象ユーザインタフェース部品を検索するための検索クエリとしての検索ユーザインタフェース部品群とを入力し、検索対象ユーザインタフェース部品の検索を行うＵＩ部品検索部と、ＵＩ部品検索部に入力された検索ユーザインタフェース部品群を構成する各部品の配置関係を推定する配置関係推定部と、配置関係推定部で推定された各部品の配置関係と、ＵＩ部品検索部に入力された検索対象ユーザインタフェース部品を構成する各部品の配置関係との類似度を計算する類似度計算部とを備え、ＵＩ部品検索部は、類似度計算部の計算結果に基づいて、検索対象ユーザインタフェース部品の中から、検索結果となるユーザインタフェース部品を決定するようにしたので、ユーザインタフェース部品を検索する際に、文字列や具体的な属性値によらず、配置関係というユーザインタフェース部品自体の特徴によって検索するため、直感的かつ容易に所望のユーザインタフェース部品を検索することが可能になる。

実施の形態２．
　図１１は実施の形態２によるユーザインタフェース設計支援装置を適用したＵＩ設計装置を示す構成図である。図１１において、入力装置１０１～表示装置１１０における基本的な構成は、図１に示した実施の形態１と同様であるため、ここでの説明は省略する。
　実施の形態２では、あらかじめ設定されていた条件を満たす検索ＵＩ部品群を構成するＵＩ部品が存在する場合、条件に当てはまるＵＩ部品を必要に応じて変換するＵＩ部品変換部４０１を備える。すなわち、このＵＩ部品変換部４０１は、ＵＩ部品検索部１０７に入力された検索ＵＩ部品群が、設定された交換条件を満たしている場合、この検索ＵＩ部品群を構成する各部品を合成または分解して、別種の検索ＵＩ部品群に変換するものである。また、配置関係推定部１０８において推定を行う際には、ＵＩ部品変換部４０１において変換した結果を用いて検索ＵＩ部品群の配置関係を推定する。

　蓄積されたＵＩ部品は過去のＵＩ設計装置によって設計されたＵＩ部品であるため、場合によっては、現在はサポートしているものの過去はサポートされていなかった、または逆に過去にサポートされていたものの現在はサポートされていないＵＩ部品が存在する可能性がある。もしくは、蓄積されているＵＩ部品を設計したＵＩ設計装置と現在使用しているＵＩ設計装置が異なる場合などにもサポートの有無が存在する。例えば、図１２のようにあるＵＩ設計装置ではボタンがサポートされておらず文字列や画像を組み合わせてボタンを作成していたが、新しいＵＩ設計装置もしくは別のＵＩ設計装置においてはボタンがサポートされている場合などが考えられる。そこで、あらかじめ設定しておいたＵＩ部品については、例えば合成や分解などを行い別種のＵＩ部品として解釈して配置関係推定を実施することを可能にする。

　実施の形態２におけるＵＩ部品変換部４０１のＵＩ部品変換処理の流れを図１３に示す。ステップＳＴ５０１では、あらかじめ設定されている変換条件が存在するか確認を行う。変換条件は、例えば「画像部品の上に文字列部品が重なっている場合、ボタン部品とみなす」といったようにＵＩ部品の種類や前後関係、保持している属性値などを基に、変換前のＵＩ部品と変換後のＵＩ部品を記述されている。記述方法は自然言語による文章やコンピュータ言語などによる式の形などでも構わない。また、ＵＩ部品の変換は１つのＵＩ部品を１つのＵＩ部品とする変換や複数のＵＩ部品を合成して１つのＵＩ部品とする変換だけでなく、１つのＵＩ部品を分解して複数のＵＩ部品とする変換や複数のＵＩ部品を複数のＵＩ部品とする変換など変換前後でＵＩ部品の数が変化しても構わない。もし、交換条件が全く設定されていなかった場合、または全ての交換条件の確認が完了している場合は処理を終了する。条件が設定されている場合、ステップＳＴ５０２において設定されている条件の中の１つの条件を取得する。ステップＳＴ５０３では、処理を実施しているＵＩ部品を構成するＵＩ部品の中にステップＳＴ５０２において取得した条件に合致するＵＩ部品が存在するか確認を行う。条件に合致するＵＩ部品が存在しない場合、ステップＳＴ５０１に戻って処理を繰り返す。条件に合致するＵＩ部品が存在する場合、ステップＳＴ５０４へ進む。ステップＳＴ５０４では、条件に従ってＵＩ部品を変換する。以後、変換を実施したＵＩ部品は、属性値などを含め変換後のＵＩ部品として取り扱われる。変換が完了するとステップＳＴ５０１へ戻る。

　以上説明したように、実施の形態２のユーザインタフェース設計支援装置によれば、ユーザインタフェース部品検索部に入力された検索ユーザインタフェース部品群が、設定された交換条件を満たしている場合、検索ユーザインタフェース部品群を構成する各部品を合成または分解して、別種の検索ユーザインタフェース部品群に変換するユーザインタフェース部品変換部を備え、配置関係推定部は、ユーザインタフェース部品変換部が別種の検索ユーザインタフェース部品群への変換を行った場合、変換された別種のユーザインタフェース部品群を構成する各部品の配置関係を推定するようにしたので、蓄積されていたＵＩ部品を作成したＵＩ設計装置と検索する際に使用するＵＩ設計装置が異なっている場合等においても、サポートしているＵＩ部品の形式によらず所望のＵＩ部品を検索することが可能となる。

実施の形態３．
　図１４は実施の形態３によるユーザインタフェース設計支援装置を適用したＵＩ設計装置を示す構成図である。図１４において、入力装置１０１～表示装置１１０における基本的な構成は、図１に示した実施の形態１と同様であるため、ここでの説明は省略する。
　実施の形態３では、ＵＩ部品に設定されているユーザ入力イベントハンドラを取得するユーザ入力イベントハンドラ取得部５０１を備える。また、ＵＩ部品検索部１０７に検索ＵＩ部品群を入力する際に配置する部品にクリックやドラッグ、フリック、スワイプといったユーザ入力イベントハンドラを関連づけることが可能であり、類似度計算部１０９において類似度計算を行う際、ユーザ入力イベントハンドラも考慮して計算を行う。

　本ＵＩ設計装置の検索処理において、入力する検索ＵＩ部品群の配置関係のみを考慮すると、ＵＩ部品の見た目に関して直感的かつ容易に検索が実行できるものの、ＵＩ部品の働きに関して検索することは困難である。そこで、開発者が図５の検索ウィンドウなどを用いて検索ＵＩ部品群を入力する際、各ＵＩ部品にユーザ入力イベントハンドラを設定することを可能にする。類似度計算部１０９において類似度計算を行う際、入力の際に設定したユーザ入力イベントハンドラと検索対象ＵＩ部品が持つユーザ入力イベントハンドラを比較し、類似度計算に反映する。

　実施の形態３における検索処理の流れを図１５に示す。図１５において図４と同一符号を付した処理は同一またはこれに相当した機能を有するので説明を省略する。ステップＳＴ６０１では、入力された検索ＵＩ部品群と検索対象ＵＩ部品よりユーザ入力イベントハンドラ取得部５０１はユーザ入力イベントハンドラを取得する。取得する情報としては、様々な情報を取得して構わない。例えばユーザ入力イベントハンドラの個数やユーザ入力イベントハンドラの名前、ユーザ入力イベントハンドラの種類、ユーザ入力イベントハンドラの動作条件、ユーザ入力イベントハンドラの動作内容、ユーザ入力イベントハンドラの設定対象部品、ユーザ入力イベントハンドラの実行ユーザ、ユーザ入力イベントハンドラに関する設計環境や実行環境に依存する特殊な情報を含むその他情報、またはこれら複数の組み合わせなどを取得しても良い。個数のみ取得したユーザ入力イベントハンドラのイメージを図１６に、複数の情報を組み合わせて取得したユーザ入力イベントハンドラのイメージを図１７に示す。

　図１８は、図１５におけるステップＳＴ６０２の類似度計算処理の流れを示している。
　図１８において図１０と同一符号を付した処理は同一またはこれに相当した機能を有するので説明を省略する。ステップＳＴ７０１では、ユーザ入力イベントハンドラの類似度を計算する。検索ＵＩ部品群と検索対象ＵＩ部品が持つ各ユーザ入力イベントハンドラについて個数を比較し、その差の合計の逆数を類似度とする。なお、この類似度計算方法は他の方法であっても構わない。例えば、ユーザ入力イベントハンドラとその個数が一致していない場合に１を加算し、一致している場合には加算しないとし、その合計の逆数を類似度としても良い。その他、ユーザ入力イベントハンドラの種類や名前、動作条件、動作内容、設定対象部品、実行ユーザの文字列比較を行っても良いし、重みづけや特殊な文字列や関数の出現をチェックするなど情報に応じた特殊な類似度計算を行っても良い。また、検索対象ＵＩ部品のユーザ入力イベントハンドラは、予めそれぞれの検索対象ＵＩ部品に情報として備えられているものとする。

　ステップＳＴ７０２では、検索ＵＩ部品群の各配置関係における類似度とユーザ入力イベントハンドラの類似度を統合して検索ＵＩ部品群と検索対象ＵＩ部品の類似度を計算する。計算方法は例えば、各配置関係の類似度を加算平均する。なお、この計算方法は他の方法であっても構わない。例えば、特定の配置関係もしくはユーザ入力イベントハンドラの類似度を高く見積もるなど重み付けを行っても良い。
　このように、ユーザ入力イベントハンドラも類似度計算に用いることによって、ＵＩ部品の見た目だけでなく、ＵＩ部品の働きに関しても直感的かつ容易に検索することが可能になる。

　以上説明したように、実施の形態３のユーザインタフェース設計支援装置によれば、検索ユーザインタフェース部品群に設定されているユーザ入力イベントハンドラと、検索対象ユーザインタフェース部品に設定されているユーザ入力ハンドラとを取得するユーザ入力イベントハンドラ取得部を備え、類似度計算部は、ユーザインタフェース部品検索部で検索を実行する際、ユーザ入力イベントハンドラ取得部で取得したユーザインタフェース部品群のユーザ入力イベントハンドラと、検索対象ユーザインタフェース部品のユーザ入力イベントハンドラとの類似度を含めて計算するようにしたので、ユーザインタフェース部品を検索する際に、配置関係だけでなくユーザインタフェース部品の実行時の働きも考慮した検索が可能になるため、より直感的かつ容易に所望のユーザインタフェース部品を検索することが可能になる。

実施の形態４．
　図１９は実施の形態４によるＵＩ設計装置を表す構成図である。図１９において、入力装置１０１～表示装置１１０、ユーザ入力イベントハンドラ取得部５０１における基本的な構成は、図１４に示した実施の形態３と同様であるため、ここでの説明は省略する。
　実施の形態４では、ユーザ入力イベントハンドラの合成や分解といった変換を行うユーザ入力イベントハンドラ変換部６０１を備える。このユーザ入力イベントハンドラ変換部６０１は、ユーザ入力イベントハンドラ取得部５０１において取得したユーザ入力イベントハンドラを同等の働きで異なるユーザ入力イベントハンドラに変換するものである。また、実施の形態４では、類似度計算部１０９における類似度計算において、ユーザ入力イベントハンドラも考慮して計算する前に、ユーザ入力イベントハンドラ変換部６０１が既定の変換方法に従ってユーザ入力イベントハンドラを変換するよう構成されている。

　蓄積されたＵＩ部品は過去のＵＩ設計装置によって設計されたＵＩ部品であるため、場合によっては、現在はサポートしているものの過去はサポートされていなかったユーザ入力イベントハンドラが存在する可能性がある。例えば、近年スマートフォンに代表されるタッチパネルの台頭により、従来サポートされていなかったフリックやスワイプといった入力をサポートするＵＩ設計装置が出てきている。一方、過去のＵＩ設計装置によって設計されたＵＩ部品であっても、サポートされているユーザ入力イベントハンドラを駆使してフリックやスワイプなど従来サポートされていなかったユーザ入力イベントハンドラと同等のユーザ入力イベントハンドラを実現している可能性がある。現在においても、従来のユーザ入力イベントハンドラによって新しいユーザ入力イベントハンドラを実現しているＵＩ部品は再利用や参考として利用される場合がある。しかしながら、どのように設計されているかを推測して検索する必要がある上、新しいユーザ入力イベントハンドラを設定されているＵＩ部品と同時に検索することは困難である。そこで、実施の形態４では、検索ＵＩ部品群に設定されたユーザ入力イベントハンドラを、合成または分解して同等の働きで異なるユーザ入力イベントハンドラに変換し、類似度計算に利用する。

　実施の形態４における検索処理の流れを図２０に示す。図２０において図１５と同一符号を付した処理は同一またはこれに相当した機能を有するので説明を省略する。
　図２１は、図２０におけるステップＳＴ８０１のユーザ入力イベントハンドラ変換処理の流れを示している。ステップＳＴ９０１では、予めユーザ入力イベントハンドラの変換方法を記載したリストを取得する。リストには、例えば「プレスイベントとドラッグイベントとリリースイベントが存在している場合フリックイベントに変換する」、「マルチタッチイベントとドラッグイベントが存在している場合ピンチインイベントもしくはピンチアウトイベントに変換する」といった内容が記載されている。このリストは開発者が自由に編集しても良い。ステップＳＴ９０２では、検索ＵＩ部品群よりＵＩ部品を１つ取得する。ステップＳＴ９０３では、取得したＵＩ部品に設定されているユーザ入力イベントハンドラを取得する。ステップＳＴ９０４では、ステップＳＴ９０３において取得したユーザ入力イベントハンドラとリストに記載されている変換可能なユーザ入力イベントハンドラを比較する。変換可能なユーザ入力イベントハンドラが存在しない場合、ステップＳＴ９０６へ進む。変換可能なユーザ入力イベントハンドラが存在する場合、ステップＳＴ９０５へ進む。ステップＳＴ９０５では、変換前のユーザ入力イベントハンドラと変換後のユーザ入力イベントハンドラの対応を出力する。ステップＳＴ９０６では、検索ＵＩ部品群のＵＩ部品を全て取得したか確認する。取得していないＵＩ部品が残っている場合、ステップＳＴ９０２に戻り処理を繰り返す。取得していないＵＩ部品が残っていない場合、処理を終了する。

　図２０に戻り、ステップＳＴ８０２では、ステップＳＴ８０１において変換されたユーザ入力イベントハンドラに関して、変換された場合と変換されなかった場合の全ての組み合わせについて類似度計算が実行されたか確認する。類似度計算が実行されていない組み合わせが残っている場合、ステップＳＴ８０２に戻り処理を繰り返す。全ての組み合わせについて類似度計算されていた場合、ステップＳＴ１０４に進む。
　このように、ユーザ入力イベントハンドラを変換して類似度計算することにより、これまでのＵＩ設計装置でサポートしていなかったユーザ入力イベントハンドラについても、蓄積されたＵＩ部品から検索することが可能である。

　なお、上記動作例では検索ＵＩ部品群のユーザ入力イベントハンドラを変換して類似度の計算を行ったが、検索対象となるＵＩ部品のユーザ入力イベントハンドラを変換して類似度の計算を行ってもよく、さらに検索ＵＩ部品群のユーザ入力イベントハンドラの変換結果と検索対象ＵＩ部品のユーザ入力イベントハンドラの変換結果の両方を用いて類似度の計算を行ってもよい。

　以上説明したように、実施の形態４のユーザインタフェース設計支援装置によれば、ユーザ入力イベントハンドラ取得部で取得した検索ユーザインタフェース部品群に設定されているユーザ入力イベントハンドラと、検索対象ユーザインタフェース部品に設定されているユーザ入力ハンドラのうち、少なくともいずれか一方のユーザ入力イベントハンドラを同等の働きで異なるユーザ入力イベントハンドラに変換するユーザ入力イベントハンドラ変換部を備え、類似度計算部は、ユーザインタフェース部品検索部で検索を実行する際、ユーザ入力イベントハンドラ変換部で変換したユーザ入力イベントハンドラを用いて類似度を計算するようにしたので、検索対象となるユーザインタフェース部品を作成したユーザインタフェース設計装置がバージョン違いなどによりサポートしてないユーザ入力イベントハンドラについても検索対象とすることが可能である。

実施の形態５．
　図２２は実施の形態５によるユーザインタフェース設計支援装置を適用したＵＩ設計装置を示す構成図である。図２２において、入力装置１０１～表示装置１１０における基本的な構成は、図１に示した実施の形態１と同様であるため、ここでの説明は省略する。
　実施の形態５では、ＵＩ部品検索部１０７において検索を実行する際、入力となるユーザインタフェース部品群を編集することが可能な検索ＵＩ部品群編集部７０１を備え、類似度計算処理を行う前に所望の配置関係として推定されているかを確認し、場合によっては再度検索ＵＩ部品群の配置関係を編集可能であることを特徴とする。

　入力となるユーザインタフェース部品群は位置やサイズに関して完全に同一、もしくは一定などにすることなく、ある程度似通っていれば該当する配置関係であると認識する。
　これによって、開発者は数値入力による位置あわせなどの作業が不要となり、容易に検索することが可能である。一方、どこまで似通っていれば該当する配置関係とするかは開発者が設定できるものの、入力となるユーザインタフェース部品群の配置によっては上手くいかない場合もある。そのような場合、検索結果を提示しても所望のＵＩ部品が見つからないということが考えられる。そこで、検索ＵＩ部品群編集部７０１により、配置関係を推定した後に開発者に推定結果を提示し、望んだ推定結果ではない場合は修正を可能とする。提示する方法としては、例えば、ＵＩ部品を推定した配置関係の種類に応じて異なる色で囲む方法や選択したＵＩ部品が推定された配置関係に応じて縦横に揺れるなどアニメーションを行う方法、配置関係の種類に応じて異なる音を鳴らす方法、触力覚デバイスなど特殊な出力デバイスが存在する場合はその出力デバイスから配置関係の種類に応じて異なる出力を行う方法など、どのような方法であっても構わない。

　図２３は検索ＵＩ部品群編集部７０１における処理の流れを示すフローチャートである。ステップＳＴ１００１では、入力された検索ＵＩ部品群の配置関係推定処理結果を取得する。ステップＳＴ１００２では、ステップＳＴ１００１において取得した配置関係推定処理結果を図９のような形式によって提示する。ステップＳＴ１００３では、開発者が提示された内容が意図した配置関係を表しているか確認し、編集が必要な場合、ステップＳＴ１００４へ進む。編集が必要ない場合、処理を終了する。ステップＳＴ１００４では、検索ＵＩ部品群の編集を行う。編集が完了すると、検索ＵＩ部品群は配置関係推定部１０８へ入力され、再び配置関係推定処理を実行する。その後、再び配置関係結果を取得し、ステップＳＴ１００１より処理を繰り返す。
　このように、検索結果が表示される前に配置関係を提示し、修正の機会を設けることによって、意図しない検索を防ぐことが可能であり、より正確な検索を実行することが可能である。

　以上説明したように実施の形態５のユーザインタフェース設計支援装置によれば、配置関係推定部で推定した検索ユーザインタフェース部品群を構成する各部品の配置関係を編集する検索ユーザインタフェース部品群編集部を備えたので、検索実行前に所望の配置関係が推定されているか確認することが可能となり、場合によっては修正することが可能であるため、意図しない検索を減らすことが可能である。

　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

　以上のように、この発明に係るユーザインタフェース設計支援装置は、ユーザインタフェースを設計するユーザインタフェース設計装置において、ユーザインタフェース部品を検索して出力する構成に関するものであり、情報機器等の組み込み機器に用いるのに適している。

　１０１　入力装置、１０２　画面設計部、１０３　ＵＩ（ユーザインタフェース）部品設計部、１０４　ＵＩ（ユーザインタフェース）設計部、１０５　画面格納部、１０６　ＵＩ（ユーザインタフェース）部品格納部、１０７　ＵＩ（ユーザインタフェース）部品検索部、１０８　配置関係推定部、１０９　類似度計算部、１１０　表示装置、４０１　ＵＩ（ユーザインタフェース）部品変換部、５０１　ユーザ入力イベントハンドラ取得部、６０１　ユーザ入力イベントハンドラ変換部、７０１　検索ＵＩ部品群編集部。

Claims

　複数の基本部品を組み合わせて形成された検索対象ユーザインタフェース部品と、当該検索対象ユーザインタフェース部品を検索するための検索クエリとしての検索ユーザインタフェース部品群とを入力し、前記検索対象ユーザインタフェース部品の検索を行うＵＩ部品検索部と、
　前記ＵＩ部品検索部に入力された前記検索ユーザインタフェース部品群を構成する各部品の配置関係を推定する配置関係推定部と、
　前記配置関係推定部で推定された各部品の配置関係と、前記ＵＩ部品検索部に入力された前記検索対象ユーザインタフェース部品を構成する各部品の配置関係との類似度を計算する類似度計算部とを備え、
　前記ＵＩ部品検索部は、前記類似度計算部の計算結果に基づいて、前記検索対象ユーザインタフェース部品の中から、検索結果となるユーザインタフェース部品を決定することを特徴とするユーザインタフェース設計支援装置。
　前記ユーザインタフェース部品検索部に入力された前記検索ユーザインタフェース部品群が、設定された交換条件を満たしている場合、当該検索ユーザインタフェース部品群を構成する各部品を合成または分解して、別種の検索ユーザインタフェース部品群に変換するユーザインタフェース部品変換部を備え、
　前記配置関係推定部は、前記ユーザインタフェース部品変換部が前記別種の検索ユーザインタフェース部品群への変換を行った場合、当該変換された別種のユーザインタフェース部品群を構成する各部品の配置関係を推定することを特徴とする請求項１記載のユーザインタフェース設計支援装置。
　前記検索ユーザインタフェース部品群に設定されているユーザ入力イベントハンドラと、前記検索対象ユーザインタフェース部品に設定されているユーザ入力ハンドラとを取得するユーザ入力イベントハンドラ取得部を備え、
　前記類似度計算部は、前記ユーザインタフェース部品検索部で検索を実行する際、前記ユーザ入力イベントハンドラ取得部で取得した前記ユーザインタフェース部品群のユーザ入力イベントハンドラと、前記検索対象ユーザインタフェース部品のユーザ入力イベントハンドラとの類似度を含めて計算することを特徴とする請求項１記載のユーザインタフェース設計支援装置。
　前記ユーザ入力イベントハンドラ取得部で取得した前記検索ユーザインタフェース部品群に設定されているユーザ入力イベントハンドラと、前記検索対象ユーザインタフェース部品に設定されているユーザ入力ハンドラのうち、少なくともいずれか一方のユーザ入力イベントハンドラを同等の働きで異なるユーザ入力イベントハンドラに変換するユーザ入力イベントハンドラ変換部を備え、
　前記類似度計算部は、前記ユーザインタフェース部品検索部で検索を実行する際、前記ユーザ入力イベントハンドラ変換部で変換したユーザ入力イベントハンドラを用いて類似度を計算することを特徴とする請求項３記載のユーザインタフェース設計支援装置。
　前記配置関係推定部で推定した前記検索ユーザインタフェース部品群を構成する各部品の配置関係を編集する検索ユーザインタフェース部品群編集部を備えたことを特徴とする請求項１項記載のユーザインタフェース設計支援装置。