JP2004102564A - ユーザビリティ評価支援装置 - Google Patents
ユーザビリティ評価支援装置 Download PDFInfo
- Publication number
- JP2004102564A JP2004102564A JP2002262357A JP2002262357A JP2004102564A JP 2004102564 A JP2004102564 A JP 2004102564A JP 2002262357 A JP2002262357 A JP 2002262357A JP 2002262357 A JP2002262357 A JP 2002262357A JP 2004102564 A JP2004102564 A JP 2004102564A
- Authority
- JP
- Japan
- Prior art keywords
- index
- task
- evaluation
- satisfaction
- usability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
- Debugging And Monitoring (AREA)
Abstract
【解決手段】情報を表示する表示部を備えた機器を用いて、所与のタスクを遂行する際のユーザビリティの評価を支援する装置であって、制御部11がタスクの遂行に際し、利用者が行った操作に関係する操作履歴の情報を取得し、タスクの達成率に関連する有効性指標と、達成に至る効率に関連する効率性指標と、タスク遂行者の主観的満足度に関連する満足度指標と、をそれぞれ操作履歴の情報を含む複数の測定項目の測定結果を用いた統計演算によって評価するユーザビリティ評価支援装置である。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、グラフィカル・ユーザ・インタフェース(GUI)を備えた機器など、利用者の操作を受け入れて、当該操作の内容に応じて、少なくとも視覚的に情報を提示する機器について、その操作と関係するユーザビリティの評価を支援する装置に関する。
【0002】
【従来の技術】
近年、利用者の操作との関係において視覚的情報を提示し、それによって機器の状態を示したり、所定の演算結果を提示するなど、種々の情報を利用者に提供する機器が数多く用いられるようになってきている。例えば企業内では、複写機やコンピュータ機器、空調機器などといった機器がある。複写機には、複写枚数や種々の複写機能(両面複写や縮小拡大など)といった設定を行うためのパネルがあって、利用者は提示される視覚的情報を元に機器の操作を行う。なお、ここで提示される視覚的情報は、LCD(液晶ディスプレイ)等に表示される、設定された複写枚数の情報のような動的なものには限られず、印刷された固定的なものも含む。具体的には例えば複写機において複写枚数設定のために設けられているテンキーの各キーに印刷された「1」,「2」…といった数字も、操作との関係において提示される視覚的情報である。
【0003】
昨今ではこうした機器の高機能化に伴って操作内容はますます複雑になりつつあり、このような機器の使いやすさや、これらの機器を利用することによる有効性、効率性、並びに利用によって利用者が感じる満足度、といった指標(ユーザビリティ)を評価し、これを改善につなげるという動きが世界的趨勢となってきている。例えばISO9241−11(Ergonomic requirements for office work with visual display terminals(VDTs)−Part 11: Guidance on usability)では、ユーザビリティ(いわば使用性)に関する尺度を有効さ(Effectiveness)、効率(Efficiency)、満足度(Satisfaction)といった観点で評価することが規定され、これらの評価を通してユーザビリティの向上を図ることができるようにしている。
【0004】
ここでユーザビリティとは、ある製品が、指定された利用者によって、指定された利用の状況下で、指定された目的を達成する際の、有効さ、効率、及び利用者の満足度の度合いをいい、有効さとは、利用者が、指定された目標を達成する上での正確さ、及び完全さをいう。また、効率とは、利用者が、目標を達成する際に正確さと完全さとに関連して費やした資源を、満足度は、コンピュータシステムを使う利用者、及びコンピュータシステムの快適さ及び受容性、すなわち不快さのないこと、及び製品使用に対しての肯定的態度をいうとされる。
【0005】
従来、かかる評価を行う方法として、あるタスクを遂行した利用者に対し、後からタスク遂行に関するアンケート(主体的に質問を読解して回答)やインタビュー(質問により回答させる)を行う方法がある。しかし、こうしたアンケート等では、タスク遂行時の特定の事象やタスク終了時における全体的印象を捉えることはできても、どの操作内容にどのような問題点があったのかとの関係が不明確になり、その改善につなげることが容易ではない。
【0006】
一方、利用者の操作履歴を記録し、その記録を図式的に表示することで分析を容易にする装置がある(例えば特許文献1)。また、評価対象となったシステムとユーザとの間で交わされた操作履歴を記録・再現し、システムの状態履歴を一覧表示する技術がある(例えば特許文献2)。
【0007】
さらに別の従来例では、ユーザテストが用いられてきた。ユーザテストでは、利用者に見立てた被験者に実際に機器を操作してもらい、タスク遂行中の被験者の状態を観察者が外見的に観察して、被験者が何を行おうとしているのかを推測し、それによってユーザビリティの低下した個所を観察者が特定する。
【0008】
例えば被験者が操作用のパネル上で視線を移動させている様子が観察されれば、パネル上で押すべき個所を探していると推定し、それがあまり長い場合、パネルの操作が分かりにくく、効率的でなく、ユーザビリティが低いと判断する。
【0009】
【特許文献1】
特開平8−153022号公報
【特許文献2】
特開2001−51876公報
【発明が解決しようとする課題】
しかしながら、これら従来のユーザビリティの評価の方法では、評価者が操作履歴の記録やシステムの状態履歴、被験者の状態などを参照して評価を行わざるを得ないため、評価者の恣意的判断が含まれやすく、かつ評価者の知見に依存する判断が現れやすい。
【0010】
特に評価対象が多い場合など、評価者が複数になるときに、統一的な評価が得られにくく、改善すべき部分が判別しにくい。また、被験者にアンケートやインタビューを行う場合、被験者の意識にある内容しか抽出できないので、被験者が操作終了後の状態を合理的に説明するためのコメントを無意識のうちに編集してしまう恐れが大きい。さらに、このようなユーザビリティの評価方法では、ISO9241−11に準拠したユーザビリティの指標である、有効さ、効率、満足度の各指標が必ずしも得られるわけではない。
【0011】
さらに、有効さや効率、満足度といった指標を得たとしても、業務の種別ごとに指標の内容や定義が異なるため、評価の統一化を図ることはさらに困難になっている。また、有効さ、効率、満足度は、評価対象それぞれの利用状況において定義できるので、比較評価したい対象の間で同じ定義の有効さ、効率、満足度が得られなければ、定量化して評価する意味が希薄化する。その上、タスク遂行上のどの部分がユーザビリティの低下要因となっているかまでを評価して、当該部分の改善を提案することが求められているのであるから、評価者の負担が多大で、評価者に対する十分な訓練も必要である。
【0012】
本発明は上記実情に鑑みて為されたもので、簡便かつ効率的に、またISOの評価尺度に適合した態様で、業務ごとの事情を加味しつつユーザビリティの評価を行い得るよう、ユーザビリティの評価を支援する装置を提供することを、目的の一つとする。
【0013】
【課題を解決するための手段】
そこで本発明のある態様では、情報を表示する表示部を備えた機器に対して、所与のタスクを遂行する際のユーザビリティの評価を支援する装置であって、前記タスクの遂行に際し、利用者が行った操作に関係する、少なくとも1つの操作履歴のデータ、を含んでなる操作履歴の情報、を取得する手段と、前記タスクの目標を達成する上での正確さと完全さとに関連する有効性指標と、タスクの目標を達成する際に、正確さと完全さとに関連して費やした資源に関連する効率性指標と、タスクの目標を達成する際のタスク遂行者の満足度に関連する満足度指標と、をそれぞれ少なくとも一つずつ生成する指標評価手段と、を含み、前記指標評価手段は、有効性指標と効率性指標と満足度指標とのそれぞれを、前記操作履歴情報を含む複数の測定項目のうち、少なくとも一つの測定項目に含まれる、少なくとも一つのデータを用いた統計演算によって評価して生成する、ことを特徴としている。
【0014】
また、タスクの遂行時における利用者の生体に関するデータを少なくとも一つ取得する手段をさらに含み、前記指標評価手段は、有効性指標と効率性指標と満足度指標とのそれぞれを、前記操作履歴の情報と前記生体に関する情報とを含む複数の測定項目のうち、少なくとも一つの測定項目に含まれる、少なくとも一つのデータを用いた統計演算によって評価する、こととするのも好ましい。また、タスクの遂行に関する利用者の満足度評価を取得する手段をさらに含み、前記指標評価手段は、サブタスクごとの有効性指標と効率性指標と満足度指標とのそれぞれを、前記満足度評価に関係する複数の測定項目に含まれる、少なくとも一つのデータを用いて評価する、ことも好ましい。ここで満足度評価を取得する手段は、アンケート又はインタビューの結果を入力する手段、もしくは、利用者の生体情報を入力する手段であってもよい。
【0015】
さらに、前記指標評価手段により生成される少なくとも一つの有効性指標と、少なくとも一つの効率性指標と、少なくとも一つの満足度指標とに基づき、有効性評価結果と、効率性評価結果と、満足度評価結果とをそれぞれ一つずつ、所定の統計演算によって生成する手段、をさらに含むこととしても好ましい。
【0016】
さらに、本発明のある態様では、前記指標評価手段における、有効性指標と効率性指標と満足度指標とのそれぞれを評価する際の統計演算の内容を、変更可能とした。また、有効性評価結果と、効率性評価結果と、満足度評価結果とを生成するための所定の統計演算の内容を、変更可能とした。このように、統計演算の内容を変更可能とすることで、業務ごとの事情に応じた評価が可能となる。
【0017】
本発明のある側面によると、情報を表示する表示部を備えた機器に対して、所与のタスクを遂行する際のユーザビリティの評価を支援する方法であって、前記タスクの遂行に際し、利用者が行った操作に関係する、少なくとも1つの操作履歴のデータ、を含んでなる操作履歴の情報、を取得する工程と、前記タスクの目標を達成する上での正確さと完全さとに関連する有効性指標と、タスクの目標を達成する際に、正確さと完全さとに関連して費やした資源に関連する効率性指標と、タスクの目標を達成する際のタスク遂行者の満足度に関連する満足度指標と、をそれぞれ少なくとも一つずつ生成する指標評価工程と、を含み、前記指標評価工程では、有効性指標と効率性指標と満足度指標とのそれぞれを、前記操作履歴情報を含む複数の測定項目のうち、少なくとも一つの測定項目に含まれる、少なくとも一つのデータを用いた統計演算によって評価して生成する、ことを特徴としている。
【0018】
ここで、前記指標評価手段により生成される少なくとも一つの有効性指標と、少なくとも一つの効率性指標と、少なくとも一つの満足度指標とに基づき、有効性評価結果と、効率性評価結果と、満足度評価結果とをそれぞれ一つずつ、所定の統計演算によって生成する工程、をさらに含むこととしても好ましい。
【0019】
本発明の別の態様によれば、情報を表示する表示部を備えた機器に対して、所与のタスクを遂行する際のユーザビリティの評価を支援するプログラムであって、コンピュータに、前記タスクの遂行に際し、利用者が行った操作に関係する、少なくとも1つの操作履歴のデータ、を含んでなる操作履歴の情報、を取得する手順と、前記タスクの目標を達成する上での正確さと完全さとに関連する有効性指標と、タスクの目標を達成する際に、正確さと完全さとに関連して費やした資源に関連する効率性指標と、タスクの目標を達成する際のタスク遂行者の満足度に関連する満足度指標と、をそれぞれ少なくとも一つずつ生成する指標評価手順と、を実行させ、前記指標評価手順では、有効性指標と効率性指標と満足度指標とのそれぞれを、前記操作履歴情報を含む複数の測定項目のうち、少なくとも一つの測定項目に含まれる、少なくとも一つのデータを用いた統計演算によって評価して生成させる、ことを特徴としている。
【0020】
ここで、前記指標評価手段により生成される少なくとも一つの有効性指標と、少なくとも一つの効率性指標と、少なくとも一つの満足度指標とに基づき、有効性評価結果と、効率性評価結果と、満足度評価結果とをそれぞれ一つずつ、所定の統計演算によって生成する手順、をさらにコンピュータに実行させることとしても好ましい。
【0021】
【発明の実施の形態】
本発明の実施の形態について図面を参照しながら説明する。本実施の形態に係るユーザビリティ評価支援装置1は、図1に示すように、制御部11と、記憶部12と、表示部13と、操作部14と、ネットワークインタフェース15とを含んで構成される、一般的なコンピュータである。また、このユーザビリティ評価支援装置1は、生体情報を検出する生体情報検出装置2と、操作履歴情報検出装置3と、利用者により利用される、表示装置を備えた機器4とにそれぞれ接続されている。この機器4は、制御部41と、記憶部42と、表示部43と、操作部44と、ネットワークインタフェース45とを含んで構成されている。
【0022】
ユーザビリティ評価支援装置1の制御部11は、記憶部12に格納されているプログラムに従って動作し、ユーザビリティの評価支援処理を実行する。このユーザビリティの評価支援処理については、後に詳しく述べる。記憶部12は、コンピュータ可読な記録媒体であるハードディスクやCD−ROM等や、RAM(Random Access Memory)、ROM(Read Only Memory)といった記憶素子を含み、コンピュータ可読な記録媒体には制御部11によって処理されるべきプログラムが格納されている。また、この記憶部12は、制御部11のワークメモリとしても動作する。
【0023】
表示部13は、ディスプレイ等であり、制御部11から入力される指示に従って情報を表示する。操作部14は、キーボードやマウス(ポインティングデバイス)等であり、評価者の操作の内容を制御部11に出力する。ネットワークインタフェース15は、ネットワークに接続されており、制御部11から入力される指示に従って、データをネットワークを介して送信する。また、このネットワークインタフェース15は、ネットワークを介して到来するデータを受信して、制御部11に出力する。
【0024】
生体情報検出装置2は、利用者の生体の状態に関する情報を取得して、当該情報を生体情報として制御部11に出力する。ここで取得される生体の状態とは、例えば利用者の視線の方向や移動距離、移動の早さ、滞留時間、注視した順番、さらには瞳孔の大きさ、発汗量、脈拍数、心拍数、脳波等がある。以下の説明では、生体情報検出装置2は、一例として利用者の視線方向を検出する装置であるとし、例えば利用者の頭部又はその近傍に装着し、利用者の目の部分を撮像して、当該撮像された影像から視線の方向を検出するといった、広く知られた装置であるとする。
【0025】
操作履歴情報検出装置3は、機器4の操作部44に接続されており、機器4の操作部44において利用者が行った操作の内容を操作履歴のデータとして記録し、指示により、当該記録したデータをユーザビリティ評価支援装置1に出力する。
【0026】
機器4の制御部41は、記憶部42に格納されているプログラムに従って動作し、操作部44から入力される利用者の指示に従って所定の処理を実行して、当該処理との関係において利用者に提示すべき情報を表示部43に表示する、といった処理を実行する。記憶部42は、コンピュータ可読な記録媒体であるハードディスクやCD−ROM等や、RAM、ROMといった記憶素子を含み、コンピュータ可読な記録媒体には制御部41によって処理されるべきプログラムが格納されている。また、この記憶部42は、制御部41のワークメモリとしても動作する。
【0027】
表示部43は、ディスプレイ等であり、制御部41から入力される指示に従って情報を表示する。操作部44は、キーボードやマウス(ポインティングデバイス)等であり、評価者の操作の内容を制御部41に出力する。また、この操作部44は、操作履歴情報検出装置3に接続されており、その操作の内容を操作履歴情報検出装置3に出力している。ネットワークインタフェース45は、ネットワークに接続されており、制御部41から入力される指示に従って、データをネットワークを介して送信する。また、このネットワークインタフェース45は、ネットワークを介して到来するデータを受信して、制御部41に出力する。
【0028】
この機器4は、利用者が所与のタスクを実行するために用いる、対話型(ユーザ操作に応答し、ユーザに対して表示を行う)端末である。つまり、利用者は操作部44を用いた操作によりネットワーク上のWebサイトを利用してオンラインショッピングを行ったり、表計算アプリケーションを利用してグラフを描画させて表示部43に表示させるといったタスクを行う。
【0029】
[ユーザビリティの評価支援処理]
ここで、制御部11のユーザビリティの評価支援処理について説明する。本実施の形態においては、ユーザビリティの評価は利用者の操作内容の記録と、利用者の生体情報の記録と、利用者に対する満足度情報の記録とを利用して行われる。具体的に記憶部12に格納されているユーザビリティの評価処理のためのプログラムは、図2に示すように、操作履歴取得部21と、生体情報記録部22と、満足度記録部23と、イベント記録部24と、統計処理部25と、統計ルール設定部26とを含んで構成されている。
【0030】
操作履歴取得部21は、操作部44における操作に関連して操作履歴情報検出装置3に記録された操作履歴のデータを取得して記憶部12に逐次的に格納する。これらのデータとしては、マウスに連動して表示部43上に表示されていたポインタ(例えば矢印)の移動位置の座標情報や、クリックの回数、キーボードのタイプの回数等である。これら操作履歴のデータを総合したものをここでは「操作履歴情報」と呼ぶ。
【0031】
生体情報記録部22は、生体情報検出装置2から入力される視線方向のデータに基づいて、利用者がタスクの遂行中に表示部43上のどの位置を見ているか(視点はどの位置か)を表すデータを逐次、記憶部12に格納している。ここで格納される視点の位置のデータは、例えば表示部43上の座標情報として記録される。
【0032】
満足度記録部23は、例えば図3に示すように、態度の認知的傾向としての「良い−悪い」や、行動的傾向としての「使いたい−使いたくない」、感情的傾向としての「好き−嫌い」といったイメージを段階評価によって利用者に採点させ、その採点結果の入力を操作部14を介して受けて、当該採点結果を満足度データとして記憶部12に格納する。また、この満足度記録部23は、生体情報検出装置2から瞳孔径の時間変化を調べ、標準時の瞳孔径(タスクを遂行する環境と同じ程度の明るさのものを参照している場合の径)に対する比として瞳孔径の大きさを満足度データとして記憶部12に格納するのも好ましい。一般に人間は快いと感じると瞳孔径が大きくなり、不快であると感じると瞳孔径が小さくなる傾向にあるので、この比較の結果により利用者がタスク遂行中に快いと感じているか否かを測定できるのである。このように、利用者の満足度は、アンケートやインタビューだけでなく、タスク遂行中の利用者から得られる生体情報を用いて推定できる。これら少なくとも一つの満足度データを含んでなる満足度情報は、後に統計的に処理されて、利用者の満足度の指標の演算に用いられる。具体的に、「好き−嫌い」等のイメージの段階評価はいわゆるSD法(Semantic Differential 法)の考え方で処理される。
【0033】
イベント記録部24は、制御部41が利用者のタスク遂行に関連して行った処理、例えば表示部43へのヘルプ情報の表示や、どのWebページを表示するかを表すURL(Uniform Resource Locator)情報、画面の移動があったことを表す情報、エラー発生に伴って取得される情報、さらには利用者によりタスク(又はその一部)が達成されたか否か等のイベント情報(表示や発生の回数や処理にかかった時間等)を記憶部12に格納する。
【0034】
なお、ここで述べたような利用者によりタスク(又はその一部)が達成されたか否か等の情報は、予め達成条件として設定されたイベント情報が得られた場合等に「達成された」として判断することもできる。例えばタスクの内容がWebサイトを利用してオンラインショッピングをするというものであったとき、オンラインショッピングを完了したときに提示されるオンラインショッピング完了確認画面のURLへアクセスがあったときに(当該URLのWebページが開かれたときに)、当該タスクが達成されたと判断する。同様に、オンラインショッピングのタスクの一部である、支払先を入力する、というような場合は、その確認画面のWebページが開かれたときに、当該一部が達成されたと判断できる。また、このオンラインショッピングの例のように、複数のWebページ間を次々遷移しながら遂行するタスクについては、最終的に辿りつくべき遷移先ページや遷移先コンテンツ、遷移先としてクリックされたリンク、遷移すべき複数のページ群のURL、遷移すべき複数のページ群のURLの順番、タスク遂行の途中又はページ遷移の最終段階における入力情報などといった情報を条件として達成条件を定めることができる。同様に、利用者にキーボードなどを通じて情報を入力される場合、入力させた情報と入力させるべき正しい情報とを比較することで正誤率が算出されるので、これを有効さの指標としてもよい。
【0035】
統計処理部25は、記憶部12に格納されている操作履歴情報に含まれる少なくとも一つの操作履歴のデータ、生体情報に含まれる少なくとも一つのデータ、満足度情報に含まれる少なくとも一つの満足度のデータ、イベントの記録、のうち、少なくとも一つを用いて、統計ルール設定部26によって設定された指標演算用の統計ルールに従って、有効さ、効率、満足度の各指標の少なくとも一つを生成する。また、統計処理部25は、統計ルール設定部26によって設定された評価結果用の統計ルールに従って、生成した指標に対する統計処理を行い、生成した指標に対応する有効さ、効率、満足度の各評価結果を演算して出力する。具体的に、この統計処理部25にて生成される指標は、次の表1に示すように、有効さの指標と、効率の指標と、満足度の指標であって、有効さについては利用者が所与の目標を達成する上での正確さ若しくは完全さを表す指標が、効率については、利用者が目標を達成する際に、正確さや完全さに関係して費やした資源の量に関する指標が、満足度については、利用者の満足度に関する指標がそれぞれ生成されて利用される。なお、指標は、例えば数値や文字列で表現される。
【0036】
【表1】
また、この統計処理部25が利用する統計ルールには、上述のように指標演算用の統計ルール(第1ルール)と、評価結果用の統計ルール(第2ルール)とがある。第1ルールは、記憶部12に格納されている操作履歴情報に含まれるデータ、生体情報に含まれるデータ、満足度情報に含まれるデータの各々を、各指標の演算にどの程度寄与させるかを表すものである。例えば有効さの指標に関する各データの値Ei(i=1,2,…)に対応する重みwiのセットを第1ルールとして用い、統計処理部25は、有効さの指標Veffを例えば、
【数1】
Veff=Σwi・Ei
のように演算する。また、効率、満足度の各指標についても同様の処理によって演算できる。なお、Σwi=1となるよう各wiを正規化しておいてもよい。
【0037】
さらに、この統計処理部25が利用する第2ルールは、生成された有効さ、効率、満足度の指標の少なくとも一つを、各指標に対応する評価結果にどの程度寄与させるかを表すものである。例えば、有効さの評価結果に関する各指標Ni(i=1,2,…)に対応する重みviのセットを第2ルールとして設定し、統計処理部25は、例えば有効さの評価結果Seffを、
【数2】
Seff=Σvi・Ni
のように演算する。また、効率、満足度の指標に対応する評価結果についても同様の処理によって演算する。この場合も、Σvi=1となるよう各viを正規化しておいてもよい。
【0038】
統計ルール設定部26は、操作部14から入力される指示に従ってこれらの統計ルールを記憶部12に格納する。このように本実施の形態においては、統計の処理内容を変更可能としたことで、当該機器を設置した場所で行われる業務ごとの事情に応じた評価が可能となる。例えば効率を経済性により測定したい場合には、タスクに要した時間など、コストに関係する記録(データ)に対する重みを大きくし、機器ハードウエアの負荷により測定したい場合には、表示された情報量(テキスト量/ページ構成ピクセル量/色数等)に対する重みを大きくして設定すればよい。
【0039】
本実施の形態のプログラムは、以上のような機能構成を含んでなり、従って本実施の形態のユーザビリティ評価支援装置は、次のように動作する。利用者(被験者)が機器4において所与のタスクを遂行すると、そのタスクの遂行中に操作部44を介して利用者が行った操作の履歴のデータが操作履歴情報検出装置3に格納される。
【0040】
ユーザビリティ評価支援装置1の制御部11は、これを取得して記憶部12に格納する。また、制御部11は、タスクの遂行中に生体情報検出装置2によって検出された利用者の生体情報に関係するデータを逐次的に記憶部12に格納していく。また、制御部11は、利用者のタスク遂行に伴って発生するイベントを記憶部12に逐次的に格納する。これらの記録は、それぞれの時間関係の前後が分かるように記録される。つまり、例えば各操作履歴情報や、生体情報、イベント情報に含まれる各データは、それぞれの取得(発生)時間とともに記録するようにすればよい。
【0041】
また、制御部11は、タスクの遂行が完了した後に、表示部13に図3に示した満足度情報を取得するための表示を行い、利用者からの回答を得て、当該回答の結果を満足度データとして記憶部12に格納する。また、満足度データには、生体情報検出装置2により検出された生体に関係するデータ(例えば瞳孔径)を含んでもよい。
【0042】
制御部11は、統計処理部25の処理として予め統計ルール設定部26によって設定された統計ルール(第1ルール)に従い、記憶部12に格納した操作履歴情報や、生体情報、イベント情報、並びに満足度情報のそれぞれに含まれるデータのうち、少なくとも一つを利用して有効さ、効率、満足度の各指標を演算し、その結果を記憶部12に格納する。
【0043】
さらに、制御部11は、各指標に対応する評価結果を統計ルール(第2ルール)に従って演算して記憶部12に格納する。この各指標の演算結果や評価結果は、評価者の指示に従って、表示部13等に提示され、ISOに規定されているユーザビリティの評価に供される。
【0044】
[記録の分割]
また、統計処理部25は、タスクに含まれるサブタスクごとに記憶部12に格納されている操作履歴情報や生体情報、満足度情報などに含まれるデータ(の記録)を分割し、分割した記録に基づいて各サブタスクごとのユーザビリティの指標(有効さ・効率・満足度)を演算してもよい。
【0045】
具体的には、図4に示すように、各タスクについて、そのサブタスクの区切りを定義した情報を関連づけてサブタスク情報として記憶部12に格納しておき、統計処理部25は、このサブタスク情報を参照しながら各記録の分割を行う。
【0046】
そして制御部11は、操作の内容と生態情報とイベント情報とを、それぞれの時間関係の前後が分かるように記録しておき、統計処理部25の処理として、図5に示すような処理を実行し、現在利用者が遂行しているタスクに関連して、記憶部12に格納されているサブタスク情報を参照し、そのサブタスクの区切り定義に従って操作履歴情報、生体情報、満足度情報、イベント情報に含まれるデータの記録をそれぞれ分割する(S1)。そしてi番目(当初i=1とする)のサブタスクにおいて記録されたデータを注目データとして選択し(S2)、注目データを用いて、既に説明したのと同様にユーザビリティの指標(有効さ・効率・満足度)を演算して、記憶部12に格納する(S3)。そして、iをインクリメントし(S4)、i番目のサブタスクがあるかを判断し(S5)、ある場合は、処理S2に戻って処理を続ける。また、処理S5においてi番目のサブタスクがない場合(すべてのサブタスクについての処理を完了した場合)は、処理を終了する。この制御部11の処理により、サブタスクごとのユーザビリティの指標が演算される。
【0047】
この制御部11の動作を例えば、Webサイトにおいて複数のURLのWebページを順次開きながらタスクを遂行する場合のユーザビリティの評価に用いる場合について説明する。この例の場合、どのURLのWebページを開いているかに応じてサブタスクを定義することができる。つまり、図4に示したようにAからHまでの8枚のWebページを開いてタスクが遂行される場合において、A,BのWebページを開いて操作するサブタスクPと、CからEまでのWebページを開いて操作するサブタスクQと、FからHまでのWebページを開いて操作するサブタスクRとを定義する。
【0048】
そして制御部11は、実際に利用者が当該タスクを遂行したときの操作履歴情報、生体情報、満足度情報、イベント情報に含まれるデータの記録を、WebページCを開いた時点(サブタスクPからQへ移り変わる時点)より前に記録したものと、WebページCを開いた時点より後で、かつWebページFを開いた時点(サブタスクQからRへ移り変わる時点)までに記録したものと、WebページFを開いた時点より後に記録したものとに分割する。この際、制御部11は、タスクの遂行中に累算される測定値については、分割の時点までの値を割り出す。例えば操作時間のデータを記録している場合、サブタスクが移り変わる際のイベント情報等(上述の例ではWebページCを開いたとのイベント情報)の記録時刻を用いて各サブタスクの操作時間を割り出して記録する。
【0049】
制御部11は、さらに利用者がタスクを遂行した後に利用者に対するアンケートを提示して回答させ、その結果をアンケートデータとして記録するようにしてもよい。
【0050】
そしてこのアンケートデータを含んだ満足度情報や、サブタスクごとに分割された操作履歴情報、生体情報、並びにイベント情報等のデータの記録と、を用いてサブタスクごとにユーザビリティの指標を演算する。なお、サブタスクに分割できないようなタスクもあり得るので、そのような場合は、記録の分割を行わないこととする。
【0051】
[生体情報のさらなる利用]
制御部11は、様々な生体情報を用いて利用者のタスク遂行中の状態(利用者の満足度に呼応する)を推定し、それに対応する評価を生成するようにしてもよい。これらの生体情報を用いた利用者の状態推定は、上述のように記録を分割して各サブタスク毎に評価を生成する場合は、サブタスクごとに、各サブタスク遂行中の状態を推定するようにしてもよい。
【0052】
具体的に制御部11が、生体情報として記憶部12に格納されている視点情報を利用して利用者の状態を推定する動作について説明する。この場合、評価者は、評価の対象となる表示内容(例えばWebページ)を評価の対象となるタスク(又はサブタスク)で表示されるべき表示内容から選択する。そして、選択した表示内容について、図6に示すようにN×M(N,Mは整数)のマトリクス状の領域に区分する。
【0053】
そして制御部11は、各領域内に視点があった時間を測定する。これにより、利用者がどの位置をより長い時間見ていたかが測定される。
【0054】
また制御部11は、領域ごとに、当該領域内に視点が移動してきた回数をカウントする。具体的に制御部11は、ある領域(注目領域)内に視点が移動してきたとき、制御部11は、当該注目領域に視点が移動してきた回数を「1」とカウントし、次に利用者が他の領域に視点を移し、再度、この注目領域に視点を移動したときにカウント値をインクリメントして「2」とする。その後、利用者が他の領域に視点を移してから再度、注目領域に視点を移してくる度にカウント値をインクリメントしていく。同様に、制御部11は、利用者の視点が一度でも入った領域の総数をカウントする。これにより、表示部13に表示された内容のどの部分に利用者の視点が多く集まっていたかが測定される。
【0055】
さらに制御部11は、視点の移動の時系列的変化を参照して、利用者が各領域上を、どのような順序で視点移動したかを表す情報を生成する。
【0056】
これらの処理によって制御部11は、各領域について、それぞれを利用者が見た時間・回数・順序に関する情報を生成する。なお、評価者は、これらの情報を測定の対象となった表示内容(Webページ等)とともに表示部13に表示させるようにしてもよい。例えば、視点移動の順序を表す情報は、図7に示すような態様で表示される。ここで時間・回数・順序のそれぞれに関する情報は、いずれか一つを選択的に表示するようにし、重ね合わせて表示しないように制御することで、評価用画面としての視認性が高まる。
【0057】
制御部11は、各領域の領域ごとに測定し、生成された、それぞれの領域を利用者が見た時間・回数・順序に関する情報を分析し、各領域ごとに、予め定めた時間より、利用者が長く見ているか否か(閲覧時間に関する条件)、予め定めた回数より利用者が多く見たか否か(閲覧回数に関する条件)、領域間の視点移動を予め定めた時間より短時間(当該時間より早く)に行った否か(閲覧順序に関する条件)、視点が一度でも入った領域の総数は予め定めたしきい値より多いか(閲覧領域数に関する条件)の4つの条件を判断し、これらの条件に基づいて利用者の状態を推定する情報と、評価に関する文字列情報とを生成する。具体的に各条件と、利用者の状態の推定・評価の情報は、次の[表2]に示すようなテーブルとして関連づけられて、予め記憶部12に設定されている。
【0058】
【表2】
すなわち、例えば閲覧時間が長く、閲覧回数が多く、閲覧順序が早く、閲覧領域数が多い場合、利用者は、どのような操作をすべきかを「決めかねている」と判断でき、その表示内容は、「表現が悪いなど、決断できない」と文字情報で評価できる。
【0059】
なお、ここでは生体情報だけを用いて利用者の状態を推定し、表示部43に表示された内容に関する評価を行っている例を示したが、利用者の操作内容と視点情報との関係に応じて定められる特徴量を演算し、この特徴量を用いて、利用者の状態を推定するようにしてもよい。例えば視点の移動を表すベクトルと、操作内容としてのポインティングデバイスの移動を表すベクトルとを用い、各ベクトルの大きさと、各ベクトル間のなす角θ、各ベクトルの大きさの比rとを特徴量として演算し、次のように利用者の状態を推定することができる。すなわち、
(1)視点もポインタも所定の大きさより大きくなければ(あまり移動していなければ)、表示部43上の一点を注意深く見ていると推定して、「凝視」の状態にあると判断する。
【0060】
(2)視点の移動はあまりないが、ポインタは移動しているときには、ブラウザに表示されているWebページ内のコンテンツの閲覧を完了し、表示されていないコンテンツを見ようとしてリンクをクリックするための操作等を行っていると推定して「ページ内操作」の状態にあると判断する。
【0061】
(3)視点の移動はあるが、ポインタはあまり移動していないというときには、次に見るべきものを表示部43内で探索しているものと推定して、「検索」の状態にあると判断する。
【0062】
(4)視点の移動もポインタの移動もあるときであって、θが所定のしきい値より大きいときにはポインタ操作と視点移動との方向性がそろっていないことを示すので、次のWebページに移ろうとしている(ポインタはリンクをクリックするために移動するのに対して、視点はページ先頭部分へ移動するため、一般に互いに異なる方向に移動する)と推定して「移動操作」の状態にあると判断する。
【0063】
(5)視点もポインタも移動していない場合であって、θが所定のしきい値より小さく、また移動量の比rが大きいときには、視点の位置に示された座標と、ポインタの座標とが互いに異なっていた状態から一点をポイントするために視点とポインタ位置とが集中してきた状態にあるとして、ブラウザの「戻る」ボタン等をクリックしようとしていると推定し、「ブラウザ操作」の状態にあると判断する。
【0064】
(6)視点もポインタも移動していない場合であって、θが所定のしきい値より小さく、また移動量の比rが小さいときには、ポインタを移動させながら、その位置を視点で追っているものと推定して「熟読」(読みにくいコンテンツを読んでいる)と判断する。
【0065】
[視点情報以外の生体情報]
既に述べたように、視点情報以外の情報を用いる場合、例えば脳波に基づいて、予め測定した利用者の標準時のα波出力量とタスク遂行中の利用者のα波出力量の比に基づいて、利用者が快いと感じているか否かを測定することができる。また、感性スペクトラム分析法(ESAM:株式会社脳機能研究所の方法)を用いることによっても、その分析結果に対する判断条件を設定して利用者の状況を推定し、当該状態に対応する評価を得ることができる。また、既に述べたように瞳孔の大きさを用いて満足度データを得ることができる。さらに、これらの評価に基づく評価を文字列情報として生成することも好ましい。
【0066】
[評価支援情報の提示]
ここまでの説明においても述べてきたことであるが、本実施の形態のユーザビリティ評価支援装置1では、ユーザビリティをISO等の定めに沿って、有効さ・効率・満足度という指標を演算する。また、本実施の形態のある態様では、ユーザビリティ評価の対象となるタスクの遂行において、そのタスクを細分化して、タスクに含まれるサブタスクごとに、有効さ・効率・満足度という指標を演算する。
【0067】
さらに、これらの指標を演算するにあたり、利用者がタスク遂行のために行った操作の内容、タスク遂行中の利用者の生体に関する情報、利用者から得られたアンケートの回答、並びにタスク遂行時に利用される機器4が生成するイベント情報等の「測定値」が利用される。
【0068】
通常、評価者は有効さ・効率・満足度の各指標を参考にして、あるいは当該指標をそのまま用いて、ユーザビリティの評価結果を決定する。しかし、ある場面においては、測定値(記録したデータ)を直接参照したほうがユーザビリティの評価や改善の提案に役立つ場合もある。そこで制御部11は、指示に応じて記憶部12に格納されているデータに対する統計演算を行い、当該統計演算結果を表示部13に表示する処理を行う。
【0069】
具体的にあるWebサイトのユーザビリティを評価する場合、なるべく複数の利用者を被験者とし、当該Webサイトで提供されている各種のサービスを享受することをそれぞれタスクとして設定し、被験者に実際に各タスクを遂行させる。ここで例えば、ある企業のWebサイトにおいて、ツール「zzzz」がダウンロードできるようになっている場合であって、まず、そのホームページである「http://www.xxxx.yyyy/」を開き、このホームページから製品情報一覧を掲示したWebページ「http://www.xxxx.yyyy/products.html」を開き、さらにここからツール「zzzz」をダウンロードさせるWebページ「http://www.xxxx.yyyy/products/downzzzz.html」を開いてダウンロードを行う、という一連のWebページを用いたタスクがある場合を例として説明する。
【0070】
評価者は複数の被験者に上記タスクを実行させ、ホームページと、製品情報一覧を掲示したWebページと、製品のダウンロードを行うWebページとのそれぞれでの操作をサブタスクとして設定する。制御部11は、各被験者ごとに、上記タスク遂行中に得られた各データのうち、例えば操作履歴データとしての各ページでの操作時間とクリック回数とを取り出し、これらについて各サブタスクごとに被験者間の平均(算術平均)を演算する。また、各測定値の標準偏差σを被験者数Mの平方根で除して(σ/√M)、その値を誤差とする。
【0071】
そして制御部11は、サブタスクごとに各被験者の測定値と、その平均値及び誤差を併せたテーブルを表示部13に表示する(図8(a),(c))。また、測定値から演算されたタスクの達成状況(遂行完了ならば「正解」、そうでなければ「不正解」)及び、全体の達成率(%)をテーブル上に併せて表示してもよい(図8(b))。さらに制御部11は、その状況をグラフ化して表示する(図9)。
【0072】
ここで例えば評価者が類似サービスを提供する複数のWebサイトについて、各被験者に対して各サイトでのサービスを享受するというタスクを設定した場合、図8及び図9に示したテーブルやグラフは、各サイトごとに得られることになる。そして制御部11は、各サブタスクごとに、各サイトでの測定値の統計演算結果をグラフ表示する(図10)。また、各サイトでの測定値の統計演算結果のグラフ表示を生成し(図11)、図10に示したグラフと切り替えて表示可能としておくことも好ましい。
【0073】
さらに、各サイトごとの有効さ、効率、満足度に関連するグラフを表示することも好ましい。例えば、効率(例えばタスク達成にかかった時間)を横軸に、有効さ(例えばタスクの達成率)を縦軸にして各サイトをグラフ表示する(図12)。このグラフ表示によれば、効率・有効さがともに高いサイトほど、ユーザビリティが高いことを示している。また、満足度については、三角グラフを用いて表示することとしてもよい(図13)。これによりこの三角形の面積が大きいほど、満足度が高いことが視覚的に理解できる。
【0074】
[改善予想結果の提示]
さらに制御部11は、各サイトの値としてグラフ表示した測定値や指標を用い、サイト間の統計値(例えば中央値、中間値、ないしは平均値)をそれぞれ演算し、当該統計値より状態が悪い(操作時間が長い、タスク達成率が低い等)サイトについて、改善後には少なくとも平均値程度になると仮定した改善予想結果を提示することも好ましい。
【0075】
すなわち、図11のように、各サイトでの各サブタスクのグラフが表示されている状態で、サイトAの3番目のサブタスク(図中、「サブタスク3」と示した部分)を改善したときの予想として、当該3番目のサブタスクについての測定値のサイトA〜Cの統計値を演算し、当該演算した統計値を表示する。この場合、タスク全体の改善予想結果を次のようにして演算してもよい。すなわち、各サブタスクについて、注目サイトの測定値と、サイト間の測定値の統計値とを比較し、注目サイトの測定値が統計値より悪い場合には統計値を、注目サイトの測定値が統計値よりもよい場合には、当該測定値を利用してタスク全体の値を演算する。具体的に操作時間の場合、操作時間と、各サイトでの操作時間の統計値とを各サブタスクごとに比較して、注目サイトの操作時間が統計値よりも短いサブタスクについては注目サイトの操作時間を、注目サイトの操作時間が統計値よりも長いサブタスクについては統計値を、それぞれ採用して、採用した値の総和によってタスク全体での改善予想結果とする。
【0076】
[動作]
従って本実施の形態におけるユーザビリティ評価支援装置1は、例えばWebサイトの評価においては、次のように利用され、動作する。被験者には、生体情報検出装置2を取り付け、さらに評価の対象となったWebサイトへアクセスして、そこでサービスを受けるというタスクを指示する。被験者は、機器4の操作部44を操作して、表示部43に表示される画面を見ながら指示されたタスクを遂行する。このタスク遂行の間、制御部41は被験者からの指示操作に従ってネットワークインタフェース45を介してネットワーク上の評価対象のWebサイトへアクセスして、そこからWebページのデータを取得し、表示部43に表示する処理を行っている。
【0077】
一方、操作履歴情報検出装置3には、被験者の操作内容が少なくとも一つの操作履歴データを含む、操作履歴情報として記録されている。また、制御部11には、生体情報検出装置2から被験者の生体情報(少なくとも一つの生体データが含まれる)と、機器4から利用者の操作に応じて発生したイベント情報とが入力され、制御部11は、これらの情報を図示しない時計によって計時した時刻とともに記憶部12に蓄積する。
【0078】
被験者がタスク遂行を完了(または放棄)すると、制御部11は、被験者に対して図3に示したようなアンケートを提示して、答えさせ、その結果を満足度データとして取得して記憶部12に格納する。さらに制御部11は、操作履歴情報検出装置3から操作履歴情報を取得して記憶部12に格納する。この操作履歴情報に含まれる各操作履歴データにも、操作履歴情報検出装置3が、内蔵している時計(不図示)で計時した時刻の情報がそれぞれ関連づけられているものとする。なお、これら制御部11と、操作履歴情報検出装置3がそれぞれ参照する時計(不図示)は、予めその時刻を一致させてあるものとする(または同一の時計を参照するようにしておいてもよい)。
【0079】
こうして記録される操作履歴情報に含まれる操作履歴データとしては、操作時間、クリック回数、ポインティングデバイスの移動量、ヘルプ機能の利用回数、エラーの発生回数、入力された情報そのもの、入力した情報量、電子マニュアル参照回数等があり、イベント情報に含まれるデータには、画面の遷移状態、画面に表示した情報そのもの、被験者の操作に応答するまでのレスポンス時間等がある。
【0080】
そして制御部11は、これらを利用して、
(1)タスク遂行中のエラーの発生回数、
(2)タスク遂行完了(又は放棄)時点のタスク達成度、
(3)タスク遂行完了(又は放棄)時点での画面遷移回数と、理想的な場合の遷移回数との比
(4)タスク遂行中にしたヘルプ利用回数を演算し、これらに対する重みづけ加算によって有効さの指標を演算する。ここで、タスク遂行完了(又は放棄)時点のタスク達成度は、既に説明した達成条件に基づいて決定される。すなわち、タスク遂行完了(又は放棄)時点で、どのWebページを表示していたか等によって予め定められた数値が達成度として決定される。
【0081】
また、制御部11は、
(1)タスク達成に要した時間(すなわちレスポンス時間と、表示された内容を解釈するのに要した時間と、操作に要する時間との総和に相当する)、
(2)タスク遂行中のクリック回数、
(3)タスク遂行中のポインティングデバイスの移動量(画面スクロール量、もしくはポインティングデバイスの移動によるマウスポインタの移動量そのもの)、
(4)タスク遂行中の情報入力量(キーボードの打回数)、
(5)タスク遂行中の電子マニュアルの参照回数、
(6)タスク遂行に要した画面の遷移回数、
(7)タスク遂行に要したレスポンス時間の総和、
(8)タスク遂行中に表示部43に表示されたコンテンツの量(テキストの量、ページを構成するピクセルの量、色数、画像サイズ、画像枚数)、
(9)生体情報(視線移動量、発汗量、操作前と操作中の心拍数の差分、まばたきの回数など)
を演算し、これらに対する重みづけ加算によって効率の指標を演算する。
【0082】
さらに制御部11は、
(1)アンケート情報の分析による、態度の認知的傾向、行動的傾向、感情的傾向、
(2)生体情報の分析による基準値(平常時)とタスク遂行中の生体情報の相違(差分又は比)、例えば脳波のα波量/ESAMによる評価、瞳孔の径、発汗量など)
を演算し、これらに対する統計的演算の結果として満足度の指標を演算する。
【0083】
こうして演算された各指標は被験者と、その遂行したタスクとともに、固有の識別子に関連づけて記憶部12に格納される。そして制御部11は、評価者の指示に従って、これらの指標を表示部13に表示する。
【0084】
さらに、制御部11は、これらの各指標に対応する評価結果を、各指標の少なくとも一部を用いた予め定められた統計ルール(第2ルール)を用いて演算し、当該演算した評価結果を評価者の指示に従って、表示部13に表示する。
【0085】
[有効性の評価結果]
本実施の形態に関するある例では、この有効性の指標は2つの側面を有する。すなわち、タスクの遂行を完了した利用者の割合の側面(タスク達成率)と、あるタスクの遂行にあたり、そのタスクに含まれる各サブタスクの遂行の完了の度合い(タスク成功率)とである。タスク達成率は、複数の被験者が、指定されたタスクの目標を達成する上での完全さの指標となるもので、タスクの最終目標を達成できた被験者の割合(全被験者の数に対する最終目標を達成した被験者の数の比)で規定する。これは表や棒グラフとして表示することが好適である。また、タスクが複数のサブタスクに分割できる場合、各サブタスクごとの最終目標を達成した被験者の割合を用いてもよい。また、タスク成功率は、指定されたタスクがサブタスクに分割可能な場合にのみ演算できる。すなわち、タスク達成率よりも詳細なユーザビリティ評価結果を得るため、複数の被験者が指定されたタスクの目標を達成する上での完全さの第2の指標として演算される。具体的に、タスク成功率は、サブタスク達成率の平均をパーセントで演算する。すなわち、
【数3】
Σ(サブタスクごとのタスク達成率)/サブタスクの数
として演算する。このタスク成功率も視覚的に表示する場合は、表や棒グラフによって表示することが好ましい。なお、有効性のうち、個々のタスクの達成率や、タスク成功率は評価結果そのものとなるのに対して、サブタスクの達成率は、要因分析のために提示される。ちなみに、サブタスクの成功率は、理論上定義できない。
【0086】
[効率性の評価結果]
効率性は、タスク作業時間、タスク遂行中のクリック回数(タスククリック回数)、タスク遂行中の視線移動量(タスク視線移動量)といったものが評価結果となる。タスク作業時間は、被験者が指定されたタスクの目標を達成するために機器4を操作したときの正確さと完全さに関連して費やした時間資源に相当する。データ及びグラフは、タスクを達成した被験者のものと、タスクを達成できなかった被験者のものとを別々に扱うことが好ましい。これにより、タスクを達成した被験者とそうでない被験者との間の時間資源利用の違いやサブタスク間の時間資源の利用の違いが評価可能となる。なお、視覚的に表示する場合、表には最大・最小、標準偏差、標準誤差を提示することが好ましい。また棒グラフ化してもよく、この場合、平均値を棒グラフの高さで、最大・最小を点で、標準偏差を幅で表現する。
【0087】
タスククリック回数は、被験者が指定されたタスクの目標を達成するために機器4を操作したときの正確さと完全さに関連して費やした操作量の指標となる。この場合も、データ及びグラフは、タスクを達成した被験者のものと、タスクを達成できなかった被験者のものとを別々に扱うことが好ましい。視覚的に表示する場合、タスクを達成した被験者とタスクを達成しなかった被験者とのそれぞれについて、タスク終了までに費やした被験者の平均クリック回数を回数単位で表又は、棒グラフで表示する。棒グラフで表示する場合、タスク達成者と達成しなかった被験者とのタスク作業時間を1つのグラフに併せて提示することが好ましい。また、ここでのクリック回数は、例えばマウスに複数のボタンがあっても、どのボタンをクリックしたかを区別せずに累算する。また、ダブルクリックは2回とカウントする。サブタスクに分割する場合、タスク(サブタスクではない)を達成した被験者と達成しなかった被験者とにわけてサブタスクの遂行中にしたクリック回数を1つの棒グラフに併せて提示する。なお、表では、最大・最小、標準偏差、標準誤差を表示し、棒グラフでは、平均値を棒グラフの高さで、最大・最小を点で、標準偏差を幅で表現する。
【0088】
タスク視線移動量は、指定されたタスクの目標を達成するために、機器4を操作したときの、正確さと完全さに関連して費やした認知負荷の指標となる。この場合も、データ及びグラフは、タスクを達成した被験者のものと、タスクを達成できなかった被験者のものとを別々に扱うことが好ましい。具体的にタスク視線移動量は、タスクを達成した被験者とタスクを達成しなかった被験者とにわけて、タスク終了までに費やした被験者の平均の視線移動量を例えばミリメートル単位で、整数で表示し、表又は棒グラフを用いて視覚的に表示する。視線移動量は、生体情報から得られる視線移動の角度のデータをディスプレイ上(表示部43上)の距離に換算して、注視点間(細かい移動は無視する)の移動距離の積算値として計算する。棒グラフでは、タスクを達成した被験者とそうでない被験者との視線移動量を1つのグラフに併せて表示する。また表に示す場合、タスクを達成した被験者と、そうでない被験者と、全被験者との3つの比較ができるように、それぞれを提示する。サブタスクに分割する場合、タスク(サブタスクではない)を達成した被験者と達成しなかった被験者とにわけてサブタスクの遂行中にした視線移動距離を1つの棒グラフに併せて提示する。なお、表では、最大・最小、標準偏差、標準誤差を表示し、棒グラフでは、平均値を棒グラフの高さで、最大・最小を点で、標準偏差を幅で表現する。
【0089】
これらタスク作業時間、タスククリック回数、タスク視線移動量は、評価結果として利用され、サブタスクごとの作業時間やクリック回数、視線移動量は、要因の分析に供される。
【0090】
[満足度の評価結果]
満足度の評価は、主観的満足度、機能要因主観評価と、好感度要因主観評価等がある。主観的満足度は、被験者が指定されたタスクの目標を達成するために機器4を操作した後の、もしくは評価対象となるWebサイトにおけるトップページから自由に閲覧するというようなタスクを実施した後の、評価対象に対する肯定的な態度の指標として提示するものである。なお、トップページから自由に閲覧するタスクの場合、トップページではなく、トップページを含むサイト全体が評価対象となる。指定されたタスク(課題タスク)においては、この課題タスクを達成した被験者と達成しなかった被験者とにわけて、肯定的態度の違いを評価する。また、例えばトップページから自由に閲覧してもらった後で、そのサイトにおいて課題タスクを実行させるというようなことをする場合、自由閲覧後の肯定的態度の指標と、課題タスク実行後の肯定的態度の指標の相違から、その変化を評価することも目的の一つである。
【0091】
また、機能要因主観評価では、被験者が指定されたタスクの目標を達成するために機器4を操作した後の、もしくは評価対象となるWebサイトにおけるトップページから自由に閲覧するというようなタスクを実施した後の、評価対象に対する機能要因(例えば使いやすさといった要因)に関する主観的満足度の指標として提示するものである。なお、トップページから自由に閲覧するタスクの場合、トップページではなく、トップページを含むサイト全体が評価対象となる。指定されたタスク(課題タスク)においては、この課題タスクを達成した被験者と達成しなかった被験者とにわけて、機能要因に関する主観的満足度の違いを評価する。また、例えばトップページから自由に閲覧してもらった後で、そのサイトにおいて課題タスクを実行させるというようなことをする場合、自由閲覧後の上記満足度の指標と、課題タスク実行後の上記満足度の指標の相違から、その変化を評価することも目的の一つである。これを視覚的に表示する場合、各機能要因に対する主観的評価を軸としたレーダーチャートで表示することが好ましい。
【0092】
さらに、好感度要因主観評価では、被験者が指定されたタスクの目標を達成するために機器4を操作した後の、もしくは評価対象となるWebサイトにおけるトップページから自由に閲覧するというようなタスクを実施した後の、評価対象に対する好感度要因(印象などに関する要因)に関する主観的満足度の指標として提示するものである。なお、トップページから自由に閲覧するタスクの場合、トップページではなく、トップページを含むサイト全体が評価対象となる。指定されたタスク(課題タスク)においては、この課題タスクを達成した被験者と達成しなかった被験者とにわけて、好感度要因に関する主観的満足度の違いを評価する。また、例えばトップページから自由に閲覧してもらった後で、そのサイトにおいて課題タスクを実行させるというようなことをする場合、自由閲覧後の上記満足度の指標と、課題タスク実行後の上記満足度の指標の相違から、その変化を評価することも目的の一つである。これを視覚的に表示する場合、各機能要因に対する主観的評価を軸としたレーダーチャートで表示することが好ましい。
【図面の簡単な説明】
【図1】本発明の実施の形態に係るユーザビリティ評価支援装置の構成ブロック図である。
【図2】ユーザビリティ評価支援プログラムの構成を表す機能ブロック図である。
【図3】アンケートの一例を表す説明図である。
【図4】サブタスクの定義の一例を表す説明図である。
【図5】サブタスクに対するユーザビリティ評価支援の処理を表すフローチャート図である。
【図6】生体情報として視点情報を利用する場合の処理の例に関する説明図である。
【図7】視線移動の状態を表示した例を表す説明図である。
【図8】評価の結果の提示の例を表す説明図である。
【図9】評価の結果の提示の例を表す説明図である。
【図10】評価の結果の提示の例を表す説明図である。
【図11】評価の結果の提示の例を表す説明図である。
【図12】評価の結果の提示の例を表す説明図である。
【図13】評価の結果の提示の例を表す説明図である。
【符号の説明】
1 ユーザビリティ評価支援装置、2 生体情報検出装置、11 制御部、12 記憶部、13 表示部、14 操作部、15 ネットワークインタフェース、21 操作履歴取得部、22 生体情報記録部、23 満足度記録部、24 イベント記録部、25 統計処理部、26 統計ルール設定部。
Claims (9)
- 情報を表示する表示部を備えた機器に対して、所与のタスクを遂行する際のユーザビリティの評価を支援する装置であって、
前記タスクの遂行に際し、利用者が行った操作に関係する、少なくとも1つの操作履歴のデータ、を含んでなる操作履歴の情報、を取得する手段と、
前記タスクの目標を達成する上での有効性指標と、効率性指標と、満足度指標と、をそれぞれ少なくとも一つずつ生成する指標評価手段と、
を含み、
前記指標評価手段は、有効性指標と効率性指標と満足度指標とのそれぞれを、前記操作履歴情報を含む複数の測定項目のうち、少なくとも一つの測定項目に含まれる、少なくとも一つのデータを用いた統計演算によって評価して生成する、
ことを特徴とするユーザビリティ評価支援装置。 - タスクの遂行時における利用者の生体に関するデータを少なくとも一つ取得する手段をさらに含み、
前記指標評価手段は、有効性指標と効率性指標と満足度指標とのそれぞれを、前記操作履歴の情報と前記生体に関する情報とを含む複数の測定項目のうち、少なくとも一つの測定項目に含まれる、少なくとも一つのデータを用いた統計演算によって評価する、
ことを特徴とするユーザビリティ評価支援装置。 - 請求項1または2に記載のユーザビリティ評価支援装置であって、
前記指標評価手段により生成される少なくとも一つの有効性指標と、少なくとも一つの効率性指標と、少なくとも一つの満足度指標とに基づき、有効性評価結果と、効率性評価結果と、満足度評価結果とをそれぞれ一つずつ、所定の統計演算によって生成する手段、をさらに含むことを特徴とするユーザビリティ評価支援装置。 - 請求項1または2に記載のユーザビリティ評価支援装置であって、
前記指標評価手段における、有効性指標と効率性指標と満足度指標とのそれぞれを評価する際の統計演算の内容を、変更可能とした
ことを特徴とするユーザビリティ評価支援装置。 - 請求項3に記載のユーザビリティ評価支援装置であって、
有効性評価結果と、効率性評価結果と、満足度評価結果とを生成するための所定の統計演算の内容を、変更可能とした
ことを特徴とするユーザビリティ評価支援装置。 - 情報を表示する表示部を備えた機器に対して、所与のタスクを遂行する際のユーザビリティの評価を支援する方法であって、
前記タスクの遂行に際し、利用者が行った操作に関係する、少なくとも1つの操作履歴のデータ、を含んでなる操作履歴の情報、を取得する工程と、
前記タスクの目標を達成する上での正確さと完全さとに関連する有効性指標と、タスクの目標を達成する際に、正確さと完全さとに関連して費やした資源に関連する効率性指標と、タスクの目標を達成する際のタスク遂行者の満足度に関連する満足度指標と、をそれぞれ少なくとも一つずつ生成する指標評価工程と、
を含み、
前記指標評価工程では、有効性指標と効率性指標と満足度指標とのそれぞれを、前記操作履歴情報を含む複数の測定項目のうち、少なくとも一つの測定項目に含まれる、少なくとも一つのデータを用いた統計演算によって評価して生成する、
ことを特徴とするユーザビリティ評価支援方法。 - 請求項6に記載のユーザビリティ評価支援方法であって、
前記指標評価手段により生成される少なくとも一つの有効性指標と、少なくとも一つの効率性指標と、少なくとも一つの満足度指標とに基づき、有効性評価結果と、効率性評価結果と、満足度評価結果とをそれぞれ一つずつ、所定の統計演算によって生成する工程、をさらに含むことを特徴とするユーザビリティ評価支援方法。 - 情報を表示する表示部を備えた機器に対して、所与のタスクを遂行する際のユーザビリティの評価を支援するプログラムであって、コンピュータに、
前記タスクの遂行に際し、利用者が行った操作に関係する、少なくとも1つの操作履歴のデータ、を含んでなる操作履歴の情報、を取得する手順と、
前記タスクの目標を達成する上での正確さと完全さとに関連する有効性指標と、タスクの目標を達成する際に、正確さと完全さとに関連して費やした資源に関連する効率性指標と、タスクの目標を達成する際のタスク遂行者の満足度に関連する満足度指標と、をそれぞれ少なくとも一つずつ生成する指標評価手順と、
を実行させ、
前記指標評価手順では、有効性指標と効率性指標と満足度指標とのそれぞれを、前記操作履歴情報を含む複数の測定項目のうち、少なくとも一つの測定項目に含まれる、少なくとも一つのデータを用いた統計演算によって評価して生成させる、
ことを特徴とするユーザビリティ評価支援プログラム。 - 請求項8に記載のユーザビリティ評価支援プログラムであって、
前記指標評価手段により生成される少なくとも一つの有効性指標と、少なくとも一つの効率性指標と、少なくとも一つの満足度指標とに基づき、有効性評価結果と、効率性評価結果と、満足度評価結果とをそれぞれ一つずつ、所定の統計演算によって生成する手順、をさらにコンピュータに実行させることを特徴とするユーザビリティ評価支援プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002262357A JP2004102564A (ja) | 2002-09-09 | 2002-09-09 | ユーザビリティ評価支援装置 |
| US10/360,910 US6829564B2 (en) | 2002-09-09 | 2003-02-10 | Usability evaluation support apparatus |
| DE10306304A DE10306304B4 (de) | 2002-09-09 | 2003-02-14 | Vorrichtung zur Unterstützung der Benutzerfreundlichkeits-Evaluierung |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002262357A JP2004102564A (ja) | 2002-09-09 | 2002-09-09 | ユーザビリティ評価支援装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004102564A true JP2004102564A (ja) | 2004-04-02 |
Family
ID=31884728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002262357A Pending JP2004102564A (ja) | 2002-09-09 | 2002-09-09 | ユーザビリティ評価支援装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6829564B2 (ja) |
| JP (1) | JP2004102564A (ja) |
| DE (1) | DE10306304B4 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011099170A1 (ja) * | 2010-02-12 | 2011-08-18 | 株式会社日立製作所 | ウェブアプリケーションのユーザビリティ評価方法、分析サーバ、及び、そのプログラム |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7685469B2 (en) * | 2005-04-22 | 2010-03-23 | Microsoft Corporation | Method and apparatus of analyzing computer system interruptions |
| WO2007020551A2 (en) * | 2005-08-15 | 2007-02-22 | Philips Intellectual Property & Standards Gmbh | User interface system for a personal healthcare environment |
| JP4984606B2 (ja) * | 2006-04-03 | 2012-07-25 | 富士ゼロックス株式会社 | デザイン制作支援装置及びデザイン制作支援プログラム |
| JP4802825B2 (ja) * | 2006-04-04 | 2011-10-26 | 富士ゼロックス株式会社 | デザイン制作支援装置及びデザイン制作支援プログラム |
| JP4940734B2 (ja) * | 2006-04-04 | 2012-05-30 | 富士ゼロックス株式会社 | デザイン制作支援装置及びデザイン制作支援プログラム |
| US9754224B2 (en) | 2009-06-26 | 2017-09-05 | International Business Machines Corporation | Action based to-do list |
| US8910054B2 (en) * | 2010-04-14 | 2014-12-09 | Bank Of America Corporation | Audit action analyzer |
| US20140344257A1 (en) * | 2013-05-16 | 2014-11-20 | International Business Machines Corporation | Detecting a Preferred Implementation of an Operation |
| CN109165804A (zh) * | 2018-06-27 | 2019-01-08 | 北京奇艺世纪科技有限公司 | 一种操作成本评估方法、装置及电子设备 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5086393A (en) * | 1986-03-10 | 1992-02-04 | International Business Machines Corp. | System for testing human factors and performance of a system program |
| US5041972A (en) * | 1988-04-15 | 1991-08-20 | Frost W Alan | Method of measuring and evaluating consumer response for the development of consumer products |
| US5084819A (en) * | 1988-11-10 | 1992-01-28 | Response Technologies Inc. | Data collection, analysis, and response system and method |
| JPH04246791A (ja) * | 1991-02-01 | 1992-09-02 | Hitachi Ltd | アンケートデータ収集・分析システム |
| JPH06290079A (ja) * | 1993-03-30 | 1994-10-18 | Hitachi Ltd | 情報処理システム |
| JP3234059B2 (ja) | 1993-08-11 | 2001-12-04 | 株式会社東芝 | 画面デザイン評価装置 |
| EP0685084A1 (en) * | 1993-12-17 | 1995-12-06 | Software Publishing Corporation | Automatic gathering and graphical display of useability test data |
| US5724262A (en) * | 1994-05-31 | 1998-03-03 | Paradyne Corporation | Method for measuring the usability of a system and for task analysis and re-engineering |
| JP2616563B2 (ja) | 1994-07-22 | 1997-06-04 | 日本電気株式会社 | ユーザインタフェース評価装置 |
| JPH08161197A (ja) | 1994-10-07 | 1996-06-21 | Toshiba Corp | ユーザインタフェース評価支援装置及びユーザインタフェース評価支援方法 |
| JP2626598B2 (ja) | 1994-11-25 | 1997-07-02 | 日本電気株式会社 | グラフィカルユーザインタフェースを有する対話システムの操作性評価装置 |
| JPH10124583A (ja) | 1996-10-23 | 1998-05-15 | Nec Corp | 業務実態の評価装置および評価方法 |
| US6047261A (en) * | 1997-10-31 | 2000-04-04 | Ncr Corporation | Method and system for monitoring and enhancing computer-assisted performance |
| JP2000293501A (ja) | 1999-04-05 | 2000-10-20 | Mitsubishi Electric Corp | 学習機能を備えた最適化装置および最適化方法 |
| JP2001051876A (ja) | 1999-08-09 | 2001-02-23 | Fuji Xerox Co Ltd | ユーザビリティ評価装置 |
| JP2001056771A (ja) | 1999-08-18 | 2001-02-27 | Noobasu:Kk | 操作性能評価装置、及び方法 |
| JP2002123452A (ja) | 2000-10-13 | 2002-04-26 | Fuji Xerox Co Ltd | アクセスログ情報管理装置、Webサイト評価システム、Webサイト評価方法、及び、コンピュータ読取り可能な記録媒体 |
| JP2002149633A (ja) | 2000-11-10 | 2002-05-24 | Fuji Xerox Co Ltd | 文書評価システム、文書評価方法及びコンピュータ読み取り可能な記録媒体 |
| JP2002169708A (ja) | 2000-11-30 | 2002-06-14 | Interscope Inc | ブラウザ画面に表示されるカーソルの動作ログ取得方法 |
| JP2002175290A (ja) | 2000-12-07 | 2002-06-21 | Fuji Xerox Co Ltd | ドキュメントデザイン評価システム、ドキュメントデザイン評価方法、記録媒体 |
-
2002
- 2002-09-09 JP JP2002262357A patent/JP2004102564A/ja active Pending
-
2003
- 2003-02-10 US US10/360,910 patent/US6829564B2/en not_active Expired - Lifetime
- 2003-02-14 DE DE10306304A patent/DE10306304B4/de not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011099170A1 (ja) * | 2010-02-12 | 2011-08-18 | 株式会社日立製作所 | ウェブアプリケーションのユーザビリティ評価方法、分析サーバ、及び、そのプログラム |
| JP2011165059A (ja) * | 2010-02-12 | 2011-08-25 | Hitachi Ltd | ウェブアプリケーションのユーザビリティ評価方法、分析サーバ、及び、そのプログラム |
| US8930447B2 (en) | 2010-02-12 | 2015-01-06 | Hitachi, Ltd. | Method, apparatus, and program for usability analysis of web applications |
Also Published As
| Publication number | Publication date |
|---|---|
| US6829564B2 (en) | 2004-12-07 |
| DE10306304A8 (de) | 2004-07-08 |
| US20040049366A1 (en) | 2004-03-11 |
| DE10306304A1 (de) | 2004-03-18 |
| DE10306304B4 (de) | 2007-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004110548A (ja) | ユーザビリティ評価支援装置および方法 | |
| Goldberg et al. | Eye tracking in usability evaluation: A practitioner's guide | |
| US7739621B2 (en) | Interface and method adapted for capturing subjective preferences of program users | |
| Dianat et al. | Working conditions of Iranian hand-sewn shoe workers and associations with musculoskeletal symptoms | |
| US20160379511A1 (en) | Differentially weighted modifiable prescribed history reporting apparatus, systems, and methods for decision support and health | |
| Grandi et al. | A Transdisciplinary digital approach for tractor’s human-centred design | |
| JP6469466B2 (ja) | 評価支援システム | |
| WO2014034008A1 (ja) | 集中度計測装置、プログラム | |
| JP2004102564A (ja) | ユーザビリティ評価支援装置 | |
| Hauger et al. | Using browser interaction data to determine page reading behavior | |
| Park et al. | Extending the technology acceptance model in remote pointing technology: identifying the role of perceived mobility and control | |
| JP2004102868A (ja) | ユーザビリティ評価支援装置 | |
| Harezlak et al. | The eye tracking methods in user interfaces assessment | |
| JP2005216311A (ja) | ユーザビリティ評価支援装置 | |
| Schneider et al. | Identifying preferences through mouse cursor movements–preliminary evidence | |
| WO2022169886A1 (en) | Quantifying and visualizing changes over time to health and wellness | |
| Djamasbi et al. | Search results pages and competition for attention theory: An exploratory eye-tracking study | |
| Falkowska et al. | Microinteractions of forms in web based systems usability and eye tracking metrics analysis | |
| Lee et al. | Performance comparison of manual and touch interface using video-based behavior analysis | |
| Speicher | So, how can we measure UX? | |
| Treeratanaporn et al. | Usability evaluation of touch screen interface with various user groups | |
| JP2020086592A (ja) | 情報機器を用いて作業を行う作業者の作業内容及び集中状態の推定方法 | |
| Eustáquio Rangel de Queiroz et al. | A multidimensional approach for the evaluation of mobile application user interfaces | |
| Kim et al. | Understanding the influence of fatigue on full arm gestures in augmented reality environments | |
| WO2022201640A1 (ja) | 介入システム、介入方法、および、介入プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20040106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040506 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050128 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050517 |