[go: up one dir, main page]

WO2024161648A1 - 評価装置、評価方法、及びプログラム - Google Patents

評価装置、評価方法、及びプログラム Download PDF

Info

Publication number
WO2024161648A1
WO2024161648A1 PCT/JP2023/003650 JP2023003650W WO2024161648A1 WO 2024161648 A1 WO2024161648 A1 WO 2024161648A1 JP 2023003650 W JP2023003650 W JP 2023003650W WO 2024161648 A1 WO2024161648 A1 WO 2024161648A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
evaluators
reaction
evaluator
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/003650
Other languages
English (en)
French (fr)
Inventor
憲子 吉村
則次 恵木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2023/003650 priority Critical patent/WO2024161648A1/ja
Publication of WO2024161648A1 publication Critical patent/WO2024161648A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to subjective evaluation experiments for evaluating the quality of services operated by users, such as games.
  • Non-Patent Document 1 a subjective evaluation method for game operations is described in Non-Patent Document 1.
  • Non-Patent Document 1 recommends grouping evaluators (users (people) to be evaluated) according to their gaming experience and level of understanding.
  • Non-Patent Document 1 does not specifically consider this point.
  • an evaluator with an extremely slow reaction time may feel that operations are slow even in an environment where no delays occur at all, due to their own slow reaction time, regardless of the delays that occur in the service environment. This can be expected to make it difficult for increases or decreases in delay time, which is one of the factors that can cause deterioration in service quality, to be reflected in the evaluation results. Therefore, if many evaluation results are obtained from evaluators with extremely slow reaction times, the results obtained will differ from the actual requirements for delay time.
  • the present invention has been made in consideration of the above points, and aims to provide a technique for obtaining highly reliable experimental results in subjective evaluation experiments for evaluating the quality of services that have operations.
  • an evaluation device for subjectively evaluating a service having an operation, comprising: An acquisition unit that acquires a measurement value related to a reaction of each of a plurality of evaluators and an evaluation result of the service by each of the evaluators; and a selection unit that selects a final evaluation result from the evaluation results of the multiple evaluators based on a comparison between the measurement value and a threshold.
  • the disclosed technology provides a technique for obtaining highly reliable experimental results in subjective evaluation experiments for evaluating the quality of a service that has operations.
  • FIG. 13 is a diagram showing an example of reaction rate measurement results.
  • FIG. 1 is a configuration diagram of a subjective assessment device 100.
  • FIG. 13 is a configuration diagram of an evaluation result selection unit 130. 4 is a flowchart for explaining the operation of the subjective assessment device 100.
  • FIG. 11 shows an example of information stored in an evaluation result DB 140.
  • 11 is a diagram showing an example of information stored in a reaction rate measurement result DB 150.
  • FIG. FIG. 11 is a diagram for explaining a data selection process using a threshold value.
  • FIG. 13 is a diagram for explaining a method for determining a threshold value based on a reaction rate measurement result.
  • FIG. 13 is a diagram for explaining a method for determining a threshold value based on an evaluation result.
  • FIG. 13 is a diagram for explaining a method for determining a threshold value based on an evaluation result.
  • FIG. 13 is a diagram for explaining a method for determining a threshold value based on an evaluation result.
  • FIG. 2 illustrates an example of a hardware configuration of the apparatus.
  • the reaction speed is measured as a measurement of the reaction of the evaluator, but the reaction measurement is not limited to the reaction speed.
  • the reaction measurement may be a measurement other than the reaction speed (e.g., pulse rate, blood pressure, brain waves, etc.).
  • the subjective assessment device 100 adds measurement of the reaction speed of the evaluator to one of the steps in the subjective assessment of a service that has operations, and selects evaluators or groups the evaluators based on the evaluation results.
  • An example of measuring reaction speed is to prepare a system in which the screen switches randomly, and measure the time it takes for an evaluator to click the mouse after seeing the screen switch.
  • Figure 1 shows the results of measuring reaction speed using this method.
  • the horizontal axis represents age
  • the vertical axis represents the reaction speed of each evaluator.
  • the evaluation results by evaluators with "no gaming experience” and those with "experience” are plotted on the coordinate system.
  • reaction speed measurements are carried out separately from the hearing of information such as age and gaming experience, and evaluators with slow/fast reaction speeds are identified. For example, by excluding data from evaluators with slow reaction speeds, highly reliable subjective evaluation experiment results can be obtained.
  • reaction speed measurements are performed before, after, or during the actual evaluation experiment. This makes it possible to select data that has been evaluated while maintaining reaction speed.
  • a service having operations is presented to an evaluator, and an experiment is conducted to evaluate the effect of a delay time being introduced into the time from the operation to the reflection of the operation information as visual information.
  • a "service having operations” is a service that is provided by a user (evaluator) performing an operation using an operating means such as a keyboard, a touch panel, or a mouse.
  • the above services are not limited to any specific services, but we will assume cloud gaming as an example here.
  • the delay time is assumed to be the time between when the evaluator inputs an operation via the keyboard and when that operation is reflected in the movement of the character or visual information on the screen.
  • For subjective evaluations for this purpose we assume that an environment is prepared in which the game is operated locally, and the evaluation is carried out in a subjective evaluation experiment environment that introduces a certain delay into the screen output.
  • FIG. 2 shows an example of the configuration of a subjective assessment device 100 including a subjective assessment experiment environment in this embodiment.
  • the subjective assessment device 100 in this embodiment has an experiment process generation unit 110, a subjective assessment experiment unit 120, a reaction rate measurement unit 121 included in the subjective assessment experiment unit 120, and an assessment result selection unit 130.
  • the subjective evaluation experiment unit 120 corresponds to the subjective evaluation experiment environment described above.
  • the subjective evaluation device 100 further has an evaluation result DB 140 that stores the evaluation results obtained through the subjective evaluation experiment unit 120, and a reaction rate measurement result DB 150 that stores the reaction rate measurement results obtained through the reaction rate measurement unit 121. Detailed operations of each unit will be explained in the "Operation Example" section below.
  • the "subjective assessment experiment unit 120, evaluation result DB 140, and reaction speed measurement result DB 150" may be provided outside the subjective assessment device 100.
  • the "experiment process generation unit 110, subjective assessment experiment unit 120, evaluation result DB 140, and reaction speed measurement result DB 150" may be provided outside the subjective assessment device 100.
  • a device having at least the evaluation result selection unit 130 may be called the subjective evaluation device 100.
  • the subjective evaluation device 100 may be called the "evaluation device.”
  • FIG. 3 shows an example of the configuration of the evaluation device 130, which corresponds to the evaluation result selection unit 130.
  • the evaluation device 130 evaluation result selection unit 130
  • the acquisition unit 131 has an acquisition unit 131 and a selection unit 132.
  • the acquisition unit 131 acquires measurement values relating to the reactions of each of the multiple evaluators and the evaluation results of the service by each of the multiple evaluators.
  • the selection unit 132 selects a final evaluation result from the evaluation results of the multiple evaluators based on a comparison between the measurement values and a threshold value.
  • the experiment process generation unit 110 generates an experiment process. Specifically, the experiment process is as follows.
  • the delay time condition, the number of evaluations for one condition, and the number of reaction rate measurements X are input to the experimental process generation unit 110.
  • P the total number of evaluations
  • M the number of delay time conditions
  • N the number of evaluations N for one condition
  • the experimental process generation unit 110 generates an experimental process so as to measure the reaction after each of the multiple evaluations of the service.
  • the process of measuring the reaction after each of the multiple evaluations of the service is not limited to the specific example above.
  • the experiment configuration generation unit 110 transmits the experiment process obtained as described above to the subjective evaluation experiment unit 120.
  • S102 Subjective evaluation experiment>
  • a subjective evaluation experiment is carried out by the subjective evaluation experiment unit 120. More specifically, the experiment is carried out as follows.
  • the experiment process and evaluator information are input to the subjective evaluation experiment unit 120.
  • the subjective evaluation experiment unit 120 performs cloud game operations and evaluations of those operations in the aforementioned evaluation environment for each evaluator in turn, according to the delay time conditions in accordance with the experiment process.
  • the subjective evaluation experiment unit 120 transmits the delay time conditions for each evaluator, the quality evaluation results, the evaluator information, and the number of reaction speed measurements up to that point to the evaluation result DB 140 each time an evaluation is performed.
  • the evaluator information may be any information that allows the evaluator to be identified, such as an ID given to each evaluator.
  • the questions and evaluation scale described in Non-Patent Document 1, for example, are used.
  • reaction rate measurement unit 121 When the experimental process reaches the stage where reaction rate measurement is to be performed, the reaction rate measurement unit 121 operates.
  • the reaction speed measurement unit 121 measures the reaction speed of each evaluator according to the order of the experimental steps. For example, as described above, a system is prepared in which screen changes occur randomly, and the time from when the screen changes to when the evaluator clicks the mouse is measured. In this embodiment, this "time” is called the “reaction speed.” In other words, a high “reaction speed” means that this "time” is long and the reaction is slow.
  • the reaction rate measurement unit 121 transmits the reaction rate measurement results for each evaluator, evaluator information for the results, and information regarding which reaction rate measurement result it was, to the reaction rate measurement result DB 150.
  • FIG. 5 shows an example of the information stored in the evaluation result DB 140.
  • the evaluation result DB 140 stores the evaluator ID, delay time conditions, evaluation results, and the cumulative number of reaction speed measurements.
  • FIG. 6 shows an example of the information stored in reaction rate measurement result DB150.
  • reaction rate measurement result DB150 stores evaluator ID, reaction rate, and cumulative number of reaction rate measurements.
  • evaluation result selection unit 130 selects the evaluation results. Specifically, the selection is as follows.
  • the evaluation result selection unit 130 selects the evaluation results by acquiring information from the evaluation result DB 140 and the reaction rate measurement result DB 150.
  • the evaluation result selection unit 130 sets a certain threshold for reaction speed, and if a certain evaluator's measurement results include reaction speed measurement results that are equal to or greater than that threshold, the evaluation result selection unit 130 outputs the results excluding evaluation results evaluated by that evaluator after the time the reaction speed measurement was performed.
  • reaction rate threshold is set to 400 ms. From the data in reaction rate measurement result DB150 in (a), measurement results in which the reaction rate exceeds the threshold (or is equal to or greater than the threshold) are extracted to obtain the extraction result (b).
  • the above process is an example.
  • the evaluation result selection unit 130 may perform a process different from the above process. For example, for a certain evaluator, if the nth reaction rate measurement results in a result equal to or greater than the threshold, but the n+1th reaction rate measurement results in a result less than the threshold, the evaluation results "from the nth reaction rate measurement onwards and before the n+1th reaction rate measurement” may be deleted, but the evaluation results "from the n+1th reaction rate measurement onwards and before the reaction rate measurement reaches or exceeds the threshold" may not be deleted.
  • the method for setting the above-mentioned threshold is not limited to a specific method, but for example, the following setting method 1 or setting method 2 can be used.
  • the evaluation result selection unit 130 acquires reaction rate measurement results for all evaluators, and then selects outliers based on the interquartile ranges for all reaction rate measurement results. Specifically, for example, the first and third quartiles of the reaction rate measurement results are set as Q1 and Q3, respectively, and the threshold is set as Q3 + (Q3 - Q1) x 1.5.
  • FIG. 8 shows a specific example of threshold setting method 1.
  • the threshold is calculated as 494.5.
  • the evaluation result selection unit 130 sets a threshold for the reaction rate measurement result taking into account the influence on the evaluation result.
  • the method is as follows.
  • the evaluation result selection unit 130 calculates the average evaluation value for each evaluator ID for the evaluation results for each evaluation condition (each delay condition in this case), selects the evaluator with the highest (slowest) reaction speed, and calculates the correlation coefficient between this evaluator's evaluation result and the average evaluation value (this is called "Task 1"). If the correlation coefficient falls below 0.75, the evaluation result of this evaluator is excluded and Task 1 is performed again.
  • the evaluation result selection unit 130 repeats the above process until the correlation coefficient exceeds 0.75, and sets the minimum reaction speed of the evaluators excluded up to that point as the threshold value.
  • the predetermined value "0.75" used as the threshold for the correlation coefficient above is just an example, and a value other than 0.75 may be used as the threshold.
  • FIG. 9 shows the initial state of the evaluation results and reaction rates of each evaluator.
  • the evaluation result selection unit 130 calculates the correlation coefficient between that evaluator's evaluation result and the average evaluation value of multiple evaluators. In this case, a correlation coefficient of 0.250 is obtained. As the correlation coefficient falls below 0.75, the data for evaluator ID 2 is deleted and processing continues.
  • Figure 10 shows the evaluation results and reaction rates of each evaluator after excluding the data for evaluator ID 2.
  • the evaluation result selection unit 130 calculates the correlation coefficient between that evaluator's evaluation result and the average evaluation. In this case, the correlation coefficient obtained is -0.407. Since the correlation coefficient falls below 0.75, the data for evaluator ID 14 is deleted and processing continues.
  • Figure 11 shows the evaluation results and reaction rates of each evaluator after excluding the data of evaluator IDs 2 and 14.
  • the evaluation result selection unit 130 calculates the correlation coefficient between that evaluator's evaluation result and the average evaluation. In this case, the correlation coefficient obtained is 0.956. Since the correlation coefficient exceeds 0.75, 479, which is the smallest reaction rate among the evaluators that have been deleted so far, is set as the threshold.
  • the final evaluation result is obtained based on the policy of selecting the evaluation result of an evaluator with a slow reaction speed (shorter reaction delay).
  • the final evaluation result may be obtained based on the policy of selecting the evaluation result of an evaluator with a fast reaction speed (larger reaction delay).
  • the evaluation result selection unit 130 sets a certain threshold for reaction speed, and if a reaction speed measurement result below that threshold (or lower than the threshold) is included in the measurement results of a certain evaluator, it outputs evaluation results excluding evaluation results evaluated by that evaluator after the time when the reaction speed measurement was performed.
  • Any of the devices (subjective assessment device, assessment device) described in this embodiment can be realized, for example, by causing a computer to execute a program.
  • This computer may be a physical computer or a virtual machine on a cloud.
  • the device can be realized by using hardware resources such as a CPU and memory built into a computer to execute a program corresponding to the processing performed by the device.
  • the program can be recorded on a computer-readable recording medium (such as a portable memory) and then stored or distributed.
  • the program can also be provided via a network such as the Internet or email.
  • FIG. 12 is a diagram showing an example of the hardware configuration of the computer.
  • the computer in FIG. 12 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, etc., all of which are interconnected by a bus BS.
  • the computer may further include a GPU.
  • the program that realizes the processing on the computer is provided by a recording medium 1001, such as a CD-ROM or a memory card.
  • a recording medium 1001 storing the program is set in the drive device 1000, the program is installed from the recording medium 1001 via the drive device 1000 into the auxiliary storage device 1002.
  • the program does not necessarily have to be installed from the recording medium 1001, but may be downloaded from another computer via a network.
  • the auxiliary storage device 1002 stores the installed program as well as necessary files, data, etc.
  • the memory device 1003 When an instruction to start a program is received, the memory device 1003 reads out and stores the program from the auxiliary storage device 1002.
  • the CPU 1004 realizes the functions related to the device in accordance with the program stored in the memory device 1003.
  • the interface device 1005 is used as an interface for connecting to a network, etc.
  • the display device 1006 displays a GUI (Graphical User Interface) based on a program, etc.
  • the input device 1007 is composed of a keyboard and mouse, buttons, a touch panel, etc., and is used to input various operational instructions.
  • the output device 1008 outputs the results of calculations.
  • An evaluation device for subjectively evaluating a service having an operation comprising: Memory, at least one processor coupled to the memory; Including, The processor, Obtaining a measurement value regarding a response of each of a plurality of evaluators and an evaluation result of the service by each of the evaluators; an evaluation device that selects a final evaluation result from the evaluation results of the multiple evaluators based on a comparison between the measured value and a threshold value.
  • the measurement value regarding the reaction is a measurement value indicating a speed of the reaction, and the processor selects as the final evaluation result the evaluation result of the evaluator whose measurement value is above the threshold value or below the threshold value.
  • the evaluation device according to claim 1 or 2, wherein the processor generates an experiment process for performing a measurement related to a reaction for each of a plurality of evaluations of the service.
  • the processor sets the threshold value so as to exclude evaluation results of an evaluator whose evaluation results have a correlation coefficient with an average value of the evaluation results of a plurality of evaluators that is lower than a predetermined value. (Additional Note 5) 1.
  • An evaluation method executed by an evaluation device for subjectively evaluating a service having an operation comprising: An acquisition step of acquiring a measurement value related to a reaction of each of a plurality of evaluators and an evaluation result of the service by each of the evaluators; and a selection step of selecting a final evaluation result from the evaluation results of the multiple evaluators based on a comparison between the measurement value and a threshold value.
  • An acquisition step of acquiring a measurement value related to a reaction of each of a plurality of evaluators and an evaluation result of the service by each of the evaluators comprising: An acquisition step of acquiring a measurement value related to a reaction of each of a plurality of evaluators and an evaluation result of the service by each of the evaluators; and a selection step of selecting a final evaluation result from the evaluation results of the multiple evaluators based on a comparison between the measurement value and a threshold value.

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

操作を有するサービスの主観評価を行うための評価装置であって、複数の評価者における各評価者についての反応に関する測定値と、前記各評価者による前記サービスの評価結果とを取得する取得部と、前記測定値と閾値との比較に基づいて、前記複数の評価者の評価結果から、最終評価結果を選定する選定部とを備える。

Description

評価装置、評価方法、及びプログラム
　本発明は、ゲームなどのユーザにより操作が行われるサービスの品質を評価するための主観評価実験に関連するものである。
　ユーザにより操作が行われるサービスにおいて、ユーザが満足するサービス環境を実現するための要求条件を明らかにし、要求条件に基づくサービス設計や監視を行うことが重要である。
　そのために、操作を有するサービスにおいて、遅延時間などのサービス劣化要因に対して、様々な環境下でサービスを利用したときの、サービス品質の主観評価値を取得することで、所望の主観評価値を満足するために必要な条件を明らかにすることが行われている。例えば、ゲーム操作に対する主観評価手法については、非特許文献１において記載されている。
ITU-T Recommendation P.809: Subjective evaluation methods for gaming quality
　操作を有するサービスの品質評価において、各サービス環境下における評価結果はゲーム経験等の評価者属性に影響を受ける。そのため、非特許文献１では、ゲーム経験や理解度に応じた評価者（評価対象となるユーザ（人））のグループ分けを行うことを推奨している。
　しかし、操作情報（操作入力など）に対するサービスの遅延の影響については、評価者のゲーム経験や理解度とは別に、評価者の身体能力、例えば、ランプが付いたらボタンを押すケースにおける反応速度等も評価結果に影響することが想定される。しかしながら、非特許文献１ではこの点について具体的に考慮はされていない。
　例えば、反応速度が著しく遅い評価者の場合、サービス環境で発生した遅延とは関係なく、自らの反応速度が遅いことから、全く遅延が発生していない環境においても操作が遅れていると感じることがある。これにより、サービス品質の劣化要因の１つである遅延時間の増減が評価結果に反映されづらくなることが想定される。そのため、極端に反応速度が遅い評価者から多くの評価結果を取得した場合には、本来の遅延時間に対する要求条件とは異なる結果が得られることとなる。
　すなわち、従来技術では、操作を有するサービスの品質を評価するための主観評価実験において、信頼度の高い実験結果を得ることが難しいという課題があった。
　本発明は上記の点に鑑みてなされたものであり、操作を有するサービスの品質を評価するための主観評価実験において、信頼度の高い実験結果を得るための技術を提供することを目的とする。
　開示の技術によれば、操作を有するサービスの主観評価を行うための評価装置であって、
　複数の評価者における各評価者についての反応に関する測定値と、前記各評価者による前記サービスの評価結果とを取得する取得部と、
　前記測定値と閾値との比較に基づいて、前記複数の評価者の評価結果から、最終評価結果を選定する選定部と
　を備える評価装置が提供される。
　開示の技術によれば、操作を有するサービスの品質を評価するための主観評価実験において、信頼度の高い実験結果を得るための技術が提供される。
反応速度の測定結果例を示した図である。 主観評価装置１００の構成図である。 評価結果選定部１３０の構成図である。 主観評価装置１００の動作を説明するためのフローチャートである。 評価結果ＤＢ１４０に格納される情報の例を示した図である。 反応速度測定結果ＤＢ１５０に格納される情報の例を示した図である。 閾値を用いたデータ選定処理を説明するための図である。 反応速度測定結果に基づく閾値の決定方法を説明するための図である。 評価結果に基づく閾値の決定方法を説明するための図である。 評価結果に基づく閾値の決定方法を説明するための図である。 評価結果に基づく閾値の決定方法を説明するための図である。 装置のハードウェア構成例を示す図である。
　以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
　以下の実施の形態では、評価者の反応に関する測定として、反応速度の測定を行っているが、反応に関する測定は、反応の速さの測定に限定されるわけではない。反応に関する測定として、反応の速さの測定以外の測定（例えば、脈拍、血圧、脳波などの測定）を行うこととしてもよい。
　（本実施の形態に係る技術の概要）
　前述したとおり、操作を有するサービスの品質を評価するための主観評価実験において、従来技術では、評価者の人としての身体能力（例えば、反応速度）を考慮していないために、信頼度の高い評価結果を得ることが難しかった。
　この課題を解決するために、本実施の形態に係る主観評価装置１００は、操作を有するサービスの主観評価において、工程の１つに評価者の反応速度計測を追加し、その評価結果に基づき評価者を選定する、もしくは、評価者をグループ化することとしている。
　反応速度計測の例としては、ランダムに画面の切り替わりが発生するシステムを用意し、評価者が、切り替わりが発生したのを確認してからマウスをクリックするまでの時間を測定する方法が挙げられる。このような方法で反応速度を測定した場合の結果を図１に示す。
　図１は、横軸は年齢、縦軸は評価者各人の反応速度である。本例では、図示のとおりに、「ゲーム経験なし」の評価者による評価結果と、「ゲーム経験あり」の評価者による評価結果とを座標上にプロットしている。
　図１に示すように、年齢あるいはゲーム経験の有無と反応速度との相関はそれほど高くない。そのため、本実施の形態では、年齢／ゲーム経験のような情報のヒアリングとは別に反応速度測定を実施し、遅い／速い評価者を特定することとしている。例えば、反応速度が遅い評価者のデータを除外することで、信頼度の高い主観評価実験結果を取得できる。
　また、評価者が、長時間にわたって評価を行った場合には疲労による身体能力の低下が発生することも想定される。そこで、本実施の形態では、反応速度測定を、本来の評価実験の前後あるいは途中に実施することとしている。これにより、反応速度を維持した状態で評価できているデータを選定することが可能となる。
　以下、本実施の形態で使用する装置の構成と動作を詳細に説明する。
　（想定するサービス、装置構成）
　本実施の形態では、評価者に操作を有するサービスを提示し、操作から操作情報が視覚情報として反映されるまでの時間について遅延時間が混入した際の影響を評価する実験を対象とする。なお、「操作を有するサービス」とは、ユーザ（評価者）が、例えばキーボード、タッチパネル、あるいはマウスなどの操作手段を用いて操作を行うことによりサービス提供がなされるサービスである。
　上記サービスは、特定のサービスに限定されないが、ここでは例としてクラウドゲームを想定する。評価者がキーボードによる操作入力を行ってから、その操作が、画面上のキャラクターや視覚情報の移動に反映されるまでの時間を遅延時間として想定する。このような目的での主観評価については、例えばローカルでゲームを操作する環境を用意し、画面出力に対して一定の遅延を混入する主観評価実験環境で評価を行うことを想定する。
　図２に、本実施の形態における主観評価実験環境を含む主観評価装置１００の構成例を示す。
　図２に示すように、本実施の形態における主観評価装置１００は、実験工程生成部１１０、主観評価実験部１２０、主観評価実験部１２０に含まれる反応速度測定部１２１、及び、評価結果選定部１３０を有する。
　主観評価実験部１２０は、前述の主観評価実験環境に相当する。主観評価装置１００は更に、主観評価実験部１２０を通じて得られた評価結果を保存する評価結果ＤＢ１４０、及び、反応速度測定部１２１を通じて得られた反応速度の測定結果を保存する反応速度測定結果ＤＢ１５０を有する。各部の詳細動作については、以降の「動作例」のところで説明する。
　なお、図２に示す主観評価装置１００において、例えば、「主観評価実験部１２０、評価結果ＤＢ１４０、及び反応速度測定結果ＤＢ１５０」は、主観評価装置１００の外部に備えられてもよい。また、図２に示す主観評価装置１００において、「実験工程生成部１１０、主観評価実験部１２０、評価結果ＤＢ１４０、及び反応速度測定結果ＤＢ１５０」が、主観評価装置１００の外部に備えられてもよい。
　また、少なくとも評価結果選定部１３０を有する装置を主観評価装置１００と呼んでもよい。また、主観評価装置１００を「評価装置」と呼んでもよい。
　図３に、評価結果選定部１３０に相当する評価装置１３０の構成例を示す。図３に示すように、評価装置１３０（評価結果選定部１３０）は、取得部１３１、及び選定部１３２を有する。
　取得部１３１は、複数の評価者における各評価者についての反応に関する測定値と、前記各評価者によるサービスの評価結果とを取得する。選定部１３２は、前記測定値と閾値との比較に基づいて、複数の評価者の評価結果から、最終評価結果を選定する。
　（動作例）
　以下、図４のフローチャートの手順に沿って、主観評価装置１００の動作例を説明する。
　＜Ｓ１０１：実験工程生成＞
　Ｓ１０１において、実験工程生成部１１０が実験工程を生成する。具体的には下記のとおりである。
　実験工程生成部１１０には、遅延時間条件、１条件の評価回数、反応速度計測回数Ｘが入力される。
　実験工程生成部１１０は、最初に遅延時間条件の数Ｍと１条件の評価回数Ｎの乗算により評価を行う総数Ｐ（＝Ｍ×Ｎ）を決定し、ランダマイズによりＰ回の評価におけるそれぞれの遅延時間条件を決定する。ここでは遅延時間という条件のみを対象としているが、主観評価実験環境において設定可能な条件数に応じて、他の品質劣化要因の入力に変更してもよい。
　実験工程生成部１１０は更に、反応速度計測回数Ｘに応じて、反応速度測定を混入した実験工程を生成する。例えば、（ｉ－１）×Ｐ番目（ｉ＝１、２…、Ｘ）の評価の後（前記の値「（ｉ－１）×Ｐ」が０の場合は最初の評価の前）に反応速度測定を実験工程に追加設定する。
　すなわち、実験工程生成部１１０は、サービスに対する複数回の評価ごとに、反応に関する測定を行うように実験工程を生成する。なお、サービスに対する複数回の評価ごとに、反応に関する測定を行う工程について、上記の具体例に限定されない。
　実験構成生成部１１０は、上記のようにして得られた実験工程を主観評価実験部１２０に対して送信する。
　＜Ｓ１０２：主観評価実験＞
　Ｓ１０２において、主観評価実験部１２０により主観評価実験が行われる。具体的には下記のとおりである。
　主観評価実験部１２０に、実験工程及び評価者情報が入力される。主観評価実験部１２０は、実験工程に沿った遅延時間条件に従い、各評価者について、順番に前述した評価環境におけるクラウドゲームの操作及びその操作に対する評価を実施する。
　主観評価実験部１２０は、各評価者について、１回の評価を行うごとに、その評価に関する遅延時間条件、品質の評価結果、評価者情報、ここまでの反応速度測定回数を評価結果ＤＢ１４０に送信する。評価者情報については、評価者を判別可能な情報であればどのような情報でもよく、例えば評価者ごとに与えたＩＤなどが挙げられる。評価結果については例えば非特許文献１に記載されている設問及び評価尺度を用いる。
　実験工程において反応速度測定の工程となった場合には、反応速度測定部１２１が動作する。
　反応速度測定部１２１は、実験工程の順序に従い各評価者の反応速度を測定する。例えば、前述したように、ランダムに画面の切り替わりが発生するシステムを用意し、切り替わりが発生してから、評価者がマウスをクリックするまでの時間を測定する。本実施の形態では、この「時間」を「反応速度」と呼んでいる。つまり、「反応速度」が大きいとは、この「時間」が大きく、反応が遅いことを意味する。
　反応速度の測定に関して、各評価者について、安定した結果を得るために複数回の測定結果の平均値をとってもよいし、評価者が単発的に適切に操作を行うことができなかったケースを想定して、複数回の測定を行ったうえで最長と最短のデータを削除した平均値をとることとしてもよい。
　反応速度測定部１２１は、各評価者について、反応速度の測定結果、及び、この結果に対する評価者情報、及び、何回目の反応速度測定結果であったかについての情報を反応速度測定結果ＤＢ１５０に送信する。
　図５に、評価結果ＤＢ１４０に格納される情報のイメージを示す。図５の例では、評価結果ＤＢ１４０には、評価者ＩＤ、遅延時間条件、評価結果、及び反応速度測定累計回数が格納される。
　図６に、反応速度測定結果ＤＢ１５０に格納される情報のイメージを示す。図６の例では、反応速度測定結果ＤＢ１５０には、評価者ＩＤ、反応速度、及び反応速度測定累計回数が格納される。
　＜Ｓ１０３：評価結果選定＞
　Ｓ１０３において、評価結果選定部１３０が、評価結果選定を行う。具体的には下記のとおりである。
　評価結果選定部１３０は、複数の評価者が評価を完了した後に、評価結果ＤＢ１４０の情報と反応速度測定結果ＤＢ１５０の情報を取得することにより、評価結果の選定を行う。
　例えば、評価結果選定部１３０は、反応速度に対する一定の閾値を設け、その閾値以上の（あるいは閾値を上回る）反応速度測定結果が、ある評価者の測定結果に含まれている場合には、その評価者が当該反応速度測定を行った時点以降に評価した評価結果を除外したものを出力する。
　この評価方法を用いる場合における具体例を図７に示す。図７の例では、反応速度の閾値を４００ｍｓとしている。（ａ）の反応速度測定結果ＤＢ１５０のデータから、反応速度が閾値を上回る（あるいは閾値以上の）測定結果を抽出することで抽出結果（ｂ）を得る。
　評価結果選定部１３０は、抽出結果（ｂ）の各行に対して、評価者ＩＤ＝Ａ、反応速度測定累計回数＝Ｂとした場合に、（ｃ）の評価結果ＤＢ１４０に対して以下の処理を実施する。
　処理：「評価者ＩＤ＝Ａかつ反応速度測定累計回数≧Ｂ」に該当するデータを削除
　上記の処理は、１回でも反応速度が閾値以上の測定回があった場合には、それ以降の評価結果を削除することを意味する。
　なお、上記の処理は一例である。評価結果選定部１３０は、上記の処理とは異なる処理を行ってもよい。例えば、ある評価者について、ｎ回目の反応速度測定で閾値以上の結果となったが、ｎ＋１回目の反応速度測定で閾値未満の結果になった場合、「ｎ回目の反応速度測定以降、かつ、ｎ＋１回目の反応速度測定の前まで」の評価結果を削除し、「ｎ＋１回目の反応速度測定以降、かつ、反応速度測定が閾値以上になる前まで」の評価結果を削除しないこととしてもよい。
　上記の削除処理を施した後に、評価結果選定部１３０から出力される最終評価結果を用いることで、サービスのターゲットとするユーザを考慮した、信頼度の高いサービス品質の主観評価実験結果の取得が可能となる。
　上述した閾値の設定方法に関しては、特定の方法に限定されないが、例えば、下記の設定方法１、あるいは設定方法２を用いることができる。
　＜閾値の設定方法１＞
　閾値の設定方法１において、評価結果選定部１３０は、全ての評価者に対しての反応速度測定結果を取得した後に、全ての反応速度の測定結果に対する四分位範囲に基づきはずれ値を選定する。具体的には、例えば、反応速度測定結果の第１、第３四分位数をそれぞれＱ１、Ｑ３とし、Ｑ３＋（Ｑ３－Ｑ１）×１．５を閾値として設定する。
　図８に閾値の設定方法１の具体例を示す。図８の例では、閾値が４９４．５として算出されている。
　＜閾値の設定方法２＞
　閾値の設定方法２において、評価結果選定部１３０は、評価結果への影響を加味した反応速度測定結果の閾値の設定を行う。具体的には下記のとおりである。
　評価結果選定部１３０は、全ての評価結果を取得した後に、各評価条件（ここでは各遅延条件）に対する評価結果について、各評価者ＩＤの評価の平均値を算出し、最も反応速度の高い（反応の遅い）評価者を選定し、この評価者の評価結果と、評価の平均値との間の相関係数を算出する（これを「作業１」と呼ぶ）。相関係数が０．７５を下回る場合は、この評価者の評価結果を除外した上で再び作業１を行う。
　評価結果選定部１３０は、相関係数が０．７５を上回るまで上記の処理を繰り返し、それまでに除外された評価者の反応速度の最小値を閾値として設定する。
　なお、上記の相関係数に対する閾値として使用している予め定めた値「０．７５」は一例であり、０．７５以外の値を閾値として使用してもよい。
　図９～図１１を参照して、閾値の設定方法２の具体例を説明する。図９は、各評価者の評価結果及び反応速度の最初の状態を示す。評価結果選定部１３０は、反応速度測定結果が最大の評価者（評価者ＩＤ２、図では矢印で示す）に対して、その評価者の評価結果と、複数評価者における評価の平均値との間の相関係数を算出する。ここでは、相関係数として０．２５０が得られる。相関係数が０．７５を下回るため、評価者ＩＤ２のデータを削除して処理を継続する。
　図１０は、評価者ＩＤ２のデータを除外した後の、各評価者の評価結果及び反応速度を示す。評価結果選定部１３０は、反応速度測定結果が最大の評価者（評価者ＩＤ１４）に対して、その評価者の評価結果と、評価の平均値との相関係数を算出する。ここでは、相関係数として－０．４０７が得られる。相関係数が０．７５を下回るため、評価者ＩＤ１４のデータを削除して処理を継続する。
　図１１は、評価者ＩＤ２及び１４のデータを除外した後の、各評価者の評価結果及び反応速度を示す。評価結果選定部１３０は、反応速度測定結果が最大の評価者（評価者ＩＤ１３）に対して、その評価者の評価結果と、評価の平均値との相関係数を算出する。ここでは、相関係数として０．９５６が得られる。相関係数が０．７５を上回るため、これまでに削除した評価者のうちの最小の反応速度である４７９を閾値として設定する。
　（その他の例）
　上述した例では、反応速度が小さい（反応の遅延が小さい）評価者の評価結果を選定する方針により、最終評価結果を得ているが、評価の目的に応じて、反応速度が大きい（反応の遅延が大きい）評価者の評価結果を選定する方針により、最終評価結果を得ることとしてもよい。
　この場合、例えば、評価結果選定部１３０は、反応速度に対する一定の閾値を設け、その閾値以下（又は閾値を下回る）の反応速度測定結果が、ある評価者の測定結果に含まれている場合には、その評価者が当該反応速度測定を行った時点以降に評価した評価結果を除外したものを出力する。
　（ハードウェア構成例）
　本実施の形態で説明したいずれの装置（主観評価装置、評価装置）も、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。
　すなわち、当該装置は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
　図１２は、上記コンピュータのハードウェア構成例を示す図である。図１２のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。なお、当該コンピュータは、更にＧＰＵを備えてもよい。
　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワーク等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。
　（実施の形態のまとめ、効果等）
　本実施の形態で説明した技術により、操作を有するサービスの主観評価において平均特性から大きく外れる恐れのある評価者を除外することが可能となり、その結果、信頼度の高い主観評価実験結果の取得が可能となる。
　以上の実施形態に関し、更に以下の付記を開示する。
　＜付記＞
（付記項１）
　操作を有するサービスの主観評価を行うための評価装置であって、
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　複数の評価者における各評価者についての反応に関する測定値と、前記各評価者による前記サービスの評価結果とを取得し、
　前記測定値と閾値との比較に基づいて、前記複数の評価者の評価結果から、最終評価結果を選定する評価装置。
（付記項２）
　前記反応に関する測定値は、反応の速さを示す測定値であり、前記プロセッサは、前記測定値が前記閾値を上回る、又は前記閾値を下回る評価者の評価結果を前記最終評価結果として選定する
　付記項１に記載の評価装置。
（付記項３）
　前記プロセッサは、前記サービスに対する複数回の評価ごとに、反応に関する測定を行う実験工程を生成する
　付記項１又は２に記載の評価装置。
（付記項４）
　前記プロセッサは、複数の評価者における評価結果の平均値との相関係数が予め定めた値を下回る評価結果を持つ評価者の評価結果を除外するように、前記閾値を設定する
　付記項１ないし３のうちいずれか１項に記載の評価装置。
（付記項５）
　操作を有するサービスの主観評価を行うための評価装置が実行する評価方法であって、
　複数の評価者における各評価者についての反応に関する測定値と、前記各評価者による前記サービスの評価結果とを取得する取得ステップと、
　前記測定値と閾値との比較に基づいて、前記複数の評価者の評価結果から、最終評価結果を選定する選定ステップと
　を備える評価方法。
（付記項６）
　コンピュータを、付記項１ないし４のうちいずれか１項に記載の評価装置における各部として機能させるためのプログラムを記憶した非一時的記憶媒体。
　以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１００　主観評価装置
１１０　実験工程生成部
１２０　主観評価実験部
１２１　反応速度測定部
１３０　評価結果選定部
１３１　取得部
１３２　選定部
１０００　ドライブ装置
１００１　記録媒体
１００２　補助記憶装置
１００３　メモリ装置
１００４　ＣＰＵ
１００５　インタフェース装置
１００６　表示装置
１００７　入力装置
１００８　出力装置

Claims (6)

  1. 　操作を有するサービスの主観評価を行うための評価装置であって、
    　複数の評価者における各評価者についての反応に関する測定値と、前記各評価者による前記サービスの評価結果とを取得する取得部と、
    　前記測定値と閾値との比較に基づいて、前記複数の評価者の評価結果から、最終評価結果を選定する選定部と
    　を備える評価装置。
  2. 　前記反応に関する測定値は、反応の速さを示す測定値であり、前記選定部は、前記測定値が前記閾値を上回る、又は前記閾値を下回る評価者の評価結果を前記最終評価結果として選定する
    　請求項１に記載の評価装置。
  3. 　前記サービスに対する複数回の評価ごとに、反応に関する測定を行う実験工程を生成する実験工程生成部
    　を更に備える請求項１に記載の評価装置。
  4. 　前記選定部は、複数の評価者における評価結果の平均値との相関係数が予め定めた値を下回る評価結果を持つ評価者の評価結果を除外するように、前記閾値を設定する
    　請求項１に記載の評価装置。
  5. 　操作を有するサービスの主観評価を行うための評価装置が実行する評価方法であって、
    　複数の評価者における各評価者についての反応に関する測定値と、前記各評価者による前記サービスの評価結果とを取得する取得ステップと、
    　前記測定値と閾値との比較に基づいて、前記複数の評価者の評価結果から、最終評価結果を選定する選定ステップと
    　を備える評価方法。
  6. 　コンピュータを、請求項１ないし４のうちいずれか１項に記載の評価装置における各部として機能させるためのプログラム。
PCT/JP2023/003650 2023-02-03 2023-02-03 評価装置、評価方法、及びプログラム Ceased WO2024161648A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/003650 WO2024161648A1 (ja) 2023-02-03 2023-02-03 評価装置、評価方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/003650 WO2024161648A1 (ja) 2023-02-03 2023-02-03 評価装置、評価方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2024161648A1 true WO2024161648A1 (ja) 2024-08-08

Family

ID=92146248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/003650 Ceased WO2024161648A1 (ja) 2023-02-03 2023-02-03 評価装置、評価方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024161648A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157793A (ja) * 2008-12-26 2010-07-15 Kddi Corp 品質情報収集装置
JP2012007896A (ja) * 2010-06-22 2012-01-12 Hitachi High-Technologies Corp 自動分析装置
JP2013089018A (ja) * 2011-10-18 2013-05-13 Kddi Corp ユーザインタフェース自動分析評価システム及びユーザインタフェース自動分析評価方法
WO2019116658A1 (ja) * 2017-12-13 2019-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157793A (ja) * 2008-12-26 2010-07-15 Kddi Corp 品質情報収集装置
JP2012007896A (ja) * 2010-06-22 2012-01-12 Hitachi High-Technologies Corp 自動分析装置
JP2013089018A (ja) * 2011-10-18 2013-05-13 Kddi Corp ユーザインタフェース自動分析評価システム及びユーザインタフェース自動分析評価方法
WO2019116658A1 (ja) * 2017-12-13 2019-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US9943767B2 (en) Custom reward for viral help in game
CN114728205B (zh) 游戏活动的基于服务器的个人游戏时间估计
US11058957B2 (en) Method, device and system for game difficulty assessment
US9421470B2 (en) Player model
US11534694B2 (en) Server-based game activity suggestions
JP7699318B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3287973A1 (en) Method and device for information processing
WO2024161648A1 (ja) 評価装置、評価方法、及びプログラム
US11504618B2 (en) Server-based video help in a video game
JP2008145415A (ja) 打寿命打切り試験からの寿命見積もり方法・装置
CN112685318A (zh) 产生测试脚本的方法和系统
US20210291046A1 (en) Providing Video Game Content to an Online Connected Game
KR101996034B1 (ko) 게임 프로그램의 친구 추천 방법 및 서버
WO2019181517A1 (ja) 視野検査装置、その制御方法及び視野検査プログラム
JP2025012787A (ja) 外れ値除去方法及び装置
JP2023096043A (ja) 情報処理装置、情報処理方法及びプログラム
TW542969B (en) Software diagnostic system and method
JPWO2023248407A5 (ja) システム検証装置、システム検証方法、及びプログラム
JP2023117507A (ja) 情報処理方法、情報処理装置、及びプログラム
CN114742154A (zh) 生成用户画像的方法、设备、电子设备及存储介质
US20240029578A1 (en) Information Processing Method, Questionnaire Aggregation Apparatus, and Information Recording Medium
JP2023095060A (ja) トレーニング支援装置
JP7807407B2 (ja) 心理特性推定システム及び方法
JP6680156B2 (ja) 情報処理装置及びプログラム
JP2022038274A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23919785

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE