JP2000112784A - プログラムテスト支援装置及びプログラムテスト支援プログラムを記録した記録媒体 - Google Patents
プログラムテスト支援装置及びプログラムテスト支援プログラムを記録した記録媒体Info
- Publication number
- JP2000112784A JP2000112784A JP10278783A JP27878398A JP2000112784A JP 2000112784 A JP2000112784 A JP 2000112784A JP 10278783 A JP10278783 A JP 10278783A JP 27878398 A JP27878398 A JP 27878398A JP 2000112784 A JP2000112784 A JP 2000112784A
- Authority
- JP
- Japan
- Prior art keywords
- test
- input
- program
- procedure data
- test case
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
(57)【要約】
【課題】 GUIによる入力操作を行う対話型プログラ
ムのテストの効率化、さらにはエラー発生状況や発生要
因の把握の容易化を実現する。 【解決手段】 被テストプログラム80に対するオペレ
ータの操作手順データを記録する手段20、操作手順デ
ータより入力操作の入力項目を抽出し、入力項目毎に入
力値を設定する手段30、入力値の組み合せより複数の
テストケースを自動生成する手段40、各テストケース
毎の新しい操作手順データを作成して被テストプログラ
ムのテストを行う手段60、各テストケース毎にテスト
結果を評価し、該評価に応じて各入力値を強調表示し、
また、失敗の要因となっている入力値を抽出する手段7
0を設ける。
ムのテストの効率化、さらにはエラー発生状況や発生要
因の把握の容易化を実現する。 【解決手段】 被テストプログラム80に対するオペレ
ータの操作手順データを記録する手段20、操作手順デ
ータより入力操作の入力項目を抽出し、入力項目毎に入
力値を設定する手段30、入力値の組み合せより複数の
テストケースを自動生成する手段40、各テストケース
毎の新しい操作手順データを作成して被テストプログラ
ムのテストを行う手段60、各テストケース毎にテスト
結果を評価し、該評価に応じて各入力値を強調表示し、
また、失敗の要因となっている入力値を抽出する手段7
0を設ける。
Description
【0001】
【発明の属する技術分野】本発明は、GUI(Grap
hic User Interface)による入力操
作を行う対話型プログラムのテスト作業を支援するプロ
グラムテスト支援装置及びプログラムテスト支援プログ
ラムを記録した記録媒体に関する。
hic User Interface)による入力操
作を行う対話型プログラムのテスト作業を支援するプロ
グラムテスト支援装置及びプログラムテスト支援プログ
ラムを記録した記録媒体に関する。
【0002】
【従来の技術】オペレータのマウスやキーボードによる
アイコン、メニューなどによる情報入力を受け付ける形
式の、所謂GUIによる入力操作を行う対話型プログラ
ムのテストの場合、人手による入力テストを行う対話型
には限界がある。そのため、GUIによる入力操作を行
うプログラムのテストでは、操作の自動入力を可能とす
るテストツールなどを利用して自動的にテストが行われ
る。テストツールでは、オペレータの操作を記録してお
けば、その操作を再生できる。記録済みの操作手順と異
なる操作手順のテストを実行したい場合には、もう一度
操作を記録しなおすか、記録済みの操作手順データを直
接編集して異なる操作手順データを作成できる。各テス
トケースの実行結果は、操作手順データ内に含まれる結
果確認用の命令によって確認し報告される。テストケー
スの正否はテストツール上で確認できるが、実行結果に
ついての詳細な情報は、個々の実行結果ログファイルに
記録される。
アイコン、メニューなどによる情報入力を受け付ける形
式の、所謂GUIによる入力操作を行う対話型プログラ
ムのテストの場合、人手による入力テストを行う対話型
には限界がある。そのため、GUIによる入力操作を行
うプログラムのテストでは、操作の自動入力を可能とす
るテストツールなどを利用して自動的にテストが行われ
る。テストツールでは、オペレータの操作を記録してお
けば、その操作を再生できる。記録済みの操作手順と異
なる操作手順のテストを実行したい場合には、もう一度
操作を記録しなおすか、記録済みの操作手順データを直
接編集して異なる操作手順データを作成できる。各テス
トケースの実行結果は、操作手順データ内に含まれる結
果確認用の命令によって確認し報告される。テストケー
スの正否はテストツール上で確認できるが、実行結果に
ついての詳細な情報は、個々の実行結果ログファイルに
記録される。
【0003】
【発明が解決しようとする課題】しかし、従来のテスト
ツールでは次のような問題があった。 (1)色々な入力値を使って大量のテストを実施したい
場合には、入力値に応じた操作手順データをオペレータ
が作成するために、入力値ごとに操作を記録し直す、も
しくは、操作手順データを直接変更する必要があり、大
変手間がかかる。 (2)複数のテストケースでエラーが発生した場合、入
力値などの詳細な情報は個々の実行結果ログファイルを
別々に参照する必要があるため、エラーの発生状況を把
握しにくい。 (3)大量のテストケースによるテストの実行後、複数
のエラーが発生している場合、エラーの原因となる入力
値を判断するのが難しい。
ツールでは次のような問題があった。 (1)色々な入力値を使って大量のテストを実施したい
場合には、入力値に応じた操作手順データをオペレータ
が作成するために、入力値ごとに操作を記録し直す、も
しくは、操作手順データを直接変更する必要があり、大
変手間がかかる。 (2)複数のテストケースでエラーが発生した場合、入
力値などの詳細な情報は個々の実行結果ログファイルを
別々に参照する必要があるため、エラーの発生状況を把
握しにくい。 (3)大量のテストケースによるテストの実行後、複数
のエラーが発生している場合、エラーの原因となる入力
値を判断するのが難しい。
【0004】本発明の目的は、GUIによる入力操作を
行う対話型プログラムのテストを効率良く実施するとと
もに、エラーの発生状況や発生要因を容易に把握するこ
とができるプログラムテスト支援装置及びそのプログラ
ムテスト支援プログラムを記録した記録媒体を提供する
ことである。
行う対話型プログラムのテストを効率良く実施するとと
もに、エラーの発生状況や発生要因を容易に把握するこ
とができるプログラムテスト支援装置及びそのプログラ
ムテスト支援プログラムを記録した記録媒体を提供する
ことである。
【0005】
【課題を解決するための手段】上記目的を達成するため
に、請求項1の発明は、GUIによる入力操作を行う対
話型プログラムの被テストプログラムのテスト作業を支
援するプログラムテスト支援装置において、前記被テス
トプログラムに対するオペレータの入力操作を操作手順
データとして記録する手段と、前記記録された操作手順
データより入力操作の入力項目を抽出し、入力項目毎に
一つあるいは複数の入力値を設定する手段と、前記入力
項目毎に設定された入力値の組み合せより複数のテスト
ケースを生成する手段と、前記記録された操作手順デー
タの入力項目の入力値を各テストケースの入力値に置き
換えて、各テストケース毎の新しい操作手順データを生
成し、該生成された各操作手順データを使用して前記被
テストプログラムのテストを行う手段とを有することを
特徴とする。
に、請求項1の発明は、GUIによる入力操作を行う対
話型プログラムの被テストプログラムのテスト作業を支
援するプログラムテスト支援装置において、前記被テス
トプログラムに対するオペレータの入力操作を操作手順
データとして記録する手段と、前記記録された操作手順
データより入力操作の入力項目を抽出し、入力項目毎に
一つあるいは複数の入力値を設定する手段と、前記入力
項目毎に設定された入力値の組み合せより複数のテスト
ケースを生成する手段と、前記記録された操作手順デー
タの入力項目の入力値を各テストケースの入力値に置き
換えて、各テストケース毎の新しい操作手順データを生
成し、該生成された各操作手順データを使用して前記被
テストプログラムのテストを行う手段とを有することを
特徴とする。
【0006】請求項2の発明は、請求項1記載のプログ
ラムテスト支援装置において、テスト実行後に、各テス
ト毎に結果を評価し、該評価に応じて各入力値を強調表
示する手段を有することを特徴とする。
ラムテスト支援装置において、テスト実行後に、各テス
ト毎に結果を評価し、該評価に応じて各入力値を強調表
示する手段を有することを特徴とする。
【0007】請求項3の発明は、請求項1、2記載のプ
ログラムテスト支援装置において、各テストケースの実
行結果により、失敗の要因となっている入力値を抽出す
る手段を有することを特徴とする。
ログラムテスト支援装置において、各テストケースの実
行結果により、失敗の要因となっている入力値を抽出す
る手段を有することを特徴とする。
【0008】請求項4の発明は、請求項1、2、3記載
のプログラムテスト支援装置において、テスト結果を確
認するための条件として複数の種類を登録した手段を備
え、各テストケース毎に適用する条件を設定し、該設定
された条件に応じてテスト結果を評価することを特徴と
する。
のプログラムテスト支援装置において、テスト結果を確
認するための条件として複数の種類を登録した手段を備
え、各テストケース毎に適用する条件を設定し、該設定
された条件に応じてテスト結果を評価することを特徴と
する。
【0009】請求項5の発明は、GUIによる入力操作
を行う対話型プログラムの被テストプログラムのテスト
作業を支援するプログラムテスト支援プログラムを記録
したコンピュータ読み取り可能な記録媒体であって、被
テストプログラムに対するオペレータの入力操作を操作
手順データとして記録する処理プロセスと、前記記録さ
れた操作手順データより入力操作の入力項目を抽出し、
入力項目毎に一つあるいは複数の入力値を設定する処理
プロセスと、前記入力項目毎に設定された入力値の組み
合せより複数のテストケースを生成する処理プロセス
と、前記記録された操作手順データの入力項目の入力値
を各テストケースの入力値に置き換えて、各テストケー
ス毎の新しい操作手順データを生成し、該生成された各
操作手順データを使用して前記被テストプログラムのテ
ストを行う処理プロセスと、各テストケース毎にテスト
結果を評価し、該評価に応じて各入力値を強調表示する
処理プロセスと、各テストケース毎にテスト結果によ
り、失敗の要因となっている入力値を抽出する処理プロ
セスとを有することを特徴とする。
を行う対話型プログラムの被テストプログラムのテスト
作業を支援するプログラムテスト支援プログラムを記録
したコンピュータ読み取り可能な記録媒体であって、被
テストプログラムに対するオペレータの入力操作を操作
手順データとして記録する処理プロセスと、前記記録さ
れた操作手順データより入力操作の入力項目を抽出し、
入力項目毎に一つあるいは複数の入力値を設定する処理
プロセスと、前記入力項目毎に設定された入力値の組み
合せより複数のテストケースを生成する処理プロセス
と、前記記録された操作手順データの入力項目の入力値
を各テストケースの入力値に置き換えて、各テストケー
ス毎の新しい操作手順データを生成し、該生成された各
操作手順データを使用して前記被テストプログラムのテ
ストを行う処理プロセスと、各テストケース毎にテスト
結果を評価し、該評価に応じて各入力値を強調表示する
処理プロセスと、各テストケース毎にテスト結果によ
り、失敗の要因となっている入力値を抽出する処理プロ
セスとを有することを特徴とする。
【0010】
【発明の実施形態】以下、本発明を図面に示す実施形態
に基づいて詳細に説明する。図1は、本発明に係るプロ
グラムテスト支援装置の一実施形態を示すブロック図で
ある。本実施形態のシステムは、実際には計算機システ
ムのハードウエアやソフト資源を利用して構築されるこ
とは云うまでもない。
に基づいて詳細に説明する。図1は、本発明に係るプロ
グラムテスト支援装置の一実施形態を示すブロック図で
ある。本実施形態のシステムは、実際には計算機システ
ムのハードウエアやソフト資源を利用して構築されるこ
とは云うまでもない。
【0011】図1において、テストの対象となる被テス
トプログラム80は、GUIによる入力操作を行う対話
型のプログラムである。この被テストプログラム80が
動作する計算機システムの環境は、オペレーティングシ
ステム(以下、OS)の入出力制御部90、文字やコマ
ンド等を入力するためのキーボードなどの入力装置9
1、マウスなどのポインティング入力装置92、ディス
プレイなどの表示装置93を備えている。被テストプロ
グラム80は、入出力制御部90を通し、キーボード9
1やマウス92などによるオペレータの入力を受け取
り、入力に応じて該プログラムの一部の機能を実行す
る。テスト装置10も、入出力制御部90を通し、オペ
レータのキーボード91やマウス92などによる入力を
受け取り、また、ディスプレイ93に必要な情報を出力
する。該テスト装置10は記憶装置100を備える。
トプログラム80は、GUIによる入力操作を行う対話
型のプログラムである。この被テストプログラム80が
動作する計算機システムの環境は、オペレーティングシ
ステム(以下、OS)の入出力制御部90、文字やコマ
ンド等を入力するためのキーボードなどの入力装置9
1、マウスなどのポインティング入力装置92、ディス
プレイなどの表示装置93を備えている。被テストプロ
グラム80は、入出力制御部90を通し、キーボード9
1やマウス92などによるオペレータの入力を受け取
り、入力に応じて該プログラムの一部の機能を実行す
る。テスト装置10も、入出力制御部90を通し、オペ
レータのキーボード91やマウス92などによる入力を
受け取り、また、ディスプレイ93に必要な情報を出力
する。該テスト装置10は記憶装置100を備える。
【0012】本実施形態の主要な構成はテスト装置10
と付属の記憶装置100である。記憶装置100は、被
テストプログラム80に対しオペレータが行った基本操
作を記録する操作手順データファイル110、オペレー
タが行った操作の入力項目(入力操作対象項目)と入力
値を記録する入力項目ファイル120、入力項目ファイ
ル120内の各入力項目の入力値を組み合わせて作成し
た種々のテストケースを記録するテストケースファイル
130、テストの実行結果を評価するための種々の条件
を記録する結果確認条件ファイル140、及び、テスト
の実行結果が条件を満たしているかどうか確認するプロ
グラム(確認プログラム)を記録する確認プログラムフ
ァイル150などを格納する。テスト装置10は、オペ
レータが被テストプログラム80に対して行う基本操作
を操作手順データファイル110に記録する操作記録部
20、操作手順データファイル11からオペレータが入
力操作を行った画面上の項目を抽出し、各入力項目へ入
力値を設定して入力項目ファイル120を編集するテス
トデータ編集部30、入力項目ファイル120に設定し
た各入力項目の入力値を組み合わせて種々のテストケー
スのテストケースファイル130を生成するテストケー
ス生成部40、各テストケース毎に実行結果を確認する
ための条件を結果確認条件ファイル140に登録する結
果確認条件登録部50、各テストケース毎に被テストプ
ログラム80を操作し実行結果を確認する操作再生部6
0、テストした種々のテストケースを分析しその結果を
表示するテスト結果分析・表示部70で構成される。
と付属の記憶装置100である。記憶装置100は、被
テストプログラム80に対しオペレータが行った基本操
作を記録する操作手順データファイル110、オペレー
タが行った操作の入力項目(入力操作対象項目)と入力
値を記録する入力項目ファイル120、入力項目ファイ
ル120内の各入力項目の入力値を組み合わせて作成し
た種々のテストケースを記録するテストケースファイル
130、テストの実行結果を評価するための種々の条件
を記録する結果確認条件ファイル140、及び、テスト
の実行結果が条件を満たしているかどうか確認するプロ
グラム(確認プログラム)を記録する確認プログラムフ
ァイル150などを格納する。テスト装置10は、オペ
レータが被テストプログラム80に対して行う基本操作
を操作手順データファイル110に記録する操作記録部
20、操作手順データファイル11からオペレータが入
力操作を行った画面上の項目を抽出し、各入力項目へ入
力値を設定して入力項目ファイル120を編集するテス
トデータ編集部30、入力項目ファイル120に設定し
た各入力項目の入力値を組み合わせて種々のテストケー
スのテストケースファイル130を生成するテストケー
ス生成部40、各テストケース毎に実行結果を確認する
ための条件を結果確認条件ファイル140に登録する結
果確認条件登録部50、各テストケース毎に被テストプ
ログラム80を操作し実行結果を確認する操作再生部6
0、テストした種々のテストケースを分析しその結果を
表示するテスト結果分析・表示部70で構成される。
【0013】まず、図1の実施形態の動作概要について
説明する。オペレータは、被テストプログラム80を起
動することで入力操作画面をディスプレイ93に表示
し、被テストプログラム80に対してテストの雛形とな
る入力操作(基本操作)を行う。この時、テスト装置1
0の操作記録部20は、入出力制御部90を通して、被
テストプログラム80に対してオペレータが行った入力
操作を監視し、テストを実施するために必要な操作情報
を操作手順データファイル110に記録する。
説明する。オペレータは、被テストプログラム80を起
動することで入力操作画面をディスプレイ93に表示
し、被テストプログラム80に対してテストの雛形とな
る入力操作(基本操作)を行う。この時、テスト装置1
0の操作記録部20は、入出力制御部90を通して、被
テストプログラム80に対してオペレータが行った入力
操作を監視し、テストを実施するために必要な操作情報
を操作手順データファイル110に記録する。
【0014】テストデータ編集部30は、操作手順デー
タファイル110よりオペレータが入力を行った項目を
抽出し、格子状の入力項目表をディスプレイ93に表示
する。オペレータは、この表に対して各入力項目毎にテ
ストすべき一つあるいは複数の入力値を設定する。ステ
トデータ編集部30では、この入力値の設定された入力
項目表を入力項目ファイル120として記録する。
タファイル110よりオペレータが入力を行った項目を
抽出し、格子状の入力項目表をディスプレイ93に表示
する。オペレータは、この表に対して各入力項目毎にテ
ストすべき一つあるいは複数の入力値を設定する。ステ
トデータ編集部30では、この入力値の設定された入力
項目表を入力項目ファイル120として記録する。
【0015】テストケース生成部40は、入力項目ファ
イル120内の入力項目毎の入力値を組み合わせて複数
のテストケースを自動生成し、テストケース一覧を予め
登録してある結果確認条件ファイル140の内容ととも
にディスプレイ93に表示する。オペレータは各テスト
ケース毎に条件を設定し、テストケース生成部40は、
条件の設定されたテストケース一覧をテストケースファ
イル130として保存する。
イル120内の入力項目毎の入力値を組み合わせて複数
のテストケースを自動生成し、テストケース一覧を予め
登録してある結果確認条件ファイル140の内容ととも
にディスプレイ93に表示する。オペレータは各テスト
ケース毎に条件を設定し、テストケース生成部40は、
条件の設定されたテストケース一覧をテストケースファ
イル130として保存する。
【0016】結果確認条件登録部40では、各テストケ
ース毎にテストの結果を確認するための種々の条件(結
果確認条件)を予め結果確認条件ファイル140に登録
する。条件の内容は、オペレータが定義し、キーボード
91などにより入力する。結果確認条件ファイル140
には、各条件毎に、オペレータが定義した内容と確認プ
ログラム名が登録される。
ース毎にテストの結果を確認するための種々の条件(結
果確認条件)を予め結果確認条件ファイル140に登録
する。条件の内容は、オペレータが定義し、キーボード
91などにより入力する。結果確認条件ファイル140
には、各条件毎に、オペレータが定義した内容と確認プ
ログラム名が登録される。
【0017】操作再生部60は、操作手順データファイ
ル110から被テストプログラム80に対する操作命令
(操作コマンド)を取得し、テストケースファイル13
0から各入力項目への入力値を取得し、それらを組み合
わせて被テストプログラム80を操作する。操作終了
後、確認プログラムファイル150内の条件に対応する
確認プログラムを起動して、テストケースに対応する結
果確認条件を評価し、テストケースの実行結果が成功か
失敗かを判断する。これを複数のテストケースについて
繰り返す。
ル110から被テストプログラム80に対する操作命令
(操作コマンド)を取得し、テストケースファイル13
0から各入力項目への入力値を取得し、それらを組み合
わせて被テストプログラム80を操作する。操作終了
後、確認プログラムファイル150内の条件に対応する
確認プログラムを起動して、テストケースに対応する結
果確認条件を評価し、テストケースの実行結果が成功か
失敗かを判断する。これを複数のテストケースについて
繰り返す。
【0018】テスト結果分析・表示部70は、失敗した
テストケースの発生状況を把握するため失敗テストケー
スの入力値を強調表示した入力項目表を表示する。ま
た、テスト結果分析・表示部70では、失敗テストケー
スの入力値を解析し、失敗の要因になっている入力値を
検出する。
テストケースの発生状況を把握するため失敗テストケー
スの入力値を強調表示した入力項目表を表示する。ま
た、テスト結果分析・表示部70では、失敗テストケー
スの入力値を解析し、失敗の要因になっている入力値を
検出する。
【0019】図2は、テスト装置10の各部の処理の手
順を示すフローチャートである。以下、図2に従って具
体例をもとに、テスト装置10の各部の動作を詳述す
る。なお、結果確認条件登録部50によって、あらかじ
め結果確認条件ファイル140は登録されているとす
る。
順を示すフローチャートである。以下、図2に従って具
体例をもとに、テスト装置10の各部の動作を詳述す
る。なお、結果確認条件登録部50によって、あらかじ
め結果確認条件ファイル140は登録されているとす
る。
【0020】最初に、オペレータが被テストプログラム
80を起動し、その入力操作画面をディスプレイ93に
表示して、オペレータ自身により被テストプログラム8
0のテスト操作(基本操作)を行う。この時の操作手順
が自動テストを実行するときの操作手順の雛形になる。
操作記録部20は、入出力制御部90を通して、この入
力操作画面に対するオペレータの操作を操作手順データ
ファイル110に記録する(ステップ201)。
80を起動し、その入力操作画面をディスプレイ93に
表示して、オペレータ自身により被テストプログラム8
0のテスト操作(基本操作)を行う。この時の操作手順
が自動テストを実行するときの操作手順の雛形になる。
操作記録部20は、入出力制御部90を通して、この入
力操作画面に対するオペレータの操作を操作手順データ
ファイル110に記録する(ステップ201)。
【0021】以下、被テストプログラム80の入力操作
画面は、簡単に図3(a)の301に示す画面とする。
この入力操作画面301に対し、オペレータが「入
力」、「入力2」、「入力3」の各テキストエリアに値
「A1」、「B1」、「C1」を順に入力し、実行ボタ
ンを押すと、操作記録部20により、図3(b)の30
2に示す操作手順データ(基本操作命令)が記録され
る。この操作手順データ302の中に、入力操作が発生
した入力項目(入力1、入力2、入力3)の情報と入力
された入力値(A1、B1、C1)が含まれる。
画面は、簡単に図3(a)の301に示す画面とする。
この入力操作画面301に対し、オペレータが「入
力」、「入力2」、「入力3」の各テキストエリアに値
「A1」、「B1」、「C1」を順に入力し、実行ボタ
ンを押すと、操作記録部20により、図3(b)の30
2に示す操作手順データ(基本操作命令)が記録され
る。この操作手順データ302の中に、入力操作が発生
した入力項目(入力1、入力2、入力3)の情報と入力
された入力値(A1、B1、C1)が含まれる。
【0022】テストデータ編集部30は、図3(b)の
操作手順データ302より入力項目(入力1、入力2、
入力3)を抽出し、図4(a)に示すような入力項目表
401を生成する(ステップ202)。入力項目表40
1では、各入力項目単位にその項目への入力値を更に入
力可能である。テストデータ編集部30は、この入力項
目表401をディスプレイ93に表示し、オペレータ
は、この表401に対して、入力項目毎にテスト実施対
象の入力値を全て入力する。図4(b)の402は、オ
ペレータが入力値を追加した後の入力項目表を示す。テ
ストデータ編集部30は、この入力項目表402を入力
項目ファイル120に記録する。
操作手順データ302より入力項目(入力1、入力2、
入力3)を抽出し、図4(a)に示すような入力項目表
401を生成する(ステップ202)。入力項目表40
1では、各入力項目単位にその項目への入力値を更に入
力可能である。テストデータ編集部30は、この入力項
目表401をディスプレイ93に表示し、オペレータ
は、この表401に対して、入力項目毎にテスト実施対
象の入力値を全て入力する。図4(b)の402は、オ
ペレータが入力値を追加した後の入力項目表を示す。テ
ストデータ編集部30は、この入力項目表402を入力
項目ファイル120に記録する。
【0023】テストケース生成部40は、図4(b)の
入力項目表402から、入力項目「入力1」、「入力
2」、「入力3」について、入力値「A1」、「A
2」、「A3」、「B1」、「B2」、「C1」、「C
2」のすべての組み合わせのテストケース1〜12を展
開し、そのテストケース一覧を、予め登録してある結果
確認条件ファイル140の内容と一緒にディスプレイ9
3に表示する。オペレータは、該内容を参照して、テス
トケース一覧の各テストケース毎に結果確認条件を設定
する。テストケース生成部40では、オペレータが条件
を設定したテストケース一覧を取り込み、図5(a)に
示すような、テストケースファイル501を生成する
(ステップ203)。このテストケースファイル501
のテスト結果欄は、まだ空である。
入力項目表402から、入力項目「入力1」、「入力
2」、「入力3」について、入力値「A1」、「A
2」、「A3」、「B1」、「B2」、「C1」、「C
2」のすべての組み合わせのテストケース1〜12を展
開し、そのテストケース一覧を、予め登録してある結果
確認条件ファイル140の内容と一緒にディスプレイ9
3に表示する。オペレータは、該内容を参照して、テス
トケース一覧の各テストケース毎に結果確認条件を設定
する。テストケース生成部40では、オペレータが条件
を設定したテストケース一覧を取り込み、図5(a)に
示すような、テストケースファイル501を生成する
(ステップ203)。このテストケースファイル501
のテスト結果欄は、まだ空である。
【0024】結果確認条件ファイル140には、図5
(b)に示すように、条件を見出しとして、条件の内容
(確認内容)、テスト結果について当該条件が満たされ
ているかどうかを判定するための確認プログラム名が登
録されている。これにより、テストケース毎に、それぞ
れ異なる条件下でテストの実行結果を評価できる。
(b)に示すように、条件を見出しとして、条件の内容
(確認内容)、テスト結果について当該条件が満たされ
ているかどうかを判定するための確認プログラム名が登
録されている。これにより、テストケース毎に、それぞ
れ異なる条件下でテストの実行結果を評価できる。
【0025】操作再生部60では、図3(b)の操作手
順データ302と図5(a)のテストケースファイル5
01を参照し、各テストケースで指定している入力操作
を行う新しい操作手順データを生成する(ステップ20
4)。図6に、一例として図5(a)のテストケース3
に対応する操作手順データ600を示す。ここで、操作
手順データ600のほとんどの部分は、オペレータの基
本操作を記録した図3(b)の操作手順データ302を
そのまま使用する。そして、該当テストケース3におけ
る各入力項目への入力値(A1、B2、C1)で新しい
操作手順データ600内の該当箇所を置き換える。操作
手順の最後には、当該テストケースに設定された結果確
認条件(条件2)に相当する命令を付け加える。
順データ302と図5(a)のテストケースファイル5
01を参照し、各テストケースで指定している入力操作
を行う新しい操作手順データを生成する(ステップ20
4)。図6に、一例として図5(a)のテストケース3
に対応する操作手順データ600を示す。ここで、操作
手順データ600のほとんどの部分は、オペレータの基
本操作を記録した図3(b)の操作手順データ302を
そのまま使用する。そして、該当テストケース3におけ
る各入力項目への入力値(A1、B2、C1)で新しい
操作手順データ600内の該当箇所を置き換える。操作
手順の最後には、当該テストケースに設定された結果確
認条件(条件2)に相当する命令を付け加える。
【0026】操作再生部60は、新しく作成した操作手
順データ600の操作命令を、入出力制御部90を通し
て被テストプログラム80に送る。被テストプログラム
80は、操作再生部60からの操作命令を、あたかもオ
ペレータからの入力操作命令のごとく認識して所定の処
理を実行する(ステップ205)。被テストプログラム
80での処理終了後、操作再生部60は操作手順データ
600の最後の結果確認命令に基づき、確認プログラム
ファイル150内の当該条件(条件2)に関連付けられ
た確認プログラムを起動する。当該確認プログラムは、
被テストプログラム80の実行結果を確認し、当該条件
が満たされていた場合は真を返し、満たされていない場
合は真以外を返す。これにより、操作再生部60は、テ
ストが成功か失敗かの判定フラグを、図5(a)のテス
トケースファイル501における当該テストケースの結
果欄に記録する。
順データ600の操作命令を、入出力制御部90を通し
て被テストプログラム80に送る。被テストプログラム
80は、操作再生部60からの操作命令を、あたかもオ
ペレータからの入力操作命令のごとく認識して所定の処
理を実行する(ステップ205)。被テストプログラム
80での処理終了後、操作再生部60は操作手順データ
600の最後の結果確認命令に基づき、確認プログラム
ファイル150内の当該条件(条件2)に関連付けられ
た確認プログラムを起動する。当該確認プログラムは、
被テストプログラム80の実行結果を確認し、当該条件
が満たされていた場合は真を返し、満たされていない場
合は真以外を返す。これにより、操作再生部60は、テ
ストが成功か失敗かの判定フラグを、図5(a)のテス
トケースファイル501における当該テストケースの結
果欄に記録する。
【0027】操作再生部60では、実際には、図5
(a)のテストケースファイル501の各テストケース
1〜12について、ステップ204とステップ205の
処理を繰り返し実行する。この結果、図7に示すテスト
ケースファイル700が得られたとする。
(a)のテストケースファイル501の各テストケース
1〜12について、ステップ204とステップ205の
処理を繰り返し実行する。この結果、図7に示すテスト
ケースファイル700が得られたとする。
【0028】テスト結果分析表示部70は、図7のテス
トケースファイル700を参照して、図8に示すように
失敗テストケースの入力値毎に重み付けを行い、重みに
応じてテストデータを強調表示する(ステップ20
6)。図8は、テストケースの実行結果が失敗と判定さ
れる毎に、そのテストケースへの入力値に対して重みを
加えたものである。例えば図7のテストケースファイル
700において、701に示す結果が「×」印のテスト
ケース3は失敗テストケースである為、該テストケース
701への入力値「A1」、「B2」、「C1」に対し
て重みを1ずつ加える。すべての重み計算後、図9
(a)に示すように、重みの大小に応じて入力項目表
(図4(b))内の各入力値を段階的に強調表示する。
即ち、もっとも失敗件数の多い入力値を強調し、以降、
重みの順番に応じて入力値の強調を弱めて表示する。
トケースファイル700を参照して、図8に示すように
失敗テストケースの入力値毎に重み付けを行い、重みに
応じてテストデータを強調表示する(ステップ20
6)。図8は、テストケースの実行結果が失敗と判定さ
れる毎に、そのテストケースへの入力値に対して重みを
加えたものである。例えば図7のテストケースファイル
700において、701に示す結果が「×」印のテスト
ケース3は失敗テストケースである為、該テストケース
701への入力値「A1」、「B2」、「C1」に対し
て重みを1ずつ加える。すべての重み計算後、図9
(a)に示すように、重みの大小に応じて入力項目表
(図4(b))内の各入力値を段階的に強調表示する。
即ち、もっとも失敗件数の多い入力値を強調し、以降、
重みの順番に応じて入力値の強調を弱めて表示する。
【0029】このように失敗に関係する入力値を失敗の
発生頻度に応じて段階的に表示するとことで、失敗テス
トケース発生状況を把握しやすくすることができる。図
8では入力値「B2」がもっとも重み付けされており、
以下、「C1」、「A2」と「C2」、「A1」と「A
3」、「B1」の順で重みが計算される。この図8に対
応して、図9(a)では、「B2」を一番強調して表示
し(901)、続いて「C1」を強調し(902)、次
に「A2」と「C2」を強調し(903)、更に「A
1」と「A3」を少し強調表示する(904)。入力値
「B1」を含む失敗テストケースは一つだけである為、
「B1」はほんの少しだけ強調表示する(905)。
発生頻度に応じて段階的に表示するとことで、失敗テス
トケース発生状況を把握しやすくすることができる。図
8では入力値「B2」がもっとも重み付けされており、
以下、「C1」、「A2」と「C2」、「A1」と「A
3」、「B1」の順で重みが計算される。この図8に対
応して、図9(a)では、「B2」を一番強調して表示
し(901)、続いて「C1」を強調し(902)、次
に「A2」と「C2」を強調し(903)、更に「A
1」と「A3」を少し強調表示する(904)。入力値
「B1」を含む失敗テストケースは一つだけである為、
「B1」はほんの少しだけ強調表示する(905)。
【0030】より詳細な状況表示を行う場合は、特定の
入力値もしくは入力値の組み合わせを選択し、選択した
入力値を含む失敗テストケースだけを元に入力項目表を
強調表示する。この場合は、その入力値を含むテストケ
ースの実行結果のみに基づいた段階表示をするため、複
数の失敗テストケースが発生している場合でも個々のテ
ストケースもしくは入力値について個別に状況を調査で
きる。図9(b)は、この表示例を示したもので、入力
値「A1」を選択し、「A1」に関連する失敗テストケ
ースの発生状況を表示している。
入力値もしくは入力値の組み合わせを選択し、選択した
入力値を含む失敗テストケースだけを元に入力項目表を
強調表示する。この場合は、その入力値を含むテストケ
ースの実行結果のみに基づいた段階表示をするため、複
数の失敗テストケースが発生している場合でも個々のテ
ストケースもしくは入力値について個別に状況を調査で
きる。図9(b)は、この表示例を示したもので、入力
値「A1」を選択し、「A1」に関連する失敗テストケ
ースの発生状況を表示している。
【0031】更に、テスト結果分析表示部70では、図
10(a)に示すように失敗テストケース一覧を作成
し、失敗テストケース全てに対し失敗パターンの抽出を
行うことで、テストが失敗した原因となる入力項目とそ
の入力値の組み合わせである図10(b)に示すような
失敗パターン一覧を検出・表示する(ステップ20
7)。複数の失敗テストケースからその失敗パターンを
抽出し、それを表示することで、オペレータは失敗の要
因を簡単に把握できる。
10(a)に示すように失敗テストケース一覧を作成
し、失敗テストケース全てに対し失敗パターンの抽出を
行うことで、テストが失敗した原因となる入力項目とそ
の入力値の組み合わせである図10(b)に示すような
失敗パターン一覧を検出・表示する(ステップ20
7)。複数の失敗テストケースからその失敗パターンを
抽出し、それを表示することで、オペレータは失敗の要
因を簡単に把握できる。
【0032】図11は、テスト結果分析表示部70にお
ける失敗パターン抽出処理の全体的フローチャートであ
る。図11により、まず、ステップ207の全失敗パタ
ーン抽出処理の概要を説明する。
ける失敗パターン抽出処理の全体的フローチャートであ
る。図11により、まず、ステップ207の全失敗パタ
ーン抽出処理の概要を説明する。
【0033】テストケースファイル(図7)からテスト
結果が失敗であったテストケースだけを取り出し、失敗
テストケース一覧(図10(a))を作成し(ステップ
1100)、全ての失敗テストケースに対して順番に失
敗パターン抽出処理を繰り返す(ステップ1101〜1
105)。即ち、調査対象失敗テストケースが失敗パタ
ーン一覧内の失敗パターンのどれかとマッチングしてい
るかを比較し(ステップ1102)、失敗パターン一覧
内のどの失敗パターンとも一致しない場合は失敗パター
ン抽出を実行し(ステップ1103)、抽出した新しい
失敗パターンを失敗パターン一覧に追加登録する(ステ
ップ1104)。ステップ1102で一覧内の失敗パタ
ーンに一致する場合には抽出済みの失敗パターンである
ため、ステップ1103・1104の失敗パターン抽出
・登録処理を行わない。
結果が失敗であったテストケースだけを取り出し、失敗
テストケース一覧(図10(a))を作成し(ステップ
1100)、全ての失敗テストケースに対して順番に失
敗パターン抽出処理を繰り返す(ステップ1101〜1
105)。即ち、調査対象失敗テストケースが失敗パタ
ーン一覧内の失敗パターンのどれかとマッチングしてい
るかを比較し(ステップ1102)、失敗パターン一覧
内のどの失敗パターンとも一致しない場合は失敗パター
ン抽出を実行し(ステップ1103)、抽出した新しい
失敗パターンを失敗パターン一覧に追加登録する(ステ
ップ1104)。ステップ1102で一覧内の失敗パタ
ーンに一致する場合には抽出済みの失敗パターンである
ため、ステップ1103・1104の失敗パターン抽出
・登録処理を行わない。
【0034】図10(a)の失敗テストケース一覧にお
いて、1001に示す失敗テストケース(ケース3)に
対して失敗パターンを検出する場合、図10(b)の1
011に示す失敗パターンが抽出できる。次の失敗テス
トケース(1002)であるケース4は、失敗パターン
一覧内の失敗パターン1011に一致するため、ステッ
プ1103とステップ1104の処理は行われない。次
の失敗テストケース(1003)のケース5は、この時
点での失敗パターン一覧内の失敗パターン1011とは
一致しない。そのため、失敗パターン抽出処理(ステッ
プ1103)を行い、新しい失敗パターン(図10
(b)の1012)を抽出し、失敗パターン一覧に登録
する。図10(a)に示すこれ以降の失敗テストケース
は全て失敗パターン一覧内の失敗パターン(1011,
1012)に一致するため、新しい失敗パターンは抽出
されない。そして、最後の失敗テストケースまで処理を
繰り返した結果、失敗原因の入力値は図10(b)の失
敗パターン一覧に登録した失敗パターンである1011
と1012であることが判明する。このように、失敗テ
ストケース一覧から失敗の原因となっている入力値のパ
ターンを検出することで、テスト実行結果一覧を人手で
解析しなくても、失敗の原因である入力値を特定でき
る。
いて、1001に示す失敗テストケース(ケース3)に
対して失敗パターンを検出する場合、図10(b)の1
011に示す失敗パターンが抽出できる。次の失敗テス
トケース(1002)であるケース4は、失敗パターン
一覧内の失敗パターン1011に一致するため、ステッ
プ1103とステップ1104の処理は行われない。次
の失敗テストケース(1003)のケース5は、この時
点での失敗パターン一覧内の失敗パターン1011とは
一致しない。そのため、失敗パターン抽出処理(ステッ
プ1103)を行い、新しい失敗パターン(図10
(b)の1012)を抽出し、失敗パターン一覧に登録
する。図10(a)に示すこれ以降の失敗テストケース
は全て失敗パターン一覧内の失敗パターン(1011,
1012)に一致するため、新しい失敗パターンは抽出
されない。そして、最後の失敗テストケースまで処理を
繰り返した結果、失敗原因の入力値は図10(b)の失
敗パターン一覧に登録した失敗パターンである1011
と1012であることが判明する。このように、失敗テ
ストケース一覧から失敗の原因となっている入力値のパ
ターンを検出することで、テスト実行結果一覧を人手で
解析しなくても、失敗の原因である入力値を特定でき
る。
【0035】図12は、図11の失敗パターン抽出(ス
テップ1103)の詳細フローチャートである。失敗パ
ターン抽出では、各入力項目毎に失敗の要因となる値を
調査し、各入力項目の失敗の要因となった値を結合した
結果を失敗パターンとして返す。まず、調査を行ってい
ない入力項目があるかを判定する(ステップ120
1)。ある場合には、当該項目で失敗入力値の抽出を行
っていない入力値があるか判定する(ステップ120
2)。ある場合には当該入力値でのテストは失敗かを判
定し(ステップ1203)、失敗の場合、その入力値を
記憶し(ステップ1204)、ステップ1202に戻
る。ステップ1202で、現調査対象入力項目に対して
全ての入力値の調査が完了したら、調査対象入力値すべ
てで失敗しているか確認する(ステップ1205)。調
査した入力値すべてで失敗している場合は、全ての入力
値をあらわす記号「*」を失敗値として記憶し(ステップ
1207)、それ以外の場合は失敗した入力値だけを失
敗値として記憶する(ステップ1206)。次に、ステッ
プ1201に戻り、失敗値抽出処理を行っていない入力
項目がない場合には、各入力項目の失敗の要因となった
値を結合した結果を失敗パターンとして返す(ステップ
1209)。
テップ1103)の詳細フローチャートである。失敗パ
ターン抽出では、各入力項目毎に失敗の要因となる値を
調査し、各入力項目の失敗の要因となった値を結合した
結果を失敗パターンとして返す。まず、調査を行ってい
ない入力項目があるかを判定する(ステップ120
1)。ある場合には、当該項目で失敗入力値の抽出を行
っていない入力値があるか判定する(ステップ120
2)。ある場合には当該入力値でのテストは失敗かを判
定し(ステップ1203)、失敗の場合、その入力値を
記憶し(ステップ1204)、ステップ1202に戻
る。ステップ1202で、現調査対象入力項目に対して
全ての入力値の調査が完了したら、調査対象入力値すべ
てで失敗しているか確認する(ステップ1205)。調
査した入力値すべてで失敗している場合は、全ての入力
値をあらわす記号「*」を失敗値として記憶し(ステップ
1207)、それ以外の場合は失敗した入力値だけを失
敗値として記憶する(ステップ1206)。次に、ステッ
プ1201に戻り、失敗値抽出処理を行っていない入力
項目がない場合には、各入力項目の失敗の要因となった
値を結合した結果を失敗パターンとして返す(ステップ
1209)。
【0036】次に、図12に示す失敗パターン抽出の処
理の流れを、図13を使い具体的に説明する。図10
(a)の失敗テストケース一覧より、図13(a)に示
す失敗パターン抽出対象テストケース(1301)が与
えられた場合は、入力1、入力2、入力3の順番で各入
力項目の失敗入力値を調査する。図13(b)の入力項
目表1302(図4(b))に示すように、入力1では
3個の入力値、入力2では2個の入力値、入力3では2
個の入力値を調査する。図13(c)は入力項目「入力
1」に対する調査を表している。現調査対象項目である
入力1については、失敗パターン抽出対象テストケース
(1301)の値「A1」から残りの入力値「A2」、
「A3」の順に調査する。その際、残りの入力項目「入
力2」と「入力3」は失敗パターン抽出テストケース
(1301)の値「B2」と「C1」を使用する。それ
ぞれの入力値を組み合わせたテストケースの結果は全て
失敗しており、調査した入力値は「入力1」への全入力
値である為、入力項目「入力1」の失敗値には全ての入
力値(A1、A2、A3)を表す記号「*」を設定する
(ステップ1208)。
理の流れを、図13を使い具体的に説明する。図10
(a)の失敗テストケース一覧より、図13(a)に示
す失敗パターン抽出対象テストケース(1301)が与
えられた場合は、入力1、入力2、入力3の順番で各入
力項目の失敗入力値を調査する。図13(b)の入力項
目表1302(図4(b))に示すように、入力1では
3個の入力値、入力2では2個の入力値、入力3では2
個の入力値を調査する。図13(c)は入力項目「入力
1」に対する調査を表している。現調査対象項目である
入力1については、失敗パターン抽出対象テストケース
(1301)の値「A1」から残りの入力値「A2」、
「A3」の順に調査する。その際、残りの入力項目「入
力2」と「入力3」は失敗パターン抽出テストケース
(1301)の値「B2」と「C1」を使用する。それ
ぞれの入力値を組み合わせたテストケースの結果は全て
失敗しており、調査した入力値は「入力1」への全入力
値である為、入力項目「入力1」の失敗値には全ての入
力値(A1、A2、A3)を表す記号「*」を設定する
(ステップ1208)。
【0037】図13(d)は入力項目「入力2」につい
ての調査を表している。現調査対象項目「入力2」は失
敗パターン抽出テストケース(1301)の値「B2」
から調査を行う。「入力2」はそれ以降の入力値を持た
ない為、入力値「B2」についてだけ調査を行う。その
際、「入力1」には先に確定した失敗値「*」(A1、
A2、A3)を使用し、「入力3」には失敗パターン抽
出対象テストケース(1301)の値「C1」を使用す
る。各入力値を組み合わせてテストケースの結果は失敗
しているが、調査した入力値は「入力2」に対する全入
力値ではない為、「入力2」の失敗値として「B2」を
設定する(ステップ1207)。
ての調査を表している。現調査対象項目「入力2」は失
敗パターン抽出テストケース(1301)の値「B2」
から調査を行う。「入力2」はそれ以降の入力値を持た
ない為、入力値「B2」についてだけ調査を行う。その
際、「入力1」には先に確定した失敗値「*」(A1、
A2、A3)を使用し、「入力3」には失敗パターン抽
出対象テストケース(1301)の値「C1」を使用す
る。各入力値を組み合わせてテストケースの結果は失敗
しているが、調査した入力値は「入力2」に対する全入
力値ではない為、「入力2」の失敗値として「B2」を
設定する(ステップ1207)。
【0038】図13(e)は入力項目「入力3」につい
ての調査を表す。入力項目「入力3」は失敗パターン抽
出対象テストケース(1301)の値「C1」から残り
の入力値「C2」までの調査を行う。「入力1」と「入
力2」には確定済の失敗値を使用し、各入力値の組み合
わせに該当するテストケースを調査する。調査したテス
トケースは全て結果が失敗しており、調査した入力値は
「入力3」への全入力値である為、「入力3」の失敗値
として全ての入力値を表す記号「*」を設定する(ステ
ップ1208)。
ての調査を表す。入力項目「入力3」は失敗パターン抽
出対象テストケース(1301)の値「C1」から残り
の入力値「C2」までの調査を行う。「入力1」と「入
力2」には確定済の失敗値を使用し、各入力値の組み合
わせに該当するテストケースを調査する。調査したテス
トケースは全て結果が失敗しており、調査した入力値は
「入力3」への全入力値である為、「入力3」の失敗値
として全ての入力値を表す記号「*」を設定する(ステ
ップ1208)。
【0039】失敗パターン抽出対象テストケース(13
01)に対して「入力1」「入力2」「入力3」の順に
全ての入力項目を調査した後(ステップ1201)、各
入力項目より抽出した失敗値を結合した値を結果として
戻す(ステップ1211)。図13(f)は、失敗パタ
ーン抽出対象テストケース(1301)より抽出した失
敗パターンである。これが図10(b)の失敗パターン
1011である。ここで抽出した失敗パターンでは、入
力項目「入力1」と入力項目「入力3」の失敗値が
「*」になっているため、この二つの入力項目は失敗の
直接の要因ではない。入力項目「入力2」の失敗値「B
2」が失敗の直接の要因であり、「入力2」に「B2」
が入力されている場合は、「入力1」と「入力3」がど
んな値でも関係なくテストケースは失敗していることが
判る。
01)に対して「入力1」「入力2」「入力3」の順に
全ての入力項目を調査した後(ステップ1201)、各
入力項目より抽出した失敗値を結合した値を結果として
戻す(ステップ1211)。図13(f)は、失敗パタ
ーン抽出対象テストケース(1301)より抽出した失
敗パターンである。これが図10(b)の失敗パターン
1011である。ここで抽出した失敗パターンでは、入
力項目「入力1」と入力項目「入力3」の失敗値が
「*」になっているため、この二つの入力項目は失敗の
直接の要因ではない。入力項目「入力2」の失敗値「B
2」が失敗の直接の要因であり、「入力2」に「B2」
が入力されている場合は、「入力1」と「入力3」がど
んな値でも関係なくテストケースは失敗していることが
判る。
【0040】同様にして、図10(a)の失敗テストケ
ース一覧より、失敗パターン抽出対象テストケースとし
てケース5(1003)が与えられた場合には、図10
(b)に失敗パターン2として示すように、入力項目
「入力1」は失敗値「A2」、入力項目「入力2」は失
敗値「*」、入力項目「入力3」は失敗値「C1」の失
敗パターンが抽出される。
ース一覧より、失敗パターン抽出対象テストケースとし
てケース5(1003)が与えられた場合には、図10
(b)に失敗パターン2として示すように、入力項目
「入力1」は失敗値「A2」、入力項目「入力2」は失
敗値「*」、入力項目「入力3」は失敗値「C1」の失
敗パターンが抽出される。
【0041】図14は入力操作画面、操作手順データ、
入力項目、入力値の具体例を示したものである。図14
(a)はアンケート入力画面であり、オペレータが年齢
テキストエリアに「20」を入力し、性別セレクトボタ
ンから「男」、質問1セレクトボタンから「はい」、質
問2セレクトボタンから「青」、質問3セレクトボタン
から「好き」を選択し、登録ボタンを押した場合を示し
ている。この場合、図14(b)に示す操作手順データ
(基本操作命令)が得られる。ここで、「年齢」、「性
別」、「質問1」、「質問2」、「質問3」、「登録」
が入力項目、「20」、「男」、「はい」、「青」、
「好き」などが入力値である。図14(c)は、図14
(b)の操作手順データから抽出される入力項目(入力
操作対象項目)を示したもので、図4(a)の入力項目
表の元になるものである。オペレータは、これら入力項
目毎にテスト実施対象の入力値を全て入力する。例え
ば、年齢は「10」、「30」、・・・、性別は
「女」、質問1は「いいえ」、「質問2」は「赤」、
「その他」、質問3は「嫌い」などを入力する。これに
より、各入力項目毎の各入力値の全ての組み合せのテス
トケースが自動生成される。
入力項目、入力値の具体例を示したものである。図14
(a)はアンケート入力画面であり、オペレータが年齢
テキストエリアに「20」を入力し、性別セレクトボタ
ンから「男」、質問1セレクトボタンから「はい」、質
問2セレクトボタンから「青」、質問3セレクトボタン
から「好き」を選択し、登録ボタンを押した場合を示し
ている。この場合、図14(b)に示す操作手順データ
(基本操作命令)が得られる。ここで、「年齢」、「性
別」、「質問1」、「質問2」、「質問3」、「登録」
が入力項目、「20」、「男」、「はい」、「青」、
「好き」などが入力値である。図14(c)は、図14
(b)の操作手順データから抽出される入力項目(入力
操作対象項目)を示したもので、図4(a)の入力項目
表の元になるものである。オペレータは、これら入力項
目毎にテスト実施対象の入力値を全て入力する。例え
ば、年齢は「10」、「30」、・・・、性別は
「女」、質問1は「いいえ」、「質問2」は「赤」、
「その他」、質問3は「嫌い」などを入力する。これに
より、各入力項目毎の各入力値の全ての組み合せのテス
トケースが自動生成される。
【0042】以上、本発明の一実施形態を説明したが、
図2、図11、図12に示したような処理手順やアルゴ
リズムをコンピュータに実行させるためのプログラム
(プログラムテスト支援装置プログラム)は、該コンピ
ュータが読み取り可能な記録媒体、例えばフロッピーデ
ィスクやメモリカード、コンパクトディスク(CD−R
OM)などに記録して提供することが可能である。この
記録媒体に記録されたプログラムテスト支援プログラム
をコンピュータにロードすることにより、図1のテスト
装置10の各部の機能が実現される。
図2、図11、図12に示したような処理手順やアルゴ
リズムをコンピュータに実行させるためのプログラム
(プログラムテスト支援装置プログラム)は、該コンピ
ュータが読み取り可能な記録媒体、例えばフロッピーデ
ィスクやメモリカード、コンパクトディスク(CD−R
OM)などに記録して提供することが可能である。この
記録媒体に記録されたプログラムテスト支援プログラム
をコンピュータにロードすることにより、図1のテスト
装置10の各部の機能が実現される。
【0043】
【発明の効果】以上の説明から明らかなように、本発明
によれば、次のような効果が達成される。 (1)入力項目毎の入力値を設定するだけで、そのすべ
ての組み合わせをテストするための操作手順ファイルを
自動的に生成でき、入力値全ての組み合わせに対してテ
ストとテスト結果の評価までを自動実行できる。 (2)失敗テストケースを解析しエラーが発生する入力
値を強調して表示することで、入力値に応じたエラーの
発生状況を簡単に把握できる。 (3)失敗テストケースを解析しエラーの発生要因とな
る入力値パターンを検出することで、テストケース一覧
を人手で解析しなくても、エラー要因を絞り込むことが
できる。 (4)テストケース毎に異なるテスト結果確認条件を設
定することにより、それぞれ異なる条件下でテストの実
行結果を評価できる。
によれば、次のような効果が達成される。 (1)入力項目毎の入力値を設定するだけで、そのすべ
ての組み合わせをテストするための操作手順ファイルを
自動的に生成でき、入力値全ての組み合わせに対してテ
ストとテスト結果の評価までを自動実行できる。 (2)失敗テストケースを解析しエラーが発生する入力
値を強調して表示することで、入力値に応じたエラーの
発生状況を簡単に把握できる。 (3)失敗テストケースを解析しエラーの発生要因とな
る入力値パターンを検出することで、テストケース一覧
を人手で解析しなくても、エラー要因を絞り込むことが
できる。 (4)テストケース毎に異なるテスト結果確認条件を設
定することにより、それぞれ異なる条件下でテストの実
行結果を評価できる。
【図1】本発明よるプログラムテスト支援装置の一実施
形態を示すブロック図である。
形態を示すブロック図である。
【図2】図1のテスト装置の処理の流れを示す図であ
る。
る。
【図3】入力操作画面とその操作手順データを説明する
図である。
図である。
【図4】入力項目表を説明する図である。
【図5】テストケースファイルと結果確認条件ファイル
を説明する図である。
を説明する図である。
【図6】新しく作成する操作手順データを説明する図で
ある。
ある。
【図7】操作再生直後のテストケースファイルの状態を
説明する図である。
説明する図である。
【図8】テストケース結果に応じたテストデータ別の重
み付け結果を示す図である。
み付け結果を示す図である。
【図9】テスト結果に応じた問題入力値の強調表示を示
す図である。
す図である。
【図10】失敗テストケース一覧と失敗パターン一覧を
示す図である。
示す図である。
【図11】失敗パターン抽出処理の全体的流れを示す図
である。
である。
【図12】失敗テストケースから失敗パターンを抽出す
る詳細処理の流れを示す図である。
る詳細処理の流れを示す図である。
【図13】失敗パターン抽出の処理の遷移を示す図であ
る。
る。
【図14】入力操作画面と操作例の具体例を示す図であ
る。
る。
10 テスト装置 20 操作記録部 30 テストデータ編集部 40 テストケース生成部 50 結果確認条件登録部 60 操作再生再生部 70 テスト結果分析・表示部 80 被テストプログラム 90 OS入出力制御部 91 キーボード 92 マウス 93 ディスプレイ 100 記憶装置 110 操作手順データファイル 120 入力項目ファイル 130 テストケースファイル 140 結果確認条件ファイル 150 確認プログラムファイル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 菅沼 弘 神奈川県横浜市中区尾上町6丁目81番地 日立ソフトウェアエンジニアリング株式会 社内 (72)発明者 三橋 尚文 神奈川県横浜市中区尾上町6丁目81番地 日立ソフトウェアエンジニアリング株式会 社内 Fターム(参考) 5B042 HH17 MA14 MC28 NN04 NN14 NN45
Claims (5)
- 【請求項1】 GUIによる入力操作を行う対話型プロ
グラムの被テストプログラムのテスト作業を支援するプ
ログラムテスト支援装置において、 前記被テストプログラムに対するオペレータの入力操作
を操作手順データとして記録する手段と、 前記記録された操作手順データより入力操作の入力項目
を抽出し、入力項目毎に一つあるいは複数の入力値を設
定する手段と、 前記入力項目毎に設定された入力値の組み合せより複数
のテストケースを生成する手段と、 前記記録された操作手順データの入力項目の入力値を各
テストケースの入力値に置き換えて、各テストケース毎
の新しい操作手順データを生成し、該生成された各操作
手順データを使用して前記被テストプログラムのテスト
を行う手段と、を有することを特徴とするプログラムテ
スト支援装置。 - 【請求項2】 請求項1記載のプログラムテスト支援装
置において、テスト実行後に、各テスト毎に結果を評価
し、該評価に応じて各入力値を強調表示する手段を有す
ることを特徴とするプログラムテスト支援装置。 - 【請求項3】 請求項1、2記載のプログラムテスト支
援装置において、各テストケースの実行結果により、失
敗の要因となっている入力値を抽出する手段を有するこ
とを特徴とするプログラムテスト支援装置。 - 【請求項4】 請求項1、2、3記載のプログラムテス
ト支援装置において、テスト結果を確認するための条件
として複数の種類を登録した手段を備え、各テストケー
ス毎に適用する条件を設定し、該設定された条件に応じ
てテスト結果を評価することを特徴とするプログラムテ
スト支援装置。 - 【請求項5】 GUIによる入力操作を行う対話型プロ
グラムの被テストプログラムのテスト作業を支援するプ
ログラムテスト支援プログラムを記録したコンピュータ
読み取り可能な記録媒体であって、 被テストプログラムに対するオペレータの入力操作を操
作手順データとして記録する処理プロセスと、 前記記録された操作手順データより入力操作の入力項目
を抽出し、入力項目毎に一つあるいは複数の入力値を設
定する処理プロセスと、 前記入力項目毎に設定された入力値の組み合せより複数
のテストケースを生成する処理プロセスと、 前記記録された操作手順データの入力項目の入力値を各
テストケースの入力値に置き換えて、各テストケース毎
の新しい操作手順データを生成し、該生成された各操作
手順データを使用して前記被テストプログラムのテスト
を行う処理プロセスと、 各テストケース毎にテスト結果を評価し、該評価に応じ
て各入力値を強調表示する処理プロセスと、 各テストケースの実行結果により、失敗の要因となって
いる入力値を抽出する処理プロセスと、を有することを
特徴とするプログラムテスト支援プログラムを記録した
記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10278783A JP2000112784A (ja) | 1998-09-30 | 1998-09-30 | プログラムテスト支援装置及びプログラムテスト支援プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10278783A JP2000112784A (ja) | 1998-09-30 | 1998-09-30 | プログラムテスト支援装置及びプログラムテスト支援プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000112784A true JP2000112784A (ja) | 2000-04-21 |
Family
ID=17602125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10278783A Pending JP2000112784A (ja) | 1998-09-30 | 1998-09-30 | プログラムテスト支援装置及びプログラムテスト支援プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000112784A (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003044318A (ja) * | 2001-08-02 | 2003-02-14 | Fujitsu Ltd | テスト支援プログラムおよびテスト支援方法 |
| US7222269B2 (en) | 2001-12-06 | 2007-05-22 | Ns Solutions Corporation | Performance evaluation device, performance evaluation information managing device, performance evaluation method, performance evaluation information managing method, performance evaluation system |
| JP2007264967A (ja) * | 2006-03-28 | 2007-10-11 | Fujitsu Ltd | シナリオ作成プログラム |
| JP2007304660A (ja) * | 2006-05-08 | 2007-11-22 | Hitachi Information Systems Ltd | コマンド実行結果記録システム及びコマンド実行結果記録方法 |
| JP2007328509A (ja) * | 2006-06-07 | 2007-12-20 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
| JP2010020562A (ja) * | 2008-07-10 | 2010-01-28 | Ricoh Co Ltd | 画像処理装置、情報処理装置、ソフトウェア動作テスト方法、ソフトウェア動作テストプログラム、及びそのプログラムを記録した記録媒体 |
| WO2010035387A1 (ja) * | 2008-09-29 | 2010-04-01 | 日本電気株式会社 | Gui評価システム、gui評価方法およびgui評価用プログラム |
| JP2011044111A (ja) * | 2009-08-24 | 2011-03-03 | Fujitsu Semiconductor Ltd | ソフトウェアのテスト方法及びプログラム |
| JP2011076498A (ja) * | 2009-09-30 | 2011-04-14 | Fujitsu Ltd | 検証用データ作成方法,及び、検証用データ作成プログラム |
| WO2012014284A1 (ja) * | 2010-07-27 | 2012-02-02 | 株式会社日立製作所 | テストシナリオ生成方法、テストシナリオ生成システム、及び、テストシナリオ生成プログラム |
| US8327191B2 (en) | 2007-10-19 | 2012-12-04 | International Business Machines Corporation | Automatically populating symptom databases for software applications |
| JP2014010601A (ja) * | 2012-06-29 | 2014-01-20 | Denso Corp | 評価装置 |
| US9164878B2 (en) | 2010-12-24 | 2015-10-20 | International Business Machines Corporation | Evaluating coverage of a software test |
| JP2017041171A (ja) * | 2015-08-21 | 2017-02-23 | 株式会社日立製作所 | テストシナリオ生成支援装置およびテストシナリオ生成支援方法 |
| JP2019197528A (ja) * | 2018-05-07 | 2019-11-14 | キヤノンマーケティングジャパン株式会社 | プログラム、情報処理装置及び処理方法 |
| JP2022514155A (ja) * | 2018-10-02 | 2022-02-10 | チェール,タマス | ソフトウェアテスト |
-
1998
- 1998-09-30 JP JP10278783A patent/JP2000112784A/ja active Pending
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003044318A (ja) * | 2001-08-02 | 2003-02-14 | Fujitsu Ltd | テスト支援プログラムおよびテスト支援方法 |
| US7222269B2 (en) | 2001-12-06 | 2007-05-22 | Ns Solutions Corporation | Performance evaluation device, performance evaluation information managing device, performance evaluation method, performance evaluation information managing method, performance evaluation system |
| JP2007264967A (ja) * | 2006-03-28 | 2007-10-11 | Fujitsu Ltd | シナリオ作成プログラム |
| JP2007304660A (ja) * | 2006-05-08 | 2007-11-22 | Hitachi Information Systems Ltd | コマンド実行結果記録システム及びコマンド実行結果記録方法 |
| JP2007328509A (ja) * | 2006-06-07 | 2007-12-20 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
| US8327191B2 (en) | 2007-10-19 | 2012-12-04 | International Business Machines Corporation | Automatically populating symptom databases for software applications |
| JP2010020562A (ja) * | 2008-07-10 | 2010-01-28 | Ricoh Co Ltd | 画像処理装置、情報処理装置、ソフトウェア動作テスト方法、ソフトウェア動作テストプログラム、及びそのプログラムを記録した記録媒体 |
| US8347223B2 (en) | 2008-09-29 | 2013-01-01 | Nec Corporation | GUI evaluation system, method, and program for evaluating a text input component |
| WO2010035387A1 (ja) * | 2008-09-29 | 2010-04-01 | 日本電気株式会社 | Gui評価システム、gui評価方法およびgui評価用プログラム |
| JP4788840B2 (ja) * | 2008-09-29 | 2011-10-05 | 日本電気株式会社 | Gui評価システム、gui評価方法およびgui評価用プログラム |
| JP2011044111A (ja) * | 2009-08-24 | 2011-03-03 | Fujitsu Semiconductor Ltd | ソフトウェアのテスト方法及びプログラム |
| JP2011076498A (ja) * | 2009-09-30 | 2011-04-14 | Fujitsu Ltd | 検証用データ作成方法,及び、検証用データ作成プログラム |
| WO2012014284A1 (ja) * | 2010-07-27 | 2012-02-02 | 株式会社日立製作所 | テストシナリオ生成方法、テストシナリオ生成システム、及び、テストシナリオ生成プログラム |
| JPWO2012014284A1 (ja) * | 2010-07-27 | 2013-09-09 | 株式会社日立製作所 | テストシナリオ生成方法、テストシナリオ生成システム、及び、テストシナリオ生成プログラム |
| US9164878B2 (en) | 2010-12-24 | 2015-10-20 | International Business Machines Corporation | Evaluating coverage of a software test |
| JP2014010601A (ja) * | 2012-06-29 | 2014-01-20 | Denso Corp | 評価装置 |
| JP2017041171A (ja) * | 2015-08-21 | 2017-02-23 | 株式会社日立製作所 | テストシナリオ生成支援装置およびテストシナリオ生成支援方法 |
| JP2019197528A (ja) * | 2018-05-07 | 2019-11-14 | キヤノンマーケティングジャパン株式会社 | プログラム、情報処理装置及び処理方法 |
| JP7311740B2 (ja) | 2018-05-07 | 2023-07-20 | キヤノンマーケティングジャパン株式会社 | 情報処理システム、その制御方法、及びプログラム |
| JP2023123815A (ja) * | 2018-05-07 | 2023-09-05 | キヤノンマーケティングジャパン株式会社 | プログラム、情報処理装置及び処理方法 |
| JP7773061B2 (ja) | 2018-05-07 | 2025-11-19 | キヤノンマーケティングジャパン株式会社 | プログラム、情報処理装置及び処理方法 |
| JP2022514155A (ja) * | 2018-10-02 | 2022-02-10 | チェール,タマス | ソフトウェアテスト |
| JP7398068B2 (ja) | 2018-10-02 | 2023-12-14 | ファンクショナイズ,インコーポレイテッド | ソフトウェアテスト |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3008872B2 (ja) | Guiシステム自動操作装置および操作マクロ実行装置 | |
| US11074162B2 (en) | System and a method for automated script generation for application testing | |
| US6061643A (en) | Method for defining durable data for regression testing | |
| JP2000112784A (ja) | プログラムテスト支援装置及びプログラムテスト支援プログラムを記録した記録媒体 | |
| CN107102947B (zh) | Atm交易流程测试装置及方法 | |
| US20080127103A1 (en) | Dynamic deneration and implementation of globalization verification testing for user interface controls | |
| JP4395761B2 (ja) | プログラムテスト支援装置およびその方法 | |
| JP3182111B2 (ja) | プログラムテスト支援装置 | |
| JPH08241191A (ja) | Gui自動評価装置 | |
| JP6739599B1 (ja) | 情報処理プログラム、情報処理方法、及び情報処理装置 | |
| JP2001356936A (ja) | Gui系プログラムのテスト支援装置および支援方法 | |
| CN115237813A (zh) | 脚本生成及测试方法和电子设备、计算机存储介质 | |
| JPH08212106A (ja) | システム試験支援装置及びシステム試験支援方法 | |
| JP2019106093A (ja) | 計算機、ログの再現方法及び記憶媒体 | |
| CN119357014A (zh) | 一种银行系统测试用例生成方法 | |
| JP4630489B2 (ja) | ログ比較デバッグ支援装置および方法およびプログラム | |
| CN118760613A (zh) | 测试用例自动生成方法、装置、电子设备及存储介质 | |
| JPH10149301A (ja) | スクリプト作成装置 | |
| CN113742240B (zh) | 用户界面测试方法、装置、存储介质和电子设备 | |
| JP3833626B2 (ja) | テストケース生成装置及びテストケース生成方法 | |
| CN114218117A (zh) | 一种项目测试方法、装置、计算机设备及存储介质 | |
| JP2008262473A (ja) | 設備保全管理システム | |
| CN114490330A (zh) | 生成测试用例的方法和装置 | |
| CN109684525B (zh) | 文档显示方法、装置、存储介质及测试设备 | |
| JP2017010180A (ja) | テスト支援システムおよびテスト支援方法 |