JP5678311B2

JP5678311B2 - 通信テスト装置及び方法

Info

Publication number: JP5678311B2
Application number: JP2013538616A
Authority: JP
Inventors: チォエ，ビョン−ジュ; ソ，ジュ−ヨン; ヤン，スン−ワン; キム，ヨン−スウ; クォン，ヘ−ヨン; オ，ジョン−ソク; ジャン，スン−ヨン
Original assignee: ヒョンダイモーターカンパニー; キアモータースコーポレーション; イファユニーバーシティ−インダストリーコラボレーションファウンデーション
Priority date: 2011-03-15
Filing date: 2011-03-15
Publication date: 2015-03-04
Anticipated expiration: 2031-03-15
Also published as: JP2013542539A; KR101459868B1; CN103443775B; EP2687989A4; KR20130042503A; US20130091390A1; EP2687989B1; CN103443775A; CA2801312A1; EP2687989A1; US9009532B2; WO2012124841A1; CA2801312C

Description

本発明は、通信テスト装置及び方法に係わり、より詳しくは、複数のプロセス間の通信が誤りなく行われているかを判断するためテスト情報を収集する通信テスト装置及び方法に関する。

多様なソフトウェア及びハードウェアを含むエンベデッドシステムにおいて、システムが稼動する環境で相互作用する動作が重要である。したがって、ソフトウェアのみで構成されたテストのための仮想データでない、システムが実際に使用される環境での実際データを利用する動作が重要なので、システムをテストしようとする場合にも、実際の運用データを利用してシステムテストを行って潜在的欠陥、又は実際の運用上で発生する欠陥を効果的に探し出すことができる方法が求められる。

さらに、システムを構成するソフトウェアそれぞれを別途独立的にテストするためには、連結される相対コンポーネントを代替するための装備を備えなければならないなど、テスト資源と費用が多く要するため、システムに含まれた全てのプロセスを実時間でテストすることができ、メモリ空間のオーバーヘッド又は当該コード遂行による性能オーバーヘッドを最小にするテスト装置が求められる。

本発明は、フッキング技術を利用しシステムに含まれたプロセス間の通信に対するテストを行うことにより、実際に使用しているシステムに対するテストが可能であり、システムのランタイム状態でも動的テストを行うことができ、システムに含まれる全てのプロセスが通信を行う間に発生する欠陥を確認することができる通信テスト装置及び方法を提供することにその目的がある。

本発明は通信テスト装置であって、プロセス制御ブロックにテストエージェントを挿入する挿入モジュールと、複数のプロセス間に通信関連イベントが発生したときに、テストエージェントを利用してテスト対象をテストコードにフッキングするフッキングモジュールと、テストコードがフッキングされたとき、複数のプロセス間の通信に対するテスト情報を収集するスキャニングモジュールと、スキャニングモジュールにより収集されたテスト情報を格納するロギングモジュールとを含んで構成される。

また、本発明は通信テスト方法であって、プロセス制御ブロックにテストエージェントを挿入する挿入段階と、複数のプロセス間に通信関連イベントが発生したとき、テストエージェントを利用してテスト対象をテストコードにフッキングするフッキング段階と、テストコードがフッキングされたとき、複数のプロセス間の通信に対するテスト情報を収集するスキャニング段階と、収集されたテスト情報を格納するロギング段階とを含んで構成される。

さらに、本発明は通信テストシステムであって、システムを駆動させるための信号の入力を受ける入力装置と、入力装置を介し入力された信号によりシステムが動作する間、プロセス制御ブロックにテストエージェントを挿入し、テストエージェントを利用してテスト対象をテストコードにフッキングし、複数のプロセス間の通信に対するテスト情報を収集する通信テスト装置と、通信テスト装置により収集されたテスト情報を分析する分析装置とを含んで構成される。

本発明によれば、ソースコードでない実際に使用するコードを対象とするので、システムが実際に運用される間にもシステムに対する通信テストを行うことができる。
さらに、それぞれのプロセスに対する個別的なコード挿入でなく、プロセス制御ブロックに含まれた情報を活用したフッキング方法を利用するので、システムオーバーヘッドを最小にすることができ、動作するシステムを妨ぐことなくシステムに対するテストを行うことができる。
さらに、プロセス間の共有資源が制限された場合にも、実時間でテスト情報を収集しテスト結果を確認することができる。

本発明に係る通信テスト装置が利用される一実施形態の全体システムを示す図である。本発明に係る通信テスト装置の一実施形態の構成を示す図である。本発明に係る通信テスト方法の一実施形態のフローチャートである。

本発明は、システムが実際に使用される環境でのテストであり、システムが開始され終了されるまでの動的状態でシステムをテストすることができる装置及び方法に関する。本発明は、フッキング技法を利用して、システム内で動作する全てのプロセスに対するテストを行うことができる。より詳しくは、システム内で動作する全てのプロセス間の通信に対するテストを行うことができる。

図１は、本発明に係る通信テスト装置が利用される一実施形態の全体システムを示す図である。図１に示すように、全体システムは、通信テスト装置１００、システム２００、入力装置３００、分析装置４００及び出力装置５００を含む構成である。

通信テスト装置１００は、システム２００に含まれた２つ以上のプロセス間の通信をテストするための装置である。通信テスト装置１００は、システム２００に含まれた全てのプロセス間の資源共有及び意思伝達が正確になされたかを判断することができるテスト情報を収集することができる。通信テスト装置１００は、図１に示すようにシステム２００と独立に備えられてもよく、システム２００内部に含まれた形態であってもよい。

システム２００は、通信テスト装置１００のテスト対象になるシステムであって、多様なソフトウェア及びハードウェアが統合されたエンベデッドシステムである。通信テスト装置１００のテスト対象になるシステムは、複数のプロセスを含む１つ以上のシステムを意味する。したがって、１つのシステムに含まれる複数のプロセス間の通信だけでなく、互いに異なるシステムに含まれたプロセス間の通信も通信テスト装置１００のテスト対象になり得る。

システム２００は、マルチプロセスが通信する全てのエンベデッドシステム及びコンピュータシステムであって、インフォテインメントシステム、マルチメディアシステム、有無線ネットワークシステムなどがある。例えば、システム２００が車両インフォテインメントシステムである場合、システム２００は、オディオ・ビデオ・ナビゲーション（ＡＶＮ；ＡｕｄｉｏＶｉｄｅｏＮａｖｉｇａｔｉｏｎ）機能を中心に地上デジタルメディア放送（ＴＤＭＢ；ＴｅｒｒｅｓｔｒｉａｌＤｉｇｉｔａｌＭｕｌｔｉｍｅｄｉａＢｒｏａｄｃａｓｔｉｎｇ）、交通情報エキスパートグループ（ＴＰＥＧ；ＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌＥｘｐｅｒｔＧｒｏｕｐ）、アイポッド(登録商標)（ＩＰＯＤ）、ＵＳＢ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ(登録商標)）、音声認識（ＶＲ；ＶｏｉｃｅＲｅｃｏｇｎｉｔｉｏｎ）、パーキング・ガイダンス・システム（ＰＧＳ；ＰａｒｋｉｎｇＧｕｉｄａｎｃｅＳｙｓｔｅｍ）、ラジオ・データ・システム（ＲＤＳ；ＲａｄｉｏＤａｔａＳｙｓｔｅｍ）、自動車団体（ＶＣＤＣ；ＶｅｈｉｃｌｅＣＤＣ）、ドライバー情報システム（ＤＩＳ；ＤｒｉｖｅｒＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍ）、リアシート・エンターティメント（ＲＳＥ；ＲｅａｒＳｅａｔＥｎｔｅｒｔａｉｎｍｅｎｔ）、ハイブリッド電気車両ディスプレー（ＨｙｂｒｉｄＥｌｅｃｔｒｉｃＶｅｈｉｃｌｅＤｉｓｐｌａｙ）、エアー・ハンドリング・ユニット・ディスプレー（ＡｉｒＨａｎｄｌｉｎｇＵｎｉｔＤｉｓｐｌａｙ）などがある。

入力装置３００は、通信テスト装置１００及びシステム２００を駆動させるための使用者入力装置である。入力装置３００は、キーボード又はタッチスクリーンで行われてもよく、入力装置３００を介して入力された信号に応じてシステム２００が駆動する。さらに、入力装置３００を介し入力された信号に応じて通信テスト装置１００が通信テストのための動作を行う。

分析装置４００は、通信テスト装置１００により収集されたテスト情報を分析し、システム２００に含まれた複数のプロセス間の通信に発生した誤りを確認する。通信テスト装置１００は、分析装置４００と１つの装置となって、テスト情報を収集すると共に収集されたテスト情報を分析しテスト結果を確認することもできる。

出力装置５００は、通信テスト装置１００により収集されたテスト情報、又は分析装置４００により分析されたテスト結果を、画像又は音声で出力する装置である。出力装置５００を介し、使用者は通信テスト結果を確認することができる。

図２は、本発明に係る通信テスト装置の一実施形態の構成を示す図である。図２に示すように、通信テスト装置１００は、挿入モジュール１０１、フッキングモジュール１０３、スキャニングモジュール１０５及びロギングモジュール１０７を含んで構成される。図２では、通信テスト装置１００と連結されテスト対象となるシステム２００は、２つ以上のプロセスを含む１つのシステムとして描いている。

システム２００は、プロセス制御ブロック２０１を含んでいる。プロセス制御ブロック２０１は、システム２００に含まれた全てのプロセスに対するランタイム実行情報を有する。ここで、ランタイム実行情報とは、システム２００が動作しているときの全てのプロセス間の実行情報を意味する。したがって、プロセス制御ブロック２０１は、システム２００に含まれた全てのプロセスに対する資源使用状態、プロセス状態、優先順位、関数テーブルなどを含むことができる。より詳しくは、プロセスＩＤ、プロセス名、現行プロセス、現行スレッド、システムで行われているプロセスリスト、モジュールリスト、システムページサイズ、使用可能な物理メモリサイズ、ＣＰＵ使用量、使用中の資源リスト、要請中のＩ／Ｏデバイス状態、オープンされたファイル情報、レジスタ情報などを含むことができる。したがって、全てのシステム内での情報を含むデータ構造又は装置は、本発明で意味するプロセス制御ブロックに該当する。

挿入モジュール１０１は、プロセス制御ブロック２０１にテストエージェントを挿入する。テストエージェントは、プロセス制御ブロック２０１に含まれた情報に基づきテストコードをフッキングし、テスト情報を収集することができる。テストコードがフッキングされるテスト位置は、欠陥の類型に従い定義される。本発明では、テストエージェントがプロセス制御ブロック２０１に挿入される前に、先ずシステム２００が正常に動作しており、システム２００は通信テスト装置１００の動作により影響を受けずに正常に動作する。

さらに、挿入モジュール１０１は、システム２００で動作しているプロセスリストを確認し、プロセスリスト中の２以上のプロセスをテスト対象に選定し、選定されたプロセス間の通信をテストするためのテストエージェントを挿入することもできる。

フッキングモジュール１０３は、挿入モジュール１０１により挿入されたテストエージェントを利用してテスト対象をテストコードにフッキングする。本発明では、テストコードにフッキングされるテスト対象は、プロセスに含まれたコード中の通信関連イベントを発生させるコードであることができる。テストコードは、テストしようとする欠陥の類型に従い変更される。さらに、フッキングモジュール１０３は、テストコードがフッキングされるテスト位置を変更することができる。

テストコードがフッキングされることは、動作しているシステム２００内で複数のプロセス間に通信関連イベントが発生したとき、挿入されたテストエージェントが原本コードの動作を含むテストコードが行われるようＯＳのプロセス制御ブロックをフッキングすることを意味する。プロセス制御ブロックに含まれる情報から、フッキングモジュール１０３は、如何なるプロセスの間に如何なる類型の通信関連イベントが発生するのかを確認することができる。ここで、通信関連イベントとは、複数のプロセス間にメッセージ送信、共有データ送信、共有メモリ使用、メッセージキュー使用、同期化オブジェクト使用などを意味する。

テストコードは、複数のプロセス間のメッセージ送信、メッセージキュー、共有メモリ又は同期化オブジェクトと関連する欠陥の類型を確認するためのコードである。テストコードの欠陥類型は、下記の図３の説明で詳しく述べる。

例えば、テストコードは、送信メッセージ（Ｓｅｎｄ−Ｍｅｓｓａｇｅ）、送信済みメッセージ（Ｐｏｓｔ−Ｍｅｓｓａｇｅ）のような第１の関数、及びテストしようとする欠陥の類型に従い必要な第２の関数を含み、システムに含まれたプロセスはそれぞれ第１の関数を含む。したがって、第１のプロセス及び第２のプロセスの間に通信関連イベントが発生したとき、フッキングモジュール１０３は、挿入された通信エージェントを利用して第１のプロセス及び第２のプロセスで第１の関数が行われる段階で、第１のプロセス及び第２のプロセスの第１の関数に代えてテストコードを行わせることにより、テスト対象をテストコードにフッキングする。第１のプロセス及び第２のプロセスで第１の関数が行われる段階は、プロセス制御ブロックに含まれた情報から確認される。

一方、テスト対象が複数のプロセス間の通信であるので、テストしようとする欠陥の類型に従い送信側又は受信側に該当する一方のプロセスにのみテストコードがフッキングされてもよい。

スキャニングモジュール１０５は、テスト対象がテストコードにフッキングされたとき、通信関連イベントが発生した複数のプロセス間の通信に対するテスト情報を収集する（Ｓ１７２）。ここで、複数のプロセス間の通信とは、既に発生した通信関連イベントだけでなく、テストコードフッキングに従い発生する通信関連イベントまで含むことができる。収集されたテスト情報は、テスト段階、テスト目的、テストしようとする欠陥の類型に従い変化する。

したがって、スキャニングモジュール１０５は、複数のプロセス間の通信に対し欠陥の判定に要するシステム動的状態情報、例えば、関数パラメータ及び返還値、性能測定値、共有資源使用リストなどを収集する。

テスト情報は、複数のプロセスのコールスタック情報、複数のプロセス間に送受信される通信類型、通信ＩＤ、通信データ、複数のプロセス間の通信で発生した遅延時間などを含むことができる。

ロギングモジュール１０７は、スキャニングモジュール１０５により収集されたテスト情報を格納空間に格納する。格納空間は、ロギングモジュール１０７に備えられてもよく、ロギングモジュール１０７と別個の装置であってもよい。図１に示した分析装置４００では、スキャニングモジュール１０５により収集されたテスト情報又はロギングモジュール１０７により格納されたテスト情報を分析することができる。

図３は、本発明に係る通信テスト方法の一実施形態のフローチャートである。ここでは、複数のプロセス間の通信に対するテストを行うための通信テスト方法を示す図である。先ず、欠陥モデルが定義される（Ｓ１１０）。ここで、欠陥モデルとは、欠陥の類型に従いテストされなければならないプロセス間の通信位置及び欠陥の発見／復旧のためのテスト情報を意味する。定義された欠陥モデルに従い、システム２００が正常に動作している間テスト情報を収集することのできるテストコードが生成される。

先ず、テスト対象となるシステム２００のプロセス制御ブロック２０１にテストエージェントが挿入される（Ｓ１２０）。システム２００は、テストエージェントが挿入される前から正常に動作している。

次に、複数のプロセス間に通信関連イベントが発生すると、挿入されたテストエージェントを利用しテスト対象がテストコードにフッキングされる（Ｓ１３０）。テストコードがフッキングされることにより、通信関連イベントが発生したプロセスに代えてテストコードが行われ得る。

次に、テストコードがフッキングされたとき、通信関連イベントが発生した複数のプロセス間の通信に対するテスト情報が収集される（Ｓ１４０）。次に、収集されたテスト情報は格納される（Ｓ１５０）。ここで、テスト情報は、テストコードがフッキングされている間にのみ収集され、テストコードがフッキングされたあと、システムが動作する間に全て収集されることもある。

本発明に係るテストコードは、プロセス間のメッセージ送信、メッセージキュー、共有メモリ又は同期化オブジェクトと関連する欠陥の類型を確認するためのコードである。

メッセージ送信（ＭｅｓｓａｇｅＰａｓｓｉｎｇ）と関連する欠陥の類型は、指定時間内メッセージ送信失敗（同期）、メッセージデッドロック（同期）、メッセージ処理遅延（同期）、メッセージ損失（同期）、メッセージ変更（同期）、メッセージキューへの挿入失敗（非同期）、メッセージ処理遅延（非同期）、メッセージ損失（非同期）、又はメッセージ変更（非同期）に分類することができる。

メッセージキュー（ＭｅｓｓａｇｅＱｕｅｕｅ）と関連する欠陥の類型は、メッセージキュー生成失敗、メッセージキュー閉じ失敗、メッセージキューからの読取り失敗、又はメッセージキューへの書込み失敗に分類することができる。
共有メモリ（ＳｈａｒｅｓＭｅｍｏｒｙ）と関連する欠陥の類型は、共有メモリ生成失敗もある。

【００３８】
【００３８】
同期化オブジェクト（ＳｙｎｃｈｒｏｎｉｚａｔｉｏｎＯｂｊｅｃｔ）と関連する欠陥の類型は、生成していない同期化オブジェクト使用、生成した同期化オブジェクト使用しない、又は使用した同期化オブジェクト解除しないに分類することができる。
したがって、各欠陥の類型に従いテストコードが変更される。

上記したように、本発明に係る通信テスト装置１００は、動作しているシステム２００に影響を与えずにテストエージェント挿入、テストコードフッキング、テスト情報収集を実施することができ、システムテスト装置１００による通信テストは、システムに含まれたプロセス制御ブロックに含まれた情報に基づき実施される。

本発明は、プロセッサが読取り可能な記録媒体にプロセッサが読取り可能なコードとして実現することが可能である。プロセッサが読取り可能な記録媒体は、プロセッサにより読み取られたデータが格納される全ての種類の記録装置を含む。プロセッサが読取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、エムティー、フロッピー(登録商標)、光データ格納装置などがある。さらに、プロセッサが読取り可能な記録媒体はネットワークで連結されたコンピュータシステムに分散され、分散方式でプロセッサが読取り可能なコードが格納され行われる。

本発明は、上記した実施形態に限定されず、請求の範囲に記載した本発明の範囲を逸脱することなく、当該発明の属する技術分野で通常の知識を有する者により多様な変形実施が可能であり、このような変形実施は、本発明の技術的思想や展望から個別的に理解されてはならない。

本発明は、システムが実際に使用されている間にもシステムに対する通信テストを行うことができる。

Claims

複数のプロセス、及び前記複数のプロセスに対するランタイム実行情報を含むプロセス制御ブロックを含むシステムに対する通信テスト装置において、
前記プロセス制御ブロックにテストエージェントによりテストコードのアドレス情報を挿入する挿入モジュールと、
前記複数のプロセス間に通信関連イベントが発生したとき、前記テストエージェントを利用してテスト対象をテストコードにフッキングするフッキングモジュールと、
前記テストコードがフッキングされたとき、前記複数のプロセス間の通信に対するテスト情報を収集するスキャニングモジュールと、
前記スキャニングモジュールにより収集されたテスト情報を格納するロギングモジュールと
を含んでなることを特徴とする通信テスト装置。
前記プロセス制御ブロックは、前記複数のプロセスに対する資源使用状態、プロセス状態、優先順位及び関数テーブルのうち少なくとも１つを含むことを特徴とする請求項１に記載の通信テスト装置。
前記通信関連イベントは、前記複数のプロセス間のメッセージ送信、共有データ送信、共有メモリ使用、メッセージキュー使用、同期化オブジェクト使用のうち少なくとも１つであることを特徴とする請求項１に記載の通信テスト装置。
前記テストコードは、前記複数のプロセス間のメッセージ送信、メッセージキュー、共有メモリ及び同期化オブジェクトのうち少なくとも１つの欠陥の類型を確認するためのコードであることを特徴とする請求項１に記載の通信テスト装置。
前記テスト情報は、前記複数のプロセスのコールスタック情報、前記複数のプロセス間に送受信される通信類型、通信アイディー、通信データ及び前記複数のプロセス間の通信で発生した遅延時間のうち少なくとも１つであることを特徴とする請求項１に記載の通信テスト装置。
前記テスト情報は、システム動的状態情報、プロセス状態情報、及び前記複数のプロセス間の通信情報を含むことを特徴にする請求項１に記載の通信テスト装置。
前記テストコードは、テストしようとする欠陥の類型に従い定義されることを特徴とする請求項１に記載の通信テスト装置。
前記システムは、マルチプロセスが通信するエンベデッドシステム及びコンピュータシステムであることを特徴とする請求項１に記載の通信テスト装置。
複数のプロセス、及び前記複数のプロセスに対するランタイム実行情報を含むプロセス制御ブロックを含むシステムに対する通信テスト方法において、
前記プロセス制御ブロックにテストエージェントによりテストコードのアドレス情報を挿入する挿入段階と、
前記複数のプロセス間に通信関連イベントが発生したとき、前記テストエージェントを利用してテスト対象をテストコードにフッキングするフッキング段階と、
前記テストコードがフッキングされたとき、前記複数のプロセス間の通信に対するテスト情報を収集するスキャニング段階と、
収集されたテスト情報を格納するロギング段階と、
を含んでなることを特徴とする通信テスト方法。
前記プロセス制御ブロックは、前記複数のプロセスに対する資源使用状態、プロセス状態、優先順位及び関数テーブルのうち少なくとも１つを含むことを特徴とする請求項９に記載の通信テスト方法。
前記通信関連イベントは、前記複数のプロセス間のメッセージ送信、共有データ送信、共有メモリ使用、メッセージキュー使用、同期化オブジェクト使用のうち少なくとも１つであることを特徴とする請求項９に記載の通信テスト方法。
前記テストコードは、前記複数のプロセス間のメッセージ送信、メッセージキュー、共有メモリ及び同期化オブジェクトのうち少なくとも１つの欠陥の類型を確認するためのコードであることを特徴とする請求項９に記載の通信テスト方法。
前記テスト情報は、前記複数のプロセスのコールスタック情報、前記複数のプロセス間に送受信される通信類型、通信アイディー、通信データ及び前記複数のプロセス間の通信で発生した遅延時間のうち少なくとも１つであることを特徴とする請求項９に記載の通信テスト方法。
前記システムは、マルチプロセスが通信するエンベデッドシステム及びコンピュータシステムであることを特徴とする請求項９に記載の通信テスト方法。
複数のプロセス、及び前記複数のプロセスに対するランタイム実行情報を含むプロセス制御ブロックを含むシステムに対する通信テストシステムにおいて、
前記システムを駆動させるための信号の入力を受ける入力装置と、
前記入力装置を介し入力された信号により前記システムが動作するあいだ、前記プロセス制御ブロックにテストエージェントによりテストコードのアドレス情報を挿入し、前記テストエージェントを利用してテスト対象をテストコードにフッキングし、前記複数のプロセス間の通信に対するテスト情報を収集する通信テスト装置と、
前記通信テスト装置により収集されたテスト情報を分析する分析装置と、
を含んでなることを特徴とする通信テストシステム。
前記通信テスト装置は、収集されたテスト情報を格納するロギングモジュールを含む請求項１５に記載の通信テストシステム。
前記プロセス制御ブロックは、前記複数のプロセスに対する資源使用状態、プロセス状態、優先順位及び関数テーブルのうち少なくとも１つを含むことを特徴とする請求項１５に記載の通信テストシステム。
前記テストコードがフッキングされるテスト位置は、欠陥の類型に従い変更されることを特徴とする請求項１５に記載の通信テストシステム。
前記テスト情報は、前記複数のプロセスのコールスタック情報、前記複数のプロセス間に送受信される通信類型、通信アイディー、通信データ及び前記複数のプロセス間の通信で発生した遅延時間のうち少なくとも１つであることを特徴とする請求項１５に記載の通信テストシステム。
前記分析装置により分析されたテスト結果を画像又は音声で出力する出力装置をさらに含む請求項１５に記載の通信テストシステム。