PictMasterOA v1.1.3 をリリースしました。
前バージョンからの変更点は次の通りです。
【バグ修正】
・生成方式が直交表で制約がある場合、実行環境によっては「原型シートがありません」というエラーとなる問題を修正した。
PictMasterOA v1.1.3は次のサイトからダウンロードすることができます。
PictMasterOA v1.1.3 をリリースしました。
前バージョンからの変更点は次の通りです。
【バグ修正】
・生成方式が直交表で制約がある場合、実行環境によっては「原型シートがありません」というエラーとなる問題を修正した。
PictMasterOA v1.1.3は次のサイトからダウンロードすることができます。
テスト設計ではテスト項目を決定し、テスト項目ごとにテスト対象とする要因(パラメータ)とそれらがとりうる値を洗い出し、それをもとにテストケースを作成します。要因と値はテストの観点分析で決定します。
テストの観点分析は次の手順で行ないます。
①.機能仕様書をもとにそこに書かれていることに対応するテスト項目を決定する。
②.決定したテスト項目で必要な要因と値を洗い出す。
③.決定した要因と値をテストの観点表に記入する。
④.機能仕様書に書かれていることについて原則としてすべてをテスト項目とするまで①~③を繰り返す。
⑤.作成したテストの観点表をテストチーム内でレビューする。
⑥.開発チームとテストチームでテストの観点表をレビューする。
上の④で機能仕様書に書かれていることのすべてとありますが、もちろん書かれていないことについても検討を行ない、必要があればテスト項目にします。
上の⑥で開発チームを含めてレビューを行うのは、テストに開発チームの知見を反映させるためです。このことにより、テストはグレーボックステストとなります。
テストの観点表にはそこに記述されているテスト項目に対応する機能仕様書の記述を明記します。これはそのテスト項目が何を対象としてテストするかを明記するためです。またテスト対象の要因(パラメータ)と値および確認内容を記述します。
テストの観点表の例を次に示します。
記述はExcelに行ないます。各列の幅は25、表示のズームは80%です。この例では、仕様 リレー制御(センサー検知連動機能) 1. と2. がテスト対象の機能仕様書の記述です。テスト項目によっては機能仕様書の記述が表形式の場合もありますが、その場合は当該の表の画像を張り付けるようにします。監視状態、リレー使用種別、リレーのメーク時間が要因であり、それぞれの下に記述されているのが要因の取りうる値です。
値に色がついているのは同じ色の組み合わせのみ可能であること、つまり制約があることを意味しています。このテストの観点表では複雑な制約は表現できませんが、組み合わせに制約があることは表現できます。
次にテストの観点表の他の例を示します。
このようなテストの観点表を作成することにより、テスト仕様書を作成する前にテストの要因と値にテスト漏れがないかをレビューによってチェックすることができます。また開発チームと共同でレビューすることによって、システム構成上必要な組み合わせが漏れていないか、その逆にテストする必要のない組み合わせがあるかをチェックできます。
テストの観点レビューが完了したら、テストの観点表をもとにテスト設計書の作成を行なうことになります。
機能追加とバグ修正を行なった PictMasterOA v1.2 をリリースしました。
主な変更点は次の通りです。
【機能改善】
・「分析」ボタンで生成結果の全パラメータについての3-Wayカバレッジを表示する機能を追加した。
【バグ修正】
・直交表で4水準のパラメータが5個の場合にL16ではなくL32で生成が行われるバグを修正した。(ファイルoalibの入れ替えが必要)
今回のリリースでは、同梱しているファイル oalib での入れ替えが必要です。
PictMasterOA v1.2 は次のサイトからダウンロードすることができます。
https://ja.osdn.net/projects/pictmasteroa/
64ビット版Excelでの問題を修正した pictMasterOA v1.2.1 をリリースしました。
v1.2.1 での変更点は次の通りです。
【バグ修正】
・64ビット版Excelでクリップボードの処理に誤りがあり、分析機能の「クリップボードへコピー」の処理が正しく動作していなかった問題を修正した。
v1.1.3 以前のPictMasterOAからバージョンアップする場合は、同梱されているファイル oalib も入れ替える必要があります。
PictMasterOA v1.2.1 は次のサイトからダウンロードすることができます。
https://ja.osdn.net/projects/pictmasteroa/
直交表の性質として3パラメータ間の組み合わせが均等に出現すると言われています。
PictMasterOAが直交表に対応したのでこのことを検証してみました。まず最初はパラメータの値の数が等しい場合です。この場合のモデルを次に示します。
このモデルで2水準系の直交表で生成を行なうと、L16の直交表で16件の組み合わせが生成されます。この組み合わせをPictMasterOAの分析機能の「組み合わせマトリクスを表示」を実行し、3パラメータ間の組み合わせの状況を表示させたものをわかりやすいように手直しした結果を次に示します。
この表で緑に塗りつぶした組み合わせが出現しているパラメータA、B、Cの3パラメータ間の組み合わせです。この結果からどの3パラメータ間の組み合わせでも16件の組み合わせのうち4件の組み合わせが網羅されており、3パラメータ間の組み合わせが均等に出現していることが分かります。これは直交表の性質として広く言われている通りです。
ここでのモデルはすべてのパラメータの値の数が同じ場合でした。実際のテストではすべて同じというケースはほとんどなく、値の数はばらついています。そこで次に示すように値の数がパラメータごとに異なる場合を調べてみました。
このモデルで2水準系の直交表で生成を行なうと、L64の直交表で64件の組み合わせが生成されます。この組み合わせでのパラメータB、C、Dの3パラメータ間の組み合わせの状況を表示させたものを次に示します。
この表から、3パラメータ間の組み合わせが出現している件数はパラメータBの値ごとに、10、11、10、7、7 とばらついていることが分かります。これは2水準系の直交表で値の数が2の倍数でないとダミーの水準が割り当てられることにより、3パラメータ間の組み合わせにばらつきが生じることが関係しています。このことから、直交表で3パラメータ間の組み合わせが均等に出現するのは、値の数がすべて2の倍数の場合のみという条件があることが分かります。
直交表では3パラメータ間の組み合わせが均等に出現することが特長として語られてきましたが、実際のテストではそうした特長が発揮されるのはごく限られることでしょう。
64ビット版Excelでの問題を修正した PictMasterOA v1.2.2 をリリースしました。
v1.2.2 での変更点は次の通りです。
【バグ修正】
・64ビット版Excelでクリップボードの処理に誤りがあり、コンパイルエラーとなる問題を修正した。
v1.1.3 以前のPictMasterOAからバージョンアップする場合は、同梱されているファイル oalib も入れ替える必要があります。
PictMasterOA v1.2.2 は次のサイトからダウンロードすることができます。
PictMasterOAは直交表方式とPairwise方式の両方式の組み合わせ生成をサポートした日本国内では事実上唯一のフリーでオープンソースなテストツールです。今回はこのPictMasterOAを使用した場合の直交表方式とPairwise法とのテストケース生成についての比較を行なってみます。
直交表方式とPairwise法との比較は、2012年の3月に一度行なっています。そのときは直交表方式では手作業でテストケースを作成することにしていました。その当時は安価に手に入る直交表ツールが存在していなかったため、直交表方式については手作業とするしかありませんでした。現在ではPictMasterOAを使用することで直交表ツールによるテストケース作成が可能となっています。
テストケース作成について直交表方式とPairwise法方式との比較を次に示します。
フリーな直交表ツール PictMasterOA を使用した場合のPairwise法との比較
黄色で塗りつぶした方式の項目が優れていることを意味しています。この比較結果から、手作業ではなくツールを使用することで直交表方式でもPairwise方式と同等となる項目が増えましたがそれでも多くの項目でPairwise方式が優れている結果となりました。
直交表方式が優れている項目は3因子間網羅率のみでした。実は3因子間網羅率に関してはPairwise方式でもPictMasterOAの「希望する3-wayカバレッジで生成」の機能を使用することで直交表方式と同等の3因子間網羅率を同程度のテストケース数で生成することができます。ですからこのことを考慮すれば直交表方式が優れている項目はひとつもないことになります。
直交表方式のツールを作成するまでは、手作業ではなくツールを使用するのだからPairwise方式よりも直交表方式が優れている項目があるのではないかと考えていましたが、実際に比較した結果はPairwise方式が圧倒的に優れており使いやすいという結果となりました。
直交表方式でもPairwise方式よりも例外的に優れている場合があります。それがテストケース数です。モデルの値の数によってはPairwise方式よりも直交表方式のほうがテストケース数が少なくなる場合があるのです。これ以外にも例外的に直交表方式が優れている場合がありそうです。今後調べてみたいと思います。
今回は直交表とPairwise法の3因子間の組み合わせのばらつきを比較してみます。直交表の場合はダミー水準があるとばらつきに影響がでてきますが、多くの場合ダミー水準があるのでダミー水準のあるモデルで比較することにします。
比較に使用したモデルを次に示します。
このモデルで生成を行なうと、直交表の場合はL64で64件のテストケースとなります。3因子間網羅率は64.4%でした。Pairwise法の場合は67件のテストケースとなり、3因子間網羅率は63.2%でした。
それぞれの生成結果を「分析」ボタンの「組み合わせマトリクスの表示」で3因子間の組み合わせマトリクスを表示させ、見やすいように手を加えた結果を次に示します。
この比較ではパラメータC、D、Eの組み合わせを対象としています。緑のセルが3因子間の組み合わせが出現していることを意味します。
直交表の場合は3因子間の組み合わせの数が16、16、8、8、8、8となり、Pairwise法の場合は10、9、10、9、9、13となりました。
直交表で16と8の二つに分かれたのはダミー水準の値がそれ以外の値より2倍多く出現しているためです。具体的にはパラメータCとDの値の個数が6で8水準より2少ないのでc1、c2とd1、d2の組み合わせではほかの組み合わせより2倍多く出現しているからです。
Pairwise法の場合は組み合わせの数がランダムのばらついているようです。それに対して直交表の場合はダミー水準による違いはありますが、組み合わせには規則性が見られ、3因子間の組み合わせにばらつきが少なくなっています。
3パラメータの組み合わせで発生する障害を検出する可能性は直交表とPairwise法とで違いがあるでしょうか。3因子間網羅率に違いがなければばらついていてもいなくても違いがないようにも思いますが、やはりばらつきがなく均等に組み合わせが出現する直交表が好ましいでしょう。
PictMasterOA v1.2.3 をリリースしました。
このバージョンでの変更点は次の通りです。
【バグ修正】
・原型シートの使用を指定していて原型シートがない場合にVBAのエラーとなる問題を修正した。
・環境設定で「モデルファイルを表示」を指定して生成を行なうとVBAのエラーとなる場合がある問題を修正した。
v1.1.3 以前のPictMasterOAからバージョンアップする場合は、同梱されているファイル oalib も入れ替える必要があります。
PictMasterOA v1.2.3 は次のサイトからダウンロードすることができます。
https://ja.osdn.net/projects/pictmasteroa/
PictMasterOAを起動したときに次のいずれかのエラーが表示される場合があります。
「はこのマシンでは利用できないため、オブジェクトを読み込めませんでした」
「プロジェクトまたはライブラリがみつかりません」
「オートメーションエラーです。エラーを特定できません」
「無効なオブジェクト ライブラリです。または定義されていないオブジェクトへの参照を含んでいます」
これらのエラーが発生する直接の原因は、VBAが参照しているActiveXコントロールファイル MSCOMCTL.OCX が参照不可となっているためです。この現象はしばしばWindows Updateを行なった結果として発生することがあります。
MSCOMCTL.OCX が参照不可となっているかどうかはExcelの開発メニューから Visual Basic を起動し、メニューから「ツール」→「参照設定...」を選択して次のような参照設定を表示させることで分かります。すでに Visual Basic が起動している場合は「実行」→「リセット」を指定してから参照設定を表示させてください。
エラーとなっている場合は、「Microsoft Common Contlols 6.0(SP6)」の部分に「参照不可」と表示されます。
これらのエラーとなった場合はファイル MSCOMCTL.OCXをシステムに登録する必要があります。登録の仕方は次の通りです。
[Windows (32bitの場合)]
[スタート]→[すべてのプログラム]→[アクセサリ]→[コマンドプロンプト]を右クリックし、[管理者として実行]を選び、次のコマンドを入力し、Enter を押す。
cd C:\Windows\System32
regsvr32 MSCOMCTL.OCX
[Windows (64bitの場合)]
[スタート]→[すべてのプログラム]→[アクセサリ]→[コマンドプロンプト]を右クリックし、[管理者として実行]を選び、次のコマンドを入力し、Enter を押す。
cd C:\Windows\SysWOW64
regsvr32 MSCOMCTL.OCX
登録が正常に完了すると次のメッセージが表示されます。
登録でエラーとなる場合は、ファイルMSCOMCTL.OCXをMicrosoftの次のサイトからダウンロードします。
Microsoft Visual Basic 6.0 コモン コントロール
VisualBasic6-KBxxxxx.exe がダウンロードされるので、そのEXEファイルをダブルクリックします。すると次のメッセージが表示されます。
これで最初のエラーがなくなれば対策は完了です。
システム環境によってはこれでもエラーがなくならない場合があります。その場合は先ほどのEXEファイルの中身を展開してファイル MSCOMCTL.OCX を取り出し、所定の場所に置く必要があります。EXEファイルの展開を行なうには 7-Zip などの解凍ソフトを使用します。7-Zip をインストールすると、EXEファイルを右クリックすることで展開することができます。
取り出したファイルMSCOMCTL.OCXを C:\Windows\SysWOW64 に置きます(64ビットシステムの場合)。ファイルを置いたらコマンドプロンプトを管理者として実行し、最初に説明した regsrv32 のコマンドを実行します。コマンドが正常終了すればOKです。
次にPictMasterOAを起動し、開発メニューからVBAのエディタを開きます。「ツール」→「参照設定...」を選択し、参照設定を表示させます。続いて「参照」ボタンをクリックして C:\Windwos\SysWoW64\MSCOMCTL.OCX を選択してOKをクリックします。参照設定が開けない場合はデバッガが動作しているので「実行」→「リセット」でデバッガを終了させてください。
最後にExcelを再起動することでエラーはなくなっているはずです。
この記事の内容は次のサイトを参考にさせていただきました。
これまでツールの名称をPictMasterOAとしていましたが、このたび PictMaster という名称に変更しました。PictMasterのバージョンは 7.0 です。
PictMasterOA 1.2.3からのソフトの変更はありません。マニュアルはPictMaster起動時にVBAのエラーとなる場合の対処法、直交表でのダミー水準の割り付けについての説明などが加筆されています。
PictMaster 7.0J は次のサイトからダウンロードすることができます。
PictMaster 7.0.1J をリリースしました。
変更点は次の通りです。
【機能改善】
・直交表方式でダミー水準により重複したテストケースが生成された場合に、重複削除前のテストケース数も統計情報で表示するようにした。
【その他】
・「Pairwise法」という記述を「ペアワイズ法」に変更した。
PictMaster 7.0.1J は次のサイトからダウンロードすることができます。
https://ja.osdn.net/projects/pictmaster/
64ビット版Excelにも対応した PictMaster64.xlsm をリリースしました。
ダウンロードしたPictMasterのExcelファイルには
PictMaster.xlsm バージョン表示は 7.xJ
PictMaster64.xlsm バージョン表示は 7.xJ 64
の2種類のツールが同梱されています。
PictMaster.xlsm は32ビット版Excelでのみ使用可能です。64ビット版Excelでファイルを開くとVBAのエラーとなります。分析機能の全機能がサポートされています。
PictMaster64.xlsm は32ビット版Excelと64ビット版Excelのどちらでも使用可能です。ただし、分析機能の一部機能は64ビット版Excelの制限によりサポートされません。
PictMaster は次のサイトからダウンロードすることができます。
https://ja.osdn.net/projects/pictmaster/
PictMaster 7.0.2J をリリースしました。
変更点は次の通りです。
【バグ修正】
・生成方式が直交表でカバレッジを表示が指定されていたとき、CIT-BACHがインストールされていない場合にVBAのエラーとなる問題を修正した。
・分析機能の「指定パラメータ間のカバレッジ表示」で、CIT-BACHがインストールされていない場合にVBAのエラーとなる問題を修正した。
PictMaster 7.0.2J は次のサイトからダウンロードすることができます。
64ビット版Excelでの問題を修正した PictMasterOA v1.2.2 をリリースしました。
v1.2.2 での変更点は次の通りです。
【バグ修正】
・64ビット版Excelでクリップボードの処理に誤りがあり、コンパイルエラーとなる問題を修正した。
v1.1.3 以前のPictMasterOAからバージョンアップする場合は、同梱されているファイル oalib も入れ替える必要があります。
PictMasterOA v1.2.2 は次のサイトからダウンロードすることができます。
PictMasterOAは直交表方式とPairwise方式の両方式の組み合わせ生成をサポートした日本国内では事実上唯一のフリーでオープンソースなテストツールです。今回はこのPictMasterOAを使用した場合の直交表方式とPairwise法とのテストケース生成についての比較を行なってみます。
直交表方式とPairwise法との比較は、2012年の3月に一度行なっています。そのときは直交表方式では手作業でテストケースを作成することにしていました。その当時は安価に手に入る直交表ツールが存在していなかったため、直交表方式については手作業とするしかありませんでした。現在ではPictMasterOAを使用することで直交表ツールによるテストケース作成が可能となっています。
テストケース作成について直交表方式とPairwise法方式との比較を次に示します。
フリーな直交表ツール PictMasterOA を使用した場合のPairwise法との比較
黄色で塗りつぶした方式の項目が優れていることを意味しています。この比較結果から、手作業ではなくツールを使用することで直交表方式でもPairwise方式と同等となる項目が増えましたがそれでも多くの項目でPairwise方式が優れている結果となりました。
直交表方式が優れている項目は3因子間網羅率と3因子間組み合わせのばらつきでした。実は3因子間網羅率に関してはPairwise方式でもPictMasterOAの「希望する3-wayカバレッジで生成」の機能を使用することで直交表方式と同等の3因子間網羅率を同程度のテストケース数で生成することができます。ですからこのことを考慮すれば直交表方式が優れている項目は3因子間組み合わせのばらつきのみになります。
直交表方式のツールを作成するまでは、手作業ではなくツールを使用するのだからPairwise方式よりも直交表方式が優れている項目があるのではないかと考えていましたが、実際に比較した結果はPairwise方式が圧倒的に優れており使いやすいという結果となりました。
直交表方式でもPairwise方式よりも例外的に優れている場合があります。それがテストケース数です。モデルの値の数によってはPairwise方式よりも直交表方式のほうがテストケース数が少なくなる場合があるのです。これ以外にも例外的に直交表方式が優れている場合がありそうです。今後調べてみたいと思います。
※ 3月11日 表中の3因子間のばらつきで直交表の記述とそれに関連した記述を修正しました。
今回は直交表とPairwise法の3因子間の組み合わせのばらつきを比較してみます。直交表の場合はダミー水準があるとばらつきに影響がでてきますが、多くの場合ダミー水準があるのでダミー水準のあるモデルで比較することにします。
比較に使用したモデルを次に示します。
このモデルで生成を行なうと、直交表の場合はL64で64件のテストケースとなります。3因子間網羅率は64.4%でした。Pairwise法の場合は67件のテストケースとなり、3因子間網羅率は63.2%でした。
それぞれの生成結果を「分析」ボタンの「組み合わせマトリクスの表示」で3因子間の組み合わせマトリクスを表示させ、見やすいように手を加えた結果を次に示します。
この比較ではパラメータC、D、Eの組み合わせを対象としています。緑のセルが3因子間の組み合わせが出現していることを意味します。
直交表の場合は3因子間の組み合わせの数が16、16、8、8、8、8となり、Pairwise法の場合は10、9、10、9、9、13となりました。
直交表で16と8の二つに分かれたのはダミー水準の値がそれ以外の値より2倍多く出現しているためです。具体的にはパラメータCとDの値の個数が6で8水準より2少ないのでc1、c2とd1、d2の組み合わせではほかの組み合わせより2倍多く出現しているからです。
Pairwise法の場合は組み合わせの数がランダムのばらついているようです。それに対して直交表の場合はダミー水準による違いはありますが、組み合わせには規則性が見られ、3因子間の組み合わせにばらつきが少なくなっています。
3パラメータの組み合わせで発生する障害を検出する可能性は直交表とPairwise法とで違いがあるでしょうか。3因子間網羅率に違いがなければばらついていてもいなくても違いがないようにも思いますが、やはりばらつきがなく均等に組み合わせが出現する直交表が好ましいでしょう。
PictMasterOA v1.2.3 をリリースしました。
このバージョンでの変更点は次の通りです。
【バグ修正】
・原型シートの使用を指定していて原型シートがない場合にVBAのエラーとなる問題を修正した。
・環境設定で「モデルファイルを表示」を指定して生成を行なうとVBAのエラーとなる場合がある問題を修正した。
v1.1.3 以前のPictMasterOAからバージョンアップする場合は、同梱されているファイル oalib も入れ替える必要があります。
PictMasterOA v1.2.3 は次のサイトからダウンロードすることができます。
https://ja.osdn.net/projects/pictmasteroa/
PictMasterOAを起動したときに次のいずれかのエラーが表示される場合があります。
「はこのマシンでは利用できないため、オブジェクトを読み込めませんでした」
「プロジェクトまたはライブラリがみつかりません」
「オートメーションエラーです。エラーを特定できません」
「無効なオブジェクト ライブラリです。または定義されていないオブジェクトへの参照を含んでいます」
これらのエラーが発生する直接の原因は、VBAが参照しているActiveXコントロールファイル MSCOMCTL.OCX が参照不可となっているためです。この現象はしばしばWindows Updateを行なった結果として発生することがあります。
MSCOMCTL.OCX が参照不可となっているかどうかはExcelの開発メニューから Visual Basic を起動し、メニューから「ツール」→「参照設定...」を選択して次のような参照設定を表示させることで分かります。すでに Visual Basic が起動している場合は「実行」→「リセット」を指定してから参照設定を表示させてください。
エラーとなっている場合は、「Microsoft Common Controls 6.0(SP6)」の部分に「参照不可」と表示されます。
これらのエラーとなった場合はファイル MSCOMCTL.OCXをシステムに登録する必要があります。登録の仕方は次の通りです。
[Windows (32bitの場合)]
[スタート]→[すべてのプログラム]→[アクセサリ]→[コマンドプロンプト]を右クリックし、[管理者として実行]を選び、次のコマンドを入力し、Enter を押す。
cd C:\Windows\System32
regsvr32 MSCOMCTL.OCX
[Windows (64bitの場合)]
[スタート]→[すべてのプログラム]→[アクセサリ]→[コマンドプロンプト]を右クリックし、[管理者として実行]を選び、次のコマンドを入力し、Enter を押す。
cd C:\Windows\SysWOW64
regsvr32 MSCOMCTL.OCX
登録が正常に完了すると次のメッセージが表示されます。
登録でエラーとなる場合は、ファイルMSCOMCTL.OCXをMicrosoftの次のサイトからダウンロードします。
Microsoft Visual Basic 6.0 コモン コントロール
VisualBasic6-KBxxxxx.exe がダウンロードされるので、そのEXEファイルをダブルクリックします。すると次のメッセージが表示されます。
これで最初のエラーがなくなれば対策は完了です。
システム環境によってはこれでもエラーがなくならない場合があります。その場合は先ほどのEXEファイルの中身を展開してファイル MSCOMCTL.OCX を取り出し、所定の場所に置く必要があります。EXEファイルの展開を行なうには 7-Zip などの解凍ソフトを使用します。7-Zip をインストールすると、EXEファイルを右クリックすることで展開することができます。
取り出したファイルMSCOMCTL.OCXを C:\Windows\SysWOW64 に置きます(64ビットシステムの場合)。ファイルを置いたらコマンドプロンプトを管理者として実行し、最初に説明した regsrv32 のコマンドを実行します。コマンドが正常終了すればOKです。
次にPictMasterOAを起動し、開発メニューからVBAのエディタを開きます。「ツール」→「参照設定...」を選択し、参照設定を表示させます。続いて「参照」ボタンをクリックして C:\Windwos\SysWoW64\MSCOMCTL.OCX を選択してOKをクリックします。参照設定が開けない場合はデバッガが動作しているので「実行」→「リセット」でデバッガを終了させてください。
最後にExcelを再起動することでエラーはなくなっているはずです。
この記事の内容は次のサイトを参考にさせていただきました。
これまでツールの名称をPictMasterOAとしていましたが、このたび PictMaster という名称に変更しました。PictMasterのバージョンは 7.0 です。
PictMasterOA 1.2.3からのソフトの変更はありません。マニュアルはPictMaster起動時にVBAのエラーとなる場合の対処法、直交表でのダミー水準の割り付けについての説明などが加筆されています。
PictMaster 7.0J は次のサイトからダウンロードすることができます。