PictMasterOAは直交表方式とPairwise方式の両方式の組み合わせ生成をサポートした日本国内では事実上唯一のフリーでオープンソースなテストツールです。今回はこのPictMasterOAを使用した場合の直交表方式とPairwise法とのテストケース生成についての比較を行なってみます。
直交表方式とPairwise法との比較は、2012年の３月に一度行なっています。そのときは直交表方式では手作業でテストケースを作成することにしていました。その当時は安価に手に入る直交表ツールが存在していなかったため、直交表方式については手作業とするしかありませんでした。現在ではPictMasterOAを使用することで直交表ツールによるテストケース作成が可能となっています。
テストケース作成について直交表方式とPairwise法方式との比較を次に示します。
フリーな直交表ツール PictMasterOA を使用した場合のPairwise法との比較
黄色で塗りつぶした方式の項目が優れていることを意味しています。この比較結果から、手作業ではなくツールを使用することで直交表方式でもPairwise方式と同等となる項目が増えましたがそれでも多くの項目でPairwise方式が優れている結果となりました。
直交表方式が優れている項目は３因子間網羅率と３因子間組み合わせのばらつきでした。実は３因子間網羅率に関してはPairwise方式でもPictMasterOAの「希望する3-wayカバレッジで生成」の機能を使用することで直交表方式と同等の３因子間網羅率を同程度のテストケース数で生成することができます。ですからこのことを考慮すれば直交表方式が優れている項目は３因子間組み合わせのばらつきのみになります。
直交表方式のツールを作成するまでは、手作業ではなくツールを使用するのだからPairwise方式よりも直交表方式が優れている項目があるのではないかと考えていましたが、実際に比較した結果はPairwise方式が圧倒的に優れており使いやすいという結果となりました。
直交表方式でもPairwise方式よりも例外的に優れている場合があります。それがテストケース数です。モデルの値の数によってはPairwise方式よりも直交表方式のほうがテストケース数が少なくなる場合があるのです。これ以外にも例外的に直交表方式が優れている場合がありそうです。今後調べてみたいと思います。
※ 3月11日 表中の３因子間のばらつきで直交表の記述とそれに関連した記述を修正しました。