進捗と結果を確認する
ダッシュボード・実行履歴・成果物から、進捗と残っている課題を確認します。
まずダッシュボードで全体を見る
PJ を開き、左の「ダッシュボード」を選びます。今のテスト回について、実施状況と未解消エラーを確認できます。
100 ケースのサンプルです。消化率は 25% → 60% → 85% → 100%、未解消エラーは 20 → 12 → 5 → 0 件と推移しています。
| 表示 | 確認すること |
|---|---|
| 消化率 | そのテスト回の対象ケースのうち、どこまで実施できたか |
| 成功 | 成功したケース数。消化率とは別に確認する |
| 未解消のエラー | まだ解消していないエラーが何件残っているか |
| 新規・解消 | そのテスト回で発生・解消したエラーの件数 |
| 収束 | 最近の未解消エラーの推移がどう変化しているか |
消化率が 100% でも、失敗が残る場合があります。また、未解消エラーが 0 件でも、まだ実施していないケースがあれば確認は完了していません。実施範囲・成功・未解消エラーをセットで見ます。
テスト回ごとの変化を見る
「テスト回ごとの推移」で各回の数値を見比べます。「テスト回の比較」では比較元と比較先を選び、次のケースを確認できます。
- 新たに失敗/失敗のまま:優先して内容を確認する
- 直った:修正の結果を確認する
- 遅くなった:所要時間の変化が許容できるかを確認する
- 片方の回だけで実行:実施範囲が違うため、未実施の理由を確認する
各回で同じケースを何度も実行した場合は、その回の最新の結果を比較します。「テスト仕様書ごとの状況」では、どの仕様書に未実施やエラーが残っているかを確認できます。
個別の実行を確認する
- 左の「実行履歴」を開きます。
- 対象の実行を探し、「詳細」を開きます。
- ケースごとの結果・所要時間・失敗内容を確認します。
- 必要に応じて CSV を書き出して、報告や確認に使います。
確認したい日時・仕様書を探し、「詳細」を開きます。
第 3 回の例です。第 4 回の再テスト結果と比べ、修正を確認します。
実行結果には、実行した日時や担当者をあわせて確認できる情報が残ります。同じ PJ を別の PC で実行した結果も、共有サーバーへ届くと表示されます。ただし、別の PC の動画などの証跡はこの PC では見られない場合があります。
ケースごとの動画・トレースを見る
- 「テストケース」から対象の仕様書を開きます。
- ケースの「状況」を確認し、ケースの行を押します。
- 「成功の内容」「失敗の内容」などで、期待結果と実際の結果を確認します。
- **「このケースの実行の記録」**で、調べたいファイルのアイコンを押します。
ケース表から行を選んだ画面です。結果は説明用サンプルで、動画・トレースはサンプルサイトを操作して作成した記録です。
動画は再生ボタンから
「テスト実行の録画」の再生ボタンを押すと、アプリ内で動画が開きます。再生・一時停止・シークで、どの画面で何が起きたかを確認します。右側のダウンロードボタンで保存できます。
動画が必要な場合は、E2Eの実行前に「動画」を選びます。動画のない実行には、再生ボタンは表示されません。
トレースは詳細ボタンから
「操作ごとの詳細記録(トレース)」の目のアイコンを押します。開いた画面に、ファイルの保存と、Playwrightで開くためのコマンドが表示されます。トレースの解析は、開発担当者と一緒に行ってください。
アプリ内のこの画面は、トレースを開くための案内です。表示されたコマンドを実行すると、操作ごとの画面や通信などを確認できます。
性能・セキュリティ・可用性のレポートを見る
- 実行した仕様書を開きます。
- **「直近のツール実行結果」**の「開く」を押します。
- シナリオの状況・実行日時を確認します。
- 結果ファイルの「レポート」にある目のアイコンを押し、レポートを開きます。
- 調査が必要な場合は「実行ログ」や元の出力も開きます。保存には右側のダウンロードボタンを使います。
セキュリティの例です。「失敗」の理由はレポートの指摘内容で確認します。画面のケースと履歴は説明用データ、添付ファイルはサンプルコードを実行した結果です。
| テスト | レポートで読むこと | 詳しい画面 |
|---|---|---|
| 性能 | 応答時間、エラー率、負荷条件と合格基準 | 性能テストの結果 |
| セキュリティ | 危険度、指摘された箇所、対応が必要な理由 | セキュリティの結果 |
| 可用性 | 正常状態の確認、各処理の結果、復旧・後処理 | 可用性の結果 |
レポートとログは別のファイルです。可用性では「実行ログ」に詳しい処理内容が残ります。「ツール公式のレポート(英語)」は、そのツールのレポート生成機能を利用でき、生成に成功した場合に付きます。表示されなくても、それだけでテスト失敗を意味しません。
成果物をまとめて保存する
左の「成果物一覧」を開きます。仕様書ごとのケース結果や実行ファイルを確認し、ファイル単位、選択した複数のファイル、またはまとめたZIPでダウンロードできます。
ファイルの種類はテストの方法と実行ツールによって異なります。別のPCで実行した動画などは、このPCで開けない場合があります。その場合は実行した担当者に確認してください。
次のテスト回へ進む
- 第 1 回の結果を確認し、必要な不具合を Issue 化 します。
- 修正後、ダッシュボードまたはテストケース一覧の「次のテスト回を開始」を押します。
- 表示が「第 2 回」に変わったことを確認します。その時点のケースが対象になります。
- 修正したケースと影響するケースを実行します。前の回で成功しただけでは、今回実施済みにはなりません。
- ダッシュボードの「テスト回の比較」で、比較元を第 1 回、比較先を第 2 回にして変化を確認します。
- 必要に応じて同様に第 3 回へ進みます。新規・継続・再発の不具合を追い、修正したケースが成功して、不具合が解消したことを確認します。
同じ回の中でも再実行できます。新しい回に進むタイミングはチームで揃えます。「実行履歴」は個々の実行、「テスト回」は同じサイクルの結果をまとめる単位です。
| 回 | 実施の例 | 消化率 | 未解消エラー |
|---|---|---|---|
| 第 1 回 | 一部を実施して不具合を Issue 化 | 25% | 20 件 |
| 第 2 回 | 修正を確認し、対象範囲を広げる | 60% | 12 件 |
| 第 3 回 | 残りのケースと修正箇所を確認 | 85% | 5 件 |
| 第 4 回 | 全ケースを実施して残りの不具合を確認 | 100% | 0 件 |
表は画面と同じ説明用サンプルです。実際の終了判断は、対象範囲とチームの合格基準に従います。
AIテストの結果は、AIテスト内の「実行履歴」で確認できます。通常のテストケースとは集計単位が異なるため、ダッシュボードの消化率やエラーには含まれません。