システムテストを実行する
性能・セキュリティ・可用性の実行条件と、結果の確認方法を説明します。
システムテストも、仕様書の方法・データ・コード・実行の手順で進めます。実行するツールと条件は、開発・運用担当者と決めてから設定します。
種類ごとの具体的な手順は、性能テスト・セキュリティテスト・可用性テスト を参照してください。
実行前に決めること
| 種類 | 決めることの例 |
|---|---|
| 性能 | 対象の URL、同時利用やリクエスト数、実行時間、応答時間などの合格基準 |
| セキュリティ | 調べるサイト・ソース・依存関係・設定と、指摘の許容基準 |
| 可用性 | 確認する正常状態、起こす障害、影響範囲、復旧方法と確認条件 |
負荷や障害を発生させるテストは、対象と実行時間について関係者と合意してから実施します。
実行する
- 「テストケース」で対象の仕様書を開きます。
- 「テストの方法を選ぶ」で「システム：性能」「システム：セキュリティ」「システム：可用性」のいずれかと、使うツールを選びます。
- 環境チェック で、そのツールを使えることを確認します。
- 性能・可用性では必要なテストデータを準備します。セキュリティではデータとコード、性能・可用性では事前のコード作成は不要です。画面の案内に沿って実行へ進みます。
- 完了後、ケースの結果と「直近のツール実行結果」の両方を確認します。
ケースの判定とツール全体の判定
ツールはシナリオ全体の実行結果を返します。AI が利用できる場合は、その結果と各ケースの期待結果などを照合し、ケースごとの判定と理由を表示します。
| 表示 | 読み方 |
|---|---|
| AI | AI がケースごとの期待結果と実行結果を照合した判定。行を押して理由と根拠を見る |
| AI なし | シナリオ全体の判定をケースに適用した結果。各ケースを個別に検証したと解釈しない |
| 判定不能 | 確認する材料が足りないなどで判定できなかったもの。成功として扱わず、内容を確認する |
レポートと実行ログ
「直近のツール実行結果」を開くと、実行者・日時・結果ファイルを確認できます。レポートは共有・説明に、実行ログや元の出力は原因調査に使います。
- セキュリティ：日本語の PDF レポートと、スキャナの出力など
- 性能：PDF レポートと、計測結果など
- 可用性：Markdown のレポート、実験の結果、実行ログなど
Chaos Toolkit は、確認処理（probe）・障害操作（action）・復旧処理（rollback）の詳しいログを「実行ログ」に残します。公式 PDF を作る機能が PC に用意されていて、作成に成功した場合は「ツール公式のレポート（英語）」も付きます。公式 PDF が付かなくても、テストの成功・失敗の判定は変わりません。
補足：条件ファイルと公式 PDF の準備（開発・環境構築担当者向け）
独自の負荷条件・しきい値を指定する場合は、対象フォルダ内のシステムテスト設定を確認してください。既存の scenario.json がある場合は、アプリが作る既定のシナリオより優先されます。
Chaos Toolkit の公式 PDF には、同じ Python 環境に chaostoolkit-reporting が必要です。PDF を作るための Pandoc・LaTeX なども必要になるため、公式レポートの案内 に沿って準備し、chaos report --help と実際の PDF 出力を確認してください。
ツールごとの用途は 使えるツール、結果の持ち出しは 進捗と結果を確認する を参照してください。