# バッチ設計書 28-SmokeTestBenchmarks.sh

## 概要

本ドキュメントは、F#コンパイラプロジェクトにおけるベンチマークスモークテストを実行するシェルスクリプト（SmokeTestBenchmarks.sh）の設計を記述するものです。

### 本バッチの処理概要

このバッチはF# Compiler Service（FCS）のベンチマークが正常に動作することを確認するスモークテストを実行します。実際のパフォーマンス計測ではなく、ベンチマークインフラストラクチャの動作確認を目的としています。

**業務上の目的・背景**：F# Compiler Serviceにはパフォーマンスを継続的に監視するためのベンチマークスイートがあります。このスモークテストは、ベンチマークコードとインフラストラクチャが正常に動作することを高速に確認するためのものです。BenchmarkDotNetの"Dry"ジョブを使用することで、実際のパフォーマンス計測を行わずに、ベンチマークの設定とコードの正確性のみを検証します。

**バッチの実行タイミング**：CI/CDパイプラインの一部として、またはベンチマーク変更後の検証として実行されます。ベンチマークコードの変更がビルドを壊していないことを確認するために使用されます。

**主要な処理内容**：
1. HistoricalBenchmark（歴史的パフォーマンスデータ比較）の実行
2. CompilerServiceBenchmarks（FCSベンチマーク）の実行
3. FCSSourceFiles（ソースファイル処理ベンチマーク）の実行
4. 各ベンチマークは"short"カテゴリのみを対象とし、Dryジョブで実行

**前後の処理との関連**：ベンチマークプロジェクトがReleaseモードでビルドされている必要があります。--no-buildオプションを使用しているため、事前にビルドが完了していることが前提です。

**影響範囲**：テスト実行のみであり、プロダクションコードには影響しません。ベンチマーク結果は一時的なものであり、永続化されません。

## バッチ種別

ベンチマーク / スモークテスト

## 実行スケジュール

| 項目 | 内容 |
|-----|------|
| 実行頻度 | CI/CD毎 / 随時 |
| 実行時刻 | N/A（イベント駆動） |
| 実行曜日 | N/A |
| 実行日 | N/A |
| トリガー | CI/CDパイプライン / 手動実行 |

## 実行条件

### 前提条件

| 条件 | 説明 |
|-----|------|
| ベンチマークプロジェクトのビルド完了 | Releaseモードでビルドされていること |
| .NET SDKのインストール | dotnetコマンドが利用可能であること |
| Linux/macOS環境 | Bashが利用可能なUnix系環境 |

### 実行可否判定

--no-buildオプションを使用しているため、ビルドが完了していない場合はエラーとなります。

## 入力仕様

### 入力パラメータ

このスクリプトは入力パラメータを受け付けません。

| パラメータ名 | 型 | 必須 | デフォルト値 | 説明 |
|-------------|-----|-----|-------------|------|
| N/A | N/A | N/A | N/A | パラメータなし |

### 入力データソース

| データソース | 形式 | 説明 |
|-------------|------|------|
| FCSBenchmarks/BenchmarkComparison/HistoricalBenchmark.fsproj | MSBuild project | 歴史的ベンチマークプロジェクト |
| FCSBenchmarks/CompilerServiceBenchmarks/FSharp.Compiler.Benchmarks.fsproj | MSBuild project | コンパイラサービスベンチマークプロジェクト |
| FCSBenchmarks/FCSSourceFiles/FCSSourceFiles.fsproj | MSBuild project | ソースファイルベンチマークプロジェクト |

## 出力仕様

### 出力データ

| 出力先 | 形式 | 説明 |
|-------|------|------|
| 標準出力 | テキスト | ベンチマーク実行結果 |
| 終了コード | 整数 | 0:成功、非0:失敗 |

### 出力ファイル仕様

Dryジョブのため、永続的な結果ファイルは生成されません。

| 項目 | 内容 |
|-----|------|
| ファイル名 | N/A |
| 出力先 | N/A |
| 文字コード | N/A |
| 区切り文字 | N/A |

## 処理フロー

### 処理シーケンス

```
1. run関数定義
   └─ dotnet runをDryジョブ、shortカテゴリ、stopOnFirstErrorオプションで実行
2. HistoricalBenchmark実行
   └─ run "FCSBenchmarks/BenchmarkComparison/HistoricalBenchmark.fsproj"
3. CompilerServiceBenchmarks実行
   └─ run "FCSBenchmarks/CompilerServiceBenchmarks/FSharp.Compiler.Benchmarks.fsproj"
4. FCSSourceFiles実行
   └─ run "FCSBenchmarks/FCSSourceFiles/FCSSourceFiles.fsproj"
```

### フローチャート

```mermaid
flowchart TD
    A[バッチ開始] --> B[run関数定義]
    B --> C[HistoricalBenchmark実行]
    C --> D{成功?}
    D -->|いいえ| E[失敗終了]
    D -->|はい| F[CompilerServiceBenchmarks実行]
    F --> G{成功?}
    G -->|いいえ| E
    G -->|はい| H[FCSSourceFiles実行]
    H --> I{成功?}
    I -->|いいえ| E
    I -->|はい| J[成功終了]
```

## データベース操作仕様

### 操作別データベース影響一覧

このバッチはデータベース操作を行いません。

| 処理 | 対象テーブル | 操作種別 | 概要 |
|-----|-------------|---------|------|
| N/A | N/A | N/A | データベース操作なし |

### テーブル別操作詳細

データベース操作はありません。

## エラー処理

### エラーケース一覧

| エラーコード | エラー種別 | 発生条件 | 対処方法 |
|------------|----------|---------|---------|
| 非0 | ベンチマーク実行失敗 | ベンチマークコードにエラーがある | ベンチマークコードを確認 |
| 非0 | ビルド未完了 | --no-buildで実行したがビルドされていない | Releaseビルドを実行 |

### リトライ仕様

| 項目 | 内容 |
|-----|------|
| リトライ回数 | なし（自動リトライなし） |
| リトライ間隔 | N/A |
| リトライ対象エラー | N/A |

### 障害時対応

1. ベンチマークプロジェクトのReleaseビルドを確認
2. ベンチマークコードの変更を確認
3. BenchmarkDotNetのバージョン互換性を確認

## トランザクション仕様

| 項目 | 内容 |
|-----|------|
| トランザクション範囲 | N/A |
| コミットタイミング | N/A |
| ロールバック条件 | N/A |

## パフォーマンス要件

| 項目 | 内容 |
|-----|------|
| 想定処理件数 | 3ベンチマークスイート |
| 目標処理時間 | Dryジョブのため数分以内 |
| メモリ使用量上限 | dotnetプロセス依存 |

## 排他制御

同時実行は推奨されません。ベンチマーク実行時のリソース競合を避けるためです。

## ログ出力

| ログ種別 | 出力タイミング | 出力内容 |
|---------|--------------|---------|
| 進捗ログ | 各ベンチマーク実行中 | BenchmarkDotNetの実行状況 |
| 結果ログ | 各ベンチマーク完了時 | Dryジョブの実行結果 |

## 監視・アラート

| 監視項目 | 閾値 | アラート先 |
|---------|-----|----------|
| 終了コード | 0以外 | CI/CDパイプライン |
| 実行時間 | 10分超過 | CI/CDパイプライン |

## 備考

- スクリプトのコメントにある通り、これはスモークテストであり実際のパフォーマンス数値は正確ではありません
- --job Dryオプションにより、実際のベンチマーク測定は行われず、コードの実行可能性のみが検証されます
- --allCategories shortにより、"short"カテゴリでマークされた高速なベンチマークのみが実行されます
- --stopOnFirstErrorにより、最初のエラーでベンチマーク実行が停止します
- --no-buildにより、既存のビルド成果物を使用して実行されます
