# バッチ設計書 22-toolkit benchmark-compare

## 概要

本ドキュメントは、Nushellプロジェクトにおけるtoolkit benchmark-compareコマンドの設計仕様を定義したものである。このバッチはターゲットブランチと参照ブランチ間でベンチマーク比較を実行し、パフォーマンスの変化を検出する。

### 本バッチの処理概要

toolkit benchmark-compareは、2つのGitブランチ間でNushellのベンチマーク結果を比較し、パフォーマンスの回帰や改善を定量的に評価するツールである。cargo-exportを使用して各ブランチの実行可能ファイルを独立して生成し、ベンチマーク結果を比較する。

**業務上の目的・背景**：パフォーマンスはNushellにとって重要な品質指標である。新機能の追加やリファクタリングがパフォーマンスに与える影響を事前に把握し、意図しないパフォーマンス低下（リグレッション）を防止する必要がある。このバッチにより、開発者はPRマージ前にパフォーマンスへの影響を定量的に評価でき、品質の高いコードのみをメインブランチに統合できる。

**バッチの実行タイミング**：開発中の任意のタイミングで手動実行される。特にパフォーマンスに影響を与える可能性のある変更を行った際や、PR提出前のローカル検証時に実行される。リリース前の品質確認としても使用される。

**主要な処理内容**：
1. ターゲットブランチ（デフォルト: 現在のブランチ）と参照ブランチ（デフォルト: main）を特定
2. ターゲットブランチにチェックアウトし、cargo exportでベンチマーク用バイナリを生成
3. 参照ブランチにチェックアウトし、同様にベンチマーク用バイナリを生成
4. 元のブランチに戻り、ベンチマーク結果を比較レポートとして出力

**前後の処理との関連**：toolkit benchmark-logと相互に関連する。benchmark-logは単一ブランチのベンチマーク記録に使用され、benchmark-compareは複数ブランチの比較に使用される。

**影響範囲**：tangoディレクトリにベンチマーク結果が保存される。Gitの作業ツリーが一時的に変更される（複数のブランチにチェックアウト）。

## バッチ種別

パフォーマンス検証 / ベンチマーク比較

## 実行スケジュール

| 項目 | 内容 |
|-----|------|
| 実行頻度 | 随時 |
| 実行時刻 | 任意 |
| 実行曜日 | 該当なし |
| 実行日 | 該当なし |
| トリガー | 手動 |

## 実行条件

### 前提条件

| 条件 | 説明 |
|-----|------|
| Rust環境 | cargoがインストールされていること |
| cargo-export | cargo-exportがインストールされていること |
| Git環境 | Gitがインストールされ、リポジトリ内で実行されること |
| Nushell環境 | Nushellがインストールされ、toolkitモジュールが利用可能であること |
| クリーンな作業ツリー | 未コミットの変更がないこと（ブランチ切り替えのため） |

### 実行可否判定

cargo-exportが利用可能で、Gitリポジトリ内でクリーンな作業ツリーがある場合に実行可能。

## 入力仕様

### 入力パラメータ

| パラメータ名 | 型 | 必須 | デフォルト値 | 説明 |
|-------------|-----|-----|-------------|------|
| target | string | No | 現在のブランチ | 比較対象のブランチ名 |
| reference | string | No | main | 比較基準となるブランチ名 |

### 入力データソース

| データソース | 形式 | 説明 |
|-------------|------|------|
| Gitリポジトリ | Git | ブランチ情報と各ブランチのソースコード |
| Cargo.toml | TOML | プロジェクトのビルド設定 |

## 出力仕様

### 出力データ

| 出力先 | 形式 | 説明 |
|-------|------|------|
| 標準出力 | テキスト | 処理進捗と比較結果 |
| tango/bin/{ブランチ名}/ | バイナリ | ベンチマーク用実行可能ファイル |
| tango/samples/ | データ | ベンチマーク結果のサンプルデータ |

### 出力ファイル仕様

| 項目 | 内容 |
|-----|------|
| ファイル名 | benchmarks（実行可能ファイル） |
| 出力先 | tango/bin/{ブランチ名}/ |
| 形式 | ネイティブバイナリ |

## 処理フロー

### 処理シーケンス

```
1. パラメータの解決
   └─ referenceのデフォルト値を"main"に設定
   └─ 現在のブランチ名を取得
   └─ targetのデフォルト値を現在のブランチに設定
2. 出力ディレクトリの設定
   └─ tango/bin/{reference}とtango/bin/{target}を設定
3. ターゲットブランチのベンチマーク実行
   └─ git checkout {target}
   └─ cargo export {tgt_bin_dir} -- bench
4. 参照ブランチのベンチマーク実行
   └─ git checkout {reference}
   └─ cargo export {ref_bin_dir} -- bench
5. 元のブランチに復帰
   └─ git checkout {current}
6. 結果の比較とレポート出力
   └─ {target_bin} compare {reference_bin} -o -s 50 --dump {samples_dir}
```

### フローチャート

```mermaid
flowchart TD
    A[バッチ開始] --> B[パラメータ解決]
    B --> C[現在ブランチ取得]
    C --> D[出力ディレクトリ設定]
    D --> E[ターゲットブランチにチェックアウト]
    E --> F[cargo exportでベンチマーク実行]
    F --> G[参照ブランチにチェックアウト]
    G --> H[cargo exportでベンチマーク実行]
    H --> I[元のブランチに復帰]
    I --> J[ベンチマーク結果を比較]
    J --> K[比較レポート出力]
    K --> L[バッチ終了]
```

## データベース操作仕様

### 操作別データベース影響一覧

データベース操作なし。

## エラー処理

### エラーケース一覧

| エラーコード | エラー種別 | 発生条件 | 対処方法 |
|------------|----------|---------|---------|
| - | ブランチ切替失敗 | 未コミットの変更がある | 変更をコミットまたはスタッシュ |
| - | cargo-export未インストール | cargo-exportが見つからない | cargo install cargo-exportを実行 |
| - | ビルドエラー | ソースコードにエラーがある | ビルドエラーを修正 |
| - | ブランチ不存在 | 指定されたブランチが存在しない | 正しいブランチ名を指定 |

### リトライ仕様

| 項目 | 内容 |
|-----|------|
| リトライ回数 | なし |
| リトライ間隔 | 該当なし |
| リトライ対象エラー | 該当なし |

### 障害時対応

実行中にエラーが発生した場合、Gitの作業ツリーが別のブランチに残っている可能性がある。`git checkout {元のブランチ}`で手動復帰する。

## トランザクション仕様

| 項目 | 内容 |
|-----|------|
| トランザクション範囲 | 該当なし |
| コミットタイミング | 該当なし |
| ロールバック条件 | 該当なし |

## パフォーマンス要件

| 項目 | 内容 |
|-----|------|
| 想定処理件数 | 2ブランチ |
| 目標処理時間 | 数十分〜数時間（プロジェクトサイズに依存） |
| メモリ使用量上限 | ベンチマーク実行に依存 |

## 排他制御

同一リポジトリでの同時実行は不可。Gitの作業ツリーを使用するため、他の開発作業と競合する。

## ログ出力

| ログ種別 | 出力タイミング | 出力内容 |
|---------|--------------|---------|
| 開始ログ | バッチ開始時 | "-- Benchmarking {target} against {reference}" |
| 進捗ログ | 各ブランチ処理開始時 | "-- Running benchmarks for {branch}" |
| 終了ログ | 処理完了時 | "-- Done" |

## 監視・アラート

| 監視項目 | 閾値 | アラート先 |
|---------|-----|----------|
| 終了コード | 0以外 | 手動確認 |

## 備考

- cargo-exportのインストール: `cargo install cargo-export`
- ベンチマーク比較オプション: `-o`（出力）、`-s 50`（サンプルサイズ50）、`--dump`（サンプルデータ保存）
- 結果はtango/ディレクトリに保存され、繰り返し実行時に蓄積される
- 長時間実行されるため、十分なマシンリソースと時間を確保して実行すること
