# バッチ設計書 18-test262

## 概要

本ドキュメントは、ECMAScript標準テストスイート（Test262）を並列実行してBabelパーサーの仕様準拠を検証するCI/CDバッチ「test262」の設計を定義するものである。

### 本バッチの処理概要

test262バッチは、TC39が管理するECMAScript公式テストスイート「Test262」を使用して、Babelパーサー（@babel/parser）のECMAScript仕様準拠を検証するCI/CDジョブである。テストを8チャンクに分割し、マトリクスビルドで並列実行することで処理を高速化する。

**業務上の目的・背景**：BabelパーサーはECMAScript仕様に準拠した構文解析を行う必要がある。Test262は約50,000件以上のテストケースを含む公式テストスイートであり、これを使用することでパーサーの仕様準拠を客観的に検証できる。単一ジョブで全テストを実行すると時間がかかるため、8チャンクに分割して並列実行することで効率化している。

**バッチの実行タイミング**：GitHub Actions上でpushおよびpull_requestイベント発生時に自動実行される。ただし、babel/babelリポジトリでのみ実行される。buildジョブおよびtest262-prepareジョブの完了後に実行される依存関係がある。

**主要な処理内容**：
1. リポジトリのチェックアウト
2. Node.js最新版のセットアップと依存関係のインストール
3. ビルドアーティファクトのダウンロード
4. babel-test262-runnerテストランナーのチェックアウト
5. Test262テストスイートのダウンロード
6. チャンクファイルのダウンロード
7. 担当チャンクのテスト実行
8. テスト結果をTAP形式でアーティファクトとして保存

**前後の処理との関連**：本バッチはbuildジョブの成果物とtest262-prepareジョブのチャンク情報を入力として使用する。出力されるTAPファイルは後続のtest262-finishジョブで集計・分析される。

**影響範囲**：本バッチはテスト実行のみを行い、ソースコードやデータの変更は行わない。テスト失敗時も結果はアーティファクトとして保存され、test262-finishジョブで分析される。

## バッチ種別

テスト実行 / 並列分散テスト

## 実行スケジュール

| 項目 | 内容 |
|-----|------|
| 実行頻度 | イベント駆動（随時） |
| 実行時刻 | N/A |
| 実行曜日 | N/A |
| 実行日 | N/A |
| トリガー | GitHub Actions（push/pull_request） |

## 実行条件

### 前提条件

| 条件 | 説明 |
|-----|------|
| リポジトリがbabel/babel | github.repository == 'babel/babel'の場合のみ実行 |
| build完了 | Babelのビルドアーティファクトが生成済みであること |
| test262-prepare完了 | チャンク分割が完了していること |
| babel-artifact存在 | ビルド成果物がダウンロード可能であること |
| test262-chunks存在 | チャンク情報がダウンロード可能であること |

### 実行可否判定

github.repository == 'babel/babel'かつbuildジョブおよびtest262-prepareジョブが成功した場合のみ実行される。

## 入力仕様

### 入力パラメータ

| パラメータ名 | 型 | 必須 | デフォルト値 | 説明 |
|-------------|-----|-----|-------------|------|
| matrix.chunk | number | Yes | N/A | 担当チャンク番号（0-7） |
| BABEL_PATH | string | No | .. | Babelリポジトリへのパス |
| TEST262_PATH | string | No | ../build/test262 | Test262ディレクトリへのパス |
| THREADS | number | No | 4 | 並列スレッド数 |

### 入力データソース

| データソース | 形式 | 説明 |
|-------------|------|------|
| babel-artifact | GitHub Actions Artifact | Babelビルド成果物 |
| test262-chunks | GitHub Actions Artifact | チャンク分割情報（JSON） |
| babel/babel-test262-runner | Git Repository | Test262テストランナー |
| tc39/test262 | Git Repository | ECMAScript公式テストスイート |

## 出力仕様

### 出力データ

| 出力先 | 形式 | 説明 |
|-------|------|------|
| test262-{chunk}.tap | TAP形式 | テスト結果ファイル |
| test262-result-{chunk} | GitHub Actions Artifact | テスト結果アーティファクト |
| 標準出力 | テキスト | テスト実行ログ |

### 出力ファイル仕様

| 項目 | 内容 |
|-----|------|
| ファイル名 | test262-{chunk}.tap（chunkは0-7） |
| 出力先 | ~/test262-{chunk}.tap |
| 文字コード | UTF-8 |
| 形式 | TAP（Test Anything Protocol） |

## 処理フロー

### 処理シーケンス

```
1. リポジトリチェックアウト
   └─ actions/checkout@v4を使用
2. Node.js環境セットアップ
   └─ Node.js 25.6.1をセットアップ
3. 依存関係インストール
   └─ yarn installを実行
4. ビルドアーティファクトダウンロード
   └─ babel-artifactをダウンロードして展開
5. テストランナーチェックアウト
   └─ babel/babel-test262-runnerをチェックアウト
6. テストランナーセットアップ
   └─ npm ci && node lib/download-nodeを実行
7. Test262ダウンロード
   └─ make bootstrap-test262を実行
8. チャンクファイルダウンロード
   └─ test262-chunksアーティファクトをダウンロード
9. テスト実行
   └─ node lib/run-tests I_AM_SUREを実行（teeでTAPファイルに出力）
10. 結果アーティファクトアップロード
    └─ test262-result-{chunk}としてアップロード
```

### フローチャート

```mermaid
flowchart TD
    A[バッチ開始] --> B[マトリクス分岐]
    B --> C0[チャンク0]
    B --> C1[チャンク1]
    B --> CN[... チャンク2-7]

    C0 --> D0[リポジトリチェックアウト]
    D0 --> E0[Node.js セットアップ]
    E0 --> F0[yarn install]
    F0 --> G0[babel-artifact ダウンロード]
    G0 --> H0[テストランナーチェックアウト]
    H0 --> I0[テストランナーセットアップ]
    I0 --> J0[Test262 ダウンロード]
    J0 --> K0[チャンクファイル ダウンロード]
    K0 --> L0[テスト実行 CHUNK=0]
    L0 --> M0[TAPファイル アップロード]
    M0 --> N0[終了]
```

## データベース操作仕様

### 操作別データベース影響一覧

本バッチはデータベース操作を行わない。

## エラー処理

### エラーケース一覧

| エラーコード | エラー種別 | 発生条件 | 対処方法 |
|------------|----------|---------|---------|
| PARSER_ERROR | パーサーエラー | 構文解析の失敗 | パーサー実装を修正 |
| TIMEOUT | タイムアウト | テスト実行が長時間化 | スレッド数を調整 |
| DOWNLOAD_FAILURE | ダウンロードエラー | Test262取得失敗 | ネットワークを確認 |
| ARTIFACT_NOT_FOUND | 入力エラー | 必要なアーティファクトが見つからない | 前提ジョブを確認 |

### リトライ仕様

| 項目 | 内容 |
|-----|------|
| リトライ回数 | 0（自動リトライなし） |
| リトライ間隔 | N/A |
| リトライ対象エラー | N/A |

### 障害時対応

1. GitHub Actionsのログを確認し、失敗したチャンクとテストケースを特定する
2. TAPファイルを確認して失敗の詳細を調査する
3. パーサーの問題であれば修正、仕様変更であれば対応を検討する
4. テスト結果はtest262-finishジョブでmainブランチとの差分分析が行われる

## トランザクション仕様

| 項目 | 内容 |
|-----|------|
| トランザクション範囲 | N/A（データ操作なし） |
| コミットタイミング | N/A |
| ロールバック条件 | N/A |

## パフォーマンス要件

| 項目 | 内容 |
|-----|------|
| 想定処理件数 | 約6,000テストケース/チャンク（全体約50,000件） |
| 目標処理時間 | 30分以内/チャンク |
| メモリ使用量上限 | 4GB（GitHub Actionsランナーのデフォルト） |
| 並列スレッド数 | 4スレッド |

## 排他制御

同一ブランチに対する同時実行は、GitHub Actionsのconcurrencyグループ設定により制御される。マトリクスビルド内の各チャンク間では並列実行される。

## ログ出力

| ログ種別 | 出力タイミング | 出力内容 |
|---------|--------------|---------|
| 開始ログ | バッチ開始時 | ジョブ名、チャンク番号 |
| ダウンロードログ | テストスイートダウンロード時 | Test262バージョン |
| テストログ | テスト実行中 | 進捗状況、pass/fail数 |
| 終了ログ | バッチ終了時 | 合計pass/fail数 |
| TAPログ | テスト完了時 | TAP形式の詳細結果 |

## 監視・アラート

| 監視項目 | 閾値 | アラート先 |
|---------|-----|----------|
| 処理時間 | 45分超過/チャンク | GitHub Actions UI |
| 新規失敗テスト | 前回比増加 | test262-finishで検出 |

## 備考

- Test262は約50,000件以上のテストケースを含み、8チャンクに分割して並列実行する
- `I_AM_SURE`引数は、大量のテストを実行することを確認するための安全装置
- TAPファイルは30日間保持される（retention-days: 30）
- テスト結果は`tee`コマンドで標準出力とファイルの両方に出力される
- `shell: bash`によりpipefailが有効になり、パイプ内のエラーも検出される
- 各チャンクの担当テストはtest262-prepareジョブで生成されたJSONファイルで定義される
- THREADS=4により、各チャンク内でも並列実行が行われる
