# 通知設計書 40-debug token stream

## 概要

本ドキュメントは、CoffeeScriptコンパイラでトークンストリームのデバッグ情報を表示する情報通知「debug token stream」の設計仕様を記載する。

### 本通知の処理概要

CoffeeScriptのコンパイル処理において、環境変数`DEBUG_TOKEN_STREAM`および`DEBUG_REWRITTEN_TOKEN_STREAM`が設定されている場合に、レキサーおよびリライターによるトークンストリームの内容を標準出力に表示するデバッグ通知機能である。

**業務上の目的・背景**：CoffeeScriptコンパイラの開発者やコントリビューターが、パーサーのトークン処理をデバッグする際に使用する。レキサーが生成した初期トークンストリームと、リライターによって書き換えられた後のトークンストリームを比較することで、トークン変換ロジックの問題を特定できる。

**通知の送信タイミング**：`Rewriter.rewrite`メソッドの開始時（初期トークンストリーム）および終了時（書き換え後トークンストリーム）に、対応する環境変数が設定されている場合にのみ通知される。

**通知の受信者**：CoffeeScriptコンパイラの開発者またはデバッグを行っているユーザー。標準出力（stdout）に出力されるため、ターミナルに表示される。

**通知内容の概要**：トークンの種類（タグ）と値をスラッシュ区切りで表示し、コメントが付随するトークンにはアスタリスクを付加する。「Initial token stream:」および「Rewritten token stream:」のラベルでどのフェーズのトークンかを区別する。

**期待されるアクション**：開発者はトークンストリームの内容を分析し、予期しないトークン変換や欠落がないかを確認する。必要に応じてレキサーやリライターのロジックを修正する。

## 通知種別

コンソール出力（標準出力）

## 送信仕様

### 基本情報

| 項目 | 内容 |
|-----|------|
| 送信方式 | 同期 |
| 優先度 | 低（デバッグ情報） |
| リトライ | 無し |

### 送信先決定ロジック

標準出力（stdout）への直接出力のため、受信者決定ロジックは不要。コマンド実行元のターミナルに出力される。

## 通知テンプレート

### コンソール出力の場合

| 項目 | 内容 |
|-----|------|
| 出力先 | stdout（console.log） |
| 形式 | テキスト（複数行） |

### 本文テンプレート（初期トークンストリーム）

```
Initial token stream:
{TAG1}/{VALUE1} {TAG2}/{VALUE2}* {TAG3}/{VALUE3} ...
```

### 本文テンプレート（書き換え後トークンストリーム）

```
Rewritten token stream:
{TAG1}/{VALUE1} {TAG2}/{VALUE2}* {TAG3}/{VALUE3} ...
```

### 添付ファイル

なし

## テンプレート変数

| 変数名 | 説明 | データ取得元 | 必須 |
|--------|------|-------------|-----|
| TAG | トークンの種類（IDENTIFIER, NUMBER, STRINGなど） | token[0] | Yes |
| VALUE | トークンの値 | token[1] | Yes |
| * | コメント付きトークンを示すマーカー | token.comments存在時 | No |

## 送信トリガー・条件

### トリガー一覧

| トリガー種別 | トリガーイベント | 送信条件 | 説明 |
|------------|----------------|---------|------|
| コンパイル | Rewriter.rewrite開始時 | DEBUG_TOKEN_STREAM=true | 初期トークン表示 |
| コンパイル | Rewriter.rewrite終了時 | DEBUG_REWRITTEN_TOKEN_STREAM=true | 書き換え後トークン表示 |

### 環境変数設定

| 環境変数 | 説明 | デフォルト |
|---------|------|-----------|
| DEBUG_TOKEN_STREAM | トークンストリーム表示を有効化 | 未設定（無効） |
| DEBUG_REWRITTEN_TOKEN_STREAM | 書き換え後トークン表示を有効化 | 未設定（無効） |

### 送信抑止条件

| 条件 | 説明 |
|-----|------|
| 環境変数未設定 | 対応する環境変数がtrueでない場合は表示されない |

## 処理フロー

### 送信フロー

```mermaid
flowchart TD
    A[Rewriter.rewrite開始] --> B{DEBUG_TOKEN_STREAM?}
    B -->|Yes| C{DEBUG_REWRITTEN_TOKEN_STREAM?}
    C -->|Yes| D[console.log Initial token stream:]
    D --> E[console.log トークン一覧]
    C -->|No| E
    B -->|No| F[リライト処理実行]
    E --> F
    F --> G{DEBUG_REWRITTEN_TOKEN_STREAM?}
    G -->|Yes| H{DEBUG_TOKEN_STREAM?}
    H -->|Yes| I[console.log Rewritten token stream:]
    I --> J[console.log トークン一覧]
    H -->|No| J
    G -->|No| K[処理終了]
    J --> K
```

## データベース参照・更新仕様

### 参照テーブル一覧

なし

### 更新テーブル一覧

なし

## エラー処理

### エラーケース一覧

この通知はデバッグ情報の表示のみであり、エラーケースはなし。

### リトライ仕様

| 項目 | 内容 |
|-----|------|
| リトライ回数 | なし |
| リトライ間隔 | - |
| リトライ対象エラー | - |

## 配信設定

### レート制限

なし（コンパイル処理ごとに表示）

### 配信時間帯

制限なし

## セキュリティ考慮事項

- ソースコードの内容（トークン値）がそのまま表示されるため、機密情報を含むコードをコンパイルする際は注意が必要
- この機能は開発・デバッグ目的であり、本番環境での使用は想定していない
- 環境変数による明示的な有効化が必要なため、意図しない情報漏洩リスクは低い

## 備考

- `DEBUG_TOKEN_STREAM`と`DEBUG_REWRITTEN_TOKEN_STREAM`の両方を設定することで、before/afterの比較が可能
- コメントが付随するトークンには`*`マーカーが付くため、コメント処理のデバッグにも有用
- この機能はプロセス環境変数を使用するため、Node.js環境でのみ動作する（ブラウザ環境では`process`が未定義）

---

## コードリーディングガイド

本通知を理解するために参照すべきファイルと、推奨する読み解き順序を以下に示す。

### 推奨読解順序

#### Step 1: データ構造を理解する

トークンの構造を理解する。

| 順序 | ファイル | パス | 読解ポイント |
|-----|---------|------|-------------|
| 1-1 | rewriter.coffee | `src/rewriter.coffee` | トークン配列の構造（token[0]=タグ, token[1]=値）を確認 |
| 1-2 | lexer.coffee | `src/lexer.coffee` | トークン生成の仕組みを確認 |

**読解のコツ**: CoffeeScriptのトークンは`[TAG, VALUE, LOCATION_DATA]`の3要素配列であることを理解する。

#### Step 2: エントリーポイントを理解する

処理の起点となる関数を特定する。

| 順序 | ファイル | パス | 読解ポイント |
|-----|---------|------|-------------|
| 2-1 | rewriter.coffee | `src/rewriter.coffee` | Rewriter.rewrite関数（43-64行目）でデバッグ出力を確認 |

**主要処理フロー**:
1. **43行目**: `rewrite: (@tokens) ->`でトークン配列を受け取り
2. **47-49行目**: DEBUG_TOKEN_STREAMチェックと初期トークン出力
3. **50-60行目**: リライト処理（各種トークン変換）
4. **61-63行目**: DEBUG_REWRITTEN_TOKEN_STREAMチェックと書き換え後トークン出力
5. **64行目**: 変換済みトークン配列を返却

#### Step 3: トークン表示処理を理解する

| 順序 | ファイル | パス | 読解ポイント |
|-----|---------|------|-------------|
| 3-1 | rewriter.coffee | `src/rewriter.coffee` | 49行目、63行目のトークン表示ロジック |

**主要処理フロー**:
- **49行目**: `(t[0] + '/' + t[1] + (if t.comments then '*' else '') for t in @tokens).join ' '`
- 各トークンをTAG/VALUE形式に変換
- コメントがある場合は`*`を付加
- スペース区切りで結合して出力

### プログラム呼び出し階層図

```
CoffeeScript.compile (coffeescript.coffee)
    │
    └─ lexer.tokenize (lexer.coffee)
           │
           └─ Rewriter.rewrite (rewriter.coffee:43)
                  │
                  ├─ [DEBUG_TOKEN_STREAM]
                  │      └─ [DEBUG_REWRITTEN_TOKEN_STREAM]
                  │             └─ console.log "Initial token stream:"
                  │      └─ console.log (トークン一覧)
                  │
                  ├─ removeLeadingNewlines()
                  ├─ closeOpenCalls()
                  ├─ closeOpenIndexes()
                  ├─ normalizeLines()
                  ├─ tagPostfixConditionals()
                  ├─ addImplicitBracesAndParens()
                  ├─ rescueStowawayComments()
                  ├─ addLocationDataToGeneratedTokens()
                  ├─ enforceValidJSXAttributes()
                  ├─ fixIndentationLocationData()
                  ├─ exposeTokenDataToGrammar()
                  │
                  └─ [DEBUG_REWRITTEN_TOKEN_STREAM]
                         └─ [DEBUG_TOKEN_STREAM]
                                └─ console.log "Rewritten token stream:"
                         └─ console.log (トークン一覧)
```

### データフロー図

```
[入力]                      [処理]                           [出力]

CoffeeScriptソース ───▶ Lexer.tokenize()
                              │
                              ▼
                       初期トークン配列
                              │
                              ▼
                     [DEBUG_TOKEN_STREAM]
                              │
                              ▼
                   console.log("Initial...")
                              │
                              ▼
                      Rewriter処理
                              │
                              ▼
                    書き換え後トークン配列
                              │
                              ▼
                [DEBUG_REWRITTEN_TOKEN_STREAM]
                              │
                              ▼
                  console.log("Rewritten...")
                              │
                              ▼
                        Parser.parse()
```

### 関連ファイル一覧

| ファイル | パス | 種別 | 役割 |
|---------|------|------|------|
| rewriter.coffee | `src/rewriter.coffee` | ソース | トークンリライト、デバッグ出力 |
| lexer.coffee | `src/lexer.coffee` | ソース | 初期トークン生成 |
| coffeescript.coffee | `src/coffeescript.coffee` | ソース | コンパイルエントリーポイント |
