# 機能設計書 667-Copy-DbaDbTableData

## 概要

本ドキュメントは、高パフォーマンスのバルクコピー操作を使用してSQL Serverインスタンス間でテーブルデータをストリーミングするCopy-DbaDbTableData機能の設計仕様を記述したものである。

### 本機能の処理概要

Copy-DbaDbTableDataは、SQL Bulk Copyを使用してSQL Serverテーブル間でデータをコピーし、最大限のパフォーマンスと最小限のメモリ使用を実現する機能である。

**業務上の目的・背景**：メモリ内にテーブル全体のコンテンツをバッファリングするInvoke-DbaQueryやWrite-DbaDbTableDataとは異なり、この関数はソースから宛先へ直接データをストリーミングする。このアプローチにより、大規模テーブルをコピーする際のメモリ枯渇を防ぎ、利用可能な最速のデータ転送方法を提供する。ID値、制約、トリガーなどのデータ整合性オプションを維持しながら、異なるサーバー、データベース、スキーマ間でのコピーをサポートする。ソーステーブル構造に基づいて宛先テーブルを自動作成でき、データマイグレーション、ETLプロセス、テーブルレプリケーションタスクに最適である。

**機能の利用シーン**：
- 大量データのサーバー間マイグレーション
- ETL処理でのステージングテーブルへのデータロード
- テーブルのバックアップ/アーカイブ
- 開発/テスト環境へのデータコピー
- ビューからテーブルへのデータ抽出

**主要な処理内容**：
1. ソースおよび宛先SQL Serverへの接続確立
2. ソーステーブル/ビューの取得と検証
3. 宛先テーブルの存在確認または自動作成
4. SqlBulkCopyオプションの設定
5. データのストリーミングコピー実行
6. 進捗表示と結果出力

**関連システム・外部連携**：Microsoft.Data.SqlClient.SqlBulkCopyを使用してSQL Server間で直接データを転送する。

**権限による制御**：ソースに対するSELECT権限、宛先に対するINSERT権限が必要。AutoCreateTable使用時は宛先でのCREATE TABLE権限も必要。

## 関連画面

| 画面No | 画面名 | 関連種別 | 関連する操作・処理 |
|--------|--------|----------|------------------|
| - | PowerShellコンソール | 主画面 | コマンド実行と進捗表示 |

## 機能種別

データ転送 / バルクコピー操作

## 入力仕様

### 入力パラメータ

| パラメータ名 | 型 | 必須 | 説明 | バリデーション |
|-------------|-----|-----|------|---------------|
| SqlInstance | DbaInstanceParameter | No | ソースSQL Serverインスタンス | - |
| SqlCredential | PSCredential | No | ソース認証情報 | Windows/SQL/AD認証 |
| Destination | DbaInstanceParameter[] | No | 宛先SQL Serverインスタンス | 複数指定可能 |
| DestinationSqlCredential | PSCredential | No | 宛先認証情報 | - |
| Database | string | No | ソースデータベース | - |
| DestinationDatabase | string | No | 宛先データベース | デフォルト: ソースDB名 |
| Table | string[] | No | ソーステーブル名 | 2部/3部名前対応 |
| View | string[] | No | ソースビュー名 | 2部/3部名前対応 |
| DestinationTable | string | No | 宛先テーブル名 | デフォルト: ソース名 |
| Query | string | No | カスタムSELECTクエリ | - |
| ForceExplicitMapping | switch | No | 明示的列マッピング強制 | Query使用時 |
| AutoCreateTable | switch | No | 宛先テーブル自動作成 | - |
| BatchSize | int | No | バルクコピーバッチサイズ | デフォルト: 50000 |
| NotifyAfter | int | No | 進捗通知間隔 | デフォルト: 5000 |
| NoTableLock | switch | No | テーブルロック無効化 | - |
| CheckConstraints | switch | No | 制約チェック有効化 | - |
| FireTriggers | switch | No | トリガー発火有効化 | - |
| KeepIdentity | switch | No | ID値保持 | - |
| KeepNulls | switch | No | NULL値保持 | - |
| Truncate | switch | No | 宛先テーブルのトランケート | - |
| BulkCopyTimeout | int | No | タイムアウト秒数 | デフォルト: 5000 |
| CommandTimeout | int | No | コマンドタイムアウト | デフォルト: 0 (無限) |
| UseDefaultFileGroup | switch | No | デフォルトファイルグループ使用 | AutoCreateTable時 |
| InputObject | TableViewBase[] | No | テーブル/ビューオブジェクト | パイプライン入力 |
| EnableException | switch | No | 例外を有効化 | - |

### 入力データソース

- SqlInstance/Database/Table: パラメータ指定
- InputObject: Get-DbaDbTable/Get-DbaDbViewからパイプライン入力
- Query: カスタムSELECTクエリ

## 出力仕様

### 出力データ

| 項目名 | 型 | 説明 |
|--------|-----|------|
| SourceInstance | string | ソースインスタンス名 |
| SourceDatabase | string | ソースデータベース名 |
| SourceDatabaseID | int | ソースデータベースID |
| SourceSchema | string | ソーステーブルスキーマ |
| SourceTable | string | ソーステーブル名 |
| DestinationInstance | string | 宛先インスタンス名 |
| DestinationDatabase | string | 宛先データベース名 |
| DestinationDatabaseID | int | 宛先データベースID |
| DestinationSchema | string | 宛先テーブルスキーマ |
| DestinationTable | string | 宛先テーブル名 |
| RowsCopied | Int64 | コピーされた行数 |
| Elapsed | TimeSpan | 経過時間 |

### 出力先

パイプライン出力（PSCustomObject）

## 処理フロー

### 処理シーケンス

```
1. SqlBulkCopyオプションの設定
   └─ TableLock/CheckConstraints/FireTriggers/KeepIdentity/KeepNulls
2. ソース接続とオブジェクト取得
   └─ Table/Viewの解決
3. 宛先接続と設定
   └─ Destination/DestinationDatabase/DestinationTable
4. 宛先テーブル検証/作成
   └─ AutoCreateTable時はスクリプト生成・実行
5. トランケート処理（オプション）
   └─ Truncate指定時
6. SqlBulkCopyの設定と実行
   └─ バッチサイズ、タイムアウト、列マッピング
7. 結果出力
   └─ 行数と経過時間
```

### フローチャート

```mermaid
flowchart TD
    A[開始] --> B[BulkCopyOptions設定]
    B --> C{SqlInstance指定?}
    C -->|Yes| D[ソース接続]
    C -->|No| E[InputObject使用]
    D --> F[Table/View取得]
    E --> F
    F --> G[各オブジェクトループ]
    G --> H[宛先接続]
    H --> I{宛先テーブル存在?}
    I -->|No| J{AutoCreateTable?}
    J -->|Yes| K[テーブル作成]
    J -->|No| L[エラー停止]
    I -->|Yes| M{Truncate?}
    K --> M
    M -->|Yes| N[TRUNCATE実行]
    M -->|No| O[SqlBulkCopy設定]
    N --> O
    O --> P[列マッピング設定]
    P --> Q[WriteToServer実行]
    Q --> R[進捗表示]
    R --> S[結果オブジェクト出力]
    S --> T{次のオブジェクト?}
    T -->|Yes| G
    T -->|No| U[終了]
```

## ビジネスルール

### 業務ルール

| ルールNo | ルール名 | 内容 | 適用条件 |
|---------|---------|------|---------|
| BR-667-1 | 入力必須 | InputObjectまたはSqlInstance+Database+(Table/View)が必要 | 常時 |
| BR-667-2 | 自己コピー禁止 | 同一ソース/宛先へのコピーはDestination/DestinationDatabase/DestinationTableいずれか必要 | Query未使用時 |
| BR-667-3 | Table/View排他 | TableとViewは同時指定不可 | 常時 |
| BR-667-4 | 列マッピング | Query未使用時は名前ベース、Query使用時は位置ベース | 常時 |
| BR-667-5 | ID列プレースホルダ | Query使用時、ID列位置にプレースホルダ値が必要 | Query+DestinationにID列 |
| BR-667-6 | 順序保証 | クラスタードインデックス/主キー/ID列でORDER BY | Query未使用時 |

### 計算ロジック

**行数カウント**: SqlBulkCopyのRowsCopiedイベントで通知される値を累計。Int32オーバーフローを考慮したラップ処理あり。

## データベース操作仕様

### 操作別データベース影響一覧

| 操作 | 対象テーブル | 操作種別 | 概要 |
|-----|-------------|---------|------|
| 読取 | ソーステーブル/ビュー | SELECT | データ読み取り |
| 書込 | 宛先テーブル | INSERT (BULK) | バルクインサート |
| 作成 | 宛先テーブル | CREATE TABLE | AutoCreateTable時 |
| 削除 | 宛先テーブル | TRUNCATE | Truncate時 |

### テーブル別操作詳細

#### ソーステーブル

| 操作 | 項目（カラム名） | 更新値・取得条件 | 備考 |
|-----|-----------------|-----------------|------|
| SELECT | 全列 | クエリまたはSELECT * | ORDER BY付与 |

#### 宛先テーブル

| 操作 | 項目（カラム名） | 更新値・取得条件 | 備考 |
|-----|-----------------|-----------------|------|
| BULK INSERT | 非計算列 | ソースデータ | SqlBulkCopy経由 |

## エラー処理

### エラーケース一覧

| エラーコード | エラー種別 | 発生条件 | 対処方法 |
|------------|----------|---------|---------|
| - | Stop | 入力パラメータ不足 | Stop-Functionで停止 |
| - | Stop | TableとView同時指定 | Stop-Functionで停止 |
| - | Stop | 自己コピー検出 | Stop-Functionで停止 |
| - | Stop | 宛先テーブル未存在かつAutoCreateTable未指定 | Stop-Function -Continue |
| - | Stop-Continue | 接続失敗 | 次の宛先へ継続 |
| - | Stop-Continue | バルクコピー失敗 | エラー出力後継続 |

### リトライ仕様

リトライ処理は実装されていない。

## トランザクション仕様

- SqlBulkCopyはバッチ単位で暗黙コミット
- Truncateは独立したトランザクションで実行
- AutoCreateTableも独立したトランザクション

## パフォーマンス要件

- ストリーミング処理により大量データでもメモリ効率的
- BatchSizeでメモリ使用量とパフォーマンスのトレードオフ調整
- TABLOCKオプションでバルクインサート最適化（デフォルト有効）
- NotifyAfterで進捗表示頻度調整

## セキュリティ考慮事項

- SqlCredential/DestinationSqlCredentialで認証情報を安全に受け渡し
- SupportsShouldProcessでWhatIf/Confirm対応
- Truncate実行時は確認プロンプト（-Forceで回避可能）

## 備考

- システムバージョン管理テーブル（テンポラルテーブル）は特別な処理が必要
- AutoCreateTableはテンポラルテーブル作成をサポートしない
- テンポラルテーブルへのコピー時は-QueryでGENERATED ALWAYS列を除外
- ビューからテーブルへの変換はtempdbで一時テーブル経由

---

## コードリーディングガイド

本機能を理解するために参照すべきファイルと、推奨する読み解き順序を以下に示す。

### 推奨読解順序

#### Step 1: データ構造を理解する

SqlBulkCopyOptionsとMicrosoft.Data.SqlClient.SqlBulkCopyの構造を理解する。

| 順序 | ファイル | パス | 読解ポイント |
|-----|---------|------|-------------|
| 1-1 | Copy-DbaDbTableData.ps1 | `public/Copy-DbaDbTableData.ps1` | SqlBulkCopyOptionsの設定 |

**読解のコツ**: 283-294行目でSqlBulkCopyOptionsを構成。各オプションのビットフラグを合計している。

#### Step 2: エントリーポイントを理解する

| 順序 | ファイル | パス | 読解ポイント |
|-----|---------|------|-------------|
| 2-1 | Copy-DbaDbTableData.ps1 | `public/Copy-DbaDbTableData.ps1` | メイン処理の流れを把握 |

**主要処理フロー**:
1. **281-303行目**: beginブロック - SqlBulkCopyOptions設定
2. **305-354行目**: ソースオブジェクト取得
3. **356-441行目**: 宛先テーブル検証/作成
4. **466-518行目**: ORDER BY句構築
5. **523-528行目**: Truncate処理
6. **529-604行目**: SqlBulkCopy実行
7. **607-620行目**: 結果オブジェクト出力

#### Step 3: 依存関数を理解する

| 順序 | ファイル | パス | 読解ポイント |
|-----|---------|------|-------------|
| 3-1 | Get-DbaDbTable | `public/Get-DbaDbTable.ps1` | テーブル取得 |
| 3-2 | Get-DbaDbView | `public/Get-DbaDbView.ps1` | ビュー取得 |
| 3-3 | Export-DbaScript | `public/Export-DbaScript.ps1` | テーブルスクリプト生成 |
| 3-4 | Get-ObjectNameParts | `internal/functions/` | オブジェクト名解析 |

### プログラム呼び出し階層図

```
Copy-DbaDbTableData
    │
    ├─ begin
    │      └─ SqlBulkCopyOptions設定
    │
    ├─ process
    │      ├─ Connect-DbaInstance (ソース)
    │      │
    │      ├─ Get-DbaDbTable / Get-DbaDbView
    │      │
    │      └─ 各InputObjectループ
    │             │
    │             ├─ Connect-DbaInstance (宛先)
    │             │
    │             ├─ Get-DbaDbTable (宛先テーブル確認)
    │             │
    │             ├─ AutoCreateTable処理
    │             │      ├─ Export-DbaScript
    │             │      └─ Invoke-DbaQuery (CREATE TABLE)
    │             │
    │             ├─ Truncate処理
    │             │      └─ Invoke-DbaQuery (TRUNCATE)
    │             │
    │             ├─ ORDER BY構築
    │             │      └─ クラスタードインデックス/主キー/ID列
    │             │
    │             ├─ SqlBulkCopy設定
    │             │      ├─ DestinationTableName
    │             │      ├─ BatchSize
    │             │      ├─ NotifyAfter
    │             │      ├─ BulkCopyTimeout
    │             │      └─ ColumnMappings
    │             │
    │             ├─ ExecuteReader (ソース)
    │             │
    │             ├─ WriteToServer (コピー実行)
    │             │
    │             └─ PSCustomObject出力
    │
    └─ 終了
```

### データフロー図

```
[入力]                        [処理]                              [出力]

SqlInstance ───────────┐
SqlCredential ─────────┼──▶ Connect-DbaInstance (ソース)
Database ──────────────┤            │
                       │            ▼
Table/View ────────────┼──▶ Get-DbaDbTable/View ────▶ InputObject
                       │
Query ─────────────────┤
                       │
InputObject ───────────┘
                              │
                              ▼
Destination ───────────┐     Connect-DbaInstance (宛先)
DestinationSqlCred ────┤            │
DestinationDatabase ───┤            ▼
DestinationTable ──────┘     Get-DbaDbTable (宛先)
                              │
AutoCreateTable ───────────▶ Export-DbaScript ──▶ CREATE TABLE
                              │
Truncate ──────────────────▶ TRUNCATE TABLE
                              │
                              ▼
                        SqlBulkCopy
BatchSize ─────────────────▶ BatchSize設定
NotifyAfter ───────────────▶ NotifyAfter設定
BulkCopyTimeout ───────────▶ Timeout設定
KeepIdentity ──────────────▶ Options設定
CheckConstraints ──────────▶ Options設定
FireTriggers ──────────────▶ Options設定
                              │
                              ▼
                        ExecuteReader ──▶ WriteToServer
                              │
                              ▼
                        PSCustomObject ──────────▶ パイプライン出力
                        (RowsCopied, Elapsed)
```

### 関連ファイル一覧

| ファイル | パス | 種別 | 役割 |
|---------|------|------|------|
| Copy-DbaDbTableData.ps1 | `public/Copy-DbaDbTableData.ps1` | ソース | メイン機能実装 |
| Get-DbaDbTable.ps1 | `public/Get-DbaDbTable.ps1` | ソース | テーブル取得 |
| Get-DbaDbView.ps1 | `public/Get-DbaDbView.ps1` | ソース | ビュー取得 |
| Export-DbaScript.ps1 | `public/Export-DbaScript.ps1` | ソース | テーブルスクリプト生成 |
| Connect-DbaInstance.ps1 | `public/Connect-DbaInstance.ps1` | ソース | 接続確立 |
| Invoke-DbaQuery.ps1 | `public/Invoke-DbaQuery.ps1` | ソース | クエリ実行 |
| Get-ObjectNameParts.ps1 | `internal/functions/` | ソース | オブジェクト名解析 |
