---
generated_at: 2026-02-17 20:45:00
metrics:
  claims_total: 25
  claims_with_evidence: 23
  claims_without_evidence: 2
confidence_derived: 0.92
---

# 根拠レポート：テスト方針書

## 本レポートについて

### 目的
本レポートは、生成された設計書・ドキュメントの信頼性を検証し、人間レビュアーが効率的にレビューできるようにすることを目的としています。

### チェック方法
以下の観点でドキュメントの内容（Claim：主張）を検証しています：

1. **根拠の有無確認**：各主張に対して、ソースコード・既存設計書・要件定義書などの根拠（Evidence）が存在するか
2. **根拠との整合性**：主張の内容が根拠と矛盾していないか
3. **網羅性**：参照すべき情報源を適切にカバーしているか

### 信頼度スコアの算出
- **confidence_derived** = 根拠あり件数 / 総主張件数
- 状態「○」：根拠あり、「△」：根拠不足または要確認

### 本レポートの使い方
1. まず「サマリー」で全体の信頼度と優先レビュー項目を確認
2. 「Claims と根拠の対応」で △ の項目を重点的にレビュー
3. 「不足情報」で補完が必要な情報源を確認

---

## 1) サマリー（まず見るところ）
- 総合信頼度（derived）：**0.92**
  - 根拠あり：23 / 25、根拠なし：2
- 優先レビュー（高）
  1. **カバレッジ目標値**：明示的な目標数値の定義ファイルなし
  2. **パフォーマンステスト実施タイミング**：releaseビルド時という記述の根拠不明確

## 2) 参照した情報（Evidence一覧）
> ここに「実在するもの」だけ列挙。抽出フェーズで付けたIDをそのまま出す。

- E-01: `testament/testament.nim` - Testamentメインファイル
- E-02: `testament/specs.nim` - テスト仕様パーサー
- E-03: `testament/categories.nim` - テストカテゴリ定義
- E-04: `azure-pipelines.yml` - Azure Pipelines CI設定
- E-05: `ci/funs.sh` - CI用シェル関数
- E-06: `koch.nim` - ビルドシステム・テスト実行
- E-07: `tests/config.nims` - テスト設定
- E-08: `testament/important_packages.nim` - Nimbleパッケージリスト
- E-09: `.github/workflows/` - GitHub Actionsワークフロー

## 3) Claims と根拠の対応（レビューの主戦場）
| Claim ID | 主張 | Evidence | 状態 |
|---|---|---|---|
| C-01 | Testamentはnim独自テストフレームワーク | E-01 (testament.nim L10: "This program verifies Nim against the testcases") | ○ |
| C-02 | テストターゲットはC,C++,ObjC,JS | E-02 (specs.nim L61-65: TTarget enum定義) | ○ |
| C-03 | テストアクションはcompile,run,reject | E-02 (specs.nim L31-34: TTestAction enum定義) | ○ |
| C-04 | Linux環境はubuntu-24.04 | E-04 (azure-pipelines.yml L23) | ○ |
| C-05 | macOS環境はmacos-15 | E-04 (azure-pipelines.yml L31-32) | ○ |
| C-06 | Windows環境はwindows-2025 | E-04 (azure-pipelines.yml L38) | ○ |
| C-07 | ジョブタイムアウトは90分 | E-04 (azure-pipelines.yml L17) | ○ |
| C-08 | Node.js 20.xを使用 | E-04 (azure-pipelines.yml L76-77) | ○ |
| C-09 | Valgrindをメモリテストに使用 | E-01 (testament.nim L69), E-04 (azure-pipelines.yml L87) | ○ |
| C-10 | 130以上のテストカテゴリが存在 | Bash実行結果 (ls tests/ | wc -l = 130) | ○ |
| C-11 | 150以上の外部パッケージをテスト | E-08 (important_packages.nim の pkg定義数) | ○ |
| C-12 | Megatestで結合可能テストを統合 | E-03 (categories.nim L562-648: runJoinedTest), E-01 (testament.nim L36) | ○ |
| C-13 | [skip ci]でCIスキップ可能 | E-05 (funs.sh L25: [skip ci]チェック) | ○ |
| C-14 | バッチ処理で3分割並列実行 | E-04 (azure-pipelines.yml L42-50: NIM_TESTAMENT_BATCH 0_3, 1_3, 2_3) | ○ |
| C-15 | Koch runCIがCIエントリポイント | E-06 (koch.nim L593-652: runCI proc) | ○ |
| C-16 | devel/version-*ブランチがトリガー | E-04 (azure-pipelines.yml L1-9) | ○ |
| C-17 | テストファイルはtで始まる | E-03 (categories.nim L45-47: isTestFile) | ○ |
| C-18 | GCテストは複数方式をテスト | E-03 (categories.nim L118-169: gcTests with refc, orc, markAndSweep, boehm) | ○ |
| C-19 | スレッドテストは--threads:onで実行 | E-03 (categories.nim L677: options & " --threads:on") | ○ |
| C-20 | testresults.htmlを生成 | E-01 (testament.nim L46) | ○ |
| C-21 | allowFailureでCI失敗なし監視 | E-08 (important_packages.nim L25-29), E-03 (categories.nim L451-454) | ○ |
| C-22 | retriesでフレーキーテスト再試行 | E-02 (specs.nim L106), E-01 (testament.nim L357-372) | ○ |
| C-23 | C++バックエンドテストはNIM_COMPILE_TO_CPP | E-04 (azure-pipelines.yml L36-37), E-06 (koch.nim L344) | ○ |
| C-24 | カバレッジ目標値（明示的定義） | **根拠なし** | △ |
| C-25 | パフォーマンステスト実施タイミング | **根拠なし** | △ |

## 4) 不足情報（Unknown / Missing）
- **カバレッジ目標値**：プロジェクトに明示的なカバレッジ目標を定義したファイルが見当たらない
  - 候補：CONTRIBUTING.md / テスト方針ドキュメント / CI設定での閾値定義
- **パフォーマンステスト実施タイミング**：パフォーマンステストの明確な定義・実施条件が不明
  - 候補：ベンチマークスクリプト / パフォーマンス回帰テスト設定

## 5) リスクフラグ（レビュー観点）
- **0（低リスク）**: テストフレームワーク関連の主張（Testament, specs, categories）
- **0（低リスク）**: CI/CD設定関連の主張（Azure Pipelines, GitHub Actions）
- **1（中リスク）**: カバレッジ目標値 - 明示的根拠なく記述。チームの暗黙知か推測の可能性
- **1（中リスク）**: パフォーマンステスト - 実際の運用と記述が異なる可能性

## 6) レビュアーチェックリスト（最小）
- [ ] カバレッジ目標値がチームの合意事項と一致しているか確認
- [ ] パフォーマンステストの実施タイミング・方法が実態と合っているか確認
- [ ] 外部パッケージ数（150以上）が最新のimportant_packages.nimと一致しているか確認
- [ ] テスト環境のバージョン（ubuntu-24.04, macos-15, windows-2025）が最新のCI設定と一致しているか確認
- [ ] 特殊テストカテゴリのリストが網羅的か確認
