エンドツーエンドテスト

どのようなものか

エンドツーエンドテストは、動作中のシステム全体を、利用者が使う形で確
かめます。本物のフロントエンド、バックエンド、データベース、設定でア
プリを起動し、登録や注文の支払いといった一連の操作を進め、最後に利用
者へ見える結果を検証します。通常はE2Eテストと略し、このように試すこ
とを、英語ではend-to-end
testingと呼びます。

_Software Engineering at Google_で、Adam
Benderは、二つの軸でテストを分類します。サイズは、使う資源のことで
す。小さいテストは一つのプロセス内に収まり、中くらいのテストは一台で
複数のプロセスを使うことがあり、大きいテストは複数のマシンにまたがる
ことがあります。範囲は、どれだけのコードを動かすかです。範囲の広いテ
ストには、機能テスト、エンドツーエンドテスト、システムテストなど、さ
まざまな名前があります。同書の大きいテストの章で、Joseph
Gravesは、最も範囲の広いテストでは、複数の本物の依存先を組み込み、テ
ストダブルをあまり使わないことが多いと補足します。

本物の依存先から得られるのは、再現の忠実度です。Gravesは、テスト対象
システムの実際の振る舞いを、どれだけよく反映するかと定義します。購入
フォームの単体テストは、隔離した環境で、そのフォームのコードが正しい
ことを示します。同じフォームのエンドツーエンドテストは、配備したペー
ジ、その背後のルート、価格のルール、データベースが、互いに整合してい
ることを示します。代償として、外部環境からの隔離性が下がります。環境
を本番へ近づけるほど、ほかのすべてから切り離すのは難しくなります。
Gravesは、両者が直接衝突することが多いと指摘します。

ウェブアプリでは、利用者のインターフェースはブラウザーなので、エンド
ツーエンドテストも、そこを起点にします。Gravesの表現は明確です。エン
ドユーザーにとって「公開APIは、アプリケーションそのもの」です。次の
例で使うPlaywright
Testは、Playwrightプロジェクトが開発する、ウェブアプリのエンドツーエ
ンドテスト用ランナーです。ランナー、アサーション、隔離、並列実行を備
え、ウィンドウの表示の有無にかかわらず、Chromium、Firefox、WebKitを
操作します。

なぜ重要なのか

小さいテストには、組み上がったシステムのテストでしか埋められない穴が
残ります。Gravesは、よくあるものを挙げます。テストダブルの動作が、置
き換える対象からずれても、本物の実装が変わったことを、テストへ知らせ
るものはありません。単体テストが対象にするのは、一つのバイナリー内の
コードです。デプロイの設定、起動スクリプト、本番インスタンスの設定
は、その外にあります。三つ目は、負荷がかかったときだけ現れる問題で
す。四つ目は、誰も予想しなかった振る舞いで、そもそも多くの問題は、こ
の形で利用者へ届きます。Benderによると、Googleは、大きいテストを主に
システム全体のエンドツーエンド実行に使います。個々のコードより、シス
テムの構成を確かめるものです。

利用者が実際に操作する、組み上がったインターフェースも検査します。
バックエンドが名前を変えたばかりのルートへ送信するフォームや、設定が
違うサービスを指すリリースは、両側のすべての単体テストに通っても、実
際の利用者が初めて使うと失敗します。

代償は、速度と信頼性です。Gravesによると、Googleでは、大きいテストの
タイムアウトまでの時間を、既定で15分または一時間にします。ほかのテス
トやトラフィックと資源を共有し、外部から隔離されておらず、結果が一定
にならないこともあります。Benderは、その原因として、時計、ネットワー
クの遅延、スレッドの実行順序、ハードウェア割り込み、ブラウザーの描画
処理を挙げます。同書のおおまかな目安がピラミッドになるのは、そのため
です。範囲の狭い単体テストが約80パーセント、結合テストが15パーセン
ト、システム全体を端から端まで動かすテストが5パーセントです。Bender
は、大きいテストを、製品の成長中に基本が崩れていないか確かめるものと
位置付け、チームがバグを見つける主な手段にすべきではないと述べます。
Googleのチームは、ビルドやリリースのときに使うことが多く、速い開発サ
イクルへ、その実行の負担を持ち込みません。

実際の活用例

ティーポットを売り、配送日数の見積もりを配送業者のAPIへ問い合わせる
店を考えます。会員登録をしない客の初回購入を試すPlaywrightのテスト仕
様は、購入の手順そのもののように読めます。

```ts
// e2e/checkout.spec.ts
import { test, expect } from "@playwright/test";

test.beforeEach(async ({ page }) => {
    // 配送業者のAPIは外部にあるため、ここで代わりに応答する
    await page.route("https://api.carrier.example/**", (route) =>
        route.fulfill({ status: 200, body: '{"days": 2}' }),
    );
});

test("a guest can buy a teapot", async ({ page }) => {
    await page.goto("/shop/teapot");
    await page.getByRole("button", { name: "Add to basket" }).click();
    await page.getByRole("link", { name: "Basket" }).click();
    await expect(page.getByText("Delivery in 2 days")).toBeVisible();
    await page.getByLabel("Email").fill("buyer@example.com");
    await page.getByRole("button", { name: "Place order" }).click();
    const thanks = page.getByRole("heading", { name: "Thank you" });
    await expect(thanks).toBeVisible();
    await page.getByRole("link", { name: "View your order" }).click();
    await expect(page.getByText("Teapot")).toBeVisible();
});
```

各ロケーターは、利用者が見るものを名指しします。「Add to
basket」というボタン、「Email」というラベルの入力欄、「Thank
you」と書かれた見出しです。Playwrightは、まずロールによるロケーター
を勧めます。ロケーターは厳密で、複数の要素が一致すると、推測せず、操
作が例外を投げます。クリックや入力の前には、要素を操作できるまで待
ち、`toBeVisible()`などのアサーションは、条件が成立するまで再試行し
ます。そのため、このテスト仕様に固定の待ち時間はありません。
`page.route`は、ブラウザーから配送業者へのリクエストに、固定の本文で
応答します。チームが運用しないサーバーに、テストが依存しなくなりま
す。globパターンはURL全体と一致する必要があり、`**`はスラッシュをま
たいで一致します。ルーティングが扱うのは、ページ自体が送るリクエスト
だけです。店のサーバーが配送業者へ問い合わせる場合、そのリクエストは
ブラウザーに見えないため、サーバー側へテストダブルを置く必要がありま
す。各テストには、新しいブラウザーコンテキストも与えます。Playwright
は、これを作りたてのブラウザープロファイルに例えます。一つのテストの
Cookieや買い物かごが、次へ漏れることはありません。

設定は、アプリを起動し、その場所をPlaywrightへ伝えます。

```ts
// playwright.config.ts
import { defineConfig } from "@playwright/test";

export default defineConfig({
    testDir: "e2e",
    retries: process.env.CI ? 2 : 0,
    use: {
        baseURL: "http://localhost:3000",
        trace: "on-first-retry",
    },
    webServer: {
        command: "npm run start",
        url: "http://localhost:3000",
        reuseExistingServer: !process.env.CI,
    },
});
```

`webServer`ブロックは`npm run
start`を実行し、最初のテストの前に、URLが応答するまで待ちます。ノー
トパソコンでは、すでに動くサーバーを再利用し、CIでは、必ず専用のサー
バーを起動します。`baseURL`により、完全なアドレスではなく、
`/shop/teapot`と書けます。`npx
playwright
test`はウィンドウを表示せずにテスト群を実行し、`--headed`はブラウ
ザーのウィンドウを表示します。`npx
playwright
show-report`は、HTMLレポートを開きます。Playwrightは、既定では、失敗
したテストを再試行しません。この設定では、CIで二回の再試行を許しま
す。一度失敗してから通ったテストは、合格ではなく、不安定と報告しま
す。最初の再試行でトレースを記録し、何が違ったかを示します。

規模が大きい場合、作業全体に占めるブラウザー層の割合は、最も小さくな
ります。2025年からの職務で手がけたGo、SQL、ブラウザーをまたぐテスト
群には、310ファイルに981個のGoテスト関数、VitestとPlaywrightの543個
のテスト仕様、その中に48個のエンドツーエンド用ファイルと30個のブラウ
ザー用テスト仕様、さらにSQLの振る舞いを試す494個のファイルがありま
す。課題は、すべてを外側のブラウザーから試すのではなく、各層の振る舞
いを、その層で確かめることでした。ストアド関数なら、その上のアプリの
三層を通さず、データベースで試します。事例は、負担も明記しています。
テスト群は遅く、すべての変更に負担を加え、その規模では、テスト群自体
の保守も必要です。

問題が起きるところ

テスト群が、アイスクリームのコーン型です。
エンドツーエンドテストが多く、結合テストと単体テストが少ない構成を、
Benderはこう呼びます。通常、遅く、不安定で、扱いにくい構成です。試作
から本番へ急いで進んだプロジェクトによく見られます。Gravesは、単体テ
ストが難しいコードでは、書けるのがエンドツーエンドテストだけになり、
数日のうちにレガシーコードを作ってしまうと補足します。サービスが増え
るたびに、システム内の経路も掛け算で増えるため、エンドツーエンドのテ
スト群ですべては網羅できません。各ケースは、それを検出できる最も小さ
いテストで確かめます。ブラウザーを使うのは、システム全体でなければ確
かめられない一連の操作に限り、プロジェクトの初期からピラミッドへ近づ
けます。

セレクターが、マークアップに依存します。
Playwright自身が避ける例に挙げる
`button.buttonIcon.episode-actions-later`のようなロケーターは、クラ
ス名を変えるだけで壊れます。利用者には何も違って見えなくても同じで
す。Gravesは、UIテストには不安定でコストが高いという評判があり、振る
舞いが同じでも見た目の変更で壊れることが、その一因だと警告します。利
用者と同じように、ロール、ラベル、文字列か、チームが管理するテストID
で要素を探します。バックエンドに公開APIがあるなら、UIとAPIの境界で操
作の流れを分け、残りのエンドツーエンドテストは、APIを通して実行しま
す。

テストが、決まった時間だけ眠ります。
固定の待ち時間は、遅い日には短すぎ、ほかの日には長すぎます。Graves
は、固定の待機やタイムアウトに頼るテストは、実行マシンに過負荷がかか
ると一斉に失敗し始め、再実行で負荷がさらに増えると述べます。
Playwrightのベストプラクティスは、より見つけにくい同じ誤りを示しま
す。`expect(await
page.getByText("welcome").isVisible()).toBe(true)`は、一回調べて先へ
進みます。一方、`await
expect(page.getByText("welcome")).toBeVisible()`は、条件を待ちます。
ウェブの状態を待つアサーションを使い、バックエンドを待つテストでは、
タイムアウトを設けて状態の変化をポーリングします。

テスト間で、データを共有します。
一つのテストが作るアカウントを、次が当てにしたり、並列の二つのワー
カーが、在庫の最後のティーポットを買ったりします。ある順序では通り、
別の順序や並列実行時だけ失敗します。Playwrightは、各テストが、それぞ
れの保存領域、セッション、データ、Cookieを持ち、完全に隔離されるよう
勧めます。テストが使うデータベースのデータも、制御します。各テストが
必要とするものは、一意の名前で作り、前のテストが残したものに頼りませ
ん。

他者のサーバーを、テストに含めます。
本物の決済事業者、配送業者、地図サービスを含めると、チームが管理でき
ないシステムへ依存します。トラフィックの送信に、費用がかかることもあ
ります。Gravesは、自動テストから本物の外部APIを呼ばないよう勧め、そ
うした依存先を、テストを分割する重要な境界と呼びます。Playwrightも、
管理できるものだけを試すよう勧めます。上の例のように、ブラウザーが呼
ぶなら`page.route`で、サーバーが呼ぶなら、そのサーバーの呼び出し先に
設定したテストダブルで、外部の相手に代わって応答します。その依存先
を、テストの終点にします。

再試行が、不安定さを隠します。
CIの再試行は、赤いビルドを緑にし、負担が積み重なります。Benderは、計
算で示します。一日に10,000件のテストで、それぞれの誤検出による失敗率
が0.1パーセントなら、毎日10件の不安定な失敗を調べる必要があります。
不安定な失敗率が1パーセントへ近づくと、テストは価値を失い始めます。
再実行は、エンジニアの時間を節約する代わりにマシンの時間を使い、根本
原因を先送りするだけです。pytestの文書は、別の角度から同じ点を説明し
ます。上位のテストほど、多くの状態に依存するため、断続的に失敗しやす
くなります。Playwrightが不安定と報告したテストは、すべてバグとして扱
い、再試行のトレースを開き、直すか削除します。

参考資料

  * テストの概要 — _Software Engineering at Google_のAdam
Benderによる章です。テストのサイズと範囲、ピラミッド、アイスクリーム
のコーン型、不安定なテストの負担を扱います。

  * 大きいテスト — Joseph Gravesによる、忠実度、単体テストに残る穴、
UIや外部サービスとの境界、不安定さの除去です。

  * インストール — Playwright
Testのインストール、テスト例の実行、ウィンドウを表示するモード、HTML
レポートについての、Playwright自身の導入文書です。

  * ベストプラクティス —
利用者に見える振る舞いのテスト、テストの隔離、外部サーバーの除外、ロ
ケーター、ウェブの状態を待つアサーションです。

  * 再試行 — Playwrightが失敗したテストを再試行し、合格、不安定、失
敗に分類する方法です。

  * 不安定なテスト —
制御されていないシステムの状態、テスト順序、スレッドセーフティーな
ど、pytestが説明する不安定な失敗の原因と、その対処です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/end-to-end-test/	engineer.company	70
