# 回帰テスト

## どのようなものか

回帰テストは、変更を加えた後も、従来は正しく動いていた機能や性質が保たれるかを確認します。書き出しに新しいオプションを追加した場合、そのオプションが要求どおりに動いても、以前から使っている利用者が受け取る行が変わることがあります。新機能のテストは、その機能への問いに答えます。回帰テストは、従来の経路を実際に通し、別の利用者や連携先が前提にしている動作を確かめます。

NASA のソフトウェア工学ハンドブックでは、変更によって新たな欠陥が生じていないか調べる手段として回帰テストを扱います。例えば、変更したコードや要求に関連付けられる既存のテストを再実行し、影響を受けるモジュールの相互作用も考慮します。この考え方は、依存関係、設定、データ、実行環境の更新でも使えます。ソースコードが同じでも、ブラウザーの版や入力が変われば、結果が変わる場合があります。

修正を確認するテストと回帰テストは補い合います。まず元の問題を再現し、修正後の結果を確かめます。続いて、その修正によって変わってはいけない周辺の動作を試します。問題が再発したときに気付けるよう、元の事例をこれからも使うテストに加えられます。期待値はプロダクトが約束する挙動に合わせます。要求を意図的に変える場合は、期待値を更新し、既存の呼び出し側の何が変わるかを記録します。

## なぜ重要なのか

変更の影響は、編集した行を越えて広がりがちです。リストを集合に替えると重複を解消できても、報告の並びまで変わるかもしれません。日付の解析を変えて新しい形式を受け付けるようにした結果、別の処理から送られてくる空の値を受け付けなくなることがあります。自動化した確認は、特定の影響を直近の変更に結び付ける助けになります。開発者が手元ではめったに動かさない連携先を守るうえで、特に重要です。

変更が小さい場合は、最も近い共有ルールと、実際に存在する別々の呼び出し経路を一つか二つ選びます。既定の挙動、境界条件、失敗時の処理、既に保存した値のどれに影響するかを考えます。大きな影響を持つ変更では、値の正しさに加えて性能やアクセシビリティまで調べます。問題を見逃した場合の影響に応じて、必要な証拠を選びます。単体テストで変換結果を正確に確認できる場合もあれば、実際の利用経路でキーボード操作を調べるためにブラウザーが必要な場合もあります。

例の名前を工夫すると、守る理由が後の担当者に伝わります。「古い案件を書き出すとき、日付の欠損は空欄のまま」という名前は、「三番目の事例が通る」より具体的です。重要な入力と期待する結果を示します。新しい要求が意図して約束を変えたのか、利用中の動作が偶然壊れたのか、次の担当者が判断できます。

## 実際の活用例

架空の CSV 出力に、保管済みのアカウントも含めるオプションを追加するとします。指定しないときは保管済みの行を除外し、利用中の行は参照番号順のままとします。最終連絡日の記録がなければ空欄のままです。新しいオプションを指定すると保管済みの行が加わり、利用中の行は重複しません。利用中のアカウント二件を逆順で用意し、保管済みの一件を加えます。利用中の一件では日付を空欄にします。実際の出力処理で両方の経路を試します。

既定の出力では、参照番号の内容と順番、空の日付欄を照合します。オプションを指定した場合は、利用中の二件と保管済みの一件が一度ずつ現れることを確認します。カンマを含む名前も入力に加えると、文字列を単純に連結した場合に起きる列のずれを見つけられます。行数が正しいだけでは気付けない不具合です。実際の受け手が使う種類の読み取り機能で、生成された CSV を解析します。

次に、不具合を本当に検出できるかを調べます。試験用の変更として、既定で保管済みの行を含めたり、カンマのある項目の引用符を外したりします。それぞれに対応する検査は、異なる分かりやすい理由で失敗するはずです。元の実装に戻してもう一度実行します。ファイルが存在することだけを調べる検査では、両方の誤りを見逃す場合があります。保管済みの記録が一件もない正常な入力も試せば、空の選択を扱えることが分かります。

当サイトのSafari の下線とフォントのサブセットに関するノートには、観察範囲の別の例があります。CSS の変更で Chromium の描画が直ったように見えても、Safari は文字の下に伸びる部分を横切って線を引き続けました。この挙動を回帰テストで守るには、対象とするブラウザーを実際に観察します。ノートが示すのは、そのときの診断と観察です。提案したテストは、得られた知見を今後も使う方法です。

## 問題が起きるところ

テストの本数を見ても、どの範囲を確認したかは分かりません。小さな検査が何百件あっても、古いデータを読む一つの連携先を見落とすことがあります。実際の使い方、存在する入力、変更が影響する相互作用から対象を選びます。以前すり抜けた問題には、影響を受けた経路を使い、誤った挙動を戻すと失敗する検査を用意します。

出力全体を比べる方法では、必要以上の差が検出される場合があります。順序、無作為に発行した識別子、日時が変われば、保存した出力との比較は失敗します。順番が約束に含まれるなら、その順番を確かめます。集合だけが約束されるなら、内容の集合を比べ、重複の有無は別に確認します。期待値を意図的に変更する場合も、理由を残してレビューします。

結果が不安定なテストは、原因を分かりにくくします。適当な秒数を待つ代わりに、観察可能な条件を期限付きで待ちます。既知の入力を使い、次の事例に状態を残しません。実際の相互作用が重要な場所には広い検査を、日々の変更には速くて対象の明確な検査を置きます。両方を使うことで、同じ変更を異なる範囲から確認できます。

## 参考資料
* NASA のソフトウェア工学ハンドブックにある回帰テストの解説
* pytest のテストケースのパラメーター化に関する文書
* 『Software Engineering at Google』の単体テストの章

=> /ja/notes/safari-underline-font-subset/ Safari の下線とフォントのサブセットに関するノート
=> https://swehb.nasa.gov/spaces/SWEHBVC/pages/50889419/SWE-191+-+Software+Regression+Testing NASA のソフトウェア工学ハンドブックにある回帰テストの解説
=> https://docs.pytest.org/en/stable/how-to/parametrize.html pytest のテストケースのパラメーター化に関する文書
=> https://abseil.io/resources/swe-book/html/ch12.html 『Software Engineering at Google』の単体テストの章

=> https://engineer.company/ja/glossary/regression-testing/ このページのウェブ版
