回帰テスト

どのようなものか

回帰テストは、変更を加えた後も、従来は正しく動いていた機能や性質が保
たれるかを確認します。書き出しに新しいオプションを追加した場合、その
オプションが要求どおりに動いても、以前から使っている利用者が受け取る
行が変わることがあります。新機能のテストは、その機能への問いに答えま
す。回帰テストは、従来の経路を実際に通し、別の利用者や連携先が前提に
している動作を確かめます。

NASA
のソフトウェア工学ハンドブックでは、変更によって新たな欠陥が生じてい
ないか調べる手段として回帰テストを扱います。例えば、変更したコードや
要求に関連付けられる既存のテストを再実行し、影響を受けるモジュールの
相互作用も考慮します。この考え方は、依存関係、設定、データ、実行環境
の更新でも使えます。ソースコードが同じでも、ブラウザーの版や入力が変
われば、結果が変わる場合があります。

修正を確認するテストと回帰テストは補い合います。まず元の問題を再現
し、修正後の結果を確かめます。続いて、その修正によって変わってはいけ
ない周辺の動作を試します。問題が再発したときに気付けるよう、元の事例
をこれからも使うテストに加えられます。期待値はプロダクトが約束する挙
動に合わせます。要求を意図的に変える場合は、期待値を更新し、既存の呼
び出し側の何が変わるかを記録します。

なぜ重要なのか

変更の影響は、編集した行を越えて広がりがちです。リストを集合に替える
と重複を解消できても、報告の並びまで変わるかもしれません。日付の解析
を変えて新しい形式を受け付けるようにした結果、別の処理から送られてく
る空の値を受け付けなくなることがあります。自動化した確認は、特定の影
響を直近の変更に結び付ける助けになります。開発者が手元ではめったに動
かさない連携先を守るうえで、特に重要です。

変更が小さい場合は、最も近い共有ルールと、実際に存在する別々の呼び出
し経路を一つか二つ選びます。既定の挙動、境界条件、失敗時の処理、既に
保存した値のどれに影響するかを考えます。大きな影響を持つ変更では、値
の正しさに加えて性能やアクセシビリティまで調べます。問題を見逃した場
合の影響に応じて、必要な証拠を選びます。単体テストで変換結果を正確に
確認できる場合もあれば、実際の利用経路でキーボード操作を調べるために
ブラウザーが必要な場合もあります。

例の名前を工夫すると、守る理由が後の担当者に伝わります。「古い案件を
書き出すとき、日付の欠損は空欄のまま」という名前は、「三番目の事例が
通る」より具体的です。重要な入力と期待する結果を示します。新しい要求
が意図して約束を変えたのか、利用中の動作が偶然壊れたのか、次の担当者
が判断できます。

実際の活用例

架空の CSV
出力に、保管済みのアカウントも含めるオプションを追加するとします。指
定しないときは保管済みの行を除外し、利用中の行は参照番号順のままとし
ます。最終連絡日の記録がなければ空欄のままです。新しいオプションを指
定すると保管済みの行が加わり、利用中の行は重複しません。利用中のアカ
ウント二件を逆順で用意し、保管済みの一件を加えます。利用中の一件では
日付を空欄にします。実際の出力処理で両方の経路を試します。

既定の出力では、参照番号の内容と順番、空の日付欄を照合します。オプ
ションを指定した場合は、利用中の二件と保管済みの一件が一度ずつ現れる
ことを確認します。カンマを含む名前も入力に加えると、文字列を単純に連
結した場合に起きる列のずれを見つけられます。行数が正しいだけでは気付
けない不具合です。実際の受け手が使う種類の読み取り機能で、生成された
CSV を解析します。

次に、不具合を本当に検出できるかを調べます。試験用の変更として、既定
で保管済みの行を含めたり、カンマのある項目の引用符を外したりします。
それぞれに対応する検査は、異なる分かりやすい理由で失敗するはずです。
元の実装に戻してもう一度実行します。ファイルが存在することだけを調べ
る検査では、両方の誤りを見逃す場合があります。保管済みの記録が一件も
ない正常な入力も試せば、空の選択を扱えることが分かります。

当サイトのSafari の下線とフォントのサブセットに関するノートには、観
察範囲の別の例があります。CSS の変更で Chromium
の描画が直ったように見えても、Safari
は文字の下に伸びる部分を横切って線を引き続けました。この挙動を回帰テ
ストで守るには、対象とするブラウザーを実際に観察します。ノートが示す
のは、そのときの診断と観察です。提案したテストは、得られた知見を今後
も使う方法です。

問題が起きるところ

テストの本数を見ても、どの範囲を確認したかは分かりません。小さな検査
が何百件あっても、古いデータを読む一つの連携先を見落とすことがありま
す。実際の使い方、存在する入力、変更が影響する相互作用から対象を選び
ます。以前すり抜けた問題には、影響を受けた経路を使い、誤った挙動を戻
すと失敗する検査を用意します。

出力全体を比べる方法では、必要以上の差が検出される場合があります。順
序、無作為に発行した識別子、日時が変われば、保存した出力との比較は失
敗します。順番が約束に含まれるなら、その順番を確かめます。集合だけが
約束されるなら、内容の集合を比べ、重複の有無は別に確認します。期待値
を意図的に変更する場合も、理由を残してレビューします。

結果が不安定なテストは、原因を分かりにくくします。適当な秒数を待つ代
わりに、観察可能な条件を期限付きで待ちます。既知の入力を使い、次の事
例に状態を残しません。実際の相互作用が重要な場所には広い検査を、日々
の変更には速くて対象の明確な検査を置きます。両方を使うことで、同じ変
更を異なる範囲から確認できます。

参考資料

  * NASA のソフトウェア工学ハンドブックにある回帰テストの解説

  * pytest のテストケースのパラメーター化に関する文書

  * 『Software Engineering at Google』の単体テストの章

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/regression-testing/	engineer.company	70
