欠陥

どのようなものか

欠陥は、成果物の内部にある問題で、意図と異なる動作をさせたり、本来の
役割の一部を果たせなくしたりするものです。プログラマーの多くはバグと
呼び、テスト担当者や標準では、faultやflawとも表記します。

重要なのは、_成果物_という語です。欠陥は、ソースコードだけでなく、別
の要件と矛盾する要件、想定した負荷を支えられない設計、設定ファイル、
誤った値を正解とするテスト、二つ前のリリースで消したボタンを説明する
マニュアルにも存在します。どこにあっても、その物自体に属し、誰かが気
付いたかどうかに関係なく、存在しています。

テストの用語は、似た三つの語を区別します。この区別には意味がありま
す。人が、仕様の読み違い、間違った前提、キーの打ち間違いといった誤り
を犯します。その誤りが、作った物に欠陥を残します。欠陥のある部分を、
それが表に出る条件で動かすと、製品が誤った動作をし、その目に見える誤
動作が故障です。連鎖は一方向に進み、どの段階でも止まり得ます。一度も
実行されない分岐の欠陥や、誰も送らない入力を必要とする欠陥は、一度も
故障を起こさず、何年もコードベースに残る場合があります。

何を問題と見なすかは、期待したことによって決まり、期待は、書かれた仕
様より広いものです。ISO/IEC
25010の製品品質モデルは、機能適合性を、製品が「指定された条件で使用
するとき、明示的および暗黙的なニーズを満たす機能を提供する」程度と説
明します。これを、完全性、つまり指定した作業と想定利用者の目標を機能
が網羅するか、正確性、つまり結果が正しいか、適切性、つまり作業の完了
を機能が助けるかに分けます。誤った合計は正確性の問題で、誰もエクス
ポートできないレポートは完全性の問題です。同じモデルは、信頼性を別の
特性とし、その要素に、無故障性、可用性、耐故障性、回復性を含めます。
正しい答えを計算しても、その後、一日に二回クラッシュする製品には、や
はり欠陥があります。

リグレッション、つまり退行は、履歴のある欠陥です。動いていたものが、
後の変更で壊れた状態を指します。独自の名前があるのは、最初からあった
欠陥にはない手掛かり、最後に正常だと分かっているバージョンを持つため
です。

なぜ重要なのか

欠陥の負担は、主に、どこで見つかるかによって決まります。コードを書い
ている本人が見つければ、一分で済み、跡も残しません。レビューで見つけ
れば、会話が必要です。顧客が見つければ、故障自体、サポートの問い合わ
せ、調査、修正、信頼の一部を失う負担がかかります。実害があれば、イン
シデントの一部にもなっています。型システム、リンター、テスト、コード
レビューは、どれも同じ方向で働き、発見の時点を、欠陥を書いた時点へ近
づけようとします。

欠陥には、同じ系列のものがあります。一つの背後にある間違いには、たい
てい仲間があります。読み違えた同じインターフェースを六か所で同じよう
に呼ぶ、同じ単位の取り違いを新しいモジュールへ毎回コピーする、同じ未
検証の前提を各リクエストハンドラーに置く、といった例です。発見後に役
立つ問いは、壊れた行がどこかというより、何がその行を書きやすくしたの
か、同じことがほかのどこで起きたかです。

欠陥は、戻ってくることもあります。コードは常に変わり、修正した欠陥
が、リファクタリング、マージ、依存関係の更新で再発する場合がありま
す。欠陥があれば失敗し、修正すれば通るテストを作ると、その修正を、ビ
ルドが継続して守る性質にできます。それでも退行が現れたら、バージョン
履歴を探索範囲にします。`git
bisect`は、正常だと分かっているバージョンと、異常だと分かっている
バージョンの間のコミットを、二分探索します。千コミットの範囲でも、約
十回テストすれば、バグを入れた一つへ絞れます。

欠陥には、セキュリティー上の問題でもあるものがあります。MITREの
Common Weakness
Enumerationは、弱点を列挙し、それぞれを「特定の状況で、脆弱性を生じ
させる一因となり得る、ソフトウェア、ファームウェア、ハードウェア、ま
たはサービスの構成要素にある状態」と説明します。一覧には、攻撃者が利
用できる普通の欠陥も、多数含まれます。境界チェックの欠落、エスケープ
せずにクエリーへ渡す利用者の入力、一つの経路で飛ばした認可処理などで
す。

実際の活用例

このサイトで最も負担の大きかった欠陥は、自動の指標がすべて正常と判断
したものでした。監査で、自動ルールが見逃していた十一件のアクセシビリ
ティーの欠陥が見つかりました。どれも、マークアップの記述ではなく、
ページがどう描画されるかに関わる性質だったためです。うち二件は、検査
自体にありました。レイアウト検査が開くウィンドウは、すべて高さ900ピ
クセルでした。そのため、二つの要素の間隔が七ピクセルしかない、
852×393の横向きのスマートフォンの画面は、一度も見ていませんでした。
また、ルールエンジンは、105のルールのうち、70だけを実行していまし
た。各欠陥を、それによって作ったルールと一緒に台帳へ記録しました。一
件だけを直すのではなく、同じ種類の間違いを防ぐためです。レイアウト検
査そのものを直すと、三言語にわたり、128回失敗しました。

第二の欠陥には、まったく症状がありませんでした。サイトは、既定でダー
クテーマを使い、システム設定でライトテーマを指定している読者には、ラ
イトテーマを使います。ページ全体を覆う背景は、ダークテーマでは三層で
構成します。各テーマが描く層を数える、小さな構造検査は、最初の実行
で、ライトテーマが二層しか描いていないことを見つけました。重ねる層
は、ライトテーマを書いた当初から欠けていました。エラーは出ず、すべて
のページは描画されました。背景が一層少なくても、意図した選択に見える
ため、何か月も調べる理由がありませんでした。修正は一つの規則でした
が、直った状態を保つのは、その検査です。

修正した状態を守るのは、リポジトリのガードエンジンの仕事です。一つの
規則が、すべてのバグ修正を証拠へ結び付けます。修正と記したコミットに
は、それがなければ失敗するテストが必要です。ガード自身も、146のテス
トを持ちます。欠陥のあるガードは、拒否すべき変更を通してしまい、正常
に働いているように見える場合があるためです。

問題が起きるところ

一件だけを直し、同じ種類の問題は残ります。
報告された行を修正し、チケットを閉じても、同じ間違いの仲間が、コード
の別の場所に三件残っています。修正のたびに、それを生んだパターンを探
します。機械で認識できるパターンなら、その検索を検査に変えます。

直したバグが、戻ります。
半年後のリファクタリングで、元の動作が復活してしまいます。修正が何を
守っていたかを、何も記録していなかったためです。修正前にテストを書
き、古いコードで失敗するのを確かめ、テスト群へ永続的に残します。

検査器が、欠陥を持っています。
何も知らせずに一部しか読み込まないルール群、すべて同じ高さのテスト用
ウィンドウ、すべき動作ではなく、現在の動作を確かめるアサーションは、
どれも欠陥が目の前にあっても、成功を報告します。検査にも専用のテスト
を持たせ、実際に動いたルールは、道具自身の出力から確認します。

網羅率を、正しさの代わりにします。
全行を実行するテスト群でも、結果を調べるアサーションがなければ、誤っ
た結果を通してしまうことがあります。仕様どおりのコードも、暗黙のニー
ズを満たしていない場合があります。網羅率は、どのテストも触れないコー
ドを見つけるために使い、テストは、どの欠陥を発見できるかで評価しま
す。

「設計どおり」で、正当な報告を閉じます。
動作が仕様に合うとして報告を却下しますが、欠陥のある成果物は、最初か
ら仕様そのものでした。問題が要件や設計にあるなら、その要件や設計に対
して欠陥を登録し、根本から修正できるようにします。

参考資料

  * 欠陥 — ソフトウェアテストで使うISTQBの定義です。同義語と、関連す
る誤り、故障という語も説明します。

  * ISO/IEC 25010 — 製品品質モデルと、各特性の副特性の概要です。機能
適合性と信頼性も含みます。

  * git-bisect —
バグを入れたコミットを二分探索で見つける、Gitのマニュアルです。テス
トスクリプトでの自動実行も含みます。

  * CWEについて — Common Weakness
Enumerationの意味、ソフトウェアとハードウェアの弱点一覧の構成、運営
者を説明します。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/defect/	engineer.company	70
