テスト・品質保証
CI/CDの効率化で4,000時間を削減
ソフトウェア開発パイプラインを自動化してCI/CD工程を効率化し、4,000時間を削減した。
CI/CDを効率化して約4,000時間を削減し、リリースを迅速・確実にして、安心して提供できるようにした。
APIを100%の一致でHuma v2へ移行
HTTP APIの649パス・760操作をFiberからHuma v2へ移行し、サーバーが登録するルートと公開するOpenAPI記述の100%一致を達成・維持した。
649パス・760操作のHTTP APIをFiberからHuma v2へ移行し、登録ルートと公開OpenAPI記述を100%一致させた。
データベースを起点にAPI契約を生成
データベースを起点に、OpenAPI、44,076行の型付きTypeScriptクライアント、61個のモックハンドラー、UIが適用する制限を生成し、各段階に不一致で失敗する検査を設けた。
データベースからOpenAPI、型付きTypeScriptクライアント、モックハンドラー、UI制限を生成し、各段階に検査を設けた。
GitHub Actions CI/CDパイプラインを構築
本番フロントエンド用のdistrolessイメージと複数環境間の昇格を備えた、GitHub ActionsのCI/CDパイプラインを構築した。
distrolessの本番フロントエンドイメージと複数環境への昇格を備えるGitHub Actions CI/CDで、日常的で平穏なリリースを実現した。
go‑taskの自動化ターゲット578個を作成
ネイティブ、Docker、HTTPSの開発モード、静的検査、テスト、データベース、デプロイをカバーする、go‑taskの自動化ターゲット578個を作成した。
ネイティブ、Docker、HTTPSの各モードにまたがるgo-taskターゲット578個を作成し、静的検査、テスト、DB、デプロイを1つのツール群で扱えるようにした。
6言語に警告ゼロの基準を設定
Go、TypeScript、SQL、Python、Shell、Markdownの6言語に警告ゼロの品質基準を設け、pre‑commitフックで適用した。
Go、TypeScript、SQL、Python、Shell、Markdownの警告ゼロ基準を設け、pre-commitフックで守った。
Go・SQL・ブラウザーのテスト群を構築
981件のGoテスト、543件のフロントエンド・ブラウザーテスト、494件のSQL動作テストを持つ多層の自動テスト群を構築し、ミューテーションテスト、プロパティベーステスト、アクセシビリティの品質ゲートを加えた。
981件のGoテスト、543件のフロントエンドテスト、494件のSQL動作テストに、ミューテーション・プロパティ・アクセシビリティのゲートを加えた。
268検査を持つリポジトリの検査基盤を構築
登録済みコミット検査268件、静的検査ルール277件、独自ESLintルール15件からなるリポジトリの検査基盤と、検査自体を試す146件のテストを構築し、人のレビューだけに頼らずビルドで基準を守るようにした。
268件のコミット検査、277件の静的検査ルール、15件の独自ESLintルールと、検査自体の146テストを持つ検査基盤を構築した。
1,022件のマイグレーションを差分検査で保護
新規インストールと、インストール後に全マイグレーションを適用する2通りでデータベースを構築し、不一致で失敗するCIゲートを設け、1,022件のマイグレーションにわたるスキーマの整合性を保った。
2通りでDBを構築し、不一致で失敗するCIゲートで、1,022件のマイグレーションの整合性を維持した。
SSHの24設定項目を検証・堅牢化
SSHの24設定項目を、候補ファイル、統合済み設定、デーモン自身の読み戻しによる3段階で検証するよう堅牢化。読み戻しによって、稼働中のサーバーが24項目のうち2項目を黙って上書きしていたことを検出した。
SSHの状態はリポジトリの主張でなくデーモンの回答になった。その違いは仮説でなく、検査時点ですでに2項目あった。効果を見られない収束処理は安全策を検証しておらず、設定名の文字列検索は、書いたことしか証明しない。
実行ごとに侵入元の遮断を実証
堅牢化の実行ごとに、予約済みテストアドレスを遮断し、生成されたカーネルルールを読み、必ず実行する後処理で遮断を解除する一連の検証を設け、jailの故障が正常報告ではなく実行失敗になるようにした。
故障した遮断経路が正常報告を続けず、収束を失敗させるようになった。それが必要な性質だった。毎回数秒を要し、本番のファイアウォールへルールを書いて撤回する介入はある。それでも別の方法の悪さをすでに実証したため、受け入れた。
ファイアウォールルールを位置で検証
存在するルールが実際のパケットに到達されるとは限らないため、番号付きルール一覧と稼働中のパケットフィルターチェーンを読み、ファイアウォールルールを存在だけでなく位置で検証した。
パケットが実際に経験する形で検証できるようになった。最も有用だったのは検査そのものより、それ以前の報告について明らかになったことだった。すべてのツールが1年間正しくレート制限を表示していても、重要な唯一の問いを誰も尋ねていなかった。
Ansibleチェックモードを実態に即した検証に
Ansibleのcommandモジュールが--checkでコマンドを省略しながら成功を返すため、ホストから得ていない値で判断していた6個の検査を修正し、プラットフォーム全体のチェックモードが実態を伝えるようにした。
試行は測るか、測らなかったと言うかになり、以前の第3の状態はなくなった。同時に開発指針へ、チェックモードは嘘をつかず、見えない検査はそれを知らせ、見えないことから判定を推定してはならないと記した。
秘密情報の1秒の事前検査を追加
本番実行が9番目のタスクで停止し、すでにスワップ設定が稼働ホストへ書き込まれた事態を受け、運用担当者のローカルな秘密情報に対し、収束処理と同じコードを約1秒で実行する事前検査プレイを追加した。
解決できない秘密情報は、稼働サーバーへの部分的変更でなく、端末上の2秒の拒否で済む。事前検査に常時実行タグを付けず、直列化もしないことを意図的に選び、既定値として放置せず理由を記録した。
全ユニットのsystemdサンドボックス露出を低減
この基盤が導入するすべてのユニットのsystemdサンドボックスの露出度を低減。デッドマンズスイッチのサービスを9.6 UNSAFEから1.5へ、インターネット公開のgitホスティングを8.3 EXPOSEDから1.5へ改善し、3つのユニットテンプレートで黙って無視されていた設定名の誤記を受け、収束時の構文検査を加えた。
必要な権限だけで各ユニットが動き、数値は主張でなく実測となった。誤記で制御が静かに欠ける不具合が、実行失敗になった。測定の限界も隣に記録し、次の読み手が緑の表示を過信しないようにした。
22静的検査のコミットゲートを構築
HTML、CSS、JavaScript、Python、YAML、Markdown、Shell、リンク、綴り、秘密情報、組版を対象に、1行で説明できる検査22個と詳しい説明が必要な検査5個からなるコミットゲートを構築し、警告扱いや行内抑制を認めない方針にした。
コミット前に機械が定型的な異議を出し、このプロジェクト唯一のレビュー担当となった。コミットは遅く、出来の悪い検査への対応には強い苛立ちがあるという費用も隠さず記した。そのため後に、検査自体を整形・静的検査の対象にした。
30分も待たずに済む品質検査
最長の検査から順に、最大4並列のワーカープールへ割り当て、ブラウザーを使うサイト品質ゲートを1,636秒から615秒に短縮。名前順では224秒に対して320秒を要するという測定を踏まえた。
直列の総費用は増えたが、全体は1,636秒から615秒になり、検査範囲も広がった。もっともらしい全同時実行と記述順実行が、別案より実測で悪かったという測定こそ残す価値があった。
27種類の文字サイズを6段階の体系に統一
隣り合うサイズの差が0.6%しかないものもあった27種類の文字サイズを、長3度比による6段階の体系へ置き換え、28種類目を拒否する静的検査を作成した。
27種類が6種類となり、比率と行長を明示して、次の未計画値を拒否した。制約は実際に不便な場合もあり、中間サイズが欲しければ既存段階へ移るか体系変更を提案する必要がある。その提案は、すでに何度も退けられた。
32ページを両テーマでアクセシビリティ検査
両配色テーマの代表32ページにWCAG 2.2 Level AA検査を実装し、適合記録とAAA基準1項目の検査を備え、基準1.4.13の部分的な達成を明示した。
適合記録は、代表32ページ、両テーマ、明記したビューポートのサンプルという検査と対象範囲を記録している。WCAG 2.2基準1.4.13は部分達成にとどまり、実際の支援技術による試験も確認されていないと記す。これは実装したアクセシビリティ検査と既知の限界の証拠であり、すべての構成での完全なLevel AA適合ではない。
自動検査が見逃すアクセシビリティの問題
pointer‑eventsで操作を隠してもTab移動に残るフッターリンク8個、3ページの奥付を切り落とすスクロールタイムライン、105ルール中70しか実行しない検査エンジンなど、ブラウザーが正常と報告した11件のアクセシビリティ不備を発見・修正した。
11不備を直し、さらに長く使える4規則を得た。1軸の検査は1軸しか守らず、含まれない規則は適用できず、高さも検査すべき寸法であり、可視性は文書でなく画素で示す。配置検査を正しく広げると3言語で128件失敗し、携帯端末幅の画面でヒーローの末尾が画面下21 pxに隠れる例も捉えた。
配色を28色に限定
配色を文書化した28色に限定し、描画されるのに未記録、記録されるのに未使用、測定誤り、リテラルによる別表記、既存色との知覚的距離が0.02以内、という場合に失敗する静的検査を設けた。
静かに増やせない、測定済みの閉じた体系になり、契機となった近似重複はなくなった。少し違う青が欲しくても既存色を使うか、比率を含めて29色目の理由を示す必要がある、実際に拒否する制約となった。
ライトテーマに欠けた層を発見
両テーマで各多層面に同じ数の層が描画されることを検証し、ライトテーマに作成当初から全面オーバーレイ層が欠けていたことを発見した。
片方の層欠落はコミット失敗となり、作成時からなかった層が描かれるようになった。壊れず、エラーもなく、描画も正常なのに何か月も誤っていたという、この検査方針が対象とする形の不備だった。
「動きを減らす」設定を正しく反映
クラス付きルールには、全要素のトランジションを無効にするルールが詳細度で負けるため、「動きを減らす」設定でもアニメーションを続ける11個のセレクターを修正し、設定が正しく効くようにした。
意図だけでなく実際に設定を尊重し、一括ルールで対応したように見えた11の動きを止めた。詳細度で負けるルールは静かに失敗し、どの報告も別の名で呼ぶという教訓を、文書の冒頭に記した。
更新日時が共通のサイトマップを修正
エクスポートが毎回すべてのファイルを書き直すことを確認し、git履歴から更新日を取得するよう変更。176件のURL中172件が同じ更新日時だったサイトマップを修正した。
1か月の編集後の再同期で、186ファイルすべてでなく8ファイルだけが変わり、サイトマップが事実を伝えるようになった。同じ罠は参照順を持つ全フィールドに当てはまるため、メタデータ文書へ一般則として記した。
文書を独自の静的検査で管理
文書に、引き下げのみ可能なファイル別行数上限、目次要件、実在パス検査を設けた。完了扱いの9計画中6計画に未完了項目があり、コミットを制御する14タスクがどの文書にも記載されていないことを検出した。
計約2,666実効行の26文書が、増やせない予算下に入り、全パスと記号を実ツリーに照合するようになった。毎コミットを止める14検査が一切記載されていなかったという、機械の規則と人が読む規則の分離こそ、繰り返す価値のある不都合な発見だった。
10,242行の品質ゲート自体に静的検査を適用
リポジトリ最大のコード群でありながら検査対象外だった品質ゲートのJavaScript 10,242行に整形・静的検査を適用し、13件の指摘を抑制せずに修正した。
最大かつ中核のコードを、13指摘修正・抑制0で、整形・静的検査・型検査下に置いた。CSSの不備は見た目の異常になるが、検査器の不備は通るべきでない検査の合格になる。行数以上に重要な理由を計画に記した。
生成器に981テストと92%カバレッジを適用
警告を失敗扱いにし、分岐カバレッジ92%を下限として生成器に981件のテストを適用。空のファイルから全構築処理を2回実行し、2回目に何も変わらないことを要求して冪等性を検証した。
稼働DBへ安心して再実行でき、少しずつの内容更新を可能にした。下限は目標ではなく、92%でも未実行分岐は残る。数値は危険を限定するだけで除去せず、後で見つかった2不具合も、カバレッジ報告では実行済みとされていたコード内にあった。
PDF/UA‑1プロファイルの106項目中106項目に合格
9文書のPDF/UA‑1検証を記録し、設定済みアクセシビリティプロファイルの検査106項目中106項目に合格した一方、アーカイブ版は146規則のうち1項目で不合格だった。
設定したアクセシビリティプロファイルの検査はすべて合格した。保存用は具体的な不足を持つ僅かな未達として率直に示した。両数値とも1つの検証器の結果で、別実装は異なる可能性があり、合格はその検査器が指摘しなかった証拠にとどまるという限界も明確にした。
すべての静的検査ルールをエラーに設定
Python静的検査の全ルールをエラーとして有効にし、1,815件の指摘を0件まで解消。少数の例外には理由を書き、うち2件はコメントだけでなく検査によって根拠を守った。
全力の静的検査が指摘0で動き、逸脱はその行で文書化されるようになった。最厳格設定には対応する価値のない指摘も実際にあり、その判断を一度でなく1,815回する必要があるという費用も名指しした。
522行のQR符号器を同梱
実行時の3つ目の依存関係を追加せず、GF(256)上のReed‑Solomon、固定モジュール配置、8つのマスクパターンを持つQR符号器を522行で同梱し、独立に実装した復号器で完成行列を読み戻して検証した。
実行時依存を2つに保ち、符号器は唯一の同梱部品となった。汎用実装ではなく、文書が使うモードと版だけに対応する。成熟ライブラリより優れるという主張でなく、依存数の予算が率直な採用理由だった。
検査自体のテストを作成
正常入力しか与えない検査は、何も読まずに正常と報告するようになり得ると確認し、検査自体のテストを作成。誤字を埋めて綴り検査の検出を確かめ、テスト内の固定値ではなくデータベースからID範囲を取得した。
全検査器に不正入力で失敗する証明が付き、範囲は正本を読むようになった。少なくとも2か所で不明な期間、緑の検査に意味がなかったことを露呈し、過去に何が通り抜けたかを後から知る方法はなかった。
フックと品質ゲートの不一致を発見
同じ検査を行うという文書の記述に反し、コミットフックと品質ゲートが異なる検査を行っていたことを、一覧を比較するテストで発見。手動でしか動かなかった5個は履歴書の文章を検査するものだった。
同じ検査を実行することを実証し、文章の検査も毎コミットで動くようになった。内容増加とともにフック時間も増え、遅すぎれば迂回される地点があるため、この修正の寿命は検査の速さにかかっている。
gitホスティングCIを試し2不具合を発見
gitホスティング側のCIフックを予行実行し、ファイルを読むだけでは到達できない2件の不具合を発見。解決不能な引数を入力へ渡すフォールバックと、検査先に引き継がれ19テストを失敗させるgit自身の環境変数を修正した。
両経路が動き、実際のpushが遭う前に2件を直した。ただし予行は模擬であり、1種類のpushを証明するだけで、本番が見る強制更新やブランチ削除などは含まないという限界を残した。
言語間の数値照合を構築
英語原文にある数値の欠落と、対象言語に合わない表記で失敗する言語間コンテンツ検査を構築し、指標が抜けたデンマーク語説明2件と英語式引用符を使うウクライナ語16箇所を検出した。
18の実際の不備を解消し、今後もコミット前に原文比較することで種類ごと閉じた。ただし意味は判断できない。数字が残り句読点がその言語のものでも、主張の向きを逆にした訳は正常に通る。
macOSアプリのイベントパイプラインに上限を設定
毎秒41 MBの増加と、36 GB端末で111 GBの圧縮ページを記録したmacOSの障害を受け、イベントバッファとログ出力に上限を設定。記録された全テスト実行では、コアのログ行が610,996から1,411へ減った。
障害記録には全テスト実行の比較があり、コアのログ行が610,996から1,411へ、取得ログ量が63 MBから388 KBへ減った。記録されたテスト実行の測定であって、本番トラフィックのベンチマークや修正後メモリーの実測ではない。ログ変更だけでは別の終了タイムアウトを直せず、それには別の修正が必要だった。
C上にSwift 6の厳密並行処理を採用
インターフェースに必要な順序がイベントごとのタスク生成で失われると確認し、独自アクターを用いずSwift 6の完全な厳密並行処理を採用。ブロッキングCイベントループとメインアクターを、生産者1つ、消費者1つ、順序1つで接続した。
抑制なしの完全検査でコンパイルでき、順序は期待でなく構造となった。一方、全体が1消費者を通るため可能なほど並列ではない。ここが制約になれば、安全に並べ替えられるイベントを導出し直す必要がある。それは、まさに今回避けた分析だった。
全FFI呼び出しを検証する構文解析器を作成
手書きの仮Cヘッダーで、削除済みの3関数を呼んでもコンパイル・リンクが通り実行時に落ちた問題を受け、実際の7,308行のCヘッダーを読み、全呼び出し箇所、列挙定数、ポインター所有クラスのfinal指定を検証する構文解析器を作成した。
古い参照は実行時でなくビルド時に失敗するため、元のクラッシュの種類を防げる。限界は宣言を理解しても意味は理解しないことであり、同名・同シグネチャのまま上流が意味や所有規則を変えても、無指摘で通る。
テスト群を8.9秒に短縮
メインスレッドを測定し、4,017サンプル中3,989サンプルを費やす2つの呼び出しを除去。6テストで60秒の制限を超えていたテスト群を、135テストが8.9秒で通る状態に改善した。
6テストが60秒超、実時間74秒の状態から、135テストが8.9秒で通り、保存ごとに実行できる範囲へ入った。ただし共有固定データは結合点で、変更するテストが別テストを壊し得る。速度はコンパイラーが守らない読み取り専用の規律に依存する。
全17アイコンに読み上げ用の名前を付与
送信ボタンが「arrow up circle, button」と読み上げられる問題を受け、アイコンだけの全操作要素にスクリーンリーダー用の名前を付け、アイコンから8行以内のラベルを必須とする静的検査を作成した。
17操作が機能を読み上げ、18個目はラベルなしに追加できなくなった。ただし隣のビューのラベルでも満たし得るため、近くの存在を証明するだけで正しさは証明しないと定義箇所に記した。正確さには今も誰かが聞く必要がある。
48トークンのmacOSデザインシステムを構築
プラットフォーム標準のガラス素材を使った48トークンのデザインシステムを構築し、マジックナンバー、固定文字サイズ、「動きを減らす」設定を無視するアニメーションを拒否する静的検査を作成した。
48トークンが全画面を表し、外観はシステムに従い、3種の崩れをコミットできなくなった。ただし体系は一貫性を制限しても品質を判断しない。すべて合うことと、良い設計であることは別で、どの検査もその判断はしない。
未使用だったコアの半分の機能を実装
バックアップ転送、消えるメッセージ、編集・再送、確認済み招待、プロキシ、暗号化方針など、アプリケーションが未使用だったメッセージングコアの半分の機能に対応し、モックなしで実ライブラリに対して全テストを実行した。
以前未到達だった半分を、実ライブラリ相手の試験で動かし、ラッパーに最も高いカバレッジ下限を設けた。実ライブラリは遅く、環境要因でも失敗し得るという、速度と決定性の代償がある。それは本当の理由で失敗できるための費用だった。
利用者を責めないエラーメッセージに改訂
実際にはプロバイダーがアプリ専用パスワードを要求していたのに、サインイン拒否を利用者の入力誤りとするエラー表示を受け、文書化した文体基準に従ってメッセージを書き直し、プロバイダー名を明示するテストを加えた。
エラーは基準に従い、契機の例は旧文で失敗する試験を持った。ただし基準はレビューと1文の1試験で守られ、他の特殊要件を持つ事業者に同じ試験はない。範囲拡大は未解決で、種類ごと閉じたのでなく文書化した状態である。
2点の図からビジュアルアイデンティティを構築
手描きの2点の図から会社のアイコンとファビコン一式を構築し、すべての派生素材をスクリプトで再生成できるようにして、元ファイルより先に派生ファイルがコミットされた場合は検査で失敗させた。
タブを含む全アイコンが1原画・1コマンドから生まれ、古い素材でビルドが失敗するようになった。派生物はどこでも構築できるようコミットするが、外観変更には生成ツールが動く必要があり、原画形式が読めなくなれば全体を失うという強い依存は残る。
6収集処理が省略した入力を明示
6つのレポート収集処理が、未読ファイル、未導入の検査、認識できなかったjournal行など、読み取れなかった入力範囲を明示するよう変更。収集不能と正常なホストが同じページになると確認し、116件の実測サンプルから閾値を定めた。
数値ページに結果と死角が並ぶようになった。自己測定は品質ゲートではなく、時間上限もないため2倍になっても見えるだけで止めないと明記した。上限には実ホストの基準が必要で、今回意図的に創作しなかった。既存のしきい値は日平均に適用されるため、1分間のピークが平均に埋もれることがある。