負荷テスト

どのようなものか

負荷テストは、予定した量の模擬通信をシステムへ送り、それを受け持つ間
の動作を測ります。応答時間、失敗したリクエスト数、維持できるスルー
プット、サーバーが使う資源などです。スクリプトが多数の利用者を同時に
演じ、k6は、それぞれを仮想ユーザーと呼びます。負荷テストを行うという
活動に対し、一回のテストは、負荷の形、実行時間、合格条件を定めた一度
の実行です。

広い意味でも、狭い意味でも使う言葉です。Grafana
Labsのk6文書は、かける負荷で分類します。スモークテストは、少数の仮想
ユーザーで、スクリプトが動くことを確かめます。平均負荷テストは、通常
の本番の一日を模擬します。ストレステストはその平均を超え、ソークテス
トは平均負荷を何時間も保ち、スパイクテストは、突然の非常に大きい負荷
を数分間与え、限界点テストは、何かに支障が出るまで負荷を上げ続けま
す。「負荷テスト」が模擬通信の試験全般を指すため、k6は、狭い意味を平
均負荷テストと呼び、通常の一日を試すテストや、ボリュームテストと呼ぶ
チームもあると記します。ガイドも「これらの試験の名称にさえ合意がな
い」と率直です。分類も相対的で、一つのアプリケーションに厳しい負荷
が、別のものには普通の一日です。

負荷テストは、機能テストではありません。購入手続きの処理が買い物かご
の合計を正しく計算するかでなく、現実的な数の利用者が使う間も応答する
か、どれほど速いかを問います。両方が必要です。不正なリクエストを高速
に送るスクリプトは、拒否する速さだけを測るからです。

なぜ重要なのか

どのシステムにも、処理が追い付かなくなる通信量があり、問題は誰が先に
見つけるかです。テストを普通のPythonで書くオープンソースの負荷テスト
ツールLocustは、入門文書でその挙動を示します。ユーザーを増やすと、例
では約20人のところで、応答時間が急増し、さらに人が来ても、毎秒のリク
エスト数が増えなくなります。文書は、対象が過負荷、または飽和したと呼
びます。この折れ曲がる点が、構成図の約束でなく、実装したシステムの処
理能力です。顧客の前でなく、事前の試験で見つける方が、はるかに安く済
みます。

折れ曲がる点へ向けて増やす過程だけでも、情報があります。k6の平均負荷
テストのガイドは、まだ負荷を増やしている間に、最初の結果が出ると説明
します。通信量とともに応答時間が悪くなるか、予定の負荷に届く前に失敗
するかです。その後の一定負荷の区間では、性能と資源使用が安定するかを
調べます。まさにその間に、不安定になるシステムもあるためです。

負荷テストは、性能を意見でなく、合否の条件にもします。k6では、失敗す
るリクエストが1%未満、応答の95%が200
ms以内など、指標の合否を決めるしきい値をスクリプトに書けます。k6の文
書によると、サービスレベル目標を、こうしたしきい値で記すこともよくあ
ります。k6は、すべて満たせば終了コード0、一つでも満たさなければゼロ
以外で終了します。グラフを誰も読まずに、サービスを遅くしたリリース
を、パイプラインが拒否できます。

実際の活用例

特売を準備する店を考えます。大半の通信は、商品を買えない人からなの
で、耐えるべき応答は「売り切れ」で、その経路を先に試します。次はk6で
書いたテストです。固定人数でなく、指定した率でリクエストを開始し、三
分かけて毎秒2,000件まで増やし、二十分保ってから減らします。平均負荷
に関するk6のガイドどおり、増加は全体の5から15%、一定区間は少なくとも
増加時間の五倍、減少も増加とほぼ同じ長さです。チケット販売、製品公
開、季節の特売にk6が勧めるスパイクテストは、その後、ほぼ立ち上がりな
しで行う想定です。この試験は、まず一定の率で、売り切れの応答が持ちこ
たえることを確かめます。

```javascript
import http from 'k6/http';

export const options = {
  scenarios: {
    sold_out: {
      executor: 'ramping-arrival-rate',
      startRate: 0,
      timeUnit: '1s',
      preAllocatedVUs: 400,
      stages: [
        { target: 2000, duration: '3m' },
        { target: 2000, duration: '20m' },
        { target: 0, duration: '3m' },
      ],
    },
  },
  thresholds: {
    http_req_failed: ['rate<0.01'],
    http_req_duration: ['p(95)<200'],
    dropped_iterations: ['count<1'],
  },
};

export default function () {
  http.get('https://shop.example/sale/items/4711');
}
```

`k6 run
sold-out.js`で実行します。仮想ユーザー数は推計で、k6の文書は、反復時
間の中央値に率を掛け、余裕を足す式を示します。毎秒2,000件、一件が約
十分の一秒なら、同時に200人が稼働し、400人なら余裕があります。応答が
遅ければ、一反復が長くなり、プールが尽き、空きユーザーがいない各反復
を、k6が`dropped_iterations`へ記録します。三つ目のしきい値は、そのた
めです。落とした反復があれば、試験は主張する負荷を送れていません。k6
も、生成器が反復を落とすときは、システム自身が遅くなっている可能性が
あると記します。残る二つは、リクエストの失敗が1%以上、または第95パー
センタイルが200
ms以上なら、実行を不合格にします。

この想定は、最後のチケットを、厳密に一度だけ売るという、このサイトの
ノートに基づきます。百万人の買い手に一万個なら、990,000件を拒否する
ため、拒否が最も安い応答でなければならないと説明します。設計を証明す
る節には、拒否経路の負荷テストもあります。通信の99%になっても売り切
れの応答は速く、ネットワークの端で吸収する必要があります。購入成功だ
けを試すのは、処理能力を見極めるうえで最も重要度の低い1%だけを測るこ
とです。

問題が起きるところ

測る相手を、試験が待ちます。
k6がクローズドモデルと呼ぶ方式では、各仮想ユーザーは、前の反復が終わ
るまで次を始めません。サーバーが遅くなると、ユーザーも遅くなり、到着
率が下がって、予定より穏やかな試験になります。k6によれば、文献の一部
で、これを応答待ちによる測定漏れ（coordinated
omission）と呼びます。実際の訪問者は、互いを待ちません。一定のリクエ
スト率に耐えられるかが問いなら、応答時間にかかわらず、予定どおり反復
を始める、`constant-arrival-rate`や`ramping-arrival-rate`などのオー
プンモデルの実行器を使います。

負荷生成器がボトルネックになります。
テストのマシンで、仮想ユーザー、CPU、メモリーが足りなければ、測るの
は対象でなく生成器です。k6は、大半の場合、`maxVUs`を勧めません。実行
中のユーザー追加はCPUとメモリーを使い、生成器を過負荷にし、結果を歪
め得るためです。少数のローカル試行で、先に`preAllocatedVUs`を決め、
`dropped_iterations`を見ます。一台で足りなければ、Locustは、一つのマ
スタープロセスと多数のワーカーで、複数台へ負荷を分けます。

最初の実行で、最大の負荷をかけます。
k6の文書によると、何千人もの利用者が、アプリケーションやステージング
環境をすぐに落とす負荷テストを実行してきました。少数の仮想ユーザーの
スモークテストで、スクリプトと環境を確かめ、次に平均負荷、その後で初
めてストレステストを行います。k6は、この順序を不可欠とします。低い負
荷でも出る問題は、高くする前の方が、ずっと見つけやすいものです。

負荷が、ジェットコースターのように上下します。
何度も上下する形は、資源を無駄にし、どの変化が、どの症状を生んだかを
分かりにくくします。k6は、一度に一方向を勧めます。増やし、一定に保
ち、減らします。実行間でも、想定、データ、環境を同じにして、二つの結
果を比較できるようにします。

合格の意味を決めていません。
基準がなくグラフだけが残る実行結果は、人によって解釈が異なり、たいて
い甘く評価されます。サービスの目標に基づき、実行前にしきい値を書き、
終了コードで決めます。長い試験では、k6の`abortOnFail`で、しきい値に
違反したらすぐに中止できます。`delayAbortEval`は、意味のある数の標本
が集まる前の中止を防ぎます。

一種類のテストを、答えのすべてとみなします。
平均負荷テストは、数秒で殺到する特売をほとんど説明せず、スパイクテス
トは、一定負荷の数時間後にだけ出る不具合を、ほとんど説明しません。k6
は、一種類で全リスクを除けず、リスクの性質が組み合わせを決めると明言
します。長時間利用にリスクがあれば、まずソークテストを、集中利用にあ
れば、ストレステストを必要とします。急増時には、普段は一度も動かない
処理が動くこともあり、スクリプトには、それも含めます。

参考資料

  * 負荷テストの種類 —
スモーク、平均負荷、ストレス、ソーク、スパイク、限界点の各テストを、
典型的な負荷と長さで示す、k6の概要です。

  * 平均負荷テスト — 増加、一定区間、減少の形と、それぞれから読み取
るものです。

  * しきい値 — k6の合否基準、その構文、しきい値違反が終了コードを決
める方法です。

  * オープンモデルとクローズドモデル — 応答を待つユーザーを持つ試験
が、遅いシステムの問題を過小評価する理由です。

  * 到着率に合わせた仮想ユーザーの確保 — オープンモデルに必要な人数
と、開始できずに落とした反復の意味です。

  * Locustとは — Pythonで書く負荷テストツールと、その分散実行につい
ての、Locustの文書自身による説明です。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/load-test/	engineer.company	70
