メインコンテンツへ
開発技術テスト技術

A/Bテストの説明として、最も適切なものはどれか。

ア.アルファ版とベータ版の二段階で製品をリリースし、段階的にユーザを増やしながら品質を検証するリリース戦略
イ.テストケースを「A(正常系)」と「B(異常系)」の二種類に分類して管理するテスト設計の手法
ウ.二つのバリアント(AとB)をユーザにランダムに提示し、どちらがより高いコンバージョン率などの指標を達成するか統計的に比較する手法正解
エ.ソフトウェアの二つのバージョン(AとB)を同時に本番稼働させて、バグが発生した方のバージョンを即座に廃棄するデプロイ手法

解説

A/Bテストは「看板の色を変えたら来客数が増えるか、実際に試してみる」実験。半分のお客さんに赤い看板、半分に青い看板を見せて、どちらが入店率が高いかデータで判定します。

なぜ ウ が正解か

A/Bテスト(Split Test)はユーザをランダムに二グループに分け、それぞれ異なるバリアント(UIデザイン・コピー・機能など)を提示して、クリック率・購入率・滞在時間などの指標で統計的に優劣を比較する手法です。仮説検定を用いて偶然でない差かを確認します。WebサービスやマーケティングでKPI改善に広く使われます。

なぜ ア は間違いか

アルファ版・ベータ版の段階的リリースは「アルファ/ベータテスト」または「段階的ロールアウト」の説明です。A/Bテストとは異なる概念です。

なぜ イ は間違いか

正常系・異常系のテスト分類はテスト設計における「ポジティブテスト」と「ネガティブテスト」の概念であり、A/Bテストとは関係ありません。

なぜ エ は間違いか

二つのバージョンを同時稼働させてトラブル時に切り替える手法は「ブルーグリーンデプロイメント」に近い概念です。A/Bテストはデプロイ戦略ではなく、ユーザ行動を測定する実験手法です。

出典: AI生成問題(学習用)