開発技術開発実践

A/Bテストにおける統計的有意差の解釈として、最も適切なものはどれか。

ア.p値が有意水準（例：0.05）を下回ったとき、観測された差が偶然生じた確率が低いと判断でき、AとBの差に統計的有意性があるといえる。ただし有意差があることと効果が大きいことは別の概念である。正解

イ.p値が0.05を下回れば、バリアントBがAより必ず優れていることが100%証明され、そのまま本番展開を決定できる。

ウ.有意水準は検定対象のサービスの売上に基づいて決まる値で、売上が高いサービスほど有意水準を高く設定する必要がある。

エ.A/Bテストで有意差が出なければ、AとBの効果が完全に同一であることが統計的に証明されたといえる。

解説

統計的有意差は「偶然じゃない可能性が高い」という意味で、「絶対に優れている」という意味ではない。コインを100回投げて60回表が出ても「コインが怪しい」とは言い切れないが、1000回投げて600回なら怪しいと判断できる——それが有意差の感覚。

なぜアが正解か

アが正解。p < 0.05は「帰無仮説（差がない）が成り立つ世界でこの結果が偶然起きる確率が5%未満」という意味。有意差 ≠ 効果量（Effect Size）であり、サンプルが大きければわずかな差でも有意になる。実務ではp値だけでなく信頼区間と効果量も確認することが重要。

なぜイは間違いか

p < 0.05は100%の証明ではない。5%の確率で偽陽性（本当は差がないのに差があると判断）が起きる。また有意差があっても効果が小さすぎてビジネス的意味がない場合もある。

なぜウは間違いか

有意水準は事前に研究者・分析者が設定するもの（一般的に0.05または0.01が慣習）。売上などのビジネス指標に連動して決まるものではない。

なぜエは間違いか

有意差がないことは「差がある証拠が不足」を意味するだけで、「差がないことの証明」ではない。第二種過誤（差があるのに検出できない）の可能性がある。

出典: AI生成問題（学習用）

← 前の問題

Feature Flag（フィーチャーフラグ）の主な目的として、最も適切なものはどれか。

次の問題 →

テスト環境管理のベストプラクティスとして、最も適切なものはどれか。