A/B テストの進め方
A/B テストの設計と分析についての説明として、最も適切なものを1つ選べ。
- A
必要なサンプルサイズと評価指標を事前に決め、途中結果を見て有意になったところで止めることはしない。
- B
結果を毎日見て、最初に有意になった時点で、すぐに結論を出す。
- C
サンプルサイズは決めず、差が出るまで続ける。
- D
評価指標は、結果を見てから、良い値が出たものを選ぶ。
正解と解説を見る
正解：A
A/B テストでは、仮説・評価指標・サンプルサイズを事前に決め、予定の期間（件数）が終わってから検定する。結果を見て指標や止める時点を選ぶと、結論が歪む。
- A
正しい。途中で何度も検定すると、偽陽性が増える（ピーキング）。
- B
誤り。偽陽性が増える。
- C
誤り。結果が歪む。
- D
誤り。選択に偏りが生じる。
このサイトの問題は、各試験の公式に示された出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人Pythonエンジニア育成推進協会の公式サービスではありません。