メインコンテンツへ
基礎理論データサイエンス基礎

機械学習における過学習(Overfitting)と正則化(Regularization)に関する説明として最も適切なものはどれか。

ア.過学習とは訓練データへの適合が不十分な状態を指し、モデルの複雑度を上げることで解消できる。正則化はモデルをより複雑にするための技法である。
イ.正則化を強くかけるほど訓練誤差は減少し、テスト誤差も同様に減少し続ける。したがって、常に最大の正則化強度を選ぶべきである。
ウ.過学習はデータ量が多すぎる場合にのみ発生するため、データを減らすことが唯一の対策である。正則化はデータ量が少ない場合にのみ有効な技法である。
エ.過学習は訓練データには高精度だが未知データへの汎化性能が低い状態。正則化はL1・L2正則化のようにモデルのパラメータ複雑度にペナルティを課し、過学習を抑制する技法。正解

解説

過学習は「丸暗記してしまった受験生」。過去問(訓練データ)は満点だが、本番(テストデータ)で応用が利かない。正則化は「丸暗記にペナルティを課す」先生のしつけ——必要以上に複雑な答えを書こうとすると点を引く。

なぜ エ が正解か

過学習(Overfitting): 訓練データのノイズや細部まで学習しすぎて、汎化性能(未知データへの精度)が低下する現象。訓練誤差は低いがテスト誤差が高い状態。原因: モデルが複雑すぎる・訓練データ不足。正則化(Regularization): 過学習を防ぐ手法の総称。L1正則化(Lasso): パラメータの絶対値の和にペナルティ→スパースな解(一部パラメータを0に)。L2正則化(Ridge): パラメータの二乗和にペナルティ→全パラメータを小さく抑える。Dropout・Early Stoppingも正則化の一種として機能する。

なぜ ア は間違いか

過学習の定義が逆。「訓練データへの適合が不十分」なのは未学習(Underfitting)。また正則化はモデルを複雑にするのではなく、複雑度にペナルティを課して汎化を促す。

なぜ イ は間違いか

正則化を強くしすぎると未学習(Underfitting)が発生し、訓練誤差もテスト誤差も高くなる。適切な正則化強度はハイパーパラメータチューニングで探す。

なぜ ウ は間違いか

過学習はデータ量が少ない場合にも発生する(データが少ないほどモデルが過学習しやすい)。対策はデータ増量・正則化・ドロップアウト・モデル単純化など複数ある。

出典: AI生成問題(学習用)