基礎理論
機械学習における過学習(Overfitting)と正則化(Regularization)に関する説明として最も適切なものはどれか。
ア.過学習とは訓練データへの適合が不十分な状態を指し、モデルの複雑度を上げることで解消できる。正則化はモデルをより複雑にするための技法である。
イ.正則化を強くかけるほど訓練誤差は減少し、テスト誤差も同様に減少し続ける。したがって、常に最大の正則化強度を選ぶべきである。
ウ.過学習はデータ量が多すぎる場合にのみ発生するため、データを減らすことが唯一の対策である。正則化はデータ量が少ない場合にのみ有効な技法である。
エ.過学習は訓練データには高精度だが未知データへの汎化性能が低い状態。正則化はL1・L2正則化のようにモデルのパラメータ複雑度にペナルティを課し、過学習を抑制する技法。正解
解説
過学習は「丸暗記してしまった受験生」。過去問(訓練データ)は満点だが、本番(テストデータ)で応用が利かない。正則化は「丸暗記にペナルティを課す」先生のしつけ——必要以上に複雑な答えを書こうとすると点を引く。
なぜ エ が正解か
過学習(Overfitting): 訓練データのノイズや細部まで学習しすぎて、汎化性能(未知データへの精度)が低下する現象。訓練誤差は低いがテスト誤差が高い状態。原因: モデルが複雑すぎる・訓練データ不足。正則化(Regularization): 過学習を防ぐ手法の総称。L1正則化(Lasso): パラメータの絶対値の和にペナルティ→スパースな解(一部パラメータを0に)。L2正則化(Ridge): パラメータの二乗和にペナルティ→全パラメータを小さく抑える。Dropout・Early Stoppingも正則化の一種として機能する。
出典: AI生成問題(学習用)