基礎理論

記号X={0,1}が等確率（各1/2）で送信されるとき、エントロピーH(X)として正しいものはどれか。

ア.1ビット正解

イ.0.5ビット

ウ.2ビット

エ.0ビット

解説

エントロピーは「情報源の平均的な不確かさ」。コインが公平なら（表裏1/2ずつ）エントロピーは最大の1ビット——完全に予測不能な1ビット情報源の象徴的な例。

なぜアが正解か

アが正解。H(X) = -Σ p(x)×log₂(p(x))。p(0)=p(1)=1/2。H(X) = -(1/2×log₂(1/2) + 1/2×log₂(1/2))。= -(1/2×(-1) + 1/2×(-1))。= -(-1/2 - 1/2)。= 1ビット。等確率の2値情報源は「最も不確かな」情報源でエントロピー最大=1ビット✓。

なぜイは間違いか

0.5ビット。各項の計算結果p×log₂(p)=-0.5を合計せずに1項だけで答えた誤り。H(X)はΣなので全記号について足す。

なぜウは間違いか

2ビット。記号数（2種類）をそのままビット数にした誤り。記号数ではなくlog₂で計算する必要がある。

なぜエは間違いか

0ビット。確率1の確定事象のエントロピー（不確かさゼロ）と混同。1/2の確率では完全な不確かさがある。

出典: AI生成問題（学習用）

← 前の問題

発生確率 1/8 のイベントの自己情報量（情報量）として正しいものはどれか。

次の問題 →

データビット 1011010 に偶数パリティビットを付加した8ビット列として正しいものはどれか。

基礎理論の問題を解くこの分野の問題一覧を見る