情報量（情報の量）の計算は、IPA 午前四択で繰り返し出題される定番です。式に log₂ が出てくるため身構えがちですが、最大のつまずきは『情報量をどう求めるか』『平均情報量（エントロピー）の重み付け』『ハフマン符号の平均符号長の出し方』の 3 点に集中します。型として整理すれば、確実な得点源に変えられます。
出発点は選択情報量です。n 通りの中から 1 つを特定するのに必要な情報量は log₂ n ビットで求めます。例えば 8 通りなら log₂ 8 ＝ 3 ビット（2³ ＝ 8 だから）、16 通りなら log₂ 16 ＝ 4 ビットです。確率 p で起きる事象の情報量は log₂(1 ÷ p) ＝ −log₂ p で、確率 1/4 の事象なら log₂ 4 ＝ 2 ビット。『何ビットあれば場合の数を表せるか』を 2 の累乗で逆算する、と覚えると log₂ の計算が一瞬で済みます。
次は平均情報量（エントロピー）です。各事象の情報量を、その発生確率で重み付けして足し合わせた『重み付き平均』で、平均情報量 ＝ Σ（各確率 × その事象の情報量）＝ −Σ p × log₂ p で求めます。例えば確率が 1/2・1/4・1/4 の 3 事象なら、(1/2)×1 ＋ (1/4)×2 ＋ (1/4)×2 ＝ 0.5 ＋ 0.5 ＝ 1.5 ビットです（情報量はそれぞれ log₂2＝1・log₂4＝2・log₂4＝2 ビット）。確率が偏るほどエントロピーは小さく、すべて等確率のとき最大になります。
仕上げはハフマン符号の平均符号長です。ハフマン符号化は『出現確率の高い記号に短い符号、低い記号に長い符号』を割り当てて全体を圧縮する手法で、平均符号長 ＝ Σ（各記号の符号長 × 出現確率）の重み付き平均で評価します。例えば A・B・C の出現確率が 0.6・0.3・0.1 で、ハフマン木から A に 1 ビット・B と C に 2 ビットが割り当てられたとすると、平均符号長 ＝ 0.6×1 ＋ 0.3×2 ＋ 0.1×2 ＝ 0.6 ＋ 0.6 ＋ 0.2 ＝ 1.4 ビットです。全記号を一律 2 ビットで表す（固定長）より短くなり、これが圧縮の効果です。エントロピーと平均符号長はどちらも『確率 × ビット数』の重み付き平均なので、同じ型で解けます。
練習問題: 確率が 1/2・1/4・1/8・1/8 の 4 つの事象があるとき、平均情報量（エントロピー）は何ビットでしょうか（ヒント: 各情報量は log₂2＝1・log₂4＝2・log₂8＝3・log₂8＝3 ビット、それぞれを確率で重み付けして足す）。過去問AI の AI コパイロットに『この情報量の問題の解き方を教えて』と聞くと、log₂ の計算から重み付き平均まで手順がステップごとに表示されます。