情報量

試験終わるまで調べないつもりだったのに。まぁ、ほとんどwikipedia:情報量の転載なのだけど、一応メモ。

定義

情報量というのは、ある事象が発生する確率の対数の符号を逆転したもの。なんだか日常的な意味とはだいぶかけ離れている。事象をとすると情報量は

であらわせる。対数の底は何でもいい(定数倍されるだけ)のだけど、2を使うことが多い。
事象の発生確率が小さいほど、情報量は大きくなる。めずらしいと情報量が多いのだろうか。たとえば、トランプ52枚から特定のカードを一度で引き当てる事象の情報量は。あと、事象が独立のとき、が成り立つ。どういうことかって、さいころを連続して振っていったりすると、その出た目の列の情報量は単純な総和になっている、ということ。さいころを振るごとに加算していける。

単位

さて、情報量は無次元なのだけど、単位がないと呼びにくいのか、底が2のときの情報量には便宜的に[bit]が単位として利用されている。なんだか情報量っぽくなってきたではないか。JISでは[shannon]というらしい。底がeのときは[nat]だってさ。

エントロピー

情報源を観測した場合の情報量の期待値。平均情報量ともいう。ちなみに、コインを投げて表が出る確率がpであるとき、p=0,1のとき(常に表または常に裏)、エントロピーはゼロ。p=0.5のときエントロピーは1で最大になる。一般にすべての事象が等確率であるときエントロピーは最大。