通信路のこと
面倒なので、かなりはしょった説明。厳密なのは近々PCから書きます(自分に圧力)。
二元対称通信路とは、バイナリデータを伝送する経路。送られた情報は、確率Pで正しく受信される。Pが送られた情報に依存しないので「対称」なのかな。
例えば、0が送信される確率をとすると、1が送信される確率は
で、誤り率は
だから、0と1が受信される確率はそれぞれ
と表せる。行列できちんと書けるのだけど、書き方がわからないので今度。
さて、ここでベイズの公式を使ってやると、逆向き確率*1が求められ、どうにかすると「受信した後の情報源のエントロピー」が計算できる。これを受信前のエントロピーから引くと、「通信によって減少したあいまいさ=通信路が伝えた情報量(相互情報量)」が出てくる。のとき、相互情報量は情報源の平均情報量に等しい(はず)*2。つまり、受信後のあいまいさが0ということだ。
この過程を近いうちにまとめるつもり。期待はしないで。
