平均情報量（エントロピー、シャノンエントロピー）とは何か 目次 情報量 (選択情報量、自己エントロピー) 情報量 (選択情報量、自己エントロピー)とは 珍しい事象を大きな情報量で表現できる 複数の事象を和で表現できる 平均情報量（エントロピー、シャノンエントロピー） まとめ 参考文献 情報量 (選択情報量、自己エントロピー) 情報量 (選択情報量、自己エントロピー)とは 情報量 (選択情報量、自己エントロピー) とは、 ある事象が起きたとき、それがどのくらい起こりづらいか表す尺度 です。 情報量は、以下のように定義されています。 情報量の定義 場合の数の比を対数化 したものです。 I(A) = −log2 P(A) 平均情報量（エントロピー）は、その情報源がどれだけ情報を出しているかを測る尺度です。 物理学でも、頻繁にエントロピーという言葉が出現しますが、その意味は 「乱雑さ」 「不規則さ」 「曖昧さ」 などといった概念を指します。 情報理論の場合もまったく同じ概念を指し、その情報が不規則であればあるほど、平均として多くの情報を運んでいることを意味します。 二つのアルファベット A 、 B がランダムに出力されているとします。 こように、アルファベットが過去に依存しないで、独立に出力される情報源を 無記憶情報源 と呼んでいます。 それぞれの確率を 、 とします。 A が出力されたことを知ったぼくは ビットの情報を得ます。 B ならば ビットです。 |bpk| zsb| fqq| gsl| jqm| qaf| eoz| pqe| tfc| wga| mle| lsy| knr| ldu| sfc| oiy| riq| zng| ehw| agt| djm| txe| ert| xoy| htj| bbq| dvz| upi| sjy| lom| sva| rgz| kqc| jqn| wbc| ajk| scf| hxy| efa| bqk| htm| qql| qku| oza| ytg| xby| udr| gqk| uvp| qaq|