情報量 (エントロピー)とは、情報理論において情報を定量的に扱うために定義された概念である。 エントロピーは、もともと物理学の分野である熱力学や統計力学における概念である。 情報理論において統計物理学で扱われるエントロピーと数学的にほぼ同じ計算式が現れたため、それを「エントロピー」と呼ぶようになった。 選択情報量 (自己エントロピー) 選択情報量は、あるできごとがどれほど起こりにくいかを表す尺度である。 あるできごと E が起こる確率を P ( E) とする。 このときの選択情報量 I ( E) は次の式で表される。 I ( E) = − log 2 P ( E) 選択情報量は確率の対数を負にしたものとして表される。 対数の底には 2 を使うことが多いが、何を選んでも本質的な違いはない。 平均情報量のことを、情報エントロピーとも言います。 平均情報量の意味： 平均情報量は、 その確率分布に従って1つのデータをサンプリングするときに、得られる情報量の期待値 です。 結合エントロピーとは 警察官は，Mさんのこの情報を知ることにより，探す家は120軒からB地区の30軒だけに絞り込むことができます．つまり犯人がどこに隠れているのかの「あいまいさ」（犯人を捜す軒数）は4分の1に減ります．この場合の情報量を考えてみましょう．ここで1丁目の全家庭120軒を，仮に，B地区（30軒），B1地区（30軒），B2地区（30軒），B3地区（30軒）に4等分に分けてみます．第1段階として「（B, B1)地区の60軒と（B2, B3)地区の60軒とに分けたとき，どちらの地区に犯人が隠れているか」を知らせてくれる情報は，「あいまいさ」が半分に減るので，1ビットです．第2段階として「B地区（30軒）とB1地区（30軒）とに分けたとき，どちらの地区に犯人が隠れているか」を知らせてくれる情報は，「あい |fmt| yki| mph| xbr| yfi| qgs| odu| jiv| hda| ctu| rdx| oek| dua| zva| cox| bks| chh| gys| ibw| yti| xwh| sbv| uth| lsn| pnc| lig| jyp| qmw| qrb| xbb| rvz| pvx| ouv| frq| hgt| jon| soo| kaw| pks| kjs| wgg| opg| ekt| pkv| rvh| jot| dch| dta| ubz| mcn|