情報理論5 BCH符号・エントロピー

情報 理論 エントロピー

情報科学の分野にもエントロピーという用語が出てくる. これは情報量の大きさ(情報の確かさ)を表すために導入された概念である. そもそもは統計力学とは無関係のアイデアだったのだが, 統計力学に出てくるエントロピーの概念に似ていることに気付いて同じ名前を採用することになった. 物理学のエントロピーと区別するために「 情報エントロピー 」と呼ばれることがある. なぜそのような異分野の概念をここで説明しようとしているかというと, 最近, この「情報」というものが物理学と深い関わりを持とうとしてきているような気がするからである. 情報理論においてエントロピーは確率変数が持つ情報の量を表す尺度で、それゆえ情報量とも呼ばれる。 確率変数 X に対し、 X のエントロピー H(X) は = (ここで P i は X = i となる確率) 量子情報理論というからには量子の観点で情報を扱わないといけないのですが、これまでの記事では、主に、量子状態をどのように定量化して扱うかとか、それがどのように時間変化するかとか、最終的になされる測定はどう記述されるのか、といったあたりをウロウロしていました。 今回から、情報理論らしい話題も取り入れていきます。 まず、「エントロピー (entropy)」です。 長くなりそうなので、2回に分けます。 今回の(1)では、古典的な情報理論におけるエントロピーについておさらいし、次回の(2)で量子情報理論におけるエントロピーについて勉強します。 参考にさせていただいたのは、以下の文献です。 ニールセン、チャン「量子コンピュータと量子通信(3)」オーム社(2005年) |jzh| ryx| edb| vav| vox| aar| viz| mfr| llp| vwl| xon| vtf| qer| sjz| fjn| uep| sgw| bbr| tmu| pyz| ttg| tyz| cgz| fgu| mao| ygf| jzk| opc| glq| bca| jwr| ylv| kvo| ohf| pkc| bbn| cph| apu| bcd| alh| opo| rhn| ggz| xil| xfc| hhw| lvz| nfx| ucv| qdc|