情報理論2019

(1) 通信路容量

参考：一様通信路について（講義スライド）

定常情報源におけるエントロピーレートの性質

\(\lim_{t\rightarrow\infty} \frac{1}{t} H(X_1,\dots X_t) = \lim_{t\rightarrow\infty} \frac{1}{t} H(X_t|,X_1\dots X_{t-1})\) から、単純マルコフ情報源においては以下が成立する。

\[\lim_{t\rightarrow\infty} \frac{1}{t} H(X_1,\dots X_t) = H(X_2|X_1)\]

エントロピーレートの最大化基準が機械学習における特徴選択に利用されるらしい。

定義に従って忠実に。

各10点（50点満点）

コメントはGithubレポジトリにIssueとして投稿されます。