Processing math: 100%

km-trends

Edit this page Report an issue

情報理論2019

(1) 通信路容量

参考:一様通信路について(講義スライド

(2) 定常状態における出現回数

(3) エントロピーレート

定常情報源におけるエントロピーレートの性質

limt1tH(X1,Xt)=limt1tH(Xt|,X1Xt1) から、単純マルコフ情報源においては以下が成立する。

limt1tH(X1,Xt)=H(X2|X1)

エントロピーレートの最大化基準が機械学習における特徴選択に利用されるらしい。

参考:某サイトの記事Wikipedia

(4)(5) 条件付きエントロピー

定義に従って忠実に。

配点例

各10点(50点満点)

コメント欄(beta)

コメントはGithubレポジトリにIssueとして投稿されます。