搜索...
Ctrl
K
人工智能
机器学习
信息论中的熵
什么是熵
热力学中的熵：是表示分子状态混乱程度的物理量。
信息论中的熵：用来描述信源的不确定性的大小。
常用熵
信息熵
H
(
U
)
=
E
[
−
log
p
i
]
=
−
∑
i
=
1
n
p
i
log
p
i
H(U) = E[-\log{p_i}] = -\sum\limits_{i=1}^n{p_i\log{p_i}}
H
(
U
)
=
E
[
−
lo
g
p
i
]
=
−
i
=
1
∑
n
p
i
lo
g
p
i
交叉熵
H
(
P
,
Q
)
=
−
∑
x
∈
X
P
(
x
)
log
Q
(
x
)
=
∑
x
∈
X
P
(
x
)
log
1
Q
(
x
)
H(P,Q) = -\sum\limits_{x\in X}P(x)\log{Q(x) = \sum\limits_{x\in X}P(x)\log{\frac{1}{Q(x)}} }
H
(
P
,
Q
)
=
−
x
∈
X
∑
P
(
x
)
lo
g
Q
(
x
)
=
x
∈
X
∑
P
(
x
)
lo
g
Q
(
x
)
1
相对熵
D
K
L
(
P
∣
∣
Q
)
=
∑
x
∈
X
P
(
x
)
log
1
Q
(
x
)
−
∑
x
∈
X
P
(
x
)
log
1
P
(
x
)
=
∑
x
∈
X
P
(
x
)
log
P
(
x
)
Q
(
x
)
D_{KL}(P||Q) = \sum\limits_{x \in X}P(x)\log{\frac{1}{Q(x)}} - \sum\limits_{x\in X}P(x)\log{\frac{1}{P(x)}} = \sum\limits_{x\in X}P(x)\log{\frac{P(x)}{Q(x)}}
D
K
L
(
P
∣∣
Q
)
=
x
∈
X
∑
P
(
x
)
lo
g
Q
(
x
)
1
−
x
∈
X
∑
P
(
x
)
lo
g
P
(
x
)
1
=
x
∈
X
∑
P
(
x
)
lo
g
Q
(
x
)
P
(
x
)
条件熵
H
(
x
∣
y
)
=
∑
i
=
1
n
∑
j
=
1
n
p
(
y
i
)
p
(
x
i
∣
y
i
)
log
p
(
x
i
∣
y
i
)
H(x|y) = \sum\limits_{i=1}^n\sum\limits_{j=1}^np(y_i)p(x_i|y_i)\log{p(x_i|y_i)}
H
(
x
∣
y
)
=
i
=
1
∑
n
j
=
1
∑
n
p
(
y
i
)
p
(
x
i
∣
y
i
)
lo
g
p
(
x
i
∣
y
i
)
互信息
I
(
X
;
Y
)
=
H
(
X
)
−
H
(
X
∣
Y
)
=
∑
x
,
y
p
(
x
,
y
)
log
p
(
x
,
y
)
p
(
x
)
p
(
y
)
I(X;Y) = H(X) - H(X|Y) = \sum\limits_{x,y}p(x,y)\log{\frac{p(x,y)}{p(x)p(y)}}
I
(
X
;
Y
)
=
H
(
X
)
−
H
(
X
∣
Y
)
=
x
,
y
∑
p
(
x
,
y
)
lo
g
p
(
x
)
p
(
y
)
p
(
x
,
y
)
上一页
线性回归
下一页
隐马尔科夫模型
最后更新于
3年前
这有帮助吗？
