机器学习中的基本问题——log损失与交叉熵的等价性

1、log损失

log损失的基本形式为:

log(1+exp(m)) l o g ( 1 + e x p ( − m ) )

其中, m=yy^ m = y ⋅ y ^ y{1,1} y ∈ { − 1 , 1 }

对上述的公式改写:

1mi=1mlog(1+exp(y(i)y(i)^)) ⇒ 1 m ∑ i = 1 m l o g ( 1 + e x p ( − y ( i ) ⋅ y ( i ) ^ ) )

已知:
σ(x)=11+exp(x) σ ( x ) = 1 1 + e x p ( − x )

σ(x)=1σ(x) σ ( x ) = 1 − σ ( − x )

1mi=1mlog(σ(y(i)y(i)^)1)=1mi=1mlogσ(y(i)y(i)^) ⇒ 1 m ∑ i = 1 m l o g ( σ ( y ( i ) ⋅ y ( i ) ^ ) − 1 ) = − 1 m ∑ i = 1 m l o g σ ( y ( i ) ⋅ y ( i ) ^ )

2、交叉熵

交叉熵的一般形式为:

H(y,y^)=ylogσ(y^) H ( y , y ^ ) = − ∑ y ⋅ l o g σ ( y ^ )

对于 m m 个样本,则交叉熵为:

H(y,y^)=1mi=1m[I{y(i)=1}logσ(y^)+I{y(i)=1}log(1σ(y^))]

H(y,y^)=1mi=1m[I{y(i)=1}logσ(y^)+I{y(i)=1}logσ(y^)] H ( y , y ^ ) = − 1 m ∑ i = 1 m [ I { y ( i ) = 1 } ⋅ l o g σ ( y ^ ) + I { y ( i ) = − 1 } ⋅ l o g σ ( − y ^ ) ]

由于 y(i){1,1} y ( i ) ∈ { − 1 , 1 } ,且必定为其一。
I{y(i)=k}={01 if y(i)k if y(i)=k ⇒ I { y ( i ) = k } = { 0  if  y ( i ) ≠ k 1  if  y ( i ) = k

H(y,y^)=1mi=1mlogσ(y(i)y(i)^) H ( y , y ^ ) = − 1 m ∑ i = 1 m l o g σ ( y ( i ) ⋅ y ( i ) ^ )

我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页