批规范化(Batch Normalization)的好处都有啥？

2655 次浏览
  • A、让每一层的输入的范围都大致固定
  • B、它将权重的归一化平均值和标准差
  • C、它是一种非常有效的反向传播(BP)方法
  • D、这些均不是
小开
答案解析
batch normalization 就是对数据做批规范化，使得数据满足均值为0,方差为1的正太分布。其主要作用是缓解DNN训练中的梯度消失/爆炸现象，加快模型的训练速度。但是注意是对数据做批规范化，不是对权重。BN的优点：①极大提升了训练速度，收敛过程大大加快；②增加了分类效果，一种解释是这是类似于Dropout的一种防止过拟合的正则化表达方式，所以不用Dropout或正则化也能达到相当的效果；③简化了调参过程，对于初始化参数权重不太敏感，允许使用较大的学习率
mshare
挑战成功
1年前
Superzlw
挑战成功
1年前
Superzlw
挑战失败
1年前
Superzlw
挑战失败
1年前
yny
挑战成功
1年前
yny
挑战失败
1年前
yuyongcan
挑战成功
2年前
huanglong
挑战成功
2年前
JordanSalvini
挑战成功
2年前
hanxueer
挑战成功
2年前

提交答案
微信公众号
有课学公众号
  • 微信公众号: geekdaxue