批规范化(Batch Normalization)的好处都有啥?

2791 次浏览
  • A、让每一层的输入的范围都大致固定
  • B、它将权重的归一化平均值和标准差
  • C、它是一种非常有效的反向传播(BP)方法
  • D、这些均不是
batch normalization 就是对数据做批规范化,使得数据满足均值为0,方差为1的正太分布。其主要作用是缓解DNN训练中的梯度消失/爆炸现象,加快模型的训练速度。但是注意是对数据做批规范化,不是对权重。BN的优点:①极大提升了训练速度,收敛过程大大加快;②增加了分类效果,一种解释是这是类似于Dropout的一种防止过拟合的正则化表达方式,所以不用Dropout或正则化也能达到相当的效果;③简化了调参过程,对于初始化参数权重不太敏感,允许使用较大的学习率
挑战成功
2年前
挑战成功
2年前
挑战失败
2年前
挑战失败
2年前
yny
挑战成功
2年前
yny
挑战失败
2年前
挑战成功
2年前
挑战成功
2年前
挑战成功
3年前
挑战成功
3年前