pytorch——batch_size
·
1 定义
单次训练用的样本数，通常为2^N，如32、64、128
2 提出背景
在batch_size概念没提出之前，神经网络的训练每一个epoch需要将所有的数据一次性加载训练，使得内存负载加大。这样会准确计算梯度方向更准确，但不同梯度值差异过大，无法确定全局的学习率。在这样的条件下，batch_size被提出来了。
3 合适的batch_size训练的优点
- 使内存利用率增大，加快训练速度
- 使梯度方向计算更准确，收敛快
更多推荐
1
0- 0
已为社区贡献1条内容
所有评论(0)