epoch和iteration的区别

epoch和iteration的区别

epoch和iteration区别在于数量的问题。
iteration：1个iteration等于使用batchsize个样本训练一次；
epoch：1个epoch等于使用训练集中的全部样本训练一次；
比如要做100次iteration才等于做1次epoch训练。
epoch和iteration都是指的深度学习中的。
epoch
英 [ˈi:pɒk]   美 [ˈepək]  
n.时期;纪元;世;新时代
复数： epochs
例句：

1 The birth of Christ was the beginning of a major epoch of world history. 
基督诞生是世界历史上一个重要纪元的开端。
2 Two main glacial epochs affected both areas during the last 100 million years of Precambrian times. 
在前寒武纪的最后1亿年中，两个主要的冰川时期对两个地区都产生了影响。
3 The Renaissance was an epoch of unparalleled cultural achievement. 
iteration
英 [ˌɪtəˈreɪʃn]   美 [ˌɪtəˈreʃən]  
n.反复;重述;重述的事;[计算机]循环
文艺复兴是一个文化上取得空前成就的时代。
例句：
1、 This paper improves the inversion accuracy by means of iteration inversion of the sea-watervelocity and bottom velocity. 
同时迭代反演海水速度和海底速度，提高了反演的精度。
2、And gives the formulae of iteration direction and step length. 
并给出了迭代方向和步长的计算公式。
3、We define an iteration as a phase, a milestone, or a period of time. 
我们将一次迭代定义为一个阶段，一个里程碑，或者一个时间段。

补充一下：一般采用的是mini-batch GD训练，但是有些框架（比如caffe）中的SGD就是mini-batch GD，batch_size就是这么来的。严格的SGD拿单个样本来决定梯度下降方向，收敛速度太慢，实际中不会用，只存在于理论中。

深度学习中经常看到epoch、 iteration和batchsize，下面按自己的理解说说这三个的区别：
（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；
（2）iteration：1个iteration等于使用batchsize个样本训练一次；
（3）epoch：1个epoch等于使用训练集中的全部样本训练一次；
举个例子，训练集有1000个样本，batchsize=10，那么：
训练完整个样本集需要：
100次iteration，1次epoch。
关于batchsize可以看看这里。

如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！

点此我要举报以上问答信息