1 epoch
????????當一個完整的數(shù)據(jù)集通過神經網絡一次并且返回一次的過程稱為一個epoch。
然而，當一個epoch對于計算機太過龐大時，就需要把它分成多個小塊。
2 batch
????????在不能將數(shù)據(jù)一次性通過神經網絡的適合，就需要將數(shù)據(jù)集分成幾個batch。
3 batch_size
????????直觀的理解
????????一個batch中的樣本總數(shù)（一次訓練所選取的樣本數(shù)）。
????????batch_size的大小影響模型的優(yōu)化程度和速度。同時其直接影響到GPU內存的使用情況，假如你GPU顯存不大，該數(shù)值最好設置小一點。
????????提出batch_size的原因的原因
????????在沒有使用Batch Size之前，這意味著網絡在訓練時，是一次把所有的數(shù)據(jù)（整個數(shù)據(jù)庫）輸入網絡中，然后計算它們的梯度行反向傳播，由于在計算梯度時使用了整個數(shù)據(jù)庫，所以計算得到的梯度方向更為準確。但在這情況下，計算得到不同梯度值差別巨大，難以使用一個全局的學習率，所以這時一般使用Rprop這種基于梯度符號的訓練算法，單獨進行梯度更新在小樣本數(shù)的數(shù)據(jù)庫中，不使用Batch Size是可行的，而且效果也很好。但是一旦是大型的數(shù)據(jù)庫，一次性把所有數(shù)據(jù)輸進網絡，肯定會引起內存的爆炸。所以就提出Batch Size的概念。
batch_size設置合適時的優(yōu)點
1、通過并行化提高內存的利用率。就是盡量讓你的GPU滿載運行，提高訓練速度。
2、單個epoch的迭代次數(shù)減少了，參數(shù)的調整也慢了，假如要達到相同的識別精度，需要更多的epoch。文章來源：http://www.zghlxwxcb.cn/news/detail-601718.html
3、適當batch_size使得梯度下降方向更加準確文章來源地址http://www.zghlxwxcb.cn/news/detail-601718.html
到了這里，關于【目標檢測】epoch、、batch、、batch_size理解的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！
