Machine learning 为什么每个时代的训练时间差别很大?

Machine learning 为什么每个时代的训练时间差别很大?,machine-learning,keras,conv-neural-network,Machine Learning,Keras,Conv Neural Network,我正在Keras培训一名CNN模特。我发现每个时代的时间在前10个时代几乎相同,每个时代大约140秒。但在随后的历次训练中,每个历次的训练时间增加到500秒左右 那么,有什么问题 184s - loss: 0.2587 - fscore_cloud: 0.8348 - val_loss: 0.1987 - val_fscore_cloud: 0.8781 Epoch 2/2000 163s - loss: 0.1899 - fscore_cloud: 0.8868 - val_loss: 0.1

我正在Keras培训一名CNN模特。我发现每个时代的时间在前10个时代几乎相同,每个时代大约140秒。但在随后的历次训练中,每个历次的训练时间增加到500秒左右

那么,有什么问题

184s - loss: 0.2587 - fscore_cloud: 0.8348 - val_loss: 0.1987 - val_fscore_cloud: 0.8781
Epoch 2/2000
163s - loss: 0.1899 - fscore_cloud: 0.8868 - val_loss: 0.1927 - val_fscore_cloud: 0.8877
Epoch 3/2000
144s - loss: 0.1821 - fscore_cloud: 0.8915 - val_loss: 0.1885 - val_fscore_cloud: 0.8910
Epoch 4/2000
143s - loss: 0.1794 - fscore_cloud: 0.8931 - val_loss: 0.1856 - val_fscore_cloud: 0.8930
Epoch 5/2000
142s - loss: 0.1784 - fscore_cloud: 0.8937 - val_loss: 0.1846 - val_fscore_cloud: 0.8935
Epoch 6/2000
142s - loss: 0.1774 - fscore_cloud: 0.8939 - val_loss: 0.1835 - val_fscore_cloud: 0.8940
Epoch 7/2000
144s - loss: 0.1766 - fscore_cloud: 0.8942 - val_loss: 0.1827 - val_fscore_cloud: 0.8944
Epoch 8/2000
141s - loss: 0.1759 - fscore_cloud: 0.8944 - val_loss: 0.1820 - val_fscore_cloud: 0.8947
Epoch 9/2000
139s - loss: 0.1754 - fscore_cloud: 0.8946 - val_loss: 0.1813 - val_fscore_cloud: 0.8950
Epoch 10/2000
184s - loss: 0.1749 - fscore_cloud: 0.8947 - val_loss: 0.1806 - val_fscore_cloud: 0.8952
Epoch 11/2000
544s - loss: 0.1743 - fscore_cloud: 0.8948 - val_loss: 0.1800 - val_fscore_cloud: 0.8954
Epoch 12/2000
545s - loss: 0.1738 - fscore_cloud: 0.8950 - val_loss: 0.1796 - val_fscore_cloud: 0.8955
Epoch 13/2000
553s - loss: 0.1731 - fscore_cloud: 0.8952 - val_loss: 0.1791 - val_fscore_cloud: 0.8957
Epoch 14/2000
214s - loss: 0.1723 - fscore_cloud: 0.8955 - val_loss: 0.1776 - val_fscore_cloud: 0.8961
Epoch 15/2000
145s - loss: 0.1706 - fscore_cloud: 0.8965 - val_loss: 0.1768 - val_fscore_cloud: 0.8964
Epoch 16/2000
146s - loss: 0.1683 - fscore_cloud: 0.8975 - val_loss: 0.1743 - val_fscore_cloud: 0.8980
Epoch 17/2000
140s - loss: 0.1658 - fscore_cloud: 0.8983 - val_loss: 0.1734 - val_fscore_cloud: 0.8986
Epoch 18/2000
142s - loss: 0.1640 - fscore_cloud: 0.8987 - val_loss: 0.1719 - val_fscore_cloud: 0.8990
Epoch 19/2000
137s - loss: 0.1621 - fscore_cloud: 0.8996 - val_loss: 0.1699 - val_fscore_cloud: 0.9001
Epoch 20/2000
277s - loss: 0.1601 - fscore_cloud: 0.9007 - val_loss: 0.1678 - val_fscore_cloud: 0.9015
Epoch 21/2000
310s - loss: 0.1579 - fscore_cloud: 0.9018 - val_loss: 0.1655 - val_fscore_cloud: 0.9028
Epoch 22/2000
345s - loss: 0.1558 - fscore_cloud: 0.9031 - val_loss: 0.1635 - val_fscore_cloud: 0.9042
Epoch 23/2000
587s - loss: 0.1538 - fscore_cloud: 0.9044 - val_loss: 0.1621 - val_fscore_cloud: 0.9054
Epoch 24/2000
525s - loss: 0.1519 - fscore_cloud: 0.9056 - val_loss: 0.1610 - val_fscore_cloud: 0.9061
Epoch 25/2000
579s - loss: 0.1500 - fscore_cloud: 0.9068 - val_loss: 0.1597 - val_fscore_cloud: 0.9069
Epoch 26/2000
557s - loss: 0.1485 - fscore_cloud: 0.9075 - val_loss: 0.1575 - val_fscore_cloud: 0.9078
Epoch 27/2000
530s - loss: 0.1469 - fscore_cloud: 0.9084 - val_loss: 0.1561 - val_fscore_cloud: 0.9083
Epoch 28/2000

要回答你的问题,我们需要知道你实际上在做什么。批量大小数据?。。。其他进程可能会占用CPU/GPU的资源?是否使用
回调
?我发现这个问题与GPU有关,其他一些程序可能会分配GPU资源。因此,每个历元的进程时间有很大不同。要回答您的问题,我们需要知道您实际做了什么。批量大小数据?。。。其他进程可能占用您的CPU/GPU的资源?您是否使用
回调
?我发现这个问题与GPU有关,其他一些程序可能会分配GPU资源。因此,每个历元的处理时间相差很大。