Époque (epoch)

Une époque (epoch) désigne un passage complet de l'algorithme d'entraînement sur l'intégralité du jeu de données d'apprentissage : à la fin d'une époque, chaque exemple d'entraînement a été « vu » exactement une fois par le modèle. L'entraînement d'un réseau de neurones se déroule presque toujours sur plusieurs époques (souvent des dizaines, voire des centaines) : à chaque passage, le modèle ajuste un peu plus ses paramètres pour réduire son erreur. Comme un jeu de données est rarement traité d'un seul bloc (faute de mémoire), chaque époque est découpée en lots (batches) ; le nombre de mises à jour des poids par époque vaut le nombre d'exemples divisé par la taille du lot. Le nombre d'époques est un hyperparamètre clé : trop peu, le modèle n'a pas assez appris (sous-apprentissage) ; trop, il risque de mémoriser les données au lieu de généraliser (surapprentissage). On surveille donc une courbe de validation pour arrêter l'entraînement au bon moment (early stopping). L'époque est l'unité « macro » de l'entraînement, à distinguer de l'itération (unité « micro », une mise à jour des poids).