Encodeur-décodeur

L'architecture encodeur-décodeur (encoder-decoder) est un type de réseau de neurones composé de deux modules complémentaires. L'encodeur lit l'entrée (par exemple une phrase) et la transforme en une représentation intermédiaire compacte – un vecteur ou une séquence de vecteurs – qui en résume le sens. Le décodeur part de cette représentation pour générer la sortie, le plus souvent de façon autorégressive (token par token). Ce schéma est au cœur des modèles de séquence à séquence (seq2seq), historiquement utilisés pour la traduction automatique : l'encodeur « comprend » la phrase source, le décodeur « rédige » la phrase cible. Le Transformer original (« Attention Is All You Need », 2017) est lui-même une architecture encodeur-décodeur, où chaque module empile des couches d'attention. Selon la tâche, on n'utilise parfois qu'une moitié : les modèles de type BERT sont surtout des encodeurs (compréhension), tandis que les modèles de génération comme GPT sont surtout des décodeurs (production). Comprendre cette séparation aide à saisir comment une IA passe d'une entrée à une sortie de nature parfois différente.