Fonction d'activation

Terme Avancé 🧠 Concepts fondamentaux

Mis à jour le 7 juin 2026

Une fonction d'activation introduit de la non-linéarité à la sortie d'un neurone, sans quoi un réseau de neurones ne serait qu'une régression linéaire.

📖 Définition

Une fonction d'activation est une fonction mathématique appliquée à la sortie de chaque neurone d'un réseau de neurones, afin d'introduire de la non-linéarité. Son rôle est essentiel : sans fonction d'activation, empiler des couches de neurones reviendrait à une simple combinaison linéaire, et le réseau entier se réduirait à une régression linéaire incapable d'apprendre des relations complexes. Grâce à elle, le réseau peut modéliser des frontières de décision courbes et des motifs riches. Les fonctions les plus courantes sont la ReLU (Rectified Linear Unit, qui renvoie max(0, x)), très populaire en apprentissage profond pour sa simplicité et son efficacité ; la sigmoïde et la tangente hyperbolique (tanh), qui « écrasent » les valeurs dans un intervalle borné ; et la softmax, utilisée en sortie des classifieurs pour transformer des scores en probabilités. Le choix de la fonction d'activation influence la vitesse d'entraînement et la capacité du réseau à apprendre.

💬 En termes simples

C'est comme un interrupteur intelligent placé à la sortie de chaque neurone : il décide quelle part du signal laisser passer, ce qui permet au réseau de réagir de façon nuancée plutôt que tout ou rien.

🎯 Exemple concret

Avec la fonction ReLU, un neurone qui calcule la valeur −3 renvoie 0 (le signal est coupé), tandis qu'une valeur de 2 est laissée telle quelle ; cette simple règle suffit à donner au réseau sa puissance non linéaire.

💡 Le saviez-vous ?

La ReLU, aujourd'hui omniprésente, est d'une simplicité déconcertante — renvoyer max(0, x) — et c'est en partie cette simplicité qui a permis d'entraîner des réseaux beaucoup plus profonds à partir des années 2010.

❓ Questions fréquentes

Pourquoi une fonction d'activation est-elle indispensable ?

Sans elle, additionner des couches de neurones resterait une opération linéaire ; le réseau ne pourrait pas apprendre de relations complexes ou courbes.

Quelle fonction d'activation choisir ?

ReLU est le choix par défaut en apprentissage profond ; la softmax sert en sortie de classification, la sigmoïde et la tanh dans des cas spécifiques.

Accueil

Outils

Annuaire

Apprendre