Effondrement de modèle (model collapse)

L'effondrement de modèle (model collapse) désigne la dégradation progressive des performances d'un modèle d'IA générative lorsqu'il est entraîné de façon répétée sur des données synthétiques — générées par d'autres modèles ou par lui-même — plutôt que sur des données humaines originales. Le mécanisme est une boucle de rétroaction : un modèle génère du contenu, ce contenu est réinjecté dans les jeux d'entraînement des modèles suivants, et ainsi de suite. À chaque génération, les caractéristiques rares ou minoritaires des données d'origine sont sous-représentées puis perdues : la distribution apprise se « contracte », la diversité chute, le modèle se recale sur les cas les plus fréquents et les erreurs se propagent. Une étude marquante d'Ilia Shumailov et al., publiée dans Nature en 2024, a démontré — par la théorie et l'expérience — que l'entraînement de générations successives sur des données de plus en plus synthétiques mène à l'effondrement : en quelques itérations, le contenu peut dégénérer en absurdités. C'est un risque réel à l'heure où le web se remplit de contenu généré par IA, susceptible de polluer les futurs jeux d'entraînement.