On entraîne un réseau de neurones à reconnaître des radiographies pulmonaires. On empile des couches convolutives, on lance l’apprentissage, et au bout de quelques dizaines de couches, la précision stagne, puis chute. Le réseau n’apprend plus. C’est exactement le problème que ResNet a résolu, et c’est pour ça que ce modèle reste une brique de base en vision par ordinateur.
Le mur de la profondeur : pourquoi empiler des couches ne suffit pas
Quand on conçoit un réseau de neurones convolutif (CNN), l’intuition dit qu’ajouter des couches permet d’apprendre des motifs plus complexes. En pratique, au-delà d’une vingtaine de couches, on se heurte à un phénomène précis : les gradients s’évanouissent avant d’atteindre les premières couches. Ces couches cessent de se mettre à jour, l’entraînement stagne.
A découvrir également : Pourquoi civitiai est devenu incontournable pour les modèles IA ?
Le problème n’est pas du surapprentissage. Le réseau ne performe pas mieux sur les données d’entraînement que sur les données de test. Il performe mal partout parce que le signal de correction (le gradient) s’affaiblit en traversant chaque couche successive. Avec un réseau de 50 ou 100 couches, la première couche reçoit un signal quasi nul.
Avant ResNet, les chercheurs contournaient ce mur en limitant la profondeur de leurs modèles, ou en ajustant manuellement les taux d’apprentissage. Aucune de ces approches ne passait à l’échelle.
Lire également : Ggvtrad pour les nuls : comprendre enfin Google Traduction
ResNet et la connexion de saut : le mécanisme qui change tout
Le principe de ResNet tient en une phrase : au lieu de demander à chaque bloc de couches d’apprendre la transformation complète, on lui demande d’apprendre uniquement la différence (le résidu) par rapport à l’entrée. C’est l’apprentissage résiduel.
Concrètement, l’entrée d’un bloc est ajoutée directement à sa sortie via une connexion de saut (skip connection). Si le bloc n’a rien d’utile à apprendre, ses poids convergent vers zéro et l’entrée passe telle quelle. Le réseau ne peut pas faire pire que l’identité.
Ce que ça change côté entraînement
La connexion de saut offre un chemin direct pour le gradient. Au lieu de traverser chaque couche une par une (et de s’évanouir en route), le signal de correction peut emprunter le raccourci. Les couches profondes et les couches superficielles reçoivent un gradient exploitable.
On passe ainsi de réseaux limités à une vingtaine de couches à des architectures de plus de cent couches, sans dégradation de performance. L’entraînement converge plus vite et le réseau atteint une meilleure précision sur les tâches de classification d’images.
Variantes ResNet : choisir la bonne profondeur pour son projet
ResNet désigne une famille de modèles, pas un modèle unique. On retrouve plusieurs variantes courantes :
- ResNet-18 et ResNet-34 utilisent des blocs basiques (deux couches convolutives par bloc). Elles conviennent aux projets avec des ressources limitées ou des jeux de données modestes.
- ResNet-50, ResNet-101 et ResNet-152 adoptent une architecture dite « bottleneck » : trois couches par bloc (1×1, 3×3, 1×1). La couche 1×1 réduit puis restaure la dimensionnalité, ce qui diminue le nombre de calculs tout en augmentant la profondeur.
- ResNet-50 représente le compromis le plus courant en production. On le retrouve comme backbone dans des pipelines de détection d’objets, de segmentation ou de classification.
Le choix dépend du volume de données disponibles et de la puissance de calcul. Un ResNet-152 sur un petit jeu de données risque de surapprendre. Les retours varient sur ce point, mais une règle simple : si on n’a pas les moyens de fine-tuner un modèle profond, on part sur ResNet-34 ou ResNet-50 pré-entraîné.
Apprentissage par transfert avec ResNet : le cas d’usage le plus fréquent
La plupart des équipes qui utilisent ResNet aujourd’hui ne l’entraînent pas de zéro. On charge un modèle pré-entraîné sur un jeu de données massif (comme ImageNet), puis on remplace la dernière couche de classification par une couche adaptée à sa propre tâche. C’est le transfert learning, la méthode standard pour exploiter ResNet sur des projets réels.
L’avantage est double. Les premières couches du réseau ont déjà appris à détecter des motifs génériques (contours, textures, formes). On ne ré-entraîne que les dernières couches, ce qui réduit le temps de calcul et le volume de données nécessaire.
Où on retrouve ResNet en production
En imagerie médicale, ResNet-50 sert de base pour détecter des anomalies sur des radiographies ou des scanners. En vision industrielle, il alimente des systèmes de contrôle qualité qui repèrent des défauts sur une chaîne de production. Dans les véhicules autonomes, il participe à la reconnaissance d’objets en temps réel, souvent couplé à d’autres architectures comme YOLO pour la détection.
Le point commun : on ne développe pas un réseau de neurones à partir de rien. On prend ResNet comme fondation et on adapte la tête du modèle à la tâche spécifique.
ResNet face aux architectures plus récentes
Depuis la publication de ResNet, des dizaines d’architectures ont vu le jour. Les modèles basés sur les Transformers (Vision Transformer, par exemple) obtiennent des résultats compétitifs sur de nombreux benchmarks de classification d’images. Des architectures comme EfficientNet proposent un meilleur ratio performance/calcul sur certaines tâches.
ResNet n’est pas obsolète pour autant. Son architecture reste plus simple à déployer et à debugger. Les frameworks majeurs (PyTorch, TensorFlow, Azure Machine Learning) fournissent des implémentations prêtes à l’emploi avec des poids pré-entraînés. Pour un projet de vision par ordinateur en entreprise, ResNet-50 reste souvent le premier modèle testé parce qu’il offre un bon compromis entre performance, documentation et facilité d’intégration.
Le choix entre ResNet et un modèle plus récent se fait rarement sur la seule précision. Il dépend de la latence acceptable, de la taille du modèle en mémoire, et de la maturité de l’écosystème autour de l’architecture choisie.
ResNet a posé un principe qui dépasse sa propre architecture : permettre au gradient de circuler librement dans un réseau profond. Ce mécanisme de connexion de saut se retrouve aujourd’hui dans la majorité des architectures de deep learning, y compris celles qui n’ont rien à voir avec la classification d’images. Comprendre ResNet, c’est comprendre la brique sur laquelle le reste s’appuie.
