[Seminar] Balanced Mixture of SuperNets for Learning the CNN Pooling Architecture (AutoML 2023 paper)
Le prochain séminaire LIVIA se tiendra le Jeudi 29 juin à 12h00 en mode hybride.
Titre: Mélange équilibré de SuperNets pour apprendre l'architecture de mise en commun CNN (papier AutoML 2023)
par Mehraveh Javan Roshtkhari, étudiante au LIVIA
Résumé:
Les couches d'échantillonnage descendant, y compris la mise en commun et les convolutions étagées, sont des composants cruciaux de l'architecture du réseau neuronal convolutif qui déterminent à la fois la granularité/l'échelle de l'analyse des caractéristiques de l'image ainsi que la taille du champ récepteur d'une couche donnée. Pour bien comprendre ce problème, nous analysons les performances de modèles entraînés indépendamment avec chaque configuration de regroupement et montrons que la position des couches de sous-échantillonnage peut fortement influencer les performances d'un réseau et que les configurations de sous-échantillonnage prédéfinies ne sont pas optimales. La recherche d'architecture réseau (NAS) peut être utilisée pour optimiser les configurations de sous-échantillonnage en tant qu'hyperparamètre. Cependant, nous constatons que le NAS à usage unique commun basé sur un seul SuperNet ne fonctionne pas pour ce problème. Enfin, nous proposons un mélange équilibré de SuperNets qui associe automatiquement les configurations de pooling à différents modèles de poids et permet de réduire le partage de poids et l'inter-influence des configurations de pooling sur les paramètres du SuperNet.
Livre: https://arxiv.org/abs/2306.11982
* En personne: ETS-LIVIA, local A-3600.
* Lien Zoom : https://etsmtl.zoom.us/j/84820130813
ID de la réunion: 848 2013 0813
