[Seminar] Generative models as queryable world models

/in /by

Le prochain séminaire LIVIA se tiendra le Jeudi 30 novembre à 12h00 en mode hybride.

 

Titre: Modèles génératifs en tant que modèles mondiaux interrogeables
par Adriana Romero-Soriano, Meta AI (FAIR), Université McGill

Résumé: Au cours de la dernière décennie, la norme de facto pour la formation de modèles d’apprentissage de représentations hautement performants s’est fortement appuyée sur des ensembles de données statiques à grande échelle analysés à partir d’Internet. Cependant, les progrès récents dans la création de contenu visuel remettent en question ce statu quo en poussant les chercheurs à exploiter des modèles génératifs d’images très performants en tant que modèles mondiaux fonctionnant en tandem avec des modèles d’apprentissage des représentations en leur fournissant des données. Dans cet exposé, j'aborderai deux questions de recherche : (1) Les modèles génératifs d'images de pointe sont-ils optimisés pour fonctionner comme des modèles mondiaux ? ; et (2) Quelle est la manière la plus efficace de guider le modèle génératif pour produire des échantillons utiles pour la tâche en aval ?

Bio:Adriana Romero-Soriano est actuellement chercheuse scientifique à Meta AI (FAIR), professeure adjointe à l'Université McGill, membre industriel principal de Mila et titulaire d'une chaire Canada-CIFAR. Le terrain de jeu de ses recherches a été défini par des problèmes qui nécessitent de déduire des observations complètes à partir de données sensorielles limitées, en construisant des modèles du monde dans le but d'améliorer de manière responsable les applications en aval ayant un impact significatif. Ses recherches les plus récentes portent sur l'amélioration de la qualité, de la cohérence et de la diversité des représentations des systèmes de création de contenu visuel. Adriana a obtenu son doctorat. Elle a obtenu son doctorat à l'Université de Barcelone, où elle a travaillé avec le Dr Carlo Gatta, et a passé deux ans en tant que chercheuse postdoctorale à Mila, en collaboration avec le professeur Yoshua Bengio.

* En personne: ETS-LIVIA, local A-3600.

* Lien Zoom : https://etsmtl.zoom.us/j/84820130813

ID de la réunion: 848 2013 0813

[Seminar] Hallucinating RGB Modality for Person Detection Through Privileged Information

/in /by

Le prochain séminaire LIVIA se tiendra le Jeudi 23 novembre à 12h00 en mode hybride.

 

Titre: HalluciDet : modalité RVB hallucinante pour la détection de personnes grâce à des informations privilégiées
par Heitor Rapela Medeiros, doctorant, LIVIA-ETS

Résumé:La traduction d'images est un moyen puissant d'adapter un modèle de reconnaissance visuelle à un nouveau domaine. Cependant, les approches courantes de traduction d'images se concentrent uniquement sur la génération de données à partir de la même distribution que le domaine cible. Étant donné une application multimodale, telle que la détection de piétons à partir d'images aériennes, avec un changement considérable dans la distribution des données entre les images infrarouges (IR) et visibles (RVB), une traduction axée sur la génération pourrait conduire à de mauvaises performances car la perte se concentre sur des images non pertinentes. détails de la tâche. Dans cet article, nous proposons HalluciDet, un modèle de traduction d'images IR-RVB pour la détection d'objets. Au lieu de se concentrer sur la reconstruction de l'image originale sur la modalité IR, il cherche à réduire la perte de détection d'un détecteur RVB, évitant ainsi d'avoir besoin d'accéder aux données RVB. Ce modèle produit une nouvelle représentation d'image qui met en valeur les objets d'intérêt dans la scène et améliore considérablement les performances de détection. Nous comparons empiriquement notre approche aux méthodes de pointe pour la traduction d'images et pour le réglage fin de l'IR, et montrons que notre HalluciDet améliore la précision de détection dans la plupart des cas en exploitant les informations privilégiées codées dans un détecteur RVB pré-entraîné.

Papier: https://arxiv.org/pdf/2310.04662.pdf

Titre: Généralisation de domaine en rejetant les augmentations extrêmes
par Masih Aminbeidokhti, doctorant, LIVIA-ETS

Résumé:

L’augmentation des données est l’une des techniques les plus efficaces pour régulariser les modèles d’apprentissage profond et améliorer les performances de reconnaissance dans diverses tâches et domaines. Cependant, cela s'applique aux paramètres standard du domaine où les données de formation et de test suivent la même distribution. La meilleure recette pour augmenter les données n’est pas claire dans le cas hors domaine, où les données de test suivent une distribution différente et inconnue. Dans cet article, nous montrons que pour les paramètres hors domaine et de généralisation de domaine, l'augmentation des données peut fournir une amélioration visible et robuste des performances. Pour ce faire, nous proposons une procédure de formation simple : (i) utiliser un échantillonnage uniforme sur les transformations d'augmentation de données standard, (ii) augmenter les transformations de force pour tenir compte de la variance de données plus élevée attendue lorsque l'on travaille hors domaine, et (iii) concevoir une nouvelle fonction de récompense pour rejeter les transformations extrêmes qui peuvent nuire à l'entraînement.

Avec cette procédure, notre schéma d'augmentation des données atteint un niveau de précision comparable ou supérieur aux méthodes de pointe sur les ensembles de données de généralisation de domaines de référence.

Papier: https://arxiv.org/pdf/2310.06670.pdf

 

* En personne: ETS-LIVIA, local A-3600.

* Lien Zoom : https://etsmtl.zoom.us/j/84820130813

ID de la réunion: 848 2013 0813

[Seminar] LIVIA’s infrastructure, servers, and services

/in /by

Le prochain séminaire LIVIA se tiendra le Jeudi 28 septembre à 12h00 en mode hybride.

 

Titre: Infrastructure, serveurs et services de LIVIA
par Mahdi Dolatkhah, technicien de LIVIA

 

* En personne: ETS-LIVIA, local A-3600.

* Lien Zoom : https://etsmtl.zoom.us/j/84820130813

ID de la réunion: 848 2013 0813

[Seminar] Data stream mining: going beyond training then testing

/in /by

Le prochain séminaire LIVIA se tiendra le Jeudi 14 septembre à 12h00 en mode hybride.

 

Titre: Data stream mining : aller au-delà de la formation puis des tests
by Jean-Paul Barddal, Professeur, Pontifícia Universidade Católica do Paraná

Résumé: Le traitement et l'analyse de séquences de données potentiellement illimitées, appelées flux de données, sont essentiels dans de nombreuses applications. Cependant, supposer que ces flux sont stationnaires est voué à l’échec. Dans cet exposé, nous discuterons de ce qu'est l'exploration de flux de données et des défis fondamentaux qu'elle pose, notamment l'apprentissage au fil du temps, les restrictions informatiques et la dérive des concepts. Enfin, je présenterai certaines des recherches en cours que nous menons dans notre groupe de recherche, notamment l'exploration de flux de données vertes, l'adaptation de la dérive des concepts dans la classification d'images et les flux de données textuels.

Bio:  Jean Paul Barddal a obtenu son doctorat. en informatique du Programme d'études supérieures en informatique (PPGIA), en 2018, où il est actuellement professeur. Il est également membre exécutif du Center for Artificial Intelligence Solutions (CISIA) et de l'Artificial Intelligence Institute (AI2). Ses sujets de recherche incluent l'apprentissage automatique à partir de flux de données, y compris les systèmes de classification, de régression, de clustering et de recommandation. Il a publié plus de 60 articles, notamment sur les développements d'algorithmes d'exploration de flux de données ou sur leur application à des problèmes du monde réel.

 

* En personne: ETS-LIVIA, local A-3600.

* Lien Zoom : https://etsmtl.zoom.us/j/84820130813

ID de la réunion: 848 2013 0813

[Seminar] Segmentation in echocardiography: is the problem finally solved ?

/in /by

Le prochain séminaire LIVIA se tiendra le MERCREDI 6 septembre à 12h00 en mode hybride.

 

Titre: Segmentation en échocardiographie : le problème est-il enfin résolu ?

by Olivier Bernard, Professeur, Université de Lyon (INSA) et laboratoire CREATIS

Résumé: Depuis plusieurs années, les techniques de deep learning sont appliquées avec succès à l’imagerie médicale en général, et à l’échocardiographie en particulier. Loin d'être la panacée promise, ces méthodes ont permis des avancées majeures dans de nombreux domaines spécifiques comme l'acquisition d'images, l'analyse d'échocardiogramme, la segmentation et le suivi de structures anatomiques ou encore le guidage des utilisateurs. De plus, la combinaison de ces différentes techniques permet le déploiement de chaînes de traitement complètes et entièrement automatisées, permettant d'augmenter la fiabilité des mesures cliniques et de faciliter l'utilisation des échographes en dehors des hôpitaux. Dans mon exposé, je décrirai nos dernières contributions sur la segmentation de séquences échocardiographiques pour l'estimation automatique d'indices cliniques. Notre objectif ultime est de développer une méthodologie pour résoudre définitivement ce problème vieux de 30 ans. Cela comprend actuellement la conception de bases de données appropriées, l'exploitation du formalisme VAE et la modélisation de l'incertitude via le cadre CLIP.

Bio:  Olivier Bernard a obtenu son diplôme d'ingénieur électrique et son doctorat. de l'Université de Lyon (INSA), France, respectivement en 2003 et 2006. Il a été postdoctorant au sein du Groupe d'imagerie biomédicale de l'Institut polytechnique fédéral de Lausanne, EPFL, Suisse en 2007. Actuellement, il est professeur à l'Université de Lyon (INSA) et au laboratoire CREATIS en France. Il dirige également l’équipe de recherche Myriad, spécialisée dans l’analyse, la simulation et la modélisation d’images médicales. Ses intérêts de recherche actuels se concentrent sur l’analyse d’images grâce à des techniques d’apprentissage profond, avec des applications en imagerie cardiovasculaire, en imagerie du flux sanguin et en représentation de la population. Le professeur Bernard a également été rédacteur associé du livre IEEE Transactions on Image Processing.

* En personne: ETS-LIVIA, local A-3600.

* Lien Zoom : https://etsmtl.zoom.us/j/84820130813

ID de la réunion: 848 2013 0813

[Seminar] The Real World Strikes Back – Failures and Biases of Brain Segmentation

/in /by

Le prochain séminaire LIVIA se tiendra le Jeudi 20 juillet à 12h00 en mode hybride.

 

Titre: Le monde réel contre-attaque - Échecs et biais de la segmentation cérébrale

par Clemens Pollak, chercheur associé, Deep-MI Lab, Centre allemand pour les maladies neurodégénératives

 

Résumé: 

À l'ère de l'apprentissage en profondeur, la précision et la vitesse de segmentation du cerveau ne cessent d'augmenter. Dans le domaine de l'imagerie médicale, cependant, une précision moyenne élevée sur des ensembles de données prédéfinis n'est pas suffisante. Les études de grande population nécessitent des outils performants qui évitent ou réduisent les biais potentiels dans l'analyse en aval et peuvent être appliqués aux données de tous les participants, indifférents à une grande variance anatomique ou pathologique. Nous aborderons ce défi, d'abord en quantifiant les artefacts de mouvement, causés par le mouvement de la tête lors de l'acquisition IRM, afin de réduire les biais préjudiciables dans l'analyse des changements cérébraux ; et deuxièmement, en améliorant les performances de la segmentation cérébrale basée sur l'apprentissage en profondeur en présence de lésions importantes, en générant des antécédents d'apparence saine.

Bio: 

Pierre LE JEUNE est doctorant au laboratoire L2TI, Université Sorbonne Paris Nord tout en travaillant dans l'entreprise COSE. Il a obtenu le M.Sc. diplôme en modélisation mathématique et calcul de l'Université technique danoise (Copenhague) et le M.Sc. en ingénierie de Centrale Nantes. Ses intérêts de recherche actuels incluent Few-Shot Learning, Computer Vision et Deep Learning

Livre:  https://arxiv.org/abs/2306.11982

* En personne: ETS-LIVIA, local A-3600.

* Lien Zoom : https://etsmtl.zoom.us/j/84820130813

ID de la réunion: 848 2013 0813

[Seminar] Balanced Mixture of SuperNets for Learning the CNN Pooling Architecture (AutoML 2023 paper)

/in /by

Le prochain séminaire LIVIA se tiendra le Jeudi 29 juin à 12h00 en mode hybride.

 

Titre: Mélange équilibré de SuperNets pour apprendre l'architecture de mise en commun CNN  (papier AutoML 2023)

par Mehraveh Javan Roshtkhari, étudiante au LIVIA

 

Résumé: 

Les couches d'échantillonnage descendant, y compris la mise en commun et les convolutions étagées, sont des composants cruciaux de l'architecture du réseau neuronal convolutif qui déterminent à la fois la granularité/l'échelle de l'analyse des caractéristiques de l'image ainsi que la taille du champ récepteur d'une couche donnée. Pour bien comprendre ce problème, nous analysons les performances de modèles entraînés indépendamment avec chaque configuration de regroupement et montrons que la position des couches de sous-échantillonnage peut fortement influencer les performances d'un réseau et que les configurations de sous-échantillonnage prédéfinies ne sont pas optimales. La recherche d'architecture réseau (NAS) peut être utilisée pour optimiser les configurations de sous-échantillonnage en tant qu'hyperparamètre. Cependant, nous constatons que le NAS à usage unique commun basé sur un seul SuperNet ne fonctionne pas pour ce problème. Enfin, nous proposons un mélange équilibré de SuperNets qui associe automatiquement les configurations de pooling à différents modèles de poids et permet de réduire le partage de poids et l'inter-influence des configurations de pooling sur les paramètres du SuperNet.

 

Livre:  https://arxiv.org/abs/2306.11982

* En personne: ETS-LIVIA, local A-3600.

* Lien Zoom : https://etsmtl.zoom.us/j/84820130813

ID de la réunion: 848 2013 0813

[Seminar] Towards Practical Few-Shot Query Sets: Transductive Minimum Description Length Inference

/in /by

Le prochain séminaire LIVIA se tiendra le Mercredi 14 décembre à 12h30 en mode hybride.

Titre: Vers des ensembles de requêtes pratiques à quelques coups : inférence de longueur de description minimale transductive
par Ségolène Martin, Ph.D. candidat, CentraleSupélec, Université Paris Saclay, INRIA, France

Courte biographie:
Ségolène Martin a obtenu son M.Sc. diplômée en mathématiques de l'Ecole Normale Supérieure Paris-Saclay, France, en 2020. Elle a également obtenu le titre d'enseignant (Agrégation) en 2019. Elle est actuellement doctorante. étudiant au laboratoire CVN de CentraleSupéelec, Université Paris Saclay, France. Ses recherches portent sur les méthodes d'optimisation pour le traitement d'images et l'apprentissage automatique.

Abstract:
Les benchmarks standard à quelques coups sont souvent construits sur des hypothèses simplificatrices sur les ensembles de requêtes, ce qui peut ne pas toujours tenir dans la pratique. En particulier, pour chaque tâche au moment du test, les classes effectivement présentes dans l'ensemble requête non étiqueté sont connues a priori, et correspondent exactement à l'ensemble des classes représentées dans l'ensemble support étiqueté. Nous assouplissons ces hypothèses et étendons les benchmarks actuels, de sorte que les classes d'ensembles de requêtes d'une tâche donnée soient inconnues, mais appartiennent simplement à un ensemble beaucoup plus large de classes possibles. Notre cadre pourrait être considéré comme un exemple du problème difficile mais pratique de la classification K-way extrêmement déséquilibrée, K étant beaucoup plus grand que les valeurs généralement utilisées dans les benchmarks standard, et avec une supervision potentiellement non pertinente de la part de l'ensemble de support. Comme on pouvait s'y attendre, notre cadre entraîne des baisses de performances des méthodes de pointe. Motivés par ces observations, nous introduisons une formulation PrimAl Dual Minimum Description Length (PADDLE), qui équilibre la précision de l'ajustement des données et la complexité du modèle pour une tâche donnée à quelques coups, sous les contraintes de supervision de l'ensemble de support. Notre objectif de type MDL contraint favorise la concurrence entre un large éventail de classes possibles, en ne préservant que les classes efficaces qui conviennent mieux aux données d'une tâche à quelques coups. Il est exempt d'hyperparamètres et peut être appliqué en plus de n'importe quel entraînement de classe de base. De plus, nous dérivons un algorithme de descente de coordonnées de bloc rapide pour optimiser notre objectif, avec une garantie de convergence et une complexité de calcul linéaire à chaque itération. Des expériences complètes sur les ensembles de données standard à quelques coups et l'ensemble de données i-Nat plus réaliste et stimulant montrent des performances très compétitives de notre méthode, d'autant plus lorsque le nombre de classes possibles dans les tâches augmente.
Papier: https://openreview.net/pdf?id=j9JL96S8Vl
Code: https://github.com/SegoleneMartin/PADDLE

* En personne: ETS-LIVIA, local A-3600.
* Lien de zoom: https://etsmtl.zoom.us/j/84820130813

[Seminar] Implicit Differentiation in Non-Smooth Convex Learning

/in /by

Le prochain séminaire LIVIA se tiendra le Mercredi 14 décembre à 11h30 en mode hybride.

Titre: Différenciation implicite dans l'apprentissage convexe non lisse
par Quentin BERTRAND, chercheur post-doctoral, MILA

Courte biographie:
Quentin BERTRAND est chercheur post-doctoral au Mila aux côtés de Gauthier Gidel et Simon Lacoste-Julien. Je travaille sur la théorie des jeux et l'optimisation à deux niveaux. Avant d'occuper ce poste, il a effectué ma thèse à Inria Paris-Saclay (dans l'équipe Parietal) sous la direction de Joseph Salmon et Alexandre Gramfort. travaillé sur l'optimisation et les aspects statistiques de la régression linéaire creuse de haute dimension appliquée à la reconstruction des signaux cérébraux. En particulier, j'ai développé des packages python pour le calcul rapide et la sélection automatique d'hyperparamètres de modèles linéaires creux.

Abstract:
La recherche des hyperparamètres optimaux d'un modèle peut être présentée comme un problème d'optimisation à deux niveaux, généralement résolu à l'aide de techniques d'ordre zéro. Dans ce travail, nous étudions les méthodes du premier ordre lorsque le problème d'optimisation interne est convexe mais non lisse. Nous montrons que la différenciation en mode direct de la descente de gradient proximal et de la descente de coordonnées proximales donne des séquences de Jacobiens convergeant vers le Jacobien exact. En utilisant la différenciation implicite, nous montrons qu'il est possible de tirer parti de la non-régularité du problème interne pour accélérer le calcul. Enfin, nous fournissons une borne sur l'erreur commise sur l'hypergradient lorsque le problème d'optimisation interne est résolu approximativement. Les résultats sur les problèmes de régression et de classification révèlent des avantages informatiques pour l'optimisation des hyperparamètres, en particulier lorsque plusieurs hyperparamètres sont nécessaires.
Papier: https://arxiv.org/pdf/2105.01637.pdf
Code: https://github.com/qb3/sparse-ho

* En personne: ETS-LIVIA, local A-3600.
* Lien de zoom: https://etsmtl.zoom.us/j/84820130813

[Seminar] Data-driven methods for renal transplantation monitoring

/in /by

Le prochain séminaire LIVIA se tiendra le Mercredi 7 décembre à 12h00 en mode hybride.

Titre: Méthodes basées sur les données pour la surveillance de la transplantation rénale
par Léo Milecki, candidat à CentraleSupelec, Université Paris-Saclay, France

Courte biographie:
Léo Milecki est doctorant au MICS, CentraleSupelec, Université Paris-Saclay, France (près de Paris) sous la direction de Maria Vakalopoulou au MICS et Marc-Olivier Timsit, Université de Paris. Sa thèse de doctorat se concentre sur l'application de nouveaux algorithmes d'apprentissage automatique pour analyser les données biomédicales en vue du diagnostic ou du pronostic du rejet de greffe après une transplantation rénale, en se concentrant sur l'apprentissage en profondeur et les méthodes non/faiblement/auto-supervisées. Il visite actuellement le Provost Ultrasound Lab à Polytechnique Montréal jusqu'au 21 décembre.

Abstract:
La transplantation rénale apparaît comme la solution la plus efficace pour l'insuffisance rénale terminale. Cependant, cela peut entraîner un rejet ou un dysfonctionnement de l'allogreffe rénale chez 15 à 27 % des patients au cours des 5 premières années suivant la transplantation. Résultant d'une simple prise de sang, la créatinine sérique est le principal indicateur clinique de la fonction rénale en calculant le Taux de Filtration Glomérulaire. Ces caractéristiques motivent la tâche difficile de prédire la créatinine sérique au début de la post-transplantation tout en étudiant et en explorant sa corrélation avec les données d'imagerie. Dans cet exposé, je présenterai nos travaux récents concernant cette tâche, qui exploite les encodeurs à transformateur et les schémas d'apprentissage contrastifs. Nos expériences visent à mettre en évidence la pertinence de considérer les données d'imagerie séquentielle pour cette tâche et donc dans l'étude des mécanismes de dysfonctionnement chronique en transplantation rénale, ouvrant la voie à de futures recherches dans ce domaine.

* En personne: ETS-LIVIA, local A-3600.
* Lien de zoom: https://etsmtl.zoom.us/j/84820130813