[Seminar] Hallucinating RGB Modality for Person Detection Through Privileged Information

Résumé:La traduction d'images est un moyen puissant d'adapter un modèle de reconnaissance visuelle à un nouveau domaine. Cependant, les approches courantes de traduction d'images se concentrent uniquement sur la génération de données à partir de la même distribution que le domaine cible. Étant donné une application multimodale, telle que la détection de piétons à partir d'images aériennes, avec un changement considérable dans la distribution des données entre les images infrarouges (IR) et visibles (RVB), une traduction axée sur la génération pourrait conduire à de mauvaises performances car la perte se concentre sur des images non pertinentes. détails de la tâche. Dans cet article, nous proposons HalluciDet, un modèle de traduction d'images IR-RVB pour la détection d'objets. Au lieu de se concentrer sur la reconstruction de l'image originale sur la modalité IR, il cherche à réduire la perte de détection d'un détecteur RVB, évitant ainsi d'avoir besoin d'accéder aux données RVB. Ce modèle produit une nouvelle représentation d'image qui met en valeur les objets d'intérêt dans la scène et améliore considérablement les performances de détection. Nous comparons empiriquement notre approche aux méthodes de pointe pour la traduction d'images et pour le réglage fin de l'IR, et montrons que notre HalluciDet améliore la précision de détection dans la plupart des cas en exploitant les informations privilégiées codées dans un détecteur RVB pré-entraîné.

Papier: https://arxiv.org/pdf/2310.04662.pdf

Résumé:

L’augmentation des données est l’une des techniques les plus efficaces pour régulariser les modèles d’apprentissage profond et améliorer les performances de reconnaissance dans diverses tâches et domaines. Cependant, cela s'applique aux paramètres standard du domaine où les données de formation et de test suivent la même distribution. La meilleure recette pour augmenter les données n’est pas claire dans le cas hors domaine, où les données de test suivent une distribution différente et inconnue. Dans cet article, nous montrons que pour les paramètres hors domaine et de généralisation de domaine, l'augmentation des données peut fournir une amélioration visible et robuste des performances. Pour ce faire, nous proposons une procédure de formation simple : (i) utiliser un échantillonnage uniforme sur les transformations d'augmentation de données standard, (ii) augmenter les transformations de force pour tenir compte de la variance de données plus élevée attendue lorsque l'on travaille hors domaine, et (iii) concevoir une nouvelle fonction de récompense pour rejeter les transformations extrêmes qui peuvent nuire à l'entraînement.

Avec cette procédure, notre schéma d'augmentation des données atteint un niveau de précision comparable ou supérieur aux méthodes de pointe sur les ensembles de données de généralisation de domaines de référence.

Papier: https://arxiv.org/pdf/2310.06670.pdf