Réseau neuronal profond de bout en bout pour la détection d’objets saillants dans des environnements complexes

La détection d’objets saillants imite l’attention visuelle humaine, identifiant rapidement les régions clés de l’image tout en supprimant les informations d’arrière-plan. Cette technique est largement utilisée comme outil de prétraitement dans des tâches telles que le recadrage d’image¹, la segmentation sémantique² et l’édition d’image³. Il rationalise les tâches telles que le remplacement de l’arrière-plan et l’extraction du premier plan, améliorant ainsi l’efficacité et la précision de l’édition. De plus, il facilite la segmentation sémantique en améliorant la localisation des cibles. Le potentiel de la détection d’objets saillants pour améliorer l’efficacité du calcul et conserver la mémoire souligne ses importantes perspectives de recherche et d’application.

Au fil des ans, la détection d’objets saillants a évolué, passant des algorithmes traditionnels initiaux à l’intégration d’algorithmes d’apprentissage profond. L’objectif de ces avancées a été de réduire l’écart entre la détection d’objets saillants et les mécanismes visuels humains. Cela a conduit à l’adoption de modèles de réseaux convolutifs profonds pour l’étude de la détection d’objets saillants. Borji et ^al.4 ont résumé et généralisé la plupart des algorithmes traditionnels classiques, qui reposent sur les caractéristiques sous-jacentes de l’image. Malgré une certaine amélioration de la précision de la détection, l’expérience manuelle et la cognition continuent de poser des défis pour la détection d’objets saillants dans des environnements complexes.

L’utilisation des réseaux neuronaux convolutifs (CNN) est répandue dans le domaine de la détection d’objets saillants. Dans ce contexte, les réseaux neuronaux convolutifs profonds sont utilisés pour les mises à jour du poids grâce à l’apprentissage autonome. Des réseaux neuronaux convolutifs ont été utilisés pour extraire la sémantique contextuelle des images grâce à l’utilisation de couches convolutives et de pooling en cascade, permettant l’apprentissage de caractéristiques d’images complexes à des niveaux supérieurs, qui ont une plus grande capacité de discrimination et de caractérisation pour la détection d’objets saillants dans différents environnements.

En 2016, les réseaux neuronaux entièrement convolutifs⁵ ont gagné en popularité en tant qu’approche populaire pour la détection d’objets saillants, sur la base de laquelle les chercheurs ont commencé la détection d’objets saillants au niveau du pixel. De nombreux modèles sont généralement construits sur des réseaux existants (par exemple, VGG16⁶, ResNet⁷), visant à améliorer la représentation de l’image et à renforcer l’effet de la détection des bords.

Liu et ^al.8 ont utilisé un réseau neuronal déjà entraîné comme cadre pour calculer l’image globalement, puis ont affiné la limite de l’objet à l’aide d’un réseau hiérarchique. La combinaison des deux réseaux forme le réseau final de saillance profonde. Cela a été accompli en introduisant la carte saillante précédemment acquise dans le réseau en tant que connaissance préalable de manière répétitive. Zhang et ^al.9 ont fusionné efficacement les informations sémantiques et spatiales d’images à l’aide de réseaux profonds avec un transfert d’informations bidirectionnel de couches superficielles à profondes et profondes à superficielles, respectivement. La détection d’objets saillants à l’aide d’un modèle d’apprentissage mutuel en profondeur a été proposée par Wu et ^al.10. Le modèle utilise des informations de premier plan et de périphérie dans un réseau neuronal convolutif pour faciliter le processus de détection. Li et ^al.11 ont utilisé l’algorithme des trous des réseaux neuronaux pour relever le défi de la fixation des champs réceptifs de diverses couches dans les réseaux neuronaux profonds dans le contexte de la détection d’objets saillants. Cependant, la segmentation super-pixel est utilisée pour l’acquisition des bords des objets, ce qui augmente considérablement l’effort de calcul et le temps de calcul. Ren et ^al.12 ont conçu un réseau encodeur-décodeur multi-échelle pour détecter les objets saillants et ont utilisé des réseaux neuronaux convolutifs pour combiner efficacement des caractéristiques profondes et superficielles. Bien que le défi du brouillage des frontières dans la détection d’objets soit résolu par cette approche, la fusion multi-échelle des informations entraîne inévitablement des exigences de calcul accrues.

La revue de la littérature¹³ propose que la détection de saillance, des méthodes traditionnelles aux méthodes d’apprentissage profond, soit résumée, et que l’évolution de la détection de cibles de saillance depuis ses origines jusqu’à l’ère de l’apprentissage profond soit très clairement visible. Divers modèles de détection d’objets saillants basés sur RVB-D avec de bonnes performances ont été proposés dans la littérature¹⁴. La littérature ci-dessus passe en revue et classe les différents types d’algorithmes de détection d’objets saillants et décrit leurs scénarios d’application, les bases de données utilisées et les mesures d’évaluation. Cet article fournit également une analyse qualitative et quantitative des algorithmes proposés concernant leurs bases de données suggérées et leurs métriques d’évaluation.

Tous les algorithmes ci-dessus ont obtenu des résultats remarquables dans des bases de données publiques, fournissant une base pour la détection d’objets saillants dans des environnements complexes. Bien qu’il y ait eu de nombreuses réalisations de recherche dans ce domaine, tant au pays qu’à l’étranger, il reste encore quelques problèmes à régler. (1) Les algorithmes traditionnels d’apprentissage non profond ont tendance à avoir une faible précision en raison de leur dépendance à des caractéristiques étiquetées manuellement telles que la couleur, la texture et la fréquence, qui peuvent être facilement affectées par l’expérience subjective et la perception. Par conséquent, la précision de leurs capacités de détection d’objets saillants est diminuée. La détection d’objets saillants dans des environnements complexes à l’aide d’algorithmes traditionnels non deep learning est difficile en raison de leur difficulté à gérer des scénarios complexes. (2) Les méthodes conventionnelles de détection d’objets saillants présentent une précision limitée en raison de leur dépendance à des caractéristiques étiquetées manuellement telles que la couleur, la texture et la fréquence. De plus, la détection au niveau de la région peut être coûteuse en calcul, ignorant souvent la cohérence spatiale, et a tendance à mal détecter les limites des objets. Ces problèmes doivent être résolus pour améliorer la précision de la détection des objets saillants. (3) La détection d’objets saillants dans des environnements complexes représente un défi pour la plupart des algorithmes. La plupart des algorithmes de détection d’objets saillants sont confrontés à de sérieux défis en raison de l’environnement de détection d’objets saillants de plus en plus complexe avec des arrière-plans variables (couleurs d’arrière-plan et de premier plan similaires, textures d’arrière-plan complexes, etc.), de nombreuses incertitudes telles que des tailles d’objets de détection incohérentes et la définition peu claire des bords de premier plan et d’arrière-plan.

La plupart des algorithmes actuels présentent une faible précision dans la détection d’objets saillants dans des environnements complexes avec des couleurs d’arrière-plan et de premier plan similaires, des textures d’arrière-plan complexes et des bords flous. Bien que les algorithmes actuels d’objets saillants basés sur l’apprentissage profond démontrent une plus grande précision que les méthodes de détection traditionnelles, les caractéristiques d’image sous-jacentes qu’ils utilisent ne parviennent toujours pas à caractériser efficacement les caractéristiques sémantiques, ce qui laisse place à l’amélioration de leurs performances.

En résumé, cette étude propose un réseau neuronal profond de bout en bout pour un algorithme de détection d’objets saillants, visant à améliorer la précision de la détection d’objets saillants dans des environnements complexes, à améliorer les bords cibles et à mieux caractériser les caractéristiques sémantiques. Les contributions de cet article sont les suivantes : (1) Le premier réseau utilise VGG16 comme réseau de base et modifie ses cinq couches de mise en commun à l’aide de l’algorithme des ^trous11. Le réseau neuronal entièrement convolutif multi-échelle au niveau du pixel apprend les caractéristiques de l’image à différentes échelles spatiales, relevant le défi des champs récepteurs statiques à travers différentes couches de réseaux neuronaux profonds et améliorant la précision de détection dans des zones importantes du domaine. (2) Les efforts récents pour améliorer la précision de la détection d’objets saillants se sont concentrés sur l’exploitation de réseaux neuronaux plus profonds, tels que VGG16, pour extraire à la fois les caractéristiques de profondeur du réseau d’encodeur et les caractéristiques superficielles du réseau de décodeur. Cette approche améliore efficacement la précision de détection des limites d’objets et améliore les informations sémantiques, en particulier dans les environnements complexes avec des arrière-plans variables, des tailles d’objets incohérentes et des frontières indistinctes entre le premier plan et l’arrière-plan. (3) Des efforts récents pour améliorer la précision de la détection d’objets saillants ont mis l’accent sur l’utilisation de réseaux plus profonds, y compris VGG16, pour extraire des caractéristiques profondes du réseau de codeur et des caractéristiques peu profondes du réseau de décodeur. Cette approche a démontré une meilleure détection des limites d’objets et une plus grande information sémantique, en particulier dans des environnements complexes avec des arrière-plans, des tailles d’objets et des frontières indistinctes entre le premier plan et l’arrière-plan. De plus, l’intégration d’un modèle de champ aléatoire conditionnel (CRF) entièrement connecté a été mise en œuvre pour augmenter la cohérence spatiale et la précision des contours des cartes saillantes. L’efficacité de cette approche a été évaluée sur des ensembles de données SOD et ECSSD avec des antécédents complexes et s’est avérée statistiquement significative.

Travaux connexes
Fu et ^al.15 ont proposé une approche conjointe utilisant le RVB et l’apprentissage profond pour la détection d’objets saillants. Lai et ^al.16 ont introduit un modèle faiblement supervisé pour la détection d’objets saillants, apprenant la saillance à partir d’annotations, en utilisant principalement des étiquettes griffonnées pour gagner du temps d’annotation. Bien que ces algorithmes aient présenté une fusion de deux réseaux complémentaires pour la détection d’objets saillants, ils manquent d’une étude approfondie de la détection de saillance dans des scénarios complexes. Wang et ^al.17 ont conçu une fusion itérative en deux modes des caractéristiques du réseau neuronal, à la fois ascendant et descendant, optimisant progressivement les résultats de l’itération précédente jusqu’à la convergence. Zhang et ^al.18 ont fusionné efficacement les informations sémantiques et spatiales d’images à l’aide de réseaux profonds avec un transfert d’informations bidirectionnel de couches peu profondes à profondes et de couches profondes à superficielles, respectivement. La détection d’objets saillants à l’aide d’un modèle d’apprentissage mutuel en profondeur a été proposée par Wu et ^al.19. Le modèle utilise des informations de premier plan et de périphérie dans un réseau neuronal convolutif pour faciliter le processus de détection. Ces modèles de détection d’objets saillants basés sur des réseaux neuronaux profonds ont atteint des performances remarquables sur des ensembles de données accessibles au public, permettant la détection d’objets saillants dans des scènes naturelles complexes. Néanmoins, la conception de modèles encore plus supérieurs reste un objectif important dans ce domaine de recherche et constitue la principale motivation de cette étude.

Cadre général
La représentation schématique du modèle proposé, telle qu’illustrée à la figure 1, est principalement dérivée de l’architecture VGG16, incorporant à la fois un réseau neuronal entièrement convolutif (DCL) multi-échelle au niveau du pixel et un réseau encodeur-décodeur profond (DEDN). Le modèle élimine toutes les couches finales de VGG16 entièrement connectées tout en tenant compte des dimensions d’image d’entrée de L × H. Le mécanisme opérationnel implique le traitement initial de l’image d’entrée via le DCL, facilitant l’extraction des caractéristiques profondes, tandis que les caractéristiques superficielles sont obtenues à partir des réseaux DEDN. La fusion de ces caractéristiques est ensuite soumise à un modèle de champ aléatoire conditionnel (CRF) entièrement connecté, augmentant la cohérence spatiale et la précision des contours des cartes de saillance produites.

Pour vérifier l’efficacité du modèle, il a été testé et validé sur des ensembles de données SOD²⁰ et ECSSD²¹ avec des antécédents complexes. Une fois que l’image d’entrée a traversé le DCL, différentes cartes de caractéristiques d’échelle avec divers champs réceptifs sont obtenues, et la sémantique contextuelle est combinée pour produire une carte saillante W × H avec une cohérence interdimensionnelle. Le DCL utilise une paire de couches convolutives avec 7 x 7 noyaux pour remplacer la couche de mise en commun finale du réseau VGG16 d’origine, améliorant ainsi la préservation des informations spatiales dans les cartes de caractéristiques. Ceci, combiné à la sémantique contextuelle, produit une carte saillante W × H avec une cohérence interdimensionnelle. De même, le réseau Deep Encoder-Decoder (DEDN) utilise des couches convolutives avec 3 x 3 noyaux dans les décodeurs et une seule couche convolutive après le dernier module de décodage. En tirant parti des caractéristiques profondes et superficielles de l’image, il est possible de générer une carte saillante avec une dimension spatiale de W × H, répondant au défi des limites d’objets indistinctes. L’étude décrit une technique pionnière pour la détection d’objets saillants qui fusionne les modèles DCL et DEDN en un réseau unifié. Les poids de ces deux réseaux profonds sont appris par un processus d’entraînement, et les cartes de saillance résultantes sont fusionnées puis affinées à l’aide d’un champ aléatoire conditionnel (CRF) entièrement connecté. L’objectif principal de ce raffinement est d’améliorer la cohérence spatiale et la localisation des contours.

Réseau neuronal entièrement convolutif multi-échelle au niveau du pixel
L’architecture VGG16 se composait à l’origine de cinq couches de pooling, chacune avec une foulée de 2. Chaque couche de regroupement compresse la taille de l’image pour augmenter le nombre de canaux, obtenant ainsi plus d’informations contextuelles. Le modèle DCL s’inspire de la littérature¹³ et constitue une amélioration du cadre des VGG16. Dans cet article, un modèle DCL¹¹ au niveau du pixel est utilisé, comme le montre la figure 2 dans l’architecture de VGG16, un réseau de neurones convolutifs profonds. Les quatre couches de regroupement maximales initiales sont interconnectées avec trois noyaux. Le premier noyau est 3 × 3 × 128 ; le deuxième noyau est 1 × 1 × 128 ; et le troisième noyau est 1 × 1 × 1. Pour obtenir une taille uniforme des cartes de caractéristiques après les quatre couches de regroupement initiales, connectées à trois noyaux, chaque taille étant équivalente à un huitième de l’image d’origine, la taille de pas du premier noyau connecté à ces quatre plus grandes couches de regroupement est définie sur 4, 2, 1 et 1, respectivement.

Pour préserver le champ récepteur d’origine dans les différents noyaux, l’algorithme des trous proposé dans la littérature¹¹ est utilisé pour étendre la taille du noyau en ajoutant des zéros, maintenant ainsi l’intégrité du noyau. Ces quatre cartes de caractéristiques sont connectées au premier noyau avec des tailles d’étape différentes. Par conséquent, les cartes d’entités produites à l’étape finale possèdent des dimensions identiques. Les quatre cartes de caractéristiques constituent un ensemble de caractéristiques multi-échelles obtenues à partir d’échelles distinctes, chacune représentant des tailles variables de champs réceptifs. Les cartes de caractéristiques obtenues à partir des quatre couches intermédiaires sont concaténées avec la carte de caractéristiques ultime dérivée de VGG16, générant ainsi une sortie à 5 canaux. La sortie qui en résulte est ensuite soumise à un noyau 1 × 1 × 1 avec la fonction d’activation sigmoïde, produisant finalement la carte saillante (avec une résolution d’un huitième de l’image originale). L’image est suréchantillonnée et agrandie à l’aide d’une interpolation bilinéaire, ce qui garantit que l’image résultante, appelée carte de saillance, conserve une résolution identique à l’image initiale.

Réseau encodeur-décodeur profond
De même, le réseau VGG16 est utilisé comme réseau principal. VGG16 se caractérise par un faible nombre de canaux de carte de caractéristiques peu profonds mais à haute résolution et un nombre élevé de canaux de caractéristiques profonds mais à faible résolution. Le regroupement des couches et le sous-échantillonnage augmentent la vitesse de calcul du réseau profond au prix d’une réduction de la résolution de sa carte de caractéristiques. Pour résoudre ce problème, suite à l’analyse de la littérature¹⁴, le réseau de codeurs est utilisé pour modifier la connectivité complète de la dernière couche de pooling dans le VGG16 d’origine. Cette modification consiste à le remplacer par deux couches convolutives à 7 × 7 noyaux (les noyaux convolutifs plus gros augmentent le champ réceptif). Les deux noyaux de convolution sont équipés d’une opération de normalisation (BN) et d’une unité linéaire modifiée (ReLU). Cet ajustement se traduit par une carte des caractéristiques de sortie de l’encodeur qui préserve mieux les informations de l’espace image.

Alors que l’encodeur améliore la sémantique d’image de haut niveau pour la localisation globale des objets saillants, le problème de flou des frontières de son objet saillant n’est pas efficacement amélioré. Pour résoudre ce problème, les caractéristiques profondes sont fusionnées avec des caractéristiques peu profondes, inspirées des travaux de détection des bords¹², proposant le modèle de réseau encodeur-décodeur (DEDN) comme le montre la figure 3. L’architecture du codeur comprend trois noyaux interconnectés avec les quatre premiers, tandis que le décodeur améliore systématiquement la résolution de la carte des caractéristiques en utilisant les valeurs maximales récupérées à partir des couches de regroupement maximales.

Dans cette méthodologie innovante de détection d’objets saillants, pendant la phase de décodeur, une couche convolutive avec un noyau 3 × 3 est utilisée en combinaison avec une couche de normalisation par lots et une unité linéaire adaptée. À la fin du module de décodage final dans l’architecture du décodeur, une couche convolutive à canal unique est utilisée pour obtenir une carte saillante des dimensions spatiales W × H. La carte saillante est générée par une fusion collaborative du modèle encodeur-décodeur, donnant le résultat, et la fusion complémentaire des deux, c’est-à-dire la fusion complémentaire de l’information profonde et de l’information superficielle. Cela permet non seulement de localiser avec précision l’objet saillant et d’augmenter le champ réceptif, mais aussi de préserver efficacement les informations détaillées de l’image et de renforcer la limite de l’objet saillant.

Mécanisme d’intégration
L’architecture du codeur comprend trois noyaux, qui sont associés aux quatre couches de mise en commun maximales initiales du modèle VGG16. En revanche, le décodeur est intentionnellement formulé pour augmenter progressivement la résolution des cartes de caractéristiques acquises à partir des couches de suréchantillonnage en exploitant les valeurs maximales recueillies à partir des couches de regroupement correspondantes. Une couche convolutive utilisant un noyau 3 x 3, une couche de normalisation par lots et une unité linéaire modifiée sont ensuite utilisées dans le décodeur, suivies d’une couche convolutive à canal unique pour générer une carte saillante des dimensions W × H. Les poids des deux réseaux profonds sont appris par des cycles d’entraînement alternés. Les paramètres du premier réseau ont été maintenus fixes, tandis que les paramètres du second réseau ont été entraînés pendant un total de cinquante cycles. Au cours du processus, les poids de la carte de saillance (^S1 et ^S2) utilisée pour la fusion sont mis à jour via un gradient aléatoire. La fonction^{de perte 11} est :

(1)

Dans l’expression donnée, le symbole G représente la valeur étiquetée manuellement, tandis que W signifie l’ensemble complet des paramètres du réseau. Le poids β_i sert de facteur d’équilibrage pour réguler la proportion de pixels saillants par rapport aux pixels non saillants dans le processus de calcul.

L’image I est caractérisée par trois paramètres : |Je|, |Je|_– et |Je|₊, qui représentent respectivement le nombre total de pixels, le nombre de pixels non saillants et le nombre de pixels saillants.

Étant donné que les cartes saillantes obtenues à partir des deux réseaux ci-dessus ne tiennent pas compte de la cohérence des pixels voisins, un modèle de raffinement de saillance au niveau des pixels entièrement connecté CRF¹⁵ est utilisé pour améliorer la cohérence spatiale. L’équation d’énergie¹¹ est la suivante, résolvant le problème d’étiquetage des pixels binaires.

(2)

où L désigne l’étiquette binaire (valeur saillante ou valeur non saillante) attribuée à tous les pixels. La variable P(l_i) indique la probabilité qu’un pixel x_idonné se voie attribuer une étiquette spécifique l_i, indiquant la probabilité que le pixel x_isoit saillante. Au début, P(1) = S_iet P(0) = 1 – S_i, où S_idésigne la valeur de saillance au pixel x_idans la carte de saillance fusionnée S. θ_i,j(l_{i,l j}) est le potentiel par paires, défini comme suit.

(3)

Parmi eux, si l_i≠ l_j, alors μ(l_{i,l j}) = 1, sinon μ(l_{i,l j}) = 0. Le calcul de θ_i,j implique l’utilisation de deux noyaux, où le noyau initial dépend à la fois de la position du pixel P et de l’intensité du pixel I. Il en résulte que la proximité de pixels de couleurs similaires présente des valeurs de saillance comparables. Les deux paramètres, σ_α et _{σ β}, régulent la mesure dans laquelle la similitude des couleurs et la proximité spatiale influencent le résultat. L’objectif du deuxième noyau est d’éliminer les petites régions isolées. La minimisation de l’énergie est obtenue grâce à un filtrage de grande dimension, qui accélère le champ moyen de la distribution de champ aléatoire conditionnel (CRF). Lors du calcul, la carte saillante désignée S_crf présente une cohérence spatiale et un contour améliorés en ce qui concerne les objets saillants détectés.

Configurations expérimentales
Dans cet article, un réseau profond pour la détection de cibles saillantes basé sur le réseau neuronal VGG16 est construit à l’aide de Python. Le modèle proposé est comparé à d’autres méthodes utilisant les ensembles de données SOD²⁰ et ECSSD²¹ . La base de données d’images SOD est connue pour ses arrière-plans complexes et encombrés, la similitude des couleurs entre le premier plan et l’arrière-plan et la petite taille des objets. Chaque image de cet ensemble de données se voit attribuer une valeur réelle étiquetée manuellement pour l’évaluation quantitative et qualitative des performances. D’autre part, l’ensemble de données ECSSD se compose principalement d’images provenant d’Internet, présentant des scènes naturelles plus complexes et réalistes avec un faible contraste entre l’arrière-plan de l’image et les objets saillants.

Les indices d’évaluation utilisés pour comparer le modèle dans le présent document comprennent la courbe de précision-rappel couramment utilisée, F_βet E_MAE. Pour évaluer quantitativement la carte de saillance prédite, la courbe de rappel de précision (P-R)²² est utilisée en modifiant le seuil de 0 à 255 pour binariser la carte de saillance. F_βest une métrique d’évaluation complète, calculée avec les équations de précision et de rappel dérivées de la carte des saillies binarisées et d’une carte des valeurs réelles.

(4)

où β est le paramètre de poids pour ajuster la précision et le rappel, en réglant β² = 0,3. Le calcul de E_MAEéquivaut au calcul de l’erreur absolue moyenne entre l’application de saillance résultante et l’application de vérité terrain, telle que définie par l’expression mathématique qui en résulte :

(5)

Soit T_s(u,v) la valeur extraite des pixels saillants de l’application (u,v) et T_G(u,v) la valeur correspondante des vrais pixels de l’application (u,v).