Summary

Application de l’imagerie par réflectance hyperspectrale pour étudier les palettes et les techniques des peintres

Published: June 18, 2021
doi:

Summary

Les hypercubes d’imagerie par réflectance hyperspectrale incluent des informations remarquables dans une grande quantité de données. Par conséquent, la demande de protocoles automatisés pour gérer et étudier les ensembles de données est largement justifiée. La combinaison de Spectral Angle Mapper, de la manipulation de données et d’une méthode d’analyse réglable par l’utilisateur constitue un élément clé pour explorer les résultats expérimentaux.

Abstract

La spectroscopie de réflectance (RS) et la spectroscopie de réflectance par fibre optique (FORS) sont des techniques bien établies pour l’étude des œuvres d’art avec une attention particulière aux peintures. La plupart des musées modernes mettent à la disposition de leurs groupes de recherche des équipements portables qui, associés au caractère intrinsèque non invasif de RS et FORS, rendent possible la collecte in situ de spectres de réflectance à partir de la surface des artefacts. La comparaison, réalisée par des experts en pigments et en matériaux de peinture, des données expérimentales avec des bases de données de spectres de référence conduit à la caractérisation des palettes et des techniques utilisées par les artistes. Cependant, cette approche nécessite des compétences spécifiques et prend du temps, surtout si le nombre de spectres à étudier devient important, comme c’est le cas des ensembles de données d’imagerie par réflectance hyperspectrale (HRI). Les installations expérimentales HRI sont des caméras multidimensionnelles qui associent l’information spectrale, donnée par les spectres de réflectance, à la localisation spatiale des spectres sur la surface peinte. Les ensembles de données résultants sont des cubes 3D (appelés hypercubes ou cubes de données) où les deux premières dimensions localisent le spectre sur la peinture et la troisième est le spectre lui-même (c’est-à-dire la réflectance de ce point de la surface peinte par rapport à la longueur d’onde dans la gamme opératoire du détecteur). La capacité du détecteur à collecter simultanément un grand nombre de spectres (généralement beaucoup plus de 10 000 pour chaque hypercube) fait des ensembles de données HRI de grands réservoirs d’informations et justifie la nécessité de développer des protocoles robustes et, éventuellement, automatisés pour analyser les données. Après la description de la procédure conçue pour l’acquisition de données, nous présentons une méthode d’analyse qui exploite systématiquement le potentiel des hypercubes. Basé sur spectral Angle Mapper (SAM) et sur la manipulation des spectres collectés, l’algorithme gère et analyse des milliers de spectres tout en aidant l’utilisateur à dévoiler les caractéristiques des échantillons étudiés. La puissance de l’approche est illustrée en l’appliquant à Quarto Stato, le chef-d’œuvre emblématique de Giuseppe Pellizza da Volpedo, conservé au Museo del Novecento de Milan (Italie).

Introduction

La spectroscopie de réflectance (RS) et la spectroscopie de réflectance par fibre optique (FORS) sont basées sur la détection de la lumière réfléchie par les surfaces une fois éclairées par une source lumineuse, généralement une lampe tungstène-halogène. La sortie du système d’acquisition est constituée de spectres où la réflectance est surveillée en fonction de la longueur d’onde dans une plage qui dépend des caractéristiques de la configuration expérimentale utilisée1,2,3. Introduits au cours des quatre dernières décennies4,5, RS et FORS sont généralement utilisés en combinaison avec la fluorescence des rayons X et d’autres spectroscopies pour décrire les matériaux et les techniques utilisés par les artistes pour réaliser leurs chefs-d’œuvre6,7,8,9. L’étude des spectres de réflectance est généralement réalisée en comparant les données de l’échantillon avec un groupe de spectres de référence sélectionnés par l’utilisateur dans des bases de données personnelles ou publiques. Une fois que les spectres de référence conformes à la période de réalisation de l’échantillon et au modus operandi de l’artiste ont été identifiés, l’utilisateur reconnaît les principales caractéristiques des spectres de réflectance (c.-à-d. bandes de transition, d’absorption et de réflexion1,2,10,11) puis, à l’aide d’autres techniques6,7,8 ils distinguent les pigments qui ont été utilisés dans les peintures. Enfin, ils discutent des légères différences qu’il existe entre les références et les spectres expérimentaux7,9.

Dans la plupart des cas, les ensembles de données expérimentales sont composés de quelques spectres, collectés à partir de zones choisies par des experts en art et supposés importants pour la caractérisation de la peinture6,12,13. Malgré les compétences et l’expérience de l’utilisateur, quelques spectres ne peuvent pas épuiser complètement les caractéristiques de toute la surface peinte. De plus, le résultat de l’analyse dépendra toujours fortement de l’expertise de l’artiste interprète. Dans ce scénario, l’imagerie par réflectance hyperspectrale (HRI3,14,15) pourrait être une ressource utile. Au lieu de quelques spectres isolés, les configurations expérimentales renvoient les propriétés de réflectance de portions étendues ou même de l’ensemble de l’artefact étudié16. Les deux principaux avantages en ce qui concerne l’acquisition des spectres isolés sont évidents. D’une part, la disponibilité de la distribution spatiale des propriétés de réflectance permet d’identifier les zones qui cachent des caractéristiques intéressantes, même si elles peuvent ne pas sembler particulières17. D’autre part, les hypercubes garantissent un nombre de spectres suffisamment élevé pour permettre l’analyse statistique des données. Ces faits appuient la compréhension de la distribution des pigments dans la surface peinte18,19.

Avec HRI, la comparaison des données expérimentales avec les références pourrait être difficile à gérer15. Un détecteur typique renvoie des hypercubes d’au moins 256 x 256 spectres. Cela obligerait l’utilisateur à évaluer plus de 65 000 spectres de réflectance par rapport à chaque référence, une tâche presque impossible à effectuer manuellement dans un délai raisonnable. Par conséquent, la demande de protocoles robustes et, éventuellement, automatisés pour gérer et analyser les ensembles de données HRI est plus que justifiée15,17. La méthode proposée répond à ce besoin en gérant l’ensemble de la procédure analytique avec un minimum d’implication et une flexibilité maximale.

Un algorithme comprenant un ensemble de codes faits maison (Table des matériaux) lit, gère et organise les fichiers renvoyés par la configuration expérimentale. Il permet d’étudier la sélection fine des parties des champs de vision (FOV, un champ de vision est la zone de la peinture surveillée par un seul hypercube) et effectue l’analyse des données sur la base de la méthode Spectral Angle Mapper (SAM)20,21 et sur la manipulation des spectres originaux. SAM renvoie des images en niveaux de gris de fausses couleurs appelées cartes de similarité. Les valeurs des pixels de ces cartes correspondent aux angles spectraux qui sont les angles entre les spectres stockés dans les hypercubes et les membres dits finaux (ME, un groupe de spectres de référence qui devrait décrire les caractéristiques de la surface surveillée par les hypercubes)22. Dans le cas de RS appliqué aux peintures, les EM sont les spectres de réflectance des pigments qui doivent correspondre à la palette du Maître. Ils sont choisis en fonction des informations disponibles sur l’artiste, de la période de réalisation du tableau et de l’expertise de l’utilisateur. Par conséquent, la sortie du SAM est un ensemble de cartes qui décrit les distributions spatiales de ces pigments sur la surface de la peinture et qui aide l’utilisateur à déduire les matériaux utilisés par l’artiste et leur organisation dans l’artefact. L’algorithme offre la possibilité d’employer toutes sortes de références indépendamment de leur origine. Les références peuvent être des spectres spécifiques sélectionnés dans les hypercubes, provenir de bases de données, être acquises par un instrument différent sur une surface différente (comme des échantillons de pigments ou la palette de l’artiste, par exemple), ou être obtenues en utilisant tout type de spectroscopie de réflectance, FORS inclus.

La SAM a été préférée parmi les méthodes de classification disponibles car il a été démontré qu’elle était efficace pour caractériser les pigments (voir le livre de Richard23 pour avoir un aperçu des principales méthodes de classification disponibles). Au lieu de cela, l’idée de développer un protocole fait maison plutôt que d’adopter l’un des nombreux outils disponibles gratuitement sur le net24,25 repose sur une considération pratique. Malgré l’efficacité et la base scientifique des interfaces graphiques et des logiciels existants, un seul outil ne répond guère à tous les besoins de l’utilisateur. Il peut y avoir un problème d’entrée/sortie (E/S) car un outil ne gère pas le fichier contenant les données brutes. Il pourrait y avoir un problème concernant l’analyse des données parce qu’un autre outil ne fournit pas l’approche souhaitée. Il pourrait y avoir une limitation dans le traitement des données car l’analyse simultanée de plusieurs jeux de données n’est pas prise en charge. Dans tous les cas, un outil parfait n’existe pas. Chaque méthode doit être ajustée aux données ou vice versa. Par conséquent, le développement d’un protocole fait maison a été préféré.

L’approche présentée n’offre ni un ensemble complet de méthodes analytiques (voir, à titre de comparaison, l’outil proposé par Mobaraki et Amigo24) ni une interface utilisateur facile à gérer (voir, à titre de comparaison, le logiciel utilisé par Zhu et ses collègues25), mais, en échange, elle se concentre sur un aspect encore sous-estimé de l’analyse de données hyperspectrales: la possibilité de manipuler les spectres détectés. La puissance de l’approche est illustrée en l’appliquant au tableau Quarto Stato de Giuseppe Pellizza da Volpedo (Figure 1), une huile sur toile emblématique conservée au Museo del Novecento de Milan, en Italie. Notez que, puisque l’approche nécessite l’exécution de codes faits maison, le développeur a choisi arbitrairement les noms des codes et les variables d’entrée et de sortie utilisées dans la description du protocole. Les noms des variables peuvent être modifiés par l’utilisateur, mais ils doivent être fournis comme suit: les variables d’entrée et de sortie doivent être écrites respectivement entre parenthèses et éventuellement séparées par une virgule et entre crochets et éventuellement séparées par un espace blanc. Au contraire, les noms des codes ne peuvent pas être modifiés.

Protocol

1. Définissez la résolution spatiale des hypercubes Effectuer une inspection préliminaire de la surface peinte (Figure 1) soutenue par des experts en art pour identifier les principales caractéristiques de la peinture. Reconnaître les techniques picturales employées par l’artiste pour créer le tableau. Identifiez les différents coups de pinceau de peinture sur la toile. Estimer, qualitativement, les caractéristiques des coups de pinceau avec…

Representative Results

Le protocole proposé offre un ensemble de fonctionnalités intéressantes pour la gestion et l’analyse des données HRI. L’E/S (étape 3.1) des données brutes est toujours le premier problème qui doit être résolu avant d’appliquer une méthode d’analyse et il peut devenir un problème critique lors du traitement de grandes quantités de données. Dans le cas présent, la seule tâche concernant les données brutes est de stocker les résultats expérimentaux dans un dossier dédié et de le sélectionner en …

Discussion

Les ensembles de données d’imagerie par réflectance hyperspectrale sont de grands réservoirs d’information; par conséquent, le développement de protocoles robustes et, éventuellement, automatisés pour analyser les données est un tournant clé pour exploiter leur potentiel15,17. L’algorithme proposé répond à ce besoin dans le domaine du patrimoine culturel avec une attention particulière à la caractérisation des pigments des peintures. Basé su…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Cette recherche a été financée par regione Lombardia dans le cadre du projet MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici – Call Accordi per la Ricerca e l’Innovazione.

Les auteurs remercient le personnel du Museo del Novecento pour le soutien apporté lors des sessions expérimentales in situ et l’Associazione Pellizza da Volpedo pour l’accès au Studio Museo.

Materials

ImageJ/Fiji Specim (Oulo, Finlad) N/A Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b StellarNet Inc (Tampa, Florida, USA) N/A Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera National Institutes of Health (Bethesda, Maryland, USA) N/A  Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer  MathWorks (Natick, Massachusset, USA) N/A Program Language and numerical computing environment

References

  1. Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
  2. Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
  3. Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
  4. Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
  5. Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
  6. Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
  7. Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
  8. Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
  9. Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
  10. Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
  11. Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
  12. Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
  13. Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
  14. Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
  15. Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
  16. Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
  17. Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
  18. Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
  19. Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
  20. Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
  21. Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
  22. Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
  23. Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
  24. Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
  25. Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
  26. Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
  27. Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
  28. Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
  29. read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
  30. Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
  31. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
  32. Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).

Play Video

Cite This Article
Caccia, M., Caglio, S., Galli, A., Interlenghi, M., Castiglioni, I., Martini, M. Applying Hyperspectral Reflectance Imaging to Investigate the Palettes and the Techniques of Painters. J. Vis. Exp. (172), e62202, doi:10.3791/62202 (2021).

View Video