Summary

Hyperspectrale reflectie beeldvorming toepassen om de paletten en de technieken van schilders te onderzoeken

Published: June 18, 2021
doi:

Summary

Hyperspectral Reflectance Imaging hyperkubussen nemen opmerkelijke informatie op in een grote hoeveelheid gegevens. Daarom is de vraag naar geautomatiseerde protocollen om de datasets te beheren en te bestuderen breed gerechtvaardigd. De combinatie van Spectral Angle Mapper, datamanipulatie en een door de gebruiker instelbare analysemethode vormt een belangrijke wending voor het verkennen van de experimentele resultaten.

Abstract

Reflectance Spectroscopy (RS) en Fiber Optics Reflectance Spectroscopy (FORS) zijn gevestigde technieken voor het onderzoeken van kunstwerken met bijzondere aandacht voor schilderijen. De meeste moderne musea stellen draagbare apparatuur ter beschikking van hun onderzoeksgroepen die, samen met de intrinsieke non-invasiviteit van RS en FORS, de in situ collectie van reflectiespectra van het oppervlak van artefacten mogelijk maakt. De vergelijking, uitgevoerd door experts in pigmenten en schildermaterialen, van de experimentele gegevens met databases van referentiespectra drijft de karakterisering van de paletten en van de technieken die door de kunstenaars worden gebruikt. Deze aanpak vereist echter specifieke vaardigheden en het is tijdrovend, vooral als het aantal te onderzoeken spectra groot wordt, zoals het geval is bij Hyperspectral Reflectance Imaging (HRI) datasets. De HRI-experimentele opstellingen zijn multidimensionale camera’s die de spectrale informatie, gegeven door de reflectiespectra, associëren met de ruimtelijke lokalisatie van de spectra over het geverfde oppervlak. De resulterende datasets zijn 3D-kubussen (hyperkubussen of datakubussen genoemd) waarbij de eerste twee dimensies het spectrum over het schilderij lokaliseren en de derde het spectrum zelf is (d.w.z. de reflectie van dat punt van het geverfde oppervlak versus de golflengte in het operatieve bereik van de detector). Het vermogen van de detector om tegelijkertijd een groot aantal spectra te verzamelen (meestal veel meer dan 10.000 voor elke hyperkubus) maakt de HRI-datasets grote reservoirs van informatie en rechtvaardigt de noodzaak van de ontwikkeling van robuuste en mogelijk geautomatiseerde protocollen om de gegevens te analyseren. Na de beschrijving van de procedure die is ontworpen voor de gegevensverzameling, presenteren we een analysemethode die systematisch het potentieel van de hyperkubussen benut. Gebaseerd op Spectral Angle Mapper (SAM) en op de manipulatie van de verzamelde spectra, verwerkt en analyseert het algoritme duizenden spectra terwijl het tegelijkertijd de gebruiker ondersteunt om de kenmerken van de onderzochte monsters te onthullen. De kracht van de aanpak wordt geïllustreerd door het toe te passen op Quarto Stato, het iconische meesterwerk van Giuseppe Pellizza da Volpedo, gehouden in het Museo del Novecento in Milaan (Italië).

Introduction

Reflectance Spectroscopy (RS) en Fiber Optics Reflectance Spectroscopy (FORS) zijn gebaseerd op de detectie van het licht dat wordt gereflecteerd door oppervlakken die eenmaal zijn verlicht door een lichtbron, meestal een wolfraam-halogeenlamp. De output van het acquisitiesysteem wordt gevormd door spectra waarbij de reflectie wordt bewaakt als functie van de golflengte in een bereik dat afhankelijk is van de kenmerken van de gebruikte experimentele opstelling1,2,3. Geïntroduceerd in de afgelopen vier decennia4,5, worden RS en FORS meestal gebruikt in combinatie met röntgenfluorescentie en andere spectroscopieën om de materialen en de technieken te beschrijven die door kunstenaars worden gebruikt om hun meesterwerken te realiseren6,7,8,9. De studie van de reflectiespectra wordt meestal uitgevoerd door de gegevens van het monster te vergelijken met een groep referentiespectra die door de gebruiker is geselecteerd in persoonlijke of openbare databases. Zodra de referentiespectra die voldoen aan de realisatieperiode van het monster en aan de modus operandi van de kunstenaar zijn geïdentificeerd, herkent de gebruiker de belangrijkste kenmerken van de reflectiespectra (d.w.z. overgangs-, absorptie- en reflectiebanden1,2,10,11) en vervolgens, met behulp van andere technieken6,7,8 ze onderscheiden de pigmenten die in de schilderijen zijn gebruikt. Ten slotte bespreken ze de kleine verschillen die er bestaan tussen de referenties en de experimentele spectra7,9.

In de meeste gevallen zijn de experimentele datasets samengesteld uit enkele spectra, verzameld uit gebieden die door kunstexperts zijn gekozen en waarvan wordt aangenomen dat ze belangrijk zijn voor de karakterisering van het schilderij6,12,13. Ondanks de vaardigheden en de ervaring van de gebruiker, kunnen enkele spectra de kenmerken van het hele geverfde oppervlak niet volledig uitputten. Bovendien zal het resultaat van de analyse altijd sterk afhankelijk zijn van de expertise van de uitvoerder. In dit scenario kan Hyperspectral Reflectance Imaging (HRI3,14,15) een nuttige bron zijn. In plaats van een paar geïsoleerde spectra, geven de experimentele opstellingen de reflectie-eigenschappen van uitgebreide delen of zelfs van het hele artefact dat wordt onderzocht terug16. De twee belangrijkste voordelen met betrekking tot de verwerving van de geïsoleerde spectra zijn duidelijk. Aan de ene kant maakt de beschikbaarheid van de ruimtelijke verdeling van de reflectie-eigenschappen het mogelijk om gebieden te identificeren die interessante kenmerken verbergen, ook al lijken ze misschien niet eigenaardig17. Aan de andere kant garanderen de hyperkubussen een aantal spectra die hoog genoeg zijn om de statistische analyse van de gegevens mogelijk te maken. Deze feiten ondersteunen het begrip van de verdeling van pigmenten binnen het geschilderde oppervlak18,19.

Met HRI zou de vergelijking van de experimentele gegevens met de referenties moeilijk te hanteren kunnen zijn15. Een typische detector retourneert hyperkubussen van ten minste 256 x 256 spectra. Dit zou vereisen dat de gebruiker meer dan 65.000 reflectiespectra evalueert tegen elke referentie, een taak die bijna onmogelijk handmatig kan worden uitgevoerd in een redelijke tijd. Daarom is de vraag naar robuuste en mogelijk geautomatiseerde protocollen voor het beheren en analyseren van HRI-datasets meer dan gerechtvaardigd15,17. De voorgestelde methode beantwoordt aan deze behoefte door de hele analytische procedure met minimale betrokkenheid en maximale flexibiliteit af te handelen.

Een algoritme dat bestaat uit een set zelfgemaakte codes (Table of Materials) leest, beheert en organiseert de bestanden die door de experimentele installatie worden geretourneerd. Het maakt het mogelijk om de fijne selectie van de delen van de gezichtsvelden (FOV’s, één gezichtsveld is het gebied van het schilderij bewaakt door een enkele hyperkubus) te bestuderen en voert de analyse uit van de gegevens op basis van de Spectral Angle Mapper (SAM) –methode20,21 en op de manipulatie van de oorspronkelijke spectra. SAM retourneert valse kleuren grijsschaalafbeeldingen die gelijkeniskaarten worden genoemd. De waarden van de pixels van deze afbeeldingen komen overeen met de spectrale hoeken die de hoeken zijn tussen de spectra die zijn opgeslagen in de hyperkubussen en de zogenaamde End Members (EM’s, een groep referentiespectra die de kenmerken van het oppervlak moeten beschrijven die door de hyperkubussen worden bewaakt)22. In het geval van RS toegepast op schilderijen, zijn de EM’s de reflectiespectra van pigmenten die moeten overeenkomen met het palet van de Meester. Ze worden gekozen op basis van de beschikbare informatie over de kunstenaar, de realisatieperiode van het schilderij en de expertise van de gebruiker. Daarom is de output van de SAM een set kaarten die de ruimtelijke verdelingen van deze pigmenten over het schilderoppervlak beschrijft en die de gebruiker ondersteunt om de materialen af te leiden die door de kunstenaar en hun organisatie in het artefact worden gebruikt. Het algoritme biedt de mogelijkheid om onafhankelijk van hun oorsprong allerlei referenties in te zetten. De referenties kunnen specifieke spectra zijn die binnen de hyperkubussen zijn geselecteerd, afkomstig zijn uit databases, worden verkregen door een ander instrument op een ander oppervlak (zoals monsters van pigmenten of het palet van de kunstenaar, bijvoorbeeld), of worden verkregen met behulp van elke vorm van reflectiespectroscopie, inclusief FORS.

SAM heeft de voorkeur gekregen onder de beschikbare classificatiemethoden omdat is aangetoond dat het effectief is voor het karakteriseren van pigmenten (zie het boek van Richard23 voor een overzicht van de belangrijkste beschikbare classificatiemethoden). In plaats daarvan is het idee om een zelfgemaakt protocol te ontwikkelen in plaats van een van de vele tools die vrij beschikbaar zijn op het net24,25, afhankelijk van een praktische overweging. Ondanks de effectiviteit en wetenschappelijke onderbouwing van de bestaande GUI’s en software, voldoet één tool nauwelijks aan alle behoeften van de gebruiker. Er kan een I/O-probleem (Input/Output) optreden omdat een hulpprogramma het bestand met de onbewerkte gegevens niet beheert. Er kan een probleem zijn met betrekking tot de analyse van de gegevens omdat een andere tool niet de gewenste aanpak biedt. Er kan een beperking zijn in de verwerking van de gegevens omdat de gelijktijdige analyse van meerdere datasets niet wordt ondersteund. In ieder geval bestaat er geen perfect hulpmiddel. Elke methode moet worden aangepast aan de gegevens of omgekeerd. Daarom heeft de ontwikkeling van een zelfgemaakt protocol de voorkeur gekregen.

De gepresenteerde benadering biedt noch een complete reeks analytische methoden (zie ter vergelijking de tool voorgesteld door Mobaraki en Amigo24) noch een eenvoudig te beheren gebruikersinterface (zie ter vergelijking de software van Zhu en collega’s25), maar richt zich in ruil daarvoor op een nog steeds onderschat aspect van hyperspectrale data-analyse: de mogelijkheid om de gedetecteerde spectra te manipuleren. De kracht van de aanpak wordt geïllustreerd door het toe te passen op het schilderij Quarto Stato van Giuseppe Pellizza da Volpedo (figuur 1), een iconische olieverf op doek in het Museo del Novecento in Milaan, Italië. Merk op dat, aangezien de aanpak het uitvoeren van zelfgemaakte codes vereist, de ontwikkelaar willekeurig de namen van de codes en zowel de invoer- als uitvoervariabelen heeft gekozen die worden gebruikt in de beschrijving van het protocol. De namen van de variabelen kunnen door de gebruiker worden gewijzigd, maar ze moeten als volgt worden opgegeven: de invoer- en uitvariabelen moeten respectievelijk tussen haakjes worden geschreven en uiteindelijk worden gescheiden door komma’s en tussen vierkante haken en uiteindelijk worden gescheiden door een witruimte. Integendeel, de namen van de codes kunnen niet worden gewijzigd.

Protocol

1. Stel de ruimtelijke resolutie van de hyperkubussen in Voer een voorlopige inspectie uit van het geschilderde oppervlak (figuur 1) ondersteund door kunstexperts om de belangrijkste kenmerken van het schilderij te identificeren. Herken de picturale technieken die door de kunstenaar zijn gebruikt om het schilderij te maken. Identificeer de verschillende penseelstreken van verf op het canvas. Schat, kwalitatief, de kenmerken van de penseelstreken met bi…

Representative Results

Het voorgestelde protocol biedt een reeks interessante functies voor het beheer en de analyse van HRI-gegevens. De I/O (stap 3.1) van de ruwe gegevens is altijd het eerste probleem dat moet worden opgelost voordat een analysemethode wordt toegepast en het kan een kritiek probleem worden bij het omgaan met grote hoeveelheden gegevens. In het onderhavige geval is de enige taak met betrekking tot de onbewerkte gegevens het opslaan van de experimentele resultaten in een speciale map en deze te selecteren door op de harde sch…

Discussion

Hyperspectrale reflectie imaging datasets zijn grote reservoirs van informatie; daarom is de ontwikkeling van robuuste en mogelijk geautomatiseerde protocollen om de gegevens te analyseren een belangrijke wending om hun potentieel te benutten15,17. Het voorgestelde algoritme beantwoordt aan deze behoefte op het gebied van cultureel erfgoed met bijzondere aandacht voor de karakterisering van de pigmenten van schilderijen. Op basis van SAM20,21</s…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Dit onderzoek werd gefinancierd door Regione Lombardia in het kader van het Project MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici – Call Accordi per la Ricerca e l’Innovazione.

De auteurs zijn het personeel van Museo del Novecento dankbaar voor de ondersteuning tijdens de in situ experimentele sessies en de Associazione Pellizza da Volpedo voor de toegang tot Studio Museo.

Materials

ImageJ/Fiji Specim (Oulo, Finlad) N/A Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b StellarNet Inc (Tampa, Florida, USA) N/A Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera National Institutes of Health (Bethesda, Maryland, USA) N/A  Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer  MathWorks (Natick, Massachusset, USA) N/A Program Language and numerical computing environment

References

  1. Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
  2. Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
  3. Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
  4. Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
  5. Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
  6. Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
  7. Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
  8. Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
  9. Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
  10. Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
  11. Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
  12. Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
  13. Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
  14. Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
  15. Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
  16. Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
  17. Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
  18. Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
  19. Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
  20. Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
  21. Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
  22. Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
  23. Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
  24. Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
  25. Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
  26. Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
  27. Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
  28. Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
  29. read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
  30. Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
  31. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
  32. Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).

Play Video

Cite This Article
Caccia, M., Caglio, S., Galli, A., Interlenghi, M., Castiglioni, I., Martini, M. Applying Hyperspectral Reflectance Imaging to Investigate the Palettes and the Techniques of Painters. J. Vis. Exp. (172), e62202, doi:10.3791/62202 (2021).

View Video