Summary

Applicare l'imaging della riflettanza iperspettrale per indagare le tavolozze e le tecniche dei pittori

Published: June 18, 2021
doi:

Summary

Gli ipercubi di Imaging a riflettanza iperspettrale includono informazioni notevoli in una grande quantità di dati. Pertanto, la richiesta di protocolli automatizzati per gestire e studiare i set di dati è ampiamente giustificata. La combinazione di Spectral Angle Mapper, manipolazione dei dati e un metodo di analisi regolabile dall’utente costituisce una svolta fondamentale per esplorare i risultati sperimentali.

Abstract

La spettroscopia di riflettanza (RS) e la spettroscopia di riflettanza in fibra ottica (FORS) sono tecniche consolidate per l’indagine di opere d’arte con particolare attenzione ai dipinti. La maggior parte dei musei moderni mette a disposizione dei propri gruppi di ricerca apparecchiature portatili che, insieme all’intrinseca non invasività di RS e FORS, rende possibile la raccolta in situ di spettri di riflettanza dalla superficie dei manufatti. Il confronto, effettuato da esperti in pigmenti e materiali pittorici, dei dati sperimentali con banche dati di spettri di riferimento guida la caratterizzazione delle palette e delle tecniche utilizzate dagli artisti. Tuttavia, questo approccio richiede competenze specifiche e richiede molto tempo soprattutto se il numero degli spettri da indagare diventa grande come nel caso dei set di dati HRI (Hyperspectral Reflectance Imaging). Le configurazioni sperimentali HRI sono telecamere multidimensionali che associano le informazioni spettrali, date dagli spettri di riflettanza, con la localizzazione spaziale degli spettri sulla superficie verniciata. I set di dati risultanti sono cubi 3D (chiamati ipercubi o cubi di dati) in cui le prime due dimensioni localizzano lo spettro sopra il dipinto e la terza è lo spettro stesso (cioè la riflettanza di quel punto della superficie dipinta rispetto alla lunghezza d’onda nel campo operativo del rivelatore). La capacità del rivelatore di raccogliere contemporaneamente un gran numero di spettri (in genere molto più di 10.000 per ogni ipercubo) rende i set di dati HRI grandi serbatoi di informazioni e giustifica la necessità dello sviluppo di protocolli robusti e, possibilmente, automatizzati per analizzare i dati. Dopo la descrizione della procedura progettata per l’acquisizione dei dati, presentiamo un metodo di analisi che sfrutta sistematicamente le potenzialità degli ipercubi. Basato su Spectral Angle Mapper (SAM) e sulla manipolazione degli spettri raccolti, l’algoritmo gestisce e analizza migliaia di spettri mentre allo stesso tempo supporta l’utente a svelare le caratteristiche dei campioni in esame. La potenza dell’approccio è illustrata applicandolo a Quarto Stato, l’iconico capolavoro di Giuseppe Pellizza da Volpedo, conservato nel Museo del Novecento di Milano( Italia).

Introduction

La spettroscopia di riflettanza (RS) e la spettroscopia di riflettanza a fibre ottiche (FORS) si basano sul rilevamento della luce riflessa da superfici una volta illuminate da una sorgente luminosa, in genere una lampada alogena al tungsteno. L’output del sistema di acquisizione è costituito da spettri in cui la riflettanza è monitorata in funzione della lunghezza d’onda in un intervallo che dipende dalle caratteristiche del setup sperimentale impiegato1,2,3. Introdotti negli ultimi quattro decenni4,5, RS e FORS sono tipicamente utilizzati in combinazione con la fluorescenza a raggi X e altre spettroscopie per descrivere i materiali e le tecniche utilizzate dagli artisti per realizzare i loro capolavori6,7,8,9. Lo studio degli spettri di riflettanza viene solitamente eseguito confrontando i dati del campione con un gruppo di spettri di riferimento selezionati dall’utente in database personali o pubblici. Una volta individuati gli spettri di riferimento conformi al periodo di realizzazione del campione e al modus operandi dell’artista, l’utente riconosce le caratteristiche principali degli spettri di riflettanza (ovvero bande di transizione, assorbimento e riflessione1,2,10,11) e quindi, con l’ausilio di altre tecniche6,7,8 distinguono i pigmenti che sono stati utilizzati nei dipinti. Infine discutono le lievi differenze che esistono tra i riferimenti e gli spettri sperimentali7,9.

Nella maggior parte dei casi, i dataset sperimentali sono composti da pochi spettri, raccolti da aree scelte da esperti d’arte e ritenuti significativi per la caratterizzazione del dipinto6,12,13. Nonostante le competenze e l’esperienza dell’utente, alcuni spettri non possono esaurire completamente le caratteristiche dell’intera superficie verniciata. Inoltre, il risultato dell’analisi sarà sempre fortemente dipendente dall’esperienza dell’esecutore. In questo scenario, Hyperspectral Reflectance Imaging (HRI3,14,15) potrebbe essere una risorsa utile. Invece di pochi spettri isolati, le configurazioni sperimentali restituiscono le proprietà di riflettanza di porzioni estese o anche dell’intero manufatto oggetto di indagine16. I due principali vantaggi rispetto all’acquisizione degli spettri isolati sono evidenti. Da un lato, la disponibilità della distribuzione spaziale delle proprietà di riflettanza consente l’identificazione di aree che nascondono caratteristiche interessanti, anche se potrebbero non sembrare peculiari17. D’altra parte, gli ipercubi garantiscono un numero di spettri abbastanza alto da consentire l’analisi statistica dei dati. Questi fatti supportano la comprensione della distribuzione dei pigmenti all’interno della superficie verniciata18,19.

Con HRI, il confronto dei dati sperimentali con i riferimenti potrebbe essere difficile da gestire15. Un rivelatore tipico restituisce ipercubi di almeno 256 x 256 spettri. Ciò richiederebbe all’utente di valutare più di 65.000 spettri di riflettanza rispetto a ciascun riferimento, un compito quasi impossibile da eseguire manualmente in un tempo ragionevole. Pertanto, la richiesta di protocolli robusti e, possibilmente, automatizzati per gestire e analizzare i set di dati HRI è più che giustificata15,17. Il metodo proposto risponde a questa esigenza gestendo l’intera procedura analitica con il minimo coinvolgimento e la massima flessibilità.

Un algoritmo che comprende un insieme di codici fatti in casa (Table of Materials) legge, gestisce e organizza i file restituiti dalla configurazione sperimentale. Permette di studiare la selezione fine delle porzioni dei Campi visivi (FOV, un campo visivo è l’area del dipinto monitorata da un singolo ipercubo) ed esegue l’analisi dei dati basata sul metodo Spectral Angle Mapper (SAM)20,21 e sulla manipolazione degli spettri originali. SAM restituisce immagini in scala di grigi a falsi colori chiamate mappe di somiglianza. I valori dei pixel di queste mappe corrispondono agli angoli spettrali che sono gli angoli tra gli spettri memorizzati negli ipercubi e i cosiddetti End Member (EM, un gruppo di spettri di riferimento che dovrebbe descrivere le caratteristiche della superficie monitorata dagli ipercubi)22. Nel caso di RS applicato ai dipinti, gli EM sono gli spettri di riflettanza dei pigmenti che dovrebbero corrispondere alla tavolozza del Master. Sono scelti in base alle informazioni disponibili sull’artista, al periodo di realizzazione del dipinto e alla competenza dell’utente. Pertanto, l’output del SAM è un insieme di mappe che descrive le distribuzioni spaziali di questi pigmenti sulla superficie pittorica e che supporta l’utente a dedurre i materiali utilizzati dall’artista e la loro organizzazione nel manufatto. L’algoritmo offre la possibilità di impiegare tutti i tipi di riferimenti indipendentemente dalla loro origine. I riferimenti possono essere spettri specifici selezionati all’interno degli ipercubi, provenire da database, essere acquisiti da uno strumento diverso su una superficie diversa (come campioni di pigmenti o la tavolozza dell’artista, per esempio), o essere ottenuti utilizzando qualsiasi tipo di spettroscopia di riflettanza, FORS incluso.

Il SAM è stato preferito tra i metodi di classificazione disponibili perché si è dimostrato efficace per caratterizzare i pigmenti (si rimanda al libro di Richard23 per avere una panoramica dei principali metodi di classificazione disponibili). Invece, l’idea di sviluppare un protocollo fatto in casa piuttosto che adottare uno dei tanti strumenti liberamente disponibili in rete24,25 si basa su una considerazione pratica. Nonostante l’efficacia e le basi scientifiche delle GUI e del software esistenti, un singolo strumento difficilmente soddisfa tutte le esigenze dell’utente. Potrebbe esserci un problema di input/output (I/O) perché uno strumento non gestisce il file contenente i dati grezzi. Potrebbe esserci un problema per quanto riguarda l’analisi dei dati perché un altro strumento non fornisce l’approccio desiderato. Potrebbe esserci una limitazione nella gestione dei dati perché l’analisi simultanea di più set di dati non è supportata. In ogni caso, uno strumento perfetto non esiste. Ogni metodo deve essere adattato ai dati o viceversa. Pertanto, è stato preferito lo sviluppo di un protocollo fatto in casa.

L’approccio presentato non offre né un set completo di metodi analitici (vedi, per confronto, lo strumento proposto da Mobaraki e Amigo24) né un’interfaccia utente facile da gestire (vedi, per confronto, il software impiegato da Zhu e colleghi25), ma, in cambio, si concentra su un aspetto ancora sottovalutato dell’analisi dei dati iperspettrali: l’opportunità di manipolare gli spettri rilevati. La potenza dell’approccio è illustrata applicandola al dipinto Quarto Stato di Giuseppe Pellizza da Volpedo (Figura 1), un iconico olio su tela conservato nel Museo del Novecento di Milano, Italia. Si noti che, poiché l’approccio richiede l’esecuzione di codici fatti in casa, lo sviluppatore ha scelto arbitrariamente i nomi dei codici e le variabili di input e output utilizzate nella descrizione del protocollo. I nomi delle variabili possono essere modificati dall’utente ma devono essere forniti come segue: le variabili di input e out devono essere scritte rispettivamente tra parentesi ed eventualmente separate da virgola e tra parentesi quadre ed eventualmente separate da uno spazio bianco. Al contrario, i nomi dei codici non possono essere modificati.

Protocol

1. Imposta la risoluzione spaziale degli ipercubi Eseguire un’ispezione preliminare della superficie verniciata (Figura 1) supportata da esperti d’arte per identificare le caratteristiche principali del dipinto. Riconoscere le tecniche pittoriche impiegate dall’artista per creare il dipinto. Identifica le diverse pennellate di vernice sulla tela. Stimare, qualitativamente, le caratteristiche delle pennellate con particolare attenzione alla loro dimensi…

Representative Results

Il protocollo proposto offre una serie di caratteristiche interessanti per la gestione e l’analisi dei dati HRI. L’I/O (step 3.1) dei dati grezzi è sempre il primo problema che deve essere risolto prima di applicare qualsiasi metodo di analisi e può diventare un problema critico quando si ha a che fare con grandi quantità di dati. Nel caso di specie, l’unico compito relativo ai dati grezzi consiste nell’archiviare i risultati sperimentali in una cartella dedicata e selezionarla sfogliando il disco rigido durante l’ese…

Discussion

I set di dati di imaging della riflettanza iperspettrale sono grandi serbatoi di informazioni; pertanto, lo sviluppo di protocolli robusti e, possibilmente, automatizzati per analizzare i dati è una svolta chiave per sfruttarne le potenzialità15,17. L’algoritmo proposto risponde a questa esigenza nel campo dei beni culturali con particolare attenzione alla caratterizzazione dei pigmenti dei dipinti. Basato su SAM20,21<sup clas…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Questa ricerca è stata finanziata da Regione Lombardia nell’ambito del Progetto MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici – Call Accordi per la Ricerca e l’Innovazione.

Gli autori sono grati allo staff del Museo del Novecento per il supporto durante le sessioni sperimentali in situ e all’Associazione Pellizza da Volpedo per l’accesso allo Studio Museo.

Materials

ImageJ/Fiji Specim (Oulo, Finlad) N/A Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b StellarNet Inc (Tampa, Florida, USA) N/A Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera National Institutes of Health (Bethesda, Maryland, USA) N/A  Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer  MathWorks (Natick, Massachusset, USA) N/A Program Language and numerical computing environment

References

  1. Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
  2. Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
  3. Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
  4. Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
  5. Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
  6. Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
  7. Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
  8. Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
  9. Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
  10. Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
  11. Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
  12. Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
  13. Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
  14. Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
  15. Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
  16. Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
  17. Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
  18. Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
  19. Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
  20. Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
  21. Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
  22. Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
  23. Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
  24. Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
  25. Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
  26. Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
  27. Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
  28. Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
  29. read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
  30. Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
  31. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
  32. Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).

Play Video

Cite This Article
Caccia, M., Caglio, S., Galli, A., Interlenghi, M., Castiglioni, I., Martini, M. Applying Hyperspectral Reflectance Imaging to Investigate the Palettes and the Techniques of Painters. J. Vis. Exp. (172), e62202, doi:10.3791/62202 (2021).

View Video