Summary

Aplicando imagens de reflectância hiperespectral para investigar as paletas e as técnicas dos pintores

Published: June 18, 2021
doi:

Summary

Hipercubos hiperespectrais de imagem de reflexão incluem informações notáveis em uma grande quantidade de dados. Portanto, a solicitação de protocolos automatizados para gerenciar e estudar os conjuntos de dados é amplamente justificada. A combinação de Spectral Angle Mapper, manipulação de dados e um método de análise ajustável pelo usuário constitui uma virada fundamental para explorar os resultados experimentais.

Abstract

Espectroscopia reflectance (RS) e Espectroscopia de Reflexão de Fibra Óptica (FORS) são técnicas bem estabelecidas para a investigação de obras de arte com especial atenção às pinturas. A maioria dos museus modernos colocou à disposição de seus grupos de pesquisa equipamentos portáteis que, juntamente com a intrínseca não invasiva do RS e do FORS, possibilita a coleção in situ de espectros de reflexão da superfície dos artefatos. A comparação, realizada por especialistas em pigmentos e materiais de pintura, dos dados experimentais com bancos de dados de espectros de referência impulsiona a caracterização das paletas e das técnicas utilizadas pelos artistas. No entanto, essa abordagem requer habilidades específicas e é demorado especialmente se o número de espectros a serem investigados se tornar grande, como é o caso dos conjuntos de dados Hyperspectral Reflectance Imaging (HRI). As configurações experimentais HRI são câmeras multidimensionais que associam as informações espectrais, dadas pelo espectro de reflexão, com a localização espacial dos espectros sobre a superfície pintada. Os conjuntos de dados resultantes são cubos 3D (chamados hipercubos ou cubos de dados) onde as duas primeiras dimensões localizam o espectro sobre a pintura e a terceira é o próprio espectro (ou seja, a reflexão desse ponto da superfície pintada versus o comprimento de onda na faixa operacional do detector). A capacidade do detector de coletar simultaneamente um grande número de espectros (tipicamente muito mais de 10.000 para cada hipercubo) faz com que os conjuntos de dados HRI grandes reservatórios de informação e justifique a necessidade de desenvolvimento de protocolos robustos e, possivelmente, automatizados para analisar os dados. Após a descrição do procedimento projetado para a aquisição de dados, apresentamos um método de análise que explora sistematicamente o potencial dos hipercubos. Baseado no Spectral Angle Mapper (SAM) e na manipulação do espectro coletado, o algoritmo lida e analisa milhares de espectros e, ao mesmo tempo, suporta o usuário para revelar as características das amostras sob investigação. O poder da abordagem é ilustrado aplicando-a ao Quarto Stato, obra-prima icônica de Giuseppe Pellizza da Volpedo, realizada no Museu do Novecento, em Milão (Itália).

Introduction

Espectroscopia reflectância (RS) e Espectroscopia de Reflexão de Fibra Óptica (FORS) baseiam-se na detecção da luz refletida por superfícies uma vez iluminadas por uma fonte de luz, tipicamente uma lâmpada de tungstênio-halógeno. A saída do sistema de aquisição é constituída por espectros onde a reflexão é monitorada em função do comprimento de onda em uma faixa que depende das características da configuração experimental empregada1,2,3. Introduzidos durante as últimas quatro décadas4,5, RS e FORS são tipicamente usados em combinação com fluorescência de raios-X e outras espectroscopias para descrever os materiais e as técnicas usadas pelos artistas para realizar suas obras-primas6,7,8,9. O estudo do espectro de reflexão é geralmente realizado comparando os dados da amostra com um grupo de espectros de referência selecionados pelo usuário em bancos de dados pessoais ou públicos. Uma vez identificado o espectro de referência que cumpre o período de realização da amostra e com o modus operandi do artista, o usuário reconhece as principais características do espectro de reflexão (ou seja, bandas de transição, absorção e reflexão1,2,10,11) e, em seguida, com a ajuda de outras técnicas6,7,8 eles distinguem os pigmentos que têm sido usados nas pinturas. Por fim, discutem as pequenas diferenças que existem entre as referências e o espectro experimental7,9.

Na maioria dos casos, os conjuntos de dados experimentais são compostos por alguns espectros, coletados a partir de áreas escolhidas por especialistas em arte e considerados significativos para a caracterização da pintura6,12,13. Apesar das habilidades e da experiência do usuário, alguns espectros não conseguem esgotar totalmente as características de toda a superfície pintada. Além disso, o resultado da análise sempre dependerá fortemente da expertise do artista. Nesse cenário, a Imagem de Reflectância Hiperespectral (HRI3,14,15) pode ser um recurso útil. Em vez de alguns espectros isolados, as configurações experimentais retornam as propriedades de reflexão de porções estendidas ou mesmo de todo o artefato sob investigação16. As duas principais vantagens em relação à aquisição dos espectros isolados são evidentes. Por um lado, a disponibilidade da distribuição espacial das propriedades de reflexão permite identificar áreas que escondem características interessantes, embora possam não parecer peculiares17. Por outro lado, os hipercubos garantem uma série de espectros altos o suficiente para permitir a análise estatística dos dados. Esses fatos sustentam a compreensão da distribuição de pigmentos dentro da superfície pintada18,19.

Com o HRI, a comparação dos dados experimentais com as referências pode ser difícil de lidar com15. Um detector típico retorna hipercubos de pelo menos 256 x 256 espectros. Isso exigiria que o usuário avaliasse mais de 65.000 espectros de reflexão contra cada referência, tarefa quase impossível de ser realizada manualmente em um tempo razoável. Portanto, a solicitação de protocolos robustos e, possivelmente, automatizados para gerenciar e analisar conjuntos de dados HRI é mais do que justificada15,17. O método proposto responde a essa necessidade, lidando com todo o procedimento analítico com o mínimo de envolvimento e a máxima flexibilidade.

Um algoritmo composto por um conjunto de códigos caseiros (Tabela de Materiais) lê, gerencia e organiza os arquivos retornados pela configuração experimental. Permite que a fina seleção das porções dos Campos de Visão (FOVs, um campo de visão é a área da pintura monitorada por um único hipercubo) seja estudada e realize a análise dos dados com base no método Spectral Angle Mapper (SAM)20,21 e na manipulação do espectro original. O SAM retorna falsas imagens em escala cinza chamadas mapas de similaridade. Os valores dos pixels desses mapas correspondem aos ângulos espectrais que são os ângulos entre os espectros armazenados nos hipercubos e os chamados Membros Finais (EMs, um grupo de espectros de referência que devem descrever as características da superfície monitoradas pelos hipercubos)22. No caso do RS aplicado às pinturas, os EMs são os espectros de reflexão de pigmentos que devem combinar com a paleta do Mestre. Eles são escolhidos com base nas informações disponíveis sobre o artista, no período de realização da pintura e na expertise do usuário. Portanto, a saída do SAM é um conjunto de mapas que descreve as distribuições espaciais desses pigmentos sobre a superfície da pintura e que suporta o usuário a inferir os materiais utilizados pelo artista e sua organização no artefato. O algoritmo oferece a possibilidade de empregar todo tipo de referências independentemente de sua origem. As referências podem ser espectros específicos selecionados dentro dos hipercubos, provenientes de bancos de dados, ser adquiridos por um instrumento diferente em uma superfície diferente (como amostras de pigmentos ou a paleta do artista, por exemplo), ou ser obtido empregando qualquer tipo de espectroscopia de reflexão, fors incluído.

O SAM tem sido preferido entre os métodos de classificação disponíveis porque tem sido demonstrado ser eficaz para caracterizar pigmentos (consulte o livro de Richard23 para ter uma visão geral dos principais métodos de classificação disponíveis). Em vez disso, a ideia de desenvolver um protocolo caseiro em vez de adotar uma das muitas ferramentas disponíveis livremente na rede24,25 depende de uma consideração prática. Apesar da eficácia e da base científica dos GUIs e softwares existentes, uma única ferramenta dificilmente satisfaz todas as necessidades do usuário. Pode haver um problema de Entrada/Saída (I/O) porque uma ferramenta não gerencia o arquivo que contém os dados brutos. Pode haver um problema quanto à análise dos dados porque outra ferramenta não fornece a abordagem desejada. Pode haver uma limitação no manuseio dos dados porque a análise simultânea de múltiplos conjuntos de dados não é suportada. De qualquer forma, uma ferramenta perfeita não existe. Cada método deve ser ajustado aos dados ou vice-versa. Por isso, o desenvolvimento de um protocolo caseiro tem sido preferido.

A abordagem apresentada não oferece nem um conjunto completo de métodos analíticos (ver, para comparação, a ferramenta proposta por Mobaraki e Amigo24) nem uma interface de usuário fácil de gerenciar (ver, para comparação, o software empregado por Zhu e colegas de trabalho25), mas, em troca, foca-se em um aspecto ainda subestimado da análise de dados hiperespectrais: a oportunidade de manipular o espectro detectado. O poder da abordagem é ilustrado aplicando-o à pintura Quarto Stato de Giuseppe Pellizza da Volpedo (Figura 1), um óleo icônico sobre tela realizado no Museo del Novecento em Milão, Itália. Observe que, uma vez que a abordagem requer a execução de códigos caseiros, o desenvolvedor escolheu arbitrariamente os nomes dos códigos e as variáveis de entrada e saída usadas na descrição do protocolo. Os nomes das variáveis podem ser alterados pelo usuário, mas devem ser fornecidos da seguinte forma: as variáveis de entrada e saída devem ser escritas respectivamente entre parênteses e eventualmente separadas por vírgula e dentro de suportes quadrados e eventualmente separadas por um espaço branco. Pelo contrário, os nomes dos códigos não podem ser alterados.

Protocol

1. Defina a resolução espacial dos hipercubos Realizar uma inspeção preliminar da superfície pintada (Figura 1) apoiada por especialistas em arte para identificar as principais características da pintura. Reconheça as técnicas pictóricas empregadas pelo artista para criar a pintura. Identifique as diferentes pinceladas de tinta na tela. Estimar, qualitativamente, as características das pinceladas com especial atenção ao seu tamanho. <…

Representative Results

O protocolo proposto oferece um conjunto de recursos interessantes para a gestão e a análise dos dados hri. A I/O (etapa 3.1) dos dados brutos é sempre o primeiro problema que deve ser resolvido antes de aplicar qualquer método de análise e pode se tornar um problema crítico ao lidar com grandes quantidades de dados. No presente caso, a única tarefa em relação aos dados brutos é armazenar os resultados experimentais em uma pasta dedicada e selecioná-los navegando no disco rígido ao executar o código de leitu…

Discussion

Conjuntos de dados de imagem de reflectância hiperespectral são grandes reservatórios de informação; portanto, o desenvolvimento de protocolos robustos e, possivelmente, automatizados para analisar os dados é uma virada fundamental para explorar seu potencial15,17. O algoritmo proposto responde a essa necessidade no campo do patrimônio cultural com especial atenção à caracterização dos pigmentos das pinturas. Com base no SAM20,21</su…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Esta pesquisa foi financiada pela Regione Lombardia no âmbito do Projeto MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici – Call Accordi per la Ricerca e l’Innovazione.

Os autores agradecem à equipe do Museo del Novecento pelo apoio durante as sessões experimentais in situ e à Associação Pellizza da Volpedo pelo acesso ao Studio Museo.

Materials

ImageJ/Fiji Specim (Oulo, Finlad) N/A Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b StellarNet Inc (Tampa, Florida, USA) N/A Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera National Institutes of Health (Bethesda, Maryland, USA) N/A  Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer  MathWorks (Natick, Massachusset, USA) N/A Program Language and numerical computing environment

References

  1. Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
  2. Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
  3. Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
  4. Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
  5. Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
  6. Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
  7. Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
  8. Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
  9. Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
  10. Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
  11. Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
  12. Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
  13. Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
  14. Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
  15. Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
  16. Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
  17. Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
  18. Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
  19. Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
  20. Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
  21. Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
  22. Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
  23. Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
  24. Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
  25. Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
  26. Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
  27. Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
  28. Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
  29. read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
  30. Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
  31. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
  32. Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).

Play Video

Cite This Article
Caccia, M., Caglio, S., Galli, A., Interlenghi, M., Castiglioni, I., Martini, M. Applying Hyperspectral Reflectance Imaging to Investigate the Palettes and the Techniques of Painters. J. Vis. Exp. (172), e62202, doi:10.3791/62202 (2021).

View Video