Paletleri ve Ressamların Tekniklerini Araştırmak İçin Hiperspektral Yansıtma Görüntüleme Uygulama
Summary
Hiperspektral Reflectance Imaging hiperkubes, çok miktarda veriye dikkat çekici bilgiler içerir. Bu nedenle, veri kümelerini yönetmek ve incelemek için otomatik protokoller isteği yaygın olarak haklıdır. Spektral Açı Eşleyici, veri manipülasyonu ve kullanıcı tarafından ayarlanabilir analiz yönteminin birleşimi, deneysel sonuçları keşfetmek için önemli bir dönüş oluşturur.
Abstract
Reflektör Spektroskopisi (RS) ve Fiber Optik Reflektör Spektroskopisi (FORS), özellikle resimlere dikkat ederek sanat eserlerinin araştırılması için iyi kurulmuş tekniklerdir. Çoğu modern müze, RS ve FORS’un içsel non-invazivliği ile birlikte, eserlerin yüzeyinden yansıtıcı spektrumların yerinde toplanmasını mümkün kılan araştırma gruplarının taşınabilir ekipmanlarının emrine unmaktadır. Pigmentler ve boyama materyalleri uzmanları tarafından gerçekleştirilen, deneysel verilerin referans spektrum veri tabanları ile karşılaştırılması, paletlerin ve sanatçıların kullandığı tekniklerin karakterizasyonunu yönlendirir. Bununla birlikte, bu yaklaşım belirli beceriler gerektirir ve özellikle araştırılacak spektrum sayısının Hiperspektral Yansıtma Görüntüleme (HRI) veri kümelerinde olduğu gibi büyük olması zaman alıcıdır. HRI deneysel kurulumları, yansıtıcı spektrum tarafından verilen spektral bilgileri, spektranın boyalı yüzey üzerindeki mekansal lokalizasyonu ile ilişkilendiren çok boyutlu kameralardır. Elde edilen veri kümeleri, ilk iki boyutun spektrumu boyama üzerinde bulduğu 3B küplerdir (hiperkubes veya veri küpleri olarak adlandırılır), üçüncüsü spektrumun kendisidir (yani, boyalı yüzeyin bu noktasının dedektörün çalışma aralığındaki dalga boylarına karşı yansıması). Dedektörün aynı anda çok sayıda spektrum (genellikle her hiperkübe için 10.000’den fazla) toplama yeteneği, HRI veri kümelerini büyük bilgi rezervuarları haline getirir ve verileri analiz etmek için sağlam ve muhtemelen otomatik protokollerin geliştirilmesi ihtiyacını haklı çıkarır. Veri toplama için tasarlanan prosedürün açıklamasından sonra, hiperkubelerin potansiyelini sistematik olarak sömüren bir analiz yöntemi sunuyoruz. Spektral Açı Eşleyicisi’ne (SAM) ve toplanan spektrumların manipülasyonuna dayanarak, algoritma binlerce spektrumu işler ve analiz eder, aynı zamanda kullanıcının incelenmekte olan örneklerin özelliklerini ortaya çıkarmasını destekler. Yaklaşımın gücü, Giuseppe Pellizza da Volpedo’nun Milano’daki (İtalya) Museo del Novecento’da düzenlenen ikonik başyapıtı Quarto Stato’ya uygulanarak gösterilmiştir.
Introduction
Reflektör Spektroskopisi (RS) ve Fiber Optik Yansıtma Spektroskopisi (FORS), genellikle bir tungsten-halojen lamba olan bir ışık kaynağı tarafından aydınlatılan yüzeyler tarafından yansıtılan ışığın algılanmasına dayanır. Alım sisteminin çıktısı, yansıtıcılığın, kullanılan deneysel kurulumun özelliklerine bağlı bir aralıkta dalga boyunun bir işlevi olarak izlendiği spektra tarafından oluşturulmuştır1,2,3. Son 40 yıl içinde tanıtılan RS ve FORS, tipik olarak X-ışını floresan ve diğer spektroskopilerle birlikte sanatçıların başyapıtlarını gerçekleştirmek için kullandıkları malzemeleri ve teknikleri tanımlamak için kullanılır6,7,8,9. Yansıtma spektrumunun incelenmesi genellikle örnekteki veriler ile kullanıcı tarafından kişisel veya genel veritabanlarında seçilen bir referans spektrum grubu karşılaştırılarak gerçekleştirilir. Numunenin gerçekleşme süresine ve sanatçının modus operandisine uygun referans spektrumu belirlendikten sonra, kullanıcı yansıtma spektrumunun ana özelliklerini (yani, geçiş, emilim ve yansıma bantları1,2,10,11) ve daha sonra diğer tekniklerin yardımıyla tanır6,7,8 resimlerde kullanılan pigmentleri ayırt ederler. Son olarak, referanslar ve deneysel spektra7,9 arasında var olan küçük farklılıkları tartışıyorlar.
Çoğu durumda, deneysel veri kümeleri, sanat uzmanları tarafından seçilen alanlardan toplanan ve tablonun karakterizasyonu için önemli olduğu varsayılan birkaç spektrumdan oluşur6,12,13. Kullanıcının becerilerine ve deneyimine rağmen, birkaç spektrum tüm boyalı yüzeyin özelliklerini tamamen tüketemez. Ayrıca, analizin sonucu her zaman sanatçının uzmanlığına güçlü bir şekilde bağlı olacaktır. Bu senaryoda, Hiperspektral Yansıtma Görüntüleme (HRI3,14,15) yararlı bir kaynak olabilir. Birkaç yalıtılmış spektrum yerine, deneysel kurulumlar genişletilmiş bölümlerin ve hatta inceleme altındaki tüm eserin yansıtıcı özelliklerini döndürür16. İzole tayfın kazanılmasıyla ilgili iki ana avantaj açıktır. Bir yandan, yansıtıcı özelliklerin mekansal dağılımının mevcudiyeti, tuhaf görünmeseler de ilginç özellikleri gizleyen alanların tanımlanmasını sağlar17. Öte yandan, hiperkubeler, verilerin istatistiksel analizini sağlayacak kadar yüksek bir dizi spektrumunu garanti eder. Bu gerçekler, pigmentlerin boyalı yüzey içindeki dağılımının anlaşılmasını desteklemez18,19.
HRI ile deneysel verilerin referanslarla karşılaştırılması zor olabilir15. Tipik bir dedektör en az 256 x 256 spektrumda hiperkubes verir. Bu, kullanıcının her referansa karşı 65.000’den fazla yansıtma spektrumunu değerlendirmesini gerektirir, bu da makul bir sürede manuel olarak gerçekleştirilmesi neredeyse imkansızdır. Bu nedenle, HRI veri kümelerini yönetmek ve çözümlemek için sağlam ve büyük olasılıkla otomatik protokoller isteği haklı 15,17’den daha fazladır. Önerilen yöntem, tüm analitik prosedürü minimum katılım ve maksimum esneklikle ele alarak bu ihtİyaka cevap verir.
Ev yapımı kodlar kümesini (Malzeme Tablosu) içeren bir algoritma, deneysel kurulum tarafından döndürülen dosyaları okur, yönetir ve düzenler. Görüş Alanlarının bölümlerinin (FOV’lar, bir görüş alanı, tek bir hiperkube tarafından izlenen resmin alanıdır) ince seçilmesine izin verir ve Spektral Açı Eşleyici (SAM) yöntemi20,21’e ve orijinal spektrumun manipülasyonuna dayalı verilerin analizini gerçekleştirir. SAM, benzerlik eşlemeleri adı verilen yanlış renkli gri ölçekli görüntüler döndürür. Bu haritaların piksellerinin değerleri, hiperkubelerde depolanan spektrumlar ile Son Üyeler (EM’ler, hiperkübeler tarafından izlenen yüzeyin özelliklerini tanımlaması gereken bir referans spektrum grubu) arasındaki açılara karşılık gelir 22. Resimlere uygulanan RS durumunda, EM’ler, Ana paletle eşleşmesi gereken pigmentlerin yansıtıcı spektrumlarıdır. Sanatçı hakkındaki mevcut bilgilere, resmin gerçekleşme süresine ve kullanıcının uzmanlığına göre seçilirler. Bu nedenle, SAM’in çıktısı, bu pigmentlerin boyama yüzeyi üzerindeki mekansal dağılımlarını açıklayan ve kullanıcının sanatçı ve organizasyonu tarafından eserde kullanılan malzemeleri çıkarmasını destekleyen bir harita kümesidir. Algoritma, her türlü referansı kökenlerinden bağımsız olarak kullanma imkanı sunar. Referanslar hiperkubeler içinde seçilen belirli bir spektrum olabilir, veritabanlarından gelebilir, farklı bir yüzeyde farklı bir enstrüman tarafından edinilebilir (örneğin pigment örnekleri veya sanatçının paleti gibi) veya fors dahil her türlü yansıtıcı spektroskopi kullanılarak elde edilebilir.
SAM, pigmentleri karakterize etmek için etkili olduğu gösterildiğinden mevcut sınıflandırma yöntemleri arasında tercih edilmiştir (mevcut ana sınıflandırma yöntemlerine genel bir bakış için Richard23’ün kitabına bakın). Bunun yerine, net24,25’te serbestçe bulunan birçok araçtan birini benimsemek yerine ev yapımı bir protokol geliştirme fikri pratik bir değerlendirmeye dayanmaktadır. Mevcut CE’lerin ve yazılımın etkinliğine ve bilimsel temeline rağmen, tek bir araç kullanıcının tüm ihtiyaçlarını neredeyse hiç karşılamaz. Bir araç ham verileri içeren dosyayı yönetmediği için bir Giriş/Çıkış (I/O) sorunu olabilir. Başka bir araç istenen yaklaşımı sağlamadığı için verilerin analiziyle ilgili bir sorun olabilir. Birden çok veri kümesinin eşzamanlı çözümlemesi desteklenmediği için verilerin işlenmesinde bir sınırlama olabilir. Her durumda, mükemmel bir araç yoktur. Her yöntem verilere göre ayarlanmalıdır veya tam tersi. Bu nedenle ev yapımı bir protokolün geliştirilmesi tercih edilmiştir.
Sunulan yaklaşım, ne tam bir analitik yöntem kümesi (bkz. karşılaştırma için Mobaraki ve Amigo24 tarafından önerilen araç) ne de yönetilmesi kolay bir kullanıcı arayüzü (bkz. karşılaştırma için, Zhu ve iş arkadaşları tarafından kullanılan yazılım25), ancak karşılığında, hiperspektral veri analizinin hala hafife alınmış bir yönüne odaklanır: tespit edilen spektrumları manipüle etme fırsatı. Yaklaşımın gücü, İtalya’nın Milano kentindeki Museo del Novecento’da tutulan tuval üzerine ikonik bir yağ olan Giuseppe Pellizza da Volpedo’nun Quarto Stato tablosuna (Şekil 1) uygulanarak gösterilmiştir. Yaklaşım ev yapımı kodları çalıştırmayı gerektirdiğinden, geliştiricinin kodların adlarını ve protokolün açıklamasında kullanılan giriş ve çıkış değişkenlerini keyfi olarak seçtiğini unutmayın. Değişkenlerin adları kullanıcı tarafından değiştirilebilir, ancak aşağıdaki gibi sağlanmalıdır: giriş ve çıkış değişkenleri sırasıyla köşeli ayraçlar içinde yazılmalı ve sonunda virgülle ve köşeli ayraçlar içinde ayrılmalı ve sonunda beyaz bir boşlukla ayrılmalıdır. Aksine, kodların adları değiştirilemez.
Protocol
Representative Results
Discussion
Hiperspektral yansıtma görüntüleme veri kümeleri büyük bilgi rezervuarlarıdır; bu nedenle, verileri analiz etmek için sağlam ve muhtemelen otomatik protokollerin geliştirilmesi, potansiyellerinden yararlanmak için önemli bir dönüştür15,17. Önerilen algoritma, kültürel miras alanındaki bu ihtİyara, resim pigmentlerinin karakterizasyonuna özellikle dikkat şekilde cevap verir. SAM20,21’e<…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Bu araştırma Regione Lombardia tarafından MOBARTECH Projesi çerçevesinde finanse edildi: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici – Call Accordi per la Ricerca e l’Innovazione.
Yazarlar, yerinde deneysel oturumlar sırasında destek için Museo del Novecento’daki personele ve Studio Museo’ya erişim için Associazione Pellizza da Volpedo’ya minnettardır.
Materials
| ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
| MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
| Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
| StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |
References
- Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
- Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
- Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
- Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
- Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
- Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
- Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
- Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
- Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
- Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
- Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
- Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
- Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
- Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
- Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
- Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
- Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
- Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
- Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
- Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
- Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
- Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
- Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
- Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
- Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
- Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
- Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
- Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
- read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
- Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
- Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
- Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).
