Summary

החלת הדמיית רפלקטיביות היפרספקטרלית כדי לחקור את לוחות הצבעים ואת הטכניקות של ציירים

Published: June 18, 2021
doi:

Summary

היפרספקטרלי רפלקטיבי הדמיית hypercubes כוללים מידע יוצא דופן לתוך כמות גדולה של נתונים. לכן, הבקשה לפרוטוקולים אוטומטיים לניהול ולמידה של ערכות הנתונים מוצדקת באופן נרחב. השילוב של ממפה זווית ספקטרלי, מניפולציה בנתונים ושיטת ניתוח מתכווננת למשתמש מהווה סיבוב מפתח לחקר תוצאות הניסוי.

Abstract

ספקטרוסקופיית רפלקטיביות (RS) וספקטרוסקופיית רפלקטיביות מחזירי סיבים אופטיים (FORS) הן טכניקות מבוססות היטב לחקירת יצירות אמנות עם תשומת לב מיוחדת לציורים. רוב המוזיאונים המודרניים עומדים לרשות קבוצות המחקר שלהם ציוד נייד, שיחד עם אי פולשניות מהותית של RS ו- FORS, מאפשרת את האוסף במקום של ספקטרום רפלקטיביות מפני השטח של חפצים. ההשוואה, שבוצעה על ידי מומחים בפיגמנטים ובחומרי ציור, של הנתונים הניסיוניים עם מסדי נתונים של ספקטרום התייחסות מניעה את אפיון לוחות הצבעים ואת הטכניקות המשמשות את האמנים. עם זאת, גישה זו דורשת מיומנויות ספציפיות וזה זמן רב במיוחד אם מספר הספקטרום להיחקר הופך גדול כמו במקרה של Hyperspectral רפלקטורליות הדמיית רפלקטיבית (HRI) ערכות נתונים. ההגדרות הניסיוניות של HRI הן מצלמות רב-ממדיות המקשרות את המידע הספקטרלי, שניתן על ידי ספקטרום ההשתקפות, עם לוקליזציה מרחבית של הספקטרום על פני השטח המצוירים. ערכות הנתונים המתקבלות הן קוביות תלת-ממד (הנקראות היפרקובים או קוביות נתונים) שבהן שני הממדים הראשונים מאתרים את הספקטרום מעל הציור והשלישי הוא הספקטרום עצמו (כלומר, ההשתקפות של אותה נקודה של המשטח הצבוע לעומת אורך הגל בטווח האופרטיבי של הגלאי). היכולת של הגלאי לאסוף בו זמנית מספר רב של ספקטרום (בדרך כלל הרבה יותר מ -10,000 עבור כל hypercube) עושה את הנתונים HRI ערכות מאגרי מידע גדולים ומצדיק את הצורך בפיתוח של פרוטוקולים חזקים, ואולי, אוטומטיים כדי לנתח את הנתונים. לאחר תיאור ההליך המיועד לרכישת הנתונים, אנו מציגים שיטת ניתוח המנצלת באופן שיטתי את הפוטנציאל של hypercubes. בהתבסס על ממפה זווית ספקטרלי (SAM) ועל המניפולציה של הספקטרום שנאסף, האלגוריתם מטפל ומנתח אלפי ספקטרום ובו בזמן הוא תומך המשתמש לחשוף את התכונות של הדגימות הנחקרות. כוחה של הגישה מומחש על ידי החלתה על קווארטו סטאטו, יצירת המופת האייקונית של ג’וזפה פליצה דה וולפדו, שנערכה במוזיאון דל נובסנטו במילאנו (איטליה).

Introduction

ספקטרוסקופיית רפלקטיביות (RS) וספקטרוסקופיית רפלקטיביות סיבים אופטיים (FORS) מבוססות על גילוי האור המוחזרים על ידי משטחים שאוירו בעבר על ידי מקור אור, בדרך כלל מנורת טונגסטן-הלוגן. התפוקה של מערכת הרכישה נוצרת על ידי ספקטרום שבו רפלקטיביות מנוטרת כפונקציה של אורך הגל בטווח התלוי במאפייני ההתקנה הניסיונית המועסקת1,2,3. הוצגו במהלך ארבעת העשורים האחרונים4,5, RS ו FORS משמשים בדרך כלל בשילוב עם פלואורסצנטיות רנטגן וספקטרוקופיות אחרות כדי לתאר את החומרים והטכניקות המשמשות אמנים למימוש יצירות המופת שלהם6,7,8,9. המחקר של ספקטרום רפלקטיביות מבוצע בדרך כלל על ידי השוואת הנתונים מהמדגם עם קבוצה של ספקטרום ייחוס שנבחר על ידי המשתמש במסדי נתונים אישיים או ציבוריים. לאחר שזוהתה ספקטרום הייחוס העומד בתקופת המימוש של המדגם ועם דפוס הפעולה של האמן, המשתמש מזהה את התכונות העיקריות של ספקטרום ההשתקפות (כלומר, מעבר, ספיגה, ולהקות השתקפות1,2,10,11) ולאחר מכן, בעזרת טכניקות אחרות6,7,8 הם מבחינים בין הפיגמנטים ששימשו בציורים. לבסוף הם דנים בהבדלים הקלים הקיימים בין ההתייחסויות לבין הספקטרום הניסיוני7,9.

ברוב המקרים, ערכות הנתונים הניסיוניות מורכבות מכמה ספקטרום, שנאסף מאזורים שנבחרו על ידי מומחי אמנות והניחו שהוא משמעותי לאפיון הציור6,12,13. למרות הכישורים והניסיון של המשתמש, כמה ספקטרום לא יכול למצות באופן מלא את המאפיינים של כל המשטח הצבוע. יתר על כן, התוצאה של הניתוח תמיד תהיה תלויה מאוד במומחיות של המבצע. בתרחיש זה, הדמיית רפלקטיביות היפרספקטרלית (HRI3,14,15) יכולה להיות משאב שימושי. במקום כמה ספקטרום מבודד, ההתקנות הניסיוניות מחזירות את תכונות ההשתקפות של חלקים מורחבים או אפילו של החפץ כולו תחת חקירה16. שני היתרונות העיקריים ביחס לרכישת הספקטרום המבודד ניכרים. מצד אחד, הזמינות של ההתפלגות המרחבית של תכונות רפלקטיביות מאפשרת זיהוי של אזורים המסתירים תכונות מעניינות, למרות שהם אולי לא נראים מוזרים17. מצד שני, hypercubes להבטיח מספר ספקטרום גבוה מספיק כדי לאפשר את הניתוח הסטטיסטי של הנתונים. עובדות אלה תומכות בהבנת התפלגות הפיגמנטים בתוך המשטח המצויר18,19.

עם HRI, ההשוואה של הנתונים הניסיוניים עם הפניות יכול להיות קשה להתמודד עם 15. גלאי טיפוסי מחזיר היפרקובים של ספקטרום של לפחות 256 x 256. זה יחייב את המשתמש להעריך יותר מ 65,000 ספקטרום רפלקטיביות נגד כל התייחסות, משימה כמעט בלתי אפשרית להתבצע באופן ידני בזמן סביר. לכן, הבקשה לפרוטוקולים חזקים ואולי אוטומטיים לניהול וניתוח של ערכות נתונים של HRI היא יותר מ- 15,17 מוצדקת. השיטה המוצעת עונה על צורך זה על ידי טיפול בהליך האנליטי כולו במינימום מעורבות ובגמישות המרבית.

אלגוריתם הכולל קבוצה של קודים תוצרת בית (טבלת חומרים) קורא, מנהל ומארגן את הקבצים המוחזרים על-ידי ההתקנה הניסיונית. הוא מאפשר לחקור את הבחירה המשובחת של חלקי שדות הראייה (FOVs, שדה ראייה אחד הוא שטח הציור המנוטר על ידי היפרקוב יחיד) ולבצע את ניתוח הנתונים בהתבסס על שיטת ממפה זווית ספקטרלי (SAM) 20,21 ועל המניפולציה של הספקטרום המקורי. SAM מחזירה תמונות מזויפות בצבע אפור הנקראות מפות דמיון. הערכים של הפיקסלים של מפות אלה תואמים לזוויות הספקטרליות שהן הזוויות בין הספקטרום המאוחסן בהיפרקובים לבין מה שמכונה חברי קצה (EMs, קבוצה של ספקטרום התייחסות שאמור לתאר את התכונות של פני השטח המנוטרים על ידי hypercubes)22. במקרה של RS החל על ציורים, EMs הם ספקטרום רפלקטיביות של פיגמנטים שאמורים להתאים את לוח הצבעים של המאסטר. הם נבחרים על סמך המידע הזמין על האמן, תקופת מימוש הציור ומומחיות המשתמש. לכן, הפלט של SAM הוא קבוצה של מפות המתארות את ההפצות המרחביות של פיגמנטים אלה על משטח הציור וזה תומך המשתמש להסיק את החומרים המשמשים את האמן ואת הארגון שלהם בחפץ. האלגוריתם מציע את האפשרות להשתמש בכל מיני הפניות באופן עצמאי ממקורם. ההתייחסויות יכולות להיות ספקטרום ספציפי שנבחר בתוך hypercubes, לבוא ממסדי נתונים, להירכש על ידי מכשיר אחר על משטח אחר (כגון דגימות של פיגמנטים או לוח הצבעים של האמן, למשל), או לקבל באמצעות כל סוג של ספקטרוסקופיית רפלקטיביות, כולל FORS.

SAM הועדף בין שיטות הסיווג הזמינות מכיוון שהוא הוכח כיעיל לאפיון פיגמנטים (עיין בספר של Richard23 כדי לקבל סקירה של שיטות הסיווג הזמינות העיקריות). במקום זאת, הרעיון לפתח פרוטוקול תוצרת בית במקום לאמץ את אחד הכלים הרבים הזמינים בחופשיות ברשת 24,25 מסתמך על שיקול מעשי. למרות האפקטיביות והיסוד המדעי של ה- GUIs והתוכנה הקיימים, כלי אחד בקושי עונה על כל הצרכים של המשתמש. ייתכן שקיימת בעיית קלט/פלט (קלט/פלט) מאחר שכלי אינו מנהל את הקובץ המכיל את הנתונים הגולמיים. ייתכנו בעיה לגבי ניתוח הנתונים מכיוון שכלי אחר אינו מספק את הגישה הרצויה. ייתכן שקיימת מגבלה בטיפול בנתונים מכיוון שאין תמיכה בניתוח סימולטני של ערכות נתונים מרובות. בכל מקרה, כלי מושלם אינו קיים. יש להתאים כל שיטה לנתונים או להיפך. לכן, פיתוח פרוטוקול תוצרת בית היה מועדף.

הגישה המוצגת אינה מציעה קבוצה שלמה של שיטות אנליטיות (ראה, לשם השוואה, הכלי המוצע על ידי Mobaraki ו- Amigo24) ולא ממשק משתמש קל לניהול (ראה, לשם השוואה, את התוכנה המועסקת על ידי Zhu ו- עמיתים לעבודה25), אבל, בתמורה, הוא מתמקד בהיבט עדיין מוערך של ניתוח נתונים היפרספקטרלי: ההזדמנות לתפעל את הספקטרום שזוהה. כוחה של הגישה מומחש על ידי החלתה על הציור קווארטו סטאטו מאת ג’וזפה פיליצה דה וולפדו (איור 1), שמן איקוני על בד המוחזק במוזיאון דל נובסנטו במילאנו, איטליה. שים לב כי מאחר שהגישה דורשת הפעלת קודים תוצרת בית, היזם בחר באופן שרירותי את שמות הקודים ואת משתני הקלט והפלט המשמשים בתיאור הפרוטוקול. שמות המשתנים יכולים להשתנות על ידי המשתמש אך יש לספק אותם כדלקמן: משתני הקלט והיצוי חייבים להיכתב בהתאמה בתוך סוגריים מרובעים ובסופו של דבר מופרדים באמצעות פסיק ובתוך סוגריים מרובעים ובסופו של דבר מופרדים על ידי רווח לבן. להיפך לא ניתן לשנות את שמות הקודים.

Protocol

1. הגדר את הרזולוציה המרחבית של hypercubes בצע בדיקה ראשונית של המשטח הצבוע (איור 1) הנתמך על ידי מומחי אמנות כדי לזהות את המאפיינים העיקריים של הציור. להכיר את הטכניקות הציוריות בהן השתמש האמן ליצירת הציור. זהה את משיכות המברשת השונות של צבע על בד הציור. להער…

Representative Results

הפרוטוקול המוצע מציע סדרה של תכונות מעניינות לניהול וניתוח נתוני HRI. קלט/פלט (שלב 3.1) של הנתונים הגולמיים הוא תמיד הבעיה הראשונה שיש לפתור לפני החלת שיטת ניתוח כלשהי והיא יכולה להפוך לבעיה קריטית בעת התמודדות עם כמויות גדולות של נתונים. במקרה הנוכחי, המשימה היחידה לגבי הנתונים הגולמיים היא …

Discussion

ערכות נתונים של הדמיית רפלקטיביות היפרספקטרליות הן מאגרי מידע גדולים; לכן, פיתוח פרוטוקולים חזקים, ואולי אוטומטיים לנתח את הנתונים הוא תפנית מפתח לנצל את הפוטנציאל שלהם15,17. האלגוריתם המוצע עונה על צורך זה בתחום המורשת התרבותית בתשומת לב מיוחדת לאפיון הפיג?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

מחקר זה מומן על ידי Regione Lombardia במסגרת פרויקט MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-arti – Call Accordi per la Ricerca e l’Innovazione.

המחברים אסירי תודה לצוות במוזיאון דל נובסנטו על התמיכה במהלך המפגשים הניסיוניים במקום ולפיליצה דה וולפדו של אסוזיאזיונה על הגישה לסטודיו Museo.

Materials

ImageJ/Fiji Specim (Oulo, Finlad) N/A Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b StellarNet Inc (Tampa, Florida, USA) N/A Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera National Institutes of Health (Bethesda, Maryland, USA) N/A  Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer  MathWorks (Natick, Massachusset, USA) N/A Program Language and numerical computing environment

References

  1. Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , 259-265 (2002).
  2. Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
  3. Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
  4. Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
  5. Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
  6. Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
  7. Pouyet, E. K., et al. New insights into Pablo Picasso’s La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
  8. Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
  9. Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
  10. Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
  11. Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
  12. Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
  13. Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
  14. Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
  15. Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
  16. Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
  17. Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
  18. Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
  19. Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
  20. Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
  21. Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
  22. Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
  23. Richards, J. A. . Remote sensing digital image analysis. 3, (1999).
  24. Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
  25. Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
  26. Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
  27. Spectral and XYZ Color Functions. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021)
  28. Chen, C. -. Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
  29. read_envihdr. MATLAB Central File Exchange Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021)
  30. Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
  31. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
  32. Rinnan, &. #. 1. 9. 7. ;., Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).

Play Video

Cite This Article
Caccia, M., Caglio, S., Galli, A., Interlenghi, M., Castiglioni, I., Martini, M. Applying Hyperspectral Reflectance Imaging to Investigate the Palettes and the Techniques of Painters. J. Vis. Exp. (172), e62202, doi:10.3791/62202 (2021).

View Video