新智元报道
编辑：乔杨
【新智元导读】AI的跨界，只有想不到，没有办不到。艺术学家们用深度学习模型分析拉斐尔的画作，不仅能分析出用了什么颜料、怎么画的，还能知道500年前拿着画笔的是不是拉斐尔本人。
DALL-E、MidJourney等工具的诞生，让我们看到了GenAI高超的「创作技能」。但如果反过来，让AI去分析艺术大师的画作，它们又会有怎样的表现？
最近，Science Advances封面刊登了一篇来自意大利文化遗产科学研究所的论文。他们将两幅著名的拉斐尔画作进行了MA-XRF扫描，并使用深度学习模型进行分析。
结果发现，AI不仅处理速度快，给出的结果也相当准确，还能为我们提供全新的见解和视角。
给油画做CT，让AI看片子
论文地址：https://www.science.org/doi/10.1126/sciadv.adp6234
过去十年中，利用成像技术对绘画进行非侵入性研究方面取得了飞快的进展。
艺术学家们不再只凭借自己的肉眼或实验对画作进行分析，而是采用类似于MA-XRF（宏观X射线荧光）的技术，进行颜料识别、颜料分解、虚拟修复等应用。
然而，无论进行哪种用途，每次成像都会产生大量数据集，并且分析数据也需要特定的专业知识。因此，为了高效地利用这些复杂数据，计算机辅助的程序分析和计算方法也随之发展。
比如，MA-XRF扫描绘画表面后可以得到含大量数据的XRF光谱。扫描区域通常包含上百万个像素，这就意味着输出是三维立方体形式的数百万个XRF光谱。
在这个过程中，研究人员们发现，人工智能大有用武之地，而且不仅仅止于数据的处理分析，还可以找出人类学者和经典分析方法容易忽视的新见解。
而这篇论文所使用的模型正是基于CNN架构，同时借鉴了XRF分析中常用的标准反卷积（deconvolution）方法，以MA-XRF光谱作为输入，预测画面上的元素分布，以及每种元素的绝对计数，就能够对所用颜料进行分析。
训练数据集既包括实际MA-XRF扫描得到的数据，也使用了合成数据进行训练，共包含50万个蒙特卡罗模拟生成的光谱。
MC模拟进行光谱合成的过程如图1A所示，图1B则描述了所用深度神经网络的总体架构，可以分为卷积块和稠密块两部分。
原有的CNN假定图像各部分具有平移不变性，但显然MA-XRF光谱不是如此，每种元素所在的位置就代表了能量大小，这是用于预测的关键信息。
为了移除原有CNN中的平移不变性，训练卷积块时会先保持密集块参数固定，卷积块训练完成后才会启用。
图1 方法示意图（A）MC模拟中使用的图像模型示意图，生成用于训练网络的合成XRF光谱（B)神经网络的示意图，分为两部分：卷积块和密集块
为了进行试点实验，研究人员对两幅拉斐尔的画作进行了扫描，分别是《God the Father》（ 圣父上帝）和《Virgin Mary》（圣母玛利亚）。
1500年，「文艺复兴三杰」之一的拉斐尔为教堂创作了一幅宏伟的祭坛画，但目前仅存有四幅残片，这两幅就是其中之二，现藏于意大利那不勒斯的卡波迪蒙特博物馆。
左下：《圣母玛利亚》右：《圣父上帝》
对《圣母玛利亚》的人物面部分析如图3所示。从元素分布图像中可以推断出，打底层和高光中使用铅白（PB-L），人物肤色和明暗对比中使用了朱红色（Hg-L）。
窗帘上的绿色是铜绿（Cu-K），而且人物的蓝色斗篷上也存在铜元素，表明使用的颜料矿石是蓝铜矿，并与天青石、铅白进行了混合，这一点可以从钾和铅的分布图推断出来。
图3 从B至F依次是PB-L、Hg-L、Au-L、Cu-K、Fe-K等元素的映射图，左侧显示模型预测结果，右侧显示参考结果
除了推断颜料成分，这项技术还能帮我们分析拉斐尔的绘画技巧，帮我们看到这位大师在面部造型中采取了怎样的微妙技法。
和上图一样，依旧有大量的铅白色打底，使用土黄色的赭石（含大量铁）赋予面部的三维度和阴影，眼周的红朱砂（汞）和铜基颜料共同打造出了一种微妙的肤色。
图4 D为从元素分布图合成的RGB图像，其余依次为扫描区域原图以及PB-L、Hg-L、Pb-M、S-K等元素的分布图
图5B则能让我们更精细地看到拉斐尔如何用铅勾勒出建筑的细节，此外，铁元素和锌元素含量的显著线性关系（图5E）则能告诉我们，他使用的赭石中包含大量锌元素。
图5 画中建筑细节的高分辨率MA-XRF元素分布图
从图3-5的元素分布图，以及图7的量化结果中可以看出，模型的预测结果与参考值匹配程度很高，元素净计数也遵循相同的分布。
此外，经过艺术学家的判断，神经网络推断出的颜料调色板符合15世纪画家的实践方法，并与其他方法所调查出的拉斐尔早期作品调色板相匹配。
图7 元素分布图对比
这些发现代表了人工智能集成的关键进步，AI可以帮助更准确、更高效地分析XRF光谱，从而进一步促进艺术领域各个学科的专家之间的合作。
这项方法的成功建立在两个关键支柱之上。首先，我们已知的关于X射线如何与物质相互作用，包括能量色散探测器的光谱响应；其次，先进的模拟软件能够生成与XRF仪器所获得的非常相似的合成光谱。
AI+画作，发展「计算机辅助鉴赏」
事实上，Science刊登的这篇研究并不是艺术学家们首次和AI进行跨界合作。
去年11月，《福布斯》杂志就报道过一位英国学者的研究，而且同样是针对拉斐尔的画作。
他们使用深度学习算法分析了这幅《Madonna of the Rose》（玫瑰圣母），发现其中男性人物的脸（Joseph）并不是拉斐尔本人绘制的。
更加巧合的是，这个结果与艺术学家们长期以来的怀疑不谋而合。
长期以来，学者们就推测这幅画有拉斐尔以外的其他人参与，并且还注意到，Joseph面部的构图和描绘水平比不上画面中的其他人物。
《玫瑰圣母》
研究人员仅用了49幅经过认证的拉斐尔画作，就训练出了一个深度学习系统，通过笔触、调色板和阴影等4000多个视觉特征识别艺术家的作品，准确率高达98%。
论文作者Hassan Ugail表示，相比任何人在不借助任何工具的情况下进行分类或鉴别，AI的准确率要好得多。
算法分析了拉斐尔画作的各个部分，以确认哪些由艺术家本人绘制
然而，论文合著者、斯坦福大学的David G. Strok提醒我们，目前仅靠计算机结果扔不足以完成大多数艺术史领域的任务。
如果与传统的鉴赏方法和艺术史研究相结合，计算机工具与AI技术将大有可为。一个正确的算法、一个经过恰当训练的AI模型，将节省宝贵的时间和资源，帮助我们更好地发掘艺术宝库。
参考资料：
https://www.science.org/doi/10.1126/sciadv.adp6234
https://www.forbes.com/sites/lesliekatz/2023/12/22/ai-uncovers-hidden-secret-in-painting-by-renaissance-master-raphael/
