摘 要：敦煌壁画是中国最有价值和不可再生的文化遗产之一。而壁画图像的色彩复原对敦煌壁画的数字化保护和展示具有重要意义。为了解决褪色壁画图像色彩还原过程中出现的边缘伪影和色彩混叠问题，本文提出一种基于多阶段优化的壁画图像色彩还原方法。该方法利用高斯核函数得到壁画图像的多尺度表示。同时，构建三个基于编码器-解码器的迁移子网来学习壁画图像多尺度表示的语义特征，在参考壁画和褪色壁画之间建立语义关联来恢复壁画颜色。采用由粗到细的优化策略，在各个阶段间构建跨尺度特征融合模块实现图像多尺度表示的特征融合，建立不同阶段间的特征依赖关系。通过多阶段逐步优化，实现壁画图像的色彩还原。通过对临摹壁画和真实壁画的实验表明，该方法能够较有效地消除噪声影响，在还原壁画色彩的同时能较好地保持褪变色壁画图像的边缘纹理信息。
关键词:壁画图像;色彩还原;多阶段方法;注意力机制;编码器解码器网络;
Mural color restoration via multi-stage optimization
XU Zhigang CHEN Shicheng ZHU Honglei
School of Computer and Communication, Lanzhou University of Technology
Abstract：Dunhuang murals are one of the most valuable and non-renewable heritages of China. The color restoration of mural images is very important for the digital protection and display of Dunhuang murals. This paper proposes a color restoration method based on multi-stage optimization in order to solve the problems of edge artifacts and color aliasing in faded mural restoration. The method obtains the multi-scale representation of the mural image using the Gaussian kernel function. Meanwhile, three encoder-decoder based transfer subnets are constructed to learn the semantic features of multi-scale representation of mural images. The transfer subnet established the semantic association between reference mural and faded mural to restore the mural’s color. The proposed multi-stage model adopts a coarse-to-fine optimization strategy. The cross-scale feature fusion module is constructed to realize the feature fusion of image multi-scale representation and establish the interdependency between different stages. Mural color restoration is realized through the gradual optimization of the multi-stage model. The experiments based on copying and real murals demonstrate that the proposed method can effectively eliminate the effect of noise and keep the texture information of the fading mural image while restoring the color of the mural image.
Keyword：mural image; color restoration; multi-stage approach; attention mechanism; encoder-decoder network;
敦煌壁画作为多种文化碰撞形成的人类艺术文化瑰宝，是中国最重要的文化遗产之一。这些创作于公元4世纪至14世纪的壁画，受自然环境、人类活动、微生物破坏等因素的影响，普遍出现因图层破损脱落、颜料降解变质等原因而产生的色彩褪变问题。这些色彩褪变给敦煌壁画的研究和展示工作造成了诸多干扰。因此，积极开展壁画图像的色彩还原研究具有重要价值和意义。
传统壁画复原主要采用临摹的方法修补壁画缺损区域并进行色彩还原。这类方法需要专业修复师进行繁复细致的手工作业。复原过程复杂且效率低下，难以充分满足壁画研究与展示工作的客观性和时效性要求。因此，借助图像色彩处理技术开展壁画色彩还原逐步成为了壁画复原研究的一个热点。
壁画图像色彩还原方法根据修复流程及其使用技术的区别可以分为两类：基于传统图像处理的方法和基于深度学习的方法。
传统方法首先提取壁画图像内容描述信息和色彩描述信息，然后建立基于规则和框架的图像内容和色彩映射关系，最后借助内容和色彩的映射关系进行色彩还原。魏宝刚等[1]提出使用图像处理技术提取壁画图像语义对象，建立起基于框架和规则的知识表示和推理系统还原壁画色彩。Reinhard等[2]提出的基于图像信息二阶统计量的色彩迁移方法也被应用于壁画色彩还原。赵国英等[3]在此基础上提出使用高阶矩获取图像中的非线性结构信息来改善色彩还原的视觉质量，弥补二阶统计量对图像中局部性、方向性和带通性等非高斯性结构信息表述不足的问题。林怡等[4]提出基于知识的图像处理方法应用于敦煌壁画色彩还原中。李宣妮等[5]分析了古代壁画常用绘画颜料及其褪变色原因，提出基于中国传统五行色的壁画色彩还原方法。基于传统图像处理的色彩还原方法普遍依赖常规的数字图像处理方法，比如图像色彩空间变换、直方图均衡化、边缘检测、阈值分割等。这容易导致提取到的特征难以建立更深层次的映射关系，从而限制了壁画图像的色彩还原效果。
基于深度神经网络的方法是近年来迅速发展的一类图像色彩还原方法。这类方法根据训练方式的不同可以划分为监督类型和无监督类型。Zhang等[6]提出将图像着色任务转换为自监督学习任务，通过学习大规模数据集中图像语义特征与色彩信息对应关系来预测图像的色彩信息。但是，对于图像样本种类多，并且单类别样本数量少的情形，利用该方法难以建立起更准确的语义色彩映射关系。Gatys等[7]提出基于迭代优化的图像风格化方法。徐志刚等[8]使用最大均值差异和马尔可夫随机场损失约束基于迭代优化的图像风格迁移方法进行壁画色彩还原，虽然能够进行色彩还原，但是不能充分还原图像中的纹理细节。He等[9]利用编码器-解码器网络构造端到端的图像生成网络，能够利用参考图像与内容图像之间的语义关联对壁画内容进行色彩还原，具有较好的色彩恢复效果。Xu等[10]在编码器-解码器中引入自适应实例规范化方法[11]将参考图像的特征风格迁移到内容图像中，但缺少对语义信息的一致性约束，容易出现假色现象。Blanch等[12]提出构造生成对抗网络用于图像的着色及色彩迁移，但该方法需要大量的完整壁画图像构造数据集并进行训练。Park等[13]提出基于风格注意力的图像迁移框架也被用于图像转换任务中。Su等[14]将图像分割方法引入图像着色中，用以提升图像中对象实例的色彩还原效果，但该方法的还原效果易受实例分割精度的影响。曹建芳等[15]提出使用全卷积网络提取深度图像特征，并构建基于生成对抗网络的壁画图像重建模型。Wang等[16]提出基于CycleGAN的壁画图像重建方法，通过对高分辨率壁画进行裁剪来学习不同图像域转换的能力，使模型具备较好的泛化能力。
基于深度神经网络的方法在针对自然图像的色彩还原处理中取得了良好的效果。但是，壁画图像与自然图像存在较大差异。首先，壁画图像经受复杂退化因素的长期影响。很多壁画图像的语义内容和色彩信息已经发生较大改变。这些问题增加了深度神经网络提取壁画图像语义特征及色彩信息的困难。其次，基于深度神经网络的方法采用堆叠卷积层、扩张卷积、残差连接等方法扩大语义感受野来获取更丰富的语义特征。但是，在处理壁画图像时，受图像尺度信息不足和噪声等因素的影响，这些方法难以获取更加丰富的语义特征。再次，为了提升神经网络的信息提取与表征能力，这些方法常采用更深层的网络。但网络过深会导致训练过程不稳定。因此，探索适用于壁画图像的色彩还原方法是非常必要的。
针对上述分析，本文提出一种基于多阶段优化的壁画图像色彩还原方法。该方法使用高斯核函数构建壁画图像高斯金字塔来获取壁画图像的多尺度表示，利用尺度信息约束褪化壁画的复原过程；并且设计基于编码器-解码器网络的迁移子网，使用并行非局部注意机制建立褪化壁画与参考壁画的语义映射关系对不同尺度表示的褪化壁画图像进行色彩还原。然后构造跨尺度特征融合模块，采用Coarse-to-Fine的优化策略，利用多阶段网络模型逐步优化图像色彩还原结果。实验分析表明，本文方法能够抑制褪化壁画图像噪声对还原结果的影响，消除还原图像的轮廓伪影和色彩混叠，在有效还原壁画色彩的同时能较好地保持褪变色壁画图像的边缘纹理信息。
1 算法描述
本文提出的基于多阶段优化的壁画色彩还原网络由三个阶段的网络构成（如图1所示）。每个阶段的网络由图像编码模块、基于编码器-解码器网络的迁移子网和图像解码模块构成。在这三个阶段的网络中，与第一阶段网络不同的是，后两个阶段的网络中加入了跨尺度特征融合模块。
本文网络与使用单尺度图像进行色彩还原的单阶段网络[10]不同。首先，本文方法使用高斯核函数平滑原尺度壁画图像中的噪声，同时使用双三次插值降采样获取壁画图像的多尺度表示；其次，本文的多阶段网络通过级联多个编码器-解码器子网增强模型容量，每个阶段的子网处理不同尺度的图像特征；此外，不同阶段的子网间使用跨尺度特征融合模块建立联系。
原尺度壁画图像经过高斯模糊能够平滑大部分的噪点，不会引入冗余信息；而使用降采样方法可以获取壁画图像的多尺度表示，利用不同尺度表示间的结构关联可以在不同尺度上描述图像的局部特征，进而可以利用尺度信息约束壁画图像的复原过程，保证壁画图像复原结果的一致性。
本文网络的阶段数由图像金字塔的层数确定，从图像金字塔的小尺度图像到原尺度图像，逐级对应不同阶段的网络。图像金字塔层数越多，小尺度图像的结构信息越模糊，不利于图像内容的结构重建；而层数越少，不能有效平滑原尺度图像中的不规则噪声，影响壁画图像复原效果。经过实验分析，本文使用三层图像金字塔。
本文网络的输入是一对壁画图像：褪变色壁画图像和参考壁画图像。输入的图像使用高斯核函数生成高斯金字塔：原尺度图像、1/2尺度图像、1/4尺度图像。由于1/4尺度图像更容易捕获图像全局特征，因此使用1/4尺度图像作为第一阶段还原网络的输入，并生成褪化图像的粗度还原结果。第二阶段网络重建1/2尺度图像。此外，跨尺度特征融合模块利用第一阶段获取的粗度语义信息约束第二阶段还原图像的局部语义一致性，并将第一阶段的粗度还原信息引入第二阶段的重建图像中。类似的，第三阶段网络利用第二阶段的还原结果重建并优化原尺度图像的色彩信息和结构纹理细节。
1.1 图像编码模块
1.1.1 高斯金字塔
由于壁画图像通常包含高频噪声，为了减少噪声对壁画图像局部和全局特征提取的影响，本文使用高斯核函数（GaussKernel）对输入的褪化图像和参考图像进行模糊和降采样处理。获取壁画图像I的多尺度表示{I1, I1/2, I1/4,…}，即原尺度图像、1/2尺度图像、1/4尺度图像等。
式中，I表示输入图像，GaussKernel表示高斯核函数，{I1, I1/2, I1/4,…}是输入图像的多尺度表示。
如图2所示，对图像金字塔中的不同尺度图像特征进行可视化可以发现，当高斯模糊和降采样达到1/4尺度时，可以有效的平滑图像中的大部分不规则噪声，同时也可以保留图像的基础结构信息；但是进一步执行高斯模糊和双三次插值降采样至1/8尺度时，图像中的小部分局部结构已经发生了不可逆的损害，当使用这些局部结构发生变化的小尺度图像作为先验信息复原壁画图像时，会使复原效果大打折扣。因此，本文网络使用{I1, I1/2, I1/4}尺度构建图像金字塔进行壁画图像复原。
1.1.2 低级视觉特征提取
为了减少噪声对捕获壁画图像语义特征的影响，本文使用卷积层和通道注意力构建浅层特征提取块（Shallow Feature Block, SFB）提取图像的低级视觉特征。该模块由三个卷积层与通道注意力块（Channel Attention Block, CAB）间隔构成。单层小卷积核仅能获取壁画中的边缘、角点等基元，而使用三个3×3卷积核级联可以得到7×7的语义感受野，同时在卷积层之间加入通道注意力层可以获得更丰富的低级视觉特征。如图3所示。公式表示为：
式中，{F1, F1/2, F1/4}表示多尺度图像的特征表示。
1.2 跨尺度特征融合模块
考虑到卷积层对于捕获壁画图像全局特征的不足，本文设计了基于Non-Local[17]的跨尺度特征融合模块,如图4所示。通过Non-Local模块建立相邻阶段图像特征间的相似性依赖，使用小尺度图像的语义特征约束较大尺度图像特征的局部语义一致性，从而进一步抑制低层图像特征中的噪声。
对于相邻阶段的输入图像，其尺度变化比例为1/2。在使用相同数量卷积层获取图像特征时，小尺度图像能够获取具有更大语义感受野的图像特征，能够有效减少高频噪声对捕获全局语义特征的影响。
跨尺度特征融合模块使用相邻阶段的褪化图像特征(Fcs+1, Fcs)作为输入。这里，s是不同阶段的索引，c表示褪化壁画图像。跨尺度特征融合首先将Fcs+1映射为Query特征向量，将Fcs分别映射为Key和Value特征向量。特征图的内嵌映射使用1×1卷积实现。使用L2距离度量计算Fcs+1和Fcs之间的注意力图[18]，以引入Fcs中的语义特征A。
式中，Wq、Wk和Wv分别是Query、Key和Value特征空间的可学习权重矩阵，d是特征图的维度。
接下来，将Fcs+1与语义特征A逐元素相加，并传入迁移子网。
式中，FFusion是Fcs+1和Fcs的融合特征，A表示Fcs与Fcs+1相关的语义特征。
1.3 迁移子网及图像解码模块
迁移子网由编码器、色彩迁移模块和解码器构成，如图5所示。首先，通过编码器获取壁画图像特征的多级语义特征。其次，在色彩迁移模块中将参考壁画图像的色彩信息迁移到褪化壁画图像特征中。最后，通过解码器还原壁画图像特征。
编码器采用与VGG-16网络相似的结构，使用三个卷积段，每个卷积段由三个卷积层和一个激活层构成。卷积段之间使用池化层降低特征尺寸，以获取图像特征的多级语义表示。解码器与编码器呈镜像对称结构。本文构建了基于风格注意力[14]的色彩迁移模块。在该模块中，分别从图像特征的通道域和空间域对褪化壁画进行色彩还原。
在通道域中，使用降采样因子r对壁画图像特征进行降采样，通过计算降采样后的参考壁画与褪化壁画特征间的通道相关性Cchannel∈RC×C，从参考壁画中引入通道域参考特征Fchannel：
式中，表示降采样后的壁画特征，FR表示参考壁画特征。
在空间域中，使用1×1卷积将褪化壁画特征和参考壁画特征分别映射为嵌入特征f(FC)、g(FR)、h(FR)。然后计算褪化壁画与参考壁画的嵌入特征(f(FC), g(FR))间的空间相似性矩阵Cspatial∈RHW×HW，从参考壁画中引入空间域参考特征Fspatial：
式中，C表示褪化壁画，R表示参考壁画，T表示转置操作。
最后，融合通道域与空间域的参考特征(Fspatial, Fchannel)对褪化壁画特征FC进行色彩还原。获得还原后的褪化壁画特征FˆC：
式中，Conv()表示特征(Fspatial, Fchannel, FC)在通道维度拼接(concat)后，使用卷积层降低通道维数。
迁移子网的输出FˆC分别作为下一阶段迁移子网的语义先验信息和反卷积模块的输入。作为先验信息时，将FˆC上采样与下一阶段的褪化图像特征拼接，然后作为下一阶段迁移子网输入。作为反卷积模块的输入时，使用反卷积操作将FˆC映射到图像域，生成还原图像并与同尺度的源图像计算损失。
1.4 损失函数
本文提出的网络采用端到端的方式生成还原壁画图像。在训练网络模型时，使用以下损失函数优化网络模型参数：
式中，Lcontent, Ledge分别表示还原壁画图像与褪化壁画图像之间的内容损失和边界损失，Lstyle表示还原壁画图像与参考壁画图像之间的风格损失，LTV表示还原壁画图像的全变分损失，α、β分别表示风格损失和全变分损失的权重参数。计算内容损失Lcontent和风格损失Lstyle时，本文使用预训练分类网络VGG-16的卷积层作为图像特征编码器并计算损失函数。
1.4.1 内容损失
内容损失函数表示为：
式中，i表示VGG预训练网络的卷积层，I表示输入图像，FIi表示I输入VGG网络获取的第i个卷积层的特征图，CiHiWi表示第i层特征图的尺寸。
1.4.2 风格损失
壁画图像特征的纹理及色彩信息使用Gram矩阵表示，公式表示为：
式中，i表示VGG预训练网络的卷积层，I表示输入图像，FIi表示I输入VGG网络获取的第i个卷积层的特征图，CiHiWi表示第i层特征图的尺寸。
1.4.2 风格损失
壁画图像特征的纹理及色彩信息使用Gram矩阵表示，公式表示为：
式中，Aijl表示参考壁画图像第l层特征图的Gram矩阵，N2、M2分别表示第l层特征图和Gram矩阵的尺寸，El表示第l层特征Gram矩阵的损失，ωl表示第l层Gram矩阵损失权重。
1.4.3 边缘损失
为了增强还原壁画图像的语义边缘信息，使用边缘损失函数优化网络模型：
式中，∆表示拉普拉斯滤波，ε=10-3用于稳定模型的训练过程。
1.4.4 全变分损失(Total Variation Loss)
褪化壁画图像中包含的噪声和边缘纹理缺失可能会扰乱还原图像中的纹理，造成还原图像观感上不自然。本文在损失函数中加入总变差损失LTV平滑图像纹理，缓解噪声以及壁画图像缺损造成的伪影现象：
式中，表示还原图像中的第(i, j)位置的像素值。
2 实验设置与结果分析
为了验证本文方法的有效性，本文设计以下实验进行论证。首先对不同阶段的还原结果进行对比分析，验证多阶段方法的可行性；其次，对跨尺度特征融合模块进行消融实验，验证模块的有效性；最后，选取经典的图像色彩还原和风格迁移方法进行对比实验。
2.1 实现过程
本文网络采用WikiArt数据集[19]和壁画图像数据集进行训练。首先，使用WikiArt数据集进行预训练，其次使用壁画数据集对网络进行微调。WikiArt数据集包含近8万张各种流派的艺术图像。通过调整原始图像的色调和饱和度并添加高斯噪声模拟生成褪化图像，与源图像构成图像对训练网络。壁画数据集中的图像源于网络资源和壁画相关书籍[20,21]，共包含935对高分辨率壁画图像，每对图像包括褪化图像和参考图像。使用壁画训练网络时，将壁画数据集划分为800对训练集和135对测试集。训练集使用旋转、裁剪、缩放等操作增强至5000对图像，然后调整到(512×512)尺寸训练网络。
本文网络模型基于Pytorch框架实现。在训练阶段，使用Adam优化器，初始学习率设置为1×10-4，使用余弦退火策略稳定下降到1×10-6，批量大小设置为4，训练50个epoch。使用壁画图像数据集优化模型时，使用Adam优化器，初始学习率设置为1×10-4，并且每500次迭代减少0.1倍，批量大小设置为4，训练20个epoch。
实验分析中使用全参考图像质量评价指标PSNR、SSIM和无参考图像质量评价指标NIQE[22]、BRISQUE[23]。其中，PSNR和SSIM用于评价还原图像与原图像的低级视觉差异，评价值越高，还原图像与源图像约相似。NIQE和BRISQUE使用壁画数据集进行预训练，用于对还原壁画图像质量进行评价。评价值越低表示还原壁画图像质量更接近壁画原始风貌
2.2 多阶段色彩还原结果评价
本文提出的网络框架包含三个不同阶段的图像色彩还原网络。为了验证多阶段网络模型逐级优化的可行性。本节对模型中不同阶段迁移子网的还原结果进行对比分析。
褪化壁画图像逐级还原结果如图6所示。由图中可以看出，第一阶段对褪化图像I1/4进行粗度着色，减少噪声与图像纹理混淆造成的伪影问题，如图6(1)(c)中菩萨的莲台和图6(2)(c)天女的面部五官色彩更平滑且噪声极少；阶段二在阶段一粗度着色的基础上对褪化图像I1/2进行色彩还原，引入了部分纹理，如图6(2)(d)中莲花花瓣和图6(3)(d)中莲台花边等纹理信息；阶段三继续在阶段二的基础上对褪化图像I进行色彩和纹理细化，生成最终的还原结果。
阶段一到阶段三还原图像的客观评价指标如表1所示。在逐阶段的优化过程中，还原图像的PSNR、SSIM值逐步提升，并且无参考评价指标NIQE、BRISQUE逐步降低，说明图像质量逐步提升。表明多阶段网络逐级优化还原壁画图像色彩方法是可行且有效的。
2.3 消融实验
为了验证本文方法中跨尺度特征融合模块的有效性，本文进行以下的消融实验：使用双三次插值上采样模块代替本文网络的跨尺度特征融合模块并于本文网络进行对比。消融实验结果如图7所示。其中，图7(a)为参考壁画，图7(b)为临摹壁画，图7(c)为上采样模块的还原图像，图7(d)为跨尺度特征融合模块的还原图像。
从图7中可以看到，双三次插值上采样模块缺失多尺度语义信息约束并不能减少褪化图像中的噪声，如图7(1)(c)中燃灯菩萨手捧油灯、图7(2)(c)中天女发带和图7(3)(c)嫁娶图中新郎的下颌等位置，高频噪声明显。而跨尺度特征融合模块可以有效抑制高频噪声，并且该模块能够约束局部区域内的语义一致性，提升壁画还原质量。
模块消融实验的客观评价如表2所示。当使用双三次插值上采样模块代替跨尺度特征融合模块时，NIQE值上升3.6951，BRISQUE值上升了1.3159。这意味着还原图像的质量变差了。而跨尺度特征融合模块的还原图像PSNR、SSIM评价指标值更高；并且NIQE、BRISQUE指标更低，图像质量更好。
2.4 对比实验
本节对褪化壁画色彩还原结果进行对比实验。为了对比实验的有效性，本文使用具有代表性的Reinhard方法[2]、AdaIN方法[11]、SANet方法[13]、StyleFormer方法[24]与本文方法进行对比。
2.4.1 临摹褪化壁画图像色彩还原
临摹壁画通常遵循原始壁画的纹理风格进行描绘。这类壁画避免了真实壁画中存在的大量噪声，具有更清晰的纹理结构。
本节实验使用临摹壁画进行对比分析，临摹壁画图像的还原结果如图8所示。其中，图8(a)为参考壁画，图8(b)为临摹壁画，图8(c)~(f)为对比方法还原图像，图8(g)为本文方法还原图像。
从图8中可以看到，Reinhard方法仅从统计信息的角度改变图像的色彩信息，容易出现色彩不准确的问题，如图8(1)(c)平棋中的背景色偏差较大。AdaIN方法不能有效保持图像的纹理结构，如图8(1)(d)中平棋边缘结构模糊。SANet方法在进行语义特征映射时缺少一致性约束，如图8(3)(e)中菩萨的面部及发髻部位出现色彩混叠现象。StyleFormer方法所采用的特征分组和多头注意力机制相结合的方式可以减少色彩混叠现象，但是图像边缘易出现伪影，如图8(3)(f)菩萨发冠纹理边缘存在伪影。本文方法在有效减少噪声影响的同时能够对图像色彩进行语义一致性约束。如图8(1)(g)平棋及图8(3)(g)菩萨发髻边缘都具有可观的还原效果。
临摹壁画图像色彩还原结果的客观评价如表3所示。在缺少未褪化壁画图像做参考的情况下，全参考图像质量评价指标仅使用SSIM衡量还原图像与褪化图像间的结构相似性。可以看到，Reinhard方法的SSIM值最高，这是由于该方法进行基于统计信息的色彩还原时，对于图像中的噪声、色彩梯度不平滑等问题并未进行有效处理。也使得该方法的NIQE值和BRISQUE值明显偏高。AdaIN方法和SANet方法虽然降低了NIQE、BRISQUE指标值，但SSIM值变化较大，图像纹理信息有较大的损失。StyleFormer方法在未造成过多壁画信息丢失的情况下提升还原壁画质量。而本文方法在保留壁画纹理结构的条件下能够有效减少高频噪声并提升还原壁画质量。虽然SSIM指标次优，但NIQE、BRISQUE指标均高于对比方法。
2.4.2 真实褪化壁画图像色彩还原
真实壁画相较于临摹壁画具有更复杂的褪化现象。本节实验使用真实壁画图像进行色彩还原对比实验，结果如图9所示。其中，图9(a)为参考图像，图9(b)为真实壁画，图9(c)~(f)为对比方法还原图像，图9(g)为本文方法还原图像。从图9中可以看到，Reinhard方法并未改变壁画中的噪声信息，如图9(1)(c)周利般特菩萨和图9(2)(c)鸠摩罗天菩萨的圆光部位噪声明显。AdaIN方法和SANet方法对噪声非常敏感，在获取图像特征和还原图像时容易出现伪影和假色，如图9(1)(e)菩萨圆光出现伪影和假色。StyleFormer方法易出现局部纹理丢失的现象，如图9(1)(f)飞天的耳环结构信息丢失。本文方法受噪声和缺损区域影响较小，在维持图像原始结构纹理的同时能够根据参考信息还原图像色彩，如图9(g)中菩萨圆光及飞天都具有较好的还原效果。
真实壁画色彩还原客观评价如表4所示。可以看到，Reinhard方法的表现与针对临摹壁画图像的处理结果类似。AdaIN方法和SANet方法SSIM值较低，意味着还原图像中丢失了较多的纹理信息。StyleFormer方法采用特征分组映射可以建立更准确的语义映射，降低了无参考图像评价指标值，且SSIM值稍有提升。而本文方法通过建立多尺度语义映射并采用多阶段优化策略进一步提高SSIM值，无参考评价指标也有所降低，整体还原图像质量有提升。
3 结论
针对壁画图像色彩还原过程中由高频噪声等引起的语义边缘伪影和色彩混叠问题，本文提出一种基于多阶段优化的壁画图像色彩还原方法。该方法使用高斯核函数获取壁画图像的多尺度表示；其次，提出基于编码器-解码器的迁移网络并以级联的方式构建多阶段网络，采用Coarse-to-Fine的优化策略，逐阶段优化还原壁画图像色彩，克服噪声引起的边缘伪影问题。此外，构建跨尺度特征融合模块，利用多尺度语义信息来约束图像特征的语义色彩一致性，减少色彩混叠。实验分析表明，本文提出的基于多阶段优化的壁画色彩还原网络模型能够有效的减少壁画图像色彩还原过程中的噪声影响，避免伪影、色彩混叠等问题。相较于其他方法，本文方法能够较好地保持壁画图像原始结构并对褪变色区域进行色彩还原。
参考文献
参考文献
[1] 魏宝刚, 潘云鹤.基于框架和规则的古代壁画色彩复原[J]. 模式识别与人工智能, 1999, 12(04):473-479.
[2] Reinhard E, Adhikhmin M, Gooch B, et al.Color transfer between images[J].IEEE Computer Graphics and Applications,2001, 21 (5): 34-41.
[3] 赵国英, 向世明, 李华.高阶矩在颜色传输中的应用[J].计算机辅助设计与图形学学报, 2004, (01):62-66+ 151- 152.
[4] 林怡.壁画图像智能色彩处理技术及其应用[D].浙江大学,2002.
[5] 李宣妮.古壁画虚拟修复技术研究[D].西安建筑科技大学,2014.
[6] Zhang R, Isola P, Efros A A.Colorful image colorization[C]//Proc. of 14th European Conference on Computer Vision,2016: 649-666.
[7] Gatys L A, Ecker A S, Bethge M.Image style transfer using convolutional neural networks[C]//Proc. of 29th IEEE Conference on Computer Vision and Pattern Recognition,2016: 2414-2423.
[8] 徐志刚, 尹文玉, 朱旭锋.基于双重约束CNN的壁画图像色彩还原[J].华中科技大学学报(自然科学版), 2020, 48(06):6-12.
[9] He M M, Chen D D, Liao J, et al.Deep exemplar-based colorization[J].ACM Transactions on Graphics,2018, 37 (4): 1-16.
[10] Xu Z, Wang T, Fang F, et al.Stylization-Based architecture for fast deep exemplar colorization[C]//Proc. of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition,2020: 9360-9369.
[11] Huang X, Belongie S.Arbitrary style transfer in real-time with adaptive instance normalization[C]//5th International Conference on Learning Representations,2019.
[12] Blanch M G, Mrak M, Smeaton A F, et al.End-to-End conditional GAN-based architectures for image colourisation[C]//IEEE 21st International Workshop on Multimedia Signal Processing,2019: 1-6.
[13] Park D Y, Lee K H.Arbitrary style transfer with style-attentional networks[C]//Proc. of 32nd IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 5873-5881.
[14] Su J-W, Chu H-K, Huang J-B.Instance-aware image colorization[C]//Proc. of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition,2020: 7965- 7974.
[15] Cao J, Zhang Z, Zhao A, et al.Ancient mural restoration based on a modified generative adversarial network[J]. Heritage Science,2020, 8 (1): 7.
[16] Wang H-L, Han P-H, Chen Y-M, et al.Dunhuang mural restoration using deep learning[C]//SIGGRAPH Asia 2018 Technical Briefs,2018: 1-4.
[17] Wang X, Girshick R, Gupta A, et al.Non-local neural networks[C]//Proc. of 31st Meeting of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018: 7794-7803.
[18] Kim H, Papamakarios G, Mnih A.The lipschitz constant of self-attention[C].Proc. of the 38th International Conference on Machine Learning,2021: 5562-5571.
[19] Pirrone R, Cannella V, Gambino O, et al.WikiArt: an ontology-based information retrieval system for arts[C]// Proc. of 9th International Conference on Intelligent Systems Design and Applications,2009: 913-918.
[20] 高山.再现敦煌：壁画艺术临摹集[M].江苏:江苏凤凰美术出版社,2018
[21] 中国敦煌壁画全集编辑委员会.中国敦煌壁画全集[M].天津:天津人民美术出版社,2006
[22] Mittal A, Soundararajan R, Bovik A C.Making a 'completely blind' image quality analyzer[J].IEEE Signal Processing Letters,2013, 20 (3): 209-212.
[23] Mittal A, Moorthy A K, Bovik A C.No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing,2012, 21 (12): 4695- 4708.
[24] Wu X, Hu Z, Sheng L, et al.StyleFormer: real-time arbitrary style transfer via parametric style composition[C]// Proc. of 2021 IEEE/CVF International Conference on Computer Vision,2021: 14598-14607.