这是用户在 2024-10-25 24:21 为 https://ieeexplore.ieee.org/document/10703123/authors#authors 保存的双语快照页面,由 沉浸式翻译 提供双语支持。了解如何保存?
无监督高光谱和多光谱图像融合基于深度光谱-空间协同约束 | IEEE 期刊与杂志 | IEEE Xplore


无监督高光谱和多光谱图像融合的深度光谱-空间协同约束

 出版商:IEEE

于浩阳;凌志欣;郑科;高莲如;李佳欣;乔赛琳·尚索

Abstract:

The most cost-effective way to obtain a high spatial resolution hyperspectral image (HrHSI) is to fuse a low spatial resolution hyperspectral image (LrHSI) and correspond...View more

 摘要:


获取高空间分辨率高光谱图像(HrHSI)的最经济有效方法是融合低空间分辨率高光谱图像(LrHSI)和相应的高空间分辨率多光谱图像(HrMSI)。本文提出了一种基于光谱-空间协同约束的通用无监督深度融合方法,以解决 LrHSI 和 HrMSI 融合任务。首先,针对当前光谱-空间下采样模型的局限性,设计了组卷积增强(GCE)模块以消除待融合图像之间的辐射差异。其次,为了增强模型的特征提取能力,本文引入了空间、通道和滤波 3-D 注意力因子动态卷积核(SCFConv)的设计。为了验证所提出的方法,我们分别使用模拟和真实机载数据,将我们的方法与传统方法和无监督深度学习方法进行了比较和评估。在真实场景中缺乏 HrHSI 验证图像的情况下,我们通过分类结果评估了不同融合模型的表现。 实验结果表明了所提模型的有效性和融合结果的实际价值(我们产生的机载数据可在 https://drive.google.com/drive/folders/1JLCCB6ld5R49HDLN5SsMISx1d0fuqRjO 获取)。

发表于:IEEE 地球科学与遥感学报(卷:62)

文章序列号:5534114

发布日期:2024 年 10 月 2 日

 ISSN 信息:


DOI: 10.1109/TGRS.2024.3472226 翻译文本:
 出版商:IEEE

 资助机构:

Author image of Haoyang Yu

中心遥感高光谱成像(CHIRS),信息科学与技术学院,大连海事大学,大连,中国

于浩阳(IEEE 会员)于 2013 年获得中国沈阳东北大学信息与计算科学学士学位,2019 年获得中国科学院遥感与数字地球研究所(CAS)数字地球科学重点实验室地图学与地理信息系统博士学位。

他目前是...中心的副教授。
 显示更多

于浩阳(IEEE 会员)于 2013 年获得中国沈阳东北大学信息与计算科学学士学位,2019 年获得中国科学院遥感与数字地球研究所(CAS)数字地球科学重点实验室地图学与地理信息系统博士学位。

他目前是...中心的副教授。
View more
Author image of Zhixin Ling

中心遥感高光谱成像(CHIRS),信息科学与技术学院,大连海事大学,大连,中国

李志欣于 2021 年在中国长春科技大学获得软件工程学士学位,2024 年在中国大连海事大学获得计算机技术硕士学位。

他的研究专注于高光谱和多光谱图像融合。

李志欣于 2021 年在中国长春科技大学获得软件工程学士学位,2024 年在中国大连海事大学获得计算机技术硕士学位。

他的研究专注于高光谱和多光谱图像融合。
View more
Author image of Ke Zheng

地理与环境学院,聊城大学,聊城,中国

2012 年,郑克在中国农业大学(泰安)获得地理信息系统学士学位;2016 年和 2020 年,分别在中国矿业大学(北京)地球科学与测绘工程学院获得遥感硕士学位和博士学位。

他在数字地球重点实验室担任博士后研究员两年...
 显示更多

2012 年,郑克在中国农业大学(泰安)获得地理信息系统学士学位;2016 年和 2020 年,分别在中国矿业大学(北京)地球科学与测绘工程学院获得遥感硕士学位和博士学位。

他在数字地球重点实验室担任博士后研究员两年...
View more
Author image of Lianru Gao

中心遥感高光谱成像(CHIRS),信息科学与技术学院,大连海事大学,大连,中国
Key Laboratory of Computational Optical Imaging Technology, Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing, China
Lianru Gao (Senior Member, IEEE) received the B.S. degree in civil engineering from Tsinghua University, Beijing, China, in 2002, and the Ph.D. degree in cartography and geographic information system from the Institute of Remote Sensing Applications, Chinese Academy of Sciences (CAS), Beijing, in 2007.
He was a Visiting Scholar at the University of Extremadura, Cáceres, Spain, in 2014, and Mississippi State University (MSU...Show More
Lianru Gao (Senior Member, IEEE) received the B.S. degree in civil engineering from Tsinghua University, Beijing, China, in 2002, and the Ph.D. degree in cartography and geographic information system from the Institute of Remote Sensing Applications, Chinese Academy of Sciences (CAS), Beijing, in 2007.
He was a Visiting Scholar at the University of Extremadura, Cáceres, Spain, in 2014, and Mississippi State University (MSU...View more
Author image of Jiaxin Li
Key Laboratory of Computational Optical Imaging Technology, Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing, China
College of Resources and Environment, University of Chinese Academy of Sciences, Beijing, China
Jiaxin Li (Student Member, IEEE) received the B.E. degree from Chongqing University, Chongqing, China, in 2020. He is currently pursuing the Ph.D. degree in cartography and geographic information system with the Key Laboratory of Computational Optical Imaging Technology, Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing, China.
He has published over ten peer-reviewed papers with more than 500 c...Show More
Jiaxin Li (Student Member, IEEE) received the B.E. degree from Chongqing University, Chongqing, China, in 2020. He is currently pursuing the Ph.D. degree in cartography and geographic information system with the Key Laboratory of Computational Optical Imaging Technology, Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing, China.
He has published over ten peer-reviewed papers with more than 500 c...View more
Author image of Jocelyn Chanussot
CNRS, Grenoble Institute of Technology (Grenoble INP), GIPSA-Lab, Université Grenoble Alpes, Grenoble, France
Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing, China
Jocelyn Chanussot (Fellow, IEEE) received the M.Sc. degree in electrical engineering from Grenoble Institute of Technology (Grenoble INP), Grenoble, France, in 1995, and the Ph.D. degree from the Université de Savoie, Annecy, France, in 1998.
From 1999 to 2023, he was with Grenoble INP, where he was a Professor of signal and image processing. He was a Visiting Scholar at Stanford University, Stanford, CA, USA, KTH, Stockho...Show More
Jocelyn Chanussot (Fellow, IEEE) received the M.Sc. degree in electrical engineering from Grenoble Institute of Technology (Grenoble INP), Grenoble, France, in 1995, and the Ph.D. degree from the Université de Savoie, Annecy, France, in 1998.
From 1999 to 2023, he was with Grenoble INP, where he was a Professor of signal and image processing. He was a Visiting Scholar at Stanford University, Stanford, CA, USA, KTH, Stockho...View more

 第一章

 引言


高空间分辨率高光谱图像(LrHSI)通常包含众多光谱波段。由于成像传感器固有的限制,LrHSI 往往由于空间分辨率有限,可能导致图像元素混合和边界模糊等挑战。这些限制显著限制了 LrHSI 的潜在应用和光谱优势。相比之下,高空间分辨率多光谱图像(HrMSIs)具有独特的纹理特征,但可能缺乏独特的光谱特征。仅基于有限的通道信息区分复杂特征具有挑战性。因此,获取高空间分辨率高光谱图像(HrHSIs)对于遥感领域的各种应用,如分类、目标检测等,具有重大研究意义。目前,更普遍的研究方法是通过融合具有相同覆盖范围的 HrMSI 和 LrHSI 来获取 HrHSI。相关方法可以分为传统方法和基于深度学习的融合方法。


传统方法可以分为以下几类,包括基于全锐化扩展的方法 [14][15][16] ,基于贝叶斯的方法 [17][18][19] ,基于矩阵分解的方法 [20][21][22] ,以及基于张量表示的方法 [23][24][25]


HrMSI 和 LrHSI 融合方法基于全色增强扩展,遵循 HrMSI 和全色(PAN)融合的原则。Aiazzi 等人将 LrHSI 和 HrMSI 融合问题分解为类似于 PAN 和 HrMSI 融合的几个子问题。每个子问题是将 HrMSI 的单个波段与 LrHSI 的多个波段进行融合。Vivone 等人提供了全色增强扩展方法的详细介绍和比较。此类方法计算效率高,但难以同时确保空间纹理信息和光谱重建达到更好的结果。特别是在要融合的图像空间分辨率差异较大时,为了恢复空间信息,会导致光谱失真。


关于基于贝叶斯的方法,它们通过通常将先验规律性纳入观测模型并利用后验概率来估计目标图像。这种方法提高了估计的准确性和鲁棒性。显然,这种方法过度依赖于先验信息的准确性,这限制了模型的发展。


矩阵分解方法主要涉及主成分分析(PCA)和非负矩阵分解(NMF)。这些方法通过将 LrHSI 和 HrMSI 分解为低秩和稀疏矩阵来实现融合。这些方法的一个优点是它们具有更好的性能。然而,它们的性能取决于参数选择,并且计算成本较高。


张量表示方法主要分为两种,即 Tucker 分解和典型多面体(CP)分解。这些方法将 LrHSI 和 HrMSI 表示为核张量与因子矩阵的乘积。融合结果是通过结合这些分解结果获得的。这些方法的一个优点是能够捕捉 LrHSI 和 HrMSI 之间的非线性关系。因此,它们适用于复杂数据。然而,缺点是计算复杂度高,需要大量计算资源。


近年来,深度学习因其强大的特征提取能力在 LrHSI 和 HrMSI 融合领域得到广泛应用。此类方法可具体分为监督学习和无监督学习。Zhao 等人提出了一种创新的 GAN 框架,采用两阶段对抗训练策略和空间光谱注意力块来解决融合任务。为了应对多源图像融合的挑战,Cao 等人提出了一种创新的监督扩散模型,具有粗粒度风格调制和细粒度小波调制,在融合基准测试中表现出优异的性能。监督方法需要 HrHSI 作为训练样本,而在实际情况下并不存在。因此,在实际应用中存在困难。因此,无监督方法已成为当前研究的热点。Zheng 等人提出了基于无监督深度学习的融合方法 HyCoNet,可以在没有先验信息(如点扩散函数(PSF)和光谱响应函数(SRF))的情况下解决 LrHSI 和 HrMSI 融合中的问题。Zhan 等人 [35] 提出了一种新的跨尺度倍频网络,结合了 LrHSI 和 HrMSI 融合方法,能够通过渐进式图像融合结构提取多尺度空间信息。


近年来,基于光谱-空间下采样概念的融合方法在转化为光谱映射问题时展现出有前景的性能。Han 等人 [36] 首次提出了光谱-空间下采样概念,该概念在已知点扩散函数(PSF)和空间分辨率函数(SRF)的假设下,将融合任务转化为光谱映射问题。Chen 等人 [37] 进一步设计了无监督融合模型,以学习 LrMSI 和 LrHSI 在像素级别的光谱映射关系。Li 等人 [38] 设计了多个深度学习模块,以在退化过程中自适应地学习 PSF 和 SRF。


然而,一方面,基于光谱空间退化方法的方法往往在退化过程中具有过于理想化的模型设计,忽略了待融合数据之间的辐射差异。受限于成像时间、大气条件、成像设备和图像预处理,实际输入到融合过程中的 LrHSI 和 HrMSI 往往表现出辐射差异。


另一方面,大多数当前的未监督深度融合模型仅在模拟数据集上执行,缺乏对真实数据集的验证。此外,在实际情况下,融合结果的验证图像不易获得,因此迫切需要设计不需要验证图像的评估指标。同时,融合的目的是结合有利信息,在特定应用中做出更好的决策。应用相关的指标可以用来评估融合结果的表现,例如分类和目标检测。以分类为例,如果融合结果比输入的 HrMSI 提高了分类结果,这间接证明了融合的重要性。如果通过提出的方法获得的 HrHSI 的分类精度优于其他融合方法,这证明了提出方法的有效性。


基于上述问题,本文提出了一种无监督深度光谱-空间协同约束融合模型(UDS 2 C 2 )。本文的主要贡献如下。


  1. 三维动态卷积,SCFConv,旨在通过计算注意力因子来增强卷积神经网络(CNNs)的特征提取能力。


  2. 考虑到 LrHSI 与 HrMSI 之间的辐射差异,该小组设计了基于卷积增强(GCE)模块以提升退化性能。


  3. 由于缺乏真实数据的验证图像,我们通过分类准确率评估融合性能,引入了一种面向用户的质量度量方法。


本文剩余部分组织如下。 Section II 介绍了动态卷积的相关工作。 Section III 描述了当前频谱-空间下采样模型的设计思想和局限性。 Section IV 详细描述了提出的方法。鉴于当前研究的不足,开发了一个 UDS 2 C 2 融合模型。在 Section V 中,通过详细评估展示了所提出模型的表现。实验数据包括仿真数据和 ZY-1(02D)真实机载数据。 Section VI 总结了本文的整体贡献。

 第二节

 相关研究

 A. 动态卷积


单静态卷积是传统 CNN 中常用的一种卷积操作,具有固定的卷积核,其主要优点是简单高效。然而,固定卷积的设计限制了模型的表达能力。


不同于传统的单静态卷积,动态卷积使用一组卷积核,并根据输入数据的特征动态调整每个核的权重。这是通过引入注意力机制实现的,该机制增强了模型提取和表达特征的能力。在处理不同类型的数据时,自适应权重分配提高了模型的准确性。Yang 等人 [39] 和 Chen 等人 [40] 根据 CondConv 和 DyConv 中提出的修改后的 SE 结构计算卷积核的注意力权重。例如,CondConv 使用 sigmoid 函数作为激活函数来计算注意力权重,而 DyConv 使用 softmax 函数。

B. ODConv


然而,上述动态卷积方法存在一些局限性。首先,注意力机制仅设计为考虑卷积核数量的维度,而忽略了卷积核的其他三维(空间大小、输入通道数和输出通道数)。这限制了动态卷积充分捕捉丰富上下文信息的能力。此外,将动态卷积应用于多个卷积层显著增加了模型的参数数量。


为了解决这些问题,Li 等人提出了一种新的动态卷积设计方法,称为全维动态卷积(ODConv)。ODConv 利用一种新颖的多维注意力机制,在卷积核空间的 4 维中学习四种类型的注意力权重。实验表明,这四种类型的注意力权重相互补充。逐步将这些四种类型的注意力权重应用于相应的卷积核,可以显著增强卷积操作的特征提取能力和模型。


ODConv 可以用作插件式设计,以替换许多 CNN 架构中发现的常规卷积层。与现有的动态卷积设计相比,ODConv 实现了更好的性能。此外,ODConv 在预训练分类模型上的性能提升也可以很好地迁移到下游任务,如目标检测,这验证了其良好的泛化能力。

 第三节

 问题表述


LrHSI XRwh×C 和 HrMSI YRWH×Cm 作为该模型的输入,其中 w 和 h 分别代表 LrHSI 的宽度和高度,C 是 LrHSI 的光谱数量。W 和 H 分别代表 HrMSI 的宽度和高度, Cm 是 HrMSI 的光谱数量( w  Wh  HCm  C )。然后,HrHSI 可以表示为 ZRWH×C


学习基于光谱-空间下采样模型生成 LrMSI 的光谱上采样模块(如图 Fig. 1 所示)的主要原则,以及利用 LrMSI 与目标 LrHSI 共同学习光谱上采样模块的方法如下。

Fig. 1. - Illustration of spectral-spatial downsampled model.
 图 1


示意图:光谱-空间降采样模型。


假设 LrHSI X 和 HrMSI Y 是通过从 HrHSI Z 进行空间降采样和光谱降采样过程获得的。其中, PRwh×WHSRC×Cm 分别代表空间降采样模块和光谱降采样模块。


通过将相同的频谱下采样操作 S 应用于 LrHSI X 以获得 LrMSI L1Rwh×Cm

L1=XS.(3)
View SourceRight-click on figure for MathML and additional features.


同样,通过将相同的空间下采样操作 P 应用于 HrMSI Y 以获得 LrMSI L2Rwh×Cm

L2=PY.(4)
View SourceRight-click on figure for MathML and additional features.


由于两个 LrMSI 都是通过相同的空间和光谱降采样过程从相同的 HrHSI Z 获得的,因此它们是相同的。具体的推导过程如下:

L1=XS=PZS=PY=L2.(5)
View SourceRight-click on figure for MathML and additional features.


(2)(5) 可以看出,LrMSI L 1 和 HrMSI Y 分别通过相同的频谱下采样操作 S 从 LrHSI X 和 LrMSI Z 获得。因此,从 LrMSI L 1 和 LrHSI X 学习到的频谱上采样模型以及将 HrMSI Y 上采样到 HrHSI Z 的过程是相同的。


然而,现有的光谱-空间降采样模型在应用过程中效果有限。因为它们忽略了真实数据的多样性和复杂性。为此,我们增强了该模型,所提出的模型结构如下。

 第四章

 建议方法


本文提出的模型,如图 Fig. 2 所示,是一种 UDS 2 C 2 融合模型。它结合了一组 LrHSI 和 HrMSI 的信息以获得 HrHSI。其中,输入图像具有相同的覆盖区域。使用增强的频谱-空间下采样模型通过频谱和空间两方面的协同约束将这组图像降级为 LrMSI。然后,在训练阶段,通过生成的 LrMSI 和原始输入 LrHSI 自适应地学习频谱上采样模块。此上采样模块应用于原始输入 HrMSI 以获得融合结果。

Fig. 2. - Illustration of UDS2C2 fusion model.
 图 2。


图示 UDS 2 C 2 融合模型。


为了进一步提高融合结果的准确性,本文采用两阶段训练模型。第一阶段使用较大的学习率和更多的训练次数以获得初步融合结果。第二阶段使用较小的学习率和较少的训练周期以获得更准确的融合结果。


该模型在 LrHSI 和 HrMSI 融合中通常具有较高的准确性和稳定性,可广泛应用于实际应用中。


A. 增强型光谱-空间下采样模型


该模型以 LrHSI XRwh×C 和 HrMSI YRWH×Cm 为输入。此时,光谱数量和 X、Y 的空间分辨率不同,因此我们设计了增强型光谱-空间降采样模型,将 X 和 Y 都转换为 LrMSI。


首先,HrMSI Y 经过空间下采样模块,该模块的物理意义是学习点扩散函数。该模块主要由 n×n SCFConv 组成(关于 SCFConv 的详细介绍,见 Section IV-C )。输入和输出通道的数量为 Cm ,并保持图像通道数不变。步长参数也设置为 n,其中 n=W/w=H/h 代表 LrHSI 和 HrMSI 空间维度差异的倍数。


为了减少待融合图像之间的辐射差异,本文在空间下采样模块中添加了 GCE 模块。GCE 模块的一些卷积核是 SCFConv,并采用分组卷积,分组参数 group 设置为 Cm 。分组卷积将特征分为几个组,在每个组内独立进行卷积,然后将所有结果拼接在一起。分组卷积可以有效地减少模型的计算量和参数量,从而提高模型性能。


GCE 模块主要由三层组成,每层的输入通道、输出通道和组参数分别用 Cm 表示。第一层和第三层结构相同,卷积核大小为 1×1 ,无填充。第二层卷积核大小为 3×3 SCFConv,填充为 1。GCE 模块通过映射变换进一步优化下采样过程,以减少辐射差异并获得更精确的 LrMSI。


利用动态 CNN 强大的特征提取能力,我们可以得到 LrMSI Yl1Rwh×Cm ,其空间维度为 (w,h) ,如下所示:

Yl1=PY.(6)
View SourceRight-click on figure for MathML and additional features. 其中, PRwh×WH 是空间下采样模块和 GCE。


在另一方面,LrHSI X 经过光谱下采样模块。该模块的物理意义是学习 SRF。该模块主要由许多 1×1 卷积组成。 1×1 卷积的主要作用是减少输入图像的通道数。逐渐地,LrHSI 中的某些波段被下采样到一条波段。该模块的设计理念主要来源于 SRF,用于说明卫星传感器的光学特性,与卫星传感器的结构和材料等相关。它通常在发射前通过远程传感器的实验室光谱校准获得。


在经过光谱下采样模块后获得的 LrMSI Yl2Rwh×Cm 。过程如下:

Yl2=XS.(7)
View SourceRight-click on figure for MathML and additional features. 其中, SRC×Cm 是光谱下采样模块。


上述为本文提出的增强型光谱-空间下采样模型的结构,采用 L1 -范数损失作为 LrMSI Y l1 和 Y l2 损失函数,以完成模型的训练如下:

 Loss1(Yl1,Yl2)=1whsCmYl1Yl21.(8)
View SourceRight-click on figure for MathML and additional features.

 B. 频谱上采样


基于增强的时频降采样模型,获得了一组更精确的 LrMSI Y l1 和 Y l2 ,其 LrHSI X 和 HrMSI Y 覆盖的面积与输入相同,且模型参数也被学习。


在此阶段,LrMSI Yl1Rwh×Cm 和 LrHSI XRwh×C 的空间维度和分辨率相同,只是通道数不同。因此,本文设计了光谱上采样模块。该模块由多个 1×1 卷积核组成,核的数量由 Cm 和 C 决定。第一层卷积允许 Cm 升至 2Cm ,第二层卷积允许 2Cm 升至 4Cm ,依此类推,直到 LrMSI Y l1 的通道数接近 C。卷积层的输出通道数设置为 C。通过这种方式逐渐增加通道数,从 Cm 通道学习参数到 C 通道,效果更好。


Y l1 经过光谱上采样模块得到 XRwh×C ,并使用 L1 范数损失作为 X 和 X 损失函数来完成模型的训练。具体过程如下:

XLoss2(X,X)=SpecUp(Yl1)=1whCXX1(9)(10)
View SourceRight-click on figure for MathML and additional features. 其中 SpecUp 代表光谱上采样模块。


所提出的方法是一种基于待融合数据集的无监督深度学习融合模型。它分为两个阶段进行训练,采用不同的学习率和学习轮次。该方法自适应地学习增强的频谱-空间下采样模型和针对该数据集的频谱上采样模块。最后,将频谱上采样模块应用于 HrMSI YRWH×Cm 作为输入,通过增加 Y-C 通道的数量获得所需的融合结果 HrHSI ZRWH×C 。具体过程如下:

Z=SpecUp(Y).(11)
View SourceRight-click on figure for MathML and additional features.

C. SCFConv


本文提出了一种基于 ODConv 的动态卷积核,称为 SCFConv。它采用 3D 注意力机制和并行策略。能够在核空间中学习卷积核在空间维度、通道维度和滤波器维度的互补注意力。在本文中,我们重新组织了动态卷积的结构,以实现多 GPU 上的训练。


一个常规卷积层仅由单个卷积核组成,用于从输入中提取特征。对于动态卷积,需要使用多个卷积核的线性组合。这些核通过注意力机制动态加权,使得卷积操作依赖于输入。动态卷积的定义可以表述如下:

y=(αw1W1++αwnWn)x(12)
View SourceRight-click on figure for MathML and additional features. 其中输入 x 的维度为 w×h×cin ,输出 y 的维度为 w×h×coutW 是滤波器权重,一个卷积层由 cout 个滤波器组成, Wi 是第 i 个滤波器权重,其维度为 k×k×cinα 是注意力因子。


ODConv 使用与 SE 在注意力函数 πwi(x) 结构上相似的注意力模块。ODConv 采用多核分支来计算空间维度、输入通道、输出通道和多个卷积核之间的注意力。相反,虽然多核分支中的核数增加了模型的最终表示,但也极大地增加了模型的参数数量。当核数设置为 4 时,整个模型的参数数量接近原始数量的四倍,这降低了模型的速度。


我们通过使用类似于 ODConv 的分割头注意力结构来改进普通卷积核。用于计算 3-D 注意力因子 αwiπwi(x) 结构如图 Fig. 3 所示。

Fig. 3. - Structure of 
$\pi _{wi}(x)$
 for computing 3-D attention factor.
 图 3


结构 πwi(x) 用于计算 3-D 注意力因子。


输入特征 xRw×h×cin ,在空间维度上通过全局平均池化层,然后通过一个将 x 的通道数减少到原始 1/16 的 1×1 卷积层。接着,通过 ReLU 激活函数计算 SE 权重之前的特征 fR1×1×cin/16 。最后,计算出的 SE 权重在经过 1×1 卷积层和 sigmoid 激活函数后分为三个分支,以计算空间注意力因子 αsiR1×1×k 、通道注意力因子 αciR1×1×cin 和滤波器注意力因子 αfiR1×1×cout ,其中 k 表示普通卷积核的核大小, cin 表示输入通道数, cout 表示输出通道数。最终得到的注意力因子 α 与对应维度的卷积核进行 Hadamard 积。SCFConv 的结构如图 Fig. 4 所示。

Fig. 4. - Three-dimensional dynamic convolution kernel (SCFConv).
 图 4


三维动态卷积核(SCFConv)。


对于轻量级网络模型,当其深度无法扩展时,可以通过替换现有的卷积操作为 SCFConv 来提升其性能。

 第五章

 实验结果


首先,本节描述了实验中使用的设备配置,包括硬件和软件环境的详细描述。其次,介绍了本文中使用的仿真数据集以及该团队处理和生成的真实机载数据集。最后,在相同的评估指标下,比较了提出的方法和当前最先进的方法。通过这些比较,证明了本文提出的融合模型在 LrHSI 和 HrMSI 融合方面显著优于其他方法。

 A. 实验设置


1) 实施细节:


所提出的融合方法在 PyTorch 1.10.1 和 Python 3.7.11 上实现。梯度下降算法使用 Adam 进行训练。在第一阶段,学习率和训练轮数分别设置为 0.001 和 30,000。在第二阶段,学习率和训练轮数分别设置为 0.00006 和 1,000。训练环境中的处理器为第 11 代 Intel Core i7-11700,显示适配器为 NVIDIA GeForce RTX 3060。

 2) 数据集:


为了验证所提模型的一般化,实验不仅在对 Ht18 模拟数据集上执行,还针对 ZY-1(02D)的两个视角的实际机载数据集进行。这样做是为了展示所提方法的有效性和优势。我们团队为面向分类应用验证生产了相应的高空间分辨率地面真实参考图像。

 a) Ht18:


本文的模拟实验基于 Houston2018 数据集,该数据集包含 48 个波段,覆盖 380 至 1050 nm 的波长范围,具有 1 m 的高空间分辨率。考虑到原始数据的大空间范围,本文使用大小为 240×240 的数据区域以方便处理。去除带有噪声的两个波段以模拟 HrHSI,称为 Ht18。Ht18 的维度为(240,240,46),并将其用作融合结果的参考图像。


为了进行实验,本文使用 Worldview 2 的 SRF 对 Ht18 进行光谱降采样,获得一个维度为(240,240,8)的 HrMSI。同时,应用高斯滤波并进行空间降采样操作。得到的低空间分辨率 LrHSI 维度为(48,48,46)。数据集如图 Fig. 5 所示。

Fig. 5. - Assumed HrHSI, LrHSI, and HrMSI after degenerate module processing for Ht18. (a) HrHSI. (b) LrHSI. (c) HrMSI.
 图 5


假设经过退化模块处理后的 Ht18 的 HrHSI、LrHSI 和 HrMSI。(a)HrHSI。(b)LrHSI。(c)HrMSI。

b) ZY-1(02D)


ZY-1(02D)卫星是中国的一颗遥感卫星,于 2019 年 12 月 7 日成功发射。该卫星携带高光谱载荷和多光谱载荷,能够在同一场景下获取高光谱和多光谱图像。高光谱载荷主要由一颗地球同步高光谱成像仪组成,能够获取高分辨率连续光谱遥感数据。该载荷可在 400 nm 至 2500 m 的波段范围内执行 LrHSI,包括 76 个可见光和红外波段以及 90 个短波红外波段,共计 166 个波段,空间分辨率为 30 m,宽度为 60 km。多光谱载荷主要由一个三条线阵列的多光谱相机组成,覆盖从 452 nm 至 1047 nm 的八个波段,与高光谱分辨率相比,具有更高的空间分辨率(10 m)和 115 km 的宽度。


对 ZY-1(02D)的两组原始数据进行了预处理,包括辐射定标、大气校正、对齐和裁剪。获得了两组数据,分别为辽宁-01(简称 LN01)和辽宁-02(简称 LN02),用于融合实验。我们还获得了相应的分类地面真值(10 米)(可在 https://drive.google.com/drive/folders/1JLCCB6ld5R49HDLN5SsMISx1d0fuqRjO 获取)。


LN01:如图 Fig. 6 所示,该区域位于辽宁省大连市金普新区西北部,坐标为 12150.49 E 和 3921.98 N。这些数据的 LrHSI 维度为(300,300,166),HrMSI 维度为(900,900,8)。该区域的土地覆盖类别包括水库、海水、沙土、断桥、荒草、裸土、公路、铁路、山地植被和耕地。

Fig. 6. - LN01 and LN02 datasets and the corresponding 10-m spatial resolution GT. (a) LN01 HrMSI, (b) LN01 LrHSI, (c) LN01 10 m GT, (d) LN02 HrMSI, (e) LN02 LrHSI, and (f) LN02 10-m GT.
 图 6


LN01 和 LN02 数据集及相应的 10 米空间分辨率 GT。(a)LN01 高分辨率多光谱成像仪,(b)LN01 低分辨率高光谱成像仪,(c)LN01 10 米地面真值,(d)LN02 高分辨率多光谱成像仪,(e)LN02 低分辨率高光谱成像仪,和(f)LN02 10 米地面真值。


LN02:如图 Fig. 6 所示,该区域位于辽宁省盘锦市辽河入海口湿地,坐标为 12146.41 E 和 4056.17 N。这些数据的 LrHSI 维度为(512,512,144),HrMSI 维度为(1536,1536,8)。该区域的土地覆盖类别包括辽河、芦苇、稻田、碱蓬、潮间带泥滩、芦苇塘、建设用地、水产养殖池塘和工业用地。

 B. 比较方法


为了评估所提方法的有效性,本文选取了最先进的方法进行对比,使用相同的数据集。对比方法包括传统方法如 GSA [26] 、FUSE [42] 、CNMF [20] 和 IR-TenSR [43] 。近年来还发展了基于无监督深度学习的融合方法,如 SURE [44] 、SURE-ERGAS [45] 、UDALN [38] 、UMC2FF [46] 和 M2U-Net [47] 。同时,为了展示 GCE 模块在所提融合模型中的作用,本文在实验消融比较中从模型中移除了 GCE 模块。


C. 模拟数据的质量指标


为了全面比较不同融合方法的表现,本文采用六个指标来评估融合结果。这些指标包括光谱角映射器(SAM)、峰值信噪比(PSNR)、合成相对无量纲全局误差(ERGAS)、 Q2n 、均方根误差(RMSE)和结构相似性指数(SSIM)。


A 和 B 分别代表融合结果和参考图像,SAM 度量通常用于衡量融合结果的光谱与参考图像光谱之间的相似度,定义为

 SAM(A,B)=1Mj=1MarcosAjBjAj2Bj2(13)
View SourceRight-click on figure for MathML and additional features. ,其中 M 代表光谱的图像元素数量, 表示两个向量的内积。SAM 越小,融合效果越好。


均方根误差(RMSE)是一个相对常见的评估指标,定义为

 RMSE(A,B)=AB2FN(14)
View SourceRight-click on figure for MathML and additional features. ,其中 N 代表图像元素的数量。


PSNR 用于评估融合图像的质量以及原始信息的保留程度,计算方法如下:

 PSNR(A,B)=20log255RMSE(A,B).(15)
View SourceRight-click on figure for MathML and additional features.


ERGAS 主要考虑融合图像的空间分辨率和光谱保真度之间的权衡,其计算如下:

 ERGAS(A,B)=100d1Si=1S(RMSE(Ai,Bi)μ(Bi))2(16)
View SourceRight-click on figure for MathML and additional features. 其中 d 是空间子采样因子, μ 表示图像均值。


SSIM 比较图像的结构、亮度和对比度等特征之间的相似性。它可以有效地评估融合图像与参考图像之间的差异程度。这是通过以下公式计算的:

 SSIM(A,B)=1Ei=1E(2 μiAμiB)(2σiAiB+C2)(μ2iA+μ2iB+C1)(σ2iA+σ2iB+C2)(17)
View SourceRight-click on figure for MathML and additional features. 其中 E 表示图像波段数; μiAμiB 分别代表 A 和 B 的平均值; σ2iAσ2iB 分别代表 A 和 B 的方差; σiAiB 代表 A 和 B 之间的协方差; C1C2 是两个常数。


Q2n 是一种利用超复数对 LrHSI 进行图像质量评估的指数,是 Q4 指数的扩展。它是通用图像质量指数(UIQI) [49] 的一种推广。UIQI 计算参考图像波段(x)与其对应的目标图像波段(y)之间的相似度,计算公式如下:

Q(x,y)=4σxyx¯y¯(σ2x+σ2y)(x¯2+y¯2)(18)
View SourceRight-click on figure for MathML and additional features. 其中 x¯y¯ 分别是 x 和 y 的均值; σ2xσ2y 分别是 x 和 y 的方差; σxy 是 x 和 y 之间的协方差。


UIQI 可以被定义为

Q(x,y)=σxyσxσy2x¯y¯x¯2+y¯22σxσyσ2x+σ2y.(19)
View SourceRight-click on figure for MathML and additional features.


UIQI 测量单色图像的相关性、亮度失真和对比度失真,而 Q4 指数将每个像素向量建模为四元数以克服这一限制并考虑四通道图像的频谱失真。 Q2n 通过将每个像素频谱建模为超复数,特别是 2n-ons,扩展了 Q4 指数。2n-ons 的计算如下:

xj=xj,0+xj,1i1+xj,2i2++xn1j,2in12.(20)
View SourceRight-click on figure for MathML and additional features.


D. 真实数据的质量指标


对于实际在船数据,本文采用了一种面向应用的分类评估。具体来说,分类结果的评估指标是总体准确率(OA)和类别特定准确率(CA);其中,OA 是分类器对所有类别的准确率,计算为正确分类样本数与总样本数的比率,具体公式如下:

 OA=i=1KYi/i=1KNi(21)
View SourceRight-click on figure for MathML and additional features. 其中 Yi 表示类别 i 正确分类的样本数, Ni 表示类别 i 中的总样本数,K 是类别总数。


CA 表示每个类别正确分类的准确性,具体可以表示为

 CA=Yi/Ni.(22)
View SourceRight-click on figure for MathML and additional features.


E. 模拟数据结果


由于模拟数据中存在参考图像,本文首先通过计算融合结果与 Ht18 验证结果之间的指标来比较融合方法。在 Ht18 数据集上,经典传统方法和最先进的无监督深度学习融合方法的评估指标结果在 Table I 中展示。其中,最佳结果被加粗以表明本文提出的模型在几乎所有指标上均取得了优异的结果。其中,Ours GCE 是本文提出的通过移除 GCE 模块来展示 GCE 模块作用的融合模型。从实验性能可以看出,添加了 GCE 模块的模型对 PSNR 指标有显著影响,而在 SAM 上的性能几乎相同。


表 I 不同方法融合方法在 Ht18 数据集上的定量评估及消融实验。最佳结果加粗显示
Table I- Quantitative Evaluation of Different Methodological Fusion Approaches and Ablation Experiment on the Ht18 Dataset. The Best Results are Bolded


此外,本文使用相同的评估指标来评估增强的频谱-空间下采样模型。由于模拟数据的输入图像是人为退化的,LrMSI 的参考图像也可以以相同的方式进行进一步的人为退化。然后,该参考图像被用作验证来评估频谱-空间下采样模型的表现。具体的定量比较显示在 Table II 。我们的 GS 基于去除 GCE 并用普通静态卷积替换 SCFConv。通过替换卷积核为 SCFConv 而不修改模型,PSNR 提高了大约 3%。此外,添加 GCE 模块大大提高了频谱-空间下采样模型。这种改进主要归因于 GCE 模块进一步消除了要融合的图像之间的辐射差异,并实现了更好的退化效果。


表 II SCFConv 和 GCE 模块在光谱-空间下采样模型作用下的定量性能。最佳结果加粗显示
Table II- Quantitative Performance of SCFConv and GCE Modules on the Role of Spectral-Spatial Downsampled Model. The Best Results are Bolded


为了提供可视化和定性的比较, Fig. 7 展示了在 Ht18 数据集上通过不同融合方法获得的融合结果的地面真实(GT)和真彩色图像。第一行和第三行分别显示了 GT 和真彩色图像,而第二行和第四行分别显示了每个结果的 GT 和残差图。很明显,本文提出的方法与 GT 残差图非常接近,证明了空间和光谱细节的最佳恢复以及良好的融合性能。

Fig. 7. - First and third rows show the true color fusion results of the Ht18 dataset under different methods. The second and fourth rows show the residuals corresponding to each fusion result. (a) GT, (b) GSA, (c) FUSE, (d) CNMF, (e) SURE, (f) IR-TenSR, (g) SURE-ERGAS, (h) UDALN, (i) UMC2FF, (j) M2U-Net, (k) UDS2-C
$^{2}\backslash $
GCE, and (l) UDS2C2.
Fig. 7.

First and third rows show the true color fusion results of the Ht18 dataset under different methods. The second and fourth rows show the residuals corresponding to each fusion result. (a) GT, (b) GSA, (c) FUSE, (d) CNMF, (e) SURE, (f) IR-TenSR, (g) SURE-ERGAS, (h) UDALN, (i) UMC2FF, (j) M2U-Net, (k) UDS2-C2 GCE, and (l) UDS2C2.

F. Results on the Real Data

Figs. 8 and 9 show the results of the HrHSI obtained using the fusion proposed method for LN01 and LN02, respectively. The fusion results are basically the same color as the input data, indicating that no spectral distortion occurs in the results. The spatial texture features also maintain a good effect. In order to evaluate the model’s performance more intuitively, we compared the spectra of typical features in the fusion results of LN01 and LN02 with their corresponding LrHSI. The line graph shows that the spectral curves of the features in the two images are largely similar, suggesting that the proposed method achieves a better spectral reconstruction effect.

Fig. 8. - LN01 fusion results and spectral comparison with LrHSI. (a) LN01 fusion result (HrHSI), (b) LN01 LrHSI typic feature spectra, and (c) LN01 HrHSI typic feature spectra.
Fig. 8.

LN01 fusion results and spectral comparison with LrHSI. (a) LN01 fusion result (HrHSI), (b) LN01 LrHSI typic feature spectra, and (c) LN01 HrHSI typic feature spectra.

Fig. 9. - LN02 fusion results and spectral comparison with LrHSI. (a) LN02 fusion result (HrHSI), (b) LN02 LrHSI typic feature spectra, and (c) LN02 HrHSI typic feature spectra.
Fig. 9.

LN02 fusion results and spectral comparison with LrHSI. (a) LN02 fusion result (HrHSI), (b) LN02 LrHSI typic feature spectra, and (c) LN02 HrHSI typic feature spectra.

In order to quantitatively evaluate the performance of different fusion methods on real data, this article applies the traditional method FUSE and the unsupervised methods UDALN and UDS2C2 to the real data LN01 and LN02 to obtain the corresponding fusion results. In this article, the two sets of real data and their fusion results are compared and analyzed using the deep learning-based classification method 3DCNN [50] and the traditional classification method random forest [51], respectively. In addition, the reference classification GT for LrHSI is obtained by downsampling the high spatial resolution GT.


根据 LN01 和 LN02 数据集样本大小的特点,分别选取了 LN01 相关数据和 LN02 相关数据的 5%和 0.5%作为实验的训练样本。最终,得到整个图的对应分类结果图和分类准确率,如图 Figs. 1011 ,以及 Tables IIIIV 所示。


表 III LN01 数据集在 3DCNN 下不同比较数据的定量分类性能
Table III- Quantitative Classification Performance of Different Comparison Data of LN01 Dataset Under 3DCNN

表 IV LN02 数据集在随机森林下不同比较数据的定量分类性能
Table IV- Quantitative Classification Performance of Different Comparison Data of LN02 Dataset Under Random Forest
Fig. 10. - 10- and 30-m spatial resolution LN01 GT, classification results of LN01 fusion HrHSI, LrHSI, and HrMSI under 3DCNN. (a) HrMSI (88.68%), (b) HrHSI(FUSE) (92.69%), (c) HrHSI(UDALN) (93.13%), (d) HrHSI(UDS2C2) (93.72%), (e) LrHSI (89.78%), and (f) category information.
 图 10


10-和 30 米空间分辨率 LN01 GT,LN01 融合 HrHSI、LrHSI 和 HrMSI 在 3DCNN 下的分类结果。(a)HrMSI(88.68%),(b)HrHSI(FUSE)(92.69%),(c)HrHSI(UDALN)(93.13%),(d)HrHSI(UDS 2 C 2 )(93.72%),(e)LrHSI(89.78%),(f)类别信息。

Fig. 11. - 10- and 30-m spatial resolution LN02 GT, classification results of LN02 fusion HrHSI, LrHSI, and HrMSI under random forest. (a) HrMSI (96.27%), (b) HrHSI(FUSE) (96.71%), (c) HrHSI(UDALN) (96.91%), (d) HrHSI(UDS2C2) (97.56%), (e) LrHSI (96.37%), and (f) category information.
 图 11。


10-和 30 米空间分辨率 LN02 GT,LN02 融合 HrHSI、LrHSI 和 HrMSI 在随机森林下的分类结果。(a)HrMSI(96.27%),(b)HrHSI(FUSE)(96.71%),(c)HrHSI(UDALN)(96.91%),(d)HrHSI(UDS 2 C 2 )(97.56%),(e)LrHSI(96.37%),(f)类别信息。


对于 LN01 数据集,以下条件成立。


  1. LN01 LrHSI 和 HrMSI 实现了令人满意的分类性能,证明了我们团队产生的数据集和 GT 的可行性。


  2. 然而,LrHSI 的分类结果图由于空间分辨率低而模糊,而 HrMSI 的分类精度由于光谱信息不足而低于其他融合结果。


  3. 通过比较不同的融合结果,所提出的方法在整体准确率上取得了优势,尤其是在荒草、高速公路、铁路和山地植被等类别上,这证明了该方法在真实数据上的有效性。


对于 LN02 数据集,与 LN01 数据集的分类结果相似,所提出的方法在整体准确率上具有优势,尤其是在辽河、芦苇、稻田和芦苇塘等类别上。此外,如图 Fig. 11 所示,对每个分类图的局部放大显示,UDS 2 C 2 (HrHSI)的分类结果与实际特征分布更为一致。

 第六节

 结论


本文提出了一种用于高光谱图像融合任务的 UDS 2 C 2 模型。该方法的主要贡献是通过引入注意力机制设计了一个 3-D 动态卷积核,从而提高了模型的整体特征提取能力。此外,还设计了四个模块用于融合任务,并设计了消融实验以证明分组卷积增强(GCE)模块的作用。GCE 模块通过减少图像间的辐射差异,显著提高了退化性能。最后,由于缺乏真实数据的评估方法,本文设计了针对分类应用的融合方法评估实验。该方法在模拟数据和真实数据上均取得了优异的性能,证明了所提出方法的泛化能力。

Author image of Haoyang Yu

中心遥感高光谱成像(CHIRS),信息科学与技术学院,大连海事大学,大连,中国
Haoyang Yu (Member, IEEE) received the B.S. degree in information and computing science from Northeastern University, Shenyang, China, in 2013, and the Ph.D. degree in cartography and geographic information system from the Key Laboratory of Digital Earth Science, Aerospace Information Research Institute, Chinese Academy of Sciences (CAS), Beijing, China, in 2019.
He is currently an Associate Professor with the Center of Hyperspectral Imaging in Remote Sensing (CHIRS), Information Science and Technology College, Dalian Maritime University, Dalian, China. His research focuses on models and algorithms for hyperspectral image processing, analysis, and applications.
Haoyang Yu (Member, IEEE) received the B.S. degree in information and computing science from Northeastern University, Shenyang, China, in 2013, and the Ph.D. degree in cartography and geographic information system from the Key Laboratory of Digital Earth Science, Aerospace Information Research Institute, Chinese Academy of Sciences (CAS), Beijing, China, in 2019.
He is currently an Associate Professor with the Center of Hyperspectral Imaging in Remote Sensing (CHIRS), Information Science and Technology College, Dalian Maritime University, Dalian, China. His research focuses on models and algorithms for hyperspectral image processing, analysis, and applications.View more
Author image of Zhixin Ling

中心遥感高光谱成像(CHIRS),信息科学与技术学院,大连海事大学,大连,中国

李志欣于 2021 年在中国长春科技大学获得软件工程学士学位,2024 年在中国大连海事大学获得计算机技术硕士学位。

他的研究专注于高光谱和多光谱图像融合。
Zhixin Ling received the B.S. degree in software engineering from Changchun University of Science and Technology, Changchun, China, in 2021, and the M.S. degree in computer technology from Dalian Maritime University, Dalian, China, in 2024.
His research focuses on hyperspectral and multispectral image fusion.View more
Author image of Ke Zheng

地理与环境学院,聊城大学,聊城,中国

2012 年,郑克在中国农业大学(泰安)获得地理信息系统学士学位;2016 年和 2020 年,分别在中国矿业大学(北京)地球科学与测绘工程学院获得遥感硕士学位和博士学位。
He spent two years as a Post-Doctoral Associate at the Key Laboratory of Digital Earth Science, Aerospace Information Research Institute, Chinese Academy of Science, Beijing. He is currently an Instructor at the College of Geography and Environment, Liaocheng University, Liaocheng, Shandong, China. His research interests include image processing, machine learning, and deep learning and their application in Earth vision.
Ke Zheng received the B.S. degree in geographic information systems from Shandong Agricultural University, Taian, China, in 2012, and the M.S. and Ph.D. degrees in remote sensing from the College of Geosciences and Surveying Engineering, China University of Mining and Technology (Beijing), Beijing, China, in 2016 and 2020, respectively.
He spent two years as a Post-Doctoral Associate at the Key Laboratory of Digital Earth Science, Aerospace Information Research Institute, Chinese Academy of Science, Beijing. He is currently an Instructor at the College of Geography and Environment, Liaocheng University, Liaocheng, Shandong, China. His research interests include image processing, machine learning, and deep learning and their application in Earth vision.View more
Author image of Lianru Gao
Center of Hyperspectral Imaging in Remote Sensing (CHIRS), Information Science and Technology College, Dalian Maritime University, Dalian, China
Key Laboratory of Computational Optical Imaging Technology, Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing, China
Lianru Gao (Senior Member, IEEE) received the B.S. degree in civil engineering from Tsinghua University, Beijing, China, in 2002, and the Ph.D. degree in cartography and geographic information system from the Institute of Remote Sensing Applications, Chinese Academy of Sciences (CAS), Beijing, in 2007.

他在 2014 年担任西班牙埃斯特雷马杜拉大学(Cáceres)的访问学者,2016 年担任美国密西西比州立大学(Starkville,MS)的访问学者。他目前是中国科学院空间信息与数字技术研究所计算光学成像技术重点实验室的教授。在过去十年中,他主持了十个国家级和省部级科研项目,包括国家自然科学基金项目(2018–2020,2022–2025,2024–2028)和中国国家重点研发计划项目(2021–2025)。他发表了 240 多篇同行评审论文,其中 150 多篇被科学引文索引(SCI)收录。他获得了 30 项中国国家发明专利。他在 2023 年获得了中国国家自然科学基金优秀青年科学基金资助。他合著了三本学术著作,包括《高光谱图像信息提取》。他的研究重点在于高光谱图像处理和信息提取。

高博士是英国工程技术学会会员。他于 2016 年获得中国工程院颁发的杰出科学技术成就奖,并于 2018 年荣获国家科学技术进步奖二等奖。他于 2021 年从 IEEE 超光谱图像处理:遥感演变(WHISPERS)研讨会获得优秀论文奖。他还是 IEEE 地球科学与遥感学报和 IET 图像处理杂志的副主编。
Lianru Gao (Senior Member, IEEE) received the B.S. degree in civil engineering from Tsinghua University, Beijing, China, in 2002, and the Ph.D. degree in cartography and geographic information system from the Institute of Remote Sensing Applications, Chinese Academy of Sciences (CAS), Beijing, in 2007.
He was a Visiting Scholar at the University of Extremadura, Cáceres, Spain, in 2014, and Mississippi State University (MSU), Starkville, MS, USA, in 2016. He is currently a Professor with the Key Laboratory of Computational Optical Imaging Technology, Aerospace Information Research Institute, CAS. In the last ten years, he was the PI of ten scientific research projects at national and ministerial levels, including projects by the National Natural Science Foundation of China (2018–2020, 2022–2025, and 2024–2028) and the National Key Research and Development Program of China (2021–2025). He has published more than 240 peer-reviewed papers, and there are more than 150 journal articles included by Science Citation Index (SCI). He obtained 30 National Invention Patents in China. He was supported by the National Science Foundation for Distinguished Young Scholars of China in 2023. He has co-authored three Academic Books, including “Hyperspectral Image Information Extraction.” His research focuses on hyperspectral image processing and information extraction.
Dr. Gao is a fellow of the Institution of Engineering and Technology. He was awarded the Outstanding Science and Technology Achievement Prize of the CAS in 2016 and won the Second Prize of The State Scientific and Technological Progress Award in 2018. He received the 2021 Outstanding Paper Award from the IEEE Workshop on Hyperspectral Image Processing: Evolution in Remote Sensing (WHISPERS). He is an Associate Editor of IEEE Transactions on Geoscience and Remote Sensing and IET Image Processing.View more
Author image of Jiaxin Li

关键实验室,计算光学成像技术,航天信息研究院,中国科学院,北京,中国

资源与环境学院,中国科学院大学,北京,中国

李佳欣(IEEE 学生会员)于 2020 年获得重庆大学,重庆,中国工学学士学位。他目前在北京中国科学院空间信息与数字技术研究所,重点实验室——计算光学成像技术实验室攻读地图学与地理信息系统博士学位。

他已在 Google Scholar 上发表了超过十篇同行评审论文,总引用量超过 500 次,其中包括四篇 ESI 高被引论文。他的研究兴趣包括多模态遥感数据融合、高光谱图像处理和深度学习。更多信息可在 GitHub 上找到:https://github.com/JiaxinLiCAS。

李博士于 2023 年获得国家博士研究生奖学金,2024 年获得校长研究生奖学金,并在 2023 年国际遥感、测绘和地理信息系统会议上获得优秀论文奖。他担任过超过十种期刊的审稿人。
Jiaxin Li (Student Member, IEEE) received the B.E. degree from Chongqing University, Chongqing, China, in 2020. He is currently pursuing the Ph.D. degree in cartography and geographic information system with the Key Laboratory of Computational Optical Imaging Technology, Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing, China.
He has published over ten peer-reviewed papers with more than 500 citations in Google Scholar, including four ESI Highly Cited Papers. His research interests include multimodal remote sensing data fusion, hyperspectral image processing, and deep learning. More information can be found at GitHub: https://github.com/JiaxinLiCAS.
Dr. Li received the National Scholarship for Doctoral Students in 2023, the President Scholarship for Postgraduate Students in 2024, and the Excellent PAPERS Award from the 2023 International Conference on Remote Sensing, Mapping and Geographic Information Systems. He served as a reviewer for over ten journals.View more
Author image of Jocelyn Chanussot

法国国家科学研究中心(CNRS)、格勒诺布尔理工学院(格勒诺布尔 INP)、GIPSA-Lab、格勒诺布尔阿尔卑斯大学、格勒诺布尔,法国

航天信息研究所,中国科学院,北京,中国

乔斯林·沙努索(IEEE 会员)于 1995 年在法国格勒诺布尔理工学院(格勒诺布尔 INP)获得电气工程硕士学位,1998 年在法国萨瓦大学(安讷西)获得博士学位。

从 1999 年至 2023 年,他在格勒诺布尔国立理工学院工作,担任信号与图像处理教授。他曾在斯坦福大学(美国加利福尼亚州斯坦福市)、瑞典斯德哥尔摩的 KTH、新加坡的 NUS 任客座学者。自 2013 年以来,他担任冰岛大学(雷克雅未克,冰岛)的兼职教授。2015 年至 2017 年,他在美国加利福尼亚州洛杉矶的加州大学洛杉矶分校(UCLA)任客座教授。他担任 AXA 遥感讲座教授和中国科学院航天信息研究所的兼职教授,地点在北京,中国。他目前是法国国家信息与自动化研究所(INRIA)格勒诺布尔的研究总监。他的研究兴趣包括图像分析、高光谱遥感、数据融合、机器学习和人工智能。

陈纳斯托博士是 ELLISS 和亚太人工智能协会会员,以及法国大学研究所(2012-2017)成员。他是 2007 年至 2010 年 IEEE 地球科学和遥感法国分会的创始主席,该分会获得了 2010 年 IEEE GRS-S 分会卓越奖。他获得了多个杰出论文奖。他是 2017 年至 2019 年 IEEE 地球科学和遥感学会的副会长,负责会议和研讨会。他是第一届 IEEE GRSS 超光谱图像和信号处理、遥感演变(WHISPERS)研讨会的大会主席。他是 2009 年至 2011 年的主席和 2005 年至 2008 年的共同主席,负责 GRS 数据融合技术委员会。他是信号处理学会机器学习信号处理技术委员会的成员(2006-2008)以及 2009 年 IEEE 国际机器学习信号处理研讨会的程序主席。自 2018 年以来,他一直是高被引研究者(Clarivate Analytics/Thomson Reuters)。 他于 2011 年至 2015 年担任 IEEE《应用地球观测与遥感选刊》的主编。2014 年,他担任了 IEEE《信号处理》杂志的客座编辑。他是 IEEE《地球科学与遥感学报》、IEEE《图像处理学报》和 IEEE《会议录》的副主编。
Jocelyn Chanussot (Fellow, IEEE) received the M.Sc. degree in electrical engineering from Grenoble Institute of Technology (Grenoble INP), Grenoble, France, in 1995, and the Ph.D. degree from the Université de Savoie, Annecy, France, in 1998.
From 1999 to 2023, he was with Grenoble INP, where he was a Professor of signal and image processing. He was a Visiting Scholar at Stanford University, Stanford, CA, USA, KTH, Stockholm, Sweden, and NUS, Singapore. Since 2013, he has been an Adjunct Professor at the University of Iceland, Reykjavik, Iceland. From 2015 to 2017, he was a Visiting Professor at the University of California at Los Angeles (UCLA), Los Angeles, CA, USA. He holds the AXA Chair in remote sensing and an Adjunct Professor at the Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing, China. He is currently the Research Director of INRIA, Grenoble. His research interests include image analysis, hyperspectral remote sensing, data fusion, machine learning, and artificial intelligence.
Dr. Chanussot is a fellow of ELLIS and Asia-Pacific Artificial Intelligence Association and a member of the Institut Universitaire de France (2012–2017). He was the founding President of the IEEE Geoscience and Remote Sensing French Chapter from 2007 to 2010) which received the 2010 IEEE GRS-S Chapter Excellence Award. He received multiple outstanding paper awards. He was the Vice-President of the IEEE Geoscience and Remote Sensing Society, in charge of meetings and symposia from 2017 to 2019. He was the General Chair of the first IEEE GRSS Workshop on Hyperspectral Image and Signal Processing, Evolution in Remote Sensing (WHISPERS). He was the Chair from 2009 to 2011 and the Co-Chair from 2005 to 2008 of the GRS Data Fusion Technical Committee. He was a member of the Machine Learning for Signal Processing Technical Committee of the Signal Processing Society from 2006 to 2008 and the Program Chair of the IEEE International Workshop on Machine Learning for Signal Processing in 2009. He has been a Highly Cited Researcher (Clarivate Analytics/Thomson Reuters since 2018). He was the Editor-in-Chief of IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing from 2011 to 2015. In 2014, he served as a Guest Editor for IEEE Signal Processing Magazine. He is an Associate Editor of IEEE Transactions on Geoscience and Remote Sensing, IEEE Transactions on Image Processing, and IEEE Proceedings.View more

References

References is not available for this document.