解锁多模态自监督学习！深度解耦常见与独特表示的创新突破

《Decoupling Common and Unique Representations for Multimodal Self-supervised Learning》这篇论文探讨了多模态自监督学习的问题，并提出了一个简单而有效的方法——分离共同和独特的表示（DeCUR）。现有的方法只关注跨模态的共性表示，而忽略了单个模态内的训练和独特的表示。通过在多模态数据中区分内部和外部嵌入，DeCUR可以整合不同模态之间的互补信息。作者在三个常见的多模态场景下进行了实验，并证明了DeCUR的一致改进，无论架构如何，对于多模态和缺失模态的情况都适用。这项工作提供了有价值的见解，并引发了更多对多模态表示隐藏关系的研究兴趣。关键词：自监督学习、多模态表示。

该文提出的 DeCUR 是一个基于 Barlow Twins 的多模态自监督学习框架，用于学习具有不同模态独特表示的嵌入空间。DeCUR 主要包括两个部分：一是将 Barlow Twins 的交叉相关矩阵应用于多模态情况下的损失设计；二是引入可变形注意力模块以增强模型在不同模态中的关注能力。

具体来说，DeCUR 在训练过程中通过计算不同模态之间的交叉相关矩阵来分离共同特征和独特特征，并使用正则化项减少冗余信息。同时，为了解决独特特征的随机性和无关性问题，DeCUR 还引入了针对单个模态的内建模学习。此外，DeCUR 还采用了可变形注意力模块，帮助卷积神经网络（CNN）模型关注于不同模态中重要的区域。

与 Barlow Twins 相比，DeCUR 引入了可变形注意力模块和内建模学习，以提高模型在不同模态中的关注能力和独特特征的表征质量。这些改进有助于解决 Barlow Twins 在处理多模态数据时可能遇到的一些问题，如随机性、无关性和泛化性能等。

DeCUR 主要解决了多模态自监督学习中的一些关键问题：

通过引入可变形注意力模块和内建模学习，DeCUR 能够更准确地学习多模态数据的表征，从而提高模型的泛化性能和应用效果。

该文主要介绍了基于自监督学习的多模态表示学习方法DeCUR，并在三个常见的多模态任务上进行了对比实验，包括SAR-optical场景分类、RGB-DEM语义分割和RGB-depth语义分割。以下是每个实验的具体介绍：

5.1 SAR-optical场景分类

该实验预训练了SAR-optical编码器并在BigEarthNet-MM数据集上进行了测试。实验使用了简单的融合策略，将两个模态的编码特征拼接在一起并加上一个分类层进行微平均精度（mAP）评价。实验结果表明，DeCUR在线性探查和细调中均优于现有的跨模态SimCLR-like对比学习方法，在只有1%标签的情况下也能取得更好的性能。与Barlow Twins相比，DeCUR在两种情况下都有显著提高。

5.2 RGB-DEM语义分割

该实验预训练和评估了RGB-DEM编码器，并在GeoNRW数据集上进行了语义分割任务的测试。实验使用了简单的全卷积网络（FCN）作为分割模型，并将最后三层的特征图拼接起来生成预测地图。实验结果表明，DeCUR在所有情况下都比其他方法表现更好，甚至比单模态Barlow Twins也有显著提高。

5.3 RGB-depth语义分割

该实验预训练了RGB-depth编码器，并将其转移到SUN-RGBD和NYU-Depth v2数据集上进行语义分割任务的测试。实验使用了FCN和CMX等不同模型，并对单模态和多模态进行了测试。实验结果表明，DeCUR能够显著提高FCN在SUN-RGBD上的性能，并且能够在不需要调整任何超参数的情况下将CMX的性能从49.7%提高到50.6%。

该部分进行了DeCUR的一些重要组成部分的消融实验，包括变形注意力、损失项和解耦百分比等。实验结果表明，变形注意力和解耦百分比对于DeCUR的性能至关重要，而损失项的不同组合也会对下游任务的表现产生影响。

综上所述，本文通过多个实验证明了DeCUR作为一种有效的多模态表示学习方法，可以在多种多模态任务上取得优异的性能表现。

该论文提出了一种新的多模态自监督学习方法DeCUR，可以同时学习跨模态共同特征和模态独特特征，并在三个常见的多模态场景中进行了广泛实验，证明了其有效性。此外，作者还通过解释性分析展示了DeCUR的一些特点，例如通过计算跨模态对齐损失来验证每个模态的独特信息难以整合到一个公共空间中，以及使用变形注意力模块可视化学到的变形点等。

DeCUR方法的主要创新点在于它能够同时学习跨模态共同特征和模态独特特征，并且不需要预先定义特定的任务或标签。具体来说，该方法使用互相关矩阵计算跨模态对齐损失，以分离不同模态之间的独特信息。此外，DeCUR还引入了变形注意力模块，可以学习到针对每个图像区域的变形点，从而更好地捕捉不同模态之间的差异。

尽管DeCUR已经取得了很好的效果，但它仍然存在一些限制和未来的研究方向。例如，它可以考虑更复杂的多模态情况，其中某些模态可能包含比其他模态更多的独特信息。此外，DeCUR中的最佳维度比例搜索可能会很耗时，在大规模数据集上需要更加高效的策略。最后，未来的探索还可以包括适应性解耦策略和将模态解耦集成到具有多个模态的基础模型中。

关键词： barlow 模态 解耦