广西师范大学学报(自然科学版)

2022, v.40(03) 1-12

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

基于表示学习的跨模态检索方法研究进展
Progress of Cross-modal Retrieval Methods Based on Representation Learning

杜锦丰;王海荣;梁焕;王栋;

摘要(Abstract):

多模态数据的急剧增长带来了跨模态检索的应用需求,促进了对跨模态检索方法的研究。本文追溯该领域最新进展,跟踪并深入研究国内外基于表示学习的跨模态检索方法,对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法,并分析其优缺点。为了分析上述方法的优劣性,实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明:基于统计相关分析方法训练效率较高且易于实施;基于图正则化方法通过挖掘模态内和模态间的相似性,实现语义关联;基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状,为跨模态检索方法研究提供参考。

关键词(KeyWords): 多模态数据;跨模态检索;统计相关分析;图正则化;度量学习

Abstract:

Keywords:

基金项目(Foundation): 宁夏自然科学基金(2020AAC03218);; 宁夏省级培育项目(PY1906);; 宁夏人才项目(KJT2019002)

作者(Authors): 杜锦丰;王海荣;梁焕;王栋;

DOI: 10.16088/j.issn.1001-6600.2021071302

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享