广西师范大学学报(自然科学版)

2022, v.40(03) 31-39

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

中文多模态知识库构建
Construction of Chinese Multimodal Knowledge Base

晁睿;张坤丽;王佳佳;胡斌;张维聪;韩英杰;昝红英;

摘要(Abstract):

多模态融合旨在将多个模态信息整合以得到一致、公共的模型输出,是多模态领域的一个基本问题。通过多模态信息的融合能获得更全面的特征并且提高模型鲁棒性,目前多模态融合技术已成为多模态领域核心研究课题之一。本文基于ImageNet、HowNet和CCD,通过人工标注构建了一个新的多模态知识库,已完成校准ImageNet中21 455个名词及动词概念的映射,有效地将HowNet以及CCD中概念映射到ImageNet中。该数据集能够应用于自然语言处理任务和计算机视觉任务,并通过图片信息和概念信息提高任务效果。在图片分类中,通过增加HowNet和ImageNet概念能够融合更多的图片特征来辅助分类;在语义理解中,通过映射增加图片信息可以更好地理解语义。

关键词(KeyWords): 多模态信息;多模态融合;ImageNet;HowNet;CCD

Abstract:

Keywords:

基金项目(Foundation): 国家重点研发计划(2017YFB1002101);; 国家社科基金重大项目(17ZDA138);; 国家自然科学基金(62006211);; 河南省科技攻关项目(192102210260);; 河南省高等学校重点科研项目(19A520003,20A520038);; 教育部人文社科规划项目(20YJA740033)

作者(Authors): 晁睿;张坤丽;王佳佳;胡斌;张维聪;韩英杰;昝红英;

DOI: 10.16088/j.issn.1001-6600.2021091504

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享