标签的相关性和标签间的视觉距离

  本节利用视觉语言模型,分别计算标签与图像的相关性和标签之间的视觉距离.首先利用数据集来学习每个标签的视觉语言模型,通过该模型表达标签代表的视觉概念(第3.1节).然后结合标签与初始标签集合的共现相似度和标签与图像的视觉相似度,来计算标签与图像的相关性(第3.2节).最后通过两个标签的视觉语言模型间的Jensen-Shannon散度来计算它们之间的视觉距离(第3.3节).3.1标签的视觉语言模型本文使用视觉语言模型(VisualLanguageModel,VLM)[8]来表达标签代表的视觉概念.VLM是对传统的统计语言模型的扩展,用基于图像的视觉词袋(Bag-of-Visual-Words)[9]表示.VLM认为图像中的视觉词在空间上是相互依赖的,相邻视觉词的排列遵守某种视觉语法,而一种视觉概念可以通过特定的视觉语法来表达.

未经允许不得转载:朗前不干胶印刷厂 » 标签的相关性和标签间的视觉距离
分享到: