Skip to main content

State-aware Compositional Learning towards Unbiased Training for Scene Graph Generation

Motivation​

  1. 对于 SGG 会产生 biased prediction 的现象探究还不够
  2. 发掘真正影响 SGG 的因素

Introduction​

模型不能过多地依赖 object identity feature，否则就会产生更大的 biased prediction。主要把 object class feature 分解成表示其类别和其状态（ relation 的内在特征）

Methods​

解耦的目的是？能够预测出相似类别的物体，能够建模出更加具体的 relation。

Conclusions​

Visual Feature 对 SGG 模型的影响不大，去除 Visual Feature 后 SGG 模型的 performance 反而提升。 原因如下：

  • visual feature 包含太多冗余信息
  • object identity embedding 也不是影响 SGG model 的影响因素，对指标没有改变。
  • object identity feature 是影响 SGG model 的 关键因素。