DA-DETR（论文思路深度解读）

DA-DETR的文章深度解读，解决方案DA-DETR可以使用一级探测器、使用单个鉴别器进行域间对齐网络、引入混合注意力机制确定应对其功能的模块，简化了领域自适应通道。

DA-DETR

• DA-DETR
  • 问题
    • 主流架构faster R-CNN有许多超参数，需手工调整的参数多且复杂，使得特征对齐方式过于繁复
    • faster R-CNN是什么
      • 参考：https://zhuanlan.zhihu.com/p/31426458
      • Conv layers。
        • 常规的卷积，激活，池化操作
      • Region Proposal Networks。
        • 在特征图上密密麻麻生成k个矩形框，由softmax来进行二分类激活的矩形框和未激活的矩形框
        • bbox reg回归激活的矩形框，proposal层生成提案（选定合适的激活的矩形框）
      • Roi Pooling。
        • 该层收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps
        • 由于将矩形框通过分割，并对每个小方格做maxpool处理，所以每个激活的矩形框输出都是固定大小，送入后续全连接层判定目标类别。
      • Classification。
        • 利用proposal feature maps计算proposal的类别
        • 同时再次bounding box regression获得检测框最终的精确位置。
  • 解决方案DA-DETR
    • 使用一级探测器
    • 使用单个鉴别器进行域间对齐网络
    • 引入混合注意力机制确定应对其功能的模块，简化了领域自适应通道
  • 效果
    • 大量实验表明新架构具有更高的准确性
  • 基本流程
    • 
  • 混合注意模块HAM
    • 作用：明确定位硬对齐特征，简单而有效的对齐
    • 构成
      • 坐标注意力模块CAM
        • 将信息位置嵌入到通道注意力（channel attention）中，以寻找硬对齐的目标特征
        • 通道注意力是什么？
          • 参考：https://zhuanlan.zhihu.com/p/350953067
          • Squeeze-and-Excitation Networks （18年CVPR文章）
          • 将空间维度的特征图进行自适应平均池化（将每个通道的nxn特征图转换为1x1的一个特征值），然后通过两个FC学习到通道注意力（用Sigmoid归一化），用这个学习到的特征矩阵与原来矩阵相乘，得到在空间维度加权后的特征
          • 理解：HxW的特征图有C个，通过自适应平均池化变成1x1的特征值C个（此时有个FC学习来），再通过Sigmoid归一化（第二个FC学习来）后，加权相乘到对应HxW的C个特征图上面去。这中变换中两个FC需要学习，就称为channel Attention
        • CAM将主干网特征分为两部分，与transformer编码器潜在特征融合，获得丰富的位置和关联信息，然后所有的特性会随机连接，促进信息的跨通道流动
        • 优点
          • 明确定位应对其特征，使用单个鉴别器实现直域间对齐
          • 极大简化域自适应检测通道，产生更好的检测效果
      • 水平注意力模块LAM
        • 在变换的水平上跨尺度聚集注意力特征
  • 方法
    • 任务描述
      • 从源域到目标域的映射
    • 框架概述
      • DA-DETR结构
        • 基本检测器
          • 主干网络G
          • 一个transformer编解码器T
        • 一个鉴别器Cd
        • 注意混合模块HAM