オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > 【深層学習】MAF-YOLO

【深層学習】MAF-YOLO

Index

MAF-YOLO / 2024

改善点



  1. Neck called Multi-Branch Auxiliary FPN (MAFPN)
  2. Re-parameterized Heterogeneous Efficient Layer Aggregation Network (RepHELAN) module
  3. Global Heterogeneous Kernel Selection mechanism (GHSK)

Macroscopic Architecture



  • one stage の object detection
  • backbone / neck / head で構成されいる
    • neck : MAFPN
      • bottom-up : SAF
      • top-down : AAF
  • RepHELAN module

Global Heterogeneous Kernel Selection mechanism

  • transformer で重要な要素は、self attention mechanism
  • 同様の効果を large convolutional kernel が考えれる
    • Trident Network
    • YOLO-MS
      • Heterogeneous Kernel Selection (HKS)
  • これらの研究を参考に、Global Heterogeneous Kernel Selection (GHKS) mechanism を提案

Multi-Branch Auxiliary FPN

Superficial Assisted Fusion / SAF

Advanced Assisted Fusion / AAF

Re-parameterized Heterogeneous Efficient Layer Aggregation Network / RepHELAN



  • feature extraction block (RepHELAN) 内の工夫
  • Split operation

Re-parameterized Heterogeneous Depthwise Convolution / RepHDWConv



  • まず kernel を大きくすることを考えた
    • 大きくすることで、パフォーマンスが向上する可能性がある一方で、小さな物体に対する精度が落ちる課題もある

  • Re-parameterization の考えを導入する

    • 大きな convolution kernel と小さな convolution kernel を同時に実行することで、小さなターゲットの検出を補完.

  • RepLKNet

  • RepVGG

Re-parameterized の手順

参考

  • Multi-Branch Auxiliary Fusion YOLO with Re-parameterization Heterogeneous Convolutional for accurate object detection
    • [2024]
    • 1 Introduction
    • 3 Methodology
      • 3.1 Macroscopic architecture
      • 3.2 Global Heterogeneous Kernel Selection mechanism
      • 3.3 Multi-Branch Auxiliary FPN
        • Superficial Assisted Fusion
        • Advanced Assisted Fusion
      • 3.4 Re-parameterized Heterogeneous Efficient Layer Aggregation Network
        • Re-parameterized Heterogeneous Depthwise Convolution
    • arxiv.org