オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > 【深層学習】BAS-Net

【深層学習】BAS-Net

Index

BAS-Net

Predict-Refine Architecture と Hybrid Loss が改善ポイント.

Architecture

Boundary-Aware Segmentation Network for Mobile and Web Applications

Predict Module

U-Net や SegNet と同様の Encoder-Decoder Architecture.

Decoder は各スケールの中間出力として Side Output Map を出力している. これらの情報も最終的には連結して出力する.

Multi Scale Residual Refinement Module / RRM

Prediction Module から得られた粗いセグメンテーションマップ (Coarse Map) S_{coarse}を精細化することが目的. S_{coarse} と GT の残差 S_{residual} を学習する.

S_{refined}\ =\ S_{coarse}\ +\ S_{residual}



様々な RRM のアーキテクチャを検討.

Boundary-Aware Segmentation Network for Mobile and Web Applications

Hybrid Loss

以下のように Loss を定義.

\displaystyle \sum_{k=1}^{K}\ \alpha_{k}\ l^{(k)}


  • l^{(k)} : k 番目の Side Output の Loss
  • \alpha_{k} : それぞれの重み


それぞれの Silde Output の Loss (= Hybrid Loss) を以下のように定義.

l^{(k)}\ =\ l_{bce}^{(k)}\ +\ \ l_{ssim}^{(k)}\ +\ l_{iou}^{(k)}


  • l_{bce}^{(k)} : Binary Classification Entropy Loss
  • l_{ssim}^{(k)} : Structural Similarity Loss
  • l_{iou}^{(k)} : IoU Loss


l^{(k)}_{bec}\ =\ -\ \sum_{(r,\ c)}\ \left[\ G(r,\ c)\ \cdot\ \log(S(r,\ c))\ +\ (1-G(r,\ c))\ \cdot\ \log(1\ -\ S(r,\ c))\ \right]


l^{(k)}_{ssim}\ =\ 1\ -\ \displaystyle \frac{(2\mu_{x}\mu_{y}\ +\ C_{1})(2\sigma_{xy}\ +\ C_{2})}{(\mu_{x}^{2}\ +\ \mu_{y}^{2}\ +\ C_{1})(\sigma_{x}^{2}\ +\ \sigma_{y}^{2}\ +\ C_{2})}


l^{(k)}_{iou}\ =\ 1\ -\ \displaystyle \frac{\displaystyle \sum_{r=1}^{H}\ \displaystyle \sum_{c=1}^{W}\ S(r,\ c)\ G(r,\ c)}{\displaystyle \sum_{r=1}^{H}\ \displaystyle \sum_{c=1}^{W}\ \left[\ S(r,\ c)\ +\ G(r,\ c)\ -\ S(r,\ c)\ G(r,\ c)\ \right]}


参考

  • Boundary-Aware Segmentation Network for Mobile and Web Applications
    • [2021]
    • Abstract
    • 1 INTRODUCTION
    • 3 METHODOLOGY
      • 3.2 Prediction Module
      • 3.3 Residual Refinement Module
      • 3.4 Hybrid Loss
    • arxiv.org
    • github.com