【データセット】DrivingStereo #概念編

キーワード・知ってると理解がしやすい

• スレテオカメラ (二眼カメラ)
• 視差 (disparity) 画像 / マップ
• LiDAR Point Clouds (3次元点群データの取得方法)

yhayato1320.hatenablog.com

Index

DrivingStereo とは

KITTI Stereo Dataset の数百倍の規模のステレオデータのデータセット.

視差画像 (disparity image) のラベルデータは、Multi Frame LiDAR Points Cloud (3次元点群データ) から model-guided filtering strategy によって生成されている.

ステレオカメラ

人が物を見る原理と同じように、2つのカメラ(2眼のカメラ)を用いて対象物を複数の異なる方向から同時に撮影することにより、
カメラの画素の位置情報から、奥行き方向の情報も計測することが可能なカメラ.

距離センサの一種で、人間が物を見るときの三角測量の原理を応用して距離を計算する.

スレテオマッチング

ステレオカメラで対象物までの距離を求めるには，三角測量の原理を利用して算出している.
同じ対象物を 2 つのカメラで撮像した際の撮像位置の差分（視差)を求めることで距離を計算する.
ここで視差を求めるには，2 つのカメラで同じ対象物を撮像した画素を抽出する必要があり，これをステレオマッチングと呼ぼう.

ブロックマッチング

左右の一方の画像 (例えば左) のある点に注目し、その周囲数ピクセルの矩形をブロックとする.
もう一方の画像からそのブロックと最も相関のある矩形を探し出す方法.

ここで、左右の画像が、歪みなく、上下方向のずれや光軸のずれなどがなく、真に左右のみの平行方向の分のずれしかないことを前提とする.
すると、同一のブロックは、左右の画像中でも平行方向にずらすことで見つけることができる.

前処理

• 前処理
  • 歪み補正 (キャリブレーション)
  • 輝度値の正規化
• 平行化 : マッチングの効率化のための画像変換
• マッチング : マッチングを行って視差マップを推定
• 三角測量 (Triangulation) : カメラの配置から視差マップを深度マップに変換

データの作成

以下の手順でラベルデータを作成する.

1. ステレオ画像とLiDAR Point Clouds (3次元点群データ) を時系列的に整理された状態で取得する.
2. model-guided filtering strategy を用いて、Multi Frame LiDAR Points Cloud (3次元点群データ) から視差画像を生成する.

Download

このページから取得できた.

drivingstereo-dataset.github.io

データ内容

• 左画像
• 右画像
• 視差マップ
• 深度マップ

データ	画像
left image
right image
disparity map
depth map

データ量

• 182,188 セット
  • Train : 174,437 セット
  • Test : 7,751 セット

解像度

• 881 x 400

参考

• DrivingStereo: A Large-Scale Dataset for Stereo Matching in Autonomous Driving Scenarios
  • [2019 CVPR]
  • 3 Dataset Construction
    • 3.1 Data Acquisition
  • pdf

Web サイト

• ステレオカメラについて動画でご紹介！
  • www.zmp.co.jp