【画像処理】新規視点画像生成 / Neural Rendering

• 画像処理 #まとめ編

  • タスク一覧
  • yhayato1320.hatenablog.com
    
    

• 点群処理 #まとめ編

  • yhayato1320.hatenablog.com

Index

新規視点画像生成 / Neural Rendering

観測したある対象に情報を用い、別視点から観測したときの画像を生成するタスク.

つまり、視点を制御した画像合成技術は、写真や映像の中で周囲を見渡し、自由に動き回れるような視覚体験を提供するだけでなく、 動的データセットの構築や身体性を持つロボットのセンシングといった認識技術への応用が期待される基礎技術である.

また、新規視点画像生成は、心的に物体を 3 次元回転できる人間の知覚能力、すなわちメンタルローテーションと計算的に等価である.

アルゴリズム

Neural Radiance Field / NeRF / 2020 -

• Neural Radiance Field / NeRF #まとめ編
  • yhayato1320.hatenablog.com

Wide-Baseline / 2023

二枚の画像から新視点生成を行う手法の提案.

画像毎のViT符号化器を利用.

相対カメラ姿勢情報を与えた上で両画像の全トークン対象の自己注意機構で符号化

次に新視点での光線のエピポーラ線上の特徴を交差注意機構で集約しMLPで色を決定する.

• Learning to Render Novel Views from Wide-Baseline Stereo Pairs
  • [2023]
  • arxiv.org
  • yilundu.github.io

工夫・テクニック

Transformer

RePAST / 2023

• RePAST: Relative Pose Attention Scene Representation Transformer
  • [2023]
  • arxiv.org

参考

Web サイト

• paperswithcode.com
  • paper with code のタスクのページ