オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【点群処理】分野一覧

Index

アルゴリズム

BANMo / 2021

  • BANMo: Building Animatable 3D Neural Models from Many Casual Videos

Instant Neural Graphics Primitives / Instant NGP / 2022

  • Instant Neural Graphics Primitives with a Multiresolution Hash Encoding

Object Scene Representation Transformer / OSRT / 2022

Slot Attention をSceneに適用.

NeuralLift-360 / 2022

  • NeuralLift-360: Lifting An In-the-wild 2D Photo to A 3D Object with 360° Views

VQ3D / 2023

  • VQ3D: Learning a 3D-Aware Generative Model on ImageNet

pix2pix3D / 2023

  • 3D-aware Conditional Image Synthesis

  • www.cs.cmu.edu

    • project page

  • pix2pix3D:簡単な線を描くだけで、3Dコンテンツを生成する。

Invertible Neural Skinning / INS / 2023

3D Pose 生成.

RealFusion / 2023

2D から 3D への生成.

  • RealFusion: 360° Reconstruction of Any Object from a Single Image

Mask3D / 2023

  • Mask3D: Pre-training 2D Vision Transformers by Learning Masked 3D Priors

3DGP / 2023

3D 生成.

X-Avatar / 2023

3D 生成.

3D Cinemagraphy / 2023

2D to 3D.

Zero-1-to-3 / 2023

Image to 3D.

Real Time Humans / 2023

Text2Room / 2023

CC3D / 2023

RaBit / 2023

ゲームなどに利用するキャラクター 3D の生成.

Persistent Nature / 2023

HQ3DAvatar / 2023

PAniC-3D / 2023

  • PAniC-3D: Stylized Single-view 3D Reconstruction from Portraits of Anime Characters

MonoAvatar / 2023

Image to 3D.

Shap-E / 2023

Point-NN / 2023

Transformer. 認識モデル.

  • Parameter is Not All You Need: Starting from Non-Parametric Networks for 3D Point Cloud Analysis

DreamGaussian / 2023

3D 生成.

タスク

新規視点画像生成 / Neural Rendering

観測したある対象に情報を用い、別視点から観測したときの画像を生成するタスク.

つまり、視点を制御した画像合成技術は、写真や映像の中で周囲を見渡し、自由に動き回れるような視覚体験を提供するだけでなく、 動的データセットの構築や身体性を持つロボットのセンシングといった認識技術への応用が期待される基礎技術である.

また、新規視点画像生成は、心的に物体を 3 次元回転できる人間の知覚能力、すなわちメンタルローテーションと計算的に等価である.

物体検出 / Object Detection

Segmentation

Anything-3D / 2023

  • Anything-3D: Towards Single-view Anything Reconstruction in the Wild

Indoor Scene Synthesis

室内シーン内の物体のレイアウトを作成するタスク.

2D or 3D のタスク.

Keypoint Detection / Pose Estimation

Human Mesh Recovery / HMR

単眼カメラで撮影した 2D 画像から 3D モデルを復元するタスク.

Simultaneous Localization And Human Mesh Recovery / SLAHMR

テクニック

GAN

Diffusion Model

データセット

参考

書籍

Web サイト

  • 第58回コンピュータビジョン勉強会@関東「深層学習+3D論文読み会」資料まとめ