【深層学習】Neural Radiance Field / NeRF #まとめ編

Index

Neural Radiance Field / NeRF

• 新規視点画像生成 / Neural Rendering

  • yhayato1320.hatenablog.com
    
    

• Neural Field

  • yhayato1320.hatenablog.com

アルゴリズム

Neural Radiance Field / NeRF / 2020

• Neural Radiance Field / NeRF
  • yhayato1320.hatenablog.com

SNeRF / 2022

• SNeRF: Stylized Neural Implicit Representations for 3D Scenes

  • [2022]
  • arxiv.org
    
    

• Metaが好きな画風で任意視点の画像を生成する技術「SNeRF」発表へ

  • www.moguravr.com

NeROIC / 2022

• NeROIC: Neural Rendering of Objects from Online Image Collections
  • [2022]
  • arxiv.org

EVA3D / 2022

• EVA3D: Compositional 3D Human Generation from 2D Image Collections

  • [2022]
  • arxiv.org
    
    

• huggingface.co

  • huggingface

Block-NeRF / 2022

• Block-NeRF: Scalable Large Scene Neural View Synthesis

  • [2022]
  • arxiv.org
    
    

• 2022年の深層学習ハイライト

  • Block-NeRF: Scalable Large Scene Neural View Synthesis
  • qiita.com

LASER / 2023

• Laser: Latent Set Representations for 3D Generative Modeling
  • [2023]
  • arxiv.org

RecolorNeRF / 2023

• RecolorNeRF: Layer Decomposed Radiance Field for Efficient Color Editing of 3D Scenes
  • [2023]
  • arxiv.org

AV-NeRF / 2023

• AV-NeRF: Learning Neural Fields for Real-World Audio-Visual Scene Synthesis
  • [2023]
  • arxiv.org

Incremental Neural Videos / INV / 2023

• INV: Towards Streaming Incremental Neural Videos
  • [2023]
  • arxiv.org

Blend NeRF / 2023

• 3D-aware Blending with Generative NeRFs
  • [2023]
  • arxiv.org
  • blandocs.github.io

PersonNeRF / 2023

• PersonNeRF: Personalized Reconstruction from Photo Collections
  • [2023]
  • arxiv.org

Temporal Interpolation for Dynamic NeRF / 2023

• Temporal Interpolation Is All You Need for Dynamic Neural Radiance Fields
  • [2023]
  • arxiv.org

HexPlane / 2023

• HexPlane: A Fast Representation for Dynamic Scenes

  • [2023]
  • arxiv.org
    
    

• 【DL輪読会】HexPlaneとK-Planes

  • 【DL輪読会】HexPlaneとK-Planes from Deep Learning JP
    www.slideshare.net

K-Planes

• K-Planes: Explicit Radiance Fields in Space, Time, and Appearance

  • [2023]
  • arxiv.org
    
    

• 【DL輪読会】HexPlaneとK-Planes

  • 【DL輪読会】HexPlaneとK-Planes from Deep Learning JP
    www.slideshare.net

instant_nvr / 2023

• Learning Neural Volumetric Representations of Dynamic Humans in Minutes
  • [2023]
  • arxiv.org
  • zju3dv.github.io

MERF / 2023

• MERF: Memory-Efficient Radiance Fields for Real-time View Synthesis in Unbounded Scenes
  • [2023]
  • arxiv.org

IntrinsicNGP / 2023

• IntrinsicNGP: Intrinsic Coordinate based Hash Encoding for Human NeRF
  • [2023]
  • arxiv.org

BakedSDF / 2023

• BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis
  • [2023]
  • arxiv.org

S-NeRF / 2023

• S-NeRF: Neural Radiance Fields for Street Views
  • [2023]
  • arxiv.org

nerf2mesh / 2023

• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement
  • [2023]
  • arxiv.org
  • me.kiui.moe
  • github.com

Nerflets / 2023

• Nerflets: Local Radiance Fields for Efficient Structure-Aware 3D Scene Representation from 2D Supervisio
  • [2023]
  • arxiv.org

PAC-NeRF / 2023

• PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification
  • [2023]
  • arxiv.org
  • sites.google.com
  • github.com

NeRFLiX / 2023

• NeRFLiX: High-Quality Neural View Synthesis by Learning a Degradation-Driven Inter-viewpoint MiXer
  • [2023]
  • arxiv.org
  • redrock303.github.io

FreeNeRF / 2023

• FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization
  • [2023]
  • arxiv.org
  • jiawei-yang.github.io
  • github.com

MELON / 2023

• MELON: NeRF with Unposed Images Using Equivalence Class Estimation
  • [2023]
  • arxiv.org
  • melon-nerf.github.io

Re-ReND / 2023

• Re-ReND: Real-time Rendering of NeRFs across Devices
  • [2023]
  • arxiv.org

NeRFMeshing / 2023

• NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes
  • [2023]
  • arxiv.org

αSurf / 2023

• αSurf: Implicit Surface Reconstruction for Semi-Transparent and Thin Objects with Decoupled Geometry and Opacity
  • [2023]
  • arxiv.org
  • alphasurf.netlify.app

Instruct-NeRF2NeRF / 2023

• Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions
  • [2023]
  • arxiv.org
  • instruct-nerf2nerf.github.io

Set-the-Scene / 2023

• Set-the-Scene: Global-Local Training for Generating Controllable NeRF Scenes
  • [2023]
  • arxiv.org
  • danacohen95.github.io

SINE / 2023

• SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field
  • [2023]
  • arxiv.org
  • zju3dv.github.io

SCADE / 2023

• SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates
  • [2023]
  • arxiv.org

F2-NeRF / 2023

• F2-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories
  • [2023]
  • arxiv.org
  • totoro97.github.io

VMesh / 2023

• VMesh: Hybrid Volume-Mesh Representation for Efficient View Synthesis
  • [2023]
  • arxiv.org
  • bennyguo.github.io

SparseNeRF / 2023

• SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis
  • [2023]
  • arxiv.org

NeILF++ / 2023

• NeILF++: Inter-Reflectable Light Fields for Geometry and Material Estimation
  • [2023]
  • arxiv.org
  • yoyo000.github.io

Instance Neural Radiance Field / 2023

• Instance Neural Radiance Field
  • [2023]
  • arxiv.org

ReRF / 2023

• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos
  • [2023]
  • arxiv.org
  • aoliao12138.github.io

Zip-NeRF / 2023

アンチエイリアシングを実現するmip-NeRFとグリッドベースのInstant NGPを組み合わせ高忠実で高速な新視点画像生成を実現.

エイリアシングを抑えるため光線からのサンプルではなく、視点中心の円錐台領域中の特徴量の積分を求める.

円錐台領域中から複数点サンプリングし、各点は等方性ガウシアンで近似する。各特徴量は、グリッド頂点の三重線形補間で求める.

さらに、深さ方向にもエイリアシングが起きることを防ぐため、損失を深さ方向に滑らかにする工夫を行う.

Zip-NeRF(https://t.co/lHuTHEshtQ)はアンチエイリアシングを実現するmip-NeRFとグリッドベースのInstant NGPを組み合わせ高忠実で高速な新視点画像生成を実現（動画は撮影したものでなく新視点からの生成画像）。…

— Daisuke Okanohara / 岡野原 大輔 (@hillbig) April 14, 2023

• Zip-NeRF: Anti-Aliased Grid-Based Neural Radiance Fields
  • [2023]
  • arxiv.org
  • jonbarron.info

Tetra-NeRF / 2023

• Tetra-NeRF: Representing Neural Radiance Fields Using Tetrahedra
  • [2023]
  • arxiv.org
  • jkulhanek.com

NDRF / 2023

• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis
  • [2023]
  • arxiv.org
  • raywzy.com

タスク

Style Transfer

StyleRF / 2023

• StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields
  • [2023]
  • arxiv.org
  • kunhao-liu.github.io
  • github.com

Video への拡張

HNeRV / 2023

• HNeRV: A Hybrid Neural Representation for Videos
  • [2023]
  • arxiv.org
  • haochen-rye.github.io

物体検出

NeRF-RPN / 2023

• NeRF-RPN: A general framework for object detection in NeRFs

  • [2023]
  • arxiv.org
    
    

• NeRF-RPN：NeRF上で物体検出する技術

  • zenn.dev

研究

• Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos
  • [2023]
  • arxiv.org

参考

書籍

• コンピュータービジョン最前線 Winter 2021
  • 2 フカヨミ NeRF
    • 2.1 はじめに
      • 新規視点画像生成
    • 2.2 NeRF の問題設定
    • 2.3 連続的なニューラルなシーン表現
      • 2.3.1 Neural Radiance Feild
      • 2.3.2 NeRF における Positional Encoding
    • 2.4 ニューラルレンディング
      • 2.4.1 ボリュームレンダリング
      • 2.4.2 Hierarchical Volume Sampling
      • 2.4.3 NeRF の誤差関数
    • 2.5 NeRF のこれから
      • 2.5.1 レンダリング処理の高速化と効率化
      • 2.5.2 動的シーンへの適用性
      • 2.5.3 カメラパラメータの制限
      • 2.5.4 学習時の必要視点数
    • 2.6 おわりに

  • コンピュータビジョン最前線 Winter 2021