• Citer

Sparse-views, robust Neural Radiance Fields: Towards immersive View Synthesis

par Razavi Khosroshahi, Hamed
Président du jury Sacharidis, Dimitris
Promoteur Lafruit, Gauthier
Co-Promoteur Teratani, Mehrdad
Publication Non publié, 2026-07-08

Thèse de doctorat

• Accès en ligne
• Détails
• Contenu
• Statistiques

Résumé :

Neural Radiance Fields (NeRF) have established a new paradigm for photorealistic novel view synthesis, but their performance degrades significantly when only a sparse set of input views is available, a common constraint in real-world capture scenarios. This thesis addresses the challenge of building robust, sparse-view NeRF pipelines suited for immersive applications.We propose four complementary contributions. First, DDSNeRF introduces dense depth supervision to constrain geometry learning and mitigate the ambiguities that arise from limited viewpoints. Second, DA4NeRF proposes a Depth-aware Augmentation strategy, coupled with a virtual camera pose estimation pipeline, to synthesize additional training views without requiring further real captures. Third, MTNeRF formulates a multi-task learning framework designed to make training robust to the noise inherent in these augmented, synthetically generated views. Finally, PlenoNeRF extends the framework to plenoptic (light-field) camera imagery, adapting NeRF to lenslet-based Camera 2.0 data for richer scene capture.Together, these contributions form a coherent pipeline that improves the geometric accuracy, visual fidelity, and robustness of NeRF-based reconstruction under sparse-view conditions, moving toward more practical and immersive view synthesis systems.

Les Neural Radiance Fields (NeRF) ont établi un nouveau paradigme pour la synthèse photoréaliste de nouvelles vues, mais leurs performances se dégradent fortement lorsque seul un nombre limité de vues d'entrée est disponible, une contrainte fréquente dans les scénarios de capture réels. Cette thèse s'attaque au défi de construire des pipelines NeRF robustes aux vues éparses, adaptés aux applications immersives.Nous proposons quatre contributions complémentaires. Premièrement, DDSNeRF introduit une supervision dense par la profondeur afin de contraindre l'apprentissage de la géométrie et de réduire les ambiguïtés issues de points de vue limités. Deuxièmement, DA4NeRF propose une stratégie d'augmentation sensible à la profondeur (Depth-aware Augmentation), couplée à un pipeline d'estimation de poses de caméras virtuelles, afin de synthétiser des vues d'entraînement supplémentaires sans capture réelle additionnelle. Troisièmement, MTNeRF propose un cadre d'apprentissage multi-tâches conçu pour rendre l'entraînement robuste au bruit inhérent à ces vues augmentées et générées synthétiquement. Enfin, PlenoNeRF étend le cadre aux images de caméras plénoptiques (champ de lumière), en adaptant NeRF aux données de type Caméra 2.0 à microlentilles pour une capture de scène plus riche.Ensemble, ces contributions forment un pipeline cohérent qui améliore la précision géométrique, la fidélité visuelle et la robustesse de la reconstruction basée sur NeRF dans des conditions de vues éparses, en direction de systèmes de synthèse de vues plus pratiques et immersifs.