Les Cartes de Coquilles Gaussiennes (CCG) représentent un cadre innovant basé sur les réseaux adversaires génératifs pour générer des personnages numériques 3D de haute qualité de manière efficace. Proposé par Rameen Abdal et al., ce projet utilise une technique appelée cartes de coquilles gaussiennes, qui combine une architecture avancée de générateur réseau et des principes de rendu 3D gaussien pour résoudre les problèmes de lenteur et d'incohérence multivue liés aux méthodes volumétriques traditionnelles. Les CCG génèrent des textures 3D via des réseaux CNN, en mappant les caractéristiques sur des surfaces de gabarits déformables, permettant ainsi un rendu rapide et différenciable. #### Analyse technique

• Cartes de Coquilles Gaussiennes (CCG) : Cette méthode novatrice exprime les textures 3D en échantillonnant des distributions gaussiennes 3D sur des surfaces de gabartis dilatées ou contractées, améliorant considérablement l'efficacité du rendu.
• Primitives de Rendu Gaussien 3D : Le rendu basé sur des distributions gaussiennes garantit la génération rapide d'images avec des gradients bien définis.
• Echafaudage Multi-Coquille Articulable : Permet de déformer le corps dans des poses définies par l'utilisateur lors de l'entraînement et de l'inférence, augmnetant ainsi la flexibilité du modèle.

Applications potentielles

Les CCG trouvent leur application dans divers domaines :

• Réalité virtuelle et réseaux sociaux : Création d'avatars virtuels réalistes pour améliorer l'expérience utilisateur.
• Production cinématographique : Développement de personnages CG complexes et hautement réalistes.
• Conception de mode : Simulation de vêtements sur des modèles humains pour faciliter les prévisualisations et modifications.

Caractéristiques clés

• Rendu performant : Élimine les problèmes d'incohérence entre les vues en produisant directement des résultats de rendu multivue cohérents à une résolution native de 512×512 pixels.
• Cohérence multivue : Assure une apparence constante du personnage quel que soit l'angle de vue.
• Facilité d'utilisation : Installation simplifiée et documentation claire pour générer des séquences animées, éditer des modèles existants ou convertir vers de nouvelles poses.
• Flexibilité : Capacité à être entraîné sur des ensembles de données mono-vue tout en générant une variété de modèles 3D humains.

Pour tester ce projet, suivez les instructions fournies dans le fichier README afin d'installer l'environnement Python, les sous-modules nécessaires et exécutez le réseau pré-entraîné. Voici un exemple de configuration :

# Remplacez xxxx par le chemin réel
conda env create -f environment.yml
conda activate gsm
...

Pour citer ce projet dans vos travaux, utilisez la référence suivante :

@misc{abdal2023gaussian,
      title={Gaussian Shell Maps for Efficient 3D Human Generation}, 
      author={Rameen Abdal and Wang Yifan and Zifan Shi and Yinghao Xu and Ryan Po and Zhengfei Kuang and Qifeng Chen and Dit-Yan Yeung and Gordon Wetzstein},
      year={2023},
      eprint={2311.17857},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Remerciements

Nous tenons à remercier les sponsros de cette recherche, notamment Google, Samsung, Stanford HAI et le Fonds de mobilité postdoctorale suisse, pour leur soutien essentiel.