Depuis l’invention du cinéma et de la pellicule, de nombreux traitements manuels devaient être réalisés. Lorsque l’on souhaitait “couper” une scène, on prenait véritable paire de ciseaux !
Du Pixel au “data”…
Avec l’arrivée du numérique, le cinéma, la vidéo est devenu “pixel”, avec l’arrivée de l’IA la vidéo est devenue “data”. Avec les bons modèles, et la quantité de données adéquate, il est possible de détecter des objets dans une image, segmenter une vidéo (découper l’avant-plan de l’arrière-plan et des sujets présents), et créer des effets spéciaux qui demandaient un temps de travail “humain” important : détourage, corrections image par image… un travail si éprouvant que nombre de studios préfèrent parfois abandonner et tourner de nouveau un scène si un objet inattendu apparaît dans le champ.
Des outils vidéos toujours plus performants et automatisés
En vidéo, remplacer un visage par un autre est une technique assez connue aujourd’hui avec le “DeepFake” (et sa dernière évolution capable d’animer un visage avec une seule photo avec Few-Shot Adversarial Learning of Realistic Neural Talking Head Models de Samsung), NVidia nous a prouvé qu’il était possible de reconstruire des zones endommagées d’une photo. Ce qui est plus complexe encore est de faire disparaître totalement un objet dans une vidéo sans utilisation de fond vert ou autre subterfuge physique, mais bien à base d’une solution 100% logicielle avec une IA.
On sélectionne un objet et il disparaît…
Cette solution permet, par une sélection d’une zone de l’objet : le détourer / segmenter, de la retirer, puis de combler l’espace manquant : en résumé l’objet devient invisible ! Une véritable prouesse pour un outil 100% automatique. Il est également possible de supprimer watermark / signature ou tout autre défaut qui apparaîtrait dans une séquence vidéo que l’on souhaite effacer. D’autres modèles antérieurs permettaient d’effacer en partie l’objet avec quelques parasites très visible, cette solution sera très certainement bientôt intégrée à nombre de studios de cinéma voire TV petit à petit. Il ne sera peut-être plus nécessaire de flouter les objets publicitaires dans les reportages TV quand on sait les faire disparaître… Une solution également aux problèmes de vie privée pour les personnes qui ne souhaitent pas apparaître en vidéo ?
Liens :
https://www.groundai.com/project/deep-flow-guided-video-inpainting/1
https://arxiv.org/abs/1905.02884
