Permettre à une personne, munie simplement d’un smartphone 5G, de se filmer avec la caméra et d’apparaître auprès de ses interlocuteurs en hologramme 3D en haute définition. Tel est l’avenir que souhaite nous proposer Matsuko en tirant profit des capacités des réseaux 5G et des serveurs de Edge Computing déployés par les opérateurs. Un concept qui permettrait à chaque individu de dépasser les limites actuelles de la communication vidéo en 2D et de tendre vers davantage de proximité et d’immersion en 3D tout en limitant les déplacements. Toutefois, pour faire de cette innovation une réalité fluide et pérenne, la start-up doit être en mesure de proposer une qualité de service à la hauteur du rêve en 3D qu’elle ambitionne !
Matsuko a expérimenté la 5G avec Orange.
Secteur d’activité
Cas d'usage
Besoins de la start-up
Atouts de la 5G
Faible latence
Très large bande passante
Matsuko a expérimenté sa technologie au sein de l’Orange 5G Lab et du Edge Computing Lab de Châtillon à plusieurs reprises en 2022.
L’hologramme : un avenir de plus en plus proche
L’envie de communiquer via des hologrammes ne date pas d’hier. En témoignent tous les films qui, depuis plusieurs décennies, annoncent cette technologie comme un nouveau moyen de communication immersive annoncé dans un futur pas si éloigné finalement. En pratique, nous n’avons jamais été aussi près du but grâce à la start-up Matsuko. Pour définir les grandes lignes de son innovation, cette dernière est tout d’abord partie du constat suivant: les services de communications holographiques jusqu’alors proposés sont trop lourds à mettre en place – notamment pour réaliser la captation en 3D de l’interlocuteur. Cela nécessite un studio équipé avec plusieurs caméras, un fond vert… « Généraliser l’usage de l’hologramme par le grand public nécessite, selon Matsuko, de casser ce modèle contraignant en proposant une captation simplifiée réalisée uniquement avec la caméra d’un smartphone 5G », explique Fabien Le Clech, Responsable Marketing Orange 5G Lab. L’idée de la start-up : combiner le monde réel et le monde virtuel grâce à une connexion mobile « en utilisant la caméra d’un smartphone pour capturer une vidéo en 2D, puis en transformant ces images en hologrammes 3D dans un serveur de Edge Computing, et enfin en diffusant ces hologrammes dans un environnement AR/VR/MR (réalités augmentée, virtuelle et mixte). Par exemple, grâce à des lunettes de réalité augmentée, un casque de réalité virtuelle, un smartphone ou une tablette supportant la réalité augmentée. » Une solution totalement envisageable aujourd’hui grâce aux atouts de la 5G (vitesse de connexion élevée, faible latence, très large bande passante) qui peuvent garantir la diffusion d’images 3D ultraréalistes.
Orange 5G Lab : de l’accompagnement technique, jusqu’à l’expérimentation
Conscient du potentiel que représente un tel outil de communication pour des échanges privés, des réunions professionnelles ou des événements en direct en quête de toujours plus de réalisme et d’immersion, les équipes du Orange 5G Lab et du Edge Computing Lab de Chatillon ont organisé une série d’expérimentations avec la start-up. « Notre infrastructure 5G privée, connectée à un serveur de Edge Computing Google Anthos, était parfaitement adaptée pour tester ce type d’innovation, précise Fabien Le Clech. Embarquer l’applicatif de Matsuko sur notre serveur de Edge Computing a certainement été la phase la plus complexe. Cependant, cela était indispensable puisque c’est cet applicatif hébergé et exécuté sur le serveur Edge qui reconstruit l’hologramme 3D à partir d’un flux vidéo 2D remonté en 5G, et le diffuse vers un ou plusieurs interlocuteurs équipés de lunettes AR. Fort heureusement, nous avons pu compter sur l’expertise des équipes d’Orange sur la partie réseau 5G et Edge ! » Pour le moment, le concept nécessite l’utilisation d’un iPhone. En cause ? Des exigences liées à la profondeur de champ qui sont, à ce jour, moins développées sur des mobiles Android. « Nous avons donc utilisé un iPhone 5G sur lequel Matsuko a pu installer son application pour assurer la captation. Pour tester le service une personne se place simplement en face de la caméra de l’iPhone comme pour prendre un selfie vidéo afin de générer son avatar. Toutefois, nous avons fait le choix de stabiliser l’iPhone 5G sur un trépied avec un bon éclairage pour garantir les bonnes conditions de captation. Nous avons ensuite réalisé des tests de réception pour visualiser et converser avec l’avatar 3D de leur interlocuteur avec une autre personne « destinataire » équipée de lunettes de Réalité Augmentée Nreal connectées en 5G. Elles sont très légères – à l’image d’une paire de lunettes de soleil – et développées par ce fournisseur chinois très avancé sur le sujet de la réalité augmentée. Elles font partie des équipements disponibles au sein du 5G Lab et que nous mettons à la disposition des start-ups que nous accompagnons, travaillant sur l’AR».
5G : un gage de temps réel même pour un hologramme
Actuellement, tout l’enjeu pour Matsuko est de parvenir à proposer une communication holographique en temps réel. Dès lors, l’équipe Orange 5G Lab a procédé à de multiples tests de captation et de diffusion de l’avatar 3D avec différentes résolutions. Ce, avec des hologrammes de moins bonne qualité, nécessitant par conséquent moins de débit. Et d’autres, de meilleure qualité, nécessitant de streamer l’avatar 3D avec un débit plus conséquent. De nombreuses configurations et tests qui ont permis à Matsuko de mesurer les bénéfices de la 5G sur son concept de communication holographique. « Les tests au sein de l’Orange 5G Lab ont mis à l’épreuve les capacités et la latence de la 5G, explique le Responsable Marketing 5G Lab. Et les résultats ont été très concluants sur la partie transmission 5G ! Les problèmes liés au réseau qui nuisaient autrefois à la fluidité et à l’immersion des expériences holographiques ont été résolus. Mais il est encore nécessaire d’améliorer la qualité de l’hologramme 3D lorsqu’il est diffusé en temps réel. »
Une expérimentation complète pour passer de l’innovation à un service bientôt sur le marché
« Lors des tests, nous avons visualisé et enregistré les hologrammes avec les lunettes de réalité augmentée. Nous avons fourni ces enregistrements à Matsuko afin qu’ils puissent analyser le rendu, la texture et la fluidité de l’hologramme. De cette manière, ils ont pu constater qu’en diffusion temps réel, la qualité de l’hologramme était encore très perfectible – pas assez bien défini pour lancer un service commercial. » En effet, même si la latence et la bande passante offerts par la 5G sont suffisants pour garantir une communication en temps réel, l’expérimentation a mis en lumière le fait « que certains progrès sont encore nécessaires pour améliorer la qualité et la performance de l’algorithme de reconstruction de l’hologramme de Matsuko (qui est exécuté sur un serveur de Edge Computing). » Un nouveau travail est déjà en cours du côté de la startup ainsi que la déclinaison de l’application pour Android pour assurer la captation.
« Il s’agit d’une technologie à très fort potentiel pour des applications de vidéoconférence telles que Teams ou Zoom ! Lors d’une réunion, les personnes éloignées géographiquement pourraient être projetées dans la pièce grâce à leurs hologrammes en 3D. Cela améliorerait considérablement l’immersion des échanges virtuels entre les participants grâce à des interactions plus réalistes et la proximité entre les personnes. Cependant, pour lancer un tel service au niveau commercial, Matsuko souhaite encore améliorer sa technologie pour atteindre une qualité d’hologramme suffisante. »
Pour aller plus loin
L’industrie : La 5G booste les performances du secteur industriel