SoWhen? réalise le meeting eau live en réalité virtuelle de la France Insoumise – Jean-Luc Mélenchon

La production virtuelle pour une immersion poussée

Le 10 avril dernier monsieur Mélenchon réalisait son meeting virtuel live sur le thème de l’eau. SoWhen?, spécialiste de la réalité virtuelle et virtual production réalise l’entièreté de la prestation en accompagnant ses équipes de la conception à la réalisation live.
Voyons en détail les différentes étapes de cette production en réalité étendue.

La demande

Contactés par l’équipe de M. Mélenchon à la recherche d’une équipe pouvant réaliser leur prochain meeting virtuel sur le thème de l’eau, nous avons tout de suite été séduits par la volonté d’illustrer avec interactivité et immersion ce sujet primordial à tout à chacun.

En effet l’idée de l’équipe était de proposer pour ce meeting virtuel une immersion totale dans ce sujet et les problématiques soulevées par monsieur Mélenchon.
En outre, nous devions rendre accessible à tous son discours grâce à un dispositif technologique permettant une diffusion live sur le web.
Nous devions pouvoir traiter ce sujet capital dans toute sa complexité à travers un décor animé et interactif illustrant le discours de monsieur Mélenchon en lui laissant une grande souplesse de narration.

La réalité étendue, ou réalité virtuelle, grâce à la virtual production :

Lorsque vous souhaitez intégrer une personne physique dans un décor virtuel, il s’agit de “virtual production » que l’on peut traduire par production virtualisée : la personne physique est dans un studio de tournage physique avec tout autour d’elle des fonds verts.

Ce sont ces fonds verts sur lesquels sont intégrés les décors et environnements 3D temps réel. Ces décors peuvent être plus ou moins immersifs selon leurs dispositions : en fond derrière la personne, autour d’elle, au sol, au plafond….

Des caméras physiques dans le studio et des caméras virtuelles dans les décors permettent de filmer la personne physique dans son monde virtuel.

L’image finale qui est une “réalité étendue” est contrôlée par une régie de façon à pouvoir comme dans un tournage classique changer de caméra et donc de point de vue.

L’avantage d’une production virtuelle est que la personne physique, étant dans un environnement artificiel, est libérée des limites du monde physique : elle peut ainsi changer d’échelle, se téléporter d’un endroit à un autre, faire apparaître des messages autour d’elle… .

Cette réalité étendue étend nos capacités de création et communication en offrant un terrain d’expression illimité.

Il va sans dire que l’organisation et le coût de production sont aussi optimisés vs. un meeting physique classique puisqu’il n’y a pas de déplacements physiques à prévoir pour se rendre dans différents endroits afin d’illustrer les propos. Une logistique réduite implique de fait un impact environnemental amoindri, ce qui est un point non négligeable.

Brainstorming du meeting virtuel

Pour en revenir au meeting à proprement parler, nous avons tout d’abord échangé avec l’équipe de M. Mélenchon afin de comprendre les différentes problématiques qu’il souhaitait aborder, quelles étaient ses attentes vis-à-vis du résultat…

Nous avons ensuite cherché deux concepts forts à leur proposer qui puissent à la fois transporter le public dans un univers porteur de sens, réaliste, ludique, animé mais aussi porter et illustrer le discours de M. Mélenchon.

Une des plus grandes contraintes à laquelle nous avions affaire était celle de la souplesse de narration.
Suivre le cheminement de l’eau pour raconter “son parcours” était intéressant mais bloquant sur ce point. Nous devions en live pouvoir passer d’un sujet à l’autre de façon fluide et cohérente, M.Mélenchon abordant ses sujets de façon spontanée.

Nous avons proposé le fait que M. Mélenchon soit intégré au décor à échelle 1 afin qu’il puisse être en immersion totale dans son sujet et avec son public. Cependant, si les décors devaient évoluer, lui devait rester sur un périmètre physique précis (avec tout de même 4 mètres pour se déplacer) afin de ne pas avoir de mouvements de caméra trop dérangeants hors des mouvements de cadrage traditionnels.

Après quelques heures de recherches et d’échanges autour de différents concepts nous avons retenu celui du pont.

Le concept du meeting virtuel

Parmi les ouvrages du patrimoine Français, le pont fait partie des monuments emblématiques de notre histoire. Notre idée était de faire évoluer le décor du meeting à travers différents paysages dont l’objet central est un pont. Le pont est un symbole fort de l’ingéniosité humaine mais aussi de par les liens physiques et symboliques qu’il représente. M. Mélenchon était donc situé au centre de ce pont, lui permettant un ancrage solide dans chaque univers proposé sur la thématique de l’eau.
Nous nous sommes inspirés de certains ponts français afin que le public puisse se retrouver dans des environnements familiers, sans chercher à les reproduire tels quels pour nous laisser une liberté de composition des décors selon les besoins du discours.
En dessous et derrière ce pont nous pouvons contempler un cours d’eau changeant en fonction des situations : tantôt un ruisseau asséché tantôt une eau de mer polluée ou encore une retenue de barrage hydroélectrique.
Des éléments spécifiques peuplent le décors principal afin d’illustrer plus précisément le sujet. Les caméras virtuelles permettent de varier les angles de vues pour donner de la perspective à la prise de parole : plans larges, vues aériennes, sur des détails des décors… Pour transiter entre les environnements, nous avons joué avec des plans sur M. Mélenchon dans un décor blanc lui permettant de passer d’un environnement à un autre.
Ce concept a répondu aux critères souhaités : immersion, souplesse de narration, illustration des propos.

3 semaines pour tout faire : une production virtualisée intense !

Partant des concepts et échanges constructifs il nous restait 3 semaines pour produire les décors et mettre en place ce tournage. Nous n’avions pas le même temps ou les mêmes moyens qu’une production de cinéma ou de jeu vidéo qui se déroulent sur 1 à 2 ans avec des milliers de personnes. Nous devions pourtant rendre une qualité visuelle la plus haute possible afin de se rapprocher des standards visuels consommés tous les jours par le grand public.

Au total une vingtaine de personnes (des ingénieurs son et lumières aux graphistes 3D en passant par la réalisation et la gestion du projet) ont su réaliser dans les temps ce challenge de taille :

Créer 3 décors assez complets pour pouvoir à notre guise venir filmer les points d’intérêts énoncés par M. Mélenchon au fur et à mesure de son discours libre
Prévoir toutes les animations de façon indépendante afin de pouvoir passer de l’une à l’autre sans casser la narration visuelle.
Étant en temps réel nous avons dû trouver le bon compromis entre qualité de rendu (visuelle), fluidité d’image et performance de l’environnement 3D. Au final nous devions générer au-delà de 50 images /seconde, proche des contraintes de casques VR, quand au cinéma classique, nous pouvons nous contenter de la moitié. Enfin, quelques sacrifices visuels ont permis d’avoir une fluidité de traitement performante.

Pour ce faire, nos équipes ont travaillé sous PIXOTOPE basé sur le moteur de rendu Unreal Engine d’EPIC GAMES afin de créer des décors en temps réel, animés et interactifs.
Le gros avantage de PIXOTOPE étant de proposer une interface et des outils optimisant le travail de production virtuelle vidéo en profitant de toute la puissance et technologie d’Unreal Engine fait à la base pour les jeux vidéo.

Résultat : 3 décors complets nous permettant une immersion totale avec mouvements de caméra en temps réel selon les besoins de M. Mélenchon lors de son live.

Le live du meeting virtuel

Voyons encore quelques détails supplémentaires vis à vis du moment du live :

Aujourd il y a 2 grosses tendances pour réaliser de la production virtualisée :
En utilisant des fonds d’écrans leds où les décors sont visibles physiquement, mais inappropriés au projet (coût)
En se servant de fonds verts sur lesquels on intègre numériquement les décors. Les ¾ du temps le tournage virtuel se déroule et est enregistré puis la personne physique qui parle est incrustée au montage. Dans notre cas, s’agissant d’un meeting live, l’incrustation de M. Mélenchon se faisait en temps réel, nous obligeant à gérer la correspondance entre les perspectives, les mouvements caméras et focales entre le monde physique et le monde virtuel. Si sur le plateau physique nous avions 3 caméras, dans le monde virtuel nous en avions une vingtaine, actionnées pour changer de point de vue et se déplacer dans les environnements 3D.

M. Mélenchon sur son plateau avait en plus de son retour, un écran dédié pour une visioconférence avec des étudiants via Zoom. En plus du flux principal, un deuxième flux a été réalisé incluant une traduction en langue des signes française et la vélotypie.

La diffusion finale sur le web fut ensuite gérée par l’équipe du meeting.

Quelques retours d’expérience sur ce meeting virtuel

Comme pour chaque projet sur lequel nous travaillons, une de nos priorités était de rendre la vie la plus simple possible au performeur : il profite de ce que peut lui apporter la technologie sans qu’elle ne s’impose à lui, ainsi nous l’effaçons le plus possible en s’appuyant sur notre R&D, ou encore “bidouillons” pour trouver la bonne solution pour le laisser libre dans son exercice, et lui apporter un maximum de souplesse. M. Mélenchon a bénéficié d’un espace de déplacement de 4 mètres lui permettant de se mouvoir et de s’exprimer plus librement que dans ses dernières expériences digitalisées où il était très restreint dans ses mouvements.

Un des points le plus apprécié par monsieur Mélenchon fut le fait d’avoir un environnement et du matériel illustratifs de ses propos. A la différence des ses derniers meetings où il était dans un espace de type studio ce qui était bien moins impactant pour ses discours.

Chaque expérience étant différente, nous pouvons dire que celle-ci fut particulièrement singulière dans le sens où elle poussa l’ensemble de l’équipe à un lâché prise important :

A la grosse différence de nos autres expériences, comme celle de Jean-Michel Jarre qui était un live également mais dont tout était calé à l’avance (ordre des morceaux, narration visuelle…), le meeting de M. Mélenchon était un live laissant place à la spontanéité du récit et donc à l’improvisation du déclenchement de nombreux éléments suivant le discours.

Pour permettre cette souplesse et liberté de narration, il nous a fallu réaliser un gros travail en amont du meeting, de création et préparation de contenus pour qu’au final, lors du live 60 % environ de ce matériel créé (animations, arguments…) soit non utilisé car non déclenché.

L’équipe a donc dû s’adapter en permanence et réagir de façon instantanée pendant tout le meeting.