« Avec le laboratoire sur l'IA de Xavier Niel, on veut créer à Paris un contre-pouvoir à la Silicon Valley »

300 millions d'euros. C'est la somme de départ pour lancer le nouveau laboratoire français sur l'intelligence artificielle (IA), financé en majorité par Xavier Niel (Iliad), Rodolphe Saadé (CMA-CGM) et Eric Schmidt (ex-Google). Six scientifiques de pointe ont été débauchés, et ils ont moins d'un an pour construire « la première intelligence artificielle en open source (dont les données sont disponibles à tous, NDLR) qui intègre le langage », explique le chercheur Alexandre Défossez.

Il est l'un des six scientifiques choisis. Il quitte le laboratoire parisien de recherche en intelligence artificielle de Meta (maison mère de Facebook), appelé FAIR, où il avait fait sa thèse, pour apporter son domaine d'expertise : la génération de sons et de voix par l'IA.

Diplômé de l'Ecole Normale Supérieure (ENS), spécialité maths et physique, après une classe préparatoire au Lycée Sainte-Geneviève (Ginette), Alexandre Défossez code depuis ses quinze ans. D'abord des jeux, puis un outil pour contrer le pare-feu de l'ENS et télécharger des films. Ce « hobby », couplé à de solides études des chiffres, l'a poussé dans les bras des Gafam, chez Facebook notamment, et de l'autre côté de l'Atlantique. Il raconte la Silicon Valley, son parcours, et l'objectif d'une IA française de pointe, dont il est désormais l'une des figures de proue.

En tant qu'ingénieur et chercheur, travailler dans une Gafam (Google, Amazon, Facebook (Meta), Apple et Microsoft), c'est incontournable ?

A l'époque, quand j'ai fait un stage chez Facebook en Californie, dans les années 2010, c'était l'endroit où tout se passait. D'ailleurs, à mon arrivée dans la Silicon Valley, j'étais abasourdi. Tout est fait pour supprimer les barrières à la productivité, pour que ça aille vite. Tu as oublié ton ordi ? On t'en configure un pour la journée.

Et les Américains sont aussi beaucoup plus efficaces dans la recherche. En France, on a fait cette énorme erreur de dire que dès lors que tu as fait plus de trois ans d'études, tu conçois le programme mais tu ne le codes pas. On a cette vision des maths « pures », « belles », séparée de la programmation, de la machine qui est « sale ». Dans la Silicon Valley, tu dois tout savoir faire, c'est la vision « full stack » (savoir développer et faire fonctionner un programme, NDLR).

Aujourd'hui, la culture américaine s'est exportée en France. Et l'informatique est de plus en plus apprise dans les cursus. Mais à mon époque, les gens qui savaient coder l'avaient appris sur leur temps libre. J'ai passé des heures à créer des jeux, à chercher comment contrôler mon ordinateur à distance, etc.

Aujourd'hui, a-t-on des atouts en France dans la recherche sur l'intelligence artificielle ?

La formation française en maths est excellente. Et les écoles françaises sont très connues. Lors de mes entretiens à Facebook, ils connaissaient très bien l'ENS.

Dans la recherche, ce qui est agréable en France, c'est qu'on est « no bullshit ». Les chercheurs français ne vont pas faire croire qu'ils ont découvert des choses extraordinaires s'ils ne sont pas certains de ce qu'ils ont élaboré. Aux Etats-Unis, c'est plus « fake it until you make it » (« fait semblant jusqu'à ce que tu réussisses »), et ça mène à des dysfonctionnements dans la recherche, comme celui de l'entreprise Theranos.

La France devient-elle de plus en plus attractive pour les chercheurs ?

Aujourd'hui, je considère que Paris n'a rien à envier aux autres laboratoires d'intelligence artificielle de Californie ou de New York. Même si OpenAI va continuer à attirer des chercheurs, le laboratoire de Meta à Paris, FAIR, a vraiment créé un fort contrepoids dans le domaine de l'IA, notamment en donnant accès à des cartes graphiques, qui sont le nerf de la guerre, pour avoir une puissance de calcul suffisante pour tester nos idées.

Et le mode de vie est aussi plus agréable à Paris. Dans la Silicon Valley, soit tu habites à San Francisco et tu fais 1 h 30 de transport matin et soir, soit tu vis près des bureaux, et c'est très résidentiel.

300 millions d'euros d'investissement pour Kyutai, c'est suffisant ?

À ce stade, les ressources sont clairement suffisantes. Elles serviront à payer les cartes graphiques, qui peuvent coûter jusqu'à 10.000 euros l'unité, sachant que pour ChatGPT par exemple, il en faut plus de 1.000 (soit 10.000.000 euros, NDLR). D'ailleurs, ces sommes expliquent la prédominance de grands groupes, les seuls capables de mobiliser autant d'argent pour investir rapidement.

D'autant que les salaires des chercheurs sont conséquents…

Cet investissement permettra en effet d'aligner les salaires sur ceux pratiqués dans le secteur. Que ce soit dans les start-up de l'IA ou dans les Gafam, les rémunérations des chercheurs les plus à la pointe peuvent s'établir entre 150.000 et 200.000 euros par an.

Au fait, à quoi va servir ce nouveau laboratoire d'intelligence artificielle Kyutai ?

D'ici septembre 2024, il faut que nous élaborions un outil d'intelligence artificielle, similaire à ChatGPT, mais multimodal : c'est-à-dire qui propose à la fois le texte et l'audio. Ça sera un outil avec lequel on pourra parler et qui sera capable de comprendre notre voix et nos tons et intentions (ironie, colère, joie, etc.). Le but : qu'il réponde de la manière la plus naturelle et intelligente possible.

Vous concernant, pourquoi selon vous, avez-vous été choisi ?

Pour ma spécialité, qui est l'audio génératif dans l'intelligence artificielle. J'ai beaucoup d'expérience pour entraîner des modèles de 'Deep Learning'. On n'est pas très nombreux sur la place parisienne à avoir une expertise sur ce sujet, et une expérience suffisante dans le secteur (Facebook, Google, etc.).

Travailler pour la France, ça a compté dans votre choix de quitter Facebook ?

Je suis très content de repasser sous le giron français et européen. C'est important de gagner en autonomie vis-à-vis des Américains, même s'il ne faut pas se couper du monde. C'est très motivant de montrer que Paris est capable d'innover, d'être un contre-pouvoir à la Silicon Valley et de donner envie aux chercheurs de rester en France et d'acquérir des compétences ici.

Quelles sont les visées commerciales de ce laboratoire ?

Pour l'instant il n'en a pas. Mais difficile de donner une réponse catégorique sur ce qu'il va se passer par la suite.

L'objectif du laboratoire, c'est aussi de former des thésards, pour que de plus en plus de personnes soient qualifiées, en France, sur l'intelligence artificielle, le deep learning, etc. On veut aussi faire des partenariats avec d'autres laboratoires académiques pour stimuler l'écosystème local.

Tout le monde aura accès à vos découvertes, sur le principe de l'open source ?

Verrouiller les découvertes, garder les avancées secrètes, c'est à mes yeux un non-sens parce que ça empêche d'autres innovations. Et ça tient le public éloigné des découvertes, et empêche leur regard critique, nécessaire pour prévenir des risques liés à l'IA.

Aujourd'hui, OpenAI, par exemple, ne divulgue rien. Et énormément de ressources sont dépensées pour tester des choses qui ont déjà été testées et dont on sait qu'elles ne fonctionnent pas. Google, auparavant qui était beaucoup plus portée sur l'open source, s'est beaucoup refermé, et partage moins ses avancées. Pour l'instant, Meta reste engagée dans la diffusion des découvertes.

Dans un an, le public aura accès aux lignes de codes qui auront permis de créer notre modèle d'IA. Chacun pourra le reprendre pour ajouter ses propres briques technologiques.

Peut-on rattraper notre retard par rapport aux Américains ?

D'un point de vue technique, je ne pense pas qu'on soit très en retard. Même si on ne connaît pas les détails de l'algorithme de ChatGPT et on a de bonnes idées de ce qu'ils font. Mais ils ont beaucoup plus de moyens. Quand on regarde la liste des personnes qui ont planché sur GPT4, il y a quatre scientifiques sur chaque aspect de l'outil, qui se relaient 24 heures sur 24 pour vérifier que l'entraînement du modèle ne 'crash' pas. En France, les équipes sont beaucoup plus petites. Ce qui donne aussi l'avantage d'être plus agile. Avec les petites équipes très motivées qui sont en train de se monter en Europe, on a la capacité de les rattraper. Avec Kyutai, on espère être les premiers, d'ici septembre prochain, à avoir créé une intelligence artificielle dotée de langage, de très bonne qualité et ouverte à tous.

Comment faites-vous pour prévenir des risques liés à l'IA ?

Difficile d'apporter une réponse qui va être purement technologique. Il faut développer l'esprit critique de la population.

C'est aussi dans notre programme de recherche de travailler sur des techniques pour identifier les contenus générés par l'IA et les indiquer comme tels sur les réseaux sociaux par exemple. Ça s'appelle le « watermarking ».

Si on réalise un modèle conversationnel, on réfléchit à limiter le nombre de voix, clairement identifiées, pour éviter que le modèle soit trop facilement réutilisé pour reproduire la voix de quelqu'un d'autre.