Le nouveau storytelling numérique de l’Histoire

Malgré ses déboires, la Venice Time Machine de l’École Polytechnique Fédérale de Lausanne a débouché sur une multitude de projets de numérisation de l’histoire des villes européennes. Cette renaissance des sciences humaines crée un socle de données pour une cascade d’innovations technologiques dans la culture et le divertissement.

Mehmet Geren pour Heidi.news | Mehmet est retoucheur et graphiste à Ankara et utilise les méthodes de collage numérique pour introduire de la pop culture aux peintures et chefs d'œuvres classique
Mehmet Geren pour Heidi.news | Mehmet est retoucheur et graphiste à Ankara et utilise les méthodes de collage numérique pour introduire de la pop culture aux peintures et chefs d'œuvres classique

Amsterdam, 22 juillet 2026

Il y a longtemps que le Docteur Leakey espérait ce voyage à Amsterdam. Un test ADN, lui avait appris que ses origines familiales étaient en partie hollandaises. Méticuleux, ce médecin du Colorado avait lu extensivement sur le siècle d’or néerlandais et ses fameux peintres en organisant son voyage. Rien ne l’avait cependant préparé aux émotions qui allaient suivre son entrée, avec sa femme et sa fille, dans la galerie de la «Ronde de nuit» de Rembrandt, au Rijksmuseum d’Amsterdam.

En avançant vers la gigantesque toile de 3,6 mètres par 4,4 représentant le groupe d’arquebusiers emmenés par le capitaine Frans Banninck Cocq, il sortit de sa poche son smartphone qui venait de vibrer. Une notification de l’application du musée l’invitait à écouter un message: «Bonjour Docteur Leakey. Bienvenue dans la galerie de la Ronde de nuit. Pourrions-nous attirer votre attention sur une information qui vous lie personnellement à notre chef d’œuvre?»

Comme en écho, il entendit le «oui» décidé prononcé par sa fille. «Regardez attentivement le personnage au chapeau noir sur la droite, docteur Leakey. Celui qui regarde à droite alors que son bras est tendu vers la gauche», continua la voix dans ses oreillettes alors que l’image du tableau sur son smartphone surlignait un personnage à la barbe légère. «Il s’agit de Rombout Kemp. Il était sergent, diacre et marchand d’habits. Nous avons de bonnes raisons de penser que c’est votre ancêtre. Voulez-vous en savoir plus?»

Capture d’écran 2019-09-21 à 17.29.59.png

Entraîné par l’enthousiasme de leur fille, les Leakey passèrent le reste de la journée non seulement à découvrir Kemp et leurs origines hollandaises mais littéralement à mettre leurs pas dans l’histoire familiale. Reliée à une vaste base de données interconnectées appelée Amsterdam Time Machine, l’application du musée créait une visite entièrement personnalisée de la ville. En commençant par la découverte d’un second portrait de Rombout Kemp, posant parmi les gouverneurs d’une organisation de charité, dans une autre salle du Rijksmuseum.

3A AMSTERDAM TIME MACHINE.PNG
La Time Machine d'Amsterdam reconstitue dynamiquement le passé de la ville à partir de ses documents d'archives.

En suivant la carte 3D créée par l’application, ils se rendirent dans l’église de Nieiuwe Kerk où eurent lieu les funérailles de Kemp en 1653. Devant la maison de Nieuwendjik, où il vécut avec son épouse Elsje, ils eurent droit à la visite virtuelle de l’intérieur familial reconstitué à partir de l’inventaire de l’héritage. Le logiciel de géolocalisation les guida dans les librairies où le calviniste Kemp aimait se rendre, dans la caserne où son fils aîné, Artus, servit à son tour la garde civile comme enseigne… Ils apprirent comment un des descendants de Kemp rejoignit la Compagnie des Indes Occidentales et fut envoyé en Nouvelle Hollande, où il se lança dans le commerce de fourrures avec les Algonquins…

Si vous n’avez jamais entendu parler des Times Machines que les historiens et les informaticiens construisent aujourd’hui en Europe, cette fiction peut vous sembler trop belle pour être vraie. Ce n’est pas le cas. Au contraire, c’est un aperçu du potentiel phénoménal que la préservation numérique du patrimoine offre aux industries culturelles et au tourisme de demain.

Le numérique, les biotechnologies et d’autres innovations font émerger aujourd’hui un domaine à la croisée des disciplines artistiques et culturelles et des technologies. Baptisé «arttech», il offre un terreau déjà fertile. La musique vient d’être révolutionnée par Spotify, le cinéma par Netflix. Ce n’est que le début. Les musées, les bibliothèques et toutes les institutions culturelles qui fonctionnent plus ou moins de la même manière depuis des siècles vont être transformées à leur tour, surtout en Europe.

Library server.jpg
Le projet d'European Time Machine construit le Google de l'héritage des villes européennes en développant de nouvelles technologies numériques.

En effet, grâce à la profondeur et à la diversité de son histoire comme à la vivacité d’industries créatives - qui emploient directement deux fois plus de gens (7,8 millions) que la production automobile (4,4 millions) en Europe (ou que de banquiers à Genève…) - le vieux continent a tous les atouts pour bénéficier de cette opportunité. Mais il faut faire vite:, la Silicon Valley l’a, elle aussi, identifiée.

San Francisco, 21 mai 2019

«Votre ADN offre bien plus que des informations sur vos origines. Il peut aider à préparer votre prochain voyage.» Le teaser du communiqué annonçant l’alliance de l’entreprise de génomique 23andMe avec le géant du logement partagé AirBnB souligne le potentiel de technologies inattendues dans la consommation culturelle.

Directrice de la communication de 23andMe, Christine Pai explique: «Si un client de 23andMe a des origines en Italie du sud, notre nouveau service lui trouvera un trullo dans les Pouilles qui servira de base à l’exploration de ses origines». L’entreprise a développé un service de test génétique grand public indiquant prédispositions médicales et aussi informations généalogiques. Ce service, Ancestry Composition, détermine d’où vient l’ADN d’un client parmi plus de mille régions du monde.

North Africa & Arabia.png
L’entreprise de tests génétiques grand public 23andMe s’est associée à AirBnB pour créer des voyages à la recherche de ses ancêtres. Mais il manque encore l’histoire individuelle de ces ancêtres.

Avec les services concurrents d’Ancestry et de MyHeritage, 30 millions de personnes ont effectué ce type de tests depuis qu’ils sont devenus populaires en 2017. Parallèlement, les voyages à la recherche de son histoire familiale sont tendances, selon AirBnB, qui avance «une augmentation de 500% depuis 2014 du nombre de voyageurs utilisant la plateforme à cette fin.» Marier les deux bases de données pour créer un service capable d’hyper personnaliser un périple paraît ainsi d’une logique commerciale infaillible à l’ère des selfies.

Il manque cependant encore une pièce essentielle à AirBnB et 23andMe pour donner à leurs utilisateurs le genre d’expérience enrichie des Leakey à Amsterdam: les bases de données contenant les millions d’histoires individuelles de nos ancêtres. C’est à Venise qu’il faut commencer de les chercher, en reculant de quelques années.

Venise, 10 novembre 2015

L’ancien président de l’EPFL, Patrick Aebischer (lire son interview sur la création du fonds ArtTech en bonus) avait prévenu: «On ressent quelque chose de physique lorsqu’on découvre les archives de la République de Venise.» En parcourant les 300 salles où documents privés et publics sont rassemblées depuis 1815 dans le couvent de la Basilica of Santa Maria Gloriosa dei Frari, on comprend effectivement «physiquement» l’échelle du défi qu’est le projet de numérisation de ces millions de documents: la Venice Time Machine de l’EPFL. Un peu plus tard dans une salle de l’Université Ca’ Foscari donnant sur le grand canal et le Palazzo Grassi, on découvre son potentiel.

Mise à jour : depuis la publication de cet article, la Venice Time Machine a été lâchée par les Archives d'Etat de Venise et le projet est fortement remis en cause, comme l’a révélé Heidi.news.

Le professeur de l’EPFL Frédéric Kaplan qui mène cette entreprise de numérisation de l’histoire de la Sérénissime joue avec les images: «Big data du passé, Google Earth spatio-temporel, Facebook du Moyen-Age.» Il explique: «Grâce aux milliers de données que nous scannons dans les archives nous pouvons zoomer sur un individu à une date précise. Le suivre d’un registre des naissances à un acte notarié pour retrouver sa maison ou reconstituer sa vie».

gQXzr2zg.jpg
Piloté par l’EPFL et l’Université Ca’Foscari, la Venice Time Machine reconstruit l’histoire de la Sérénissime en numérisant les 80 les kilomètres linéaires d’archives de la ville.

En ce jour de troisième session d’automne du projet qui associe l’université vénitienne, les Archives de la Sérénissime et l’EPFL, les étudiants présentent leurs travaux centrés sur l’année 1740. Eux incarnent la prédiction de l’historien Emmanuel Leroy-Ladurie affirmant en 1968 que «les historiens deviendraient des programmeurs.»

Une première équipe a reconstitué les fonctions des immeubles dans le quartier du Rialto en croisant le recensement foncier (castatici) avec le premier cadastre (sommarione) de la ville, imposé par Napoléon en 1808. Leur «Google Map» révèle, entre autres, l’explosion des boutiques de luxe. Le groupe suivant a extrait des registres fiscaux (savi alle decime) les transactions d’un échantillon de hauts fonctionnaires pour bâtir un LinkedIn de leurs relations. Un autre groupe a utilisé le registre des décès durant la semaine de carnaval puis celle suivante de carême pour établir des liens entre causes de mortalité et comportements sociaux.

«Les Vénitiens documentaient tout», explique Frédéric Kaplan. «Au XVIIème siècle, au pic de prospérité de la ville, avec une population d’environ 160 000 personnes (trois fois celle d’aujourd’hui), la moitié des emplois étaient dans l’administration. Il y avait des magistrats pour tout. Pour s’y retrouver dans cette paperasserie tentaculaire, ils avaient développé des systèmes d’information, associant des mots et des nombres d’un registre à l’autre.»

7eDV3KQm.png
La Venise Time Machine utilise l’intelligence artificielle pour lire, indexer et rendre consultable le contenu de milliers de monographies manuscrites.

Frédéric Kaplan et son équipe transforment ces liens de papiers en hyperliens internet. Ils ont développé des algorithmes d’intelligence artificielles qui lisent les écritures manuscrites pour, par exemple, suivre un nom propre d’un acte de propriété à un registre fiscal. Leurs moteurs de recherche sont augmentés de curseurs temporels afin de choisir une date pour visiter ce passé d’une incroyable densité.

La Venice Time Machine ne se contente pas de relier les données pour faire remonter le fourmillement des histoires individuelles. Sur son PC, l’historienne de l’art Isabella di Leonardo montre aussi son modèle de simulation urbaine. Il associe les plans des cadastres avec des peintures, des croquis d’architectes et des photos pour reconstituer en 3D la construction même de Venise au fil des siècles.

Pour Frédéric Kaplan, il est clair que ces technologies, tout comme celles des scanners circulaires qui numérisent les livres ou celle des rayons x développée à l’Université d’Erlangen pour lire des ouvrages fragiles sans les ouvrir, ont une vocation universelle. N’importe quelle ville peut se servir des mêmes techniques. C’est toute l’idée de l’European Time Machine et de la communauté de quelques 400 chercheurs et entreprises qui se sont retrouvés pour mettre en route ce projet en mai dernier.

Amsterdam, 4 mai 2019

Uniquement accessible depuis la ruelle couverte d’un marché de vieux livres, la cour Minerve de l’Ouidemanhuispoort, aujourd’hui une partie de l’Université d’Amsterdam, résonne d’excitation. C’est la première réunion du consortium de l’European Time Machine depuis la sélection du projet deux mois plus tôt parmi les six finalistes d’un financement «Flagship» d’un milliard d’euros sur dix ans. L’optimisme est tangible.

Le choix d’Amsterdam pour cette conférence n’est pas un hasard. La ville a sa propre Amsterdam Time Machine. «En 2016, nous avons invité Frédéric Kaplan pour qu’il présente son travail à Venise lors d’une conférence à l’Université d’Amsterdam», explique Julia Noordegraaf, professeur d’Héritage numérique au département des études médias de l’Université d’Amsterdam. «Nous avons été soufflés.» Et inspirés, deux ans après avoir lancé un premier projet de «LinkedIn du marché de l’art au siècle d’or néerlandais».

La prospérité d’Amsterdam reposant sur son succès commercial, les 50 kilomètres d’archives de la ville contiennent des millions d’actes notariaux extrêmement détaillés. «Tout le monde avait affaire aux notaires à un moment de sa vie, poursuit Julia Noordegraaf. Les inventaires de biens recèlent des informations précises y compris sur les peintures. Démarrant en 1550, nos archives sont un peu moins profondes que celles de Venise. Mais en ajoutant d’autres sources telles que baptêmes, mariages, etc… nous avions assez de données pour lancer l’Amsterdam Time Machine.»

Le résultat est impressionnant. La métabase de données nommées ALiDA qui rassemble les différentes sources dans un format unifié de données interconnectées compte 630’000 scans d’actes notariés comportant plus d’un million et demi de noms propres reliés à sept autres index des archives de la ville (500’000 actes de mariage, 1,2 millions de baptêmes…) Reliés aux actes de commerce ou à la base de données Ecartico avec ses 47’422 personnes liés aux industries culturelles entre 1475 et 1740, ces données font revivre l’ensemble des interactions sociales de la ville entre le XVe et XVIIIe siècle.

L’outil AdamLink permet même de suivre l’évolution année après année de 6500 rues. «C’est comme cela que je me suis rendu compte que je vis dans un ancien cinéma, ce qui est ironique car je suis historienne du cinéma», explique Julia Noordegraaf. Avec l’Institut Huygens et la municipalité d’Amsterdam, elle développe maintenant une interface pour reconstruire en images virtuelles l’histoire des intérieurs sur la base des actes notariés.

2A VIRTUAL INTERIORS.PNG
A l'Université d'Amsterdam, l'équipe de la professeure Julia Noordegraaf mène un projet de numérisation des intérieurs sur la base des actes notariés. Copyright: Virtual Interiors, Chiara Piccoli (University of Amsterdam).

Pour Julia Noordegraaf comme pour les autres représentants du consortium de l’European Time Machine (400 organisations dans 34 pays), l’expérience de Venise est un formidable gain de temps. Cela les rend confiants sur les chances de leurs propres projets de Lisbonne à Oslo, d'Istanbul à Dublin.

Et cela, malgré un gros revers.

Quelques jours après la réunion d’Amsterdam, l’Union Européenne décide, en effet, de simplifier ses mécanismes de financement de la recherche en supprimant les programmes FET Flagship et leur milliard symbolique. Cela ne coule toutefois pas le projet européen porté par l’enthousiasme des chercheurs impliqués. «C’est tellement excitant, nous le ferons de toute manière», confiait Julia Noordegraf peu après.

En bon cartésien, Frédéric Kaplan met lui en avant les recherches en intelligence artificielle qui avanceront en analysant ces immenses bases de données non structurées. «C’est le même genre de big data social qu’utilise un Facebook pour entraîner ses programmes de machine learning», compare-t-il. Sa confiance est renforcée par le démarrage de Time Machines dans plus d’une vingtaine de villes qui les soutiennent déjà financièrement à l’instar de Jérusalem, Nuremberg, Anvers, Utrecht, Naples, Paris, Dresde…

Alors que nous traversions un pont d’Amsterdam, Frédéric Kaplan s’est arrêté net lorsque je lui ai mentionné l’idée d’un tourisme basé sur les time machine et l’analyse d’ADN. «C’est drôle que vous disiez cela car nous avons initié des contacts avec une organisation mormone qui gère des index généalogiques aux États-Unis.» Frédéric Kaplan sait bien que si les Time Machines sont importantes pour les chercheurs en sciences humaines, les politiciens qui financent leurs recherches en attendent aussi des résultats économiques.

C’est devant un bière à la fin de la journée qu’Harry Verwayen, le directeur d’Europeana –la base de données de 60 millions d’objets culturels numérisés partenaire de l’European Time Machine– ouvre une des pistes les plus prometteuses à ce sujet. «Ces time machines serviront de support et d’inspiration aux mondes miroirs que les technologies de réalités virtuelles, mixtes et augmentées commencent à créer.» Exact et ce sera le sujet du prochain épisode de notre exploration sur l’arttech.