Le centre de données du Jumeau Numérique

Les Jumeaux Numériques sont considérés comme des innovations, fournissant une réplique virtuelle des actifs du monde réel et de leur environnement. Ils offrent de nombreux avantages dans divers secteurs, y compris le secteur de la construction. Cependant, de nombreux utilisateurs manquent d’informations sur le processus de création de Jumeaux Numériques. Dans cette série, nous allons voir comment y parvenir. Alors que l’article précédent portait sur les prérequis, cet article se penchera sur le centre de données et les modèles de données du Jumeau Numérique.  

Plateforme technique  

La plateforme technique est le cœur du Jumeau Numérique et est consitutuée de composants logiciels pour gérer des tâches telles que le stockage, le traitement et la gestion des données. Ces composants sont les éléments constitutifs de l’infrastructure du Jumeau Numérique : 

• Hébergement et déploiement : la base de l’infrastructure du Jumeau Numérique est établie sur une plateforme cloud alimentée par Google Kubernetes Engine (GKE). L’environnement cloud organise les ressources de manière dynamique, en s’adaptant à l’utilisation du Jumeau Numérique. En parallèle, Docker est utilisé pour empaqueter des logiciels, en veillant à ce que tous les composants techniques puissent fonctionner ensemble. 

• Sécurité : Assurer la sécurité ainsi que la confidentialité des informations et des données sensibles au sein de la plateforme technique est essentiel. Des composants de sécurité robustes sont intégrés afin de se protéger contre les cybermenaces et les accès non autorisés. Les rôles des utilisateurs sont personnalisables, c’est-à-dire  que les différentes sections de l’infrastructure du Jumeau Numérique ne peuvent être rendues accessibles qu’à certaines personnes. Ceci permet de respecter les normes ISO en matière de sécurité numérique. 

• Open source : les logiciels open source ont un accès public à leur code source, ce qui permet de l’inspecter, de le modifier et de l’améliorer selon les besoins. La plateforme du Jumeau Numérique de Sogelink utilise également un logiciel open-source, permettant une adaptabilité aux exigences spécifiques. Outre les logiciels open source, nous utilisons également d’autres méthodes de collecte de données, telles que les archives de données et les données de capteurs. Pour en savoir plus, consultez notre article sur les exigences relatives au Jumeau Numérique.  

• Normes ouvertes : Les normes ouvertes sont des éléments importants pour le fonctionnement efficace d’un Jumeau Numérique. Par exemple, les normes relatives aux formats de données, aux métadonnées, aux catalogues de données et à l’échange de données garantissent la cohérence et la compatibilité entre les différents systèmes. L’infrastructure du Jumeau Numérique est construite sur des normes ouvertes, facilitant le traitement et l’utilisation des données de manière transparente. Bon nombre des normes de données géospatiales sont maintenues par l’ Open Geospatial Consortium (OGC) 

Le stockage des données du Jumeau Numérique

Les données constituent le cœur du Jumeau Numérique et la problématique de leur stockage se pose. Il existe de nombreux types de bases de données, chacune ayant ses propres avantages. Le choix d’une base de données dépend de facteurs tels que les formats de données et l’utilisation prévue : 

• Stockage d’objets : les données, telles que les tuiles 3D, peuvent être stockées sous forme de fichiers, d’images ou de formats textuels tels que CSV ou JSON. Ces objets de données sont hébergés dans des compartiments de stockage cloud, ce qui offre une flexibilité d’évolutivité. 

• Données relationnelles : structurées sous forme de tableau avec des colonnes et des lignes, les bases de données relationnelles sont utilisées pour stocker des données relationnelles. PostgreSQL est un système de base de données open source conçu à cet effet. Il offre des extensions pour optimiser le stockage de divers types de données, notamment PostGIS pour les données géospatiales, h3 pour les grilles hexagonales et pgvector pour les applications d’IA. 

• Données en temps réel : Les données en temps réel, collectées et traitées en continu par des capteurs, jouent un rôle important dans la création de jumeaux numériques. Ces données offrent des informations en direct sur les actifs physiques ou fournissent d’autres informations telles que la densité du trafic ou l’état de la météo. Hydra est une extension de PostgreSQL pour stocker efficacement des données de séries chronologiques en colonnes pour des requêtes rapides. Les données de séries chronologiques peuvent également être stockées dans des fichiers Parquet pour faciliter l’exportation tout en réduisant fortement l’utilisation du stockage. 

• Données vectorielles : les données vectorielles font référence à la conversion de données en vecteurs numériques. pgvector est une extension de PostgreSQL pour les stocker. Largement utilisées dans des domaines tels que le traitement du langage naturel, les bases de données vectorielles sont optimisées pour le stockage et l’interrogation de ces vecteurs. 

Gestion des données du Jumeau Numérique 

Plus la quantité de données augmente, plus il est difficile de garder une vue d’ensemble claire. La gestion des données de Jumeau Numérique consiste à suivre la qualité des données, la traçabilité et d’autres métadonnées. En utilisant les principes FAIR (Faciles à trouver, Accessibles, Interopérables, Réutilisables), nous nous assurons que les données restent bien organisées et utilisables. 

Les jeux de données du Jumeau Numérique sont systématiquement catalogués avec leurs métadonnées. Celles-ci fournissent des informations telles que les licences, la qualité et leur structure. Les métadonnées jouent un rôle important dans le suivi des données et le partage des jeux de données. 

Les outils du Jumeau Numérique

Une fois la plateforme technique prête et les données recueillies, elles doivent être traitées pour les besoins du Jumeau Numérique. Ceci peut être réalisé en utilisant une approche centrée sur les données. Il s’agit d’en tirer le meilleur parti possible grâce à diverses méthodes, notamment la fusion de données existants pour en générer de nouvelles, et l’application de techniques de modélisation et d’apprentissage automatique pour générer de nouvelles informations :  

• La fusion de données de sources différentes : l’objectif est de les combiner pour créer un nouveau jeu de données plus complet. Par exemple, les modèles de bâtiments 3D sont issus d’une combinaison entre les données de nuages de points et les empreintes de bâtiments. 

• L’Intelligence Artificielle (IA) et le Machine learning (ML) sont de plus en plus utilisés dans le monde de la géo-informatique pour analyser de grandes quantités de données. Le ML, un sous-ensemble de l’intelligence artificielle (IA), permet aux ordinateurs d’apprendre à partir de données sans programmation. Les algorithmes de ML sont capables de faire des prédictions basées sur des modèles appris. Ils peuvent détecter des objets dans des images ou prévoir des événements futurs en fonction de données historiques. Par exemple, le ML peut identifier les fenêtres à partir d’images aériennes et intégrer ces informations dans un ensemble de données de bâtiment, ce qui peut s’avérer intéressant pour calculer la consommation d’énergie d’une maison. 

• La Modélisation prédictive permet de simuler et de prédire le comportement d’un système. Les modèles sont essentiellement des calculs qui peuvent être utilisés pour tester différents scénarios dans différentes conditions. Par exemple, les modèles peuvent prédire la stabilité des infrastructures dans différents scénarios. Dans le contexte des villes intelligentes, les modèles d’IA peuvent prévoir les flux de personnes dans les transports publics et la circulation.

Processus de traitement des données

Au sein de l’infrastructure du Jumeau Numérique, les données circulent entre les sites de stockage et les outils de traitement. L’ensemble de ce processus de transfert est communément appelé ETL : Extract, Transform, Load (Extraire, Transformer, Charger). L’objectif est de s’assurer que les processus ETL fonctionnent de manière fluide et efficace. Voici quelques exemples de traitement des données par un Jumeau Numérique.  

• Géoréférencement : il existe un grand nombre de systèmes de coordonnées de référence. L’alignement de toutes les données sur le même système de coordonnées (c’est-à-dire le géoréférencement) est nécessaire pour s’assurer que toutes les données du Jumeau Numérique peuvent être utilisées ensemble. Le GDAL, une bibliothèque open source robuste pour le traitement des données géospatiales, est très utile pour convertir les données en divers systèmes de coordonnées et formats géographiques. 

• Conversion de données 3D: pour faciliter leur visualisation, les données sont converties en formats 3D. PostGIS est un outil pratique pour construire des géométries 3D dans une base de données PostgreSQL. Sogelink Research utilise des outils personnalisés, tels que pg2b3dm et i3dm.export, pour convertir directement les données 3D des bases de données PostgreSQL en formats 3D standardisés. 

• Processus ETL automatisés : les processus ETL peuvent être complexes à cause de la différence entre les données en entrée et en sortie. L’automatisation de ce processus ETL permet d’éviter les erreurs et de maintenir les données à jour. Mage est un outil permettant de réaliser cette automatisation pour extraire les données d’une source, les transformer, puis les charger dans une base de données. De plus, il facilite la planification à intervalles réguliers pour maintenir l’actualisation des données. 

Les API et services du Jumeau Numérique 

Une fois les données stockées, traitées et gérées, elles ne s’intègrent pas automatiquement dans le Jumeau Numérique. La dernière étape consiste à les rendre accessibles aux utilisateurs. Ceci est réalisé grâce aux API, qui sont des composants logiciels facilitant la communication et l’échange de données entre les applications : 

• Web API : les outils de traitement des données peuvent être intégrés dans un framework web pour permettre des requêtes basées sur HTTP. Grâce à cela, les algorithmes de modélisation et de simulation sont accessibles directement via le web. Cela signifie que les utilisateurs finaux peuvent exécuter des simulations en temps réel. 

• API de base de données : les bases de données peuvent également être interrogées directement via le Web. Les API comme PostGraphile, pg_featureserv et le proxy d’Observable permettent la communication avec PostgreSQL pour faciliter la récupération de données à la demande à partir de la base de données.  

• OGC Web Map Services: OGC Web Map Services (WMS) et Web Map Tiled Services (WMTS) sont des protocoles standard établis par l’Open Geospatial Consortium (OGC) pour le partage de couches cartographiques 2D en ligne. Ces services sont couramment utilisés dans les systèmes SIG pour demander et recevoir des images cartographiques à partir de serveurs distants. GeoServer est un outil open source utilisé pour publier des données géospatiales sous forme de services Web. 

• Tiled Map Services: des alternatives telles que Cloud Optimized GeoTIFF (COG), MBTiles et PMTiles s’appuient sur les couches cartographiques de manière évolutive et rentable sans nécessiter de gestion côté serveur. 

• L’API OGC SensorThings: il s’agit d’une norme permettant d’accéder aux données des capteurs IoT. Développée par l’ Open Geospatial Consortium (OGC), cette API fournit une méthode ouverte et unifiée pour connecter des appareils et des applications IoT sur le Web. FROST-Server, une implémentation open-source de l’API SensorThings, facilite l’intégration des données des capteurs en temps réel pour la plateforme de Jumeau Numérique de Sogelink. 

À retenir  

• Le cœur du Jumeau Numérique, sa plateforme technique, gère le stockage et le traitement des données. En résumé, c’est l’épine dorsale qui garatnit un traitement efficace et sécurisé des données pour des performances optimales. 

• La gestion des données dans le Jumeau Numérique est importante à mesure que le volume augmente. L’adhésion aux principes FAIR (Facilement trouvables, Accessibles, Interopérables, Réutilisables) garantit des données organisées et utilisables.  

• La fusion de données combine les sources de données disponibles pour obtenir de nouvelles informations, comme la fusion de nuages de points et de données d’empreinte de bâtiments pour les modèles 3D. L’apprentissage automatique analyse de grands ensembles de données, identifie des objets dans des images ou prévoit des événements. La modélisation prédictive simule le comportement du système, aidant à la prédiction de la stabilité des infrastructures et à la planification urbaine dans les villes intelligentes. 

• Dans l’infrastructure Digital Twin, les données circulent de manière transparente entre les outils de stockage et de traitement via des processus ETL (Extract, Transform, Load).  

• L’accessibilité des données est importante, grâce à des API facilitant la communication entre les applications.  

FAQ 

1. Qu’est-ce que le centre de données du Jumeau Numérique ?

Le centre de données du Jumeau Numérique est le cœur du Jumeau Numérique, responsable de la gestion du stockage, du traitement et du service des données au sein d’une plate-forme technique. 

2. Quels sont les éléments clés de la plateforme technique ?

La plateforme technique comprend l’hébergement et le déploiement sur un environnement cloud, des fonctionnalités de sécurité robustes, l’utilisation de logiciels et de normes open source, et l’intégration de technologies d’IA et de Machine Learning. 

3. Comment les données sont-elles stockées dans le centre de données Digital Twin ?

Le stockage de données englobe différents types tels que le stockage d’objets pour les fichiers, les bases de données relationnelles comme PostgreSQL, le stockage en colonnes pour les données en temps réel et les bases de données vectorielles optimisées pour les algorithmes d’IA. 

4. Comment les données sont-elles gérées au sein Jumeau Numérique ?

La gestion des données respecte les principes FAIR (Facilement trouvables, Accessibles, Interopérables, Réutilisables), cataloguant systématiquement les ensembles de données avec des métadonnées, selon des normes telles que ISO-19115 pour les métadonnées géospatiales, et tirant parti de l’IA pour améliorer les recherches de jeux de données. 

Visitez notre FAQ sur le Jumeau Numérique si vous avez d’autres questions