Ingestion de la données

Le composant Data ingestion couvre 2 moyens de faire entrer des données dans la plateforme, en permettant la pose de labels.

Une IHM "Data ingestion" est disponible via le portail métier (accessible aux utilisateurs dont le profil le permet).

Importer des données métier

En entrée, le processus Importer des données est alimenté par un besoin d'importer de façon ponctuelle des données venant de l'extérieur de la plateforme.

Il s'agit, pour un utilisateur métier d'importer des fichiers de données à destination d'un espace de stockage.

On parle d'Import de Données Utilisateur : IDU

Dans l'IHM de Data ingestion, un onglet permet à un utilisateur ayant les droits de configurer des "Espaces d'import", un autre onglet "Imports" permet d'importer les données avec l'aide des espaces d'import ou bien en mode avancé.

Voir les procédures IDU

Ingestion de données depuis une source externe

En entrée, le processus Ingérer des données est alimenté par un besoin d'importer, en continu, pour les besoin d'une application métier ou d'un traitement, des données provenant d'une source extérieure à la plateforme.

Dans l'IHM de Data ingestion, un onglet permet à un utilisateur ayant les droits de configurer des "Sources externes" (parfois appelé Gestionnaire De Sources : GDS) :

• les données situées à l'extérieur de la plateforme (accessibles via sftp, http, s3 ou jdbc) vont être lues et déposées dans un EDS de type source de la plateforme
• l'EdS où les données sont déposées (un bucket s3) est appelé un EdS 'source'
• les données brutes déposées dans cet EdS pourront alors être traitées via un traitement du datapipeline, une application ou exploitées via le datalab ou la dataviz.

Voir les procédures GDS

Prérequis

Dans les 2 cas, l'espace de stockage cible doit exister :

• il a été créé au préalable et il a été spécifiquement identifié comme pouvant être alimenté avec des données externes (EDS source)
• l'utilisateur via ses attributs et la politique ABAC sur les espaces de stockage est autorisé à utiliser cet EDS

Voir le process sur les EdS.

Supervision

Un rapport ingestion est consultable dans Grafana pour un utilisateur ayant les droits.