User Guides

Consulter un EdS

La page d'accueil de l'IHM EdS affiche la liste paginée des EdS autorisés (selon la politique ABAC du socle) pour l'utilisateur connecté. Il est possible de se déplacer dans la liste avec les boutons de pagination en bas de la page.

Il est également possible de faire une recherche textuelle sur les champs Nom et Description, en saisissant le texte à rechercher dans la zone de saisie en haut à droite de la page.

Il est enfin possible de filtrer/trier les EdS en cliquant sur les entonnoirs/flèches en regard des en-têtes de ces colonnes. Le bouton Réinitialiser permet de réafficher tous les EdS.

Consulter le détail d'un EdS

1. Rechercher l'EdS souhaité par une des méthodes indiquées dans la procédure "Consulter un EdS" ;
2. Cliquer sur la ligne de l'EdS ;
3. Un panneau s'affiche à droite de la page contenant les détails de l'EdS et permettant certaines actions sur l'EdS: modifier le nom, la description, les attributs, gérer les comptes techniques, gérer les politiques d'accès aux données et activer/désactiver/supprimer l'EdS.

Créer un EdS

1. Cliquer sur le bouton Créer en haut à droite de la page.
2. Sur la page Paramètres généraux saisir un nom, une description (optionnelle). Un nom technique est généré, il est possible de le modifier (en ne mettant ni majuscule ni espace ni caractère spécial). Dans les listes déroulantes, choisir la technologie de l'espace de stockage et l'environnement sur lequel sera déployé l'EdS. Cliquer ensuite sur le bouton Etape suivante.
3. Sur la page Définition de l'EdS saisir les paramètres techniques de l'EdS. Voir ci-après le détail par type d'EdS.
4. Sur la page Attributs saisir les éventuels attributs. Chaque attribut se présente sous la forme d'une liste déroulante avec les valeurs possibles, une étoile à côté du nom de l'attribut indiquant un attribut obligatoire. Il s'agit des attributs du référentiel de labels pour le 'socle' (kosmos).
5. Sur la page Métadonnées saisir les éventuelles étiquettes. La page contient une zone de saisie dans laquelle il faut saisir chaque étiquette sous la forme clef: valeur suivie de la touche Entrée du clavier.
6. Une fois les attributs et étiquettes saisis cliquer sur le bouton Terminer.

Détail des paramètres techniques par type d'EdS

Kafka

A la création d'un EdS de type Kafka, S-EDS crée un topic correspondant au nom de l'EdS, et affecte des permissions pour accéder à tous les topics ayant le nom de l'EdS comme préfixe. A la suppression de l'EdS, seul le topic initialement créé par S-EdS est supprimé.

Les paramètres techniques sont les suivants :

• Configs: éléments de configuration Kafka supplémentaires, chaque élément étant constitué d'une clef (Key) et d'une valeur (Value). Exemple: Key: max.message.bytes, Value: 128000.
• Group: nom du groupe de consumers Kafka qui accédera au topic (valeur par défaut: <nom de l'EdS>-group).
• Source: paramètre à positionner à true (bouton activé) si l'EdS doit être accédé par l'application IDU (Import de Données Utilisateur) ou GDS (Gestionnaire Des Sources externes).
• Partitions: nombre de partitions du topic.
• Replications: nombre de réplicas du topic.

Saisie des paramètres :

• Renseigner les champs Group, Partitions, Replications
• Activer le bouton Source selon le cas.
• Pour ajouter des paramètres de configuration Kafka, cliquer autant de fois que de paramètres sur le bouton Ajouter en regard du champ Config et saisir les clefs et valeurs des paramètres.

OpenSearch (préfixe d'index)

L'espace de stockage est un préfixe d'index qui peut contenir plusieurs index = suffixes d'index. Les noms des index sont constitués par la concaténation du préfixe et du suffixe.

Par exemple, si pour une application nous avons besoin de 2 index : myapp-liste et myapp-reference, nous créerons un EdS myapp (c'est le préfixe) avec 2 suffixes : -list et -reference.

Les paramètres techniques sont les suivants :

• Indices: liste des index (suffixes du préfixe d'index) OpenSearch à créer, chaque élément ayant les paramètres suivants :
  • Suffixe: suffixe du nom d'index, le nom de l'index étant constitué de la concaténation du nom de l'EdS et du suffixe ;
  • Projet: chemin du dépôt GIT du fichier de définition de l'index ;
  • Revision: branche ou tag dans le dépôt GIT du fichier de définition de l'index ;
  • Chemin: répertoire et nom du fichier de définition de l'index.

Si un Indice est ajouté, seul le paramètre Suffixe est obligatoire, les autres paramètres permettent de spécifier un fichier contenant la définition (mapping) de l'index.

Saisie des paramètres :

• Cliquer autant de fois que d'index sur le bouton Ajouter en regard du champ Indices.
• Dans la zone de saisie Suffixe, saisir le suffixe du nom d'index.
• Les trois zones de saisie Projet, Revision et Chemin permettent de saisir les paramètres du fichier de mapping qui se trouve dans gitlab, avec des valeurs suggérées par l'IHM en fonction de ce qui est saisi par l'utilisateur. La zone de saisie Projet permet de faire une recherche en saisissant au moins 3 caractères du nom du projet.

info

Il est possible de compléter la définition d'un index avec des datastream et des traitements : voir le guide d'administration au chapitre opensearch.

OpenSearch (script)

Les paramètres techniques sont les suivants :

• Projet : chemin du dépôt GIT du fichier de définition du script ;
• Revision: branche ou tag dans le dépôt GIT du fichier de définition du script ;
• Chemin: répertoire et nom du fichier de définition du script.

Saisie des paramètres :

• Les trois zones de saisie permettent de saisir les paramètres du fichier du script, présent dans un dépôt GIT, avec des valeurs suggérées par l'IHM en fonction de ce qui est saisi par l'utilisateur ;
• La zone de saisie Projet permet de faire une recherche en saisissant au moins 3 caractères du nom du projet.

PostgreSQL

Les paramètres techniques sont les suivants :

• Instance : nom de l'instance sur laquelle créer l'EdS ;
• Extensions : liste des extensions PostgreSQL disponibles pour cette instance ;
• Scripts : un ou plusieurs dépôts GIT permettant de spécifier chacun un ou plusieurs fichiers d'initialisation de la base (DDL), permettant par exemple de créer des tables ; Chaque élément de ce type contient les champs suivants :
  • Le nom du dépôt GIT. Par exemple : projets/global/athea/myapp/eds/eds-files ;
  • Version: le tag ou la branche du dépôt GIT à utiliser ;
  • Chemin : répertoire contenant les fichiers DDL ;
  • Fichiers : nom du ou des fichiers par rapport aux dépôt et chemin du dépôt GIT. Les fichiers disponibles sont proposés et peuvent être ordonnés (l'ordre d'éxécution sera celui de la liste).

Saisie des paramètres :

• Sélectionner l'instance dans la première liste déroulante ;
• Sélectionner les extensions souhaitées dans la deuxième liste déroulante ;
• Les trois zones de saisie projet GIT, Version et Chemin permettent de saisir les paramètres du dépôt GIT, avec des valeurs suggérées par l'IHM en fonction de ce qui est saisi par l'utilisateur. La zone de saisie du nom du projet GIT permet de faire une recherche en saisissant au moins 3 caractères du nom du projet ;
• La partie Fichiers donne la liste des fichiers disponibles correspondants aux paramètres saisis et permet de sélectionner un ou plusieurs fichier(s), et de les ordonner ;
• Si les fichiers sont dans des dépôts différents cliquer à nouveau sur le bouton Ajouter en regard de Scripts.

ClickHouse

Un EdS ClickHouse contient un paramètre technique Scripts qui est semblable au paramètre Scripts de l'EdS PostgreSQL (voir [ci-dessus(#PostgreSQL)]).

S3

Il n'y a qu'un paramètre technique: Source à positionner à true (bouton activé) si l'EdS doit être accédé par l'application IDU (Import de Données Utilisateur) ou GDS (Gestionnaire Des Sources externes).

vStore

Les paramètres sont les suivants :

• fichiers de policies : les règles de filtrage à appliquer ;
• fichiers de models : le modèle de données stockées.

Saisie des paramètres :

• projet git : url du projet git dans lequel sont les fichiers de policies et models ;
• révision : tag ou branche du projet git ;
• chemin : chemin dans le projet git vers les fichiers concernés ;
• fichiers : liste des fichiers. Pour chaque fichier, fournir son type (fichier de policies ou de models), son nom et éventuellement les informations de projet, revision et path git si elles diffèrent de ce qui a été fourni plus haut (il est conseillé tout de même d'avoir tous les fichiers d'un même EdS vstore dans le même projet git).

Remplir les informations git (url, révision et path) dans les 3 premières cases puis cliquer sur + Ajouter pour ajouter autant de fichiers que nécessaire. Pour chaque ficher, le menu déroulant à droite permet de dire si il s'agit d'un fichier de model ou de policy. Si le fichier est contenu dans le repository renseigné au début du formulaire, laisser le cadenas ouvert et renseigner son nom par rapport au path rempli dans la case Chemin.

Si le fichier est dans un autre repository, cliquer sur le bouton Cadenas pour le verrouiller puis remplir les informations d'url de révision et de chemin git. Il faut renseigner le chemin complet (inclure le nom du fichier) du fichier concerné.

info

Les namespaces vstore doivent correspondre au nom de l'EdS qu'ils décrivent. Pour pouvoir avoir des fichiers de model ou policy réutilisables vous pouvez utiliser la templatisation suivante qui sera correctement interprétée. Les entités ne doivent pas porter le nom d'une autre entité existante dans le moyen de stockage. Pour s'assurer de l'unicité, il est recommandé d'utiliser la templatisation suivante. De plus, le nom des entités peut contenir un underscore mais ne peut pas contenir de tiret.

Pour un model :

version: 1
namespace: {{ .Namespace }} # = retourne le nom technique de l'eds
entities:
- id: {{ .Namespace }}_<name> # le nom de l'entité sera <nomtechnique eds>_<name>, vous pouvez choisir la valeur que vous souhaitez pour le nom
  [...]

Pour une policy :

id: {{ .Namespace }}_<policy name> # Permet de générer un nom de policy préfixée du nom technique de l'eds.
namespace: {{ .Namespace }} #  = retourne le nom technique de l'eds.
actions: [...]

Résultat attendu

Un message apparaît sur fond vert indiquant que l'espace de stockage est en cours de création. Cliquer alors sur le bouton Fermer pour revenir sur la liste des EdS.

L'EdS créé apparaît dans la liste. Il peut être dans un statut 'pending' tant que la création n'est pas terminée.

Il devient ensuite 'ready' lorsque la création est terminée sans erreur.

En cas d'erreur (peut se produire s'il y a une erreur dans un script SQL par exemple), l'EdS doit être supprimé puis re-créé après correction de l'erreur.

Gérer les comptes techniques d'un EdS

Le service EdS permet de gérer des comptes techniques pour un EdS, après que celui-ci ait été créé.

info

Cette fonctionnalité n'est pas disponible avec tous les types d'EdS, seuls les types qui le supportent proposent cette fonctionnalité.

Affichage des comptes techniques

1. Afficher les détails de l'EdS souhaité par une des méthodes indiquées dans la procédure "Consulter le détail d'un EdS".
2. Cliquer sur le lien Gérer en regard du libellé Comptes techniques.
3. Le panneau de droite affiche la liste des comptes techniques associés à l'EdS (s'il y en a), et un bouton Créer.

Création d'un compte technique

1. Cliquer sur le bouton Créer au dessus de la liste des comptes techniques.
2. Saisir un nom et une description.
3. Cliquer sur le bouton Créer.
4. La fenêtre affiche les éléments du compte technique créé: nom d'utilisateur, mot de passe, endpoint.

Attention

Ces informations ne seront plus disponibles par la suite, il est donc important de les copier à partir de cette fenêtre.

Les permissions associées aux comptes techniques sont les suivantes :

• PostGreSQL (périmètre de la database) :
  • compte ReadOnly (RO) : SELECT ;
  • compte ReadWrite (RW) : tous les droits ;
• S3 (périmètre du bucket) :
  • compte ReadOnly : ListBucket, GetBucketLocation, GetObject, GetObjectTagging ;
  • compte ReadWrite : PutObject, PutObjectTagging, DeleteObject, GetBucketLocation, GetObject, GetObjectTagging, ListBucket, ListBucketMultipartUploads ;
• OpenSearch :
  • compte ReadOnly :
    • sur le cluster : cluster:monitor/state, cluster:monitor/health, cluster:admin/script/get ;
    • sur tous les index : indices:monitor/settings/get, indices:monitor/stats ;
    • sur les index de l'EdS : read,indices:admin/get ;
  • compte ReadWrite :
    • sur le cluster : cluster:monitor/state, cluster:monitor/health, cluster:admin/script/get, indices:data/write/bulk, indices:data/read/scroll, indices:data/read/scroll/clear ;
    • sur tous les index : indices:monitor/settings/get, indices:monitor/stats ;
    • sur les index de l'EdS : indices_all .
• ClickHouse (périmètre de la database):
  • compte ReadOnly: SELECT
  • compte ReadWrite: SELECT,INSERT,ALTER,CREATE TABLE,CREATE VIEW,CREATE DICTIONARY,TRUNCATE,SHOW

Suppression d'un compte technique

1. Cliquer sur l'icône Supprimer à droite sur la ligne du compte technique dans la liste.
2. Valider la demande de confirmation.
3. Le compte technique disparait de la liste, et n'est plus utilisable pour accéder à l'EdS.

Désactiver un EdS

attention

Si un EdS est utilisé par une application ou un traitement, sa désactivation va entraîner des disfonctionnements puisque l'EdS ne sera plus accessible.

1. Afficher les détails de l'EdS souhaité par une des méthodes indiquées dans la procédure "Consulter le détail d'un EdS"
2. Dans le panneau du détail de l'EdS cliquer sur le bouton en bas "Désactiver"
3. L'EdS passe à l'état "Disabled/Pending" puis "Disabled/Ready" dans le panneau du détail de l'EdS et dans la fenêtre principale de l'IHM EdS. Dans le panneau du détail de l'EdS le bouton en bas est remplacé par un bouton "Activer" et un bouton "Supprimer". Le premier bouton permet de réactiver l'espace de stockage, le second de le supprimer.

Lorsqu'un EdS est désactivé, les applications et traitements ne peuvent plus l'utiliser :

• l'EdS n'est plus proposé dans les IHM où un EdS est à choisir (IDU, datapipeline, ...)
• les requêtes sur les données sont en échec (les IAD renvoient une erreur d'accès aux données)

info

Les EdS utilisés via leur comptes d'accès générés depuis l'IHM restent fonctionnels même pour un EdS désactivé.

Supprimer un EdS

La suppression n'est possible que si l'EdS a été désactivé au préalable.

Attention

La suppression de l'EdS supprime également les données qu'il contient.

1. Afficher les détails de l'EdS souhaité par une des méthodes indiquées dans la procédure "Consulter le détail d'un EdS"
2. Dans le panneau du détail de l'EdS cliquer sur le bouton en bas "Supprimer"
3. Valider la demande de confirmation
4. L'EdS est en grisé dans la liste des EdS tant que la suppression est en cours puis disparaît de la liste une fois que l'EdS est effectivement supprimé.

Après suppression l'EdS n'existe plus dans le moyen de stockage, les données ont été supprimées.

Modifier un EdS

1. Afficher les détails de l'EdS souhaité par une des méthodes indiquées dans la procédure "Consulter le détail d'un EdS"
2. Il est possible de modifier le nom et/ou la description de l'EdS en modifiant directement la valeur et en cliquant sur le bouton Modifier en regard
3. Il est possible de modifier les attributs et/ou les étiquettes en cliquant sur le bouton Modifier en regard du champ Attributs (uniquement si l'EdS est désactivé).
4. Ceci ouvre un nouveau panneau dans lequel il est possible :

• de supprimer un attribut ou une étiquette en cliquant sur la croix à côté de l'attribut ou de l'étiquette,
• d'ajouter un attribut en sélectionnant l'attribut dans la liste déroulante des attributs et en cochant la valeur souhaitée,
• d'ajouter une étiquette en saisissant sa valeur sous la forme clef:valeur puis Entrée, dans la zone de saisie d'étiquettes

5. Une fois les modifications effectuées, cliquer sur le bouton Enregistrer en bas du panneau.
6. Un message en vert apparaît indiquant que l'EdS a été mis à jour avec succès. Les modifications sont visibles sur la page principale de l'IHM EdS.

attention

Il n'est pas possible de modifier la zone d'un EdS en raison de l'application des politiques qui sont spécifiques à chaque zone.

Restaurer un EdS

attention

L'import écrase les données existantes dans un EdS par les données de l'export. Les données présentes dans l'EDS avant une restauration sont perdues.

L'import écrase également les propriétés de l'EDS telles que les attributs (metadatas) et les détails.

Seul l'environnement de l'EDS et la zone ne peuvent pas être écrasés : il est donc impossible de restaurer une sauvegarde sur un EDS d'un environnement ou d'une zone différent (exemple : une sauvegarde de la PROD ne peut pas etre restaurée sur un EDS du bac à sable) : la restauration sera alors en échec.

Pour un EDS vstore, les vues ne sont pas restaurées. Un EDS vstore qui vient d'être restauré ne contient donc aucune vue.

remarque

Les politiques de sécurité ainsi que les comptes techniques sont propres à un EDS et non aux données de l'EDS. Ces éléments ne sont donc pas impactés par les gestes de sauvegarde et restauration.

Dans l'IHM S-EdS, nous pouvons importer un EdS depuis un export :

• cliquer sur l'EdS concerné
• sur le menu qui s'ouvre sur le côté, cliquer sur Restaurer
• choisir le fichier de sauvegarde souhaité via le menu déroulant mis à disposition
• Lorsque la restauration est terminée, il est possible de voir si le job s'est bien exécuté en survolant le mot Restauration situé dans le panneau de détail sur fond bleu. On voit alors le mot Succeeded ou Failed apparaître dans une bulle grise.

Sauvegarder un EdS

Pour sauvegarder un EdS, dans l'IHM S-EdS :

• Cliquer sur l'EdS concerné
• Sur le menu qui s'ouvre sur le côté, cliquer sur Sauvegarder
• Renseigner un nom pour l'export : choisir un nom explicite (il est conseillé de mettre le nom de l'EdS et la date de sauvegarde, les caractères - et _ sont interdits).
• Lorsque la sauvegarde est terminée, il est possible de voir si le job s'est bien exécuté en survolant le mot Sauvegarde situé dans le panneau de détail sur fond bleu. On voit alors le mot Succeeded ou Failed apparaître dans une bulle grise.

info

• La sauvegarde enregistre les données à l'instant où la requête de sauvegarde a été effectuée.
• Cette fonctionnalité n'est pas encore disponible pour tous les types d'EdS (le bouton de sauvegarde n'est proposé que pour les types qui la supportent).
• La sauvegarde peut être effectuée que l'EdS soit actif ou non : il n'est pas nécessaire de désactiver l'EdS pour effectuer une sauvegarde.
• une sauvegarde génère 2 fichiers déposés dans le s3 technique (accessibles à un administrateur système) : une archive avec les données et un fichier json d'accompagnement qui contient notamment les labels de l'EDS.