Catalogage de données - GRIST

Objectif

L'objectif principal du catalogage des données avec Grist est de simplifier la gestion et la publication des données par les administrations en ayant une vue d’ensemble de ce qu’elles détiennent. Actuellement, les producteurs de données gèrent souvent leurs données de manière redondante, avec des catalogues internes distincts de leurs publications sur data.gouv.fr. L'outil Grist proposé par la DINUM vise à créer un catalogue unique et collaboratif pour une gestion plus efficace et une fonction de publication directe sur data.gouv.fr.

Ainsi, l’administration pourra recenser l’ensemble des données qu’elle détient. C’est-à-dire les données que l’administration concernée produit ou reçoit dans le cadre de sa mission de service public.

Différents enjeux

Enjeux juridiques

Le catalogage des données permet aux administrations de répondre et/ou de faciliter le respect à diverses obligations légales.

Le Data governance Act (DGA)

Dans le cadre du DGA, la Direction interministérielle du numérique (DINUM) a été désigné comme point d’information unique au titre de l’article 8 du règlement. Le chapitre II du DGA ne s’applique qu’aux données détenues par des organismes publics et protégées par un secret (comme le secret statistique, le secret des affaires …).

La DINUM a vocation à informer et orienter les demandeurs qui souhaitent réutiliser des données détenues par les administrations. Pour cela, elle doit pouvoir référencer et rendre accessibles toutes les informations pertinentes relatives aux conditions applicables à la réutilisation et aux redevances des données protégées détenues par les administrations.

A ce titre, la DINUM a, notamment, pour mission de mettre « à disposition par voie électronique une liste de ressources consultable contenant un aperçu de toutes les ressources en données disponibles, […], avec des informations pertinentes décrivant les données disponibles, y compris au minimum le format et la taille des données ainsi que les conditions applicables à leur réutilisation ».

Ainsi, à travers le catalogage de ces données, les demandeurs d’accès aux fins de réutilisation des données protégées pourront savoir quelles administrations détiennent quelles données et quelles sont les conditions pour y accéder.

Le principe du "Dites le nous une fois"

Le principe du DLNUF est une obligation légale qui consiste à ce qu’un usager n’a pas à donner à une administration une information qu’une administration (différente ou non) détient déjà (article L. 113-12 du code des relations entre le public et l’administration (CRPA)).

Le concept d’administration proactive repose sur la notion « d’aller-vers », c’est-à-dire que l’administration décide d’aller au-devant de l’usager afin de l’informer ou lui attribuer une éventuelle prestation ou avantage (article L. 114- 8 du CRPA).

Pour accomplir ces objectifs deux cas sont possibles :

• Soit l’administration détient déjà la donnée correspondante ;

• Soit l’administration ne la détient pas et donc doit la demander à une autre administration.

Dans le second cas les administrations devront s’échanger des données entre elles. Certaines administrations sont déjà désignées dans le CRPA comme chargées de mettre à la disposition d’autres administrations certains types de données (voir le tableau article D. 114-9-1 du CRPA). Cependant, hors tableau, l’administration doit savoir où se trouve la donnée correspondante. Ainsi, avoir une vue de l’ensemble des données disponibles dans les administrations, à l’aide du catalogage, permettra aux administrations de savoir à quelle administration demander la donnée correspondante non listée dans le tableau et donc de répondre au principe de DLNUF et à la proactivité.

La diffusion des documents administratifs

Les administrations ont la possibilité de diffuser des documents administratifs qu’elles produisent ou reçoivent. Dans certains cas, certaines administrations doivent diffuser publiquement des documents administratifs, dans les conditions prévues par le Livre III du CRPA, notamment le Chapitre II du Titre Ier.

Pour rappel : sont considérés comme documents administratifs quels que soient leur date, leur lieu de conservation, leur forme et leur support, les documents produits ou reçus, dans le cadre de leur mission de service public, par l'Etat, les collectivités territoriales ainsi que par les autres personnes de droit public ou les personnes de droit privé chargées d'une telle mission. Constituent de tels documents notamment les dossiers, rapports, études, comptes rendus, procès-verbaux, statistiques, instructions, circulaires, notes et réponses ministérielles, correspondances, avis, prévisions, codes sources, bases de données et décisions.

Le catalogage des données permettra aux administrations de savoir quelles données, contenues dans des documents administratifs, peuvent ou doivent être diffusées, et s’il est nécessaire d’occulter certaines mentions pour mettre en œuvre cette diffusion.

Pour en savoir plus voir : Guide pratique de la publication en ligne et de la réutilisation des données publiques (« open data »), CNIL, CADA.

Le registre des activités de traitement de données à caractère personnel

En tant que responsable de traitement de données à caractère personnel l’administration doit tenir un registre des activités de traitement de données à caractère personnel (article 30 du Règlement général sur la protection des données).

Le catalogage des données permettra ainsi au délégué à la protection des données (DPO / DPD) de savoir quelles sont les activités de traitement de données à caractère personnel au sein de son administration et facilitera ainsi la constitution de son registre de traitement.

Le répertoire d’informations publiques (RIP)

En application de l’article L. 322-6 du CRPA les administrations doivent tenir un répertoire en ligne qui regroupe l’ensemble des principaux documents administratifs communicables contenant les informations publiques qu’elles détiennent ou produisent.

Ce répertoire permet, entre autres, de mettre à disposition du public les conditions de réutilisations des informations publiques ainsi que, lorsque c’est le cas, le montant des redevances et les bases de calcul retenues pour la fixation de ce montant dans un standard ouvert.

Le catalogage des données implique de recenser et catégoriser les informations publiques et donc permettra de faciliter la constitution du RIP.

Enjeux de politiques publiques

Le catalogage des données permet également aux administrations de mieux gérer les politiques publiques basées sur les données en offrant une vue d'ensemble des données détenues par les administrations.

Le catalogue des données; un document administratif

Le catalogue est, au sens de l’article L. 300-2 du CRPA, un document administratif communicable dans les conditions du livre III du même code.

Ainsi, les administrations devront publier ce catalogue de données, en application de l’article L. 312-1-1 du CRPA, en indiquant s’il s’agit de :

• Données communicables à tous et donc accessibles sans autorisation (qu’elles soient déjà diffusées ou non sur data.gouv.fr) ;

• Données non communicables à tous et s’il est possible et comment, sous réserve de remplir certaines conditions, y accéder (par exemple il est possible de renvoyer à un lien annexe détaillant l’ensemble ou encore une adresse courriel générique).

Fonctionnalités et mise en place

Fonctionnalités

Grist offre plusieurs fonctionnalités pour gérer un catalogue de données :

• Créer des tables et partager de vues personnalisées pour organiser le catalogue de données selon vos besoins

• Marquer les jeux de données comme "publics" ou "non publics" pour gérer la publication sur data.gouv.fr.

• Gérer les droits d'accès des membres avec différents rôles : lecteur, éditeur, administrateur.

• Créer des tableaux de bord paramétrables pour le suivi des données (tables, graphiques, listes thématiques).

• Intégration avec data.gouv.fr pour la publication directe des jeux de données.

Liste des champs

La table principale permet de renseigner plusieurs champs relatifs à chaque jeu de données :

• Public (oui / non) : indique si les métadonnées du jeu de données peuvent être publiées en open data

• Titre, description, mots clés

• Organisation, service, système d'information

• Contacts (service et personne), commentaires

• Date de publication, date de mise à jour, fréquence de mise à jour

• Couverture géographique, URL, format, licence

• Thématique, données ouvertes, URL Open Data, volumétrie

Droits

Grist permet de gérer les droits d'accès des membres de l'organisation. Trois rôles sont disponibles :

• Lecteur : Peut consulter les données du catalogue.

• Éditeur : Peut modifier les données du catalogue.

• Administrateur : Possède tous les droits, y compris la gestion des utilisateurs et des droits d'accès.

Étapes de mise en place

L’outil de catalogage propose une mise en place en 5 étapes de votre catalogue de données :

1. Renseigner les tables de référence : Nom de l'organisation, SIRET, services, contacts, systèmes d'information (SI) et thématiques.

2. Ajouter les jeux de données au catalogue.

3. Qualifier les jeux de données : Marquer comme "publics" ou "non publics".

4. Gérer les droits des membres : Attribuer les rôles de lecteur, éditeur ou administrateur.

5. Créer vos outils de suivi : Tableaux de bord personnalisés pour la gestion des données.

Avantages de la solution Grist

• Sécurité et confidentialité : Hébergé en France par la DINUM.

• Open Source : Code source ouvert et transparent.

• Intégration : Publication directe sur data.gouv.fr.

• Portabilité des données : Exportation facile dans des formats courants.

• Facilité d'utilisation : Conçu pour être accessible aux utilisateurs sans expertise technique.

• Partage et collaboration : Partage facile et contrôle d'accès précis.

• Extensibilité : Extension possible via des API.

• Documentation complète : Documentation exhaustive pour guider les utilisateurs.

Partenaires et accompagnement

La DINUM finance la solution Grist et l’équipe data.gouv.fr propose un accompagnement aux administrations qui souhaitent le mettre en place. Plusieurs administrations utilisent déjà ou sont en cours d'intégration de Grist, notamment le CEREMA, le Ministère de l'Agriculture et de l'Alimentation, l'ADEME et la Gendarmerie.

Pour obtenir Grist, vous pouvez contacter l’équipe afin de démarrer une expérimentation : un accès à l'outil et une session d'initiation.

FAQ

Puis-je utiliser Grist pour gérer des jeux de données provenant de différentes sources, y compris des sources externes à mon organisation ?

Oui, Grist peut être utilisé pour gérer des jeux de données provenant de différentes sources, y compris des sources externes à votre organisation. Vous pouvez ajouter des jeux de données manuellement ou les importer depuis data.gouv.fr. De plus, vous pouvez spécifier si un jeu de données est "interne" ou "externe" à votre organisation en utilisant une colonne dédiée dans Grist. Ceci permet de filtrer les jeux de données lors de la publication sur data.gouv.fr ou sur une plateforme thématique.

Est-il possible de connecter Grist à d'autres plateformes de données ?

Oui, il est possible de connecter Grist à d'autres plateformes de données via des API. La plateforme en question doit cependant développer un plugin pour se connecter à Grist et permettre l'échange de données entre les deux plateformes. Cependant, la DINUM encourage la centralisation des données sur data.gouv.fr pour des raisons de budget et d'efficacité.

Comment puis-je gérer la publication de données sensibles qui ne doivent pas être rendues publiques sur data.gouv.fr ?

Vous pouvez marquer les jeux de données sensibles comme "non publics" dans Grist pour empêcher leur publication sur data.gouv.fr. Cependant, les métadonnées de ces jeux de données seront tout de même visibles sur data.gouv.fr, conformément aux exigences légales. Vous pouvez également utiliser Grist pour gérer les demandes d'accès à ces données sensibles en interne.

Puis-je utiliser Grist pour gérer un catalogue de données interne sans le publier sur data.gouv.fr ?

Oui, vous pouvez utiliser Grist pour gérer un catalogue de données interne sans le publier sur data.gouv.fr. L'outil peut être utilisé de manière autonome pour organiser et documenter vos données. Vous pouvez ensuite choisir de publier les données sur data.gouv.fr et sur une plateforme thématique lorsque vous êtes prêt.

Puis-je personnaliser Grist pour répondre aux besoins spécifiques de mon organisation ?

Oui, Grist est un outil open source, ce qui signifie que vous pouvez modifier le code source pour l'adapter à vos besoins. Vous pouvez également ajouter des colonnes et des tables personnalisées à votre catalogue de données Grist. De plus, vous pouvez créer des vues personnalisées et des tableaux de bord pour organiser et analyser vos données de manière spécifique à votre organisation. Attention néanmoins à ne pas modifier le modèle des champs déjà existants pour le catalogage.

Puis-je utiliser Grist pour gérer la qualité des données et suivre les métadonnées ?

Oui, Grist peut être utilisé pour gérer la qualité des données et suivre les métadonnées. Vous pouvez ajouter des colonnes pour suivre des informations telles que la qualité des données, les problèmes rencontrés, les commentaires des utilisateurs, et les dates de mise à jour. Vous pouvez également utiliser les tableaux de bord Grist pour visualiser la qualité des données et identifier les jeux de données qui nécessitent une attention particulière.

Comment puis-je assurer la sécurité et la confidentialité des données stockées dans Grist ?

Grist est hébergé en France par la DINUM, ce qui garantit un niveau de sécurité et de confidentialité élevé. De plus, vous pouvez gérer les droits d'accès des utilisateurs à votre catalogue de données Grist pour contrôler qui peut consulter, modifier ou administrer les données. Vous pouvez également ajouter des mesures de sécurité supplémentaires, telles que l'authentification à deux facteurs, pour renforcer la protection de vos données.

Est-il possible d'exporter les données du catalogue Grist vers d'autres formats ?

Oui, Grist permet d'exporter les données du catalogue vers des formats courants tels que CSV, Excel, et JSON. Ceci vous permet de partager facilement les données de votre catalogue avec d'autres utilisateurs ou de les utiliser dans d'autres applications.

Questions complémentaires

Quel est l'objectif principal du catalogage de données avec Grist ?

L'objectif principal du catalogage des données avec Grist est de **simplifier la gestion et la publication des données par les administrations**. Actuellement, les producteurs de données gèrent souvent leurs données de manière redondante, avec des catalogues internes distincts de leurs publications sur data.gouv.fr. L'outil Grist proposé par la DINUM vise à créer **un catalogue unique et collaboratif** pour une gestion plus efficace et une fonction de publication directe sur data.gouv.fr.

Quels sont les enjeux juridiques liés au catalogage de données ?

Le catalogage des données répond à des obligations légales importantes : - **Data Governance Act (art. 8 §2) :** Le point d'information unique doit fournir une liste de toutes les ressources de données disponibles, y compris des informations sur le format, la taille et les conditions de réutilisation. - **Code de la Relation entre le Public et l'Administration (art. L322-6) :** Le catalogue de données est un document administratif communicable.

De plus, le catalogage peut servir à :

• Gérer les politiques publiques basées sur les données en offrant une vue d'ensemble des données détenues par les administrations.

• Faciliter la proactivité en identifiant les données nécessaires aux dispositifs et au “Dites le nous une fois”.

• Simplifier la constitution du registre de traitement des données à caractère personnel pour les DPO.

• Améliorer le partage de données dans le cadre du Data Governance Act.

Quelles sont les fonctionnalités offertes par Grist pour la gestion d'un catalogue de données ?

Grist offre plusieurs fonctionnalités pour gérer un catalogue de données : - **Créer des tables et partager de vues personnalisées** pour organiser le catalogue de données selon vos besoins. - **Marquer les jeux de données comme "publics" ou "non publics"** pour gérer la publication sur data.gouv.fr. - **Gérer les droits d'accès des membres** avec différents rôles : lecteur, éditeur, administrateur. - **Créer des tableaux de bord paramétrables** pour le suivi des données (tables, graphiques, listes thématiques). - **Intégration avec data.gouv.fr** pour la publication directe des jeux de données.

Quels sont les champs de données que l'on peut renseigner dans la table principale de Grist ?

La table principale permet de renseigner plusieurs champs relatifs à chaque jeu de données : - **Public (oui / non) :** indique si les métadonnées du jeu de données peuvent être publiées en open data. - **Titre, description, mots clés** - **Organisation, service, système d'information** - **Contacts (service et personne), commentaires** - **Date de publication, date de mise à jour, fréquence de mise à jour** - **Couverture géographique, URL, format, licence** - **Thématique, données ouvertes, URL Open Data, volumétrie**

Comment Grist gère-t-il les droits d'accès des utilisateurs ?

Grist permet de gérer les droits d'accès des membres de l'organisation. Trois rôles sont disponibles : - **Lecteur :** Peut consulter les données du catalogue. - **Éditeur :** Peut modifier les données du catalogue. - **Administrateur :** Possède tous les droits, y compris la gestion des utilisateurs et des droits d'accès.

Quelles sont les étapes à suivre pour mettre en place un catalogue de données avec Grist ?

L’outil de catalogage propose une mise en place en 5 étapes de votre catalogue de données : - **Renseigner les tables de référence :** Nom de l'organisation, SIRET, services, contacts, systèmes d'information (SI) et thématiques. - **Ajouter les jeux de données** au catalogue. - **Qualifier les jeux de données :** Marquer comme "publics" ou "non publics". - **Gérer les droits des membres :** Attribuer les rôles de lecteur, éditeur ou administrateur. - **Créer vos outils de suivi :** Tableaux de bord personnalisés pour la gestion des données.

Quels sont les avantages de la solution Grist pour le catalogage de données ?

Grist offre plusieurs avantages pour le catalogage de données : - **Sécurité et confidentialité :** Hébergé en France par la DINUM. - **Open Source :** Code source ouvert et transparent. - **Intégration :** Publication directe sur data.gouv.fr. - **Portabilité des données :** Exportation facile dans des formats courants. - **Facilité d'utilisation :** Conçu pour être accessible aux utilisateurs sans expertise technique. - **Partage et collaboration :** Partage facile et contrôle d'accès précis. - **Extensibilité :** Extension possible via des API. - **Documentation complète :** Documentation exhaustive pour guider les utilisateurs.

Quelles administrations utilisent déjà Grist pour le catalogage de données ?

Plusieurs administrations utilisent déjà ou sont en cours d'intégration de Grist, notamment le CEREMA, le Ministère de l'Agriculture et de l'Alimentation, l'ADEME et la Gendarmerie.

Comment puis-je obtenir Grist et bénéficier d'un accompagnement pour sa mise en place ?

Pour obtenir Grist, vous pouvez contacter l’équipe data.gouv.fr afin de démarrer une expérimentation qui comprend un accès à l'outil et une session d'initiation.