Correspondances des métadonnées

Certains champs du modèle de data.gouv.fr possèdent un équivalent qui peut être sous spécifié dans certains protocoles ou sur certaines plateformes, ou bien alors être spécifié différemment, sur plusieurs champs. Dans ce cas, la valeur du champ est récupérée en “best effort’, c’est-à-dire qu’elle va être devinée en fonction des éléments à disposition. Se référer à la page de chaque moissonneur pour savoir lesquels sont dans ce cas pour chaque implémentation.

Suppression à la source et archivage

Lors d'une suppression à la source (un ou plusieurs jeux de données qui ne sont plus présents sur la plateforme moissonnée), data.gouv.fr conserve les jeux de données sur sa plateforme. Le but est d'éviter les suppressions en masse par erreur, ce qui entraînerait une perte des statistiques, des discussions et des ressources communautaires de chaque jeu de données.

Au bout d'une période de 7 jours, ils sont marqués comme archivés. L'archivage des jeux de données implique qu'ils ne soient plus indexés ou visibles dans les statistiques des producteurs, mais bien accessibles par lien direct pour les utilisateurs qui souhaiteraient continuer à y accéder.

Dans le cas d’une suppression ponctuelle, nous vous invitons à supprimer manuellement le jeu de données moissonné qui a perdu sa source.

Dans le cas d’une suppression massive de jeu de données, veuillez nous contacter afin de trouver une solution satisfaisante.

Changement d’identifiant

Les moissonneurs utilisent les identifiants de jeu de données distants pour retrouver leurs données entre deux moissonnages. Il est donc important de veiller à ce qu’un jeu de données conserve son identifiant au fil du temps et des modification successives. Dans le cas contraire, cela donnera lieu à la création d’un doublon.

Il faut donc aussi veiller à ne pas supprimer puis recréer un jeu de données ou une ressource pour faire sa mise à jour.

En plus du moissonnage et de l’utilisation de l’API, il existait un autre moyen automatisé de récupération des métadonnées sur data.gouv.fr : geo.data.gouv.fr, anciennement inspire.data.gouv.fr. Ce site pivot permettait de récupérer les métadonnées de jeux de données exposées selon la directive européenne Inspire (obligation légale de publication des metadonnées geographiques selon le modèle de données ISO 19115, au format de données ISO 19139).

Du fait de l’extinction de la plateforme geo.data.gouv.fr, vous pouvez au choix :

• attendre que le Geocatalogue publie directement des flux DCAT depuis vos flux Inspire ;

• si vous utilisez Geonetwork, utilisez son endpoint DCAT alternatif ;

• utiliser le moissonnage DCAT avec un grand nombre de logiciels compatibles ou avec un flux à façon ;

• enfin, nous supportons également le moissonnage des plateformes CKAN et OpenDataSoft.

Comment mettre en place un moissonneur ?

Le principe du moissonnage sur data.gouv.fr se décompose en plusieurs étapes :

1. Vous créez un moissonneur sur data.gouv.fr afin que data.gouv.fr suive l’activité de votre plateforme ;

2. Vous publiez des données sur votre plateforme open data ;

3. Vous demandez la validation de votre moissonneur sur le support data.gouv.fr ;

4. La configuration du moissonneur est validée par l’équipe en charge de data.gouv.fr ;

5. Le moissonneur de data.gouv.fr vient automatiquement récupérer les données de votre plateforme ;

6. Les données de votre plateforme sont référencées et visibles sur data.gouv.fr.

Créer un moissonneur

La création d’un moissonneur sur data.gouv.fr nécessite la création d’un compte gratuit.

Pour créer un nouveau moissonneur :

1. Connectez-vous à votre compte ;

2. Rendez-vous sur votre tableau de bord, en cliquant sur Administration en haut à droite de votre écran ;

3. Cliquez sur l’icône en forme de plus (+) qui se trouve à gauche de votre avatar ;

4. Cliquez sur Un moissonneur.

À partir de là, la création du moissonneur se déroule en 3 étapes.

1. Définir qui publie les données moissonnées

Une fois moissonnées, c’est-à-dire récupérées sur votre plateforme, vos données sont publiées sur data.gouv.fr. L’étape 1 vous permet de choisir le compte qui sera associé à la publication sur data.gouv.fr des données moissonnées sur votre site.

Il peut s’agir de :

• votre propre compte, pour une publication à titre individuel, sous votre propre nom ;

• le compte d’une organisation dont vous êtes membre, pour une publication à titre collectif.

Si vous êtes membre d’une organisation, nous vous conseillons de publier vos jeux de données en son nom. Une fois votre choix effectué, cliquez sur le bouton Suivant pour accéder à l’étape 2.

2. Configurer le moissonneur

L’étape 2 vous permet de configurer votre moissonneur. Cette étape est importante pour que les données récupérées par data.gouv.fr soient aussi complètes que celles publiées sur votre plateforme à l’origine.

Nom

Donnez un nom à votre moissonneur. Il s’agit d’une référence interne, qui vous permet de vous y retrouver si vous créez plusieurs moissonneurs. Le nom de votre moissonneur ne sera pas public.

• Mauvais nom : Moissonneur de mon portail

• Bon nom : Plateforme open data Grand Lyon

Le nom du moissonneur est obligatoire.

Description

Vous pouvez ajouter des précisions sur votre moissonneur dans le champ description. Là encore, il s’agit d’une référence interne qui n’a de valeur que pour vous.

La description est facultative.

URL

Saisissez ici l’URL du portail à moissonner. Il s’agit généralement de l’URL de la page d’accueil de votre portail d’open data. L’URL permet au moissonneur de parcourir et récupérer tous vos jeux de données.

• Mauvaise source : data.angers.fr

• Bonne source : https://data.angers.fr

L’URL est obligatoire.

Implémentation

Choisissez ici le format des métadonnées associées aux jeux de données publiés sur votre plateforme. Ce format permet au moissonneur de savoir comment lire et interpréter vos métadonnées, pour bien les retranscrire sur data.gouv.fr.

Certaines implémentations permettent d’ajouter des filtres, dans le but d’inclure ou d’exclure certains jeux de données du moissonnage. Consultez la section dédiée à votre implémentation dans la documentation de moissonnage.

Le type d’implémentation est obligatoire.

Actif

Cochez la case pour que votre moissonneur se mette au travail dès qu’il aura été validé par l’équipe en charge de data.gouv.fr. Laissez-la décochée pour activer votre moissonneur à la main.

Ce champ est obligatoire.

Une fois tous les champs obligatoires remplis, cliquez sur le bouton Suivant pour terminer la création de votre moissonneur.

3. Demander la validation du moissonneur

Une fois votre moissonneur configuré, demandez validation de votre moissonneur sur le support data.gouv.fr. Il va être examiné par l’équipe en charge de data.gouv.fr, pour vérifier qu’il est bien réglé. Si c’est le cas, le moissonneur sera validé et vous recevrez une notification.

De votre côté, vous pouvez vérifier que votre moissonneur moissonne correctement votre site. Pour ce faire :

1. Cliquez sur le bouton Voir dans l’administration une fois votre moissonneur créé ;

2. Cliquez sur le bouton Prévisualiser ;

3. Vérifiez que le moissonneur récupère bien des jeux de données.

Tant que votre moissonneur n’est pas validé, il ne référence aucun jeu de données sur data.gouv.fr.

Le service de moissonnage mis à votre disposition permet de référencer sur data.gouv.fr les jeux de données publiés sur d’autres catalogues de données en ligne. De cette manière, vous n’avez pas besoin d’importer à la main sur data.gouv.fr les jeux de données que vous avez déjà importés sur votre propre plateforme.

Dans cette section, vous apprendrez comment publier un catalogue de données existant par moissonnage.

Chaque moissonnage donne lieu à un rapport accessible depuis l’interface d’administration de data.gouv.fr. Il vous permet de comprendre ce qu’il se passe et, le cas échéant, de corriger les erreurs existantes et de vérifier le filtrage.

Vue synthétique

Détails d’un jeu de données

En cas d’erreur

• 1 correspond à l’erreur technique formulée de façon compréhensible pour un humain

• 2 contient la “stacktrace” de l’erreur qui servira à ceux qui développent des moissonneurs ou contribuent aux existants.

Les différents moissonneurs

Aujourd’hui, data.gouv.fr peut moissonner les plateformes ou formats suivants :

• DCAT

• CKAN

• DKAN, une variante du moissonneur CKAN

• OpenDataSoft (ODS)

Métadonnées communes

Les jeux de données moissonnés possèdent les attributs suivants dans leur champ extras pour la traçabilité :

Détection des licences par le moissonnage

Lors du moissonnage, la liste de référence de data.gouv.fr, disponible ici au format json, est utilisée pour détecter la licence du jeu de données distant.

Cette détection utilise les attributs suivants :

• id

• title

• alternate_titles

• url

• alternate_urls

Le meilleur moyen d’assurer une compatibilité parfaite est d’utiliser l’id sur le flux distant lorsque c’est possible.