Les différents types de moissonneurs
Les différents moissonneurs
Aujourd’hui, data.gouv.fr peut moissonner les plateformes ou formats suivants :
DCAT
CKAN
DKAN, une variante du moissonneur CKAN
OpenDataSoft (ODS)
DCAT
DCAT est un vocabulaire RDF pour décrire des jeux de données. La Commission européenne a publié son extension de DCAT, appelée DCAT-AP.
Spécificités techniques
Ce moissonneur attend l’URL d’un catalogue DCAT (dcat:Catalog).
Plusieurs formats sont supportés et découvrables à travers la négociation de contenu :
RDF XMLJSON-LDTurtleN3NTTrig
La pagination est supportée via l’ontologie Hydra (ainsi que l’ancienne version).
Correspondance des champs du modèle
Jeu de données
La notion équivalente au jeu de données sur data.gouv.fr (Dataset) est un noeud de type dcat:Dataset en RDF.
Titre
title
dct:title
Acronyme
acronym
skos:altLabel
Description
description
dct:description + dct:abstract
Éventuellement HTML transformé en Markdown. dct:description est à privilégier
Mots-clés
tags
dcat:keyword + dcat:theme
Les RdfResource ne sont pas supportées pour le champ dcat:theme. dcat:keyword est à privilégier
Couverture spatiale
spatial
❌
Couverture temporelle
temporal_coverage
dct:temporal
Séparé par / dans le cas de dates de début et de fin, ex: 2011-01-01/2011-12-31
Fréquence de mise à jour
frequency
dct:accrualPeriodicity
Dublin Core Frequency ou un équivalent au plus proche des Fréquences Européennes
Autres métadonnées
Certaines propriétés additionnelles sont conservées dans l’attribut harvest par soucis de traçabilité. Les informations de date sont sauvegardées dans ces métadonnées.
Identifiant distant
remote_id
dct:identifier
Conservé aussi sous dct:identifier
URI
uri
ID du noeud
URIRef
URL de consultation
remote_url
dcat:landingPage ou l’identifier RDF s’il s’agit d’une URI
Date de création
created_at
dct.issued
Date de modification
modified_at
dct.modified
Ressource
La notion équivalente à la ressource sur data.gouv.fr (Resource) est un noeud de type dcat:Distribution en RDF.
Titre
title
dct:title
Propriété facultative, un nom est généré sinon
Description
description
dct:description
Éventuellement HTML transformé en Markdown
URL
url
dcat:downloadURL et dcat:accessURL
Priorité à dcat:downloadURL
Taille
filesize
dcat:byteSize
Type MIME
mime
dcat:mediaType
Format
format
dct:format
Somme de contrôle
checksum
spdx:checksum (spdx:algorithm + spdx:checksumValue)
Autres métadonnées
Certaines propriétés sont conservées dans l’attribut harvest par souci de traçabilité :
Identifiant distant
dct:identifier
dct:identifier
URI
uri
dct:identifier
Si dct:identifier est un URIRef
Date de création
created_at
dct.issued
Date de modification
modified_at
dct.modified
Logiciels supportés
La plupart des logiciels exposant du DCAT (v3 à date) devraient être compatibles a minima avec le moissonneur DCAT de data.gouv.fr. Ci-dessous quelques exemples de logiciels supportés.
Geonetwork
Si vous avez une instance de Geonetwork, vous pouvez publier sur data.gouv.fr.
En effet, il existe un endpoint DCAT alternatif au endpoint CSW habituellement utilisé comme documenté sur la doc Geonetwork officielle.
Ainsi https://geosas.fr/geonetwork/srv/fre/csw deviendra https://geosas.fr/geonetwork/srv/fre/rdf.search par exemple.
GeoNetwork v4 n’est pas encore supporté au moissonnage. Voir ces discussions.
Namespaces utilisés
Par souci de lisibilité, les namespaces suivants sont déclarés :
dcat⇨http://www.w3.org/ns/dcat#dct⇨http://purl.org/dc/terms/foaf⇨http://xmlns.com/foaf/0.1/hydra⇨http://www.w3.org/ns/hydra/core#rdfs⇨http://www.w3.org/2000/01/rdf-schema#scv⇨http://purl.org/NET/scovo#skos⇨http://www.w3.org/2004/02/skos/core#vcard⇨http://www.w3.org/2006/vcard/ns#xsd⇨http://www.w3.org/2001/XMLSchema#freq⇨http://purl.org/cld/freq/
Contribuer
Ce moissonneur fait partie du coeur de udata, son code est disponible sur github. Vous pouvez donc soumettre des améliorations ou signaler des anomalies.
CKAN
CKAN est un logiciel libre permettant de mettre en oeuvre des portails de données.
Le moissonneur utilise l’API de CKAN pour récupérer les métadonnées.
Spécifications techniques
Ce moissonneur attend l’URL racine de l’instance CKAN et non du portail (dans le cas où CKAN est couplé à Drupal par exemple).
Comme le moissonneur utilise l’API de CKAN, il nécessite que celle-ci soit accessible.
Ce moissonneur n’est pas compatible avec les changements de modèles qui peuvent être effectués par certains plugins. Les champs d’un jeu de données doivent rester les mêmes, et le format de leur contenu aussi.
Les champs additionnels du modèle sont ignorés.
Correspondance des champs du modèle
Jeu de données
La notion équivalente au jeu de données sur data.gouv.fr (Dataset) est le Package dans CKAN.
Slug
slug
name
Création uniquement, si disponible
Titre
title
title
Acronyme
acronym
❌
Description
description
notes
Mots-clés
tags
tags.name
Date de création
created_at
metadata_created
Date de mise à jour
last_modified
metadata_modified
Licence
license
license_id et license_title
deviné
Couverture spatiale
spatial
extras.spatial et extras.spatial-test
deviné
Couverture temporelle
temporal_coverage
extras.temporal_start et extras.temporal_end
Autres métadonnées
Certaines propriétés additionnelles sont conservées dans l’attribut harvest par soucis de traçabilité. Les informations de date sont sauvegardées dans ces métadonnées.
Identifiant distant
remote_id
id
Slug
ckan_name
name
Car slug peut déjà être pris
URL de consultation
remote_url
url
Conservé dans ckan:source si URL invalide
Tous les attributs extras de CKAN qui ne font pas l’objet d’un traitement particulier sont aussi conservés dans l’attribut extras.
Ressource
La notion équivalente à la ressource sur data.gouv.fr (Resource) est aussi la Resource dans CKAN.
Identifiant
id
id
Un UUID valide
Titre
title
name
Description
description
description
URL
url
url
Type
filetype
resource_type
api ou remote
Type MIME
mime
mimetype
Format
format
format
Date de création
harvest.created_at
created
Date de mise à jour
harvest.modified_at
last_modified
Filtrage
La filtrage donne la possibilité d’inclure ou d’exclure un sous-ensemble de jeux de données du moissonnage.
Lorsqu’un ou plusieurs filtres sont déclarés, seuls les jeux de données remplissant toutes les conditions (ET) seront traités.
Portail multiproducteur : restriction à une organisation
Exclusion de mots-clés
Combinaisons multiples
Contribuer
Le moissonneur CKAN est publié sur github dans le plugin udata-ckan. Vous pouvez donc soumettre des améliorations ou signaler des anomalies.
OpenDataSoft
Opendatasoft est un service en PaaS permettant de mettre en œuvre ce qu’on appelle un datastore et le portail de données associé.
Le moissonneur utilise l’API de chaque portail OpenDataSoft pour récupérer les métadonnées.
Spécifications techniques
Ce moissonneur attend l’URL racine de votre portail Opendatasoft. C’est bien l’URL publique (https://data.ma-compagnie.com) qui est attendue, et non l’URL noire Opendatasoft (https://ma-compagnie.opendatasoft.com).
Attention: Opendatasoft utilise le slug (la portion identifiant le jeu de données dans les URLs) comme identifiant technique. L’outil laisse la possibilité de changer ce slug ce qui pose un vrai problème de pérénité des identifiants. Ayez donc à l’esprit que ce changement d’identifiant créera des doublons au moissonnage.
Inspire
Il est possible de filtrer les jeu de données identifiés comme venant d’Inspire par Opendatasoft (propriété interop_metas.inspire). Pour cela il suffit de cocher ou non l’option Inspire du moissonneur. Cela permettra d’éviter des doublons pour les jeux de données déjà moissonnés par ailleurs. Il n’y a pas de règle universelle à son usage, c’est du cas par cas et il est de votre responsabilité de vérifier si ces jeux de données sont déjà pris en charge par une autre source de moissonnage.
Correspondance des champs du modèle
Jeu de données
Title
title
title
Acronyme
acronym
❌
Description
description
description
HTML converti en Markdown
Mots-clés
tags
keywords + themes
Licence
license
license
champ libre: deviné sinon LOv2
Couverture spatiale
spatial
❌
Couverture temporelle
temporal_coverage
❌
Fréquence de mise à jour
frequency
❌
Autres métadonnées
Certaines propriétés additionnelles sont conservées dans l’attribut harvest par soucis de traçabilité. Les informations de date sont sauvegardées dans ces métadonnées.
Identifiant distant
harvest:remote_id
datasetid
⚠ Attention au changement
URL de consultation
ods_url
site/explore/dataset/datasetid/
Référence interne
ods_reference
reference
Présence de données
ods_has_records
has_records
Données spatiales
ods_geo
features.geo
Date de modification
modified_at
metas.modified
Ressources
Il existe 3 types de ressources identifiés chez Opendatasoft :
l’API de données qui donnera lieu à plusieurs ressource sur data.gouv.fr :
un export au format
CSVun export au format
JSONun export au format
GeoJSONdans le cas de données spatialesun export au format
Shapefiledans le cas de données spatiales
les pièces jointes (
attachmentsdans l’API Opendatasoft) qui seront chacune reconnue comme une ressourceles exports alternatifs (
alternative_exportsdans l’API Opendatasoft) qui seront chacun reconnu comme une ressource
Filtrage
La filtrage donne la possibilité d’inclure ou d’exclure un sous-ensemble de jeux de données du moissonnage.
Lorsqu’un ou plusieurs filtres sont déclarés, seuls les jeux de données remplissant toutes les conditions (ET) seront traités.
Portail multiproducteur : restriction à une organisation
Exclusion de mots-clés
Combinaisons multiples
Contribuer
Le moissonneur Opendatasoft est publié sur github dans le plugin udata-ods. Vous pouvez donc soumettre des améliorations ou signaler des anomalies.
Métadonnées communes
Les jeux de données moissonnés possèdent les attributs suivants dans leur champ extras pour la traçabilité :
harvest:domain
Nom de domaine moissonné
harvest:source_id
Identifiant technique du moissonneur
harvest:remote_id
Identifiant distant du jeu de données
harvest:last_update
Date du dernier moissonnage
Détection des licences par le moissonnage
Lors du moissonnage, la liste de référence de data.gouv.fr, disponible ici au format json, est utilisée pour détecter la licence du jeu de données distant.
Cette détection utilise les attributs suivants :
idtitlealternate_titlesurlalternate_urls
Le meilleur moyen d’assurer une compatibilité parfaite est d’utiliser l’id sur le flux distant lorsque c’est possible.
Mis à jour
Ce contenu vous a-t-il été utile ?