Les différents types de moissonneurs
Les différents moissonneurs
Aujourd’hui, data.gouv.fr peut moissonner les plateformes ou formats suivants :
DCAT
CKAN
DKAN, une variante du moissonneur CKAN
OpenDataSoft (ODS)
DCAT
DCAT est un vocabulaire RDF pour décrire des jeux de données. La Commission européenne a publié son extension de DCAT, appelée DCAT-AP.
Spécificités techniques
Ce moissonneur attend l’URL d’un catalogue DCAT (dcat:Catalog
).
Plusieurs formats sont supportés et découvrables à travers la négociation de contenu :
RDF XML
JSON-LD
Turtle
N3
NT
Trig
La pagination est supportée via l’ontologie Hydra (ainsi que l’ancienne version).
Correspondance des champs du modèle
Jeu de données
La notion équivalente au jeu de données sur data.gouv.fr (Dataset
) est un noeud de type dcat:Dataset
en RDF.
DATA.GOUV.FR | RDF | NOTES | |
---|---|---|---|
Titre |
|
| |
Acronyme |
|
| |
Description |
|
| Éventuellement HTML transformé en Markdown. |
Mots-clés |
|
| Les |
Licence |
|
| |
Couverture spatiale |
| ❌ | |
Couverture temporelle |
|
| Séparé par |
Fréquence de mise à jour |
|
| Dublin Core Frequency ou un équivalent au plus proche des Fréquences Européennes |
Autres métadonnées
Certaines propriétés additionnelles sont conservées dans l’attribut harvest
par soucis de traçabilité. Les informations de date sont sauvegardées dans ces métadonnées.
DATA.GOUV.FR HARVEST | RDF | NOTES | |
---|---|---|---|
Identifiant distant |
|
| Conservé aussi sous |
URI |
| ID du noeud |
|
URL de consultation |
|
| |
Date de création |
|
| |
Date de modification |
|
|
Ressource
La notion équivalente à la ressource sur data.gouv.fr (Resource
) est un noeud de type dcat:Distribution
en RDF.
DATA.GOUV.FR | RDF | NOTES | |
---|---|---|---|
Titre |
|
| Propriété facultative, un nom est généré sinon |
Description |
|
| Éventuellement HTML transformé en Markdown |
URL |
|
| Priorité à |
Taille |
|
| |
Type MIME |
|
| |
Format |
|
| |
Somme de contrôle |
|
|
Autres métadonnées
Certaines propriétés sont conservées dans l’attribut harvest
par souci de traçabilité :
DATA.GOUV.FR RESOURCE HARVEST | RDF | NOTES | |
---|---|---|---|
Identifiant distant |
|
| |
URI |
|
| Si |
Date de création |
|
| |
Date de modification |
|
|
Logiciels supportés
La plupart des logiciels exposant du DCAT (v3 à date) devraient être compatibles a minima avec le moissonneur DCAT de data.gouv.fr. Ci-dessous quelques exemples de logiciels supportés.
Geonetwork
Si vous avez une instance de Geonetwork, vous pouvez publier sur data.gouv.fr.
En effet, il existe un endpoint DCAT alternatif au endpoint CSW habituellement utilisé comme documenté sur la doc Geonetwork officielle.
Ainsi https://geosas.fr/geonetwork/srv/fre/csw deviendra https://geosas.fr/geonetwork/srv/fre/rdf.search par exemple.
GeoNetwork v4 n’est pas encore supporté au moissonnage. Voir ces discussions.
Namespaces utilisés
Par souci de lisibilité, les namespaces suivants sont déclarés :
dcat
⇨http://www.w3.org/ns/dcat#
dct
⇨http://purl.org/dc/terms/
foaf
⇨http://xmlns.com/foaf/0.1/
hydra
⇨http://www.w3.org/ns/hydra/core#
rdfs
⇨http://www.w3.org/2000/01/rdf-schema#
scv
⇨http://purl.org/NET/scovo#
skos
⇨http://www.w3.org/2004/02/skos/core#
vcard
⇨http://www.w3.org/2006/vcard/ns#
xsd
⇨http://www.w3.org/2001/XMLSchema#
freq
⇨http://purl.org/cld/freq/
Contribuer
Ce moissonneur fait partie du coeur de udata
, son code est disponible sur github. Vous pouvez donc soumettre des améliorations ou signaler des anomalies.
Métadonnées communes
Les jeux de données moissonnés possèdent les attributs suivants dans leur champ extras
pour la traçabilité :
ATTRIBUT | CONTENU |
---|---|
| Nom de domaine moissonné |
| Identifiant technique du moissonneur |
| Identifiant distant du jeu de données |
| Date du dernier moissonnage |
Détection des licences par le moissonnage
Lors du moissonnage, la liste de référence de data.gouv.fr, disponible ici au format json, est utilisée pour détecter la licence du jeu de données distant.
Cette détection utilise les attributs suivants :
id
title
alternate_titles
url
alternate_urls
Le meilleur moyen d’assurer une compatibilité parfaite est d’utiliser l’id
sur le flux distant lorsque c’est possible.
Dernière mise à jour