Les différents types de moissonneurs
Dernière mise à jour
Dernière mise à jour
Aujourd’hui, data.gouv.fr peut moissonner les plateformes ou formats suivants :
DCAT
CKAN
DKAN, une variante du moissonneur CKAN
OpenDataSoft (ODS)
est un vocabulaire RDF pour décrire des jeux de données. La Commission européenne a publié son extension de DCAT, appelée .
Ce moissonneur attend l’URL d’un catalogue DCAT (dcat:Catalog).
Plusieurs formats sont supportés et découvrables à travers la négociation de contenu :
RDF XML
JSON-LD
Turtle
N3
NT
Trig
La pagination est supportée via l’ontologie (ainsi que l’ancienne version).
Jeu de données
La notion équivalente au jeu de données sur data.gouv.fr (Dataset) est un noeud de type dcat:Dataset en RDF.
| DATA.GOUV.FR | RDF | NOTES |
|---|
Autres métadonnées
Certaines propriétés additionnelles sont conservées dans l’attribut harvest par soucis de traçabilité. Les informations de date sont sauvegardées dans ces métadonnées.
Ressource
La notion équivalente à la ressource sur data.gouv.fr (Resource) est un noeud de type dcat:Distribution en RDF.
Autres métadonnées
Certaines propriétés sont conservées dans l’attribut harvest par souci de traçabilité :
La plupart des logiciels exposant du DCAT (v3 à date) devraient être compatibles a minima avec le moissonneur DCAT de data.gouv.fr. Ci-dessous quelques exemples de logiciels supportés.
Geonetwork
Si vous avez une instance de Geonetwork, vous pouvez publier sur data.gouv.fr.
Par souci de lisibilité, les namespaces suivants sont déclarés :
dcat ⇨ http://www.w3.org/ns/dcat#
dct ⇨ http://purl.org/dc/terms/
foaf ⇨ http://xmlns.com/foaf/0.1/
hydra ⇨ http://www.w3.org/ns/hydra/core#
rdfs ⇨ http://www.w3.org/2000/01/rdf-schema#
scv ⇨ http://purl.org/NET/scovo#
skos ⇨ http://www.w3.org/2004/02/skos/core#
vcard ⇨ http://www.w3.org/2006/vcard/ns#
xsd ⇨ http://www.w3.org/2001/XMLSchema#
freq ⇨ http://purl.org/cld/freq/
Les jeux de données moissonnés possèdent les attributs suivants dans leur champ extras pour la traçabilité :
Cette détection utilise les attributs suivants :
id
title
alternate_titles
url
alternate_urls
Le meilleur moyen d’assurer une compatibilité parfaite est d’utiliser l’id sur le flux distant lorsque c’est possible.
| DATA.GOUV.FR HARVEST | RDF | NOTES |
|---|
| DATA.GOUV.FR | RDF | NOTES |
|---|
| DATA.GOUV.FR RESOURCE HARVEST | RDF | NOTES |
|---|
En effet, il existe un endpoint DCAT alternatif au endpoint CSW habituellement utilisé comme .
Ainsi deviendra par exemple.
GeoNetwork v4 n’est pas encore supporté au moissonnage. Voir .
Ce moissonneur fait partie du coeur de udata, . Vous pouvez donc soumettre des améliorations ou signaler des anomalies.
est un logiciel libre permettant de mettre en oeuvre des portails de données.
| DATA.GOUV.FR | CKAN | NOTES |
|---|
| DATA.GOUV.FR HARVEST | CKAN | NOTES |
|---|
| DATA.GOUV.FR | CKAN | NOTES |
|---|
Le moissonneur CKAN est publié sur github dans le plugin . Vous pouvez donc soumettre des améliorations ou signaler des anomalies.
est un service en PaaS permettant de mettre en œuvre ce qu’on appelle un datastore et le portail de données associé.
| DATA.GOUV.FR | OPENDATASOFT | NOTES |
|---|
| DATA.GOUV.FR HARVEST | OPENDATASOFT | NOTES |
|---|
Le moissonneur Opendatasoft est publié sur github dans le plugin . Vous pouvez donc soumettre des améliorations ou signaler des anomalies.
| ATTRIBUT | CONTENU |
|---|
Lors du moissonnage, la liste de référence de data.gouv.fr, , est utilisée pour détecter la licence du jeu de données distant.
Identifiant distant |
|
| Conservé aussi sous |
URI |
| ID du noeud |
|
URL de consultation |
|
|
Date de création |
|
|
Date de modification |
|
|
Titre |
|
| Propriété facultative, un nom est généré sinon |
Description |
|
| Éventuellement HTML transformé en Markdown |
URL |
|
| Priorité à |
Taille |
|
|
Type MIME |
|
|
Format |
|
|
Somme de contrôle |
|
|
Identifiant distant |
|
|
URI |
|
| Si |
Date de création |
|
|
Date de modification |
|
|
Identifiant distant |
|
|
Slug |
|
| Car |
URL de consultation |
|
| Conservé dans |
Identifiant |
|
| Un UUID valide |
Titre |
|
|
Description |
|
|
URL |
|
|
Type |
|
|
|
Type MIME |
|
|
Format |
|
|
Date de création |
|
|
Date de mise à jour |
|
|
Title |
|
|
Acronyme |
| ❌ |
Description |
|
| HTML converti en Markdown |
Mots-clés |
|
|
Licence |
|
| champ libre: deviné sinon |
Couverture spatiale |
| ❌ |
Couverture temporelle |
| ❌ |
Fréquence de mise à jour |
| ❌ |
Identifiant distant |
|
| ⚠ Attention au changement |
URL de consultation |
|
|
Référence interne |
|
|
Présence de données |
|
|
Données spatiales |
|
|
Date de modification |
|
|
| Nom de domaine moissonné |
| Identifiant technique du moissonneur |
| Identifiant distant du jeu de données |
| Date du dernier moissonnage |
Titre |
|
|
Acronyme |
|
|
Description |
|
| Éventuellement HTML transformé en Markdown. |
Mots-clés |
|
| Les |
Licence |
|
|
Couverture spatiale |
| ❌ |
Couverture temporelle |
|
| Séparé par |
Fréquence de mise à jour |
|
|
Slug |
|
| Création uniquement, si disponible |
Titre |
|
|
Acronyme |
| ❌ |
Description |
|
|
Mots-clés |
|
|
Date de création |
|
|
Date de mise à jour |
|
|
Licence |
|
| deviné |
Couverture spatiale |
|
| deviné |
Couverture temporelle |
|
|
Fréquence de mise à jour |
|
|
ou un équivalent au plus proche des
