Lier des données à un référentiel

Il est important d'intégrer dans vos jeux de données des données pivots relevant d'un référentiel.

Exemple : Mon jeu de données est une liste d'actions culturelles menées par ma région. Certaines de ces actions sont gérées par des associations. Il peut être intéressant de publier un jeu de données recensant ces actions avec un champ correspondant à l'identification des associations. Cet identifiant existe et est standardisé, il s'agit du numéro RNA, identifiant national des associations dont le répertoire est opéré par le ministère de l'intérieur.

Pourquoi intégrer des données pivots dans un jeu de données ?

L'intégration dans un jeu de données de données pivots qui correspondent à un référentiel présente plusieurs avantages :

• Une meilleure formalisation : en se basant sur un référentiel, le producteur de données a l'assurance d'utiliser un format de données standard et partagé par un grand nombre de jeux de données ;

• Une meilleure synthèse : en se basant sur un référentiel, le producteur évite l’abondance de détails et va à l’essentiel. L’obtention d’informations complémentaires se fera par le biais de la consultation du référentiel lui-même ;

• Une meilleure compréhension : en intégrant dans son jeu de données des données correspondant à un référentiel, le producteur facilite la compréhension de celui-ci par les utilisateurs car il se réfère à un standard largement adopté ;

• Une meilleure réutilisation : intégrer des données liées à un référentiel facilitera la réutilisation du jeu de données et permettra son enrichissement avec d'autres données partageant la même donnée pivot ;

• Une meilleure interopérabilité : intégrer des données pivots facilite le lien avec des données de référence fiables et à jour.

Quels référentiels utiliser pour intégrer des données pivots ?

Voici une liste non exhaustive de référentiels sur lesquels il est possible de s'appuyer pour l'intégration de variables pivots :

Le service public de la donnée

Le service public de la donnée (SPD) vise à mettre à disposition avec un haut niveau de qualité les jeux de données de référence qui présentent un fort impact économique et social.

À ce jour, 9 jeux de données ont été identifiés comme des données de référence :

Nom du jeu de données	Variable(s) pivot(s)	Description	Producteur
Base SIRENE	SIRET, SIREN	Liste des établissements (SIRET) et unités légales (SIREN) françaises	INSEE
Base Adresse Nationale (BAN)	BAN	Référencement de l'intégralité des adresses du territoire français	BAN
Code Officiel Géographique (COG)	Codes et libellés	Liste des communes, cantons, arrondissements, départements, régions, pays et territoires étrangers	INSEE
Plan Cadastral Informatisé (PCI)	Identifiant	Représentation de chacune des sections du cadastre français	Ministère de l'Économie et des Finances
Registre parcellaire graphique (RPG)	Identifiant	Base de données géographique de référence pour l'instruction des aides de la politique agricole commune (PAC)	IGN
Référentiel de l'organisation administrative de l'Etat	Identifiant	Liste des institutions régies par la Constitution de la Ve république ainsi que les administrations qui en dépendent	DILA
Référentiel à grande échelle (RGE)	Identifiant	Composantes orthophotographique, topographique et adresse, parcellaire et altimétrique des territoires de l'Etat français	IGN
Répertoire National des Associations (RNA)	N° RNA / N° Waldec	Ensemble des associations relevant de la loi du 1er juillet 1901 relative au contrat d’association, dont le siège est en France	Ministère de l'Intérieur
Répertoire Opérationnel des Métiers et des Emplois (ROME)	Code ROME	Inventaire des dénominations d’emplois/métiers les plus courantes, analyse des activités et compétences, regroupement des emplois selon un principe d’équivalence ou de proximité	Pôle Emploi

Exemple : Afin de lister l'ensemble des actions culturelles de ma région, nous avons vu que le numéro RNA pouvait être utile pour identifier les associations. Grâce à celui-ci, il est également possible de récupérer le numéro SIRET de l'association si celle-ci en possède un. Il est également possible de détailler dans le jeu de données le code commune et le code département de chaque action. Pour cela, il convient de se référer au Code officiel géographique. Attention à bien respecter celui-ci. Par exemple, le code département de l'Ariège est le "09" et pas le "9". Ce type d'erreur pourrait entraîner des difficultés lors de la réutilisation des données.

Autres référentiels

Des jeux de données standardisées et communément partagées avec le plus grand nombre peuvent aussi être utilisés comme référentiels.

Exemple : L'identifiant unique d'une certification professionnelle est le numéro RNCP. Ce jeu de données ne fait pas partie du service public de la donnée mais est largement partagé par les acteurs du domaine de la formation professionnelle.

Référentiels métiers

Nom du jeu de données	Variable(s) pivot(s)	Description	Producteur
Nomenclature d’activités française (NAF)	Code NAF	Nomenclature des activités économiques productives, principalement élaborée pour faciliter l'organisation de l'information économique et sociale	INSEE
Répertoire National des Certifications Professionnelles (RNCP) et Répertoire Spécifique (RS)	N°RNCP / N°RS	Répertoire des certifications officielles inscrites au RNCP et au RS	France Compétences
Fichier FANTOIR des voies et lieux-dits	N° FANTOIR	Nom des lieux-dits et des voies pour chaque commune, y compris celles situées dans les lotissements et les copropriétés	Ministère de l'Économie et des Finances
Etats et capitales du monde	Code Pays	Liste des états indépendants reconnus par la France	Ministère de l'Europe et des Affaires Etrangères
Nomenclatures des professions et catégories socioprofessionnelles	Code PCS / Code PCS-ESE	Nomenclatures des professions et catégories socioprofessionnelles	INSEE
Liste des établissements d'enseignements supérieurs Liste des établissements d'enseignements secondaires	N°UAI	Liste des unités administratives immatriculées	ONISEP

Référentiels techniques

Les référentiels techniques n'ont pas de significations métiers mais ils permettent de décrire une donnée de manière standardisée. Ces standards permettent aux utilisateurs et aux algorithmes de pouvoir interpréter automatiquement la donnée de manière correcte.

Voici deux exemples de référentiels techniques :

Nom du référentiel	Description	Information
WGS84	Coordonnées géodésiques d'un lieu	Wikipedia
ISO8601	Représentation numérique d'une date et d'une heure	Wikipedia

Partager ses propres référentiels

Cadre Commun d'Architecture des référentiels de données de l'État

Le Cadre Commun d'Architecture des référentiels de données de l'État fait spécifiquement mention de l'importance des variables pivots dans le partage et la publication de données. Il stipule notamment que :

• Les données sont un bien, un actif de l’État, elles doivent être gérées et valorisées en conséquence ;

• Les données doivent être standardisées, définies sur la base d’un vocabulaire commun, contextualisées, et combinables les unes aux autres ;

• Les données doivent être facilement réutilisables, partageables et accessibles à travers les frontières des administrations ;

• Les données publiques doivent être mises à disposition librement et ouvertement sur internet ;

• La sécurité et l'archivage des données doit être assuré.

Les acteurs sont encouragés à mettre en place leurs propres référentiels internes ou à les partager s'ils existent déjà pour favoriser au mieux le partage et l'interopérabilité des données.

Il est pertinent de diffuser, en même temps qu'un jeu de données, la liste des valeurs possibles correspondant à votre propre référentiel métier. Celui-ci sera connu et potentiellement réutilisé par d'autres acteurs.

La mise en place de référentiels fait partie d'une stratégie de montée en qualité de la donnée. Néanmoins ce n'est souvent pas suffisant : il est ensuite nécessaire de diffuser, former et vérifier que les données produites intègrent ces référentiels et n'en dérivent pas (à partir d'un contrôle humain ou de tests automatiques).

Exemple : J'utilise en interne un numéro unique permettant d'identifier chaque type d'action culturelle (arts du spectacle, cirque, arts plastiques...). Il peut être pertinent de diffuser en parallèle à la diffusion de mon jeu de données la liste de mon référentiel. Des communes de ma région pourraient potentiellement le réutiliser pour décrire leurs actions culturelles à une maille plus fine.

Comment intégrer des adresses dans un jeu de données ?

Il existe des référentiels pour décrire une adresse de manière unique.

Le référentiel officiel d'adresse est la Base Adresse Nationale (ou BAN).

• Si vous partez de zéro pour constituer un jeu de données --> il est pertinent de partir de la Base Adresse Nationale pour décrire vos adresses.

• Si vous travaillez sur un jeu de données qui contient déjà des adresses saisies --> il peut s'avérer fastidieux de corriger manuellement l'ensemble des adresses erronées et vous pouvez obtenir une base d'adresse normalisée grâce à la méthode décrite ci-dessous.

Le géocodage

Lexique : Géocodage

Le géocodage consiste à affecter des coordonnées géographiques à une adresse postale.

Le géocodage peut être en partie automatisé grâce à des outils proposés par Etalab.

Le site https://adresse.data.gouv.fr/ permet de géocoder une liste d'adresse via un appel à une API ou par le dépôt de fichier csv.

Il permet aussi, à partir d'un jeu de données contenant des adresses déjà saisies, de retourner un jeu de données enrichi :

• de coordonnées géographiques (longitude/latitude) ;

• des adresses « corrigées » récupérées de la BAN.

Le site adresse.data.gouv.fr est limité à des utilisations ponctuelles et des volumétries de données considérées faibles (moins d'un million de lignes).

Page d'accueil d'adresse.data.gouv.fr

Pour géocoder davantage de données (plusieurs millions de lignes), il est recommandé d'installer votre propre environnement de géocodage, en utilisant par exemple le géocodeur Addok. Des ressources sont disponibles sur GitHub pour vous aider dans l'installation de votre environnement.

Quelle que soit la méthode utilisée, le processus de géocodage retournera une liste d'adresses standardisées avec leurs coordonnées géographiques associées. Il donne aussi accès à une information geo_score correspondant au score de confiance que le géocodeur accorde à l'adresse retournée. Cet indicateur peut être utile à garder dans un jeu de données final, il donnera une indication aux utilisateurs sur la performance du géocodage de chaque adresse.