Préparation des données sous QGIS Desktop

Récupération des données nécessaires à la mise en oeuvre de l’application cartographique

Vous pouvez récupérer la plupart des données que nous allons exploiter depuis de la plateforme ouverte des données publiques françaises sur data.gouv.fr

Données et coordonnées géographiques des établissements scolaires français

Où se procurer les données ?

L’Education Nationale a mis à disposition sur la plateforme data.gouv.fr un fichier d’adresses et géolocalisation des établissements d’enseignement du premier et second degrés. (Le premier degré correspond aux écoles maternelles et élémentaires, le second degré regroupe collèges et lycées)

Téléchargez la version txt des données d’adresses, notez que le fichier est récent, il date de juin 2014. Prenez également connaissance de la notice explicative pour les données d’adresses.

Le fichier possède de nombreuses informations exploitables, premièrement le numéro de l’unité administrative immatriculée (uai). Ce numéro permet d’identifier un établissement, il servira d’identifiant ultérieurement lorsque nous chargerons les établissement dans une base de données. Au travers de ce numéro nous pourrons également rediriger l’utilisateur vers la base centrale des établissement de l’éducation nationale où il pourra trouver les informations sur un établissement dont nous ne disposons pas dans le fichier.

La base centrale des établissement permet d’effectuer une recherche par numéro uai, mais faute de données sur le nombre d’élèves par établissement l’application ne pourra pas évaluer la population totale d’élèves impactés.

Quelles informations exploiter ?

Le champ d’appellation officielle servira d’étiquette à l’établissement sur la carte.

Nous pourrons filtrer les établissements par leur état pour ne sélectionner que les établissements ouverts et utiliser le code nature de l’établissement pour mettre en évidence les écoles et collèges qui sont un ensemble de la population plus sensible à une exposition aux pesticides.

Finalement, notez que les coordonnées X et Y projetées sont fournies par l’IGN sur les données de décembre 2013. (Vous pouvez déjà remarquer dans le descriptif des données que plusieurs projections sont utilisées)

Données des parcelles de cultures en France métropolitaine

Où se procurer les données ?

Les Etats Membres de la Communauté Européenne ont l’obligation de localiser et d’identifier les parcelles agricoles, nous profiterons de l’opportunité pour télécharger le registre parcellaire 2012 mis à disposition par l’Agence de services et de paiement sur la plateforme data.gouv.fr.

Téléchargez toutes les ressources. Les fichiers sont distribués sous formes d’archives compressées à raison d’un fichier par département, ce qui vous demandera un peu de rigueur et beaucoup de patience !

Vérifiez que vous avez le bon nombre de départements, vous devriez avoir 96 ressources si vous téléchargez également la description des fichiers et les codes groupes cultures : la corse est scindée en départements 2A et 2B (il n’y a pas de numéro 20), le dernier numéro de département en France métropolitaine est le 95, le département 28 soumis en février 2014 est vide cependant les données sont présente dans la ressource intitulée « No Name », et les départements 75 et 92 ne possèdent pas de fichiers, même vides, ce qui doit refléter une absence de cultures déclarées. (Les quelques 1200 m2 de vignes parisiennes ne devraient pas avoir d’impact significatif sur les résultats ?!)

Les départements d’outre mer ne sont pas fournis, en l’absence de données je ne traiterai pas ces cas.

Quelles informations exploiter ?

Chaque fichier archive contient des données spécifiques aux îlots de culture pour le département indiqué par son code présent dans le nom d’archive.

Les informations de géométrie des îlots sont reliées à deux attributs:

  • Le numéro d’attribut Num_Ilot sert d’identifiant, il est unique
  • Le code groupe culture Code_Groupe_Culture est un attribut qui permet de déterminer le type de culture par rapport à la table de référence des codes groupes de culture. Cette table est fournie sous forme de fichier csv, elle permet d’associer un descriptif à la culture effectuée sur l’îlot et un code couleur. Le type de culture nous permettrait éventuellement d’associer aux données géographique un indicateur de fréquence des traitement (IFT) qui servirait à estimer les traitements phytosanitaires – mais pas la toxicité – pour chaque îlot. Les IFT seront récupérés de l’enquête Agreste Pratiques culturales 2011 et depuis une publication sur le site du Ministère de l’agriculture où figurent des données Agreste pour la viticulture en 2006 absentes sur l’enquête 2011

Données OpenStreetMap (OSM)

OpenStreetMap est un projet communautaire de grande envergure qui vise à créer et mettre librement à disposition et sous licence libre une carte du monde. OSM est alimenté par des milliers de contributeurs bénévoles qui maintiennent à jour les données cartographiques des réseaux routiers, ferroviaires, pédestres, les adresses, bâtiments et points d’intérêt sur la planète entière. OSM est exact et très à jour, il fournit des données que l’on peut exploiter pour nos propres besoins cartographiques.

Nous utiliserons les services d’OSM pour le rendu des fonds de carte dans l’application, et également au travers du logiciel QGIS pour la préparation du projet.

Données de l’Institut National de l’Information Géographique et Forestière (IGN)

L’IGN fournit sous licence ouverte la description de l’ensemble des unités administratives de France métropolitaine. Les données existent en 2 versions: GEOFLA® Communes, et GEOFLA® Départements, la réutilisation est gratuite pour tous les usages, nous allons exploiter ces données dans nos requêtes pour représenter l’information par département ou par commune.

Téléchargez GEOFLA® au format Shapefile, j’ai pris pour la réalisation les données 2013 des communes France métropolitaine et l’édition 2013 des départements France métropolitaine

Le logiciel QGIS Desktop

QGIS est un système d’information géographique (SIG) libre et open source qui permet de créer, éditer, visualiser, analyser ou encore publier des informations géographiques. Le logiciel QGIS Desktop est l’application pour ordinateur de bureau, disponible sur Windows, Mac, ou encore Linux. Cet outil, bien que gratuit, possède les capacités équivalentes à celles des logiciels propriétaires. Il est supporté par la fondation OSGeo et très largement utilisé.

Pour la réalisation de l’application cartographique je vais utiliser la version 2.4 du logiciel afin de préparer les couches géographiques qui seront exploitées sur le projet.

Je vous recommande l’excellent tutoriel QGIS créé par l’unité ADESS (Aménagement, Développement, Environnement, Santé et Société) sous tutelle du CNRS pour permettre aux débutants de d’initier aux SIG au travers de QGIS. Vous trouverez notamment en français des explications accessibles et illustrées sur la géodésie qui vous permettrons d’appréhender les systèmes de coordonnées et projections et qui pourrons vous servir de référence.

Utiliser un fond de carte OpenStreetMap

Nous allons voir comment l’installation d’une extension peut nous permettre de faire appel aux serveurs OSM afin de bénéficier d’un fond cartographique pour nos données.

Ouvrez QGIS, parcourez la barre de menu

Extension > Installer / Gérer les extensionsUne fenêtre s’ouvre, dans la zone de recherche saisissez le nom de l’extension OpenLayers Plugin

Installez l’extension, puis parcourez la barre de menuInternet > OpenLayers Plugin > OpenStreetMap > OpenStreetMap

Vous devriez désormais retrouver une couche nommée OpenStreetMap dans l’explorateur et la carte du monde doit progressivement apparaître dans la zone de rendu.

Le survol de la souris sur le code EPSG en bas à droite nous informe sur le système de coordonnées de référence, WGS 84 / Pseudo Mercator, et indique que le système de projection à la volée est activé.
Vous pouvez activer le système de projection à la volée dans les propriétés du projet (soit en passant par l’icône en bas à droite où apparaissent des ellipses, soit en passant par le menu Projet > Propriétés du Projet), la propriété s’active sous l’onglet SCR (système de coordonnées de références) et va permettre d’importer des couches sous un autre système de coordonnées.

Ces couches seront superposées dans le système de coordonnées défini par défaut pour le projet, ce qui nous sera utile pour l’import des couches dans le système de référence officiel pour la France métropolitaine. Les coordonnées des données d’établissements et d’îlots de culture sont fournies pour le système RGF93 – Lambert 93.

Ouverture des données d’établissements scolaires

QGIS propose d’ajouter des couches de texte délimité, ce qui permet de charger des fichiers au format texte ou texte csv à partir du moment où le fichier respecte un format de délimitation des champs et possède des champs de coordonnées géographiques.

Vous pouvez passer par le menu Couche > Ajouter une couche de texte délimité, ou bien utiliser l’icône en forme de virgule sur la palette à gauche, ou plus simplement faire glisser le fichier sur la fenêtre applicative de QGIS. Pour cette dernière option le logiciel essaie de déterminer lui même les paramètres, elle ne fonctionne pas dans notre cas.

Ajoutez une couche de texte délimité en passant par le menu, une fenêtre s’ouvre et vous permet de saisir des paramètres :

  • Choisissez le codage ISO-8859-1, il s’agit du jeu d’encodage des caractères Latin dans lequel se présente le fichier texte.
  • Le caractère délimiteur est le pipe ‘|’, vous devez décocher tous les délimiteurs prédéfinis et saisir le caractères dans la zone de saisies Autres délimiteurs(combinaison de touches Alt Gr + 6)
  • Précisez que la première ligne doit être ignorée en cochant l’option en-têtes en 1ère ligne
  • La définition de la géométrie est le Point, vous devez sélectionner les champs du fichier pour les valeurs de X et Y
Le logiciel vous averti de l’absence de géométrie sur 120 enregistrements… continuez.Au moment de sélectionner le système de coordonnées de référence, choisissez RGF93 / Lambert-93

Double cliquez sur la couche qui vient d’apparaître dans l’explorateur à gauche pour accéder aux propriétés. Sur la fenêtre qui s’ouvre, dans l’onglet Étiquettes choisissez d’étiqueter la couche avec le champ code_postal_uai, le rendu de carte va faire apparaître les codes des départements annexés aux points qui représentent les départements.

Abaissez le niveau de zoom de la carte afin de faire apparaître les établissements des départements d’outre mer (ç-a-d les codes département qui débutent par 97 ou 98). Que se passe-t-il ?

Les points qui correspondent aux départements d’outre mer n’apparaissent pas au bon endroit sur la carte, simplement parce que le fichier de données mixe les projections comme indiqué dans la documentation en annexe au fichier. Cela implique de traiter en amont le fichier.

Le chargement du fichier sous QGIS nous a fait prendre connaissance des problématiques des données d’établissement qu’il faudra prendre en compte lors du chargement du fichier en base de données. Premièrement certaines lignes ne possèdent pas de coordonnées géographiques, ce qui se vérifie aisément sous un tableur où l’on constate bien 120 enregistrements sans coordonnées. Deuxièmement il faudrait créer un import pour chaque système de référence employé, et malheureusement le seul champ qui nous permet cette discrimination est le code postal. Ultérieurement nous procéderons au chargement des données en base en restreignant les données à la France métropolitaine puisque nous ne possédons de toute façon pas les informations parcellaires des départements d’outre mer.

Ouverture des données de parcelles agricoles

Prenons l’archive RPG_2012_003.zip, le numéro nous indique qu’il s’agit de l’Allier. Si l’on décompresse l’archive, on dispose de 5 fichiers, dont 4 fichiers appartiennent au format SIG devenu standard : ESRI ShapeFile.

  • Le fichier Excel d’extension .xls nous renseigne sur les codes groupes culture comme nous avons pu voir lors de la récupération des données.
  • Le fichier d’extension .prj contient les informations sur le système de coordonnées, vous pouvez l’éditer avec un éditeur de texte pour obtenir des renseignements sur ce système
  • Le fichier .dbf stocke les données des attributs, vous pouvez l’ouvrir avec un tableur
  • Le fichier .shx stocke les indexes des enregistrements du fichier d’entités géographiques
  • Le fichiers .shp contient la géométrie des entités géographiques, il peut s’agir de points, lignes ou polygones. Dans ce cas précis il s’agit de contours de parcelles donc de polygones
Ouvrez QGIS ou si c’est déjà fait créez un nouveau projet.Faites glisser le fichier .shp sur la fenêtre d’application QGIS, le logiciel réalise l’opération d’ajout d’une couche vectorielle au projet.

Le résultat n’est pas en soit très parlant, nous pouvons ajouter la couche vectorielle des limites administratives départementales voir des limites communales afin d’obtenir une meilleure représentation.

Faites glisser les fichiers DEPARTEMENT.SHP, LIMITE_DEPARTEMENT.SHP, COMMUNE.SHP et LIMITE_COMMUNE.SHP que vous avez récupéré précédemment des données GEOFLA® sur la fenêtre d’application QGIS, vous pouvez contrôler les couches ajoutées dans l’explorateur à gauche et les réordonner pour faire apparaître les parcelles sur les autres couches.Vous pouvez contrôler les attributs en modifiant le style par type de culture.

Ouvrez les propriétés de la couche RPG_2012_003 en double cliquant sur le nom de la couche dans l’explorateur. Dans l’onglet Style de la fenêtre qui vient de s’ouvrir sélectionnez l’entrée Catégorisé dans la liste déroulante puis la colonne CULT_MAJ. Sélectionnez Couleurs au hasard pour la palette de couleurs puis cliquez sur le bouton Classer.

Vous devriez obtenir un résultat similaire à celui ci :

L’import des fichiers de données sous QGIS nous a permis de contrôler les formats, vérifier les attributs et détecter les anomalies. Nous n’allons pas directement exploiter les fichiers de données, passons maintenant au chargement des données en base de données spatiale pour bénéficier des possibilités d’indexation, d’accès concurrentiel et de requêtes spatiales.

Une fois les données en base nous retournerons sous QGIS avec pour objectif cette fois ci de créer un projet qui pourra être utilisé par un serveur cartographique pour transmettre des flux de données sur le réseau à destination de notre application de cartographie web.

Faites découvrir ce billet...Email this to someonePrint this pageShare on FacebookTweet about this on TwitterShare on Google+Share on LinkedIn

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *