User:Vinber/brouillons/osmose-od

From OpenStreetMap Wiki
Jump to navigation Jump to search

à savoir

- concernant la numérotation des items

- centaine et dizaine définissent le jeu de données - le millier la thématique - l'unité la sous partie !

    1. Osmose

Osmose (osmose.openstreetmap.fr) permet :

- de faire tourner sur la base osm des analyses qualités (que nous appelerons *analysis*) - de faire des comparaisons pour regroupements entre les données OSM et des données ouvertes (que nous appellerons les *merge*)


  1. Méthodologie d'intégration d'un fichier opendata dans OSMOSE
    1. Osmose

Osmose (osmose.openstreetmap.fr) permet :

- de faire tourner sur la base osm des analyses qualités (que nous appelerons *analysis*) - de faire des comparaisons pour regroupements entre les données OSM et des données ouvertes (que nous appellerons les *merge*)

    1. Un fichier OpenData (OD)

Pour la suite, nous devons avoir un fichier **opendata** (LO ou OdbL). Pour la facilité, nous considérerons dans un premier temps que le fichier :

- est correctement encodé, - ne présente pas de particularités exotiques - à une adresse url fixe - ouvrir une page wiki (encore à creuser l'organisation, mais on peut trouver un certain nombre de page déjà faite ici : https://wiki.openstreetmap.org/wiki/France/data.gouv.fr)

    1. Osmose-OD (OD pour OpenData)

Osmose-OD va permettre de faire le rapprochement entre les données OSM et les données ouvertes.

De ce rapprochement 4 situations vont apparaître l'interface Osmose-OD :

- des données sont présentes dans le fichier OD, pas dans OSM ; - des données sont présentes dans OSM, pas dans le fichier OD ; - les données OSM et du fichier OD sont rapprochées (selon des critères comme la distance, une référence commune ou autre tag) et peuvent être fusionnées, - le fichier OD a été mis à jour et peut-être rapproché par une clé commune (référence) et peut donc être mis à jour dans OSM,

    1. Code

Chaque fichier OD nécessite quelques lignes de code permettant de définir :

- les caractérisitiques du fichier OD (encodage, URL, source, millésime, ...) - les correspondances entre les champs du fichier OD et les tags OSM, Cette corerspondance est soit directement dans le fichier merge soit dans un fichier de mapping (qui se concentre sur le rapprochement entre les en-têtes de colonnes et les tags osm)

- à savoir Osmose peut faire beaucoup beaucoup de choses 

 - partir de fichiers csv, json, shp, gtfs, y compris dans un zip

- filtrer le fichier OD sur certains champs, - séparer, fusionner, regrouper des champs du fichier OD pour préparer la correspondance avec les tags OSM, - ... - le mode de rapprochement : - la conflation en définissant la distance en mètre entre 2 points, - une référence commune aux deux POI, - un tag commun aux deux POI,

    1. Listes des merge actuellement en cours - Github

- [ici, dans merge data sur Github](https://github.com/osm-fr/osmose-backend/tree/master/merge_data)

- [et ici dans analysers sur Github](https://github.com/osm-fr/osmose-backend/tree/master/analysers)

    1. Exemple de codes

- une url pour une fiche sur le jeu de donnée

- le nom du jeu de données

- description du ficher que l'on va récupérer (attribution et millésime) - file (c'est en dur dans osmose - fileurl c'est en ligne chez la collectivité - sait lire du csv, json, shp, gtfs, y compris dans un zip - description également encodage ... - dans le load, on définit principalement les lattitude longitude - on peut filtrer le fichier sur le champs - mapping des colonnes au tag - static : cela ne changera pas : exemple amenity=post_box quand tu travailles sur - self.source / calculé à partir de l'attribution et millésime défini au dessous - mapping : cela peut bouger exemple : le nom, la référence - deux types de mapping - valeurs d'une colonne directement transposable en valeurs OSM - valeurs OSM calculées à partir d'une colonne (par exemple valeurs booléennes transformées en yes / none ou de plusieurs)

toujours dans mapping, on va s'attaquer au rapprochement tags entre accolade ET, entre crochets OU

mode de rapprochement : - conflationDistance : en metre - soit la référence - soit un tag (exemple d'un tag wikipédia)

  1. Redéfinir les catégories, les items et class d'osmose OD

- quelles catégories / 9 catégories - quelle classification

peut-être se baser sur une lecture des principales bases de données géocodées et ouvertes

  1. la numérotation dans osmose-QA

- les milliers sont la catégorie - centaine et dizaine définissent le jeu de données - l'unité définit le résultat du rapprochement 

   - présent dans osm pas dans od

- présent dans od pas dans osm - fusion -> conflation ou autres modes de rapprochements - mise à jour se fait sur la référence rentrée sans OSM, la base OD est mise à jour, on le voit sur osmose si tag de niveau 1

- créer des catégories pour OD - par thématiques, selon le wiki ? - jusqu'à 9, (à tester pour plus avant de l'imaginer) - dans catégories, des items sur les centaine, dizaines et unités - chaque item à des class - sous division des items en class (raisons différentes) - on peut filter soit par items, soit par class

Cette clsse est un numéro qui doit être unique, pas encore compris comment on le définit


la classe peut-être le territoire, ce qui est aujourd'hui en partie le cas.


On peut filtrer les analyses et merge par :

- tag associés au merge ou analyses (plusieurs tags possibles, 1 seul en filtre) - filtre en ligne ou josm (automatique en fonction du retour osmose)

  1. Osmose OD

Pour éviter de faire un doublon de ce qui existe sur osmose actuellement, il est nécessaire de :

- définir comment on catégorise les fichiers OD.

Proposition de reprendre la catégorisation faite par data.gouv :

- Agriculture et alimentation - Culture - Economie et emploi - Éducation et recherche - International et europe - Logement, développement durable et énergie - Santé et social - Société - Territoires, transports et tourisme

Retrieved from "https://wiki.openstreetmap.org/w/index.php?title=User:Vinber/brouillons/osmose-od&oldid=1994494"