Import/All the Places FR data
Introduction
Il s'agit d'une importation de données All the Places (ATP) en France sur des objets OSM existants. Les données de All the Places proviennent des sites internet respectifs des chaines de magasins.
La méthode de collecte d'informations de All The Places a reçu un feu vert conditionnel pour une utilisation dans OSM par le Licensing Working Group.
Pour l'instant, on ajoute uniquement des tags manquants dans OSM mais présents dans All The Places. Si cet import se déroule correctement, on pourra potentiellement envisager de mettre à jour des tags avec les données mises à jour dans All The Places.
But
L'objectif est d'importer les sites internet, numéros de téléphone et horaires d'ouverture de magasins à partir de All The Places.
Seuls les magasins sans information sur ces tags seront modifiés, toute information existante sera préservée (même si les données OSM sont incorrectes ou obsolètes).
Données Importées
Licence
Site de la source de donnée: https://www.alltheplaces.xyz/
Licence: https://creativecommons.org/publicdomain/zero/1.0/
Type de Licence: Creative Commons’ CC0-1.0
Compatibilité avec la licence ODbL: oui, voir cette recommandation
Type d'Import
Le concept est d'exécuter une importation par chaine de magasin (tag brand:wikidata). Les jeux de modifications sont préparés au niveau de la France entière.
Afin de permettre une vérification accrue au début, l'import se fait de manière progressive en commençant par les plus petites chaines de magasins.
Toute non-correspondance est écartée (elle pourra être traitée séparément et manuellement).
Changements Spécifiques
- Seuls les objets OSM existants sont visés.
- Aucune valeur d'attribut n'est retirée, seul un ajout d'information est fait si non présente dans OSM.
- Seuls les attributs
website,phoneetopening_hourssont ajoutés (si les tagswebsite/contact:website,phone/contact:phoneetopening_hourssont vides)
Déroulement
Les données All The Places sont sous forme de fichier CSV. Afin de rapprocher ces données avec OSM le plus efficacement possible, elles sont importées dans PostgreSQL/PostGIS.
Conflation
Le rapprochement OSM/ATP se fait sur le tag brand:wikidata et dans un rayon spécifique grâce aux latitude/longitude (pour l'instant 500 mètres)
Filtrages des données :
- Tous les objets ATP sans site web défini sont ignorés (afin de pouvoir vérifier à postériori).
- Un seul objet ATP par objet OSM (le reste est ignoré).
- Seuls les objets OSM node/way sont traités pour l'instant.
- Les objets OSM amenity=
gas,fuelouatmsont ignorés (également lorsqu'un point virgule est présent - par exempletobacco;newspaper).
Attributs Importés
| Tag ATP | Exemple de donnée ATP | Traitement | Tag OSM | Exemple de donnée OSM importée | Commentaires |
|---|---|---|---|---|---|
| ogc_fid | 4410 | ignoré | |||
| id | QZcgDYYF3UUGruagQcZ_lUPsDzo= | ignoré | |||
| ref | 0519 | ignoré | |||
| @spider | carrefour_fr | ignoré | |||
| shop | convenience | ignoré | |||
| addr:street_address | 15 boulevard Du General Delfino | ignoré | |||
| addr:city | Nice | pour filtrage seulement | pour ne pas inclure Monaco | ||
| addr:postcode | 06300 | ignoré | |||
| addr:country | FR | pour filtrage seulement | seulement en France | ||
| name | Carrefour Nice Tnl | ignoré | |||
| phone | +33 4 92 17 74 79 | importé | phone | +33 4 92 17 74 79 | |
| website | https://www.carrefour.fr/magasin/nice-tnl | importé | website | https://www.carrefour.fr/magasin/nice-tnl | vérifie si le site web existe |
| contact:facebook | NULL | ignoré | |||
| opening_hours | Mo-Sa 08:30-22:00; Su 08:30-12:30 | importé | opening_hours | Mo-Sa 08:30-22:00; Su 08:30-12:30 | |
| brand | Carrefour | ignoré | |||
| brand:wikidata | Q217599 | pour filtrage seulement | union des données ATP/OSM | ||
| nsi_id | carrefour-4d6b4b | ignoré | |||
| wkb_geometry | 0101000020E6100000D4EFC2D66C251D400917F2086EDA4540 | pour filtrage seulement | rapprochement des lat/lon |
Préparation des Données
Toutes ces étapes sont faites automatiquement avec un script pour un brand:wikidata spécifique (gitlab/atp-import-fr) :
- Téléchargement des objets OSM existants avec Overpass (format .osm)
- Export de la conflation ATP/OSM (format .json)
- Fusion des données avec ajout des attributs manquants au fichier d'Overpass (.osm au format JOSM avec des
action=modifypour les objets à téléverser)
Téléversement
Ces opérations sont manuelles :
- Ouverture du fichier .osm dans JOSM
- Validation des données avec JOSM Validator (Attention: seuls les erreurs/warnings liés à l'import des données ATP sont traités)
- Upload des changements
Attributs du groupe de modifications
Chaque groupe de modifications (changeset) sera uploadé depuis le compte OSM meryl_atpfr_bot avec les attributs suivants :
| created_by | atp-import-fr |
| comment | Import website/phone/opening_hours manquants pour [brand name] |
| import | yes |
| source | alltheplaces.xyz |
| url | https://wiki.openstreetmap.org/wiki/Import/All_the_Places_FR_data |
Avancement
- 2024-06-13: Page wiki créée et début de discussion sur le forum OSM-FR
- 2024-06-14: Script mis en ligne sur gitlab
- 2024-06-20: Création du compte OSM meryl_atpfr_bot
- 2024-06-24: Début de l'import
- 2024-07-21: Import initial terminé
Suivi des changements
Afin de suivre l'état d'avancement et de pouvoir vérifier les modifications, le numéro de changeset est complété avec sa date dans le tableau ci-dessous.
Pour chaque changement, le résultat du script ainsi que les différents fichiers générés sont ajouter sur le gitlab du projet (dossier /data) pour permettre une analyse a posteriori en cas d'erreur.
| Chaine | Date | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 24/06/2024 | 06/07/2024 | 07/07/2024 | 08/07/2024 | 12/07/2024 | 13/07/2024 | 14/07/2024 | 15/07/2024 | 20/07/2024 | 21/07/2024 | 01/08/2024 | 05/08/2024 | ||
| Autour de Bébé | 153129506 | ||||||||||||
| Five Guys | 153620763 | ||||||||||||
| KPMG | 153651558 | ||||||||||||
| Cigusto | 153651628 | ||||||||||||
| Natalys | 153651707 | ||||||||||||
| Pathé Gaumont | 153677264 | ||||||||||||
| Animalis | 153677427 | ||||||||||||
| Primark | 153695830 | ||||||||||||
| Loxam | 153695916 | ||||||||||||
| Popeyes | 153695996 | ||||||||||||
| Croix-Rouge Française | 153696138 | ||||||||||||
| Decathlon | 153696313 | ||||||||||||
| CCF | 153696532 | ||||||||||||
| Cora | 153843942 | ||||||||||||
| Aubert | 153844005 | ||||||||||||
| Maison de la Literie | 153844042 | ||||||||||||
| Micromania | 153844078 | ||||||||||||
| Naturalia | 153844128 | ||||||||||||
| Carrefour | 153844356 | ||||||||||||
| Casino Supermarchés | 153844404 | ||||||||||||
| La Vie Claire | 153844438 | ||||||||||||
| Monoprix | 153844480 | ||||||||||||
| Domino's | 153844586 | ||||||||||||
| Hugo Boss | 153897115 | ||||||||||||
| Carre Blanc | 153897179 | ||||||||||||
| Superdry | 153897230 | ||||||||||||
| Esprit | 153897289 | ||||||||||||
| JYSK | 153897315 | ||||||||||||
| Foot Locker | 153897428 | ||||||||||||
| Petit Bateau | 153897464 | ||||||||||||
| Leonidas | 153897513 | ||||||||||||
| Avis | 153897579 | ||||||||||||
| Apple | 153934924 | ||||||||||||
| Shell | 153935639 | ||||||||||||
| Leroy Merlin | 153935091 | ||||||||||||
| Netto | 153935186 | ||||||||||||
| Claire's | 153935241 | ||||||||||||
| Carrefour Montagne | 153935285 | ||||||||||||
| G-Star Raw | 153935318 | ||||||||||||
| Ford | 153935409 | ||||||||||||
| Deichmann | 153935441 | ||||||||||||
| Nike Factory Store | 153935522 | ||||||||||||
| Mercedes-Benz | 153968251 | ||||||||||||
| Optical Center | 153968376 | ||||||||||||
| Subway | 153968448 | ||||||||||||
| Spar | 153968664 | ||||||||||||
| Vival | 153968910 | ||||||||||||
| CIC | 153969180 | ||||||||||||
| Banque Populaire | 153969629 | ||||||||||||
| Crédit Agricole | 153970403 | ||||||||||||
| McDonald's | 153971346 | ||||||||||||
| Carrefour Market | 154170215 | ||||||||||||
| Carrefour City | 154170285 | ||||||||||||
| Carrefour Express | 154170361 | ||||||||||||
| Carrefour Contact | 154170460 | ||||||||||||
| Société Générale | 154170537 | ||||||||||||
| Total | 154170919 | ||||||||||||
| Pandora | 154208088 | ||||||||||||
| Jardiland | 154685627 | ||||||||||||
| Jules | 154685847 | ||||||||||||
| Crédit Mutuel | 154686195 | ||||||||||||
| Peugeot | 154686830 | 154854113 | |||||||||||
| Volvo | 154687209 | ||||||||||||
| Picard Surgelés | 154853314 | ||||||||||||
| Relay | 154854367 | ||||||||||||
| Bleu Libellule | 154854526 | ||||||||||||
Étapes Suivantes
À déterminer