ES:Catastro español/Importación de edificios/Conversión de datos/Programa

	Guía de importación		Gestión de proyectos		Resultados		Documentación
Para la interfaz en línea que evita el uso directo de esta herramienta, véase ES:Catastro español/Importación de edificios/Gestión de proyectos. Las importaciones y ediciones automatizadas deben ser llevadas a cabo por personas con experiencia y suficiente conocimiento de la forma en que la comunidad OpenStreetMap crea mapas y con una cuidada planificación y consulta con la comunidad local correspondiente. Véanse nuestras directrices de importación y nuestro código de conducta de ediciones automatizadas para más información. Las importaciones o ediciones automatizadas que no sigan estas directrices ¡se pueden revertir! {{Anchor}} CatAtom2Osm es la herramienta desarrollada para la conversión de datos de esta importación. Instalación Los pasos a seguir para instalar el programa se detallan aquí. Guía de uso Uso básico (edificios) El programa se ejecuta en la consola de comandos, desde la carpeta que queremos dedicar a descargar los datos. Obtén ayuda ejecutando el programa sin opciones catatom2osm Uso: catatom2osm [OPCIÓN]... [PATHS] ... Para descargar un municipio necesitamos su código en Catastro. Primero averigua el código de dos dígitos de la provincia. catatom2osm -l Oficina territorial =================== 02 Albacete ... 56 Melilla Para ver los municipios de una provincia. catatom2osm -l 02 Oficina territorial 02 - Albacete ================================= 02001-ABENGIBRE 02002-ALATOZ 02900-ALBACETE ... 02069-LA RODA ... 02086-YESTE Una vez que sabemos el código, podemos probar con las opciones por defecto: catatom2osm 02069 El programa crea la carpeta '02069', descarga los archivos zip necesarios desde Catastro y genera algunos archivos. La primera ejecución termina indicando que se ha generado un archivo de conversión de los nombres de viales 'highway_names.csv' y es necesario que lo revises como parte del proceso de revisión de nombres de calles. Después de revisar el archivo de conversiones, repetimos la ejecución anterior para continuar el proceso. Como resultado, se generan en 'tasks' archivos OSM con los edificios y direcciones para cada tarea. Después de revisar los 'fixmes', el contenido de esta carpeta está listo para publicar. Procesar solamente edificios o direcciones Es posible generar un proyecto solamente con direcciones, sin edificios. catatom2osm -b 02069 O solamente con edificios. catatom2osm -d 02069 Esto permite realizar la importación en dos fases. Dividir municipios Para generar un proyecto de una parte de un municipio (un distrito o barrio) utiliza un archivo que contenga los límites administrativos. catatom2osm -s atocha.geojson 28900 Más información aquí. Otras opciones -z: Para generar el archivo de definición de proyecto de forma anticipada. -w: Para descargar los archivos -c: Para recuperar los comentarios de las tareas después de editarlas. -m: Para desactivar la combinación con datos OSM. Configuración Idioma El idioma que el programa utiliza para traducir los tipos de nombres de viales es importante. Seleccionar el adecuado al municipio ayuda a emparejar mejor los nombres de las calles con los existentes en OSM y reducirá el trabajo para corregir los fallos y detectar calles sin nombre. Se puede comprobar el idioma utilizado por el programa en el archivo report.txt. El programa utiliza las configuraciones regionales del sistema para seleccionar el idioma, para usar otro en una ejecución concreta, pasa al programa la variable de entorno LANG. Por ejemplo, en Linux: Fuerza a utilizar el español: LANG=es_ES.UTF-8; catatom2osm Fuerza a utilizar el catalán: LANG=ca_ES.UTF-8; catatom2osm Fuerza a utilizar el gallego: LANG=gl_ES.UTF-8; catatom2osm En la ventana de comandos de Windows (CMD): set LANG=ca_ES.UTF-8 && catatom2osm En PowerShell: ${LANG}="ca_ES.UTF-8"; catatom2osm Si deseas realizar un cambio permanente, usa el archivo de configuración. Archivo de configuración Se pueden modificar algunas opciones del programa mediante un archivo de configuración en formato YAML. Crea una plantilla del archivo con catatom2osm -g Edita el archivo config.yaml. Estos son los parámetros a modificar: language: Idioma para traducir los nombres de viales: es_ES ca_ES gl_ES highway_types: Diccionario para traducir los tipos de vias. place_types: lista de tipos de vía que se traducen a direcciones de lugar (addr:place). remove_place_from_name: Lista de tipos de vía a eliminar del nombre. excluded_types: Lista de tipos de vía que no se analizarán. warning_min_area: Área en m² para el aviso de área pequeña. warning_max_area: Área en m² para el aviso de área grande. parcel_parts: Número de partes de edificio para agregar parcelas. parcel_dist: Distancia en metros para agregar parcelas. En las siguientes ejecuciones, el programa lee el archivo config.yml existente en la carpeta actual. Si por algún motivo quieres tener distintos archivos o situarlos en una carpeta distinta, usa la opción -f para indicar la ruta a un archivo de configuración: catatom2osm -f <archivo de configuración> <resto de opciones> Especificaciones Para entender mejor el funcionamiento interno del programa puedes consultar sus especificaciones o su documentación. Archivos generados Nombre Descripción A.ES.SDGC.AD.02001.zip Conjunto de datos de direcciones descargado de Catastro. A.ES.SDGC.BU.02001.zip Conjunto de datos de edificios descargado de Catastro. A.ES.SDGC.CP.02001.zip Conjunto de datos de parcelas descargado de Catastro. address.osm Utilizado para revisar las direcciones. No importar. boundary.poly Utilizado en caso de ser necesaria la descarga manual de datos para combinación. catatom2osm.log Archivo de registro del programa, se crea en la carpeta actual. current_address.osm Direcciones OSM. current_building.osm Edificios OSM con conflicto (se superponen a algún edificio de Catastro). current_highway.osm Viales OSM. highway_names.csv Tabla con los nombres de las calles en Catastro y su conversión propuesta para la combinación de nombres de viales report.txt Es importante revisar este archivo siguiendo la sección informe de resultados. rustic_zoning.geojson Para definir un proyecto sólo de rústica en el gestor de tareas. urban_zoning.geojson Para definir un proyecto sólo de urbana en el gestor de tareas. zoning.geojson Delimitación conjunta de polígonos de rústica y manzanas de urbana para usar en el gestor de tareas. tasks Carpeta conteniendo los archivos OSM a importar. Informe de resultados El archivo 'report.txt' contiene las siguientes secciones: Información general Contiene datos obtenidos a partir de la relación del límite administrativo del municipio. El programa intenta localizar esta relación a partir del nombre en OSM más aproximado al nombre en Catastro. Es importante por que el límite administrativo se utiliza para limitar los datos descargados de OSM para combinación. En la mayor parte de los casos la correlación es correcta, pero se indican ambos nombres para confirmar que no hay error. Si el nombre obtenido de OSM no es correcto, ver error al localizar el municipio. Si en el nombre del municipio pone 'None' ver No se pudo obtener el límite administrativo, se usará el recuadro delimitador. Si están disponibles, aparece el dato de población y los enlaces a Wikipedia/Wikidata. Podemos aprovechar para confirmarlos y/o actualizarlos. Municipio: La Roda Nombre en Catastro: LA RODA Código: 02069 Información del sistema Contiene datos sobre las versiones de los programas, del sistema operativo, la memoria y procesador del sistema, tiempo y recursos empleados. Versión de la aplicación: CatAtom2Osm 2017-11-14 Plataforma: Linux 4.4.0-96-generic #119-Ubuntu SMP Tue Sep 12 14:59:54 UTC 2017 x86_64 x86_64 Versión de QGIS: 2.14.11-Essen Número de CPUs: 4 Frecuencia de CPU: 3600.0 Mhz Tiempo de ejecución: 153.54 segundos Memoria total: 7928.30 GB Memoria física usada: 251.81 GB Memoria virtual usada: 1014.31 GB Direcciones Contiene información acerca de direcciones con los siguientes apartados: Datos de entrada Fecha de publicación y número de características en los datos de Catastro. Fecha de origen: 2017-09-05 Número de características: 6016 Tipo entrada: 4710 Tipo parcela: 1306 Códigos postales: 2 Nombres de viales: 237 Procesado Características eliminadas/transformadas por el programa. Direcciones sin número de portal eliminadas: 547 Direcciones sin edificio asociado eliminadas: 537 Direcciones correspondientes a edificios múltiples eliminadas: 1165 Direcciones tipo parcela no únicas para su edificio eliminadas: 2 Combinación Elementos existentes en OSM y conflictos. Direcciones OSM: 882 Direcciones rechazadas por existir en OSM: 471 Datos de salida Elementos resultantes en los archivos de salida. Direcciones: 3294 En nodos de entrada: 2316 En edificios: 978 Tipo addr:street: 3290 Tipo addr:place: 4 Edificios Datos de entrada Fecha de origen: 2017-09-05 Número de características: 22685 Edificios: 6103 Partes de edificios: 16265 Piscinas: 317 Procesado Partes fuera de contorno eliminadas: 512 Partes bajo rasante eliminadas: 265 Contornos de edificios creados: 5 Edificios con geometrías multiparte: 1689 Edificios resultantes de dividir multipartes: 4065 Partes fusionadas al contorno: 10000 Partes adyacentes fusionadas: 497 Vértices en punta eliminados: 4 Vértices próximos fusionados: 324 Puntos topológicos creados: 7494 Vértices simplificados 18122 Combinación Edificios/piscinas en OSM: 748 Con conflicto: 606 Datos de salida Nodos: 72292 Vías: 14247 Relaciones: 451 Número de características: 13792 Edificios: 8484 Partes de edificios: 4991 Piscinas: 317 Recuento de tipos de edificios: industrial: 814, office: 10, residential: 4216, yes: 2434, retail: 78, ruins: 64, public: 90, barn: 778 Plantas sobre rasante (nivel: n.º de edificios): 1: 2629, 2: 2634, 3: 492, 4: 135, 5: 94, 6: 46, 7: 16, 8: 1, 9: 1, 10: 1, 101: 1 Plantas bajo rasante (nivel: n.º de edificios): 1: 397, 2: 12, 3: 1 Archivos de tareas de rústica: 114 Archivos de tareas de urbana: 326 Problemas La parte más importante del informe, detalla incidencias que pueden requerir nuestra intervención. Los problemas detallados deben revisarse según la guía de gestión de proyectos. Correcciones (fixmes) Número de correcciones indicadas en los archivos OSM. Deben revisarse y eliminar la etiqueta 'fixme' antes de subir los datos. Podemos encontrar: Área demasiado grande: Edificio con área menor que la indicada en el archivo 'setup.py' opción 'warning_min_area'. Área demasiado pequeña: Edificio con área mayor que la indicada en el archivo 'setup.py' opción 'warning_max_area'. Esta parte es mayor que su edificio: Una parte de un edificio no puede ser más grande que el edificio que la contiene. Validación GEOS: La geometría no ha superado las pruebas de validación de la librería GEOS. Avisos No se pudo obtener el límite administrativo, se usará el recuadro delimitador: Al intentar obtener de OSM la relación con los límites administrativos del municipio ha ocurrido un problema (posiblemente de comunicación) y se ha continuado utilizando el rectángulo que engloba al municipio para descargar los datos para combinación. Los archivos resultantes serán más grandes pero no se trata de un problema grave. No se obtuvieron datos OSM de '%s': La descarga de datos de OSM ha producido un resultado vacío. Puede deberse a que no haya datos o sobrecarga de la API de Overpass (ver Descarga manual de datos para combinación. El edificio de OSM con id %s no es válido: Se ha encontrado un edificio con geometría no válida en OSM. Existen %d direcciones sin número de portal en OSM: Al descargar automáticamente los datos de combinación sólo se descargan direcciones que contengan número de portal. Si hemos descargado los datos manualmente puede aparecer este aviso. Detectada una geometría %s en la capa '%s': Muy improbable, avisa al desarrollador. Validación del informe El programa realiza algunas comprobaciones sumando los valores obtenidos en el informe. Si los resultados no cuadran se indica el problema. No es habitual que suceda, avisa al desarrollador. Las comprobaciones realizadas son: La suma de tipos de direcciones debe ser igual a las direcciones de entrada. La suma de las direcciones de salida y las eliminadas debe ser igual a las direcciones de entrada. La suma de las direcciones en entradas y edificios debe ser igual a las direcciones de salida. La suma de las direcciones tipo calle y lugar debe ser igual a las direcciones de salida. La suma de edificios, partes y piscinas debe ser igual al número de características. La suma de las características de edificios de salida y las eliminadas menos las creadas debe ser igual a las características de entrada. La suma de los tipos de edificios debe ser igual al número de edificios. Posibles problemas Usando el programa nos podemos encontrar con los siguientes problemas. Descarga manual de datos para combinación En ocasiones, sobre todo con los municipios más grandes, los servidores de Overpass pueden estar sobrecargados. Si el programa no consigue descargar los datos para combinación puedes probar usando la opción --log=DEBUG. De esta forma se visualiza la url con la consulta realizada a Overpass. Cópiala, pégala en tu navegador y guarda los resultados con el nombre 'current_highway.osm', 'current_address.osm' o 'current_building.osm' según el caso. Si de esta forma tampoco se obtienen datos, prueba a descargar un archivo PBF usando Hot Export Tool o Geofabrik y ejecutar el guión extract (.sh o .bat) en la carpeta bin. Véase también Instalación de CatAtom2Osm - Hilo en la lista de correo de la comunidad OSM ESpaña para resolver dudas sobre la instalación del programa de conversión de datos. Incidencias en el repositorio del programa.