ES:Catastro español/Importación de edificios/Conversión de datos/Validación

	Guía de importación		Gestión de proyectos		Resultados		Documentación
Esta página descibe los resultados del proceso de validación sobre la herramienta CatAtom2OSM previo a su difusión en 2018. Si quieres participar activamente pasa a la guía de importación. Listado de municipios propuestos Se han seleccionado los 16 municipios con mayor número de edificios, las dos Ciudades Autónomas, 8 municipios al azar entre los que tienen de 10.000 a 1.000 edificios y 10 municipios al azar con menos de 1.000 edificios. El número de edificios se refiere a datos publicados en septiembre de 2017. Municipios candidatos para la validación Núm. Cód. Municipio Comunidad Edificios Superficie (km²) Población (hab. 2016) 1 28900 Madrid Madrid 122.839 605,8 3.165.541 2 30030 Murcia Región de Murcia 80.495 881,9 441.003 3 08900 Barcelona Cataluña 70.296 102,2 1.608.746 4 41900 Sevilla Andalucía 58.559 140,8 690.566 5 51016 Cartagena Región de Murcia 53.283 398,3 569.009 6 29900 Málaga Andalucía 51.055 398,3 569.009 7 35017 Las Palmas de G.C. Canarias 41.941 100,6 378.998 8 54057 Vigo Galicia 41.597 109,1 292.817 9 07040 Palma Islas Baleares 38.586 208,6 402.949 10 14900 Córdoba Andalucía 36.944 1.255,2 326.609 11 46900 Valencia Valenciana 36.407 134,7 790.201 12 50900 Zaragoza Aragón 35.355 973,8 661.108 13 38023 S.C. de La Laguna Canarias 31.976 102,1 153.111 14 06900 Badajoz Extremadura 23.133 1.440,4 149.946 15 52024 Gijón Asturias 22.648 181,7 273.422 16 47900 Valladolid Castilla y León 16.999 197,9 301.876 17 56101 Melilla Melilla 9.866 12,3 86.026 18 55101 Ceuta Ceuta 7.304 18,5 84.519 19 13028 Campo de Criptana Castilla-La Mancha 6.158 302,4 13.949 20 45123 Olías del Rey Castilla-La Mancha 3.067 39,9 7.357 21 25070 Les Borges Blanques Cataluña 2.898 61,6 6.000 22 39074 Santa María de Cayón Cantabria 2.474 48,2 9.078 23 12085 Oropesa Valenciana 2.378 26,4 9.245 24 04101 Viator Andalucía 2.166 21,0 5.699 25 44260 Valderrobles Aragón 1.270 124,0 2.311 26 09361 Santa María del Campo Castilla y León 1.223 60,3 584 27 49189 Quiruelas de Vidriales Castilla y León 864 28,0 706 28 10189 Torrecilla de los Ángeles Extremadura 772 43,3 640 29 16005 Albalate de las Nogueras Castilla-La Mancha 671 40,1 276 30 19190 Ledanca Castilla-La Mancha 618 47,3 110 31 26069 Grañón La Rioja 595 31,0 275 32 37350 La Vellés Castilla y León 535 25,5 557 33 05015 Arevalillo Castilla y León 389 15,0 86 34 17184 Sant Miquel de Fluvià Cataluña 376 3,5 742 35 22279 Salillas Aragón 204 28,3 98 36 42095 Centenera de Andaluz Castilla y León 110 19,9 21 El proceso de validación genera los siguientes datos. Resultados cuantitativos La tabla muestra la dimensión de los datos antes y después de la conversión. La columna 'Catastro' indica el número de objetos en los datos originales y la columna 'a importar' el número de objetos en los datos convertidos. Resultados cuantitativos Cód. Municipio Edificios Partes de edificios Piscinas Direcciones Incremento vértices Nodos Vías Rels. Tareas Catastro a importar Catastro a importar Catastro a importar 04101 Viator 2.166 2.780 4.443 1.144 125 2.349 1.245 -3.914 20.158 4.162 111 174 05015 Arevalillo 389 455 617 83 - 370 296 -83 2.478 538 - 37 06900 Badajoz 23.133 37.652 89.242 28.982 3.216 25.593 15.320 -89.450 382.186 72.429 2.178 2.382 07040 Palma 38.586 58.549 251.422 90.174 4.780 42.211 25.881 -219.843 823.658 157.680 3.885 3.318 08900 Barcelona 70.296 81.530 319.857 200.277 962 76.581 57.122 -112.969 1.396.249 310.118 21.165 4.807 09361 Santa María del Campo 1.223 1.554 2.286 372 7 1.313 514 -2.108 8.523 1.937 6 210 10189 Torrecilla de los Ángeles 772 839 1.120 139 11 824 603 -660 4.905 999 6 73 12085 Oropesa 2.378 3.420 12.328 7.181 732 3.449 1.864 -12.523 72.186 11.797 287 338 13028 Campo de Criptana 6.158 7.346 12.949 3.504 197 6.754 4.871 -8.898 57.324 11.427 345 469 14900 Córdoba 36.944 60.614 151.432 46.847 11.220 39.733 25.827 -47.807 709.871 126.104 6.859 3.434 16005 Albalate de las Nogueras 671 726 954 165 15 796 614 -583 3.987 906 - 68 17184 Sant Miquel de Fluvià 376 484 902 253 47 444 262 -1.558 4.335 785 4 46 19190 Ledanca 618 649 868 151 11 620 500 -273 3.525 816 4 82 22279 Salillas 204 302 511 96 1 150 109 -171 1.849 401 2 32 25070 Les Borges Blanques 2.898 3.553 9.039 3.768 121 2.776 1.962 -8.117 28.335 7.487 44 169 26069 Grañón 595 632 834 147 6 639 524 -117 3.055 785 2 45 28900 Madrid 122.839 152.757 803.272 413.499 13.358 133.806 83.636 -699.973 3.065.059 615.106 27.851 11.893 29900 Málaga 51.055 64.533 205.596 81.952 5.643 55.213 40.987 -146.346 875.863 158.176 5.196 5.733 30030 Murcia 80.495 108.169 280.302 92.392 8.471 100.392 58.282 -371.151 1.185.938 216.027 6.605 9.474 35017 Las Palmas de G.C. 41.941 48.065 167.768 71.574 656 45.760 31.115 -186.819 678.114 128.493 7.821 3.742 37350 La Vellés 535 681 1.438 353 17 575 395 -645 5.820 1.067 20 62 38023 S.C. de La Laguna 31.976 38.144 95.112 39.402 307 35.963 25.944 +3.443 414.341 81.870 3.810 2.775 39074 Santa María de Cayón 2.474 3.307 10.140 3.638 37 2.291 1.408 -7.600 34.510 7.036 58 313 41900 Sevilla 58.559 67.250 217.421 83.613 1.696 60.188 48.994 -156.206 864.906 164.951 12.623 6.442 42095 Centenera de Andaluz 110 117 147 19 3 190 93 -65 701 139 - 21 44260 Valderrobles 1.270 1.347 2.834 1.133 9 1.457 1.158 -2.176 9.166 2.511 22 151 45123 Olías del Rey 3.067 3.809 11.965 4.066 588 5.000 2.561 -14.155 46.151 8.584 91 241 46900 Valencia 36.407 42.465 213.502 115.304 654 41.040 31.598 -279.238 769.447 169.270 10.514 4.082 47900 Valladolid 16.999 25.305 104.519 42.506 696 19.594 11.644 -106.226 399.859 75.684 3.415 1.933 49189 Quiruelas de Vidriales 864 1.257 1.880 445 27 988 432 -1.157 8.240 1.740 17 87 50900 Zaragoza 35.355 52.589 202.242 89.366 3.984 38.747 8.643 -144.409 736.015 150.238 3.607 3.375 51016 Cartagena 53.283 68.969 206.714 58.207 3.897 61.314 41.883 -207.487 809.949 135.712 3.598 5.164 52024 Gijón 22.648 32.306 110.477 47.401 915 29.620 12.427 -105.982 389.881 81.359 928 2.168 54057 Vigo 41.597 61.252 175.336 73.643 2.349 59.594 26.267 -101.474 649.104 138.187 1.189 3.160 55101 Ceuta 7.304 8.702 21.444 6.837 147 7.952 6.184 -15.059 88.295 16.271 502 853 56101 Melilla 9.866 11.071 31.503 12.992 228 10.287 9.420 -17.733 123.969 25.474 1.087 1.308 Totales: 36 806.051 1.053.180 3.722.416 1.621.625 65.133 914.573 580.585 -3.069.532 14.677.952 2.886.266 123.852 78.661 Variación: +23,5% -56,4% +36,5% -17,3% Para los edificios, se produce un incremento debido a que en los datos originales un grupo de edificios situados en la misma parcela (comparten referencia catastral) están representados por una única geometría de tipo multipolígono. Al convertir, se han separado en edificios individuales. En unos pocos casos, también existen partes de edificio sin edificio asociado para las que se ha creado el contorno del edificio. Por otro lado, el proceso de eliminar geometrías basura puede retirar algunos edificios. Para las partes, el número se reduce significativamente como se describe en partes de edificio bajo el nivel del suelo, reducción del número de partes, detección de piscinas dentro de edificios y geometrías basura. El número de piscinas no se modifica durante la conversión. El número de direcciones se reduce por que no se importan las direcciones que no están asociadas a un edificio ni las que están asociadas a más de un edificio. Tampoco se importan las que ya existen en OSM. El número final de nodos empleados es el resultado de añadir puntos topológicos y de eliminar nodos duplicados, innecesarios y vértices agudos. En promedio, cada tarea incluye unos 13 edificios. Aunque este número suele ser mayor en las tareas correspondientes al Catastro de Rústica, también suelen ser edificios menos complejos. Resultados cualitativos Esta tabla muestra el número de problemas detectados en cada municipio. Resultados cualitativos Cód. Municipio Correcciones (fixmes) Errores JOSM Avisos JOSM AG AP PM FC VG Total EG V2 VF IP Total EE EI ND NP OD RM VP Total 04101 Viator - - - - - - - - - - - - 2 - - - - - 2 05015 Arevalillo - - - - - - - - - - - - - - - - - - - 06900 Badajoz 13 2 - 7 - 22 - - - - - - 3 - - - - - 3 07040 Palma 6 52 - - - 58 1 - - - 1 6 11 1 - 1 - - 19 08900 Barcelona 27 33 2 6 - 68 1 - - 1 2 76 3 2 - - - 5 86 09361 Santa María del Campo - - - - - - - - - - - - - - - - - - - 10189 Torrecilla de los Ángeles - - - - - - - - - - - - - - - - - - - 12085 Oropesa 2 - - - - 2 - - - - - - - - - - - - - 13028 Campo de Criptana - - - - - - - - - - - - 10 - - - - - 10 14900 Córdoba 2 16 3 135 - 156 - - - - - 6 6 - - 1 - 1 14 16005 Albalate de las Nogueras - - - - - - - - - - - - - - - - - - - 17184 Sant Miquel de Fluvià - - - - - - - - - - - - - - - - - - - 19190 Ledanca - - - - - - - - - - - - - - - - - - - 22279 Salillas - - - - - - - - - - - - - - - - - - - 25070 Les Borges Blanques - - 1 - - 1 - - - - - - - - - - - - - 26069 Grañón - - - - - - - - - - - - - - - - - - - 28900 Madrid 90 200 4 4 1 299 4 1 1 - 6 376 29 1 1 56 1 10 474 29900 Málaga 10 5 2 - - 17 1 - - - 1 6 9 - - 20 - 3 38 30030 Murcia 9 12 21 6 - 48 - - - - - 4 19 1 - 3 - 1 28 35017 Las Palmas de G.C. 4 9 - - - 13 - - - - - 3 4 1 - - - - 8 37350 La Vellés - - - - - - - - - - - - 1 - - - - - 1 38023 S.C. de La Laguna 4 8 4 6 - 22 - - - - - 11 6 - - 6 - 2 25 39074 Santa María de Cayón 1 - - - - 1 - - - - - - - - - - - - - 41900 Sevilla 12 21 4 - - 37 1 - - - 1 8 4 - - 9 - 1 22 42095 Centenera de Andaluz - - - - - - - - - - - - - - - - - - - 44260 Valderrobles - - - - - - - - - - - - - - - - - - - 45123 Olías del Rey 1 - - - - 1 - - - - - - - - - - - - - 46900 Valencia 11 26 4 11 - 52 - - - - - 31 12 - - - - 2 45 47900 Valladolid 14 43 1 - - 58 - - - - - 4 3 - - - - - 7 49189 Quiruelas de Vidriales - - - - - - - - - - - - - - - - - - - 50900 Zaragoza 27 18 3 - - 48 2 - - - 2 6 13 - - - - - 19 51016 Cartagena 3 12 1 - - 16 - - - - - 1 1 - - 1 - - 3 52024 Gijón 7 8 - - - 15 - - - - - - 2 - - - - - 2 54057 Vigo 4 15 1 5 - 25 - - - - - 6 8 - - 1 - 2 17 55101 Ceuta 1 3 2 - - 6 - - - - - 2 3 - - - - - 5 56101 Melilla 2 4 - 71 - 77 - - - - - - - - - - - 1 1 Total 250 487 53 251 1 1.041 10 1 1 1 13 546 149 6 1 98 1 28 829 El significado de las columnas corresponde a la siguiente clave. Clave de los resultados cualitativos Correciones (fixmes) Clave Detalle Total N.º potencial Porcentaje AG Área demasiado grande 250 2.886.266 0,0087% AP Área demasiado pequeña 487 2.886.266 0,0169% PM Esta parte es mayor que su edificio 53 2.886.266 0,0018% FC Falta el contorno del edificio para esta parte 251 2.886.266 0,0087% VG Validación GEOS 1 2.886.266 0,0000% Errores en ES:JOSM/Validador Clave Detalle Total N.º potencial Porcentaje EG Edificio demasiado grande 6 1.053.180 0,0006% V2 La vía contiene más de 2.000 nodos 1 2.886.266 0,0000% VF Problema de verificación de función 1 123.852 0,0008% IP Intersección entre vías multipolígono 1 123.852 0,0008% Avisos en ES:JOSM/Validador Clave Detalle Total N.º potencial Porcentaje EE Edificio dentro de un edificio 170 1.053.180 0,0161% EI Edificios que se intersectan 120 1.053.180 0,0114% ND Nodos duplicados de tipo mixto 5 3.069.532 0,0002% NP Nodos en la misma posición 1 14.677.952 0,0000% OD Otros nodos duplicados 42 3.069.532 0,0014% RM Relaciones con los mismos miembros 1 123.852 0,0008% VP Vías con la misma posición 18 2.886.266 0,0006% El porcentaje de problemas detectados frente al número de posibles candidatos a sufrir el problema es muy bajo. Estos son los tipos posibles: Correcciones (fixmes) Número de correcciones indicadas por la herramienta de conversión en los archivos OSM. Área demasiado grande: Edificio con área menor que la indicada en el fichero 'setup.py' opción 'warning_min_area'. Área demasiado pequeña: Edificio con área mayor que la indicada en el fichero 'setup.py' opción 'warning_max_area'. Esta parte es mayor que su edificio: Se ha encontrado una parte de un edificio que es mayor que el edificio al que corresponde (por su referencia Catastral). Falta el contorno del edificio para esta parte: El contorno del edificio no ha superado las pruebas de validación, se ha eliminado y han quedado partes aisladas. Validación GEOS: La geometría no ha superado las pruebas de validación de la librería GEOS. Errores en JOSM/Validator Número de errores al pasar el validador en JOSM. Edificio demasiado grande: Puede corresponder a un falso edificio. La vía contiene más de 2.000 nodos: Puede corresponder a un falso edificio. Problema de verificación de función: Relación multipolígono sin anillos interiores. Intersección entre vías multipolígono: Errores topológicos que han escapado al algoritmo de corrección. Avisos en JOSM/Validator Número de avisos al pasar el validador en JOSM. Edificio dentro de un edificio: Errores topológicos que han escapado al algoritmo de corrección. Edificios que se intersectan: Errores topológicos que han escapado al algoritmo de corrección. Nodos duplicados de tipo mixto: Nodos duplicados que han escapado al algoritmo de corrección. Nodos en la misma posición: Nodos duplicados que han escapado al algoritmo de corrección. Otros nodos duplicados: Nodos duplicados que han escapado al algoritmo de corrección. Relaciones con los mismos miembros: Generalmente edificios duplicados con distintos usos o estado. Vías con la misma posición: Generalmente edificios duplicados con distintos usos o estado. Precisión respecto a imágenes aéreas Se ha realizado una inspección manual de los datos sobre imágenes aéreas. El proceso consistió en seleccionar una muestra aleatoria de los ficheros de tareas generados por el programa y revisarlos en JOSM. Los problemas detectados que necesitan corrección manual se han trasladado a este catálogo. Revisión manual Total tareas Tareas revisadas Objetos Cód. Municipio Revisor Rústica Urbana Rústica Urbana Total Revisados Correcciones Porcentaje 29900 Málaga User:Dcapillae (discusión) 55 5.678 4 35 152.128 3.684 239 6,5% 38023 S.C. de La Laguna Javiersanp (discusión) 65 2.710 3 28 77.853 811 158 19,5% 39005 Potes Jesús Gómez (discusión) 3 54 2 27 1.151 828 125 15,1% 06074 Llerena Matías Taborda 22 169 1 3 10.177 78 11 14,1% 42095 Centenera de Andaluz Néstor Serrano 2 19 2 19 139 139 48 34,5% Comparación de CatAtom2Osm y Cat2Osm2 Cat2Osm2 fue una herramienta magnífica con muchísimo trabajo detrás que se utilizó en el primer intento de importar los datos de Catastro. Cat2Osm2 nos permitió conocer a muchos los datos de Catastro y ha evidenciado problemas que queremos corregir antes de importar en esta ocasión. Cabe preguntarse si se puede seguir usando o debe reemplazarse por CatAtom2Osm. Estos son algunos argumentos en favor de la segunda opción. Ejemplo de manzana con datos en crudo.   Ejemplo de manzana transformada con Cat2Osm2. Ejemplo de manzana transformada con CatAtom2Osm. Estas capturas muestran una manzana de ejemplo con los datos en crudo (a la izquierda), transformada usando Cat2Osm2 (centro) y con CatAtom2Osm (a la derecha). Despues de pasar la herramienta de validación en el primer caso tenemos 14 problemas frente a 0 en el segundo. El motivo es que los datos de Catastro incluyen problemas topológicos que tenían que ser corregidos de forma manual. En cuanto al número de elementos, el primer ejemplo necesita 128 vías y 606 nodos, mientras que el segundo usa 2 relaciones, 125 vías y 481 nodos. Se ha reducido el número de nodos porque se hace una mayor limpieza de nodos innecesarios en líneas rectas. Las dos relaciones adicionales son necesarias para representar edificios y partes con huecos. Su ausencia provocaba el error "Edificio dentro de un edificio" en el validador. Detalle de manzana con datos en crudo.   Detalle de manzana transformada con Cat2Osm2. Detalle de manzana transformada con CatAtom2Osm. Estas series de capturas muestran con más detalle los problemas topológicos y los nodos innecesarios. Cat2Osm2 cogía las direcciones de Catastro realizando algunas correcciones sobre los nombres de las calles como el uso de mayúsculas y minúsculas, pero luego era necesario seleccionar y corregir cada calle en cada uno de los archivos de "masa" en los que se dividían los datos, trabajo tedioso y repetitivo. CatAtom2Osm recoge de OSM los nombres de las calles y los combina en las direcciones de Catastro, se revisa de forma global antes de que aparezcan en los archivos de tareas reduciendo el esfuerzo necesario. Cuando Cat2Osm2 empezó, el esquema Edificios 3D sencillos estaba en sus comienzos y no se aplicó. Las diferentes alturas de un edificio se transforman como edificios individuales que juntos suman el contorno del edificio real. Esto funciona bien a la hora de representar en 3D, pero da un resultado incorrecto si se quiere contabilizar el número de edificios o asignar propiedades a un edificio como tal. En CatAtom2Osm, por cada edificio real, hay una vía o relación multipolígono y las distintas alturas se transforman como partes del edificio. Cat2Osm2 dividía los datos en distintos archivos por "masas" (manzanas). Algunas manzanas son adyacentes y sus edificios tienen paredes comunes. Al subir los datos manzana a manzana, esto obligaba a unir manualmente los nodos de las paredes comunes sobre los datos ya subidos. CatAtom2Osm fusiona las manzanas adyacentes antes de dividir los datos por tareas evitando este problema. Como bonos adicionales, CatAtom2Osm descarga automáticamente los datos de los servicios ATOM; con Cat2Osm2 era necesario disponer de certificado electrónico para acceder a la página de descarga. Además tarda un 50% menos en procesar. /usr/bin/time -v java -jar cat2osm2.jar 38023 Command being timed: "java -jar cat2osm2.jar 38023" Elapsed (wall clock) time (h:mm:ss or m:ss): 28:00.84 Maximum resident set size (kbytes): 2157576 Minor (reclaiming a frame) page faults: 70411 Voluntary context switches: 107306 Involuntary context switches: 18901 Swaps: 0 File system inputs: 16544 File system outputs: 2007656 /usr/bin/time -v catatom2osm -btd 38023 Command being timed: "catatom2osm -btd 38023" Elapsed (wall clock) time (h:mm:ss or m:ss): 13:08.88 Maximum resident set size (kbytes): 2812460 Minor (reclaiming a frame) page faults: 1236035 Voluntary context switches: 445 Involuntary context switches: 4681 Swaps: 0 File system inputs: 37192 File system outputs: 10066256 En su contra, CatAtom2Osm no importa parcelas.