Uk:Planet.osm
Якщо ви знаєте англійську, будь ласка, допоможіть закінчити цей переклад мовою: українська. Ознайомтесь з інструкціями з перекладу сторінок вікі.
Здається, зараз ніхто не працює над перекладом, ви можете зайнятись цим.
Planet.osm – це дані OpenStreetMap зібрані в одному файлі: всі точки, лінії та зв'язки з яких складається наша мапа. Нова версія цього файлу публікується кожного тижня. Це дуже великий файл (станом на 2021-12-01, розпакований файл OSM XML занімає 1515.9 GB, запакований за допомогою bzip2 – 110.2 GB або 60.8 GB у вигляді файлу PBF).
Також існують так звані Екстракти які містять дані OpenStreetMap для окремих континентів, країн чи регіонів.
Формати
Використовуються два формати, це – PBF та стиснений bzip2 OSM XML. PBF (Protocol Buffer Format) – це компактний двійковий формат, який більш компактний та до того ж швидше обробляється, рекомендується використовувати саме його за можливості. Більшість інструментів обробки даних ОСМ підтримують роботу з форматом PBF.
Щоб ознайомитись з іншими форматами файлів osm та інструментів перетворення одних форматів в інші перегляньте сторінку Формати файлів OSM.
Якщо ви користуєтеся традиційними інструментами для роботи з ГІС, можливо вас зацікавить перелік Постачальників оброблених даних.
Завантаження
На сторінці Завантаження даних ви можете знайти перелік інструментів для простого завантаження даних, включаючи варіанти одночасного завантаження з кількох дзеркал, автоматичної перевірки хешів md5 та інше.
BitTorrent
В листопаді 2020 було запроваджено офіційний торрент-сервіс розповсюдження даних!
Якщо у вас є одни з BitTorrent клієнтів, перейдіть в потрібну вам теку, наприклад pbf/, та клацніть на файл .torrent!
BitTorrent RSS/Atom feed
Зараз OSM підтримує броадкастінг!
Якщо у вас достатня ширина каналу та вдосталь дискового простору та ваш клієнт BitTorrent підтримує броадкастінг (RSS), і ви бажаєте допомогти зменшити навантаження на севери OSM та поліпшити швидкість завантаження для всіх інших, будь ласка приєднуйтесь до рою скориставшись одним з RSS потоків (перший та другий є найпопулярніші, але якщо у вас є ресурси, ви можете поширювати їх всі):
Немає гострої потреби продовжувати розповсюдження старих файлів через місяць, але якщо ви дійсно цього хочете ви можете продовжувати (найбільша потреба в допомозі виникає протягом перших 7-14 днів).
Якщо ваш клієнт не підтримує RSS, але ви використовуєте систему GNU/Linux, ви можете використовувати такі скрипти, як https://github.com/osm-hr/planet-mirror у вашому cron, щоб автоматизувати приєднання до рою BitTorrent та вилучення старих файлів планети.
Дзеркала Planet.osm
For security reasons, consider using HTTPS sources if available, rather than HTTP or FTP. Some Internet users may experience problems with IPv4-only sources when their Internet access (notably mobile accesses) offers native routing only though IPv6, and where IPv4 is only supported by their ISP using temporary NAT sessions via proxies (which may not be reliable for very large file downloads, even if HTTPS is used).
Mirrors are encouraged to support connections from IPv6, and to support secured protocols to reliably authenticate their sources (encryption is not required as the data is published, so this should not be a performance issue on servers, but this requires installing server-side certificates and renew them regularly before they expire). The support of RSYNC on these sources is also useful to allow fast incremental synchronization to other local mirrors, and it should be secured as well. Some mirrors also support peer-to-peer delivery with BitTorrent protocol as active webseeds.
All files also come with a .md5 signature file. Use it to check your downloads (especially when using FTP: using RSYNC or Torrent will generally avoid download issues such as truncated files) ! You should first check for the existence of the .md5 file before trying to download actual data (which may sometimes be in a transient state while a mirror is being synchronized with a recent dump). Also make sure your browser or downloader client supports the transfer of large files over 2 GB, as well as your local OS and file system for storing such files.
| Mirror | Available data | Network protocols | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Preferred URL | Loc | Updated | Diffs | .osm.pbf | .osm.bz2 | HTTP | HTTPS | FTP | RSYNC | Torrent | IPv6 |
| planet.openstreetmap.org/ (original source, use another mirror below as much as possible) |  GB |
(Source) | так | так | так | немає | так | так | так | так | так |
| ftp5.gwdg.de/pub/misc/openstreetmap/planet.openstreetmap.org/ |  DE |
Щоденно | так | так | так | так | так | так | так | так | так |
| free.nchc.org.tw/osm.planet/ (source: gwdg.de) |  TW |
Щоденно | так | так | так | так | так | так | так | так | так |
| download.openstreetmap.fr/ |  FR |
Щохвилини | так | немає | немає | так | так | немає | немає | немає | так |
| planet.maps.mail.ru/ |  RU |
Щохвилини | так | так | так | так | так | немає | так | так | немає |
| ftpmirror.your.org/pub/openstreetmap/ |  US |
Щоденно | так | так | так | так | так | так | так | так | так |
| ftp.fau.de/osm-planet/ | DE |
Щоденно | немає | так | немає | так | так | так | так | так | так |
| mirror.init7.net/openstreetmap/ |  CH |
Щоденно | немає | так | так | так | так | немає | так | так | так |
| osm.openarchive.site (source: ftp.dau.de). No `.torrent` files, but acting as torrent webseed. |  DE,SG & US |
Щоденно | немає | так | немає | так | так | немає | немає | так | немає |
| ftp.snt.utwente.nl/pub/misc/openstreetmap/ |  NL |
Щотижня | немає | так | так | так | так | так | так | немає | так |
| ftp.spline.de/pub/openstreetmap/ | DE |
Щотижня | немає | так | так | так | так | так | так | так | немає |
| ftp.osuosl.org/pub/openstreetmap/ | US |
Щотижня | немає | так | так | так | так | так | так | немає | так |
| download.bbbike.org/osm/planet/ | DE |
Щотижня | немає | так | так | немає | так | немає | немає | немає | немає |
| downloads.opencagedata.com/planet/ | DE |
Щотижня | немає | так | так | так | так | немає | немає | так | немає |
| ftp.nluug.nl/maps/planet.openstreetmap.org/ | NL |
Щотижня | немає | так | так | так | так | так | немає | немає | так |
| planet.passportcontrol.net/pbf/ |  JP |
Щотижня | немає | так | немає | немає | так | немає | немає | немає | немає |
| archive.org/details/osmdata (Internet Archive, available under various items. Instructions on searching items is available in the "About" tab. Not part of official torrent swarm) | US |
Щотижня | так | так | так | так | так | немає | немає | так | немає |
| osm.cquest.org/torrents/ Since 2021-04-21 does not act as (hidden) webseed anymore, and publishes regular torrents | FR |
Щотижня
but in test and manual update. |
немає | так | немає | так | так | немає | немає | немає | немає |
| planet.osm-hr.org Last 15 days |  HR |
Щоденно | немає | так | так | так | так | немає | немає | так | так |
Екстракти країн та регіонів
Worldwide extract sources
| Mirror | Area | Updated | Diffs | HTTPS | Metadata included |
|---|---|---|---|---|---|
| www.overpass-api.de | Overpass API excerpts up to ~300MB uncompressed | Щохвилини | так, since v0.7.50 | так | Optional |
| download.openstreetmap.fr/ | Minutely diffs and daily extracts in PBF:
|
Щохвилини | так | так | |
| download.geofabrik.de | Daily extracts in PBF stripped from personal metadata (user names, user IDs, changeset IDs):
Note: Extracts are not suitable for editing. |
Щоденно | так | так | Version and timestamp only |
| osm-internal.download.geofabrik.de | Same as download.geofabrik.de but with full personal metadata:
Note: Login with OSM account required. Files are subject to data protection regulation. |
Щоденно | так | так | All fields |
| OSM Today.com | Понад 1000 субрегіонів у Європі, Азії, Південній та Північній Америках, Африці та Австралії. | Щоденно | немає | так | |
| download.bbbike.org/osm/ | Different extracts offered:
Note: Extracts are not suitable for editing OSM, because they omit metadata such as version number. See the FAQ. |
Щотижня | немає | так | No metadata |
| protomaps.com/extracts | Extracts up to ~100 million nodes in PBF
|
Щохвилини | немає | так | Version for all objects; Timestamp for ways, relations and tagged nodes |
Regional extract sources
| Mirror | Area | Updated | Diffs | HTTPS | Metadata included |
|---|---|---|---|---|---|
| osm.kewl.lu/luxembourg.osm/ | Luxembourg (beta) | Щогодини | Yes but not Osmosis/Pyosmium compatible directory structure | так | Partially |
| planet.osm.ch | Swiss extract from the Swiss OpenStreetMap association. Including all lakes crossing the Swiss boundary and a few km of the surrounding countries. | Щогодини | так | так | All fields |
| osm.fit.vutbr.cz/extracts/czech_republic/ | Czech Republic | Щоденно | немає | так | version and timestamp only |
| data.osm-hr.org | Croatia, Slovenia, Bosnia and Herzegovina, Montenegro, Macedonia, Serbia, and Kosovo, Albania, Bulgaria, Hungary, Romania | Щоденно | так | так | all fields |
Global thematic extracts
- OpenStreetMapData provides shapefiles of global coastlines, land polygons or water polygons.
- osmdata.xyz provides monthly, global GeoPackages of each primary feature key.
IPFS
- (currently not working, contains incomplete and outdated files only)
A weekly mirror of the continents-files from download.geofabrik.de is made available on IPFS at `/ipns/ipfs.placebazaar.org`, Accessible with any IPFS client, or via a gateway. For example ipfs.io/ipns/ipfs.placebazaar.org. A server is dedicated to seeding this data for a week.
Original source
The originating URL is https://planet.openstreetmap.org/. Please use a mirror or BitTorrent if you can.
Update frequency
A new version of planet.osm is released weekly (currently every Wednesday morning). We have these, going back to the start of April 2006.
The size of a planet.osm file can be seen in the header information on the planet download page. Planet files are very large (tens of GBs) so please check the size before starting to download.
The weekly dump normally starts at around 01:10am UK time on Monday morning and is guaranteed to contain all updates prior to that time. The dump is constructed from a database dump using conversion software, and the result should ensure referential integrity. Please note that this doesn't always apply to extracts. The dump and conversion normally takes around 48 hours to complete, in total, and the result is usually ready on Wednesday morning.
Note: The timestamp of the file is recorded in it like this : <osm version="0.6" generator="OpenStreetMap planet.c" (...) timestamp="2013-01-02T01:10:14Z"> it will be useful to decide what "diffs" to use if you want them :
Additionally we offer regular diffs. These are produced daily (under the 'daily' subdirectory) and more recently we also offer hourly diffs and minutely diffs. These have been produced with Osmosis and can be used to reconstruct the full dataset (see examples at OSM Wiki pages Osmosis and osmupdate). Since these only contain the differences, they are much smaller files; A daily diff is generally about 40 MB compressed. For more information please see Planet.osm/diffs
Technical notes
Small region OSM DB-only copy
Q: I would like to set up a copy of OSM DB only for a small region and then keep it up to date with the replicates
You will need to apply the full diffs and afterwards cut off anything you're not interested in.
If you intend to do it for a rather small area then it is really quite easy and performs well with Osmosis. Assuming you have a current extract of your area in "current.osm" and you have the Osmosis replication set up properly (--rrii), then you simply run
osmosis --rri --simc --rx current.osm --ac --bb left=42 right=42 top=42 bottom=42 clipIncompleteEntities=yes --wx new.osm && mv new.osm current.osm
as often as you like (adapt the 42's in the bounding box).
Processing the file
See Databases and data access APIs#Database Schemas for loading a planet file into a database.
See OSM file formats#Map-data for a list of tools which are able to manipulate osm files.
See Frameworks for accessing osm files from your software.
Unpacking .bz2 files
Osmosis and osm2pgsql allow you to use the files in bz2-compressed form. If you need to unpack it from bz2 format, use 7-zip on Windows; on Linux just type bzip2 -d planet.osm.bz2; or your OS may support double-click unpacking. See Wikipedia's list of compression programs.
If you are handling the compression yourself with libbzip2, then note that the files are compressed with pbzip2 and contain multiple streams that need to be handled as described in section 3.4.8 of the bzip2 documentation.
During download, the network will be your bottleneck. Once you have the file you will need to unpack it, and then disk I/O will be your bottleneck. Or you can work with the bzip'ed file, but then the CPU will be your bottleneck. If you have sufficient space to unpack the full planet file, you can save a lot of time and disk thrashing by unpacking it on the fly while downloading it: try curl -L https://planet.openstreetmap.org/planet_latest.osm.bz2 | pbzip2 -cd >planet_latest.osm.
In most cases, using import tools supporting the PBF format will be a faster and more efficient solution. They can be processed directly without unpacking to plain OSM XML format and PBF-compressed OSM files are always smaller than bzip2-compressed OSM files and faster to download.
Additional technical notes
wget: Alternatively to curl, wget -O - may be used. Due to the size of the planet files, older distributions of wget may fail to work since they may not support file sizes larger than 2 GiB, and attempting to download files larger than that will report a negative file size and fail.
pbzip2: may be replaced by the single-threaded bzip2 -cd / bzcat as well.
Refences
Missing nodes
Note that planet download have ways that reference nodes that are not in the same file.
Due to performance reasons it isn't possible oto get a fully consistent snapshot of the database. Although the dump is run in a transaction, the isolation level required for a "snapshot"-style dump dramatically increases the running time. You might find that, if you have been editing while the export has been running, that the way may be in there but the nodes are not. You can take a planet file and apply the daily diffs using Osmosis to create a consistent planet file (however you may still have some problems with old bad data in OpenStreetMap from before the introduction of the API 0.6).
country extracts
Country extract may have ways that reference nodes that are not in the same file.
This is perfectly normal depending on the settings used in the extraction process. There are two options; either the ways at the boundary have been truncated (such as in the GeoFabrik downloads), or the nodes are just left out and the ways are left as is (for example the CloudMade downloads).
Handling missing references
This really depends on what you are doing with the data. You can either drop the node references or you can go to another data source, such as the API, to fetch the missing nodes.
Інші файли planet
- GPS Traces can be found in planet.gpx
- Old versions of the planet file are available at https://planet.openstreetmap.org/ and the mirrors as well.
- An experimental full history file is available, containing every revision of each object.
Ліцензія
Planet files remain licensed under the same license as the master OpenStreetMap geo-database from which they are extracted - currently this is the Open Database License. Planet files from before September 12, 2012 have a Creative Commons Attribution-ShareAlike 2.0 license.