Compare commits
No commits in common. "e1b8f087249eb897083450722b78db73ab935db6" and "d86208190f1de942b4a53d5c1cd25e2a8af8d66a" have entirely different histories.
e1b8f08724
...
d86208190f
12
README.md
12
README.md
@ -2,12 +2,6 @@
|
||||
|
||||
Récupération de Données OSM via Overpass
|
||||
|
||||
## Prérequis
|
||||
`pip3 install requests`
|
||||
|
||||
`pip3 install pyexcel-ods3`
|
||||
|
||||
|
||||
## But
|
||||
Ce script sert à récupérer (en JSON et tableau ods) les infos de stationnement vélo, d'ateliers, d'associations, vendeurs, réparateurs et fabricants de vélo.
|
||||
|
||||
@ -45,11 +39,6 @@ Ces chemins sont relatifs à `rdoo.py`, il est possible de passer des chemins ab
|
||||
|
||||
Il est possible de ne pas archiver en passant l'argument `-na, --no-archive`.
|
||||
|
||||
## Umap
|
||||
Les fichiers json générés peuvent être directements utilisés dans [umap](https://umap.openstreetmap.fr/fr/) en les [important](https://wiki.openstreetmap.org/wiki/FR:UMap/Guide/Importer_un_fichier_de_donn%C3%A9es) et choisissant le format de données `osm`.
|
||||
|
||||
Si vous disposez d'un serveur pour héberger le script ou ses résultats, le lien du fichier peut être utilisé directement dans umap comme `données distantes` d'un calque, en cochant `dynamique` et `avec proxy`.
|
||||
|
||||
## Inspirations / ressources :
|
||||
### urls ressources
|
||||
- https://towardsdatascience.com/loading-data-from-openstreetmap-with-python-and-the-overpass-api-513882a27fd0
|
||||
@ -66,6 +55,7 @@ penser à cocher "proxy" dans la rubrique "données distantes" du calque
|
||||
|
||||
### export ODS :
|
||||
- https://pythonhosted.org/pyexcel-ods/
|
||||
`pip3 install pyexcel-ods3`
|
||||
|
||||
|
||||
## Licence
|
||||
|
||||
@ -25,7 +25,6 @@ import os
|
||||
import datetime
|
||||
import shutil
|
||||
import pathlib
|
||||
import csv
|
||||
from collections import OrderedDict
|
||||
import requests
|
||||
from pyexcel_ods3 import save_data
|
||||
@ -149,74 +148,77 @@ class Utils:
|
||||
|
||||
return response.json()
|
||||
|
||||
def geocodage_csv(self, data):
|
||||
"""
|
||||
Renseigne une adresse pour chaque élément de data
|
||||
en une fois via csv
|
||||
"""
|
||||
def run_reverse_geocoding(self, lat, lon):
|
||||
"""Retourne une adresse JSON à partir d'une position GPS."""
|
||||
|
||||
url = self.geo_api_url + "/reverse/csv/"
|
||||
url = self.geo_api_url + "/reverse/"
|
||||
|
||||
# création du fichier à envoyer à l'API
|
||||
with open("tmp_geocodage.csv", "w", newline="") as tmp_csv_file:
|
||||
csv_writer = csv.writer(tmp_csv_file)
|
||||
csv_writer.writerow(["lat", "lon"])
|
||||
|
||||
for element in data["elements"]:
|
||||
if element["type"] == "node":
|
||||
csv_writer.writerow([element["lat"], element["lon"]])
|
||||
else:
|
||||
csv_writer.writerow(
|
||||
[element["center"]["lat"], element["center"]["lon"]]
|
||||
)
|
||||
|
||||
# préparation et envoi de la requête
|
||||
payload = dict(
|
||||
[("data", ("tmp_geocodage.csv", open("tmp_geocodage.csv", "rb").read()))]
|
||||
)
|
||||
response = requests.post(url, files=payload)
|
||||
|
||||
# nettoyage
|
||||
os.remove("tmp_geocodage.csv")
|
||||
response = requests.get(url, params={"lon": str(lon), "lat": str(lat)})
|
||||
|
||||
if response.status_code != 200:
|
||||
raise errors.GeoApiError(response.status_code)
|
||||
|
||||
# affectation des addresses
|
||||
for element in data["elements"]:
|
||||
for row in csv.DictReader(response.text.splitlines()):
|
||||
if element["type"] == "node":
|
||||
lat_ok = row["lat"] == str(element["lat"])
|
||||
lon_ok = row["lon"] == str(element["lon"])
|
||||
else:
|
||||
lat_ok = row["lat"] == str(element["center"]["lat"])
|
||||
lon_ok = row["lon"] == str(element["center"]["lon"])
|
||||
return response.json()
|
||||
|
||||
if lat_ok and lon_ok:
|
||||
element["tags"]["api_adresse:geometry:coordinates:lon"] = row[
|
||||
"result_longitude"
|
||||
def geocodage(self, data):
|
||||
"""Renseigne une adresse pour chaque élément de data"""
|
||||
|
||||
for element in data["elements"]:
|
||||
|
||||
if element["type"] == "node":
|
||||
rev_geocode = self.run_reverse_geocoding(element["lat"], element["lon"])
|
||||
else:
|
||||
rev_geocode = self.run_reverse_geocoding(
|
||||
element["center"]["lat"], element["center"]["lon"]
|
||||
)
|
||||
|
||||
api_adresse = rev_geocode["features"][0]
|
||||
|
||||
element["tags"]["api_adresse:geometry:coordinates:lon"] = api_adresse[
|
||||
"geometry"
|
||||
]["coordinates"][0]
|
||||
element["tags"]["api_adresse:geometry:coordinates:lat"] = api_adresse[
|
||||
"geometry"
|
||||
]["coordinates"][1]
|
||||
|
||||
element["tags"]["api_adresse:properties:label"] = api_adresse["properties"][
|
||||
"label"
|
||||
]
|
||||
element["tags"]["api_adresse:geometry:coordinates:lat"] = row[
|
||||
"result_latitude"
|
||||
element["tags"]["api_adresse:properties:score"] = api_adresse["properties"][
|
||||
"score"
|
||||
]
|
||||
element["tags"]["api_adresse:properties:label"] = row[
|
||||
"result_label"
|
||||
|
||||
if "housenumber" in api_adresse["properties"]:
|
||||
element["tags"]["api_adresse:properties:housenumber"] = api_adresse[
|
||||
"properties"
|
||||
]["housenumber"]
|
||||
|
||||
element["tags"]["api_adresse:properties:type"] = api_adresse["properties"][
|
||||
"type"
|
||||
]
|
||||
element["tags"]["api_adresse:properties:housenumber"] = row[
|
||||
"result_housenumber"
|
||||
|
||||
element["tags"]["api_adresse:properties:name"] = api_adresse["properties"][
|
||||
"name"
|
||||
]
|
||||
element["tags"]["api_adresse:properties:type"] = row["result_type"]
|
||||
element["tags"]["api_adresse:properties:name"] = row["result_name"]
|
||||
element["tags"]["api_adresse:properties:postcode"] = row[
|
||||
"result_postcode"
|
||||
element["tags"]["api_adresse:properties:postcode"] = api_adresse[
|
||||
"properties"
|
||||
]["postcode"]
|
||||
element["tags"]["api_adresse:properties:citycode"] = api_adresse[
|
||||
"properties"
|
||||
]["citycode"]
|
||||
element["tags"]["api_adresse:properties:city"] = api_adresse["properties"][
|
||||
"city"
|
||||
]
|
||||
element["tags"]["api_adresse:properties:citycode"] = row[
|
||||
"result_citycode"
|
||||
]
|
||||
element["tags"]["api_adresse:properties:city"] = row["result_city"]
|
||||
element["tags"]["api_adresse:properties:street"] = row[
|
||||
"result_street"
|
||||
|
||||
if "street" in api_adresse["properties"]:
|
||||
element["tags"]["api_adresse:properties:street"] = api_adresse[
|
||||
"properties"
|
||||
]["street"]
|
||||
|
||||
element["tags"]["api_adresse:properties:attribution"] = rev_geocode[
|
||||
"attribution"
|
||||
]
|
||||
element["tags"]["api_adresse:properties:licence"] = rev_geocode["licence"]
|
||||
|
||||
logging.info("Géocodage inversé terminé")
|
||||
|
||||
@ -240,11 +242,7 @@ class Utils:
|
||||
return
|
||||
|
||||
date_fichier = datetime.date.fromtimestamp(fichier.stat().st_ctime)
|
||||
|
||||
# une seule archive par date
|
||||
if os.path.isdir(dossier_archive + str(date_fichier)):
|
||||
shutil.rmtree(dossier_archive + str(date_fichier))
|
||||
os.makedirs(dossier_archive + str(date_fichier))
|
||||
os.makedirs(dossier_archive + str(date_fichier), exist_ok=True)
|
||||
|
||||
# pylint: disable=W0106
|
||||
[
|
||||
|
||||
4
rdoo.py
4
rdoo.py
@ -169,7 +169,7 @@ def main():
|
||||
if nb_resultats > 0:
|
||||
if args.geocoding_inverse:
|
||||
# géocodage inverse
|
||||
data = utils.geocodage_csv(data)
|
||||
data = utils.geocodage(data)
|
||||
|
||||
# traduction
|
||||
data = utils.traduction(
|
||||
@ -188,7 +188,7 @@ def main():
|
||||
break
|
||||
except errors.ApiError:
|
||||
|
||||
if nb_essai >= MAX_RETRY - 1:
|
||||
if nb_essai == MAX_RETRY:
|
||||
logging.error("Trop d'erreurs d'API - abandon")
|
||||
exit()
|
||||
|
||||
|
||||
Loading…
Reference in New Issue
Block a user