From 53075a642f1d64dde915a28fe257042eb529fefb Mon Sep 17 00:00:00 2001
From: Tykayn <contact@cipherbliss.com>
Date: Sun, 27 Oct 2024 10:03:49 +0100
Subject: [PATCH] up extractors, remove unused wip

---
 mappings/extractors/askangela.sh          | 30 ++-------------------
 mappings/extractors/centrales_france.sh   | 29 ++------------------
 mappings/extractors/coworking_france.sh   |  2 --
 mappings/extractors/hackerspace_france.sh | 29 ++------------------
 mappings/extractors/hopitaux_france.sh    | 29 ++------------------
 mappings/extractors/irve_france.sh        | 32 ++---------------------
 mappings/extractors/mairies.sh            | 10 +++++++
 mappings/extractors/museums_france.sh     | 29 ++------------------
 mappings/extractors/pav_france.sh         | 29 ++------------------
 mappings/extractors/ponts.sh              | 30 ++-------------------
 mappings/extractors/restaurant_france.sh  | 29 ++------------------
 mappings/extractors/toilets_france.sh     | 29 ++------------------
 12 files changed, 30 insertions(+), 277 deletions(-)
 create mode 100644 mappings/extractors/mairies.sh

diff --git a/mappings/extractors/askangela.sh b/mappings/extractors/askangela.sh
index f545800..2b14e46 100644
--- a/mappings/extractors/askangela.sh
+++ b/mappings/extractors/askangela.sh
@@ -9,31 +9,5 @@
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:25];nwr["harassment_prevention"="ask_angela"];out+meta;'
 
 export_file="ask_angela_points_from_openstreetmap"
-
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-echo " export osm de: $export_file"
-# Télécharger le fichier GeoJSON
-curl -X GET -o "$export_file.json" -g $url
-
-echo -e "\n Curl OK \n"
-date
-echo -e "nombre de points extraits depuis overpass turbo :"
-jq '.elements | length'  "$export_file.json"
-
-# on garde la version OSM brute des données extraites
-cp "$export_file.json" "../../osm_output/$export_file.osm.json"
-
-# on convertir en geojson
-osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f 
-echo -e "\n -> fichier converti: $export_file.geojson "
-
-# on déplace dans le dossier osm_output les versions brutes et converties
-mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
-echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
-
-# on convertit le geojson en csv
-python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
-
-rm "$export_file.json"
-echo "nombre de features dans l'export geojson :"
-jq '.features | length'  "../../osm_output/$export_file.geojson"
+source ../../update_scripts/functions.sh
+extract_from_osm $url $export_file
\ No newline at end of file
diff --git a/mappings/extractors/centrales_france.sh b/mappings/extractors/centrales_france.sh
index 82f4998..c2acd7e 100644
--- a/mappings/extractors/centrales_france.sh
+++ b/mappings/extractors/centrales_france.sh
@@ -9,30 +9,5 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;node["power"="generator"](area.searchArea);out+geom;'
 
 export_file="centrales_zone_france_from_openstreetmap"
-
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-echo " export osm de: $export_file"
-# Télécharger le fichier GeoJSON
-curl -X GET -o "$export_file.json" -g $url
-
-echo -e "\n Curl OK \n"
-date
-echo -e "nombre de points extraits depuis overpass turbo :"
-jq '.elements | length'  "$export_file.json"
-
-# on garde la version OSM brute des données extraites
-cp "$export_file.json" "../../osm_output/$export_file.osm.json"
-
-# on convertir en geojson
-osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
-echo -e "\n -> fichier converti: $export_file.geojson "
-
-# on déplace dans le dossier osm_output les versions brutes et converties
-mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
-echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
-
-# on convertit le geojson en csv
-python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
-rm "$export_file.json"
-echo "nombre de features dans l'export geojson :"
-jq '.features | length'  "../../osm_output/$export_file.geojson"
+source ../../update_scripts/functions.sh
+extract_from_osm $url $export_file
\ No newline at end of file
diff --git a/mappings/extractors/coworking_france.sh b/mappings/extractors/coworking_france.sh
index b4cbbf4..a307e86 100644
--- a/mappings/extractors/coworking_france.sh
+++ b/mappings/extractors/coworking_france.sh
@@ -4,8 +4,6 @@
 # des espaces de coworking
 # en France
 
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;node["amenity"="coworking_space"](area.searchArea);out+geom;'
 
 export_file="coworking_zone_france_from_openstreetmap"
diff --git a/mappings/extractors/hackerspace_france.sh b/mappings/extractors/hackerspace_france.sh
index 3610423..135b644 100644
--- a/mappings/extractors/hackerspace_france.sh
+++ b/mappings/extractors/hackerspace_france.sh
@@ -9,30 +9,5 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["leisure"="hackerspace"](area.searchArea);out+geom;'
 
 export_file="hackerspace_zone_france_from_openstreetmap"
-
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-echo " export osm de: $export_file"
-# Télécharger le fichier GeoJSON
-curl -X GET -o "$export_file.json" -g $url
-
-echo -e "\n Curl OK \n"
-date
-echo -e "nombre de points extraits depuis overpass turbo :"
-jq '.elements | length'  "$export_file.json"
-
-# on garde la version OSM brute des données extraites
-cp "$export_file.json" "../../osm_output/$export_file.osm.json"
-
-# on convertir en geojson
-osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
-echo -e "\n -> fichier converti: $export_file.geojson "
-
-# on déplace dans le dossier osm_output les versions brutes et converties
-mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
-echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
-
-# on convertit le geojson en csv
-#python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
-rm "$export_file.json"
-echo "nombre de features dans l'export geojson :"
-jq '.features | length'  "../../osm_output/$export_file.geojson"
+source ../../update_scripts/functions.sh
+extract_from_osm $url $export_file
\ No newline at end of file
diff --git a/mappings/extractors/hopitaux_france.sh b/mappings/extractors/hopitaux_france.sh
index 6a88dee..449f946 100644
--- a/mappings/extractors/hopitaux_france.sh
+++ b/mappings/extractors/hopitaux_france.sh
@@ -8,30 +8,5 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="hospital"](area.searchArea);out+geom;'
 
 export_file="hopitaux_zone_france_from_openstreetmap"
-
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-echo " export osm de: $export_file"
-# Télécharger le fichier GeoJSON
-curl -X GET -o "$export_file.json" -g $url
-
-echo -e "\n Curl OK \n"
-date
-echo -e "nombre de points extraits depuis overpass turbo :"
-jq '.elements | length'  "$export_file.json"
-
-# on garde la version OSM brute des données extraites
-cp "$export_file.json" "../../osm_output/$export_file.osm.json"
-
-# on convertir en geojson
-osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
-echo -e "\n -> fichier converti: $export_file.geojson "
-
-# on déplace dans le dossier osm_output les versions brutes et converties
-mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
-echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
-
-# on convertit le geojson en csv
-python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
-rm "$export_file.json"
-echo "nombre de features dans l'export geojson :"
-jq '.features | length'  "../../osm_output/$export_file.geojson"
+source ../../update_scripts/functions.sh
+extract_from_osm $url $export_file
\ No newline at end of file
diff --git a/mappings/extractors/irve_france.sh b/mappings/extractors/irve_france.sh
index bb60d24..5cc64d3 100644
--- a/mappings/extractors/irve_france.sh
+++ b/mappings/extractors/irve_france.sh
@@ -4,36 +4,8 @@
 # "amenity"="charging_station"
 # en France
 
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="charging_station"](area.searchArea);out+geom;'
 
 export_file="irve_zone_france_from_openstreetmap"
-
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-echo " export osm de: $export_file"
-# Télécharger le fichier GeoJSON
-curl -X GET -o "$export_file.json" -g $url
-
-echo -e "\n Curl OK \n"
-date
-echo -e "nombre de points extraits depuis overpass turbo :"
-jq '.elements | length'  "$export_file.json"
-
-# on garde la version OSM brute des données extraites
-cp "$export_file.json" "../../osm_output/$export_file.osm.json"
-
-# on convertir en geojson
-osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
-echo -e "\n -> fichier converti: $export_file.geojson "
-
-# on déplace dans le dossier osm_output les versions brutes et converties
-mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
-echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
-
-# on convertit le geojson en csv
-python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
-rm "$export_file.json"
-echo "nombre de features dans l'export geojson :"
-jq '.features | length'  "../../osm_output/$export_file.geojson"
-
+source ../../update_scripts/functions.sh
+extract_from_osm $url $export_file
\ No newline at end of file
diff --git a/mappings/extractors/mairies.sh b/mappings/extractors/mairies.sh
new file mode 100644
index 0000000..84c7cf5
--- /dev/null
+++ b/mappings/extractors/mairies.sh
@@ -0,0 +1,10 @@
+#!/bin/bash
+
+# export depuis OSM des mairies
+# en France
+
+url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="townhall"](area.searchArea);out+meta;'
+
+export_file="ask_angela_points_from_openstreetmap"
+source ../../update_scripts/functions.sh
+extract_from_osm $url $export_file
\ No newline at end of file
diff --git a/mappings/extractors/museums_france.sh b/mappings/extractors/museums_france.sh
index f8d3043..dba28c4 100644
--- a/mappings/extractors/museums_france.sh
+++ b/mappings/extractors/museums_france.sh
@@ -8,30 +8,5 @@ url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(i
 
 
 export_file="museum_zone_france_from_openstreetmap"
-
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-echo " export osm de: $export_file"
-# Télécharger le fichier GeoJSON
-curl -X GET -o "$export_file.json" -g $url
-
-echo -e "\n Curl OK \n"
-date
-echo -e "nombre de points extraits depuis overpass turbo :"
-jq '.elements | length'  "$export_file.json"
-
-# on garde la version OSM brute des données extraites
-cp "$export_file.json" "../../osm_output/$export_file.osm.json"
-
-# on convertir en geojson
-osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
-echo -e "\n -> fichier converti: $export_file.geojson "
-
-# on déplace dans le dossier osm_output les versions brutes et converties
-mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
-echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
-
-# on convertit le geojson en csv
-python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
-rm "$export_file.json"
-echo "nombre de features dans l'export geojson :"
-jq '.features | length'  "../../osm_output/$export_file.geojson"
+source ../../update_scripts/functions.sh
+extract_from_osm $url $export_file
\ No newline at end of file
diff --git a/mappings/extractors/pav_france.sh b/mappings/extractors/pav_france.sh
index 94d2604..0a97dd6 100644
--- a/mappings/extractors/pav_france.sh
+++ b/mappings/extractors/pav_france.sh
@@ -9,30 +9,5 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="recycling"](area.searchArea);out+geom;'
 
 export_file="pav_zone_france_from_openstreetmap"
-
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-echo " export osm de: $export_file"
-# Télécharger le fichier GeoJSON
-curl -X GET -o "$export_file.json" -g $url
-
-echo -e "\n Curl OK \n"
-date
-echo -e "nombre de points extraits depuis overpass turbo :"
-jq '.elements | length'  "$export_file.json"
-
-# on garde la version OSM brute des données extraites
-cp "$export_file.json" "../../osm_output/$export_file.osm.json"
-
-# on convertir en geojson
-osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
-echo -e "\n -> fichier converti: $export_file.geojson "
-
-# on déplace dans le dossier osm_output les versions brutes et converties
-mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
-echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
-
-# on convertit le geojson en csv
-python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
-rm "$export_file.json"
-echo "nombre de features dans l'export geojson :"
-jq '.features | length'  "../../osm_output/$export_file.geojson"
+source ../../update_scripts/functions.sh
+extract_from_osm $url $export_file
\ No newline at end of file
diff --git a/mappings/extractors/ponts.sh b/mappings/extractors/ponts.sh
index f03af7e..b7678a5 100644
--- a/mappings/extractors/ponts.sh
+++ b/mappings/extractors/ponts.sh
@@ -8,31 +8,5 @@
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:200];nwr["bridge"]["name"];out+meta;'
 
 export_file="ponts_points_from_openstreetmap"
-
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-echo " export osm de: $export_file"
-# Télécharger le fichier GeoJSON
-curl -X GET -o "$export_file.json" -g $url
-
-echo -e "\n Curl OK \n"
-date
-echo -e "nombre de points extraits depuis overpass turbo :"
-jq '.elements | length'  "$export_file.json"
-
-# on garde la version OSM brute des données extraites
-cp "$export_file.json" "../../osm_output/$export_file.osm.json"
-
-# on convertir en geojson
-osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f 
-echo -e "\n -> fichier converti: $export_file.geojson "
-
-# on déplace dans le dossier osm_output les versions brutes et converties
-mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
-echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
-
-# on convertit le geojson en csv
-python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
-
-rm "$export_file.json"
-echo "nombre de features dans l'export geojson :"
-jq '.features | length'  "../../osm_output/$export_file.geojson"
+source ../../update_scripts/functions.sh
+extract_from_osm $url $export_file
\ No newline at end of file
diff --git a/mappings/extractors/restaurant_france.sh b/mappings/extractors/restaurant_france.sh
index 9c8e619..7c12596 100644
--- a/mappings/extractors/restaurant_france.sh
+++ b/mappings/extractors/restaurant_france.sh
@@ -8,30 +8,5 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="restaurant"](area.searchArea);out+geom;'
 
 export_file="restaurant_zone_france_from_openstreetmap"
-
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-echo " export osm de: $export_file"
-# Télécharger le fichier GeoJSON
-curl -X GET -o "$export_file.json" -g $url
-
-echo -e "\n Curl OK \n"
-date
-echo -e "nombre de points extraits depuis overpass turbo :"
-jq '.elements | length'  "$export_file.json"
-
-# on garde la version OSM brute des données extraites
-cp "$export_file.json" "../../osm_output/$export_file.osm.json"
-
-# on convertir en geojson
-osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
-echo -e "\n -> fichier converti: $export_file.geojson "
-
-# on déplace dans le dossier osm_output les versions brutes et converties
-mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
-echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
-
-# on convertit le geojson en csv
-python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
-rm "$export_file.json"
-echo "nombre de features dans l'export geojson :"
-jq '.features | length'  "../../osm_output/$export_file.geojson"
+source ../../update_scripts/functions.sh
+extract_from_osm $url $export_file
\ No newline at end of file
diff --git a/mappings/extractors/toilets_france.sh b/mappings/extractors/toilets_france.sh
index 4c2891d..0e8ecc4 100644
--- a/mappings/extractors/toilets_france.sh
+++ b/mappings/extractors/toilets_france.sh
@@ -9,30 +9,5 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="toilets"](area.searchArea);out+geom;'
 
 export_file="toilets_zone_france_from_openstreetmap"
-
-echo -e "\n récupération de données depuis OpenStreetMap \n"
-echo " export osm de: $export_file"
-# Télécharger le fichier GeoJSON
-curl -X GET -o "$export_file.json" -g $url
-
-echo -e "\n Curl OK \n"
-date
-echo -e "nombre de points extraits depuis overpass turbo :"
-jq '.elements | length'  "$export_file.json"
-
-# on garde la version OSM brute des données extraites
-cp "$export_file.json" "../../osm_output/$export_file.osm.json"
-
-# on convertir en geojson
-osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
-echo -e "\n -> fichier converti: $export_file.geojson "
-
-# on déplace dans le dossier osm_output les versions brutes et converties
-mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
-echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
-
-# on convertit le geojson en csv
-python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
-rm "$export_file.json"
-echo "nombre de features dans l'export geojson :"
-jq '.features | length'  "../../osm_output/$export_file.geojson"
+source ../../update_scripts/functions.sh
+extract_from_osm $url $export_file
\ No newline at end of file