convert_to_osm_tags.ts

@@ -20,30 +20,17 @@ import MappingMuseums from "./mappings/converters/configMuseums";
 import MappingRouenPAV from "./mappings/converters/configRouen_PAV";
 
 const limitWarningPercentageChangeInPoints = 5; // show a warning when more than N percent of the number of points changed
-
+const allowed_configs = [
-const allowed_configs = {
+  'mappingIssy2Roues', 'mappingConfigIRVE', 'mappingConfigIRVEFromOsmose',
-  mappingIssy2Roues,
+  'mappingConfigIRVE_simple', 'mappingTest', 'ConfigIRVE',
-  mappingConfigIRVE,
+  'mappingRouenParkingVelos', 'mappingFINESS', 'MappingArbresIssy',
-  mappingConfigIRVEFromOsmose,
+  'MappingArbres92', 'MappingMuseums', 'MappingRouenPAV', 'MappingAskAngela', 'MappingPlanningFamlial','MappingSurveillanceRouen'
-  mappingConfigIRVE_simple,
+];
-  mappingTest,
-  ConfigIRVE,
-  mappingRouenParkingVelos,
-  mappingFINESS,
-  MappingArbresIssy,
-  MappingArbres92,
-  MappingMuseums,
-  MappingRouenPAV,
-  MappingAskAngela,
-  MappingPlanningFamlial,
-  MappingSurveillanceRouen
-};
 
 const minimist = require('minimist');
 import MappingAskAngela from "./mappings/converters/configAskAngela";
 import MappingPlanningFamlial from "./mappings/converters/configPlanningFamilial";
 import MappingSurveillanceRouen from "./mappings/converters/configSurveillance";
-import engine from "./mappings/engine";
 
 const debugLog = utils.debugLog;
 
@@ -437,9 +424,43 @@ function setMappingConfigFromName(engine_conf_choice: string) {
       Mapping_engine.setConfig(mappingConfigIRVEFromOsmose)
 
     } else {
+      // choisir la config IRVE par défaut si aucune option de config de mapping n'est choisie en CLI
 
-      if (engine_conf_choice !== default_engine_conf_choice && Object.keys(allowed_configs).indexOf("mappingIssy2Roues") !== -1) {
+
-        Mapping_engine.setConfig(allowed_configs[engine_conf_choice])
+      if (engine_conf_choice !== default_engine_conf_choice && allowed_configs.indexOf("mappingIssy2Roues") !== -1) {
+        // ['mappingIssy2Roues', 'mappingConfigIRVE', 'mappingConfigIRVEFromOsmose', 'mappingConfigIRVE_simple', 'mappingTest', 'ConfigIRVE']
+        if (engine_conf_choice == 'mappingIssy2Roues') {
+          console.log('mappingIssy2Roues', mappingIssy2Roues)
+          Mapping_engine.setConfig(mappingIssy2Roues)
+        } else if (engine_conf_choice == 'mappingConfigIRVE') {
+          Mapping_engine.setConfig(mappingConfigIRVE)
+        } else if (engine_conf_choice == 'mappingConfigIRVEFromOsmose') {
+          Mapping_engine.setConfig(mappingConfigIRVEFromOsmose)
+        } else if (engine_conf_choice == 'mappingConfigIRVE_simple') {
+          Mapping_engine.setConfig(mappingConfigIRVE_simple)
+        } else if (engine_conf_choice == 'mappingTest') {
+          Mapping_engine.setConfig(mappingTest)
+        } else if (engine_conf_choice == 'ConfigIRVE') {
+          Mapping_engine.setConfig(ConfigIRVE)
+        } else if (engine_conf_choice == 'mappingRouenParkingVelos') {
+          Mapping_engine.setConfig(mappingRouenParkingVelos)
+        } else if (engine_conf_choice == 'MappingArbresIssy') {
+          Mapping_engine.setConfig(MappingArbresIssy)
+        } else if (engine_conf_choice == 'mappingFINESS') {
+          Mapping_engine.setConfig(mappingFINESS)
+        } else if (engine_conf_choice == 'MappingArbres92') {
+          Mapping_engine.setConfig(MappingArbres92)
+        } else if (engine_conf_choice == 'MappingMuseums') {
+          Mapping_engine.setConfig(MappingMuseums)
+        } else if (engine_conf_choice == 'MappingRouenPAV') {
+          Mapping_engine.setConfig(MappingRouenPAV)
+        } else if (engine_conf_choice == 'MappingAskAngela') {
+          Mapping_engine.setConfig(MappingAskAngela)
+        }else if (engine_conf_choice == 'MappingPlanningFamlial') {
+          Mapping_engine.setConfig(MappingPlanningFamlial)
+        }else if (engine_conf_choice == 'MappingSurveillanceRouen') {
+          Mapping_engine.setConfig(MappingSurveillanceRouen)
+        }
       } else {
         console.error('mauvais paramètre de Mapping_engine: '+engine_conf_choice, '.\n Veuillez en sélectionner un parmi ceux autorisés avec l option --engine-config=MaConfigQuiVaBien parmi ceux ci :', allowed_configs)
         return

mappings/extractors/askangela.sh

@@ -9,5 +9,31 @@
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:25];nwr["harassment_prevention"="ask_angela"];out+meta;'
 
 export_file="ask_angela_points_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f 
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/cargo_bike_france.sh

@@ -1,11 +1,39 @@
 #!/bin/bash
 
-# export depuis OSM des parking à vélo cargo
+# export depuis OSM des points
 # cargo_bike=*
 # en France
 
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["cargo_bike"](area.searchArea);out+geom;'
 
 export_file="cargo_bike_zone_france_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/centrales_france.sh

@@ -9,5 +9,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;node["power"="generator"](area.searchArea);out+geom;'
 
 export_file="centrales_zone_france_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/coworking_france.sh

@@ -1,11 +1,38 @@
 #!/bin/bash
 
 # export depuis OSM des points
-# des espaces de coworking
+# tout système produisant de l'énergie, pas seulement élec.
 # en France
 
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;node["amenity"="coworking_space"](area.searchArea);out+geom;'
 
 export_file="coworking_zone_france_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/hackerspace_france.sh

@@ -9,5 +9,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["leisure"="hackerspace"](area.searchArea);out+geom;'
 
 export_file="hackerspace_zone_france_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+#python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/hopitaux_france.sh

@@ -8,5 +8,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="hospital"](area.searchArea);out+geom;'
 
 export_file="hopitaux_zone_france_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/irve_france.sh

@@ -1,11 +1,39 @@
 #!/bin/bash
 
-# export depuis OSM des stations et bornes de recharges
+# export depuis OSM des points
 # "amenity"="charging_station"
-# en France
+# pour le monde entier
 
-url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="charging_station"](area.searchArea);out+geom;'
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+
+url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;node["amenity"="charging_station"](area.searchArea);out+geom;'
 
 export_file="irve_zone_france_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"
+

mappings/extractors/mairies.sh

@@ -1,10 +0,0 @@
-#!/bin/bash
-
-# export depuis OSM des mairies
-# en France
-
-url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="townhall"](area.searchArea);out+meta;'
-
-export_file="ask_angela_points_from_openstreetmap"
-source ../../update_scripts/functions.sh
-extract_from_osm $url $export_file

mappings/extractors/museums_france.sh

@@ -1,6 +1,7 @@
 #!/bin/bash
 
-# export depuis OSM des musées en France
+# export depuis OSM des points
+# "man_made"="surveillance" en France
 
 echo -e "\n récupération de données depuis OpenStreetMap \n"
 
@@ -8,5 +9,30 @@ url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(i
 
 
 export_file="museum_zone_france_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/pav_france.sh

@@ -1,6 +1,6 @@
 #!/bin/bash
 
-# export depuis OSM des points d'apport volontaire
+# export depuis OSM des points
 # amenity=recycling
 # en France
 
@@ -9,5 +9,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="recycling"](area.searchArea);out+geom;'
 
 export_file="pav_zone_france_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/planning_familiaux.sh

@@ -1,6 +1,7 @@
 #!/bin/bash
 
-# export depuis OSM des points de planning familial du monde entier
+# export depuis OSM des points
+# "harassment_prevention=ask_angela"
 # pour le monde entier
 
 
@@ -9,6 +10,30 @@ url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:25];nwr["he
 
 export_file="planning_familial_points_from_openstreetmap"
 
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
 
-source ../../update_scripts/functions.sh
+echo -e "\n Curl OK \n"
-extract_from_osm $url $export_file
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f 
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/ponts.sh

@@ -1,6 +1,7 @@
 #!/bin/bash
 
-# export depuis OSM des ponts qui ont un nom
+# export depuis OSM des points
+# "harassment_prevention=ask_angela"
 # pour le monde entier
 
 
@@ -8,5 +9,31 @@
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:200];nwr["bridge"]["name"];out+meta;'
 
 export_file="ponts_points_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f 
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/restaurant_france.sh

@@ -1,6 +1,6 @@
 #!/bin/bash
 
-# export depuis OSM des restaurants
+# export depuis OSM des points
 # "amenity"="restaurant" en France
 
 echo -e "\n récupération de données depuis OpenStreetMap \n"
@@ -8,5 +8,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="restaurant"](area.searchArea);out+geom;'
 
 export_file="restaurant_zone_france_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/surveillance_france.sh

@@ -1,12 +1,38 @@
 #!/bin/bash
 
-# export depuis OSM des caméras de surveillance
+# export depuis OSM des points
 # "man_made"="surveillance"
 # en France
 
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+
 url='https://overpass-api.de/api/interpreter?data=%5Bout%3Ajson%5D%5Btimeout%3A300%5D%3B%0Aarea(id%3A3602202162)-%3E.searchArea%3B%0Anode%5B%22man_made%22%3D%22surveillance%22%5D(area.searchArea)%3B%0Aout+geom%3B'
 
 export_file="surveillance_zone_france_from_openstreetmap"
 
-source ../../update_scripts/functions.sh
+echo -e "\n récupération de données depuis OpenStreetMap \n"
-extract_from_osm $url $export_file
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

mappings/extractors/toilets_france.sh

@@ -9,5 +9,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
 url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="toilets"](area.searchArea);out+geom;'
 
 export_file="toilets_zone_france_from_openstreetmap"
-source ../../update_scripts/functions.sh
+
-extract_from_osm $url $export_file
+echo -e "\n récupération de données depuis OpenStreetMap \n"
+echo " export osm de: $export_file"
+# Télécharger le fichier GeoJSON
+curl -X GET -o "$export_file.json" -g $url
+
+echo -e "\n Curl OK \n"
+date
+echo -e "nombre de points extraits depuis overpass turbo :"
+jq '.elements | length'  "$export_file.json"
+
+# on garde la version OSM brute des données extraites
+cp "$export_file.json" "../../osm_output/$export_file.osm.json"
+
+# on convertir en geojson
+osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
+echo -e "\n -> fichier converti: $export_file.geojson "
+
+# on déplace dans le dossier osm_output les versions brutes et converties
+mv "$export_file.geojson"  "../../osm_output/$export_file.geojson"
+echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
+
+# on convertit le geojson en csv
+python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
+rm "$export_file.json"
+echo "nombre de features dans l'export geojson :"
+jq '.features | length'  "../../osm_output/$export_file.geojson"

update_scripts/functions.sh

@@ -1,43 +0,0 @@
-#!/usr/bin/bash
-
-# fonction d'extraction d'une requête overpass et conversion du fichier de sortie
-
-extract_from_osm(){
-      overpass_query=$1
-      file_name=$2
-
-      echo -e "extraction de $file_name"
-      echo -e "requête: \n $overpass_query"
-
-      echo -e "\n récupération de données depuis OpenStreetMap \n"
-      echo " export osm de: $export_file"
-      # Télécharger le fichier GeoJSON
-      curl -X GET -o "$export_file.json" -g $url
-
-      echo -e "\n Curl OK \n"
-      date
-      echo -e "nombre de points extraits depuis overpass turbo :"
-      jq '.elements | length'  "$export_file.json"
-
-      # on garde la version OSM brute des données extraites
-      cp "$export_file.json" "../osm_output/$export_file.osm.json"
-
-      # on convertir en geojson
-      osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
-      echo -e "\n -> fichier converti: $export_file.geojson "
-
-      # on déplace dans le dossier osm_output les versions brutes et converties
-      mv "$export_file.geojson"  "../osm_output/$export_file.geojson"
-      echo " -> fichier placé dans ../osm_output/$export_file.geojson "
-
-      # on convertit le geojson en csv
-      python3 geojson_to_csv.py "../osm_output/$export_file.geojson" -o "../osm_output/$export_file.csv"
-      rm "$export_file.json"
-      echo "nombre de features dans l'export geojson :"
-      jq '.features | length'  "../osm_output/$export_file.geojson"
-
-}
-
-echo "fonction d'extraction depuis OSM chargée"
-
-export extract_from_osm

update_scripts/send_to_datagouv.py

@@ -1,62 +0,0 @@
-import requests
-import json
-import os
-
-def mettre_a_jour_jeu_de_donnees(dataset, headers):
-    # Mettre à jour le jeu de données
-    url = f"https://www.data.gouv.fr/api/1/datasets/{dataset['id']}"
-    response = requests.put(url, headers=headers, data=json.dumps(dataset))
-
-    # Vérifier si la mise à jour a réussi
-    if response.status_code == 200:
-        print(f"Le jeu de données '{dataset['title']}' a été mis à jour avec succès.")
-    else:
-        print(f"Une erreur est survenue : {response.status_code}")
-
-    # Mettre à jour le fichier CSV associé au jeu de données
-    resource_url = f"https://www.data.gouv.fr/api/1/datasets/{dataset['id']}/resources"
-    files = {"file": open(dataset["resource_url"], "rb")}
-    response = requests.post(resource_url, headers=headers, data=json.dumps({"title": dataset["resource_title"], "description": dataset["resource_description"], "url": dataset["resource_url"]}), files=files)
-
-    # Vérifier si la mise à jour a réussi
-    if response.status_code == 201:
-        print(f"Le fichier CSV '{dataset['resource_title']}' a été mis à jour avec succès.")
-    else:
-        print(f"Une erreur est survenue : {response.status_code}")
-
-# Remplir les variables suivantes avec vos informations de connexion
-username = "votre_nom_d'utilisateur"
-password = "votre_mot_de_passe"
-token = "votre_token_d'accès"
-
-# Créer l'en-tête de la requête avec le token d'accès
-headers = {
-    "Authorization": f"Bearer {token}",
-    "Content-Type": "application/json",
-}
-
-# Configuration des jeux de données à mettre à jour
-datasets = [
-    {
-        "id": "identifiant_de_votre_premier_jeu_de_données",
-        "title": "Nouveau titre de votre premier jeu de données",
-        "description": "Nouvelle description de votre premier jeu de données",
-        "categories": ["transport", "open-data"],
-        "resource_title": "Nouveau titre du premier fichier CSV",
-        "resource_description": "Description du premier fichier CSV",
-        "resource_url": "chemin/vers/votre/premier/fichier.csv"
-    },
-    {
-        "id": "identifiant_de_votre_deuxième_jeu_de_données",
-        "title": "Nouveau titre de votre deuxième jeu de données",
-        "description": "Nouvelle description de votre deuxième jeu de données",
-        "categories": ["environnement", "open-data"],
-        "resource_title": "Nouveau titre du deuxième fichier CSV",
-        "resource_description": "Description du deuxième fichier CSV",
-        "resource_url": "chemin/vers/votre/deuxième/fichier.csv"
-    }
-]
-
-# Itérer sur les jeux de données et les mettre à jour
-for dataset in datasets:
-    mettre_a_jour_jeu_de_donnees(dataset, headers)