tykayn/mapping-geojson-osm
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

Compare commits

base: tykayn:53075a642f1d64dde915a28fe257042eb529fefb
Branches Tags
tykayn:main
..
compare: tykayn:1920449212877c9d656d2cf4093d80553461c5f3
Branches Tags
tykayn:main

No commits in common. "53075a642f1d64dde915a28fe257042eb529fefb" and "1920449212877c9d656d2cf4093d80553461c5f3" have entirely different histories.
53075a642f ... 1920449212

19 changed files with 444 additions and 2658 deletions
Show Stats Expand all files Collapse all files

63
convert_to_osm_tags.ts
View File

@ -20,30 +20,17 @@ import MappingMuseums from "./mappings/converters/configMuseums";
import MappingRouenPAV from "./mappings/converters/configRouen_PAV";
const limitWarningPercentageChangeInPoints = 5; // show a warning when more than N percent of the number of points changed
const allowed_configs = {
mappingIssy2Roues,
mappingConfigIRVE,
mappingConfigIRVEFromOsmose,
mappingConfigIRVE_simple,
mappingTest,
ConfigIRVE,
mappingRouenParkingVelos,
mappingFINESS,
MappingArbresIssy,
MappingArbres92,
MappingMuseums,
MappingRouenPAV,
MappingAskAngela,
MappingPlanningFamlial,
MappingSurveillanceRouen
};
const allowed_configs = [
'mappingIssy2Roues', 'mappingConfigIRVE', 'mappingConfigIRVEFromOsmose',
'mappingConfigIRVE_simple', 'mappingTest', 'ConfigIRVE',
'mappingRouenParkingVelos', 'mappingFINESS', 'MappingArbresIssy',
'MappingArbres92', 'MappingMuseums', 'MappingRouenPAV', 'MappingAskAngela', 'MappingPlanningFamlial','MappingSurveillanceRouen'
];
const minimist = require('minimist');
import MappingAskAngela from "./mappings/converters/configAskAngela";
import MappingPlanningFamlial from "./mappings/converters/configPlanningFamilial";
import MappingSurveillanceRouen from "./mappings/converters/configSurveillance";
import engine from "./mappings/engine";
const debugLog = utils.debugLog;
@ -437,9 +424,43 @@ function setMappingConfigFromName(engine_conf_choice: string) {
Mapping_engine.setConfig(mappingConfigIRVEFromOsmose)
} else {
// choisir la config IRVE par défaut si aucune option de config de mapping n'est choisie en CLI
if (engine_conf_choice !== default_engine_conf_choice && Object.keys(allowed_configs).indexOf("mappingIssy2Roues") !== -1) {
Mapping_engine.setConfig(allowed_configs[engine_conf_choice])
if (engine_conf_choice !== default_engine_conf_choice && allowed_configs.indexOf("mappingIssy2Roues") !== -1) {
// ['mappingIssy2Roues', 'mappingConfigIRVE', 'mappingConfigIRVEFromOsmose', 'mappingConfigIRVE_simple', 'mappingTest', 'ConfigIRVE']
if (engine_conf_choice == 'mappingIssy2Roues') {
console.log('mappingIssy2Roues', mappingIssy2Roues)
Mapping_engine.setConfig(mappingIssy2Roues)
} else if (engine_conf_choice == 'mappingConfigIRVE') {
Mapping_engine.setConfig(mappingConfigIRVE)
} else if (engine_conf_choice == 'mappingConfigIRVEFromOsmose') {
Mapping_engine.setConfig(mappingConfigIRVEFromOsmose)
} else if (engine_conf_choice == 'mappingConfigIRVE_simple') {
Mapping_engine.setConfig(mappingConfigIRVE_simple)
} else if (engine_conf_choice == 'mappingTest') {
Mapping_engine.setConfig(mappingTest)
} else if (engine_conf_choice == 'ConfigIRVE') {
Mapping_engine.setConfig(ConfigIRVE)
} else if (engine_conf_choice == 'mappingRouenParkingVelos') {
Mapping_engine.setConfig(mappingRouenParkingVelos)
} else if (engine_conf_choice == 'MappingArbresIssy') {
Mapping_engine.setConfig(MappingArbresIssy)
} else if (engine_conf_choice == 'mappingFINESS') {
Mapping_engine.setConfig(mappingFINESS)
} else if (engine_conf_choice == 'MappingArbres92') {
Mapping_engine.setConfig(MappingArbres92)
} else if (engine_conf_choice == 'MappingMuseums') {
Mapping_engine.setConfig(MappingMuseums)
} else if (engine_conf_choice == 'MappingRouenPAV') {
Mapping_engine.setConfig(MappingRouenPAV)
} else if (engine_conf_choice == 'MappingAskAngela') {
Mapping_engine.setConfig(MappingAskAngela)
}else if (engine_conf_choice == 'MappingPlanningFamlial') {
Mapping_engine.setConfig(MappingPlanningFamlial)
}else if (engine_conf_choice == 'MappingSurveillanceRouen') {
Mapping_engine.setConfig(MappingSurveillanceRouen)
}
} else {
console.error('mauvais paramètre de Mapping_engine: '+engine_conf_choice, '.\n Veuillez en sélectionner un parmi ceux autorisés avec l option --engine-config=MaConfigQuiVaBien parmi ceux ci :', allowed_configs)
return

30
mappings/extractors/askangela.sh
View File

@ -9,5 +9,31 @@
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:25];nwr["harassment_prevention"="ask_angela"];out+meta;'
export_file="ask_angela_points_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

34
mappings/extractors/cargo_bike_france.sh
View File

@ -1,11 +1,39 @@
#!/bin/bash
# export depuis OSM des parking à vélo cargo
# export depuis OSM des points
# cargo_bike=*
# en France
echo -e "\n récupération de données depuis OpenStreetMap \n"
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["cargo_bike"](area.searchArea);out+geom;'
export_file="cargo_bike_zone_france_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

29
mappings/extractors/centrales_france.sh
View File

@ -9,5 +9,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;node["power"="generator"](area.searchArea);out+geom;'
export_file="centrales_zone_france_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

33
mappings/extractors/coworking_france.sh
View File

@ -1,11 +1,38 @@
#!/bin/bash
# export depuis OSM des points
# des espaces de coworking
# tout système produisant de l'énergie, pas seulement élec.
# en France
echo -e "\n récupération de données depuis OpenStreetMap \n"
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;node["amenity"="coworking_space"](area.searchArea);out+geom;'
export_file="coworking_zone_france_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

29
mappings/extractors/hackerspace_france.sh
View File

@ -9,5 +9,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["leisure"="hackerspace"](area.searchArea);out+geom;'
export_file="hackerspace_zone_france_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
#python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

29
mappings/extractors/hopitaux_france.sh
View File

@ -8,5 +8,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="hospital"](area.searchArea);out+geom;'
export_file="hopitaux_zone_france_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

38
mappings/extractors/irve_france.sh
View File

@ -1,11 +1,39 @@
#!/bin/bash
# export depuis OSM des stations et bornes de recharges
# export depuis OSM des points
# "amenity"="charging_station"
# en France
# pour le monde entier
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="charging_station"](area.searchArea);out+geom;'
echo -e "\n récupération de données depuis OpenStreetMap \n"
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;node["amenity"="charging_station"](area.searchArea);out+geom;'
export_file="irve_zone_france_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

10
mappings/extractors/mairies.sh
View File

@ -1,10 +0,0 @@
#!/bin/bash
# export depuis OSM des mairies
# en France
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="townhall"](area.searchArea);out+meta;'
export_file="ask_angela_points_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file

32
mappings/extractors/museums_france.sh
View File

@ -1,6 +1,7 @@
#!/bin/bash
# export depuis OSM des musées en France
# export depuis OSM des points
# "man_made"="surveillance" en France
echo -e "\n récupération de données depuis OpenStreetMap \n"
@ -8,5 +9,30 @@ url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(i
export_file="museum_zone_france_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

31
mappings/extractors/pav_france.sh
View File

@ -1,6 +1,6 @@
#!/bin/bash
# export depuis OSM des points d'apport volontaire
# export depuis OSM des points
# amenity=recycling
# en France
@ -9,5 +9,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="recycling"](area.searchArea);out+geom;'
export_file="pav_zone_france_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

2483
mappings/extractors/planning_familial_points_from_openstreetmap.geojson
View File

File diff suppressed because it is too large Load Diff

31
mappings/extractors/planning_familiaux.sh
View File

@ -1,6 +1,7 @@
#!/bin/bash
# export depuis OSM des points de planning familial du monde entier
# export depuis OSM des points
# "harassment_prevention=ask_angela"
# pour le monde entier
@ -9,6 +10,30 @@ url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:25];nwr["he
export_file="planning_familial_points_from_openstreetmap"
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

33
mappings/extractors/ponts.sh
View File

@ -1,6 +1,7 @@
#!/bin/bash
# export depuis OSM des ponts qui ont un nom
# export depuis OSM des points
# "harassment_prevention=ask_angela"
# pour le monde entier
@ -8,5 +9,31 @@
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:200];nwr["bridge"]["name"];out+meta;'
export_file="ponts_points_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

31
mappings/extractors/restaurant_france.sh
View File

@ -1,6 +1,6 @@
#!/bin/bash
# export depuis OSM des restaurants
# export depuis OSM des points
# "amenity"="restaurant" en France
echo -e "\n récupération de données depuis OpenStreetMap \n"
@ -8,5 +8,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="restaurant"](area.searchArea);out+geom;'
export_file="restaurant_zone_france_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

32
mappings/extractors/surveillance_france.sh
View File

@ -1,12 +1,38 @@
#!/bin/bash
# export depuis OSM des caméras de surveillance
# export depuis OSM des points
# "man_made"="surveillance"
# en France
echo -e "\n récupération de données depuis OpenStreetMap \n"
url='https://overpass-api.de/api/interpreter?data=%5Bout%3Ajson%5D%5Btimeout%3A300%5D%3B%0Aarea(id%3A3602202162)-%3E.searchArea%3B%0Anode%5B%22man_made%22%3D%22surveillance%22%5D(area.searchArea)%3B%0Aout+geom%3B'
export_file="surveillance_zone_france_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

29
mappings/extractors/toilets_france.sh
View File

@ -9,5 +9,30 @@ echo -e "\n récupération de données depuis OpenStreetMap \n"
url='https://overpass-api.de/api/interpreter?data=[out:json][timeout:300];area(id:3602202162)->.searchArea;nwr["amenity"="toilets"](area.searchArea);out+geom;'
export_file="toilets_zone_france_from_openstreetmap"
source ../../update_scripts/functions.sh
extract_from_osm $url $export_file
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../../osm_output/$export_file.geojson" -o "../../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../../osm_output/$export_file.geojson"

43
update_scripts/functions.sh
View File

@ -1,43 +0,0 @@
#!/usr/bin/bash
# fonction d'extraction d'une requête overpass et conversion du fichier de sortie
extract_from_osm(){
overpass_query=$1
file_name=$2
echo -e "extraction de $file_name"
echo -e "requête: \n $overpass_query"
echo -e "\n récupération de données depuis OpenStreetMap \n"
echo " export osm de: $export_file"
# Télécharger le fichier GeoJSON
curl -X GET -o "$export_file.json" -g $url
echo -e "\n Curl OK \n"
date
echo -e "nombre de points extraits depuis overpass turbo :"
jq '.elements | length' "$export_file.json"
# on garde la version OSM brute des données extraites
cp "$export_file.json" "../osm_output/$export_file.osm.json"
# on convertir en geojson
osm2geojson -q -i 2 --reader json "$export_file.json" "$export_file.geojson" -f
echo -e "\n -> fichier converti: $export_file.geojson "
# on déplace dans le dossier osm_output les versions brutes et converties
mv "$export_file.geojson" "../osm_output/$export_file.geojson"
echo " -> fichier placé dans ../osm_output/$export_file.geojson "
# on convertit le geojson en csv
python3 geojson_to_csv.py "../osm_output/$export_file.geojson" -o "../osm_output/$export_file.csv"
rm "$export_file.json"
echo "nombre de features dans l'export geojson :"
jq '.features | length' "../osm_output/$export_file.geojson"
}
echo "fonction d'extraction depuis OSM chargée"
export extract_from_osm

62
update_scripts/send_to_datagouv.py
View File

@ -1,62 +0,0 @@
import requests
import json
import os
def mettre_a_jour_jeu_de_donnees(dataset, headers):
# Mettre à jour le jeu de données
url = f"https://www.data.gouv.fr/api/1/datasets/{dataset['id']}"
response = requests.put(url, headers=headers, data=json.dumps(dataset))
# Vérifier si la mise à jour a réussi
if response.status_code == 200:
print(f"Le jeu de données '{dataset['title']}' a été mis à jour avec succès.")
else:
print(f"Une erreur est survenue : {response.status_code}")
# Mettre à jour le fichier CSV associé au jeu de données
resource_url = f"https://www.data.gouv.fr/api/1/datasets/{dataset['id']}/resources"
files = {"file": open(dataset["resource_url"], "rb")}
response = requests.post(resource_url, headers=headers, data=json.dumps({"title": dataset["resource_title"], "description": dataset["resource_description"], "url": dataset["resource_url"]}), files=files)
# Vérifier si la mise à jour a réussi
if response.status_code == 201:
print(f"Le fichier CSV '{dataset['resource_title']}' a été mis à jour avec succès.")
else:
print(f"Une erreur est survenue : {response.status_code}")
# Remplir les variables suivantes avec vos informations de connexion
username = "votre_nom_d'utilisateur"
password = "votre_mot_de_passe"
token = "votre_token_d'accès"
# Créer l'en-tête de la requête avec le token d'accès
headers = {
"Authorization": f"Bearer {token}",
"Content-Type": "application/json",
}
# Configuration des jeux de données à mettre à jour
datasets = [
{
"id": "identifiant_de_votre_premier_jeu_de_données",
"title": "Nouveau titre de votre premier jeu de données",
"description": "Nouvelle description de votre premier jeu de données",
"categories": ["transport", "open-data"],
"resource_title": "Nouveau titre du premier fichier CSV",
"resource_description": "Description du premier fichier CSV",
"resource_url": "chemin/vers/votre/premier/fichier.csv"
},
{
"id": "identifiant_de_votre_deuxième_jeu_de_données",
"title": "Nouveau titre de votre deuxième jeu de données",
"description": "Nouvelle description de votre deuxième jeu de données",
"categories": ["environnement", "open-data"],
"resource_title": "Nouveau titre du deuxième fichier CSV",
"resource_description": "Description du deuxième fichier CSV",
"resource_url": "chemin/vers/votre/deuxième/fichier.csv"
}
]
# Itérer sur les jeux de données et les mettre à jour
for dataset in datasets:
mettre_a_jour_jeu_de_donnees(dataset, headers)