From abbc09de30b2947d0c032a9e97f6088a879910bf Mon Sep 17 00:00:00 2001 From: Philippe Roy Date: Thu, 29 Jun 2023 15:17:12 +0200 Subject: [PATCH] README : Crash Course de Google --- 02-intro_rna/02-keras-classificateur_img.py | 11 +- 02-intro_rna/03-keras-tf_playground-cercle.py | 11 +- 02-intro_rna/04-keras-tf_playground-xor.py | 11 +- 02-intro_rna/05-keras-tf_playground-gauss.py | 11 +- 02-intro_rna/06-keras-tf_playground-spiral.py | 11 +- 02-intro_rna/07-keras-regression.py | 156 ++++++++++++++++++ README.md | 2 +- 7 files changed, 187 insertions(+), 26 deletions(-) create mode 100644 02-intro_rna/07-keras-regression.py diff --git a/02-intro_rna/02-keras-classificateur_img.py b/02-intro_rna/02-keras-classificateur_img.py index 9f4dd38..145cf36 100644 --- a/02-intro_rna/02-keras-classificateur_img.py +++ b/02-intro_rna/02-keras-classificateur_img.py @@ -35,12 +35,13 @@ from tensorflow import keras ### # Commandes Keras : # - keras.models.Sequential() : créer un modèle où les couches de neurones sont reliées séquentiellement (modèle simple) -# - keras.layers.Flatten : ajout d'une couche de formatage de mise à plat -# - keras.layers.Dense : ajout d'une couche de neurones +# - model.add : ajout d'une couche +# - keras.layers.Flatten : couche de formatage de mise à plat +# - keras.layers.Dense : couche de neurones # - keras.backend.clear_session() : reset de la session -# - .compile : compilation du modèle -# - .fit : entrainement du modèle -# - .predict : prédiction du modèle +# - model.compile : compilation du modèle +# - model.fit : entrainement du modèle +# - model.predict : prédiction du modèle # - keras.utils.plot_model : créer le diagramme d'un modèle ### diff --git a/02-intro_rna/03-keras-tf_playground-cercle.py b/02-intro_rna/03-keras-tf_playground-cercle.py index 1dbdc68..60ca69a 100644 --- a/02-intro_rna/03-keras-tf_playground-cercle.py +++ b/02-intro_rna/03-keras-tf_playground-cercle.py @@ -43,12 +43,13 @@ from tensorflow import keras ### # Commandes Keras : # - keras.models.Sequential() : créer un modèle où les couches de neurones sont reliées séquentiellement (modèle simple) -# - keras.layers.Flatten : ajout d'une couche de formatage de mise à plat -# - keras.layers.Dense : ajout d'une couche de neurones +# - model.add : ajout d'une couche +# - keras.layers.Flatten : couche de formatage de mise à plat +# - keras.layers.Dense : couche de neurones # - keras.backend.clear_session() : reset de la session -# - .compile : compilation du modèle -# - .fit : entrainement du modèle -# - .predict : prédiction du modèle +# - model.compile : compilation du modèle +# - model.fit : entrainement du modèle +# - model.predict : prédiction du modèle # - keras.utils.plot_model : créer le diagramme d'un modèle ### diff --git a/02-intro_rna/04-keras-tf_playground-xor.py b/02-intro_rna/04-keras-tf_playground-xor.py index b0dc275..3a65743 100644 --- a/02-intro_rna/04-keras-tf_playground-xor.py +++ b/02-intro_rna/04-keras-tf_playground-xor.py @@ -43,12 +43,13 @@ from tensorflow import keras ### # Commandes Keras : # - keras.models.Sequential() : créer un modèle où les couches de neurones sont reliées séquentiellement (modèle simple) -# - keras.layers.Flatten : ajout d'une couche de formatage de mise à plat -# - keras.layers.Dense : ajout d'une couche de neurones +# - model.add : ajout d'une couche +# - keras.layers.Flatten : couche de formatage de mise à plat +# - keras.layers.Dense : couche de neurones # - keras.backend.clear_session() : reset de la session -# - .compile : compilation du modèle -# - .fit : entrainement du modèle -# - .predict : prédiction du modèle +# - model.compile : compilation du modèle +# - model.fit : entrainement du modèle +# - model.predict : prédiction du modèle # - keras.utils.plot_model : créer le diagramme d'un modèle ### diff --git a/02-intro_rna/05-keras-tf_playground-gauss.py b/02-intro_rna/05-keras-tf_playground-gauss.py index de7089f..bb80921 100644 --- a/02-intro_rna/05-keras-tf_playground-gauss.py +++ b/02-intro_rna/05-keras-tf_playground-gauss.py @@ -43,12 +43,13 @@ from tensorflow import keras ### # Commandes Keras : # - keras.models.Sequential() : créer un modèle où les couches de neurones sont reliées séquentiellement (modèle simple) -# - keras.layers.Flatten : ajout d'une couche de formatage de mise à plat -# - keras.layers.Dense : ajout d'une couche de neurones +# - model.add : ajout d'une couche +# - keras.layers.Flatten : couche de formatage de mise à plat +# - keras.layers.Dense : couche de neurones # - keras.backend.clear_session() : reset de la session -# - .compile : compilation du modèle -# - .fit : entrainement du modèle -# - .predict : prédiction du modèle +# - model.compile : compilation du modèle +# - model.fit : entrainement du modèle +# - model.predict : prédiction du modèle # - keras.utils.plot_model : créer le diagramme d'un modèle ### diff --git a/02-intro_rna/06-keras-tf_playground-spiral.py b/02-intro_rna/06-keras-tf_playground-spiral.py index f214ae3..7a5ea84 100644 --- a/02-intro_rna/06-keras-tf_playground-spiral.py +++ b/02-intro_rna/06-keras-tf_playground-spiral.py @@ -43,12 +43,13 @@ from tensorflow import keras ### # Commandes Keras : # - keras.models.Sequential() : créer un modèle où les couches de neurones sont reliées séquentiellement (modèle simple) -# - keras.layers.Flatten : ajout d'une couche de formatage de mise à plat -# - keras.layers.Dense : ajout d'une couche de neurones +# - model.add : ajout d'une couche +# - keras.layers.Flatten : couche de formatage de mise à plat +# - keras.layers.Dense : couche de neurones # - keras.backend.clear_session() : reset de la session -# - .compile : compilation du modèle -# - .fit : entrainement du modèle -# - .predict : prédiction du modèle +# - model.compile : compilation du modèle +# - model.fit : entrainement du modèle +# - model.predict : prédiction du modèle # - keras.utils.plot_model : créer le diagramme d'un modèle ### diff --git a/02-intro_rna/07-keras-regression.py b/02-intro_rna/07-keras-regression.py new file mode 100644 index 0000000..9befe17 --- /dev/null +++ b/02-intro_rna/07-keras-regression.py @@ -0,0 +1,156 @@ +import os, time +import numpy as np +import matplotlib.pyplot as plt + +import sklearn +from sklearn import datasets +from sklearn.model_selection import train_test_split +from sklearn.preprocessing import StandardScaler + +import tensorflow as tf +from tensorflow import keras + +############################################################################### +# 07-keras-regression.py +# @title: Introduction aux réseaux de neurones - Réseaux de neurones avec Keras - Regression +# @project: Mes scripts de ML +# @lang: fr +# @authors: Philippe Roy +# @copyright: Copyright (C) 2023 Philippe Roy +# @license: GNU GPL +############################################################################### + +### +# Installation : +# - pip3 install tensorflow +# - pip3 install keras +# - pip3 install pydot +# - pip3 install graphviz +### + +### +# Commandes NumPy : +# - np.array : créer un tableau à partir d'une liste de listes +# - np.c_ : concatène les colonnes des tableaux +# - np.linspace : créer un tableau 1D de la valeur de début à la valeur de fin avec n valeurs +# - np.meshgrid : créer un tableau 2D avec l'ensemble des combinaisons allant des deux valeurs de début aux deux valeurs de fin +# - .reshape : reformater la tableau avec le nombre de lignes et le nombre de colonnes +### + +### +# Commandes Scikit-Learn : +# - sklearn.model_selection.train_test_split : partage les données en jeu d'entrainnement et en jeu de test (test_size de 0,25 par défaut) +# - sklearn.preprocessing.StandardScaler() : normalise les données : moyenne nulle et variance unitaire +# - scaler.fit_transform : entrainement et application de la normalisation +# - scaler.transform : application de la normalisation (préentrainée) +### + +### +# Commandes Keras : +# - keras.models.Sequential() : créer un modèle où les couches de neurones sont reliées séquentiellement (modèle simple) +# - model.add : ajout d'une couche +# - keras.layers.Flatten : couche de formatage de mise à plat +# - keras.layers.Dense : couche de neurones +# - keras.backend.clear_session() : reset de la session +# - model.compile : compilation du modèle +# - model.fit : entrainement du modèle +# - model.predict : prédiction du modèle +# - keras.utils.plot_model : créer le diagramme d'un modèle +### + +############################################################################### +# Initialisation +############################################################################### + +# Init du temps +t_debut = time.time() + +# Init des plots +fig = plt.figure(figsize=(15, 5)) +fig.suptitle("Réseaux de neurones avec Keras - Regression") +model_ax = fig.add_subplot(131) # Modèle +apts_ax = fig.add_subplot(132) # Courbes d'apprentissage +donnees_ax = fig.add_subplot(133) # Observations : x1,x2 et cibles : y + +############################################################################### +# Observations +############################################################################### + +# Observations d'apprentissage, de validation et de test +housing = sklearn.datasets.fetch_california_housing() # Jeu de données California housing +X, X_test, y, y_test = sklearn.model_selection.train_test_split(housing.data, housing.target, random_state=42) +X_train, X_valid, y_train, y_valid = train_test_split(X, y, random_state=42) + +# Normalisation +scaler = sklearn.preprocessing.StandardScaler() +X_train = scaler.fit_transform(X_train) +X_valid = scaler.transform(X_valid) +X_test = scaler.transform(X_test) + +############################################################################### +# Phase d'apprentissage +############################################################################### + +n = 20 # Nombre d'itérations (valeur par défaut : 20 , hyperparamètre) +eta = 0.01 # Taux d'appentissage (valeur par défaut dans Keras : 0.01, hyperparamètre) +lot=32 # Taille de lot (valeur par défaut dans Keras: 32 , hyperparamètre) + +perte="mse" # Type de perte (hyperparamètre) +# perte="mean_squared_error" +# perte='mean_absolute_error' +# perte="sparse_categorical_crossentropy" + +keras.backend.clear_session() +np.random.seed(42) +tf.random.set_seed(42) +model = keras.models.Sequential() # Modèle de reseau de neurones +model.add(keras.layers.Dense(30, input_shape=X_train.shape[1:], activation="relu")) # Couche 1 : 30 nodes +model.add(keras.layers.Dense(1)) # Couche de sortie : 1 node par classe + +optimiseur=keras.optimizers.SGD(learning_rate= eta) +model.compile(loss=perte, optimizer=optimiseur) # Compilation du modèle + +apts = model.fit(X_train, y_train, epochs=n, batch_size=lot, validation_data=(X_valid, y_valid)) # Entrainement + +############################################################################### +# Phase d'inférence +############################################################################### + +X_new = X_test[:3] +y_pred = model.predict(X_new) # Prédiction + +############################################################################### +# Résultats +############################################################################### + +# Modèle +model_ax.set_title("Modèle") +keras.utils.plot_model(model, "model.png", show_shapes=True) +model_img=plt.imread("model.png") +model_ax.imshow(model_img) +model_ax.set_axis_off() +os.remove("model.png") # Supression du fichier temporaire + +# Courbes d'apprentissage +apts_ax.set_title("Courbes d'apprentissage") +apts_ax.plot(apts.epoch, apts.history['loss'], 'b-', label="Perte - entrainement") +apts_ax.plot(apts.epoch, apts.history['val_loss'], 'r-', label="Perte - validation") +apts_ax.set(ylim=(-0.05, 1.05)) +apts_ax.set_xlabel("Époque") +apts_ax.legend() + +# # Plot des données +# donnees_ax.set_title("Données") +# plot_i=[] +# plot_x1=[] +# plot_x2=[] +# for i in range (X_valid.shape[0]): +# plot_i.append(i) +# plot_x1.append(X_valid[i][0]) +# plot_x2.append(X_valid2[i][0]) +# donnees_ax.plot(plot_i, plot_x1) +# donnees_ax.plot(plot_i, plot_x2) +plt.show() + +# Performances +print ("Temps total : "+str(time.time()-t_debut)) diff --git a/README.md b/README.md index 68c6030..59d5c65 100644 --- a/README.md +++ b/README.md @@ -20,7 +20,7 @@ Les "manips" sont pour la plupart tirées des livres de Aurélien Géron : ### Documentation : - - [Google Developers](https://developers.google.com/machine-learning?hl=fr) : Introduction au machine learning - Google + - [Crash Course de Google Developers](https://developers.google.com/machine-learning/crash-course/ml-intro?hl=fr) : Introduction au machine learning - Google - [Fidle](https://gricad-gitlab.univ-grenoble-alpes.fr/talks/fidle/-/wikis/home) : Fidle (Formation Introduction au Deep Learning) - CNRS, MIAI, UGA - [Kaggle](https://www.kaggle.com/) : Compétitions d'apprentissage automatique - [Machine Learnia](https://www.youtube.com/@MachineLearnia) : Chaîne YouTube sur l'apprentissage automatique