MLOps Pipeline di apprendimento automatico end-to—CICD

Secondo la documentazione di Google

👉🏻 MLOps è una metodologia per l’ingegneria ML che unifica lo sviluppo del sistema ML (l’elemento ML) con le operazioni del sistema ML (l’elemento Ops). Sostiene la formalizzazione e (quando è vantaggioso) l’automazione delle fasi critiche della costruzione di un sistema di ML. MLOps fornisce un insieme di processi e funzionalità tecnologiche standardizzate per costruire, distribuire e rendere operativi i sistemi di ML in modo rapido e affidabile.

MLOps supporta lo sviluppo e la distribuzione di sistemi di ML nello stesso modo in cui DevOps e DataOps supportano l’ingegneria delle applicazioni e dei dati (analytics). La differenza è che quando si distribuisce un servizio web, ci si preoccupa della resilienza, delle query al secondo, del bilanciamento del carico e così via. Quando si distribuisce un modello di ML, ci si deve preoccupare anche delle modifiche ai dati, delle modifiche al modello, degli utenti che cercano di aggirare il sistema e così via. È di questo che si occupa MLOps.

1. Informazioni sul set di dati:

Questo dataset è stato inizialmente pubblicato da analyticsvidhya.com e disponibile anche su Kaggle.

Questo dataset contiene circa 25k immagini di dimensioni 150×150 distribuite in 6 categorie.

{‘edifici’ -> 0,

‘foresta’ -> 1,

‘ghiacciaio’ -> 2,

‘montagna’ -> 3,

‘mare’ -> 4,

‘strada’ -> 5 }

I dati di Train, Test e Prediction sono separati in ogni file zip. Ci sono circa 14k immagini in Train, 3k in Test e 7k in Prediction.

2. Fasi di sviluppo del modello

Non entrerò nel dettaglio dello sviluppo del modello. Per questo problema di classificazione delle immagini sto usando TensorFlow. L’obiettivo è costruire il modello e automatizzare il processo di distribuzione.

– Dati non strutturati

– Classificazione di immagini -Multiclasse

– Utilizzare la libreria TensorFlow

– Caricare il dataset in un dataframe.

– Esplorare il set di dati.

– Preparare i dati.

– Aumento dei dati – Utilizzo di ImageDataGenerator

– Classificatore CNN

– Classificazione multiclasse -softmax

– perdita-categoria_crossentropia

– Ottimizzatore -Adam

Ricordarsi di scaricare il modello e di testarlo nuovamente caricandolo.

model.save(‘/content/drive/MyDrive/Files/image_intel/models/’, save_format=’tf’)

e caricare

model_loaded = tf.keras.models.load_model(‘/content/drive/MyDrive/Files/image_intel/models/models/’)

– Salva: tf.saved_model.save(model, path_to_dir)

– Carica: model = tf.saved_model.load(path_to_dir)

La cartella dei modelli salvati avrà l’aspetto di

3. Distribuzione del modello e fasi CICD

Di seguito sono riportati i passi da seguire per distribuire il modello in GCP.

Che cos’è il CICD?

Secondo la documentazione di Google

L’integrazione continua (CI) e la consegna continua (CD) consentono ai team di adottare l’automazione nella creazione, nel collaudo e nella distribuzione del software. La documentazione vi guiderà attraverso la fase della pipeline CI/CD per costruire e distribuire un’applicazione su GKE utilizzando Container Registry e Cloud Build.

Verranno eseguiti i seguenti passaggi.

1. Github pronto: Creare tutti i file necessari per l’automazione e tenere pronto il repository GitHub.
2. Cloudbuild: La compilazione avverrà tramite google cloudbuild.
3. Test: Nessun test automatizzato in questa pipeline.
4. Distribuzione: Verrà distribuito in GKE con 2 repliche.

Github, Cloudbuild e Deploy in GKE:

I passaggi dettagliati sono

1. Creare un file streamlit app -python.
2. Creare un file docker.
3. Creare il file dei requisiti.
4. Creare il file YAML di distribuzione Kubernetes.
5. Creare il file YAML del servizio Kubernetes.
6. Creare il file YAML di cloudbuild.
7. Creare un repository GitHub sul desktop GitHub.
8. Caricare e organizzare i file sul desktop Github.
9. Spingere i file dal desktop a Github.
10. Collegare il cloudbuild a Github e al progetto GCP.
11. Creare un trigger in GCP -trigger basato sulle modifiche del codice Github.
12. Ora la build viene attivata e l’applicazione viene distribuita sul motore Kubernetes.

Analizziamo in dettaglio i passaggi sopra descritti.

Ora il modello di classificazione delle immagini CNN è stato scaricato ed è pronto per essere distribuito. Stiamo per distribuire il modello nel motore Kubernetes di Google.

Secondo la documentazione di Google Cloud, Google Kubernetes Engine (GKE) fornisce un ambiente gestito per distribuire, gestire e scalare le applicazioni containerizzate utilizzando l’infrastruttura di Google. L’ambiente GKE è costituito da più macchine (in particolare, istanze di Compute Engine) raggruppate per formare un cluster.

Alcuni dei vantaggi dell’utilizzo di Kubernetes sono

– Bilanciamento del carico

– Scalabilità automatica

– Aggiornamenti automatici

– Riparazione automatica dei nodi

– Registrazione e monitoraggio.

Se non si dispone di un account GCP, è possibile crearne uno e utilizzare i 300 dollari di credito gratuito di GCP per i nuovi utenti. I dettagli sono

I nuovi clienti hanno a disposizione 300 dollari di crediti gratuiti per esplorare e valutare a fondo la Google Cloud Platform. Non vi verrà addebitato nulla fino a quando non deciderete di effettuare l’upgrade.

Vediamo tutti i passaggi in dettaglio

Streamlit:

Streamlit è un framework di app open-source per team di Machine Learning e Data Science. Crea bellissime app per i dati in poche ore, non in settimane. Tutto in puro Python.

Docker:

Un Dockerfile è un documento di testo che contiene tutti i comandi che un utente potrebbe chiamare sulla riga di comando per assemblare un’immagine