10 incredibili risorse di apprendimento MLOps

Introduzione:

MLOps è una delle nuove aree che sta crescendo molto velocemente. Tutti vogliono imparare MLops a causa della forte domanda di professionisti MLOps. Illustrerò cos’è MLops e quali sono le risorse gratuite disponibili per imparare MLops.

Il recente sondaggio di O Rielly media menziona che il più grande ostacolo al successo aziendale con l’IA è la difficoltà a trovare persone con le competenze necessarie.

Credit: immagine di Orielly media publication

Cos’è MLOps
Risorse per imparare MLOps

Cos'è MLOps?

Secondo la documentazione di Google Cloud

MLOps è una metodologia per l’ingegneria ML che unifica lo sviluppo del sistema ML (l’elemento ML) con le operazioni del sistema ML (l’elemento Ops). Sostiene la formalizzazione e (quando vantaggioso) l’automazione dei passaggi critici della costruzione del sistema ML. MLOps fornisce una serie di processi standardizzati e funzionalità tecnologiche per la creazione, l’implementazione e l’operatività dei sistemi ML in modo rapido e affidabile.

MLOps supporta lo sviluppo e la distribuzione di ML nel modo in cui DevOps e DataOps supportano l’ingegneria delle applicazioni e l’ingegneria dei dati (analisi). La differenza è che quando si distribuisce un servizio Web, ci si preoccupa della resilienza, delle query al secondo, del bilanciamento del carico e così via. Quando si distribuisce un modello ML, è inoltre necessario preoccuparsi delle modifiche nei dati, delle modifiche nel modello, degli utenti che tentano di giocare al sistema e così via. Questo è ciò di cui tratta MLOps.

fonte: Immagine dalla documentazione di Google Cloud

Risorse per imparare MLOps:

Vedo che ci sono pochissime risorse disponibili su MLOps. Ci sono più risorse disponibili sulla creazione di modelli ML e non molto su MLops.

Ecco la mia lista e non in un ordine particolare.

1.TFX Playlist:

TensorFlow Extended (TFX) è una piattaforma end-to-end per l’implementazione di pipeline ML di produzione.

Panoramica di TFX

2.AIEngineering:

Penso che praticamente tutti conoscano Srivatsan Srinivasan. Ha un sacco di grandi playlist per MLOps. Le playlist seguenti parlano di MLOps e distribuzione del modello.

3.Comunità MLOps:

Il canale Youtube della comunità MLOps soddisfa la crescente necessità di condividere le best practice di Machine Learning Operations del mondo reale da parte degli ingegneri del settore. Questo canale intervista molti ingegneri MLOps e condivide le migliori pratiche ed esperienze. Il link è qui sotto

MLOps.community

La MLOps Community soddisfa la crescente necessità di condividere le best practice di Machine Learning Operations del mondo reale da …

www.youtube.com

Fonte: Immagine dalla documentazione di Google Cloud — Elementi per sistemi ML. Adattato da Hidden Technical Debt in Machine Learning

Come mostrato nel diagramma precedente, solo una piccola frazione di un sistema ML del mondo reale è composta dal codice ML. Il resto del sistema è composto da configurazione, automazione, raccolta dati, verifica dei dati, test e debug, gestione delle risorse, analisi dei modelli, gestione dei processi e dei metadati, infrastruttura di servizio e monitoraggio.

4.MLOps:

Si prega di controllare questo. Con Machine Learning Model Operationalization Management (MLOps), fornisci un processo di sviluppo di machine learning end-to-end per progettare, creare e gestire software riproducibile, testabile ed evolvable basato su ML. Il contenuto di questo sito è stato creato da Dr. Larysa Visengeriyeva, Anja Kammer, Isabel Bär, Alexander Kniesz e Michael Plod .

5.MLOps Articoli:

Seguo Aparna Dinakaran. Scrive costantemente di MLOps in Medium.Controlla i suoi articoli.

6.Machine Learning Engineering for Production (MLOps) Specializzazione:

Questo è il nuovo corso Coursera di Andrew Ng di Deep Learning Ai. La specializzazione Machine Learning Engineering for Production (MLOps) illustra come concettualizzare, costruire e mantenere sistemi integrati che operano continuamente in produzione. In netto contrasto con la modellazione standard di machine learning, i sistemi di produzione devono gestire dati in continua evoluzione. Inoltre, il sistema di produzione deve funzionare senza sosta al minimo costo producendo le massime prestazioni. In questa specializzazione, imparerai come utilizzare strumenti e metodologie consolidati per fare tutto questo in modo efficace ed efficiente.

Ha 4 corsi

Introduzione al Machine Learning in produzione
Ciclo di vita dei dati di Machine Learning in produzione
Pipeline di modellazione di Machine Learning in produzione
Distribuzione di modelli di Machine Learning in produzione

7.Nozioni fondamentali su MLOps (Machine Learning Operations)

Questo corso è del team di Google Cloud. Questo corso introduce i partecipanti agli strumenti MLOps e alle best practice per la distribuzione, la valutazione, il monitoraggio e il funzionamento dei sistemi ML di produzione su Google Cloud. MLOps è una disciplina focalizzata sulla distribuzione, il test, il monitoraggio e l’automazione dei sistemi ML in produzione. I professionisti di Machine Learning Engineering utilizzano strumenti per il miglioramento continuo e la valutazione dei modelli distribuiti. Lavorano con (o possono essere) Data Scientist, che sviluppano modelli, per consentire velocità e rigore nella distribuzione dei modelli con le migliori prestazioni.

8. Esercitazioni MLOps:

Un altro canale youtube sui tutorial MLOps.

9. Kubernetes e Docker:

Basta cliccare il link qui sotto per scoprire tutto ciò che devi sapere su Kubernetes:

https://www.youtube.com/watch?v=X48VuDVv0do&t=421s

Qui sotto trovi tutte le informazioni per Docker:

https://www.youtube.com/watch?v=fqMOX6JJhGo

10. Altre risorse aggiuntive:

1. Come migliorare le competenze di ingegneria del software come ricercatore. Questo fornisce un quadro generale e quali competenze sono necessarie per uno scienziato dei dati per diventare un ingegnere ML Ops.

2. Realizzato con ML: scopri come applicare ml per creare un prodotto di livello produttivo e fornire valore.

3. MLOps Tooling Landscape v2 (+84 nuovi strumenti) di Chip huygen:

4. Guida dei professionisti a MLOps: un framework per la distribuzione continua e l’automazione dell’apprendimento automatico.

Questo white paper fornisce una panoramica del ciclo di vita di MLOps, dei processi e delle funzionalità di MLOps e del motivo per cui sono importanti per l’adozione di successo di sistemi basati su ML. Approfondisce inoltre i dettagli concreti dell’esecuzione di una pipeline di addestramento continuo, della distribuzione di un modello e del monitoraggio delle prestazioni predittive dei modelli ML.

Ho trovato questo white paper molto utile.

5. La guida People + AI è un insieme di metodi, best practice ed esempi per la progettazione con l’IA.

Esigenze degli utenti + Definizione del successo
Raccolta dati + Valutazione
Modelli mentali
Explainabilty + Fiducia
Feedback + controllo
Errori + Errore grazioso

6. Kubeflow/Vertex Pipelines:

Vertex Pipelines consente di automatizzare, monitorare e governare i sistemi ML orchestrando il flusso di lavoro ML in modo serverless e archiviando gli artefatti del flusso di lavoro utilizzando i metadati Vertex ML. Archiviando gli elementi del flusso di lavoro ML in Vertex ML Metadata, è possibile analizzare la derivazione degli artefatti del flusso di lavoro, ad esempio la discendenza di un modello ML può includere i dati di training, gli iperparametri e il codice utilizzati per creare il modello.

7. Awesome MLOps:

Un elenco curato di fantastici strumenti MLOps.

8. MLflow:

MLflow è una piattaforma open source per gestire il ciclo di vita del ML, tra cui sperimentazione, riproducibilità, distribuzione e un registro centrale dei modelli. MLflow offre attualmente quattro componenti.

Monitoraggio MLflow
Progetti MLflow
Modelli MLflow
Registro modelli.

9. Impressionante apprendimento automatico di produzione.

10. MLOps in Azure:

Azure Machine Learning contiene una serie di servizi di gestione e orchestrazione delle risorse che consentono di gestire il ciclo di vita dei flussi di lavoro di training e distribuzione dei modelli.

Conclusione:

Il campo MLOps sta crescendo rapidamente ed è sempre meglio imparare il processo e gli strumenti utilizzati. La documentazione cloud di Google afferma che i vantaggi di MLops sono

Cicli di sviluppo più brevi e, di conseguenza, tempi di commercializzazione più brevi.
Migliore collaborazione tra i team.
Maggiore affidabilità, prestazioni, scalabilità e sicurezza dei sistemi ML.
Processi operativi e di governance semplificati.
Aumento del ritorno sull’investimento dei progetti ML.

Non esitate a connettervi con me su LinkedIn

Referenze: