Fondamenti di Reinforcement Learning (parte1) – come insegnare a imparare
Negli ultimi anni l’intelligenza artificiale ha fatto passi da gigante e i progressi dell’ultimo decennio sono sotto gli occhi di tutti. Le cause di ciò sono molteplici, ma sicuramente uno dei paradigmi più di successo dal 2013 ad oggi è il Deep Reinforcement Learning, ovvero la sinergia tra Deep Learning e Reinforcement Learning.
In questo corso impariamo le basi del Reinforcement Learning, ovvero le tecniche che permettono alle macchine di imparare a prendere decisioni. In breve: qualunque problema che richieda una successione di azioni per essere risolto – uscire da un labirinto, vincere a un gioco, determinare una strategia di investimento, guidare un veicolo – può essere affrontato da una macchina con queste tecniche, purché la macchina sia in grado di eseguire queste azioni e “capire” quanto una successione di azioni sia “giusta”. Questa comprensione si ottiene associando a ogni azione una ricompensa, e dicendo alla macchina che deve fare le azioni in modo da avere una ricompensa totale il più alta possibile: “più ricompensa ottieni, più giusto è quello che stai facendo”, questa è l’unica cosa che diciamo alla macchina.
Questo mini degree tratta il RL nel caso tabellare per problemi dei quali si ha una completa descrizione del modello. Tabellare vuol dire che è possibile descrivere gli stati e le azioni tramite tabelle, e questo accade quando il problema presenta relativamente pochi stati; completa descrizione del modello vuol dire che sappiamo in anticipo le conseguenze delle nostre azioni: per esempio, se io tiro un dado non truccato so in anticipo che uscirà 1,2,3,4,5 o 6 con probabilità 1/6, mentre questa stessa cosa non si può dire se il dado è truccato.
Il caso tabellare con modello può essere considerato il caso base, e la sua comprensione è fondamentale per i successivi mini degree: quello model-free, in cui non supporremo più di conoscere il modello; quelli con approssimazione, in cui gli stati e le azioni saranno così tanti da dover essere ridotti a un numero più piccolo tramite tecniche di Programmazione in Python per il Deep Learning”.
Deep Learning Italia struttura le sue lezioni in maniera molto semplice: all’interno di ogni sezione ci sono video esplicativi, in cui il docente spiega la lezione, corredati da slides.
Il percorso di apprendimento solitamente è intervallato da test a risposta multipla che permettono di monitorare la comprensione degli argomenti di studio e si conclude con un test pratico finale nel quale verranno valutate le competenze acquisite durante il corso.
Chi ha una mente aperta e predisposta all’analisi: le lezioni sono adatte a chiunque ma è necessario avere passione per i numeri e i calcoli, oltre che tanta pazienza.
Chi lavora anche full time: se sei un lavoratore full time non ti preoccupare! Potrai seguire le lezioni in completa autonomia nel tuo tempo libero.
Chi vuole crescere professionalmente: Se vuoi elevare la tua carriera Deep Learning Italia ti da l’opportunità di poterlo fare a costi contenuti.
- Presentazione del mini degree Reinforcement Learning
- Cos’è il Reinforcement Learning
- State, Observability e Distribution Model
- Policy and Value
- Esercitazione: intro to GYM
- Esercitazione: mondo griglia
- MDP: Markov Decision Processes
- MDP: Exercises
- Catene di Markov
- Multi-armed bandit
- Return e Decisions
- State-Value Bellman Equation
- Cos’è¨ la dynamic programming?
- Dynamic Programming: Improvement
- Value Iteration: Prediction, Improvement and Control
- Convergence: Contraction Mapping Theorem
- Esercitazione: Dynamic Programming
- Esercitazione
Descrizione Docenti
Andrea Mercuri
Per circa dieci anni ha lavorato come sviluppatore in due società di consulenza romane. In seguito si è iscritto al corso di laurea in Fisica dell’università La Sapienza di Roma, conseguendo una laurea triennale e, successivamente, al corso di Laurea in Matematica per le Applicazioni, conseguendo una laurea magistrale col massimo dei voti. Dal 2015 si occupa di Machine Learning, Deep Learning con un focus particolare in applicazioni di Reinforcement Learning.
Maurizio Parton
Sono professore associato di matematica all’Università di Chieti-Pescara, dove insegno a Economia, nel corso di laurea in Economia e Informatica per le Imprese. Sono presidente della Federazione Italiana Gioco Go dal 2013.
Mi occupo di intelligenza artificiale dal 28 gennaio 2016, data in cui è apparso per la prima volta AlphaGo.
Da matematico ho potuto fin da subito apprezzare l’immensa potenzialità delle tecniche usate nello sviluppo di AlphaGo e ho cominciato a studiare approfonditamente reti neurali e apprendimento per rinforzo. Da allora ho tenuto corsi per matematici e molteplici conferenze divulgative. Sono profondamente convinto che l’intelligenza artificiale segnerà il nostro futuro, e per questo motivo mi dedico con passione alla disseminazione dei suoi principi fondamentali e tecniche di base.
-
Puoi seguire il corso dove e quando vuoi: Deep Learning, infatti, ti offre l’opportunità di accedere alla piattaforma in qualsiasi momento tu abbia voglia e possibilità di studiare. Basta semplicemente un dispositivo elettronico e una connessione internet!
Troverai sempre materiale nuovo e lezioni aggiornate: i nostri professori ti forniranno moltissimo materiale per supportare i tuoi studi e aggiorneranno periodicamente la piattaforma con nuove slides o con nuovi moduli;
Nei nostri corsi troverai sempre una componente interattiva per stimolare l‘apprendimento: giochi, quiz, podcast e tanto altro ti aiuteranno a migliorare e a rendere la tua formazione unica;
-
Non sarai mai solo! Avrai a disposizione la nostra community per metterti in contatto con altri studenti.
A fine percorso riceverai una certificazione che potrai aggiungere al tuo CV e che ti darà la possibilità di farti notare da grandi aziende del settore;
Se lo vorrai, Deep Learning Italia, ti potrà aiutare a trovare lavoro mettendoti in contatto con le nostre aziende partner.
-
Accesso al corso life long
