Natural Language Processing Hands-on (3)

Capire i transformers networks per un uso pratico e le risorse necessarie per addestrarli

Capire i transformers networks per un uso pratico e le risorse necessarie per addestrarli

Panoramica

Nel corso NLP Hands-On 3 impareremo a capire i Transformers Networks per un uso pratico e con un occhio di riguardo alle risorse necessarie per addestrarli.
Il corso è stato pensato per incoraggiare lo studente ad essere molto critico nei confronti delle tecnologie che si decidono di utilizzare ed al contempo fornirgli degli strumenti di decision making all’interno dei propri progetti.

Cosa Imparerai nel corso?

Nella prima parte ci avvicineremo ad applicazioni approfondendo il concetto di Transformer for Longer Sequences.

La fase successiva sarà quella di capire se è sempre necessario allenare completamente un transformer sulla nostra task e quanto beneficio ci porta l’allocazione di tutte le risorse necessarie.

Una volta terminata questa prima parte del corso ci concentreremo nell’analizzare che cosa impara un transformer e quali giovamenti ne possiamo trarre: creeremo una knowledge base in modo non supervisionato grazie solamente alla capacità del language model di imparare pattern semantici in modo autonomo grazie ad una grossa fonte di dati in input.

Nell’ultima parte del corso ci dedicheremo allo studio della Summarization: investigheremo una serie di modelli e ne calcoliamo le performance sul dataset TLDR.

Nella prima parte ci avvicineremo ad applicazioni approfondendo il concetto di Transformer for Longer Sequences.

La fase successiva sarà quella di capire se è sempre necessario allenare completamente un transformer sulla nostra task e quanto beneficio ci porta l’allocazione di tutte le risorse necessarie.

Nell’ultima parte del corso ci dedicheremo allo studio della Summarization: investigheremo una serie di modelli e ne calcoliamo le performance sul dataset TLDR.

Struttura delle lezioni

Deep Learning Italia struttura le sue lezioni in maniera molto semplice: all’interno di ogni sezione ci sono video esplicativi, in cui il docente spiega la lezione, corredati da slides.

Il percorso di apprendimento solitamente è intervallato da test a risposta multiplache permettono di monitorare la comprensione degli argomenti di studio e si conclude con un test pratico finalenel quale verranno valutate le competenze acquisite durante il corso.

Deep Learning Italia struttura le sue lezioni in maniera molto semplice: all’interno di ogni sezione ci sono video esplicativi, in cui il docente spiega la lezione, corredati da slides.

Chi può seguire il corso?

Chi ha una mente aperta e predisposta all’analisi: le lezioni sono adatte a chiunque ma è necessario avere passione per i numeri e i calcoli, oltre che tanta pazienza.

Chi lavora anche full time: se sei un lavoratore full time non ti preoccupare! Potrai seguire le lezioni in completa autonomia nel tuo tempo libero.

Chi vuole crescere professionalmente: Se vuoi elevare la tua carriera Deep Learning Italia ti da l’opportunità di poterlo fare a costi contenuti.

Chi ha una mente aperta e predisposta all’analisi: le lezioni sono adatte a chiunque ma è necessario avere passione per i numeri e i calcoli, oltre che tanta pazienza.

Chi lavora anche full time: se sei un lavoratore full time non ti preoccupare! Potrai seguire le lezioni in completa autonomia nel tuo tempo libero.

Chi vuole crescere professionalmente: Se vuoi elevare la tua carriera Deep Learning Italia ti da l’opportunità di poterlo fare a costi contenuti.

Programma

Introduzione

Introduzione ai Reformer (30:56)
Reformer Hands-on code (30:16)
Neural Machine Translation con Reformer (10:30)
Sinkhorn Optimization Strategy (24:48)
Neural Machine Translation con Sinkhorn (Hands-On Code) (31:16)
La teoria BigBird (34:35)
BigBird Hands-On Code (13:38)
Universal Computational Engines (58:34)
Knowledge Graphs e Language Models (20:33)
Summarization con Human Feedbacks (20:34)
Summarization code e model comparison (20:34)
Final Project (4:27)

Introduzione

Introduzione ai Reformer (30:56)
Reformer Hands-on code (30:16)
Neural Machine Translation con Reformer (10:30)
Sinkhorn Optimization Strategy (24:48)
Neural Machine Translation con Sinkhorn (Hands-On Code) (31:16)
La teoria BigBird (34:35)
BigBird Hands-On Code (13:38)
Universal Computational Engines (58:34)
Knowledge Graphs e Language Models (20:33)
Summarization con Human Feedbacks (20:34)
Summarization code e model comparison (20:34)
Final Project (4:27)

Docenti

Descrizione Docenti

Calogero Zarbo, come appassionato di tecnologie all’avanguardia, ha lavorato al Quantum Computing, portando questo argomento all’attenzione degli Stati Uniti e della FDA presso NCTR Lab. Come hobby personale, lavora su una serie di applicazioni di deep learning utilizzando anche tecnologie blockchain come BigChainDB. Al momento, lavora in Docebo JSC e ha co-fondato la società Algoritmica.ai, il cui prodotto si basa sull’analisi predittiva del rischio dei portafogli di prestiti utilizzando il Deep Learning applicato al più grande database europeo

Vantaggi

Puoi seguire il corso dove e quando vuoi: Deep Learning, infatti, ti offre l’opportunità di accedere alla piattaforma in qualsiasi momento tu abbia voglia e possibilità di studiare. Basta semplicemente un dispositivo elettronico e una connessione internet!
Troverai sempre materiale nuovo e lezioni aggiornate: i nostri professori ti forniranno moltissimo materiale per supportare i tuoi studi e aggiorneranno periodicamente la piattaforma con nuove slides o con nuovi moduli;
Nei nostri corsi troverai sempre una componente interattiva per stimolare l‘apprendimento: giochi, quiz, podcast e tanto altro ti aiuteranno a migliorare e a rendere la tua formazione unica;
Non sarai mai solo! Avrai a disposizione la nostra community per metterti in contatto con altri studenti.
A fine percorso riceverai una certificazione che potrai aggiungere al tuo CV e che ti darà la possibilità di farti notare da grandi aziende del settore;
Se lo vorrai, Deep Learning Italia, ti potrà aiutare a trovare lavoro mettendoti in contatto con le nostre aziende partner.

Puoi seguire il corso dove e quando vuoi: Deep Learning, infatti, ti offre l’opportunità di accedere alla piattaforma in qualsiasi momento tu abbia voglia e possibilità di studiare. Basta semplicemente un dispositivo elettronico e una connessione internet!
Troverai sempre materiale nuovo e lezioni aggiornate: i nostri professori ti forniranno moltissimo materiale per supportare i tuoi studi e aggiorneranno periodicamente la piattaforma con nuove slides o con nuovi moduli;
Nei nostri corsi troverai sempre una componente interattiva per stimolare l‘apprendimento: giochi, quiz, podcast e tanto altro ti aiuteranno a migliorare e a rendere la tua formazione unica;
Non sarai mai solo! Avrai a disposizione la nostra community per metterti in contatto con altri studenti.
A fine percorso riceverai una certificazione che potrai aggiungere al tuo CV e che ti darà la possibilità di farti notare da grandi aziende del settore;
Se lo vorrai, Deep Learning Italia, ti potrà aiutare a trovare lavoro mettendoti in contatto con le nostre aziende partner.