Natural Language Processing Hands-on (3)

Nel corso NLP Hands-On 3 impareremo a capire i transformers networks per un uso pratico e con un occhio di riguardo alle risorse necessarie per addestrarli. Nella prima parte ci avvicineremo ad applicazioni approfondendo il concetto di transformer for longer sequences, in modo da poter capire quali sono i punti deboli di questa classe di modelli e come la comunità scientifica si è mossa per potervi porre rimedio. In particolare andremo ad indagare applicazioni che richiedono un contesto importante e che difficilmente possono essere spezzate in sub tasks. Il passaggio successivo sarà quello di capire se veramente è sempre necessario allenare completamente un transformer sulla nostra task, e quanto beneficio ci porta l’allocazione di tutte le risorse necessarie. Una volta terminata questa prima parte del corso ci concentreremo nell’analizzare che cosa effettivamente impara un transformer e quali giovamenti ne possiamo trarre, infatti impareremo a creare una knowledge base in modo non supervisionato grazie solamente alla capacità del language model di imparare pattern semantici in modo autonomo grazie ad una grossa fonte di dati in input. Nell’ultima parte del corse ci dedicheremo allo studio di una particolare task, molto importante nelle pipeline di NLP, ossia la Summarization. Investigheremo una serie di modelli e ne calcoliamo le performance sul dataset TLDR. Il tutto è stato pensato per incoraggiare lo studente ad essere molto critico nei confronti delle tecnologie che si decidono di utilizzare ed al contempo fornirgli degli strumenti di decision making all’interno dei propri progetti.