Che cos’è il Question Answering?

Question answering: definizione

 

Il question answering è una particolare specificazione di un problema molto più grande: ossia la capacità di comprendere il linguaggio naturale. Quest’ultima rappresenta un’enorme sfida per tutti gli appassionati di AI e Machine Learning, principalmente perché è molto complesso riuscire a formalizzare la semantica in una formula matematica.

 

La capacità di rappresentare pensieri, emozioni, sentimenti in un discorso organico, sotteso anche da sfumature di linguaggio che possono è molto complesso da formalizzare in modo universale, ma nonostante le difficoltà siamo riusciti a fare degli enormi passi avanti.

 

Lo stato dell’arte di oggi utilizza sistemi di question answering che vengono allenati con domande e risposte manualmente curate dai collaboratori esterni. L’avvento dei transformers ha permesso di migliorare le performance nell’identificare il focus della query e trovare la migliore risposta possibile.

 

La limitazione, tuttavia, è che la risposta deve esistere nei testi che si vanno ad analizzare. 

 

Data la gamma di prodotti e servizi offerti da grandi imprese come le banche, il numero di documenti che devono essere forniti per garantire la copertura è immenso. Ciò comporta grosse spese di mantenimento poiché i prodotti, le condizioni e le normative cambiano costantemente e questa conoscenza deve essere propagata all’interno del sistema di question answering.

 

Reading Comprehension

 

La comprensione della lettura è un’attività dove l’intelligenza artificiale viene molto usata, che richiede un sistema di domande e risposte per elaborare una parte di testo, comprendere ed essere in grado di estrarre l’intervallo di testo che è la risposta alla query dell’utente.

 

Stanford Question Answering Dataset (SQuAD) è uno dei principali dataset pubblici che mette a disposizione degli sviluppatori un set di paragrafi con domande e risposte associate in modo da poter allenare gli algoritmi.

 

Si suddivide in due challenges:

  • SQuAD 1.1 test per la comprensione della lettura della macchina (MRC), creando un sistema in grado di leggere un documento e rispondere così come un essere umano.
  • SQuAD 2.0 doveva “incoraggiare lo sviluppo di sistemi di comprensione della lettura che sanno ciò che non sanno”.

 

Hugging Face

 

Nel nostro corso NLP-HandsOn 1 investigheremo assieme questi sistemi di question answering, impareremo a costruirne di nostri, e cercheremo di capire le problematiche dietro ai diversi algoritmi che applicheremo.

Per fare tutto ciò useremo in modo molto pervasivo la libreria Transformers, conosciuta come Hugging Face, la quale è in grado di fornire:

  • Datasets
  • Algoritmi pre-trained
  • Interfacce python già pronte in modo da poter lasciare a noi solo l’arduo compito di creare una vera user experience

Share:

Contenuti

Leggi anche

Tutorials correlati

Che cos’è il Question Answering?

Question answering: definizione   Il question answering è una particolare specificazione di un problema molto più grande: ossia la capacità di comprendere il linguaggio naturale.

Che cos’è un motore di ricerca?

La complessità  Sembra una domanda banale ma sottende molte complicazioni tecniche. Il problema principale è sempre la formalizzazione della semantica, molto difficile da poter rappresentare

Transfomers: Come si usano?

C’era una volta il Seq2Seq Il paper “Attention is all you need” è stato l’inizio di tutto quello che attualmente si utilizza per modellare linguaggio

Machine Learning Explanations: LIME

Le tecniche di spiegazione per algoritmi di Machine Learning si dividono in 4 grandi categorie, in base alla combinazione di due importanti caratteristiche:   Local