Che cos’è il Question Answering? p

Question answering: definizione

Il question answering è una particolare specificazione di un problema molto più grande: ossia la capacità di comprendere il linguaggio naturale. Quest’ultima rappresenta un’enorme sfida per tutti gli appassionati di AI e Machine Learning, principalmente perché è molto complesso riuscire a formalizzare la semantica in una formula matematica.

La capacità di rappresentare pensieri, emozioni, sentimenti in un discorso organico, sotteso anche da sfumature di linguaggio che possono è molto complesso da formalizzare in modo universale, ma nonostante le difficoltà siamo riusciti a fare degli enormi passi avanti.

Lo stato dell’arte di oggi utilizza sistemi di question answering che vengono allenati con domande e risposte manualmente curate dai collaboratori esterni. L’avvento dei transformers ha permesso di migliorare le performance nell’identificare il focus della query e trovare la migliore risposta possibile.

La limitazione, tuttavia, è che la risposta deve esistere nei testi che si vanno ad analizzare. 

Data la gamma di prodotti e servizi offerti da grandi imprese come le banche, il numero di documenti che devono essere forniti per garantire la copertura è immenso. Ciò comporta grosse spese di mantenimento poiché i prodotti, le condizioni e le normative cambiano costantemente e questa conoscenza deve essere propagata all’interno del sistema di question answering.

Reading Comprehension

La comprensione della lettura è un’attività dove l’intelligenza artificiale viene molto usata, che richiede un sistema di domande e risposte per elaborare una parte di testo, comprendere ed essere in grado di estrarre l’intervallo di testo che è la risposta alla query dell’utente.

 

Stanford Question Answering Dataset (SQuAD) è uno dei principali dataset pubblici che mette a disposizione degli sviluppatori un set di paragrafi con domande e risposte associate in modo da poter allenare gli algoritmi.

 

Si suddivide in due challenges:

  • SQuAD 1.1 test per la comprensione della lettura della macchina (MRC), creando un sistema in grado di leggere un documento e rispondere così come un essere umano.
  • SQuAD 2.0 doveva “incoraggiare lo sviluppo di sistemi di comprensione della lettura che sanno ciò che non sanno”.

Hugging Face

Nel nostro corso NLP-HandsOn 1 investigheremo assieme questi sistemi di question answering, impareremo a costruirne di nostri, e cercheremo di capire le problematiche dietro ai diversi algoritmi che applicheremo.

Per fare tutto ciò useremo in modo molto pervasivo la libreria Transformers, conosciuta come Hugging Face, la quale è in grado di fornire:

  • Datasets
  • Algoritmi pre-trained
  • Interfacce python già pronte in modo da poter lasciare a noi solo l’arduo compito di creare una vera user experience

Share:

Contenuti
Leggi anche

Ultimi Tutorials

Scroll to Top
Si informa che il giorno 𝐯𝐞𝐧𝐞𝐫𝐝𝐢̀ 𝟑 𝐟𝐞𝐛𝐛𝐫𝐚𝐢𝐨 il sito sarà fermo dalle ore 9.00 alle ore 18.00 per manutenzione straordinaria.