[av_textblock size=” font_color=” color=” av-medium-font-size=” av-small-font-size=” av-mini-font-size=” custom_class=” admin_preview_bg=”]

Che cos’è il Question Answering?

Autore: Calogero Zarbo

Che cos’è il Question Answering?

Il question answering è una particolare specificazione di un problema molto più grande: ossia la capacità di comprendere il linguaggio naturale. Quest’ultima rappresenta un’enorme sfida per tutti gli appassionati di AI e Machine Learning, principalmente perchè è molto complesso riuscire a formalizzare la semantica in una formula matematica.

La capacità di rappresentare pensieri, emozioni, sentimenti in un discorso organico, sotteso anche da sfumature di linguaggio che possono è molto complesso da formalizzare in modo universale, ma nonostante le difficoltà siamo riusciti a fare degli enormi passi avanti.

Lo stato dell’arte di oggi utilizza sistemi di question answering che vengono allenati con domande e risposte manualmente curate dagli collaboratori esterni. L’avvento dei transformers ha permesso di migliorare le performance nell’identificare il focus della query e trovare la migliore risposta possibile.

La limitazione, tuttavia, è che la risposta deve esistere nei testi che si vanno ad analizzare. 

Data la gamma di prodotti e servizi offerti da grandi imprese come le banche, il numero di documenti che devono essere forniti per garantire la copertura è immenso. Ciò comporta grosse spese di mantenimento poiché i prodotti, le condizioni e le normative cambiano costantemente e questa conoscenza deve essere propagata all’interno del sistema di question answering.

Reading Comprehension

La comprensione della lettura è un’attività dove l’intelligenza artificiale viene molto usata, che richiede un sistema di domande e risposte per elaborare una parte di testo, comprendere ed essere in grado di estrarre l’intervallo di testo che è la risposta alla query dell’utente.

Stanford Question Answering Dataset (SQuAD) è uno dei principali dataset pubblici che mette a disposizione degli sviluppatori un set di paragrafi con domande e risposte associate in modo da poter allenare gli algoritmi. (https://rajpurkar.github.io/SQuAD-explorer/).

Si suddivide in due challenges:

• SQuAD 1.1 test per la comprensione della lettura della macchina (MRC), creando un sistema in grado di leggere un documento e rispondere così come un essere umano.
• SQuAD 2.0 doveva “incoraggiare lo sviluppo di sistemi di comprensione della lettura che sanno ciò che non sanno”.

Hugging Face

Nel nostro corso NLP-HandsOn 1 investigheremo assieme questi sistemi di question answering, impareremo a costruirne di nostri, e cercheremo di capire le problematiche dietro ai diversi algoritmi che applicheremo.

Per fare tutto ciò useremo in modo molto pervasivo la libreria Transformers, conosciuta come Hugging Face, la quale è in grado di fornire:

• Datasets
• Algoritmi pre-trained
• Interfacce python già pronte in modo da poter lasciare a noi solo l’arduo compito di creare una user experience degna

Se sei interessato a saperne di più visita il nostro e-learning:

https://elearning.academy-dli.com/p/nlp-hands-on-1

[/av_textblock]