Che cos’è il Question Answering? p
Question answering: definizione
Il question answering è una particolare specificazione di un problema molto più grande: ossia la capacità di comprendere il linguaggio naturale. Quest’ultima rappresenta un’enorme sfida per tutti gli appassionati di AI e Machine Learning, principalmente perché è molto complesso riuscire a formalizzare la semantica in una formula matematica.
La capacità di rappresentare pensieri, emozioni, sentimenti in un discorso organico, sotteso anche da sfumature di linguaggio che possono è molto complesso da formalizzare in modo universale, ma nonostante le difficoltà siamo riusciti a fare degli enormi passi avanti.
Lo stato dell’arte di oggi utilizza sistemi di question answering che vengono allenati con domande e risposte manualmente curate dai collaboratori esterni. L’avvento dei transformers ha permesso di migliorare le performance nell’identificare il focus della query e trovare la migliore risposta possibile.
La limitazione, tuttavia, è che la risposta deve esistere nei testi che si vanno ad analizzare.
Data la gamma di prodotti e servizi offerti da grandi imprese come le banche, il numero di documenti che devono essere forniti per garantire la copertura è immenso. Ciò comporta grosse spese di mantenimento poiché i prodotti, le condizioni e le normative cambiano costantemente e questa conoscenza deve essere propagata all’interno del sistema di question answering.
Reading Comprehension
La comprensione della lettura è un’attività dove l’intelligenza artificiale viene molto usata, che richiede un sistema di domande e risposte per elaborare una parte di testo, comprendere ed essere in grado di estrarre l’intervallo di testo che è la risposta alla query dell’utente.
Stanford Question Answering Dataset (SQuAD) è uno dei principali dataset pubblici che mette a disposizione degli sviluppatori un set di paragrafi con domande e risposte associate in modo da poter allenare gli algoritmi.
Si suddivide in due challenges:
- SQuAD 1.1 test per la comprensione della lettura della macchina (MRC), creando un sistema in grado di leggere un documento e rispondere così come un essere umano.
- SQuAD 2.0 doveva “incoraggiare lo sviluppo di sistemi di comprensione della lettura che sanno ciò che non sanno”.
Hugging Face
Nel nostro corso NLP-HandsOn 1 investigheremo assieme questi sistemi di question answering, impareremo a costruirne di nostri, e cercheremo di capire le problematiche dietro ai diversi algoritmi che applicheremo.
Per fare tutto ciò useremo in modo molto pervasivo la libreria Transformers, conosciuta come Hugging Face, la quale è in grado di fornire:
- Datasets
- Algoritmi pre-trained
- Interfacce python già pronte in modo da poter lasciare a noi solo l’arduo compito di creare una vera user experience
Share:
