Classificazione di documenti multipagina mediante apprendimento automatico e NLP

Una volta generati i dati nel formato sopra descritto, il passo successivo è la loro trasformazione. Nella fase di trasformazione, i dati vengono convertiti/manipolati nel formato essenziale per l’addestramento di un modello di apprendimento automatico. Di seguito sono riportate le trasformazioni applicate al set di dati.

Fase 1 – Generazione delle classi ML

– Il primo passo della trasformazione consiste nel generare le classi prima pagina, ultima pagina e altre pagine. A tal fine, vengono utilizzati i valori delle colonne Page Number e IsLastPage. Di seguito è riportata una rappresentazione condizionale della logica utilizzata.

– Inoltre, la tabella sottostante rappresenta le colonne. Si noti la colonna gialla in cui 6853 rappresenta la classe della prima pagina, 6853-ultima rappresenta la classe dell’ultima pagina, mentre le pagine intermedie sono considerate come classe Altro.

Fase 2 – Suddivisione dei dati per l’addestramento e il test della pipeline

– Una volta completata la fase 1, da quel momento in poi abbiamo bisogno solo di due colonne “Page Text” e “ML Class” per creare la pipeline di addestramento. Le altre colonne sono utilizzate per le valutazioni di test.

– Il passo successivo consiste nel suddividere i dati per l’addestramento e il test della pipeline. I dati vengono suddivisi in modo che l’80% venga utilizzato per l’addestramento e il 20% per il test. I dati vengono anche mescolati in modo casuale, ma in modo stratificato per ogni classe. Per ulteriori informazioni, fare clic sul link.

Fase 3 – Pulizia e trasformazione dei dati

– La colonna “Page Text”, che contiene il testo OCR di ogni pagina, viene ripulita; questo processo viene applicato sia al training che al test. I processi eseguiti sono i seguenti.

1. Correzione dei casi: Tutto il testo viene convertito in maiuscolo o minuscolo.
2. Regex per i caratteri non alfanumerici: Tutti i caratteri non alfanumerici vengono eliminati.
3. Tokenizzazione delle parole: Tutte le parole vengono tokenizzate, il che significa che la stringa di testo di una pagina diventa un elenco di parole.
4. Rimozione delle stopwords: Le stopword sono parole troppo comuni nella lingua inglese e potrebbero non essere utili per classificare i singoli documenti. Ad esempio, parole come “the”, “is”, “a”. Queste parole possono anche essere specifiche per il dominio.

Le tabelle seguenti mostrano le trasformazioni prima e dopo

Pipeline di addestramento

Nella precedente sezione sul motore di apprendimento automatico, abbiamo discusso astrattamente il funzionamento interno del motore di apprendimento automatico. I due componenti principali sono.

1. Vettorizzatore di testo: Nel nostro caso, abbiamo utilizzato Doc2Vec.
2. Modello di classificazione: Per la classificazione viene utilizzato il Regressore logistico.

Vettorizzatore di testo (Doc2Vec)

Fin dall’inizio dell’elaborazione del linguaggio naturale (NLP), è nata l’esigenza di trasformare il testo in qualcosa di comprensibile per le macchine. Ciò significa trasformare le informazioni testuali in una rappresentazione significativa, solitamente nota come vettori (o array) di numeri. La comunità dei ricercatori ha sviluppato diversi metodi per svolgere questo compito. Nella nostra ricerca e sviluppo abbiamo provato diverse tecniche e abbiamo scoperto che Doc2Vec è la migliore tra tutte.

Doc2Vec si basa sul modello Word2Vec. Il modello Word2Vec è un modello di spazio vettoriale predittivo. Per capire Word2Vec, iniziamo con i modelli spaziali vettoriali.

Modelli spaziali vettoriali (VSM): Inseriscono le parole in uno spazio vettoriale continuo in cui le parole semanticamente simili sono mappate in punti vicini.

Due approcci per i VSM:

1. Metodi basati sul conteggio: Calcolano le statistiche sulla frequenza di co-occorrenza di una parola con le parole vicine in un corpus di testi di grandi dimensioni, quindi mappano queste statistiche di conteggio in un vettore piccolo e denso per ogni parola (ad esempio, TFIDF).
2. Metodi predittivi: Prevedono una parola dai suoi vicini in termini di vettori di incorporamento piccoli e densi appresi (ad esempio, Skip-Gram, CBOW). Word2Vec e Doc2Vec appartengono a questa categoria di modelli.

Modello Word2Vec

È un modello predittivo efficiente dal punto di vista computazionale per l’apprendimento dell’incorporazione delle parole dal testo grezzo. Word2Vec può essere creato utilizzando i due modelli seguenti:

1. Skip-Gram: Crea una finestra scorrevole intorno alla parola corrente (parola target). Quindi utilizza la parola corrente per predire tutte le parole circostanti (le parole di contesto). (ad esempio, predice “il gatto si siede sul” da “tappetino”).
2. Borsa di parole continua (CBOW): Crea una finestra scorrevole intorno alla parola corrente (parola target). Quindi predice la parola corrente dalle parole circostanti (le parole di contesto). (ad esempio, predice “tappetino” da “il gatto si siede sul”).

Per maggiori dettagli, leggete questo articolo che ne spiega in dettaglio diversi aspetti.

Inoltre, se volete saperne di più sul Natural Language Processing potete iscrivervi ad uno o più dei nostri corsi dedicati che trovate sul sito. Vi lasciamo il link al pacchetto completo

Modello Doc2Vec

Questa tecnica di vettorizzazione del testo è stata introdotta nell’articolo di ricerca scientifica Distributed Representations of Sentences and Documents. Inoltre, ulteriori dettagli tecnici sono disponibili qui.

Si tratta di un algoritmo non supervisionato che apprende una rappresentazione vettoriale di caratteristiche di lunghezza fissa da parti di testo di lunghezza variabile. Questi vettori possono poi essere utilizzati in qualsiasi classificatore di apprendimento automatico per prevedere l’etichetta delle classi.

È simile al modello Word2Vec, ma utilizza tutte le parole di ogni file di testo per creare una colonna unica in una matrice (chiamata Matrice dei paragrafi). Quindi viene addestrato un NN a singolo strato, come quello visto nel modello Skip-Gram, dove i dati di input sono tutte le parole circostanti la parola corrente insieme alla colonna del paragrafo corrente per prevedere la parola corrente. Il resto è uguale ai modelli Skip-Gram o CBOW.

I vantaggi del modello Doc2Vec:

– Per quanto riguarda l’analisi del sentiment, Doc2Vec raggiunge nuovi risultati all’avanguardia, migliori rispetto ai metodi complessi, con un miglioramento relativo di oltre il 16% in termini di tasso di errore.

– Per quanto riguarda la classificazione dei testi, Doc2Vec batte in modo convincente i modelli bag-of-words, con un miglioramento relativo di circa il 30%.

Modello di classificatore (regressore logistico)

Una volta che il testo è stato convertito in un formato vettoriale, è pronto per un classificatore di apprendimento automatico per imparare i modelli presenti nei vettori di diversi tipi di documenti e identificare le distinzioni corrette. Poiché esistono molte tecniche di classificazione che possono essere utilizzate, abbiamo provato le migliori e abbiamo valutato i loro risultati: Random Forest, SVM, Multi-Layer Perceptron e Logistic Regressor. Per ogni classificatore sono stati provati diversi parametri per ottenere i risultati ottimali. Il Logistic Regressor è risultato il migliore tra tutti questi modelli.

Procedura di addestramento

– Una volta trasformati i dati. In primo luogo, si addestra il modello Doc2Vec sullo split di addestramento (come discusso nella sezione sulla trasformazione dei dati). –

– Dopo l’addestramento del modello Doc2Vec, i dati di addestramento vengono passati di nuovo attraverso di esso, ma questa volta il modello non viene addestrato, bensì vengono dedotti i vettori per i campioni di addestramento. L’ultimo passo consiste nel passare questi vettori e l’etichetta di classe ML attuale al modello di classificazione (Regressore logistico).

– Una volta che i modelli sono stati addestrati sui dati di addestramento, entrambi i modelli vengono salvati sul disco, in modo che possano essere caricati in memoria per essere utilizzati nei test e nella distribuzione finale in produzione. Il diagramma seguente mostra il flusso di base di questo schema collaborativo.

 

Pipeline di test e valutazione

Una volta addestrata la pipeline (che comprende sia il modello Doc2Vec che il classificatore), il seguente diagramma di flusso mostra come viene utilizzata per prevedere le classi di documenti per la suddivisione dei dati di test.

I dati di test trasformati vengono passati attraverso il modello Doc2Vec addestrato, dove vengono estratte e dedotte le rappresentazioni vettoriali di tutte le pagine presenti nei dati di test. Questi vettori vengono poi classificati attraverso il classificatore che restituisce la classe prevista e il punteggio di confidenza per tutte le classi ML.

Per la valutazione dettagliata del Machine Learning Engine, generiamo un file excel dai risultati. La tabella seguente mostra le colonne e le informazioni generate nella fase di test.

Page Text, File Name, Page Number: sono le stesse colonne che avevamo nella fase di preparazione dei dati, prese così come sono dal dataset di partenza.

ground, pred : ground mostra la classe ML effettiva di quella pagina, mentre pred mostra la classe ML prevista dal motore ML.

Colonne delle classi addestrate: Le colonne di questa sezione rappresentano le classi ML su cui il modello è stato addestrato e i punteggi di confidenza per tali classi.

MaxProb, Range: MaxProb mostra il massimo punteggio di confidenza raggiunto da una qualsiasi delle colonne della sezione Classi addestrate. Il testo colorato in rosso, Range indica l’intervallo in cui rientra MaxProb.

Attualmente esistono tre livelli di valutazione dei risultati.

1. Metrica di valutazione dell’errore cumulativo
2. Matrice di confusione
3. Analisi dei punteggi di confidenza a livello di classe

Metrica di valutazione dell’errore cumulativo

Questa valutazione calcola due metriche, Accuracy e F1-Score. Per maggiori dettagli, consultare questo blog. Queste ci forniscono una visione astratta della bontà della pipeline. I punteggi possono essere compresi tra (1-100), dove un numero più alto rappresenta la bontà della pipeline nel classificare i documenti. Nei nostri esperimenti, abbiamo ottenuto i seguenti punteggi di accuratezza e f1-score.

Matrice di confusione

La matrice di confusione è una tabella spesso utilizzata per descrivere le prestazioni di un modello di classificazione (o “classificatore”) su un insieme di dati di prova per i quali sono noti i valori veri.

In sostanza, rende più facile la comprensione:

– Quali classi non funzionano bene?

– Qual è il punteggio di accuratezza di una singola classe?

– Quali classi si confondono tra loro?

Il grafico seguente rappresenta la matrice di confusione che abbiamo generato dopo i nostri test. Si tratta di un link incorporato, quindi cliccate per visualizzare la matrice di confusione.

Grafico della matrice di confusione

I valori sull’asse X (etichette vere) e sull’asse Y (etichette previste) rappresentano le classi di documenti su cui ci siamo addestrati. I numeri all’interno delle celle indicano la percentuale del dataset di test appartenente alla classe a sinistra e in basso.

I valori sulla diagonale rappresentano la percentuale di dati in cui le classi previste sono corrette. Una percentuale più alta è migliore, cioè se 0,99 significa che il 99% dei dati di test per quella particolare classe è stato predetto correttamente. Tutte le altre celle mostrano previsioni errate e la percentuale indica quanto una certa classe è stata confusa da un’altra classe.

Come si può notare, il modello è in grado di classificare correttamente la maggior parte delle classi ML con un’accuratezza superiore al 90%.

Analisi dei punteggi di confidenza a livello di classe

Sebbene la matrice di confusione fornisca dettagli sulle confusioni delle classi, non rappresenta i punteggi di confidenza delle previsioni. Che in altre parole significa

– “Quanto è fiducioso il modello quando fa una previsione su una classe di documenti?”.

Qual è l’esigenza?

In una situazione ideale, il modello dovrebbe avere un’alta fiducia quando prevede una classe ML corretta e una bassa fiducia quando prevede una classe ML sbagliata. Ma questo non è un comportamento rigoroso e dipende da molti fattori, come le prestazioni di una particolare classe, le effettive somiglianze di dominio tra le classi di documenti, ecc. Per valutare se questo comportamento esiste e se i punteggi di confidenza possono essere un’indicazione utile di una vera previsione, abbiamo ideato un ulteriore approccio di valutazione.

Approccio

Poiché il compito è quello di ridurre il lavoro manuale, si è deciso di scegliere solo le predizioni con un’alta confidenza, in modo da evitare predizioni errate (perché non hanno un’alta confidenza). Il resto dei documenti e delle pagine sarà verificato manualmente dal BPO.

Soglia

In questa fase vengono calcolati i punteggi di confidenza delle classi e viene definita la soglia. La soglia è una percentuale, ad esempio 80%, 75%, che viene decisa in base alle seguenti condizioni.

– Qual è il valore del punteggio di confidenza in cui le previsioni errate sono in numero irrilevante e quelle vere sono in numero maggiore. In altre parole, si tratta di trovare il punto di equilibrio.

Il grafico seguente mostra i veri positivi (linea blu) e i falsi positivi (linea rossa).

L’asse X mostra le classi ML, mentre l’asse Y mostra la percentuale dei dati di test per una particolare classe, che è coperta da veri positivi o falsi positivi.

Ad esempio: nel caso della classe ML 1330, le predizioni vere coprono quasi il 70% dell’intero set di dati di test per quella classe. Ciò significa che il motore ML è stato in grado di prevedere correttamente il 70% dei dati, con un punteggio di confidenza superiore al 90%. Inoltre, i falsi positivi coprono solo l’1% del set di dati di test, il che significa che solo l’1% dei dati di test è stato previsto in modo errato con un punteggio di confidenza superiore al 90%.

Tuttavia, a causa della soglia, a volte perdiamo dei veri positivi (quando il punteggio di confidenza è inferiore alla soglia). Ma questo non è così grave come i falsi positivi con un’alta confidenza. Tali pagine/documenti saranno verificati manualmente.

Il grafico precedente è stato realizzato con una soglia (90% e oltre). Nel grafico seguente, la soglia è (80% e oltre). Si noti che anche se la soglia viene abbassata all’80% i falsi positivi non aumentano, mentre i veri positivi aumentano in modo significativo. Ciò significa che tra le soglie del 90% e dell’80%, l’80% è ottimale.

Durante l’analisi vengono controllati tutti i livelli: 50%, 60%, 70%. La soglia ottimale viene scelta in base a questa metrica di valutazione.

Caratteristiche della soluzione

– Previsioni veloci | Il tempo di classificazione di una pagina è inferiore a (~300 ms). Se includiamo il tempo di OCR, una pagina può essere classificata ben al di sotto di 1 secondo. Inoltre, se si adotta la multielaborazione,

– L’attuale pipeline di soluzioni è in grado di identificare e classificare i documenti con un’elevata accuratezza e fiducia. Nella maggior parte delle classi otteniamo un’accuratezza superiore al 95%.

– Requisiti dei dati etichettati | Nei nostri esperimenti abbiamo osservato che la pipeline può funzionare bene con un massimo di 300 campioni per classe di documenti. (Come nell’esperimento di cui abbiamo parlato in questo blog). Ma questo dipende dalle variazioni e dal tipo di classe di documenti. Inoltre, vediamo che l’accuratezza e i punteggi di confidenza aumentano con un numero maggiore di campioni.

– Soglia del punteggio di confidenza | La pipeline fornisce punteggi di confidenza della predizione, che consentono un approccio di messa a punto e permettono di regolare tra i veri positivi e i falsi positivi.

– Multiprocessing | L’implementazione di Doc2Vec consente il multiprocessing, inoltre i nostri script di trasformazione dei dati sono altamente parallelizzati.