Reti neurali a grafo: una breve analisi
Cosa sono i grafici?
I grafici sono strutture di dati che rappresentano un insieme di oggetti a cui sono collegate altre coppie di oggetti. Gli oggetti da collegare sono rappresentati da punti chiamati vertici / nodi e le connessioni tra loro sono chiamate bordi.
I grafici sono definiti come: G = (V, E), dove V è l’insieme dei vertici ed E è l’insieme degli spigoli.
I grafici possono essere utilizzati per rappresentare una vasta gamma di set di dati del mondo reale, inclusi social network, strutture cellulari, mappe geografiche e così via. I grafici possono anche essere utilizzati per modellare dati casuali come foto e testo. La teoria dei grafi esiste perché abbiamo bisogno di un meccanismo per esprimere le relazioni tra gli oggetti computazionalmente e matematicamente. Gli utenti di un sito di social media, i vicini di un quartiere, gli indirizzi o i luoghi su una mappa, i pixel in un’immagine o i neuroni nel nostro cervello sono tutti esempi di questi oggetti. Il fondamento della teoria dei grafi, in particolare per quanto riguarda l’apprendimento automatico, è che la maggior parte dei nostri dati può essere meglio compresa quando possiamo rappresentare le sue relazioni. Pertanto, i grafici vengono utilizzati per integrare queste relazioni in modo da poter lavorare con l’intero set di dati.
Cosa sono i GGN?
Le reti neurali convoluzionali (CNN) non possono risolvere i problemi relativi ai grafi perché i dati grafici sono estremamente complicati e pongono molteplici problemi per le CNN. Graph Neural Network (GNN) è un approccio di deep learning relativamente moderno che rientra nel dominio delle reti neurali che si concentra sull’elaborazione dei dati sui grafici per rendere comprensibili i dati grafici complicati. Questi algoritmi cercano informazioni in grafici e prevedono i risultati in base alle informazioni acquisite. L’applicazione fondamentale è la classificazione dei nodi, in cui ogni nodo v è naturalmente caratterizzato dalle sue caratteristiche e dai nodi collegati x ed è associato a un’etichetta di verità di base tv. Dato un grafico G parzialmente etichettato, l’obiettivo di un GNN è quello di imparare uno stato che incorpora hv ∈ Rs che comprende informazioni sui vicini di ciascun nodo e su se stesso. Lo stato di incorporamento hv è un vettore s-dimensionale del nodo v che può essere utilizzato per generare un output ov come etichetta prevista per il nodo v.
dove:
xv è il vettore di funzionalità per il nodo v.
xco[v] è un vettore di funzionalità per i bordi del nodo v.
hNv denota l’incorporamento dei nodi vicini di v.
xNv denota le caratteristiche dei nodi vicini di v.
La funzione f è una funzione parametrica chiamata funzione di transizione locale. È condiviso da tutti i nodi e aggiorna lo stato del nodo in base al vicinato di input. La funzione g è la funzione di output locale che calcola l’output GNN passando lo stato h v e la caratteristica xv alla funzione g. Entrambe le funzioni f e g possono essere viste come reti neurali feed-forward.
Sia H, O, X e XN le matrici formate impilando rispettivamente tutti gli incorporamenti, gli output, le feature e le feature dei nodi. Quindi otteniamo una forma compatta come segue:
dove F, la funzione di transizione globale, e G, la funzione di output globale, sono rappresentazioni impilate di f e g per ogni nodo in un grafico. Il punto fisso di Eq H = F(H,X) è il valore di H, che è determinato in modo univoco nell’ipotesi che F sia una mappa di contrazione. GNN calcola lo stato usando la tecnica iterativa standard suggerita dal teorema del punto fisso di Banach:
dove H^t rappresenta la t-esima iterazione di H. Per ogni valore iniziale, il sistema dinamico Eq. H^(t+1) = F(H^t, X) converge esponenzialmente rapidamente verso la soluzione.
Applicazioni dei GGN
- Migliorare le previsioni sui tempi di viaggio
Molte persone utilizzano strumenti come Google Maps per conoscere le stime del tempo per i prossimi viaggi, se sono sulla strada per prendere un volo, alla ricerca di nuovi caffè ecc. Tuttavia, fattori come il volume del traffico e la costruzione di strade potrebbero far saltare tali proiezioni. I team di Google hanno utilizzato reti neurali a grafo per ridurre il rischio di previsioni errate.
Hanno iniziato costruendo “supersegmenti”, che erano sezioni di strade vicine che condividevano notevoli volumi di traffico. Considerando le reti stradali locali come grafici, i GGN sono entrati in scena. Ogni segmento di percorso è un nodo e i punti perimetrali sono segmenti o siti adiacenti in cui le strade si incontrano. Le reti neurali grafiche hanno previsto il traffico sulle strade davanti e dietro un veicolo, nonché il numero di automobili su percorsi vicini e intersecanti.
- Assistere le auto a guida autonoma nel prendere decisioni migliori
I veicoli autonomi non sono ancora ampiamente disponibili in tutte le località, ma le persone sono entusiaste di come possono trasformare la società in meglio. Il GNN raccoglie dati sulle relazioni vettoriali come quando un’automobile si avvicina a un incrocio o un pedone si avvicina a un incrocio, per esempio. Questi dati potrebbero essere utilizzati dalla rete neurale del grafico per determinare come reagirebbero le altre automobili. Quando si guida nel traffico, l’auto può quindi emettere giudizi più appropriati. Più precisamente, i dati vengono utilizzati dal veicolo autonomo per offrire preziosi suggerimenti di contesto sull’ambiente circostante. Gli esseri umani lo fanno naturalmente dipendendo dalle loro esperienze passate. Possono prevedere la possibilità che qualcosa accada anche se non si verifica nella vita reale.
Tuttavia, un veicolo autonomo non ha tali basi a cui attingere quando funziona. In questo caso, un “agente” era un’auto o una persona nell’ambiente dell’automobile autonoma, e l’ambiente circostante era la “scena”. I risultati del GNN sono stati confrontati con quelli ottenuti dai ricercatori da un’altra forma di rete neurale. Hanno scoperto che quando c’erano 50 agenti per scena, la rete neurale del grafico funzionava meglio del 18%.
- Ridurre i suggerimenti parziali sui social media
Quando qualcuno accede al proprio profilo sui social media, riceverà spesso consigli per diverse pagine o individui da seguire. Affinché ciò accada, le reti neurali a grafo funzionano in background. Tuttavia, un problema riconosciuto è che spesso prendono quelle decisioni in base a tratti sensibili come il sesso o il colore di una persona. È stata creata una nuova rete neurale a grafo per ridurre queste possibili cause di pregiudizio.
È stato progettato per funzionare in modo diverso concentrandosi su dettagli non sensibili su un individuo. Questo modello è stato addestrato utilizzando due serie di dati del mondo reale degli utenti dei social media in Slovacchia e dei giocatori di basket della National Basketball Association (NBA). I risultati hanno rivelato che il modello poteva ancora classificare correttamente le persone anche quando non aveva accesso a tanti dati, il che potrebbe causare pregiudizi. Di conseguenza, dimostra che i GNN possono essere utilizzati per ridurre i pregiudizi.
- Classificazione delle immagini
Le reti neurali convoluzionali sono la tecnologia più utilizzata per la categorizzazione delle immagini (CNN). I GGN, d’altra parte, sono attualmente impiegati per la classificazione delle immagini. Quando viene dato un ampio set di formazione di classi etichettate, i GNN producono anche risultati interessanti. Nello scenario attuale, gli sforzi sono incentrati sul miglioramento delle prestazioni di questi modelli su sfide di apprendimento zero-shot e few-shot. Il termine “Zero shot learning” (ZSL) è un tentativo di imparare a riconoscere le classi all’insaputa del modello durante la sua formazione. La presenza di un set di formazione etichettato di classi viste e informazioni su come ogni classe invisibile è semanticamente connessa a quelle viste sono necessarie per il riconoscimento ZSL. Nella classificazione delle immagini ZSL, un approccio consiste nell’utilizzare le informazioni strutturali sotto forma di grafici.
Di conseguenza, GNN sembra essere molto allettante in questo senso. I grafici della conoscenza possono fornire le conoscenze necessarie per dirigere l’attività ZSL. Il tipo di informazioni rappresentate nel knowledge graph varia tra le tecniche. Questi grafici possono essere basati su somiglianze tra le foto o quelle di oggetti identificati da immagini utilizzando il rilevamento di oggetti. I grafici possono inoltre includere informazioni semantiche derivate dall’incorporamento di parole delle etichette delle categorie di immagini. I GGN possono quindi essere addestrati su questi dati strutturati per assistere il processo di classificazione-riconoscimento delle immagini ZSL.
- Prevedere gli effetti collaterali dovuti alle interazioni farmacologiche
Centinaia di migliaia di anziani sono ricoverati in ospedale negli Stati Uniti ogni anno a causa dei cattivi effetti collaterali di uno o più farmaci da prescrizione. Nel frattempo, il numero di persone anziane che assumono vari farmaci contemporaneamente è in aumento. Data la proliferazione di farmaci, è impossibile valutare sperimentalmente ogni combinazione di farmaci per gli effetti di interazione. In pratica, i professionisti medici si affidano alla formazione, a una conoscenza dettagliata della storia medica di un paziente e a una conoscenza approfondita della letteratura sui farmaci in uso per valutare il rischio di gravi effetti collaterali.
Gli algoritmi di classificazione e somiglianza sono già stati utilizzati per questo problema, producendo punteggi di interazione. Per una serie di motivi, questi risultati sono stati limitati. Generano valori scalari che indicano il rischio di interazione senza descrivere la natura dell’interazione. Questi algoritmi sono limitati a coppie di farmaci. Un team di Stanford è stato in grado di creare un modello in grado di prevedere particolari effetti di interazione farmaco-farmaco a causa dell’interazione di più di due farmaci utilizzando una sorta di GNN chiamato Graph Convolutional Network (GCN). Questo approccio, che batte i metodi precedenti nel rilevare tali effetti, può rilevare effetti collaterali che non sono causati dai particolari farmaci di input.
Limitazioni dei GGN
Un documento intitolato “Quanto sono forti i GGN” è assolutamente da leggere quando si tratta di discutere i limiti del GNN. Offre al lettore una migliore comprensione degli scenari in cui fallisce.
- Secondo il documento, uno di questi esempi sono gli strati medi e massimi nelle reti convoluzionali che utilizzano GNN. A causa dell’apprendimento limitato e superficiale, influisce sugli algoritmi di calcolo medi e massimi. Riduce la precisione della rete poiché non è in grado di inserire valori abbastanza precisi.
- Un altro problema è il costo computazionale. Anche se adottiamo i grafici come struttura dei dati, il costo computazionale aumenterebbe con ogni aggiornamento e iterazione del peso. Come dimostrato in precedenza, con ogni iterazione, ogni nodo avrebbe ancora più nodi nella sua casella delle informazioni, aumentando il numero di relazioni e pesi da calcolare per ogni nodo.
Conclusione
Grazie alla loro capacità espressiva e alla chiara rappresentazione dei dati grafici, le reti neurali a grafo stanno guadagnando costantemente importanza. Di conseguenza, hanno una vasta gamma di applicazioni in campi in cui le strutture grafiche possono essere estratte dai dati. GNN è ancora un argomento relativamente inesplorato e avrà bisogno di tempo e applicazione per apprezzare meglio gli svantaggi generali di essi in varie situazioni. Tuttavia, fornisce una base per un settore in grado di migliorare l’accuratezza della logistica e dei sistemi basati sulla rete.
Articolo di Himanshubhawnani
Graph Neural Networks: A Brief Analysis | by Himanshubhawnani | Nybles | Medium
Share:
