Approcciando il problema da un alto livello la Mask R-CNN è costituita dai seguenti moduli:

1. Struttura

   

   Questa è una rete neurale convoluzionale standard (tipicamente ResNet50 o ResNet101) che serve come estrattore delle features. I primi livelli estraggono caratteristiche di basso livello (contorni e angoli) e i livelli successivi rilevano features ad alto livello (automobile, persone, cielo).

   Passando attraverso la spina dorsale della rete, l’immagine viene convertita da 1024x1024x3 (RGB) ad una feature map di dimensioni 32x32x2048. QUesta feature map diventa l’input per i passaggi successivi.

   Suggerimento per il codice: la struttura è costruita con la funzione resnet_graph(). Il codice supporta ResNet50 e ResNet101

   Feature Pyramid Network

   

   Sebbene la struttura portante descritta sopra funzioni benissimo, può essere migliorata. La Feature Pyramid Network (FPN) è stata introdotta dagli stessi autori della Mask R-CNN come estensione in grado di rappresentare meglio gli oggetti a più scale.

   La FPN migliora la piramide standard di estrazione delle features aggiungendo una seconda piramide che prende le features di livello più alto dalla prima piramide e le passa ai livelli più bassi. In questo modo permette alle caratteristiche ad ogni livello di avere accesso sia a quelle di livelli più bassi che più alti.

   La nostra implementazione di Mask R-CNN utilizza una ResNet101 + un FPN

   Suggerimento per il codice:  La FPN viene creata in MaskRCNN.build(). La sezione successiva alla costruzione della ResNet. La RPN introduce complessità aggiuntive: piuttosto che una singola backbone feature map (ovvero, il livello più alto della prima piramide), in FPN c’è una feature map ad ogni livello della seconda piramide. Quella da utilizzare la scegliamo in modo dinamico in base alle dimensioni dell’oggetto. Continuerò a riferirmi alla backbone feature map come un’unica feature map, ma ricordate che utilizzando FPN stiamo in realtà ne consideriamouna delle tante durante la fase di esecuzione.

2. Region proposal network (RPN)

   

   La RPN è una rete neurale leggera che scansiona l’immagine come se vi applicasse una finestra scorrevole cercando le aree che contengono oggetti.

   Le regioni su cui la RPN effettua la scansione sono chiamate ancore. Si tratta di caselle distribuite nell’area dell’immagine, come mostrato sopra. In realtà quella è una versione semplificata. In pratica, ci sono circa 200K ancore di dimensioni diverse e rapporti diversi che si sovrappongono in modo da coprire la maggior parte possibile dell’immagine.

   Quanto la RPN può scannerizzare velocemente un numero così elevato di ancore? In realt, abbastanza velocemente.

   La finestra scorrevole è gestita dalla natura convoluzionale della RPN, che le consente di eseguire la scansione di tutte le regioni in parallelo (su una GPU). Inoltre, la RPN non esegue una scansione diretta dell’immagine (anche se le ancore sono disegnate sull’immagine a scopo illustrativo). Al contrario, la RPN esegue la scansione sulla backbone feature map. Ciò consente alla RPN di riutilizzare in modo efficiente le caratteristiche estratte e di evitare calcoli duplicati. Con queste ottimizzazioni, l’RPN viene eseguita in circa 10 ms, secondo il paper Faster RCNN che l’ha introdotta. Nella Mask R-CNN si utilizzano generalmente immagini di dimensioni maggiori e un numero di ancore maggiore, per questo potrebbe richiedere più tempo.

   Suggerimento per il codice: RPN viene creata in rpn_grap(). Le scale delle ancore e i rapporti sono controllati da RPN_ANCHOR_SCALES e RPN_ANCHOR_RATIOS in config.py

   La RPN genera due output per ciascuna ancora:

   

    

   • Classe ancora: una delle due classi: primo piano o sfondo. La classe FG implica che probabilmente c’è un oggetto in quel riquadro .
   • Rifinitura del riquadro di contorno: un’ancora in primo piano (ancora positiva) potrebbe non essere perfettamente centrata sull’oggetto. Per cui la RPN stima una delta (variazione % lungo x,y, larghezza e altezza) per rifinire il riquadro dell’ancora in modo da adattarlo meglio all’oggetto

   Utilizzando le previsioni RPN, scegliamo le ancore migliori che probabilmente contengono oggetti e ne perfezioniamo la posizione e le dimensioni. Se diverse ancore si sovrappongono troppo, teniamo quella con il punteggio di primo piano più alto e scartiamo le altre (si parla di soppressione non massima). Dopodiché otteniamo le proposte finali (regioni di interesse) e possiamo passare allo step successivo.

   Suggerimento per il codice: Il ProposalLayer è un layer personalizzato di Keras che legge l’output di una RPN, estrae le ancore migliori e vi applica la rifinitura del riquadro di contorno.

    

3. Classificatore delle ROI & Regressore dei riquadri di contornoQuesto step viene eseguito sulle regioni di interesse (ROIs) estratte con la RPN. Proprio come la RPN, genera due output per ciascuna ROI:

   

   1. Classe : La classe dell’oggetto nella ROI. A differenza della RPN, che ha due classi (FG/BG), questa rete è più profonda e ha la capacità di classificare le regioni in classi specifiche (persona, auto, sedia, … ecc.). Può anche generare una classe di sfondo, che porta allo scarto della ROI.
   2. Rifinitura del riquadro di contorno: Molto simile a quello che avviene nella RPN, ha lo scopo di affinare ulteriormente la posizione e le dimensioni del rettangolo di selezione per incapsulare l’oggetto.

   Suggerimento per il codice: Il classificatore e il regressore del riquadro di contorno sono creati in fpn_classifier_graph()

   Pooling delle ROI

   C’è un piccolo problema da risolvere prima di continuare. I classificatori non gestiscono molto bene le dimensioni variabili degli input. In genere richiedono una dimensione fissa dell’input. Tuttavia, a causa dello step di rifinitura del riquadro di contorno nella RPN, i riquadri delle ROI possono avere dimensioni diverse. E’  qui che entra in gioco il pooling delle ROI

   

   Il pooling delle ROI si riferisce al ritaglio di una parte della feature map e ridimensionarla a dimensione fissa. In linea di principio è simile al ritaglio di una parte di un’immagine e al suo successivo ridimensionamento (ma ci sono differenze nei dettagli di implementazione).

   Gli autori di Mask R-CNN propongono un metodo che hanno chiamato ROIAlign, in cui campionano la feature map a diversi punti e vi applicano un’interpolazione bilineare. Nella nostra implementazione, abbiamo usato la funzione crop_and_resize di TensorFlow per semplicità e perché è abbastanza vicina per la maggior parte degli scopi.

   Suggerimento per il codice: il pooling delle ROI è implementato nella classe PyramidROIAlign.

4. Maschere di segmentazione
   Se vi fermate alla fine della sezione precedente allora avete ottenuto una Faster R-CNN come framework di riconoscimento degli oggetti. La rete mask è l’aggiunta che il paper della Mask R-CNN ha introdotto.

   

    

    

   Il ramo mask è una rete convoluzionale che prende le regioni positive selezionate dal classificatore di ROI e genera maschere per esse. Le maschere generate sono a bassa risoluzione: 28×28 pixel. Sono, però, maschere soft rappresentate da numeri con la virgola, quindi contengono più dettagli di quelle binarie. La bassa dimensione della maschera aiuta a mantenere il ramo mask più leggero. Durante l’addestramento riduciamo le maschere ground-truth a 28×28 per calcolare la funzione di perdita, e durante l’inferenza scaliamo le maschere predette alla dimensione della ROI di riquadro di contorno, si ottengono così le maschere finali, una per oggetto.

   Suggerimento per il codice: il ramo mask viene costruito con build_fpn_mask_graph().