Segmentazione semantica — U-Net

La Data Science Bowl 2018 si è appena conclusa e ho imparato molto. Forse la lezione più importante che ho imparato è stata, anche con l’apprendimento profondo, una tecnica più automatizzata rispetto ai tradizionali ML, pre e post elaborazione potrebbe essere cruciale per ottenere buoni risultati. Queste sono competenze importanti per un professionista per ottenere e definiscono il modo in cui si struttura e modello il problema.

Non passerò in rassegna ogni piccolo dettaglio e spiegazione su questo particolare concorso in quanto vi è grande quantità di discussione e spiegazione sia sul compito stesso e dei metodi utilizzati in tutto il concorso qui. Tuttavia menzionerò brevemente la soluzione vincente in quanto è legata alle fondamenta di questo post. [13]

Data Science Bowl 2018 proprio come altre Data Science Bowl in passato è stato organizzato da Booz Allen Foundation. Il compito di quest’anno era quello di identificare i nuclei di cellule in una data immagine di microscopia e di fornire maschere per ogni nucleo in modo indipendente.

Ora, prenditi un momento o due per indovinare quale tipo di segmentazione richiede questo compito; semantico o istanza ?

Qui è un’immagine mascherata del campione ed è immagine grezza di  microscopia.

Anche se può sembrare un compito di segmentazione semantica in un primo momento, il compito qui è la segmentazione di istanza. Dobbiamo trattare ogni nucleo nell’immagine in modo indipendente e identificarli come nuclei 1, nuclei 2, nuclei 3, … simile all’esempio che abbiamo avuto per auto 1, auto 2, persona 1 e così via. Forse la motivazione per questo compito è quello  di tracciare le dimensioni, i conteggi e le caratteristiche dei nuclei da un campione della cella col tempo. È molto importante automatizzare questo processo di monitoraggio e accelerare ulteriormente la sperimentazione dell’esecuzione di diversi trattamenti per la cura di varie malattie.

Ora, potresti pensare che se questo articolo riguarda la segmentazione semantica e se Data Science Bowl 2018 è un esempio di attività di segmentazione delle istanze, allora perché continuo a parlare di questa particolare competizione. Se stai pensando a questo, allora hai sicuramente ragione e in effetti l’obiettivo finale di questa competizione non era un esempio di segmentazione semantica. Ma come andremo avanti vedrete come si può effettivamente trasformare questo problema di segmentazione istanza in un compito di segmentazione semantica multiclasse. Questo è stato l’approccio che ho provato, ma non è riuscito nella pratica, ma anche si è rivelato essere la motivazione di alto livello per la soluzione vincente troppo.

Durante questo periodo di 3 mesi del concorso c’erano solo due modelli (o varianti di essi) che erano condivisi o almeno esplicitamente discussi in tutti i forum; Mask-RCNN e U-Net. Come ho accennato in precedenza Mask-RCNN è l’algoritmo all’avanguardia per il rilevamento di oggetti che rileva singoli oggetti e ne predice le maschere, come ad esempio la segmentazione. L’implementazione e la formazione di Mask-RCNN è più difficile poiché impiega un approccio di apprendimento in due fasi, in cui prima si ottimizza per un RPN (Region Proposal Network) e quindi si prevedono caselle di delimitazione, classi e maschere contemporaneamente.

D’altra parte U-Net è una rete molto popolare di encoder-decoder end-to-end per la segmentazione semantica [9]. È stato originariamente inventato e utilizzato per la prima volta per la segmentazione delle immagini biomediche, un compito molto simile che abbiamo avuto per Data Science Bowl. Non c’era nessun proiettile d’argento nella competizione, e nessuna di queste due architetture da sola senza post o pre-processing o modifiche minori nella progettazione architettonica hanno dimostrato di avere un punteggio top. Non ho avuto la possibilità di provare Mask-RCNN per questa competizione, così ho tenuto i miei esperimenti intorno a U-Net e ho imparato molto su di esso.

Inoltre, dal momento che il nostro argomento è la segmentazione semantica lascerò Mask-RCNN ad altri post del blog là fuori per spiegare. Ma se insisti ancora a provarli nelle tue applicazioni CV, ecco due repository Github popolari con implementazioni in Tensorflow e PyTorch. [10, 11]

Ora, possiamo continuare con U-Net e approfondire i suoi dettagli…

Ecco l’architettura per iniziare:

Per coloro che hanno familiarità con le reti neurali convoluzionali tradizionali, la prima parte (indicata come DOWN) dell’architettura sarà familiare. Questa prima parte viene richiamata o si potrebbe pensare che sia la parte encoder dove si applicano blocchi di convoluzione seguiti da un downsampling maxpool per codificare l’immagine di input in rappresentazioni di funzionalità a più livelli diversi.

La seconda parte della rete consiste in operazioni di upsample e concatenazione seguite da regolari operazioni di convoluzione. L’upsampling nei CNN può essere un nuovo concetto per alcuni dei lettori, ma l’idea è abbastanza semplice: stiamo espandendo le dimensioni delle funzionalità per soddisfare le stesse dimensioni con i corrispondenti blocchi di concatenazione da sinistra. Si possono vedere le frecce grigie e verdi, dove si concatenano due mappe caratteristiche insieme. Il principale contributo di U-Net in questo senso rispetto ad altre reti di segmentazione completamente convoluzionale è che, mentre il upsampling e andare più in profondità nella rete stiamo concatenando le caratteristiche di risoluzione più elevata dal basso con le caratteristiche upsampled al fine di localizzare meglio e imparare rappresentazioni con le seguenti convoluzioni. Poiché l’upsampling è un’operazione sparsa abbiamo bisogno di un buon precedente dalle fasi più iniziali per rappresentare meglio la localizzazione. Idea simile di combinare livelli corrispondenti è visto anche in FPN (Caratteristiche Reti piramidali). [7]

Possiamo definire un blocco di operazioni in giù parte come convoluzioni downsampling.

# a sample down block
def make_conv_bn_relu(in_channels, out_channels, kernel_size=3, stride=1, padding=1):
return [
nn.Conv2d(in_channels, out_channels, kernel_size=kernel_size, stride=stride, padding=padding, bias=False),
nn.BatchNorm2d(out_channels),
nn.ReLU(inplace=True)
]
self.down1 = nn.Sequential(
*make_conv_bn_relu(in_channels, 64, kernel_size=3, stride=1, padding=1 ),
*make_conv_bn_relu(64, 64, kernel_size=3, stride=1, padding=1 ),
)


# convolutions followed by a maxpool
down1 = self.down1(x)
out1 = F.max_pool2d(down1, kernel_size=2, stride=2)

Allo stesso modo possiamo definire un blocco di operazioni nella parte superiore come convoluzioni di concatenazione upsampling.

# a sample up block
def make_conv_bn_relu(in_channels, out_channels, kernel_size=3, stride=1, padding=1):
return [
nn.Conv2d(in_channels, out_channels, kernel_size=kernel_size, stride=stride, padding=padding, bias=False),
nn.BatchNorm2d(out_channels),
nn.ReLU(inplace=True)
]
self.up4 = nn.Sequential(
*make_conv_bn_relu(128,64, kernel_size=3, stride=1, padding=1 ),
*make_conv_bn_relu(64,64, kernel_size=3, stride=1, padding=1 )
)
self.final_conv = nn.Conv2d(32, num_classes, kernel_size=1, stride=1, padding=0 )


# upsample out_last, concatenate with down1 and apply conv operations
out = F.upsample(out_last, scale_factor=2, mode='bilinear') 
out = torch.cat([down1, out], 1)
out = self.up4(out)


# final 1x1 conv for predictions
final_out = self.final_conv(out)

Ispezionando la figura più attentamente, si può notare che le dimensioni di uscita (388 x 388) non sono le stesse dell’ingresso originale (572 x 572). Se si desidera ottenere dimensioni coerenti, è possibile applicare convoluzioni riempite per mantenere le dimensioni coerenti tra i livelli di concatenazione, proprio come abbiamo fatto nel codice di esempio sopra.

Quando si parla di upsampling, ci si può imbattere in uno dei seguenti termini: convoluzione trasposta, upconvoluzione, deconvoluzione o upsamling. Molte persone, tra cui me e le documentazioni PyTorch, non amano il termine deconvoluzione, poiché durante la fase di upsampling stiamo effettivamente facendo operazioni di convoluzione regolari e non c’è nulla su di esso. Prima di andare oltre se non si ha familiarità con le operazioni di convoluzione di base e la loro aritmetica consiglio vivamente di visitare qui. [12]

Spiegherò i metodi di upsampling dal più semplice al più complesso. Ecco tre modi di sovracampionamento di un tensore 2D in PyTorch: