Che cos’è un motore di ricerca?

Icone color1 09

[av_textblock size=” font_color=” color=” av-medium-font-size=” av-small-font-size=” av-mini-font-size=” custom_class=” admin_preview_bg=”]

Che cos’è un motore di ricerca?

Autore: Calogero Zarbo

La complessità 

Sembra una domanda banale ma sottende molte complicazioni tecniche. Il problema principale è sempre la formalizzazione della semantica, molto difficile da poter rappresentare con una serie di numeri.

Questa sfida ha portato gli sviluppatori di Language Model ad aumentare in modo esponenziale le dimensioni dei modelli, in modo da poter riuscire ad imparare al meglio la complessità che si cela dietro il linguaggio naturale.

Quindi un motore di ricerca non è nient’altro che un sistema che è in grado di fare un ranking dei documenti contenuti in una libreria in base ad una query data dall’utente, in parole più che di tecniche stiamo parlando di information retrieval, nel nostro specifico caso su base testuale.

NLP 2.1

Passage and Document Ranking

Per creare un motore di ricerca adeguato abbiamo quindi bisogno di sistemi che riescono a carpire il significato di una query, che potrebbe essere anche molto piccola, e riuscire a confrontare con una serie di documenti in modo da poter dare all’utente quello più adeguato.

A questo proposito Microsoft ha indotto una serie di open challenges in modo da stimolare il mondo della ricerca a creare sistemi sempre più raffinati per information retrieval.

Il loro effort si è dapprima concentrato nella creazione di MS Marco, un vasto database, nel quale sono raccolti QA samples, Passage Reranking samples, e Natural Language Generated samples. La sua qualità principale è che è stato completamente curato a mano, in questo modo possiamo fornire ai nostri modelli degli esempi reali di come dovrebbero essere formulate domande, risposte e queries in generale.

NLP 2.2

Cosa s’intende per text manipulation?

La manipolazione del testo è un passaggio molto importante quando si parla di generazione del testo, correzione del testo… e perchè no? Traduzione da un linguaggio di programmazione ad un altro.

Gran parte delle codebase di tante aziende è ormai invecchiato, avrebbe bisogno di essere riscritto usando linguaggi di programmazione più recenti e performanti. 

Questo problema è stato sotto gli occhi di tutti soprattutto quando durante la prima ondata di Covid-19 quando i sistemi informatici del Governo Americano avevano bisogno di aggiornamenti nessuno era in grado di mettere le mani sui software scritti in COBOL.

Da qui si capisce la necessità di avere dei sistemi automatici di conversione da un linguaggio ad un altro in modo da poter risparmiare un buona parte di tempo nel farlo manualmente.

Per questo motivo qui a Deep Learning Italia abbiamo ritenuto importante dare la nozione non solo di come si ricerca l’informazione ma anche di come si può manipolarla ed aggiornarla in modo il più possibile automatico.

Un’altra applicazione del text manipulation è la capacità di imparare a risolvere problemi imparando la formalizzazione matematica dei concetti per poi aggregarsi ed espandersi in modo da riuscire ad avere una generazione di concetti sotto forma di testo, in grado di rispondere al quesito posto.

Se sei interessato a saperne di più visita il nostro e-learning:

https://elearning.academy-dli.com/p/nlp-hands-on-2

[/av_textblock]

Submit your response

Il tuo indirizzo email non sarà pubblicato.