Metodi matematici di ottimizzazione per il Machine Learning

In questo corso si introducono gli elementi dell’algebra lineare, del calcolo differenziale multivariato e della teoria dell’ottimizzazione su essi basata che sono necessari al machine learning e al deep learning. L’esposizione sarà informale ma rigorosa e corredata da esempi, illustrati anche per mezzo di semplici programmi Python. Dopo una introduzione alla teoria degli spazi vettoriali reali e degli operatori lineari, si affronteranno la teoria spettrale e le sue applicazioni al calcolo scientifico, con particolare riferimento alle questioni numeriche. La parte di calcolo differenziale prevede una esposizione della topologia degli spazi cartesiani e una introduzione alle funzioni continue e differenziabili in questi spazi, per poi passare alla teoria dei massimi e minimi per funzioni di più variabili per funzioni differenziabili. Nella parte di ottimizzazione si darà una introduzione da zero alle tecniche di ottimizzazione utili nella computer science, per poi esporre le tecniche lineari nel dettaglio e passare all’ottimizzazione convessa. Si analizzeranno poi gli algoritmi specifici per il machine e deep learning, la discesa gradiente e le sue variazioni, con particolare accento sugli aspetti algoritmici e implementativi. Infine si esporrà la teoria ormai classica dell’ottimizzazione vincolata multivariata. I prerequisiti per il corso consistono in una conoscenza sicura della matematica elementare e delle nozioni di base della geometria analitica e dell’analisi in una singola variabile, per esempio impartite nel corso introduttivo di DLI.