Outliers nel Machine Learning: comprendere il loro impatto sull’analisi dei dati

Gli outlier possono avere un impatto significativo sulle prestazioni dei modelli di machine learning. Possono influire sull’accuratezza dei modelli e portare a previsioni errate. Ad esempio, in un modello di regressione, i valori anomali possono determinare una deviazione significativa dalla linea di miglior fit dei dati, con conseguenti previsioni imprecise.

Gli outlier possono anche influenzare l’addestramento dei modelli di machine learning. Quando nel training set sono presenti degli outlier, il modello può diventare eccessivamente sensibile a questi punti, causando un overfitting. L’overfitting si verifica quando il modello diventa troppo complesso e si adatta troppo strettamente ai dati di training, con conseguenti scarse prestazioni su dati nuovi e non visti.

import numpy as np
import matplotlib.pyplot as plt

# Generate random data
np.random.seed(42)
x = np.random.normal(0, 1, 100)
y = 2 * x + 1 + np.random.normal(0, 0.5, 100)

# Add some outliers
x_outliers = np.random.normal(5, 1, 5)
y_outliers = np.random.normal(5, 1, 5)

x = np.concatenate((x, x_outliers))
y = np.concatenate((y, y_outliers))

fig, ax = plt.subplots(figsize=(10, 6))

main_color = 'green'
outlier_color = 'red'
alpha_main = 0.6
alpha_outliers = 0.8

ax.scatter(x, y, c=main_color, alpha=alpha_main, label='Main Data')

ax.scatter(x_outliers, y_outliers, c=outlier_color, alpha=alpha_outliers, label='Outliers')

ax.legend(loc='upper left', fontsize=12)

ax.set_title('Random Data with Outliers', fontsize=18)
ax.set_xlabel('X', fontsize=14)
ax.set_ylabel('Y', fontsize=14)

ax.grid(alpha=0.3)
ax.tick_params(axis='both', which='major', labelsize=12)
plt.show()

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# Define the original and outlier data
data = [15, 101, 18, 7, 13, 16, 11, 21, 5, 15, 10, 9]
data_without_outlier = [d for d in data if d < 50]

# Create a summary dataframe for original and outlier data
summary = pd.DataFrame({
'Original Data': np.round(pd.Series(data).describe(), 2),
'Data without Outlier': np.round(pd.Series(data_without_outlier).describe(), 2)
})

sns.set_palette('pastel')
ax = summary.plot(kind='bar', rot=0, figsize=(10,8))
ax.set_title('Statistical Summary of Data')
ax.set_xlabel('Summary')
ax.set_ylabel('Values')

# Add the values to the bars
for i in ax.containers:
ax.bar_label(i, label_type='edge', fontsize=10, padding=4)

# Show the plot
plt.show()