Contenus :

• Complexité des modèles ;
• Sous-ajustement ;
• Surajustement ;
• Compromis entre biais et variance ;
• Principe de pénalisation ;
• Fonction de perte et terme de pénalité ;
• Standardisation des variables ;
• Régression Ridge ;
• Effet de la pénalité Ridge ;
• Régression Lasso ;
• Sélection de variables par Lasso ;
• Elastic Net ;
• Combinaison des pénalités ;
• Paramètre de régularisation ;
• Chemin des coefficients ;
• Comparaison des coefficients ;
• Choix du paramètre par validation ;
• Variables fortement corrélées ;
• Données comportant de nombreuses variables ;
• Comparaison avec une régression non pénalisée ;
• Interprétabilité des modèles régularisés ;
• Mise en œuvre avec scikit-learn ou un outil équivalent.

Objectifs pédagogiques :

• Expliquer le principe de régularisation ;
• Distinguer Ridge, Lasso et Elastic Net ;
• Standardiser correctement les variables ;
• Construire les trois types de modèles ;
• Examiner l’évolution des coefficients ;
• Sélectionner un paramètre de régularisation ;
• Expliquer le compromis biais-variance ;
• Utiliser la régularisation en présence de variables corrélées ;
• Comparer les performances avec un modèle non pénalisé ; 
• Justifier le choix de la méthode