Référence : Géron, chapitre 7 ; ISLR, chapitre 8 ; Tan, chapitre 4.

Contenus :

•       Principe général : combiner plusieurs modèles pour améliorer la performance

•       Agrégation par échantillonnage et réduction de la variance

•       Forêts aléatoires : double source d'aléa et effet sur la décorrélation des arbres

•       Estimation hors échantillon et importance des variables

•       Renforcement séquentiel et réduction du biais

•       Renforcement de gradient et bibliothèques usuelles

•       Hyperparamètres critiques : profondeur, taux d'apprentissage, nombre d'estimateurs

•       Empilement de modèles

•       Coût de calcul et perte d'interprétabilité

Objectifs pédagogiques :

•       Expliquer pourquoi l'agrégation réduit la variance et le renforcement le biais

•       Mettre en œuvre une forêt aléatoire et un modèle de renforcement de gradient

•       Régler les hyperparamètres principaux par une procédure documentée

•       Interpréter avec prudence l'importance des variables