Contenus :

• Généralisation du modèle ;
• Données d’apprentissage ;
• Données de validation ;
• Données de test ;
• Séparation aléatoire ;
• Séparation stratifiée ;
• Cas des données temporelles ou groupées ;
• Validation croisée à plusieurs partitions ;
• Performance moyenne ;
• Variabilité des performances ;
• Validation croisée imbriquée à un niveau introductif ;
• Recherche d’hyperparamètres ;
• Comparaison équitable des modèles ;
• Fuites de données ;
• Préparation des données dans chaque partition ;
• Imputation ;
• Standardisation ;
• Encodage ;
• Pipelines ;
• Reproductibilité ;
• Graines aléatoires ;
• Documentation des versions ;
• Évaluation finale sur les données de test ;
• Finalisation du projet intégrateur ;
• Comparaison des modèles ;
• Analyse des erreurs ;
• Présentation des limites ;
• Communication des résultats ;
• Éthique, équité et responsabilité.

Objectifs pédagogiques :

• Séparer correctement les données ;
• Choisir une stratégie de validation adaptée ;
• Mettre en œuvre une validation croisée ;
• Comparer plusieurs modèles avec les mêmes partitions ;
• Sélectionner des hyperparamètres ;
• Identifier et prévenir les fuites de données ;
• Intégrer la préparation et le modèle dans un pipeline ;
• Évaluer une seule fois le modèle final sur les données de test ;
• Produire une analyse reproductible ;
• Finaliser un projet complet de modélisation ;
• Présenter les résultats et les limites ; 
• Formuler une recommandation responsable