Résumé de section
-
Contenus :
- Importance de la qualité des données ;
- Dimensions de la qualité :
- exactitude ;
- complétude ;
- cohérence ;
- validité ;
- unicité ;
- actualité ;
- Importation d’un jeu de données ;
- Examen des dimensions du jeu de données ;
- Inspection des noms de variables ;
- Vérification des types et des formats ;
- Identification des valeurs manquantes ;
- Représentation des valeurs manquantes dans les fichiers ;
- Distinction entre valeur absente, valeur nulle et valeur non applicable ;
- Principes élémentaires de traitement des valeurs manquantes :
- suppression d’observations ;
- suppression de variables ;
- remplacement par une mesure centrale ;
- création d’une catégorie spécifique ;
- Limites des méthodes simples d’imputation ;
- Détection et suppression des doublons ;
- Identification des erreurs de saisie ;
- Détection des valeurs impossibles ;
- Harmonisation des libellés et des catégories ;
- Conversion des unités ;
- Traitement des dates et des heures ;
- Recodage des variables qualitatives ;
- Création de variables dérivées ;
- Transformation de variables ;
- Détection des valeurs atypiques ;
- Utilisation des quartiles et de l’écart interquartile ;
- Distinction entre valeur atypique valide et erreur ;
- Effets possibles de la suppression des observations ;
- Traçabilité des transformations ;
- Conservation d’une copie des données brutes ;
- Élaboration d’un rapport de qualité des données.
Objectifs pédagogiques :
- Examiner méthodiquement un jeu de données ;
- Identifier les problèmes de qualité ;
- Détecter les valeurs manquantes ;
- Sélectionner un traitement adapté aux données manquantes ;
- Identifier et traiter les doublons ;
- Corriger les formats et les unités incohérents ;
- Détecter les erreurs et les valeurs impossibles ;
- Recoder correctement les variables qualitatives ;
- Créer des variables dérivées pertinentes ;
- Identifier les observations atypiques ;
- Justifier la conservation ou l’exclusion d’une observation ;
- Documenter les opérations de nettoyage ;
- Produire un jeu de données cohérent et exploitable ;
- Préserver l’intégrité des données brutes.