Diagnostic des données CSV et Excel pour le machine learning

Ce diagnostic des données examine un fichier CSV ou Excel avant la préparation d’un modèle de machine learning. Choisissez votre tâche, votre cible et les variables à conserver. Vous obtenez des métriques, des graphiques et des recommandations fondées sur les valeurs du tableau. Choisissez ensuite vos règles de nettoyage, vérifiez leur effet et validez la préparation. Vous pouvez télécharger les données nettoyées avec les règles appliquées et vos commentaires, dans des feuilles Excel ou des fichiers séparés pour le CSV.

Importer un tableau et vérifier sa lecture

Choisir le bon fichier et la bonne feuille

Commencez par « Choisir un fichier » ou déposez votre tableau dans la zone prévue. Le diagnostic accepte CSV, TSV et XLSX, dans la limite de 15 Mio, 50 000 lignes de données et 100 colonnes. Un dépassement produit un message ; les observations excédentaires ne sont pas simplement retirées pour obtenir un résultat. Un aperçu de quelques lignes ne doit donc pas être confondu avec une analyse limitée à ces lignes.

Pour un classeur Excel, choisissez la feuille qui contient les observations. Le diagnostic lit une feuille à la fois et ne rassemble pas arbitrairement plusieurs tableaux. Vérifiez aussi la ligne des en-têtes : une feuille peut commencer par un titre ou une description avant les noms des colonnes. Après un changement de feuille ou d’options de lecture, utilisez « Relire le fichier », puis contrôlez à nouveau les colonnes et la cible.

Une ligne doit correspondre à une unité d’observation compréhensible : une personne, une commande, une mesure ou un événement. Si le classeur contient plusieurs tableaux côte à côte, des sous-totaux ou des lignes de commentaire au milieu des observations, préparez d’abord une feuille tabulaire cohérente. Le diagnostic peut détecter certains symptômes de cette structure, mais il ne peut pas décider du sens métier de chaque ligne.

Vérifier les conventions du CSV

Un fichier CSV n’impose pas toujours la virgule comme séparateur. Selon l’export, les champs peuvent être séparés par un point-virgule, une tabulation ou une barre verticale. La détection automatique constitue un premier choix à vérifier dans l’aperçu. Si toutes les informations apparaissent dans une seule colonne, examinez le séparateur avant de conclure à un problème dans les données ou de supprimer cette colonne.

L’encodage détermine comment les octets représentent les caractères. UTF-8 est proposé par défaut ; Windows-1252 reste un choix explicite pour les fichiers qui l’utilisent. Des accents illisibles appellent une vérification de l’encodage et du fichier source. Le diagnostic conserve les chaînes à l’import : un code comme 00123 n’est pas automatiquement transformé en nombre, car ses zéros initiaux peuvent avoir un sens.

Le séparateur des champs et le séparateur décimal sont deux conventions différentes. Un CSV peut utiliser le point-virgule entre les colonnes et une virgule dans 12,5. Réglez la convention décimale dans « Règles d’analyse » si nécessaire, puis actualisez le bilan. Le diagnostic ne retire pas silencieusement les unités ou les séparateurs de milliers : 12 kg demande une décision sur le format et l’unité.

Lire les avertissements Excel

Les formats XLS et XLSM ne sont pas acceptés par cet outil. Pour XLSX, les formules ne sont ni exécutées ni recalculées. Le diagnostic utilise les résultats enregistrés dans le classeur lorsqu’ils existent, et signale les formules sans résultat disponible. Ces valeurs enregistrées peuvent être anciennes. Si leur fraîcheur compte, vérifiez le classeur dans votre tableur avant de relancer l’import ; ne remplacez pas une valeur absente par zéro sans justification.

Les dates demandent également une convention claire. Le diagnostic reconnaît les formes ISO non ambiguës et traite les cellules de date Excel selon leurs informations disponibles. Une écriture comme 01/02/2026 ne suffit pas à choisir entre deux interprétations. Vérifiez la documentation de la colonne et préparez un format explicite. Une durée, un numéro de série Excel et une date de calendrier ne représentent pas la même chose.

Choisir la tâche, la cible et les variables

Définir la question à résoudre

La régression vise une quantité numérique ; la classification vise une catégorie. Choisissez la tâche selon la question, puis indiquez la colonne à prédire, appelée variable cible. Une colonne contenant 0 et 1 peut représenter deux classes. Son apparence numérique ne suffit pas à imposer une régression. Le diagnostic vérifie des propriétés du format, mais la signification de la cible reste à confirmer avec le contexte du fichier.

Le mode exploration permet de décrire le tableau avant de choisir un apprentissage. Le regroupement, ou clustering, cherche une organisation des observations sans cible supervisée. Dans ces modes, le diagnostic ne présente pas des groupes supposés vrais ni un nombre de classes déduit des noms de colonnes. Le choix des variables et de leurs échelles doit précéder la définition d’une distance ou d’une méthode de regroupement.

Dans un fichier importé, les noms ne déclenchent aucune sélection automatique de cible ni aucune exclusion automatique. Une variable appelée « résultat » peut avoir un autre rôle dans votre projet. Changer de tâche ne justifie pas non plus de reconstruire les étiquettes. Le diagnostic conserve les valeurs fournies et vous laisse choisir la colonne qui correspond à la question. Les exemples intégrés, eux, ouvrent une vue déjà préparée pour la tâche annoncée.

Écarter ou réintégrer n’importe quelle colonne

Sous la cible, « Variables à exclure » permet de sélectionner une colonne et de l’écarter. Répétez l’opération pour plusieurs variables, ou utilisez les cases de sélection dans l’onglet « Colonnes ». Chaque exclusion peut être annulée avec « Réintégrer ». Le diagnostic recalcule alors son périmètre. Cette décision est générale : elle fonctionne avec les noms de votre propre base, sans dépendre du jeu de démonstration.

Vous pouvez aussi désélectionner la cible. Dans ce cas, sa sélection est effacée et le diagnostic demande une nouvelle cible pour poursuivre une préparation supervisée. Choisir ensuite une colonne écartée comme cible la réintègre explicitement. La cible est toujours séparée des variables d’entrée. Vérifiez le nombre d’entrées et le nom affiché avant de télécharger un script, particulièrement après plusieurs changements de tâche ou d’exclusions.

Une exclusion ne détruit pas la colonne du fichier d’origine. Elle la retire du bilan actif, des entrées candidates et de la copie préparée. Les profils individuels restent consultables dans « Colonnes », avec le rôle indiqué. L’aperçu présente les premières lignes de la source ; le fichier exporté reflète les exclusions. Cette distinction permet de comparer votre décision à l’import original sans confondre une vue de travail et une suppression définitive.

Vérifier le rôle et la disponibilité des informations

Demandez-vous quand chaque variable sera connue au moment réel de la prédiction. Une information créée après le résultat peut conduire à une fuite de données. Un identifiant presque unique mérite aussi une vérification, sans être automatiquement inutile. Le diagnostic signale des indices ; il ne possède pas l’historique de collecte, les règles du métier ou les relations entre les personnes. Une forte corrélation ne remplace pas cette vérification de disponibilité.

Dans le classeur utilisé pour les exemples, la régression conserve Exam_Score sans Result, et la classification conserve les étiquettes fournies Result sans Exam_Score. Si vous importez le classeur complet, faites ces choix explicitement avec les commandes générales. Le diagnostic ne calcule pas Success ou Fail à partir d’une note. Pour une autre base, appliquez le même raisonnement aux variables réellement disponibles.

Comprendre le diagnostic et les graphiques

Distinguer les cellules, les lignes et les répétitions

Le diagnostic des données sépare plusieurs dénominateurs. Le taux de cellules manquantes utilise le nombre de cellules analysées ; le taux de lignes incomplètes utilise le nombre d’observations. Une même ligne peut contenir plusieurs absences. Dans chaque vue intégrée de 6 607 lignes et 20 colonnes, les 235 cellules manquantes concernent 229 lignes. Ces deux effectifs répondent à des questions différentes et ne doivent pas être additionnés.

Une cellule vide, une chaîne vide ou composée uniquement d’espaces est manquante selon les règles initiales. Zéro et la catégorie « No » restent des valeurs. Les autres marqueurs, tels que NA ou ?, ne deviennent manquants que si vous les indiquez dans les règles. Vérifiez leur sens avant d’actualiser : une catégorie appelée NA peut être une observation valide dans un autre domaine.

Pour les répétitions, le diagnostic distingue les copies supplémentaires et toutes les lignes appartenant aux groupes répétés. Trois lignes identiques représentent deux copies supplémentaires et trois lignes concernées. La comparaison porte sur les colonnes incluses, avec les conventions d’absence choisies. Écarter une colonne peut donc faire apparaître des égalités auparavant absentes. Contrôlez le périmètre avant toute suppression ; deux lignes identiques ne prouvent pas qu’elles décrivent le même événement.

Examiner les types et les distributions

Les types proposés sont modifiables. Une colonne numérique peut contenir des codes de catégories ; une colonne presque numérique peut aussi cacher des erreurs de saisie. Le diagnostic compte séparément les absences et les valeurs non reconnues comme numériques. Consultez les exemples, les unités et les valeurs distinctes avant de changer le type. Une conversion réussie ne démontre pas à elle seule qu’une variable doit être utilisée comme une quantité.

L’histogramme décrit la répartition des valeurs numériques reconnues. Les statistiques associées indiquent notamment minimum, maximum, moyenne, médiane et quartiles. L’écart-type présenté est celui d’échantillon, avec le dénominateur n − 1. Si l’effectif ne permet pas le calcul, le diagnostic affiche une valeur indisponible. Les barres de catégories montrent les modalités les plus fréquentes ; « autres modalités » simplifie uniquement l’affichage et ne fusionne pas les données exportées.

Les bornes interquartiles repèrent des valeurs à examiner, sans démontrer une erreur. Une valeur élevée peut être une observation légitime, une unité différente ou une saisie à corriger. Le diagnostic n’applique pas une suppression automatique des extrêmes. Dans l’exemple de régression, le maximum observé de Exam_Score est 101 ; sans borne métier confirmée, le remplacer par 100 serait une correction injustifiée.

Lire les classes et les relations avec prudence

En classification, les barres représentent les effectifs des classes parmi les cibles renseignées. La démonstration contient 6 539 étiquettes Success et 68 étiquettes Fail. Ce déséquilibre appelle une validation adaptée et des métriques par classe lors d’un futur entraînement. Il n’impose pas un rééquilibrage immédiat de tout le fichier. Les cibles absentes sont comptées séparément ; elles ne sont pas remplacées par la classe majoritaire.

Les corrélations de Pearson décrivent des associations linéaires entre valeurs numériques finies. Leur effectif de paires est affiché, car les absences peuvent changer le nombre d’observations utilisables selon les colonnes. Le diagnostic ne fournit pas de coefficient exploitable pour une paire constante ou insuffisamment renseignée. Une association forte ne prouve ni causalité, ni importance prédictive, ni fuite de données ; vérifiez la collecte et la disponibilité des variables.

Le nuage de points est limité à 1 200 points affichés pour garder une interface utilisable ; le diagnostic indique ce sous-ensemble, tandis que les statistiques utilisent toutes les paires admissibles. Les corrélations sont limitées à une sélection de 20 colonnes numériques, signalée dans le bilan. Pour une comparaison numérique par catégorie, la moyenne et les effectifs aident à décrire les groupes, sans résumer toute leur dispersion ni démontrer une différence de population.

Préparer une copie et poursuivre dans Python

Choisir des opérations justifiées

Ouvrez « Aperçu & exports », puis choisissez les opérations nécessaires. Le diagnostic permet de retirer les espaces en bordure, d’écarter les lignes sans cible et de supprimer des copies supplémentaires confirmées. Pour chaque variable d’entrée, vous pouvez conserver ses absences, retirer les lignes concernées ou saisir une valeur fixe de remplacement. Une conversion numérique explicite est également proposée ; elle est refusée si une valeur conservée ne peut pas être convertie. Les exclusions de colonnes sont appliquées à la copie. Chaque choix doit être compatible avec le sens des variables et de chaque observation.

Retirer les espaces peut réunir des catégories auparavant distinctes. Vérifiez, par exemple, que l’espace ne fait pas partie d’un identifiant significatif. Les absences reconnues deviennent des valeurs nulles dans la copie ; celles que vous conservez sont exportées sous forme de cellules vides en CSV et en Excel. Un remplacement fixe utilise uniquement la valeur que vous saisissez, sans reconstruire la cible. Le calcul d’une moyenne ou d’une médiane pour imputer les données reste une étape à apprendre sur les données d’entraînement. Ajoutez un commentaire par variable ou un commentaire général pour expliquer vos décisions.

Le retrait des copies intervient après les autres choix de préparation, dont les exclusions et le retrait des espaces lorsqu’il est demandé. Cet ordre compte : des lignes qui différaient uniquement par une colonne écartée peuvent devenir égales. Une mesure répétée à deux dates ou pour deux personnes peut rester légitime. Utilisez le diagnostic pour quantifier les répétitions, puis confirmez leur origine avant de demander leur retrait.

Cliquez sur « Calculer l’aperçu des changements ». Comparez les observations, les colonnes et les cellules manquantes avant et après, puis lisez les règles appliquées dans leur ordre d’exécution. Vérifiez aussi les premières lignes de la copie. Cochez la confirmation de lecture, puis cliquez sur « Valider cette préparation » pour activer le téléchargement. La source reste conservée. Toute modification d’une règle, d’un commentaire ou du diagnostic invalide cette validation et demande un nouvel aperçu.

Choisir un format selon son usage

L’export Excel contient trois feuilles : Donnees_nettoyees, Regles_appliquees et Commentaires. Elles réunissent les données, les compteurs de transformation, vos commentaires et la date de validation. Seule la feuille source choisie est traitée ; les autres feuilles, les formules et la mise en forme du classeur initial ne sont pas reproduites. Le JSON conserve également les données et ce suivi.

Pour le CSV, vous téléchargez une archive ZIP contenant donnees_nettoyees.csv, regles_appliquees.csv, commentaires.txt et journal.json. Extrayez-la pour accéder aux fichiers séparés. Le CSV pour Python conserve les textes sans préfixe. Le CSV de consultation ajoute un préfixe aux textes pouvant être interprétés comme des formules par un tableur. Ce préfixe modifie leur valeur et sa protection dépend du tableur et des réenregistrements.

Le bilan JSON décrit les résultats et les conventions du diagnostic. Le bilan HTML conserve les recommandations et les graphiques que vous avez consultés ; ouvrez les vues utiles avant de le télécharger. L’impression offre une autre manière de garder une trace. Ces fichiers répondent à des usages différents : un rapport explique vos décisions, tandis qu’une copie des données sert à poursuivre le travail. Gardez leur lien avec la version du fichier source.

Apprendre les transformations sur l’entraînement

Le script Python est une base de préparation à adapter, pas un modèle déjà évalué. Il reprend la tâche, la cible, les colonnes retenues et les conventions disponibles. Il conserve les codes textuels lors de la lecture du CSV et convertit les colonnes déclarées numériques. Les lignes sans cible sont écartées de l’apprentissage supervisé ; aucune cible n’est imputée. Les dates brutes, le texte libre et les entrées non résolues demandent un traitement explicite.

Pour une tâche supervisée, la séparation entre entraînement et test précède l’ajustement de l’imputation, de l’encodage et de la mise à l’échelle. Les transformations sont apprises sur l’entraînement, puis appliquées au test. Le diagnostic fournit cet ordre dans son exemple de pipeline. La documentation de scikit-learn sur les erreurs courantes explique pourquoi ajuster ces transformations sur tout le fichier peut fausser l’évaluation.

Le découpage aléatoire proposé suppose des observations indépendantes. Des mesures ordonnées dans le temps ou plusieurs lignes concernant la même personne demandent une stratégie adaptée. En classification, les partitions doivent aussi pouvoir contenir les classes retenues ; deux exemples par classe ne suffisent pas toujours à rendre un test de 20 % possible. Vérifiez les messages et adaptez la validation avant d’utiliser le script ou d’ajouter un modèle à la préparation.

Vérifier le traitement local et conserver une trace

Comprendre ce qui reste dans le navigateur

Le contenu importé est lu et analysé dans votre navigateur, sans envoi à notre serveur ni à un service d’IA. Le composant ne contient pas de mesure d’audience et n’enregistre pas le fichier dans le stockage local du navigateur. Le chargement de la page, de ses images et du site nécessite une connexion. Les téléchargements du diagnostic sont ensuite créés sur votre appareil, à votre demande.

Les calculs utilisent un processus de travail séparé pour préserver la réactivité de l’interface. Les limites de taille et de calcul protègent aussi contre des classeurs démesurés ; une archive XLSX compacte peut contenir beaucoup de données décompressées. Si un import échoue, lisez le message, vérifiez la feuille et préparez une version plus petite et cohérente. Le diagnostic ne prétend pas réparer une archive endommagée ni contourner un classeur chiffré.

« Recommencer » termine la session de travail du composant et permet de choisir une autre base. Fermer la page met également fin à cette session. Cela ne constitue pas un effacement certifié de la mémoire de l’ordinateur. Vos fichiers téléchargés restent sur votre appareil selon leur emplacement et vos réglages. Avant de partager un bilan, vérifiez les noms, catégories et informations qu’il contient : un résumé peut encore révéler des données sensibles.

Confirmer les décisions avant un apprentissage

Un diagnostic technique ne certifie pas la représentativité de la collecte. Vérifiez ce que décrit une ligne, les unités, la période, les groupes et la provenance des étiquettes. Documentez les variables disponibles au moment prévu et la raison des exclusions. Un tableau sans cellule vide peut malgré tout comporter un biais de sélection ou une information indisponible en production. Conservez ces limites avec la copie et le rapport, plutôt que de les réduire à une note globale de qualité.

Le diagnostic ne calcule aucune accuracy, précision de classification, erreur de régression ou performance de regroupement. Ces résultats nécessitent une méthode entraînée et une évaluation appropriée. La compatibilité de la cible et la préparation des colonnes sont des étapes préalables. Un fichier peut être techniquement lisible sans permettre de répondre correctement à la question. Interprétez donc les alertes comme des constats et des pistes de vérification, pas comme une promesse de performance.

Les exemples intégrés utilisent Student Performance Factors, avec des vues séparées pour la régression et la classification. Les chiffres affichés proviennent des valeurs lues dans ces vues. Ils permettent de vérifier le fonctionnement du diagnostic avant d’importer votre propre fichier ; ils ne décrivent pas les résultats d’un modèle entraîné. La cible de classification reste celle fournie dans les données utilisées.

Pour poursuivre, consultez la description d’un jeu de données avant la construction d’un modèle, puis l’examen des valeurs manquantes et des doublons. Ces explications aident à justifier les décisions prises dans l’interface. Vous pourrez ensuite préparer une expérience d’apprentissage en gardant une copie identifiable, une stratégie de validation et la trace des transformations retenues.