Pourquoi les data scientists passent 80 % du temps à nettoyer les données

1. L’origine du chiffre 80 %

Le célèbre adage « 80 % du temps est consacré à préparer les données, 20 % à les analyser » remonte à des enquêtes auprès de data scientists (crowdflower, Forbes, Anaconda). Les raisons sont systémiques :

• Les données sont produites par des humains : saisies variables, erreurs de frappe, conventions différentes.
• Les systèmes de collecte sont fragmentés : ERP, CRM, logs, API, capteurs… chacun avec son propre format.
• Les données évoluent dans le temps : schémas qui changent, unités qui varient, valeurs absentes.
• La qualité n’est pas une priorité à la source : on collecte d’abord, on nettoie ensuite.

Figure 1 — Répartition typique du temps en data science. Le nettoyage est de loin la part la plus importante.

Une étude récente (Anaconda 2025) confirme : 78 % des data scientist interrogés passent plus de la moitié de leur temps à nettoyer les données. Seuls 22 % utilisent des outils d’automatisation avancés.

2. Les 7 familles de problèmes dans les données

3. Les étapes concrètes du nettoyage

Figure 2 — Pipeline typique du nettoyage de données. Chaque étape peut nécessiter plusieurs aller-retours.

1. Inspection : df.head(), df.info(), df.describe(), df.isnull().sum().
2. Traitement des valeurs manquantes : suppression (si peu) ou imputation (moyenne, médiane, valeur fréquente, modèle prédictif).
3. Correction des types : dates en datetime, catégories en category, nombres en float/int.
4. Dédoublonnage : df.drop_duplicates() ou détection floue pour les quasi-doublons.
5. Gestion des outliers : détection par IQR ou z-score, puis plafonnement (capping) ou suppression.
6. Standardisation : mise en forme uniforme (minuscules, suppression espaces, unités cohérentes).
7. Vérification de cohérence : règles métier (ex: date_fin > date_debut).
8. Documentation : tracer chaque transformation (reproductibilité).

4. Exemple concret : nettoyer un fichier CSV

Prenons un fichier clients.csv contenant :

id,nom,age,ville,inscription
1,Dupont,35,Paris,2023-01-15
2,Martin,,Lyon,2023/02/20
3,Durand,quarante-deux,Marseille,2023-03-10
4,Dupont,35,Paris,2023-01-15
5,Petit,-5,Toulouse,2023-04-01

Problèmes identifiés :

• age manquant (ligne 2), valeur texte (ligne 3), valeur négative (ligne 5)
• inscription formats mélangés (YYYY-MM-DD et YYYY/MM/DD)
• doublon (lignes 1 et 4)

Script de nettoyage avec pandas :

import pandas as pd

df = pd.read_csv('clients.csv')

# 1. Nettoyer age : remplacer les valeurs non numériques par NaN, puis imputer la médiane
df['age'] = pd.to_numeric(df['age'], errors='coerce')
mediane_age = df['age'].median()
df['age'] = df['age'].fillna(mediane_age)
df.loc[df['age'] < 0, 'age'] = mediane_age  # les âges négatifs deviennent la médiane

# 2. Standardiser les dates
df['inscription'] = pd.to_datetime(df['inscription'], errors='coerce')

# 3. Supprimer les doublons
df = df.drop_duplicates()

# 4. Vérifier
print(df.info())
print(df.head())

5. Comment réduire ce temps ?

6. Outils et bibliothèques incontournables

7. L’apport des LLM au nettoyage des données

Les LLM (GPT-5, Claude 4, Gemini 2.5 Pro) peuvent accélérer le nettoyage de plusieurs manières :

• Génération automatique de code à partir d’une description : « Écris un script pandas pour supprimer les doublons et remplacer les âges manquants par la médiane. »
• Détection de patterns complexes : expressions régulières, extraction d’entités, correction orthographique.
• Suggestions d’imputation : selon le contexte métier.
• Documentation des transformations : le LLM peut commenter chaque étape.

Exemple de prompt efficace

“J’ai un DataFrame pandas avec des colonnes ‘prix’ (parfois avec des virgules et des symboles €) et ‘date’ (format mixte JJ/MM/AAAA et AAAA-MM-JJ). Donne-moi un code pour nettoyer ces deux colonnes en flottant et datetime.”

→ GPT-5 produit un code robuste avec str.replace et pd.to_datetime.

Cependant, le LLM ne remplace pas la validation métier. Il est un assistant, pas un oracle.

Articles connexes