Les dernières années ont vu l'émergence de modèles d'intelligence artificielle de plus en plus performants, mais également extrêmement coûteux à entraîner. Ces modèles, qui repoussent les limites de ce que l'IA peut accomplir, nécessitent des investissements colossaux en termes de ressources financières, matérielles et énergétiques.
En termes simples, l'entraînement d'un modèle d'IA consiste à lui faire « apprendre » à partir de grandes quantités de données. L'objectif est de permettre au modèle de prédire, générer ou classer de nouvelles données avec précision. Ce processus d'apprentissage, notamment dans le cadre des réseaux neuronaux profonds (deep learning), est gourmand en puissance de calcul et nécessite d'énormes infrastructures informatiques.
Les modèles d'IA de pointe, comme GPT-4 d'OpenAI, Gemini de Google, ou les systèmes de vision par ordinateur, sont souvent composés de centaines de milliards de paramètres. À titre de comparaison, un modèle simple peut compter quelques milliers de paramètres. En conséquence, les ressources nécessaires pour entraîner ces modèles sont exponentiellement plus élevées que celles utilisées pour des algorithmes plus simples. L'entraînement peut durer plusieurs mois, mobiliser des milliers de processeurs spécialisés (GPU ou TPU) et consommer plusieurs gigawattheures d'électricité.
Pour comprendre les principes fondamentaux qui sous-tendent ces modèles coûteux, consultez notre guide complet : Intelligence Artificielle : définition, fonctionnement et applications.
L'histoire des coûts d'entraînement en IA suit une trajectoire parallèle à celle des progrès technologiques dans le domaine. Il y a une dizaine d'années, entraîner un modèle performant de reconnaissance d'image ou de traitement de texte était un processus long, mais relativement abordable pour les laboratoires de recherche ou les petites entreprises. Cependant, la course à la création de modèles toujours plus grands, capables de comprendre et de produire un langage naturel ou de résoudre des tâches complexes, a fait drastiquement grimper les coûts.
Cette augmentation des coûts s'explique par plusieurs facteurs :
Historiquement, la loi de Moore prévoyait un doublement de la puissance de calcul tous les 18-24 mois pour un même coût. Mais les besoins des modèles d'IA doublent encore plus vite. Selon OpenAI, la quantité de calcul utilisée pour les plus grands modèles d'IA a été multipliée par 300 000 entre 2012 et 2024, soit un doublement tous les 3-4 mois.
L'explosion des coûts d'entraînement des modèles d'IA de pointe a plusieurs conséquences, tant pour l'industrie que pour la recherche et la société dans son ensemble.
| Modele | Organisation | Nombre de parametres | Coût estime de l'entraînement | Annee |
|---|---|---|---|---|
| GPT-2 | OpenAI: (version large) (version large) (version large) |
1,5 milliard (version large) (version large) (version large) (version large) (version large) (version large) (version large) (version large) (version large) | environ 50 000 dollars (version large) (version large) (version large) (version large) (version large) (version large) (version large) (version large) (version large) (version large) (version large) (version large) |
2019 (fevrier) (version large) (version large) (version large) (version large) (version large) (version large) (version large) (version large) (version large) |
| GPT-3 (version large) (version large) |
OpenAI (version large) (version large) |
175 milliards (version large) (version large) |
12 millions de dollars (version large) (version large) (version large) |
2020 (juin) (version large) (version large) |
| GPT-4 (version large) (version large) |
OpenAI (version large) (version large) |
1 000 milliards (estime) (version large) (version large) |
100 a 200 millions de dollars (version large) (version large) |
2023 (mars) (version large) (version large) |
| AlphaFold (version large) |
DeepMind (Google) (version large) (version large) |
non disponible (plusieurs centaines de millions) (version large) (version large) (version large) |
plusieurs dizaines de millions (infra recherche incluse) (version large) (version large) |
2020, puis 2024 (version large) (version large) |
| Gemini Ultra \n(modele multimodal) | Google (version large) (version large) |
non communique (estime > GPT-4) (version large) |
probablement 150-200 millions de dollars (version large) (version large) |
2023 (decembre) (version large) (version large) |
| Systeme FSD Tesla (Full Self-Driving) (Full Self-Driving) (Full Self-Driving) | Tesla (version large) (version large) |
non public (doome a bilions de parametres) (version large) (version large) (version large) |
entraînement continu en edge computing (flotte de vehicules) (version large) (version large) (version large) (version large) |
en continu (depuis 2020+) (version large) (version large) |
Face à cette situation, plusieurs initiatives voient le jour pour démocratiser l'accès à l'IA et réduire l'empreinte environnementale des modèles.
La tendance actuelle montre une bifurcation : d'un côté, les « modèles fondation » géants (GPT-5, Gemini 2) réservés aux grandes entreprises ; de l'autre, des modèles plus petits mais très efficaces (Mistral 7B, Phi-3) qui tournent sur des ordinateurs standards et démocratisent l'accès à l'IA générative. C'est cette seconde voie qui est la plus prometteuse pour l'innovation diffuse.
L'explosion des coûts d'entraînement des modèles d'IA de pointe est un sujet central pour l'avenir de la recherche et de l'innovation dans ce domaine. Si ces investissements massifs permettent des avancées impressionnantes (GPT-4, Gemini, AlphaFold), ils soulèvent également des questions cruciales en termes d'accessibilité, d'inégalités technologiques entre acteurs et territoires, et d'impact environnemental.
Le défi pour les années à venir sera de trouver des moyens de rendre ces technologies plus durables, plus ouvertes et plus accessibles, tout en continuant à innover. La bifurcation entre modèles géants (coûteux, centralisés) et modèles efficaces (open source, frugaux) sera déterminante pour éviter une concentration excessive du pouvoir de l'IA.
