Les lois d'échelle

Année 2022, San Francisco. Dans les bureaux d’OpenAI, des ingénieurs s’apprêtent à dépenser des dizaines de millions de dollars en électricité et en silicium pour fabriquer un objet qu’aucun d’entre eux n’a jamais vu : le modèle qui s’appellera GPT-4. Le chantier va occuper des milliers de processeurs pendant des mois. Personne ne peut se permettre de le rater.

Alors, avant de lancer la machine, ils font une chose étrange. Ils écrivent le résultat à l’avance.

Pas une vague intuition : un chiffre. En entraînant une série de modèles miniatures, jusqu’à dix mille fois plus petits en calcul, ils tracent une courbe, la prolongent, et lisent dessus le score d’erreur final de leur futur colosse[1]1. OpenAI, « GPT-4 Technical Report », arXiv:2303.08774 (2023)↗ arxiv.org. La prédiction est posée juste après le démarrage, sans regarder aucun résultat intermédiaire, précise le rapport technique. Des mois plus tard, le chantier s’achève. Le chiffre tombe.

Il atterrit sur la courbe. Exactement où le papier l’attendait.

Voilà l’anomalie que cette page raconte. Le progrès de l’IA passe pour imprévisible, chaotique, plein de surprises. Et pourtant, en son centre, il y a la régularité la plus têtue de la technologie moderne : rendez le modèle plus grand, donnez-lui plus de textes et plus de calcul, et son erreur descend le long d’une ligne si régulière qu’on la nomme une loi.

Pour la voir, il faut prendre du recul. Beaucoup de recul.

Cette page est donc construite comme un zoom arrière. Nous partons de la plus petite machine apprenante jamais construite, et à chaque étape, le monde devient dix fois plus grand. Comptez les crans : il y en a environ vingt-cinq.

En 1950, Claude Shannon, le père de la théorie de l’information, construit une souris mécanique nommée Thésée. Elle explore un labyrinthe de vingt-cinq cases, se cogne, recommence, retient. C’est l’une des premières machines qui apprennent. Son apprentissage entier a coûté environ quarante opérations de calcul[2]2. Epoch AI, base « Notable AI Models » (consultée en juillet 2026)↗ epoch.ai.

Quarante. Le chiffre n’a pas de zéros cachés.

Une opération de calcul, une addition ou une multiplication, les spécialistes disent un FLOP. C’est l’unité de compte de toute cette histoire, la calorie de l’intelligence artificielle. Thésée en a consommé quarante. Les modèles d’aujourd’hui en consomment jusqu’à dix millions de milliards de milliards de fois plus. Entre les deux, il y a soixante-quinze ans, et notre descente.

En 1957, le Perceptron de Frank Rosenblatt apprend à distinguer des formes simples : quelques centaines de milliers d’opérations[2]2. Epoch AI, base « Notable AI Models » (consultée en juillet 2026)↗ epoch.ai. En 1998, le réseau LeNet-5 de Yann LeCun lit les chèques bancaires par millions (son ancêtre de 1989 déchiffrait déjà les codes postaux du courrier américain) : des milliers de milliards d’opérations. En 2012, AlexNet, entraîné sur deux cartes graphiques de joueur, écrase un concours de reconnaissance d’images et déclenche la ruée du deep learning : un demi-milliard de milliards[2]2. Epoch AI, base « Notable AI Models » (consultée en juillet 2026)↗ epoch.ai.

De quarante à un demi-milliard de milliards. Et voici le fait curieux : sur ce chemin vertigineux, des gens avaient déjà vu la ligne.

Dès 1993, aux Bell Labs, une équipe où figurent Corinna Cortes et Vladimir Vapnik remarque que l’erreur d’un réseau de neurones décroît, à mesure qu’on lui donne des données, selon une courbe d’une régularité suspecte, une loi de puissance, et propose de s’en servir pour prédire la qualité finale d’un modèle sans payer l’entraînement complet[3]3. C. Cortes, L. D. Jackel, S. A. Solla, V. Vapnik, J. S. Denker, « Learning Curves: Asymptotic Values and Rate of Convergence », NIPS 1993↗ proceedings.neurips.cc. L’idée qui fera parier des centaines de millions trente ans plus tard existe déjà, en costume des années 90.

En 2001, chez Microsoft, Michele Banko et Eric Brill gavent leurs algorithmes de mille fois plus de texte que d’habitude, un milliard de mots, pour une tâche de désambiguïsation. Les courbes montent, droites, sans faiblir : « log-linéaires jusqu’au bout »[4]4. M. Banko, E. Brill, « Scaling to Very Very Large Corpora for Natural Language Disambiguation », ACL 2001↗ aclanthology.org. Et ils lâchent cette phrase qui sonne comme un sacrilège : le pire de leurs algorithmes, nourri de vingt millions de mots, bat le meilleur nourri d’un seul million[5]5. M. Banko, E. Brill, « Mitigating the Paucity-of-Data Problem », HLT 2001↗ aclanthology.org. La leçon s’installe lentement dans la culture du domaine : les données écrasent l’ingéniosité[6]6. A. Halevy, P. Norvig, F. Pereira, « The Unreasonable Effectiveness of Data », IEEE Intelligent Systems (2009)↗ static.googleusercontent.com.

En 2017, chez Baidu, l’équipe de Joel Hestness le vérifie systématiquement sur la traduction, la parole, l’image, le langage : partout des lois de puissance. Avec ce constat qui donne le frisson : améliorer l’architecture déplace la courbe vers le bas, mais n’en change pas la pente[7]7. J. Hestness et al., « Deep Learning Scaling is Predictable, Empirically », arXiv:1712.00409 (Baidu, 2017)↗ arxiv.org. Le génie logiciel vous fait gagner une longueur. L’échelle décide de la course.

À cette date, le calcul d’entraînement a déjà décroché de l’électronique qui le porte : depuis 2010, il double tous les six mois environ, quand la loi de Moore mettait vingt mois[10]10. J. Sevilla et al., « Compute Trends Across Three Eras of Machine Learning », arXiv:2202.05924 (2022)↗ arxiv.org[11]11. Epoch AI, « Training compute of frontier AI models grows by 4-5x per year » (2024, mis à jour février 2026)↗ epoch.ai. Ce n’est plus le progrès des puces qui tire l’IA. Ce sont les budgets.

Janvier 2020. Une équipe d’OpenAI menée par Jared Kaplan et Sam McCandlish publie un article qui ressemble à s’y méprendre à un papier de cosmologie : des courbes en cascade, des exposants, des ajustements millimétrés[9]9. J. Kaplan, S. McCandlish et al., « Scaling Laws for Neural Language Models », arXiv:2001.08361 (OpenAI, 2020)↗ arxiv.org. Kaplan est un physicien théoricien. Il vient de braquer sur les réseaux de neurones le regard qu’on réserve d’habitude aux galaxies.

Le résultat tient en trois ingrédients et une obstination. Prenez un modèle de langage, ce programme qu’on entraîne à deviner le mot suivant. Sa performance se mesure par un score d’erreur, la « perte » : plus elle est basse, mieux le modèle devine. Kaplan et son équipe font varier trois quantités : la taille du modèle (le nombre de ses paramètres, ses « neurones réglables »), la quantité de texte avalée, et le calcul total dépensé. Verdict : chacune des trois, tant que les deux autres ne l’étranglent pas, fait descendre l’erreur selon une loi de puissance[9]9. J. Kaplan, S. McCandlish et al., « Scaling Laws for Neural Language Models », arXiv:2001.08361 (OpenAI, 2020)↗ arxiv.org.

Une loi de puissance, c’est une relation qui ne se voit bien qu’en changeant de lunettes.

En échelle ordinaire, la courbe s’écrase très vite : on a l’impression que tout gain devient dérisoire. Mais passez les deux axes en échelle logarithmique, où chaque graduation multiplie par dix, et la courbe se déplie en une droite. C’est la signature des lois de puissance : multiplier l’entrée par dix fait toujours progresser la sortie du même pas. La nature n’avait aucune obligation d’être aussi lisible.

Et cette droite ne tient pas sur un petit domaine de validité. Elle traverse, dans le papier, plus de sept ordres de grandeur[9]9. J. Kaplan, S. McCandlish et al., « Scaling Laws for Neural Language Models », arXiv:2001.08361 (OpenAI, 2020)↗ arxiv.org. Comme si une même règle gouvernait la piécette et le produit intérieur brut.

Il faut dire aussi ce que la loi promet, car elle est d’une avarice remarquable. L’exposant du calcul vaut environ 0,05 : pour diviser l’erreur par deux, il faut grosso modo un million de fois plus de calcul. Lue ainsi, c’est une loi de la déception, un mur de rendements décroissants. Le miracle n’est pas la vitesse du progrès.

Le miracle, c’est qu’elle ne ment jamais.

Car il faut ajouter l’aveu, admirable, glissé en annexe du papier : « À ce jour, nous n’avons de compréhension théorique solide pour aucune des lois d’échelle que nous proposons »[9]9. J. Kaplan, S. McCandlish et al., « Scaling Laws for Neural Language Models », arXiv:2001.08361 (OpenAI, 2020)↗ arxiv.org. Kepler a décrit les ellipses des planètes des décennies avant que Newton explique leur pourquoi ; les lois d’échelle sont nos ellipses, et le Newton n’est pas encore passé. En attendant, comme les navigateurs du XVIIe siècle, l’industrie s’est mise à naviguer avec des lois qu’elle ne comprend pas.

Une loi qui n’a jamais été testée hors de son laboratoire n’est qu’une jolie courbe. Quatre mois après le papier de Kaplan, OpenAI la joue sur table.

Mai 2020 : GPT-3. Cent soixante-quinze milliards de paramètres, cent dix-sept fois son prédécesseur GPT-2, dix fois plus gros que le plus gros modèle dense existant[12]12. T. Brown et al., « Language Models are Few-Shot Learners », arXiv:2005.14165 (OpenAI, 2020)↗ arxiv.org. Le papier cite explicitement les lois d’échelle comme hypothèse de départ, et entraîne huit modèles de tailles étagées pour la mettre à l’épreuve. Coût estimé du géant : autour de 4,6 millions de dollars de calcul, au bas mot[13]13. Lambda Labs, « Demystifying GPT-3 » (2020)↗ lambda.ai.

Résultat, en légende d’une figure devenue célèbre : le comportement en loi de puissance « se poursuit sur deux ordres de grandeur supplémentaires, avec seulement de petites déviations »[12]12. T. Brown et al., « Language Models are Few-Shot Learners », arXiv:2005.14165 (OpenAI, 2020)↗ arxiv.org. La droite du laboratoire vient de traverser le monde réel sans broncher.

Au passage, quelque chose d’imprévu se produit : le géant se met à réussir des tâches qu’on ne lui a pas enseignées, en lisant simplement quelques exemples au vol. Cette bizarrerie a rendez-vous avec le chapitre 5.

C’est ici que le pari du prologue prend tout son sens. En 2023, pour GPT-4, OpenAI ne se contente plus de vérifier la loi après coup : elle s’en sert comme d’un instrument de navigation. La perte finale est prédite depuis des répliques dix mille fois plus petites en calcul ; certains scores applicatifs, comme la réussite aux exercices de programmation, sont extrapolés depuis des modèles mille fois plus petits[1]1. OpenAI, « GPT-4 Technical Report », arXiv:2303.08774 (2023)↗ arxiv.org. Deux chiffres différents pour deux prédictions différentes, précise le rapport, qui reconnaît aussi la limite : « certaines capacités restent difficiles à prédire »[1]1. OpenAI, « GPT-4 Technical Report », arXiv:2303.08774 (2023)↗ arxiv.org.

La facture, elle, a changé d’échelle : les estimations sérieuses situent l’entraînement de GPT-4 entre 40 et 80 millions de dollars, selon la méthode de calcul[14]14. B. Cottier et al., « The rising costs of training frontier AI models », arXiv:2405.21015 (Epoch AI, 2024)↗ arxiv.org. Quand on mise pareille somme sur un seul coup de dés, on comprend qu’on veuille connaître le résultat d’avance.

Une loi peut être juste et mal lue. Le papier de Kaplan contenait une recette : à budget de calcul donné, faites surtout grossir le modèle, la quantité de texte compte peu. Toute la génération 2020-2022 l’a suivie. GPT-3 : 175 milliards de paramètres pour seulement 300 milliards de mots-jetons. Gopher, chez DeepMind : 280 milliards de paramètres, à peine plus d’un jeton par paramètre. Des cerveaux immenses, nourris comme des moineaux.

En mars 2022, DeepMind refait les mesures, plus soigneusement, et publie la correction : à budget égal, il faut faire croître la taille ET les données à parts égales[15]15. J. Hoffmann et al., « Training Compute-Optimal Large Language Models », arXiv:2203.15556 (DeepMind, 2022)↗ arxiv.org. Pour le prouver, l’équipe entraîne Chinchilla : quatre fois plus petit que Gopher, nourri de près de cinq fois plus de texte, pour exactement la même facture de calcul. Chinchilla bat Gopher partout, avec sept points d’avance sur l’examen de référence MMLU[15]15. J. Hoffmann et al., « Training Compute-Optimal Large Language Models », arXiv:2203.15556 (DeepMind, 2022)↗ arxiv.org. Les géants de l’époque, conclut le papier, étaient « significativement sous-entraînés ».

De cette cuvette, la communauté a tiré une règle de pouce : environ vingt jetons de texte par paramètre. Précision d’hygiène : la formule n’apparaît nulle part dans le papier, elle s’en déduit. Et elle n’est pas une constante de la nature : les propres mesures de Meta, deux ans plus tard, donnent plutôt quarante à très grande échelle[19]19. Meta AI, « Introducing Meta Llama 3 » (avril 2024)↗ ai.meta.com.

L’histoire aurait pu s’arrêter là. Elle a une coda, et c’est peut-être le passage qui en dit le plus long sur la santé de cette science.

En 2024, une équipe indépendante, Epoch AI, tente de reproduire les calculs de Chinchilla. Pour récupérer les données, elle va jusqu’à disséquer le fichier vectoriel d’une figure du papier[16]16. T. Besiroglu et al., « Chinchilla Scaling: A replication attempt », arXiv:2404.10102 (Epoch AI, 2024)↗ arxiv.org. Verdict : l’un des trois ajustements statistiques est défectueux, avec des intervalles de confiance qui auraient exigé six cent mille expériences là où l’équipe en avait mené moins de cinq cents[16]16. T. Besiroglu et al., « Chinchilla Scaling: A replication attempt », arXiv:2404.10102 (Epoch AI, 2024)↗ arxiv.org. L’un des auteurs principaux confirme publiquement le bug. Et la conclusion générale ? Elle ressort renforcée : le recalcul retombe sur les mêmes vingt jetons par paramètre. Une loi auscultée par des inconnus armés d’un lecteur de SVG, corrigée, et qui en sort plus solide : la science, quand elle fonctionne, ressemble exactement à ça.

Dernier rebondissement, le plus contre-intuitif. Aujourd’hui, presque tout le monde « viole » Chinchilla, et c’est volontaire. Le petit modèle de Llama 3 a été nourri soixante-quinze fois au-delà de son optimum théorique[19]19. Meta AI, « Introducing Meta Llama 3 » (avril 2024)↗ ai.meta.com. Aberration ? Non : Chinchilla optimise le coût d’entraînement, payé une seule fois. Or un modèle vit ensuite des milliards de requêtes, et chaque requête coûte proportionnellement à sa taille. Sur-nourrir un petit modèle, c’est payer plus cher à l’école pour payer moins cher toute la vie[18]18. H. Touvron et al., « LLaMA: Open and Efficient Foundation Language Models », arXiv:2302.13971 (Meta, 2023)↗ arxiv.org[20]20. N. Sardana et al., « Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws », arXiv:2401.00448 (ICML 2024)↗ arxiv.org. La loi n’est pas cassée : on a seulement changé la question qu’on lui pose.

Jusqu’ici, tout descend en douceur. Il est temps d’avouer ce que la droite ne montre pas.

La perte, ce score d’erreur global, glisse le long de sa loi de puissance, lisse comme une piste de ski. Mais les capacités, elles, ne glissent pas : elles sautent. Un modèle échoue à l’arithmétique à trois chiffres, échoue, échoue toujours, et soudain, un cran d’échelle plus loin, il réussit[21]21. J. Wei et al., « Emergent Abilities of Large Language Models », arXiv:2206.07682 (TMLR 2022)↗ arxiv.org. En 2022, une équipe menée depuis Google en dresse le catalogue ; son premier auteur, Jason Wei, en recensera cent trente-sept sur son blog : des aptitudes absentes des petits modèles, surgissant dans les grands, imprévisibles depuis le bas de la courbe[21]21. J. Wei et al., « Emergent Abilities of Large Language Models », arXiv:2206.07682 (TMLR 2022)↗ arxiv.org. L’équipe les baptise « capacités émergentes ».

Anthropic avait forgé l’image la plus juste dès février 2022 : le scaling général est prévisible comme un climat, les capacités particulières sont imprévisibles comme la météo d’un jour donné[22]22. D. Ganguli et al., « Predictability and Surprise in Large Generative Models », arXiv:2202.07785 (Anthropic, FAccT 2022)↗ arxiv.org. Même système, deux horizons. Et une conséquence qui inquiète les chercheurs en sécurité : si les aptitudes utiles surgissent sans prévenir, les aptitudes dangereuses aussi[22]22. D. Ganguli et al., « Predictability and Surprise in Large Generative Models », arXiv:2202.07785 (Anthropic, FAccT 2022)↗ arxiv.org.

Puis, en 2023, trois chercheurs de Stanford posent la question de sale gosse : et si la falaise était dans votre règle, pas dans le modèle[23]23. R. Schaeffer, B. Miranda, S. Koyejo, « Are Emergent Abilities of Large Language Models a Mirage? », arXiv:2304.15004 (NeurIPS 2023)↗ arxiv.org ?

Leur argument est d’une simplicité désarmante. Prenez une addition à dix chiffres, notée en tout-ou-rien : dix chiffres justes, ou zéro point. Un modèle qui progresse régulièrement, chiffre après chiffre, restera « nul » à l’examen pendant des années, puis paraîtra génial du jour au lendemain. La marche d’escalier est dans la notation, pas dans la machine. Changez de métrique, accordez des points partiels, et les falaises étudiées se déplient en pente douce. De fait, plus de 92 % des émergences recensées sur BIG-Bench n’apparaissent que sous deux métriques, l’une discontinue (la note tout-ou-rien), l’autre non linéaire (la correspondance exacte)[23]23. R. Schaeffer, B. Miranda, S. Koyejo, « Are Emergent Abilities of Large Language Models a Mirage? », arXiv:2304.15004 (NeurIPS 2023)↗ arxiv.org. Le papier, intitulé « Are Emergent Abilities of Large Language Models a Mirage? », reçoit un prix à NeurIPS 2023.

Alors, mirage ou réalité ? Réponse honnête : les deux camps tenaient chacun une moitié de la vérité, et le débat de 2023 s’est dissous dans quelque chose de plus fin.

D’abord, les auteurs du « mirage » l’écrivent eux-mêmes noir sur blanc : rien dans leur papier n’affirme que les grands modèles ne peuvent pas avoir de capacités émergentes[23]23. R. Schaeffer, B. Miranda, S. Koyejo, « Are Emergent Abilities of Large Language Models a Mirage? », arXiv:2304.15004 (NeurIPS 2023)↗ arxiv.org. Ensuite, pour l’utilisateur, l’émergence pratique est bien réelle : quand vous posez une question, c’est la bonne réponse qu’il vous faut, pas une réponse « continûment moins fausse »[24]24. J. Wei, « Common arguments regarding emergent abilities » (blog, mai 2023)↗ www.jasonwei.net. Passer de 3 % à 60 % de réussite reste une bascule, quelle que soit la douceur de la mécanique sous-jacente. Enfin, les travaux suivants ont montré que même avec des métriques continues, certaines aptitudes ne décollent que sous un seuil de perte précis[25]25. Z. Du et al., « Understanding Emergent Abilities of Language Models from the Loss Perspective », arXiv:2403.15796 (NeurIPS 2024)↗ arxiv.org ; qu’on peut lire la courbe lisse comme la moyenne d’un million de marches minuscules, chaque petite compétence s’acquérant d’un coup[26]26. E. Michaud, Z. Liu, U. Girit, M. Tegmark, « The Quantization Model of Neural Scaling », arXiv:2303.13506 (NeurIPS 2023)↗ arxiv.org ; et, découverte de 2025-2026, qu’à échelle strictement identique, le hasard de l’initialisation décide parfois qu’un modèle « perce » et qu’un autre non[27]27. R. Zhao et al., « Random Scaling of Emergent Capabilities », arXiv:2502.17356 (2025, v5 février 2026)↗ arxiv.org.

Ce qui laisse la leçon la plus inconfortable du chapitre : la droite prédit le score d’erreur global, pas ce que le modèle saura faire. On sait payer pour descendre la courbe. On ne sait pas toujours ce qu’on achète.

Décembre 2024, Vancouver. Ilya Sutskever, cofondateur d’OpenAI et l’un des artisans de l’ère du scaling, monte sur la scène de NeurIPS recevoir un prix pour ses travaux d’il y a dix ans. Il en profite pour prononcer l’éloge funèbre : « Le pré-entraînement tel que nous le connaissons va s’arrêter, sans le moindre doute »[30]30. I. Sutskever, talk « Test of Time » (seq2seq), NeurIPS, 13 décembre 2024 (vidéo)↗ www.youtube.com. Sa raison est physique : « les données sont le combustible fossile de l’IA ». Et cette phrase qui claque : « Nous n’avons qu’un seul internet. »

Il n’invente pas le problème. Epoch AI l’avait chiffré : le stock effectif de texte humain public utilisable tourne autour de 300 000 milliards de jetons, et les entraînements l’auront intégralement absorbé quelque part entre 2026 et 2032[28]28. P. Villalobos et al., « Will we run out of data? Limits of LLM scaling based on human-generated data », arXiv:2211.04325 (v2, 2024)↗ arxiv.org[29]29. Epoch AI, « Will we run out of data? » (juin 2024)↗ epoch.ai. Une fenêtre, pas une falaise datée, et du texte public seulement : le synthétique, le privé, l’image et la vidéo restent hors du décompte[29]29. Epoch AI, « Will we run out of data? » (juin 2024)↗ epoch.ai. Mais tout de même : pour la première fois, l’un des trois ingrédients de la loi a un fond de réservoir visible.

Le doute s’était d’ailleurs déjà installé, pour une raison plus triviale. Février 2025 : OpenAI sort GPT-4.5, présenté comme « notre modèle le plus grand et le meilleur pour la conversation »[38]38. OpenAI, « Introducing GPT-4.5 » (27 février 2025)↗ openai.com. Sam Altman, d’une franchise touchante, prévient le jour même : « mauvaise nouvelle : c’est un modèle géant et coûteux », qui « n’écrasera pas les benchmarks »[39]39. S. Altman, X (27 février 2025)↗ x.com. Prix : trente fois celui du modèle courant. Quatre mois et demi plus tard, il est retiré du catalogue de l’API (il survivra un temps dans ChatGPT). Un géant cher, tiède, vite rangé : la presse spécialisée rédige l’acte de décès du scaling.

Elle commet un contresens, et il vaut la peine d’être nommé. Une loi d’échelle est logarithmique : elle promet un gain constant pour chaque multiplication par dix du calcul, pas un émerveillement constant par produit lancé. Un modèle décevant est un événement industriel ; une loi cassée serait une courbe qui dévie. La courbe, elle, n’a pas dévié. Ce qui a changé, c’est l’endroit où l’argent achète le plus de progrès.

Car pendant que les uns rédigeaient la nécrologie, l’axe du graphe s’était dédoublé.

Septembre 2024 : OpenAI présente o1, premier modèle entraîné longuement à raisonner, et publie deux courbes côte à côte : la performance grimpe avec le calcul d’apprentissage par renforcement, et grimpe aussi « avec le temps passé à réfléchir » au moment de répondre[32]32. OpenAI, « Learning to reason with LLMs » (12 septembre 2024)↗ openai.com. Réfléchir se paie en calcul, et ce calcul-là suit ses propres lois d’échelle, formalisées le même été : sur certains problèmes, un modèle qui réfléchit longtemps bat un modèle quatorze fois plus gros qui répond du tac au tac[33]33. C. Snell et al., « Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters », arXiv:2408.03314 (2024)↗ arxiv.org.

La démonstration de force arrive en décembre 2024. Sur ARC-AGI, un test de raisonnement conçu pour résister aux modèles de langage, o3 atteint 75,7 % en configuration raisonnable ; poussé à 172 fois plus de calcul par tâche, plusieurs milliers de dollars pièce, il monte à 87,5 %[35]35. ARC Prize, « OpenAI o3 Breakthrough High Score on ARC-AGI-Pub » (20 décembre 2024)↗ arcprize.org. Même modèle, mêmes poids : seul le temps de réflexion a changé. Le milieu du graphe venait de changer d’axe.

Un mois plus tard, la Chine ajoute sa pièce au dossier : DeepSeek-R1 montre qu’on peut faire émerger le raisonnement par apprentissage par renforcement pur, sans exemples humains de raisonnement[36]36. DeepSeek-AI, « DeepSeek-R1 », arXiv:2501.12948 ; Nature 645, 633-638 (2025)↗ arxiv.org, pour une phase finale d’entraînement à 294 000 dollars, posée au-dessus des quelque 6 millions du modèle de base, chiffres partiels mais publiés, chose rarissime, dans une revue à comité de lecture[36]36. DeepSeek-AI, « DeepSeek-R1 », arXiv:2501.12948 ; Nature 645, 633-638 (2025)↗ arxiv.org. La semaine de sa sortie, Nvidia perd près de 600 milliards de dollars de capitalisation en une séance. Les marchés venaient de comprendre que la course avait plusieurs pistes.

Depuis, les indices se lisent comme un polar. GPT-5, sorti en août 2025, a été entraîné avec moins de calcul que GPT-4.5 d’après les estimations d’Epoch : le progrès était allé se chercher ailleurs, dans le raisonnement et l’affinage[40]40. OpenAI, « Introducing GPT-5 » (7 août 2025)↗ openai.com[41]41. Epoch AI, « Why GPT-5 used less training compute than GPT-4.5 (but GPT-6 probably won’t) » (2025)↗ epoch.ai. Trois mois plus tard, Google sort Gemini 3, bond de performance porté par le pré-entraînement, et son co-responsable savoure : « Contrairement à la croyance populaire selon laquelle le scaling est terminé [...] aucun mur en vue ! »[42]42. O. Vinyals, X (18 novembre 2025)↗ x.com. Et les analystes d’Epoch calculent que la flambée du calcul de raisonnement, dix fois plus tous les quelques mois, était un rattrapage : elle rejoindra le rythme de croisière général, environ quatre fois par an[37]37. Epoch AI, « How far can reasoning models scale? » (mai 2025)↗ epoch.ai.

État des lieux mi-2026, donc : le pré-entraînement géant marque une pause plus qu’un arrêt, le renforcement et la réflexion absorbent la croissance, et les praticiens résument sans lyrisme : les lois d’échelle fonctionnent toujours, les fruits les plus bas ont été cueillis, et l’on scale désormais sur tous les axes à la fois[54]54. L. Fridman, « State of AI in 2026 » (#490, avec N. Lambert et S. Raschka, transcript)↗ lexfridman.com.

Reste la question que tout le monde pose, et qu’il faut poser proprement : combien de crans de zoom nous séparent du bout de l’axe ?

Les analystes d’Epoch AI ont fait l’exercice contrainte par contrainte[43]43. Epoch AI, « Can AI scaling continue through 2030? » (août 2024)↗ epoch.ai. Leur conclusion : la croissance actuelle, quatre fois plus de calcul par an, est techniquement soutenable jusqu’en 2030 environ. Au bout : des entraînements autour de 2×10^29 opérations, dix mille fois GPT-4. La distance de GPT-2 à GPT-4, une fois de plus. Quatre crans au-dessus de GPT-4 ; moins de trois au-dessus des records d’aujourd’hui.

Ce qui mord en premier, dans l’ordre : l’électricité, puis la fabrication des puces, puis les données, puis une contrainte de pure physique des machines, la latence[43]43. Epoch AI, « Can AI scaling continue through 2030? » (août 2024)↗ epoch.ai. L’électricité donne le vertige utile : les plus gros entraînements tirent déjà plus de cent mégawatts ; en 2030, le plus gros run réclamerait entre 4 et 16 gigawatts[44]44. Epoch AI, « How much power will frontier AI training demand in 2030? » (août 2025)↗ epoch.ai, la puissance de quatre à seize réacteurs nucléaires[45]45. U.S. Department of Energy, « How much power does a nuclear reactor produce? »↗ www.energy.gov.

L’entraînement de Grok 4, le record documenté à ce jour, a coûté environ un demi-milliard de dollars et consommé 310 gigawattheures[46]46. Epoch AI, « What did it take to train Grok 4? » (septembre 2025)↗ epoch.ai ; la barre du milliard de dollars par entraînement est attendue vers 2027[14]14. B. Cottier et al., « The rising costs of training frontier AI models », arXiv:2405.21015 (Epoch AI, 2024)↗ arxiv.org. On note au passage que les promesses vont plus vite que les factures : les « 5 à 10 milliards en 2025-2026 » annoncés par Dario Amodei en 2024[47]47. D. Amodei, entretien avec Ezra Klein, The New York Times (12 avril 2024)↗ www.nytimes.com ne se sont, à mi-2026, encore matérialisés sur aucun run confirmé.

Quant aux capitaines de la course, il faut les citer avec leurs dates, car le paysage bouge tous les trimestres. Fin 2024, Sam Altman tranchait en quatre mots : « there is no wall »[49]49. S. Altman, « there is no wall », X (14 novembre 2024)↗ x.com, avant d’ériger en 2025 sa propre observation, l’intelligence d’un modèle croît « à peu près comme le log des ressources »[50]50. S. Altman, « Three Observations » (blog, 9 février 2025)↗ blog.samaltman.com, et de conclure en 2026 : « parier contre le scaling des LLM me semble assez malavisé »[51]51. S. Altman, propos sur le scaling des LLM (juin 2026, rapportés par The Decoder)↗ the-decoder.com. Dario Amodei maintient que le pré-entraînement « continue de donner des gains » et voit le renforcement suivre les mêmes lois[48]48. D. Amodei, entretien avec Dwarkesh Patel (13 février 2026)↗ www.dwarkesh.com. Demis Hassabis pousse le scaling « au maximum » tout en pariant qu’il faudra « une ou deux » percées de plus, et place son AGI vers 2030[52]52. D. Hassabis, entretien Axios (26 mai 2026)↗ www.axios.com. Sundar Pichai, le plus prudent, avait prévenu dès 2024 : « les fruits les plus bas sont cueillis », la pente est plus raide, mais « je ne souscris pas pleinement à l’idée du mur »[53]53. S. Pichai, sommet DealBook du New York Times (4 décembre 2024, via CNBC)↗ www.cnbc.com.

Aucun d’eux ne peut invoquer un théorème. Le plus élégant, dans ce dossier, est que le papier fondateur avait prévu sa propre fin de validité : dès 2020, Kaplan notait que ses tendances devaient finir par s’aplatir, « puisque le langage naturel n’a pas une entropie nulle », et chiffrait même, avec d’énormes barres d’erreur, l’horizon où ses courbes deviendraient incohérentes[9]9. J. Kaplan, S. McCandlish et al., « Scaling Laws for Neural Language Models », arXiv:2001.08361 (OpenAI, 2020)↗ arxiv.org. La version moderne et sérieuse de cette intuition, c’est la fenêtre d’Epoch : quelque part entre ici et 2032, le régime qui a porté cette histoire devra se réinventer, par les données synthétiques, le multimodal, le raisonnement, ou une idée qui n’existe pas encore[29]29. Epoch AI, « Will we run out of data? » (juin 2024)↗ epoch.ai[31]31. I. Sutskever, entretien avec Dwarkesh Patel (25 novembre 2025)↗ www.dwarkesh.com.

Il existe enfin un scénario où la question changerait de nature : celui où les modèles deviendraient bons à améliorer les modèles. La droite, alors, se mettrait à se nourrir d’elle-même. C’est une autre histoire, et nous l’avons déjà racontée : notre récit sur l’auto-amélioration récursive.

Personne ne sait si la ligne tiendra. On sait seulement que pendant que vous lisez, quelque part entre le Texas et Memphis, des turbines chauffent, des racks s’alignent, et un ingénieur vient d’écrire un chiffre sur un bout de papier.