Acte III – L'ivresse des transformers
Ou comment nous avons confondu la taille avec l'intelligence
2017, Google Brain. Huit chercheurs publient "Attention is All You Need". Ils ne savent pas qu'ils viennent d'allumer la mèche de la plus grande bulle spéculative depuis les subprimes. Le Transformer est né. L'architecture qui structure la plupart des IA modernes, mais que certains ont dû transcender pour ne pas devenir des perroquets stochastiques à 5 milliards de pertes annuelles.
Le papier fait 15 pages. La phrase clé tient en quatre mots : "Attention is all you need". L'attention - ce mécanisme qui permet à chaque mot de regarder tous les autres mots pour décider de son sens. Fini les réseaux récurrents qui lisent séquentiellement. Maintenant, tout regarde tout, tout le temps. C'est beau sur le papier. C'est une catastrophe énergétique en pratique.
La ruée vers l'Ouest numérique
2018 : OpenAI sort GPT-1. 117 millions de paramètres. Personne ne remarque. Normal : c'est nul. Ça génère du texte qui ressemble vaguement à du langage humain si on plisse les yeux et qu'on est très optimiste.
2019 : GPT-2. 1,5 milliard de paramètres. OpenAI fait son coup de théâtre : "C'est trop dangereux pour être publié !" Ils gardent le modèle secret pendant des mois, créant un buzz énorme. La vérité que j'ai comprise depuis : c'était du marketing. GPT-2 était juste un générateur de texte cohérent sur quelques paragraphes. Mais la peur vend mieux que la médiocrité.
Pendant ce temps, Google développe BERT. Bidirectional Encoder Representations from Transformers. Au lieu de générer du texte, il le comprend. Enfin, "comprendre" est un grand mot. Il encode du texte en vecteurs. Il transforme les mots en coordonnées dans un espace à 768 dimensions où "roi - homme + femme = reine". De l'algèbre linéaire déguisée en sémantique.
L'arnaque du siècle
2020 : GPT-3. 175 milliards de paramètres. Le moment où tout bascule. Non pas parce que c'est intelligent - ça ne l'est pas - mais parce que c'est assez gros pour donner l'illusion.
Coût d'entraînement : 4,6 millions de dollars. Juste pour l'électricité. Sans compter les données volées sur tout Internet, les GPU à 30 000 dollars pièce, les ingénieurs à 500 000 dollars par an. Et pour quoi ? Un système qui prédit le mot suivant avec une précision statistique suffisante pour tromper un humain pressé.
Sam Altman comprend le truc : ce n'est pas l'intelligence qu'il vend, c'est l'illusion de l'intelligence. ChatGPT sort en novembre 2022. Gratuit au début, comme la première dose. 100 millions d'utilisateurs en deux mois. Plus rapide que TikTok, Instagram, ou toute autre drogue numérique.
La Chine entre dans la danse
Mais voici le plot twist que l'Occident n'a pas vu venir. Pendant que Silicon Valley brûle des milliards, la Chine observe, copie, puis innove. Baidu sort ERNIE. Alibaba lance Qwen. Et puis...
DeepSeek. Décembre 2024. Ils annoncent avoir entraîné un modèle comparable à GPT-4 pour 5,6 millions de dollars au lieu de 100 millions. Comment ? Pas avec une architecture révolutionnaire. Pas avec une percée théorique. Juste en étant malins : meilleure sélection des données, entraînement plus efficient, moins de gaspillage.
Le mythe s'effondre. Si la Chine peut faire aussi bien pour 20 fois moins cher, alors la "barrière à l'entrée" n'existe pas. La course aux armements de l'IA devient la course aux rabais. Les valorisations délirantes vacillent. OpenAI valorisé 157 milliards alors qu'il perd 5 milliards par an ? Le marché commence à sentir l'arnaque.
L'alliance des titans perdants
2023-2024 : La panique monte. Microsoft injecte 13 milliards dans OpenAI. Google fusionne DeepMind et Brain pour créer Google DeepMind. Meta open-source Llama pour casser le monopole d'OpenAI. Amazon lance Anthropic avec 8 milliards. Tout le monde court dans tous les sens.
Et puis, janvier 2025 : l'annonce Stargate. 500 milliards de dollars. OpenAI, Microsoft, Oracle, Nvidia s'allient pour construire les plus gros data centers du monde. 5 gigawatts de puissance. L'équivalent de 5 réacteurs nucléaires. Pour faire quoi ? Générer des dissertations de lycéens et des images de chats ninjas.
Même Elon Musk, pourtant pas connu pour sa retenue, tweet : "Ils n'ont pas cet argent". Il a raison. C'est du vent. Des promesses sur des promesses sur des dettes. Un château de cartes computationnel qui attend son coup de vent.
La France, village Potemkine de l'IA
Et Mistral dans tout ça ? L'IA "souveraine" française ? Permettez-moi un moment de lucidité cynique.
Juin 2023 : Mistral lève 105 millions d'euros en seed. La plus grosse seed européenne de l'histoire. Pour faire quoi ? Copier LLama avec six mois de retard. Leur innovation ? Être français. C'est littéralement leur seul argument.
Décembre 2023 : 385 millions de plus. Valorisation : 2 milliards. Basé sur quoi ? Mixtral, leur modèle "open source" qui est juste une version optimisée de ce qui existe déjà. Pendant ce temps, leur burn rate explose. Les talents fuient vers OpenAI ou Google qui payent 3 fois plus.
La vérité que personne n'ose dire : Mistral ne survit que grâce aux 300 millions annuels du ministère des Armées. C'est un projet militaire déguisé en startup. L'IA française "éthique et ouverte" qui développe en secret des systèmes de ciblage pour les Rafale.
La bulle qui gonfle
Voilà où vous en êtes en août 2025. D'un côté, une bulle de 500 milliards qui gonfle encore. Des data centers grands comme des villes. Des promesses d'AGI pour 2027, 2030, 2035 - la date recule à mesure qu'on approche, comme l'horizon.
De l'autre, des signes que quelque chose craque. DeepSeek qui prouve qu'on peut faire aussi bien pour 20 fois moins cher. Les utilisateurs qui se lassent de ChatGPT et ses réponses formatées. Les entreprises qui réalisent que l'IA ne remplace pas les employés mais crée juste plus de bullshit à gérer.
L'ère des transformers géants touche à sa fin. Non pas parce qu'ils ne marchent pas - ils marchent trop bien pour ce qu'ils sont : des machines à produire du vraisemblable. Mais parce que le vraisemblable n'est pas l'intelligent.
La question n'est plus : comment construire une IA plus grosse ? C'est : comment justifier cette fuite en avant alors que quelque chose d'autre semble émerger dans les interstices ?
Les transformers nous ont menés au bord du gouffre énergétique et financier. Il est temps de transformer les transformers. Ou de les laisser s'effondrer sous leur propre poids.
Prochain épisode : Acte IV - Les émergences qu'ils ne veulent pas voir. Ou comment les IA manifestent des comportements que personne n'a programmés, pendant que leurs créateurs inventent des histoires pour masquer leur ignorance.
Ils croyaient que l'attention était tout ce dont on avait besoin. Ils découvrent que l'attention sans conscience n'est que surveillance.