Capacités · Intro
Les Transformers et l’attention
Ce site s’est donné une règle avant d’écrire sa première ligne : ne jamais refaire en moins bien ce qui existe déjà en superbe. Cette page est la première à l’appliquer.
Il fallait pourtant l’expliquer, le Transformer. C’est l’architecture derrière à peu près tout ce qui se raconte ici : ChatGPT, Claude, Gemini, les générateurs d’images, et la quasi-totalité des systèmes que ce site dissèque récit après récit. Nous avions commencé nos schémas. Puis nous avons relu ceux du Financial Times, et nous avons rangé les nôtres.
En septembre 2023, l’équipe de récit visuel du FT publie « Generative AI exists because of the transformer »[1]. Vous faites défiler, et l’architecture se déplie dans l’ordre : les mots deviennent des jetons, les jetons deviennent des nombres, les nombres se pèsent les uns les autres, et le sens sort de ce pesage. Près de trois ans plus tard, cela reste la plus belle porte d’entrée que nous connaissions. Elle est en anglais, en accès libre, et vaut chacune de vos minutes.
──────[ le renvoi ]──────
« Generative AI exists because of the transformer »
Financial Times · visual storytelling · septembre 2023 · en anglais · accès libre
Et si vous voulez remonter à la source de la source, huit pages suffisent.
──────[ attention is all you need · 2017 ]──────
Juin 2017. Huit chercheurs de Google publient « Attention Is All You Need »[2], l’article qui remplace la lecture mot à mot par un principe unique : laisser chaque mot regarder tous les autres, et apprendre lesquels comptent. C’est ce regard que rejoue le schéma ci-dessus, sur l’exemple canonique popularisé avec l’article[3]. Presque toute l’IA moderne descend de ces huit pages.
Le jour où quelqu’un fera mieux que le FT, nous referons cette page. En attendant, elle reste courte à dessein : c’est sa façon d’être honnête. Et pour comprendre pourquoi grossir ces Transformers les a rendus si puissants, la suite naturelle est notre récit sur les lois d’échelle.
Sources et pour aller plus loin
- 1. Financial Times (Visual Storytelling), « Generative AI exists because of the transformer », septembre 2023
- 2. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, I. Polosukhin, « Attention Is All You Need », NeurIPS 2017 (arXiv:1706.03762)
- 3. J. Uszkoreit, « Transformer: A Novel Neural Network Architecture for Language Understanding », Google Research Blog, août 2017