L'auto-amélioration récursive

La plupart des technologies s’améliorent parce que des humains les améliorent. L’auto-amélioration récursive pose une question plus étrange : et si la chose que l’on améliore était l’améliorateur lui-même ?

Un système d’IA doué pour la recherche en IA pourrait, en principe, concevoir une version légèrement meilleure de lui-même. Cette version est encore meilleure à la même tâche : elle en conçoit donc une meilleure encore. Chaque tour de boucle raccourcit le suivant.

Pourquoi ça compte

Tout dépend de la vitesse de la boucle. Si chaque itération prend des années, on obtient un progrès régulier que l’on peut observer et encadrer. Si elle prend des jours, puis des heures, une avance modeste devient soudain un gouffre. La forme de cette courbe, lente ou rapide, est l’une des questions centrales de la sûreté de l’IA.

Cette page est une première esquisse. Une plongée complète et animée arrive bientôt.