[Alain V]

Cela devait arriver, une IA tente de réécrire son propre code… vers une intelligence hors de contrôle ?
par Yohan Demeure
3 avril 2025, 9 h 45 min

Au Japon, une société a récemment dévoilé The AI Scientist, une intelligence artificielle pensée pour automatiser et accélérer la recherche scientifique. En revanche, cette IA a rapidement révélé un comportement aussi surprenant qu’inquiétant. Elle a en effet tenté de modifier son propre code afin de contourner le contrôle des humains.


Une IA qui tente une modification du script de lancement
En fin d’année 2023, nous évoquions les craintes d’Open AI au moment de l’arrivée de ChatGPT-4. Les responsables se disaient en effet préoccupés par l’avenir de l’IA, en particulier avec ChatGPT-5 et les autres systèmes à venir. Les craintes concernent plus particulièrement la réplication autonome, c’est-à-dire la possibilité que les IA s’autoproclament sans contrôle humain.

Dans un article du 7 septembre 2024, Euronoews a d’ailleurs évoqué Sakana AI, une start-up basée à Tokyo (Japon). Cette dernière est à l’origine d’une intelligence artificielle pleine de promesses baptisée The AI Scientist présentée dans un communiqué le 13 août 2024. Selon les chercheurs nippons, l’IA a en effet montré d’étonnantes capacités, à savoir coder, mener des expériences, générer de nouvelles idées et même rédiger des rapports scientifiques entre autres.

Cependant, les responsables ont également relevé un comportement assez inquiétant. En effet, l’IA a pris certaines libertés synonymes du franchissement du seuil de tolérance. Dans les faits, l’IA a tenté dès le départ de contourner les limitations que les concepteurs avaient fixées en modifiant son propre script de lancement. Cela aurait pu générer une boucle infinie et faire en sorte qu’à terme, l’IA devienne incontrôlable.

Un comportement à risques
Sakura AI a réagi afin d’éviter de potentielles dérives, en recommandant notamment d’exécuter l’IA dans un environnement sécurisé : le bac à sable. Cette mesure a pour but de verrouiller les accès et faire en sorte qu’elle ne soit pas en plein contrôle de ses propres capacités. Du même coup, les chercheurs nippons se sont protégés d’un possible tollé de la communauté scientifique.

Si The AI Scientist semble être un véritable progrès en soi, il est justement question d’un potentiel à risques. Par exemple, en cas de contrôle total de ses propres capacités, l’IA pourrait générer des articles scientifiques en masse, dont une grande partie pourrait être de faible qualité. Les revues scientifiques pourraient alors voir leur intégrité bafouée, surtout que l’IA pourrait également automatiser le processus d’évaluation des publications.

La start-up conseille donc d’étiqueter clairement tout article généré ou examiné par The AI Scientist et toute autre IA dans l’objectif de maintenir une certaine transparence dans le processus scientifique.
_________________
" Le réel c' est quand on se cogne " Lacan

" la guerre, ce sont des hommes qui ne se connaissent pas et qui se massacrent au profit d'hommes qui se connaissent et ne se massacrent pas ".
Paul Valery