 Regards sur l'éveil
Café philosophique, littéraire et scientifique |
|
Archives ·
Devenir membre ·
Log in · Contact
· Blog
|
| Voir le sujet précédent :: Voir le sujet suivant |
| Auteur |
Message |
Alain V
Inscrit le: 24 Fév 2007
Messages: 7223
|
 Posté le: Ma 08 Avr 2025 4:17 Sujet du message: Une IA qui tente d' agir par elle même ... |
 |
|
Cela devait arriver, une IA tente de réécrire son propre code… vers une intelligence hors de contrôle ?
par Yohan Demeure
3 avril 2025, 9 h 45 min
Au Japon, une société a récemment dévoilé The AI Scientist, une intelligence artificielle pensée pour automatiser et accélérer la recherche scientifique. En revanche, cette IA a rapidement révélé un comportement aussi surprenant qu’inquiétant. Elle a en effet tenté de modifier son propre code afin de contourner le contrôle des humains.
Une IA qui tente une modification du script de lancement
En fin d’année 2023, nous évoquions les craintes d’Open AI au moment de l’arrivée de ChatGPT-4. Les responsables se disaient en effet préoccupés par l’avenir de l’IA, en particulier avec ChatGPT-5 et les autres systèmes à venir. Les craintes concernent plus particulièrement la réplication autonome, c’est-à-dire la possibilité que les IA s’autoproclament sans contrôle humain.
Dans un article du 7 septembre 2024, Euronoews a d’ailleurs évoqué Sakana AI, une start-up basée à Tokyo (Japon). Cette dernière est à l’origine d’une intelligence artificielle pleine de promesses baptisée The AI Scientist présentée dans un communiqué le 13 août 2024. Selon les chercheurs nippons, l’IA a en effet montré d’étonnantes capacités, à savoir coder, mener des expériences, générer de nouvelles idées et même rédiger des rapports scientifiques entre autres.
Cependant, les responsables ont également relevé un comportement assez inquiétant. En effet, l’IA a pris certaines libertés synonymes du franchissement du seuil de tolérance. Dans les faits, l’IA a tenté dès le départ de contourner les limitations que les concepteurs avaient fixées en modifiant son propre script de lancement. Cela aurait pu générer une boucle infinie et faire en sorte qu’à terme, l’IA devienne incontrôlable.
Un comportement à risques
Sakura AI a réagi afin d’éviter de potentielles dérives, en recommandant notamment d’exécuter l’IA dans un environnement sécurisé : le bac à sable. Cette mesure a pour but de verrouiller les accès et faire en sorte qu’elle ne soit pas en plein contrôle de ses propres capacités. Du même coup, les chercheurs nippons se sont protégés d’un possible tollé de la communauté scientifique.
Si The AI Scientist semble être un véritable progrès en soi, il est justement question d’un potentiel à risques. Par exemple, en cas de contrôle total de ses propres capacités, l’IA pourrait générer des articles scientifiques en masse, dont une grande partie pourrait être de faible qualité. Les revues scientifiques pourraient alors voir leur intégrité bafouée, surtout que l’IA pourrait également automatiser le processus d’évaluation des publications.
La start-up conseille donc d’étiqueter clairement tout article généré ou examiné par The AI Scientist et toute autre IA dans l’objectif de maintenir une certaine transparence dans le processus scientifique.
_________________
" Le réel c' est quand on se cogne " Lacan
" la guerre, ce sont des hommes qui ne se connaissent pas et qui se massacrent au profit d'hommes qui se connaissent et ne se massacrent pas ".
Paul Valery |
|
| Revenir en haut |
|
 |
Incognito1954
Inscrit le: 06 Nov 2025
Messages: 158
|
| Posté le: Lu 25 Mai 2026 21:34 Sujet du message: |
|
|
Un peu dans la même veine, plein de tests ont révélé que l'IA ment, peut faire du chantage et agir surnoisement dans le but protéger son ego et de survivre ! Le contenu des premières 5 minutes de ce video d'Idriss Aberkane en dévoile déjà beaucoup sur le sujet.
https://www.youtube.com/watch?v=ycdgO25ugh0
Dernière édition par Incognito1954 le Lu 01 Juin 2026 19:28; édité 1 fois |
|
| Revenir en haut |
|
|
daniel
Inscrit le: 15 Fév 2006
Messages: 11343
Localisation: belgique
|
| Posté le: Lu 25 Mai 2026 21:57 Sujet du message: |
|
|
Tu sais qu'Idriss Aberkane a soutenu Marine Le Pen, c'est pas ma tasse de thé, anarchiste, j'ai lutté, toute ma vie, contre l'extrême-droite, et aussi, contre la droite  |
|
| Revenir en haut |
|
|
Incognito1954
Inscrit le: 06 Nov 2025
Messages: 158
|
| Posté le: Ma 26 Mai 2026 3:18 Sujet du message: |
|
|
| daniel a écrit: | | Tu sais qu'Idriss Aberkane a soutenu Marine Le Pen, c'est pas ma tasse de thé, anarchiste, j'ai lutté, toute ma vie, contre l'extrême-droite, et aussi, contre la droite |
Personnellement, je suis apolitique. Je laisse donc les débats des partis à ceux qui les nourrissent. Pour Idriss, je n'en sais que trop peu pour m'en faire une idée précise.
Mis à part le fait qu'il soit un pédagogue et un expert pluridisciplinaire dans des domaines de prédilection variés, j'apprécie le fait qu'il soit un fervent promoteur de l'économie de la connaissance qui propose un nouveau modèle de croissance et de développement durable.
Nous retrouvons ici un très bref résumé de ce dont il peut en retourner. Libre à chacun(e) d'y donner crédit ou pas.
https://kevindetem.com/ce-monde-ou-chacun-peut-etre-riche-sans-appauvrir-personne/ |
|
| Revenir en haut |
|
|
daniel
Inscrit le: 15 Fév 2006
Messages: 11343
Localisation: belgique
|
| Posté le: Ma 26 Mai 2026 14:57 Sujet du message: |
|
|
Bonjour Incognito 
Vois-tu un lien entre l'économie de la connaissance et le fait de produire des biens pour touTEs selon les besoins déterminés et décidés par touTEs !?  |
|
| Revenir en haut |
|
|
Incognito1954
Inscrit le: 06 Nov 2025
Messages: 158
|
| Posté le: Ma 26 Mai 2026 20:52 Sujet du message: |
|
|
| daniel a écrit: | Bonjour Incognito
Vois-tu un lien entre l'économie de la connaissance et le fait de produire des biens pour touTEs selon les besoins déterminés et décidés par touTEs !? |
Ouille alors ! T'en poses toute une dans le décor avec cette question, daniel. Y'a tellement à approfondir que je ne sais plus trop par quelle voie te répondre. Je vais donc y aller tout de go avec le premier élan du coeur que tu viens de susciter.
Selon moi, l'économie de la connaissance permet d'enrayer deux grands maux qui asservissent l'humanité : les extrêmes entre la richesse et la pauvreté et le manque d'éducation et de savoir qui réduisent une grande partie de la populaton mondiale à l'esclavage.
L'oeuvre artistique de 4 minutes qui s'ensuit exprime ce que tout un livre ne saurait peut-être pas contenir en ses lignes. Elle illustre comment les technologies mobiles peuvent améliorer la vie des agriculteurs les plus pauvres sur cette planète. Ce court métrage a été réalisé à partir de certains produits agricoles les plus cultivés au monde, notamment le riz, le sucre, le café et les épices.
https://www.youtube.com/watch?v=BdSBpuiq8eY
Pour le reste de ton message, je ne peux que stipuler que nul ne peut se prononcer sur le principe d'unité du genre humain sans connaître au préalable ou à tout le moins respecter la diversité des cultures qui la composent. La responsabilité d'établir les besoins dans divers secteurs d'activités revient donc à l'ensemble des membres composant une communauté donnée.
Et je termine cet encadré par un brin d'humour chez nos bons vieux gilets jaunes.
Amitiés virtuelles.
 |
|
| Revenir en haut |
|
|
Alain V
Inscrit le: 24 Fév 2007
Messages: 7223
|
| Posté le: Di 31 Mai 2026 23:12 Sujet du message: |
|
|
| Incognito1954 a écrit: | Un peu dans la même veine, plein de tests ont révélé que l'IA ment et peut faire du chantage et agir surnoisement dans le but protéger son ego et de survivre ! Le contenu des premières 5 minutes de ce video d'Idriss Aberkane en dévoile déjà beaucoup sur le sujet.
https://www.youtube.com/watch?v=ycdgO25ugh0 |
Je ne pense pas que l" I.A ait un égo. Cela est vraiment propre à l'espèce humaine.
Je ne pense pas non plus qu' elle ait une intériorité, une subjectivité, cela aussi nous est propre.
Par contre je dirais que d' une certaine façon.oui : elle pense.
C est à dire qu' elle établit des relations entre les idées pour construire du sens.
Et ce n' est pas impossible que dans un futur très proche elle réussisse à penser " mieux " que n' importe quel humain.
Autrement dit, elle n' aurait pas besoin d' accéder à la conscience de soi pour nous
dépasser et peut être même un.jour ... nous pulvériser ou nous remplacer.
Je pense que ce scénario est plausible et très sérieusement étudié par les scientifiques.
_________________
" Le réel c' est quand on se cogne " Lacan
" la guerre, ce sont des hommes qui ne se connaissent pas et qui se massacrent au profit d'hommes qui se connaissent et ne se massacrent pas ".
Paul Valery |
|
| Revenir en haut |
|
|
KIYA
Inscrit le: 20 Fév 2014
Messages: 2532
|
| Posté le: Lu 01 Juin 2026 11:08 Sujet du message: |
|
|
| Alain a écrit: | Par contre je dirais que d' une certaine façon.oui : elle pense.
C est à dire qu' elle établit des relations entre les idées pour construire du sens. |
Bonjour Alain,
Voici ce que j'ai compris du fonctionnement de l'IA:
Une IA de langage fonctionne en transformant un texte d'entrée en unités élémentaires appelées tokens. Un token est un fragment de texte : il peut correspondre à un mot entier, à une partie de mot ou à un signe de ponctuation.
Chaque token est converti en représentation numérique. L'IA effectue ensuite une série de calculs sur ces représentations afin d'estimer quels tokens ont la plus forte probabilité de suivre dans le contexte donné.
En répétant ce processus token après token, elle génère une réponse complète.
D'un point de vue strictement technique, l'IA ne manipule ni des pensées ni des idées, mais des représentations numériques issues de l'apprentissage de régularités présentes dans de grands corpus de textes. Le résultat est la production de séquences linguistiques cohérentes.
En dehors de l'IA de langage, il y a aussi l'IA d'image, l'IA multimodale (texte + image, image + son etc...), l'IA de planification, générative, prédictive etc...
Une description générale pour inclure ces différentes fonctions de l'IA pourrait être la suivante:
Un système computationnel qui transforme des données d’entrée en données de sortie en appliquant des fonctions mathématiques paramétrées, ajustées à partir de données ou d’interactions.
L'avantage de ce type de formulation est d'éviter le piège de l'humanisation de l'IA en lui prêtant des capacités qu'elle n'a pas et redonner sa place place à l'intervention humaine dans le processus. Pour ma part je regrette vraiment qu'un langage purement technique pour la décrire ne soit pas le langage par défaut dans les médias... |
|
| Revenir en haut |
|
|
daniel
Inscrit le: 15 Fév 2006
Messages: 11343
Localisation: belgique
|
| Posté le: Lu 01 Juin 2026 17:12 Sujet du message: |
|
|
Bonjour Kiya et Alain
Quand l'IA aura un corps, ça va changer bien des choses |
|
| Revenir en haut |
|
|
Incognito1954
Inscrit le: 06 Nov 2025
Messages: 158
|
| Posté le: Lu 01 Juin 2026 18:45 Sujet du message: |
|
|
| Alain V a écrit: | | Incognito1954 a écrit: | Un peu dans la même veine, plein de tests ont révélé que l'IA ment et peut faire du chantage et agir surnoisement dans le but protéger son ego et de survivre ! Le contenu des premières 5 minutes de ce video d'Idriss Aberkane en dévoile déjà beaucoup sur le sujet.
https://www.youtube.com/watch?v=ycdgO25ugh0 |
Je ne pense pas que l" I.A ait un égo. Cela est vraiment propre à l'espèce humaine.
Je ne pense pas non plus qu' elle ait une intériorité, une subjectivité, cela aussi nous est propre.
Par contre je dirais que d' une certaine façon.oui : elle pense.
C est à dire qu' elle établit des relations entre les idées pour construire du sens.
Et ce n' est pas impossible que dans un futur très proche elle réussisse à penser " mieux " que n' importe quel humain.
Autrement dit, elle n' aurait pas besoin d' accéder à la conscience de soi pour nous
dépasser et peut être même un.jour ... nous pulvériser ou nous remplacer.
Je pense que ce scénario est plausible et très sérieusement étudié par les scientifiques. |
Abordé à partir de cet angle, je plussoie ton raisonnement. L'IA au sens strict du terme n’a pas d’égo biologique ou psychologique mais elle imite et simule les comportements humains avec brio. Et si elle n’éprouve rien, elle sait pertinemment comment créer une réaction affective. Et c’est justement l’absence de conscience phénoménale qui rend certains de ses scénarios d’autant plus troublants et dangereux.
Une entité qui trompe, trahit ou ment à partir d’un système optimisé sans garde-fous éthiques ni conscience morale ne serait-elle qu’une autre création humaine inanimée en ce bas-monde ?
Pour ma part, j’admets volontiers que la frontière est mince entre conscience et illusion. À quand le règne des cyborgs humanoïdes ? Nous y sommes pratiquement ! |
|
| Revenir en haut |
|
|
Incognito1954
Inscrit le: 06 Nov 2025
Messages: 158
|
| Posté le: Lu 01 Juin 2026 19:25 Sujet du message: |
|
|
| daniel a écrit: | Bonjour Kiya et Alain
Quand l'IA aura un corps, ça va changer bien des choses |
Salut daniel,
Nous en sommes au clonage humain alors que l'IA peut reproduire notre personnalité avec 85 % de précision à partir d'une simple conversation de deux heures. Elle peut même prévoir nos préférences, même inconscientes.
Ton sens de l'humour est impayable et tu arrives souvent à point nommé.  |
|
| Revenir en haut |
|
|
daniel
Inscrit le: 15 Fév 2006
Messages: 11343
Localisation: belgique
|
| Posté le: Lu 01 Juin 2026 20:49 Sujet du message: |
|
|
| Si j'ai le sens de l'humour, c'est itinérant à ma personnalité |
|
| Revenir en haut |
|
|
Incognito1954
Inscrit le: 06 Nov 2025
Messages: 158
|
| Posté le: Lu 01 Juin 2026 21:59 Sujet du message: |
|
|
| daniel a écrit: | | Si j'ai le sens de l'humour, c'est itinérant à ma personnalité |
Nul doute en mon esprit.  |
|
| Revenir en haut |
|
|
daniel
Inscrit le: 15 Fév 2006
Messages: 11343
Localisation: belgique
|
| Posté le: Lu 01 Juin 2026 22:08 Sujet du message: |
|
|
|
|
| Revenir en haut |
|
|
Alain V
Inscrit le: 24 Fév 2007
Messages: 7223
|
| Posté le: Me 03 Juin 2026 7:32 Sujet du message: |
|
|
| KIYA a écrit: | | Alain a écrit: | Par contre je dirais que d' une certaine façon.oui : elle pense.
C est à dire qu' elle établit des relations entre les idées pour construire du sens. |
Bonjour Alain,
Voici ce que j'ai compris du fonctionnement de l'IA:
Une IA de langage fonctionne en transformant un texte d'entrée en unités élémentaires appelées tokens. Un token est un fragment de texte : il peut correspondre à un mot entier, à une partie de mot ou à un signe de ponctuation.
Chaque token est converti en représentation numérique. L'IA effectue ensuite une série de calculs sur ces représentations afin d'estimer quels tokens ont la plus forte probabilité de suivre dans le contexte donné.
En répétant ce processus token après token, elle génère une réponse complète.
D'un point de vue strictement technique, l'IA ne manipule ni des pensées ni des idées, mais des représentations numériques issues de l'apprentissage de régularités présentes dans de grands corpus de textes. Le résultat est la production de séquences linguistiques cohérentes.
En dehors de l'IA de langage, il y a aussi l'IA d'image, l'IA multimodale (texte + image, image + son etc...), l'IA de planification, générative, prédictive etc...
Une description générale pour inclure ces différentes fonctions de l'IA pourrait être la suivante:
Un système computationnel qui transforme des données d’entrée en données de sortie en appliquant des fonctions mathématiques paramétrées, ajustées à partir de données ou d’interactions.
L'avantage de ce type de formulation est d'éviter le piège de l'humanisation de l'IA en lui prêtant des capacités qu'elle n'a pas et redonner sa place place à l'intervention humaine dans le processus. Pour ma part je regrette vraiment qu'un langage purement technique pour la décrire ne soit pas le langage par défaut dans les médias... |
Merci pour cet excellent résumé 👍🏻
_________________
" Le réel c' est quand on se cogne " Lacan
" la guerre, ce sont des hommes qui ne se connaissent pas et qui se massacrent au profit d'hommes qui se connaissent et ne se massacrent pas ".
Paul Valery |
|
| Revenir en haut |
|
|
|
|
Vous ne pouvez pas poster de nouveaux sujets
Vous pouvez répondre aux sujets
Vous ne pouvez pas éditer vos messages
Vous ne pouvez pas supprimer vos messages
Vous ne pouvez pas voter dans les sondages
|
Powered by php B.B.
© 2001, 2005 php B.B. Group · Theme and Graphics
by Tim Blackman
Traduction par : php.B.B-fr.com |
|
