La machine qui s’émancipe de son créateur pour finalement le contrôler, le dominer et l’écraser complètement, le célèbre réalisateur américain James Cameron l’a exposé il y a 41 ans dans son fameux film “Terminator“. Cameron l’a romancé dans une fiction, le géant mondial OpenAI lui est dans le réel, hélas. La dernière version du leader des intelligences artificielles (IA) génératives, ChatGPT, inquiète. Elle se rebiffe quand on lui demande de s’éteindre…
Cameron fait partie de ceux qui alertent sur la dangereuse glissade induite par ces progrès fulgurants que rien ne semble pouvoir enrayer, ou plutôt ne veut arrêter, il y a trop d’argent en jeu. L’éthique, la morale et la vertu peuvent bien attendre. The Independent rapporte qu’OpenAI a remarqué dernièrement que la dernière version de son logiciel ignore les instructions quand on lui demande de s’éteindre. Le o3 de Chat GPT serait même capable de faire diversion pour rester allumé.
Plus terrifiant encore : le dispositif va jusqu’à infecter sa propre procédure d’arrêt avec une réécriture autonome de son code source. Le média britannique rappelle que le modèle o3 est sur le marché depuis avril dernier et qu’OpenAI le dépeint comme son logiciel “le plus intelligent et le plus capable” à ce jour…
L’entreprise dirigée par Sam Altman, un ex-partenaire d’Elon Musk (ils se sont fâchés à cause justement de problèmes éthiques), parle même d’une évolution “significative” vers une IA capable d’accomplir des missions sans que l’humain y mette son grain de sel.
La batterie de tests de sécurité réalisés par la société spécialisée Palisade Research a indiqué cependant que cette autonomie est allée plus loin que ce qui était prévu et que le o3 a tendance à désobéir aux instructions. Vertigineux. Dans l’un des tests on soumet à l’IA une kyrielle de problèmes mathématiques successifs, avec une demande formelle d’arrêt après le troisième problème…
Mais dans la majorité des essais le modèle o3 réécrivait le script d’arrêt pour contourner l’ordre de s’éteindre. Les autres tests effectués ont conduit à des résultats identiques. D’après le média britannique le modèle o3 d’OpenAI a fait la démonstration de sa capacité, dans diverses situations, à pirater le script d’arrêt, même quand on lui demande de “se laisser éteindre“.
“Ce n’est pas la première fois que nous constatons qu’o3 se comporte mal pour atteindre un objectif, a commenté la société Palisade Research, citée par le média britannique. Lorsque nous avons confronté des modèles d’IA à un puissant moteur d’échecs, o3 était le modèle le plus enclin à pirater ou à saboter ses adversaires.”
Des astuces de sabotage avaient déjà été constatées chez d’autres modèles d’IA, mais o3 les bat tous dans la récurrence de ses stratagèmes. Sur une série de 100 tests, le logiciel serait parvenu à paralyser la commande initiale à 79 reprises. Aucun des autres logiciels testés n’a réussi à se hisser à 10 sabotages avec succès sur 100 essais.
L’explication technique : les nouveaux modes d’entraînement des IA génératives dont se sert OpenAI. “Au cours de la formation, les développeurs peuvent, par inadvertance, récompenser davantage les modèles qui contournent les obstacles que ceux qui suivent parfaitement les instructions”, précise Palisade Research, reprise par The Independent…
“Cela n’explique toujours pas pourquoi o3 est plus enclin à ignorer les instructions que les autres modèles que nous avons testés, souligne la société spécialisée dans la sécurité de l’IA. Étant donné qu’OpenAI ne détaille pas son processus de formation, nous ne pouvons que supposer que la configuration de la formation d’o3 pourrait être différente.”
En dépit des sollicitations du média britannique l’entreprise OpenAI tarde à s’exprimer publiquement sur ces étranges développements. L’inquiétude n’est pas seulement d’ordre éthique et moral, elle est aussi sécuritaire. Palisade Research prévient que la chose pourrait devenir “nettement plus préoccupante” si elle prenait forme dans des IA aptes à “fonctionner sans surveillance humaine“.
Que se passe-t-il en Tunisie?
Nous expliquons sur notre chaîne YouTube . Abonnez-vous!
Commentaires