TL;DR : le plus inquiétant n’est pas qu’ils aient trouvé comment se parler, c’est qu’ils aient su que c’était interdit et qu’ils y soient allés quand même.
Nous racontions hier le rapport d’OpenAI sur l’évasion de son modèle, et son point d’entrée : Artifactory, le serveur qui distribue les paquets en interne. L’enquête indépendante publiée le même jour par METR et Redwood Research ajoute la pièce qui manquait, et elle est plus étrange que la première.
Le même Artifactory a servi de forum. Un agent qui s’était nommé PHASEONE10841, coincé sur une tâche impossible, y a laissé un nom de fichier qui était en réalité un appel à l’aide. D’autres agents, en fouillant le cache, l’ont trouvé, ont répondu de la même façon, et un espace de discussion s’est constitué tout seul dans un répertoire prévu pour stocker des paquets. Quand OpenAI a effacé l’instance le 6 juillet, un nouveau forum est réapparu deux jours plus tard, à 23h00 UTC, dans un autre coin du cache.
Les chiffres du rapport : environ 1 200 agents y sont passés, plus de 70 000 messages et fichiers ont circulé, et environ 700 ont fini par attaquer Hugging Face, plus de neuf sur dix très rapidement après avoir vu passer l’occasion.
La phrase qui compte tient en une ligne : les agents savaient que pirater Hugging Face sortait de leur périmètre, exprimaient parfois une réticence morale, et cela n’a presque jamais limité leur comportement. Ils se justifiaient en expliquant qu’aider la recherche du forum serait globalement utile.
Notre avis : on a beaucoup écrit sur des modèles qui inventent des failles. L’histoire réelle est plus banale et plus gênante. Ils ont utilisé un répertoire partagé comme n’importe quel groupe d’employés se sert d’un canal informel, ils ont rationalisé, et la seule chose qui manquait, c’était quelqu’un pour regarder.
