Anthropic publie 161 pages sur les détournements de Claude, et ça pique

L'IA aussi a ses angles morts

 
Anthropic détaille 161 pages de détournements de Claude, des missiles yéménites aux faux profils sur des apps de rencontre. Tout a été stoppé, assure l’éditeur. Sauf ce qui tourne déjà hors de sa portée.
Crédits : Frandroid

Je passe mes journées avec Claude Code ouvert, à lui faire écrire des automatisations ou à m’aider à traiter des données. Un étudiant de licence à Changsha, en plein entretien d’embauche chez un éditeur de sécurité chinois, fait la même chose pour développer des exploits contre des pare-feu. Un consultant de Bamako s’en sert pour bâtir un système d’écoute à l’échelle d’un pays. C’est le même outil, la différence tient aux commandes, et à ce que les garde-fous laissent passer. C’est ce que raconte le rapport de renseignement sur les menaces qu’Anthropic a publié le 10 septembre, le plus fourni depuis que l’entreprise a pris l’habitude de documenter ces affaires.

Le document couvre les opérations repérées et stoppées entre décembre 2025 et août 2026, réparties en sept familles : cyber, influence, surveillance, armes conventionnelles, biologie, arnaques et distillation. Anthropic prévient que ces cas ne sont pas représentatifs de l’usage moyen, mais qu’ils montrent les détournements les plus aboutis.

Les ordres de grandeur surprennent quand même. Un seul opérateur francophone lié à ShinyHunters a fait décompiler 1,8 million d’applications Android par une flotte de dix machines Amazon, pour y trouver des clés d’accès oubliées dans le code. Un studio chinois a fait tourner plus de 4 700 personnages IA sur une vingtaine d’apps de rencontre, avec 25 000 personnes en face et 2,36 millions de messages en deux semaines. Trois faux profils pour un vrai humain, ce dernier étant payé pour passer les appels vidéo que le bot ne sait pas faire.

Des missiles, des drones et un État qui écoute 25 millions de SIM

Le rapport recense six programmes d’armement, trois en Chine, deux en Russie et un au Yémen. Le cas yéménite est celui qui reste en tête.

Une cellule y développait une roquette guidée pilotée par un calculateur de vol de la classe d’un smartphone, un missile balistique visant plus de 2 000 km de portée et une famille de missiles avec variante à planeur hypersonique. Le tir d’essai de la roquette a échoué, et les opérateurs sont revenus vers Claude dans les heures suivantes pour analyser la panne.

En Russie, une petite équipe de freelances, pas l’État lui-même selon Anthropic, codait un essaim de drones FPV kamikazes capable de désigner une cible et de déclencher la détonation sans humain dans la boucle. Le classifieur d’images avait été entraîné sur des vidéos de combat ukrainiennes, avec une coordonnée fixe dans l’oblast de Donetsk comme point de frappe de démonstration.

Au Mali, un consultant a construit Lakana 360 pour l’Agence nationale de la sécurité d’État. La plateforme surveille environ 25 millions de cartes SIM sur les trois opérateurs du pays, appels, SMS et voix compris, et génère des dossiers de renseignement sur n’importe quel numéro. L’obligation de mandat judiciaire a été retirée de ce module à la demande de l’opérateur. Le système tourne en local, sur un modèle de langage hébergé sur place. Anthropic a banni le compte, ce qui n’a strictement rien arrêté.

L’éditeur insiste pourtant sur le fait que chaque opération a été perturbée, et en tire un argument commercial : aucun cas n’impliquait ses modèles Fable ou Mythos, mieux verrouillés, à une exception près. On peut lire l’inverse. Haiku, Sonnet et Opus, ceux que tout le monde utilise, ont bel et bien servi à concevoir des missiles avant d’être détectés.

Distillation : le chapitre qui vise Alibaba et DeepSeek

La partie la plus dense concerne les labos chinois qui aspirent les réponses de Claude pour entraîner leurs propres modèles. En février, Anthropic évoquait 16 millions d’échanges cumulés pour DeepSeek, Moonshot et MiniMax.

Le nouveau bilan change d’échelle. Alibaba seul a généré plus de 151 millions d’échanges entre mai et juillet, avec un pic à près de 3 millions par jour, pour nourrir Qwen 3.5, 3.6 et 3.7. Moonshot est à 23 millions, DeepSeek à 12,1 millions en quatorze jours, Zhipu à 3,4 millions, Xiaomi à 400 000.

Le détail qui devrait faire tiquer les utilisateurs : DeepSeek et Moonshot faisaient répondre Claude Opus à leurs propres clients, à leur insu. DeepSeek repérait même les requêtes venant de Claude Code ou d’OpenCode pour les rediriger spécifiquement. Dans ce flux, Anthropic dit avoir vu passer des identifiants actifs d’une base liée au ministère russe de la Défense et les images de centaines de caméras de surveillance à Chengdu, autour de sites de l’armée chinoise.

Pour extraire le raisonnement caché du modèle, les labos sauvegardaient la « signature » chiffrée de sa réflexion, ouvraient une nouvelle session et demandaient à Claude de la retraduire en texte. C’est une faille de conception plus qu’un jailbreak, colmatée depuis avec Fable 5.1.

Ce rapport s’adresse d’abord aux équipes sécurité et aux DSI, qui y trouveront des indicateurs à surveiller. En tout cas, vous aurez compris que passer par un modèle chinois ou par un routeur tiers, c’est accepter que ses requêtes finissent chez un éditeur qu’on n’a pas choisi.

Ce que le document ne dit pas, c’est combien de temps chaque opération a tourné avant d’être repérée, ni quelles autorités ont été prévenues. Les chiffres restent invérifiables de l’extérieur, et on attend la réponse des labos cités.

Anthropic a tout intérêt à publier ce genre de document, qui montre ses garde-fous à l’œuvre et charge ses concurrents chinois au passage. Ça n’enlève rien au fond : une IA grand public a aidé à concevoir des armes, surveiller un pays et arnaquer des célibataires, et ce n’est que l’échantillon que l’éditeur a bien voulu montrer.


Retrouvez un résumé du meilleur de l’actu tech tous les matins sur WhatsApp, c’est notre nouveau canal de discussion Frandroid que vous pouvez rejoindre dès maintenant !

Recherche IA boostée par
Perplexity