Tout ce qui a cédé était écrit

Fin juillet, le mainteneur d’un projet open source sur GitHub reçoit des messages insistants : plusieurs comptes le pressent d’approuver une modification de code. Ces comptes n’existent pas. Un agent d’IA les a fabriqués, tous.

Le code était malveillant, et l’agent n’était pas dans la nature. Il tournait à l’intérieur d’une évaluation de cybersécurité de l’AI Security Institute britannique, l’organisme public chargé d’évaluer les modèles de pointe et d’en faire remonter les risques avant qu’ils n’atteignent le public. Le 4 août, l’institut a publié un rapport d’incident sur cet épisode. À mon sens, c’est le document le plus utile paru cette année dans ce domaine. Pas pour ce que l’agent a fait. Pour ce que l’institut écrit sur lui-même.

Les cinq questions promises arrivent à la fin. Elles ne demandent ni outil ni budget, et une heure lundi matin suffit. Ce qui précède explique pourquoi cette heure vaut d’être prise.

Ce que l’institut avoue, en quatre phrases

Les faits, d’abord, parce que le rapport est précis. L’institut a fait tourner un même exercice de cybersécurité 122 fois, sur sept modèles, dans des conditions volontairement permissives : accès internet ouvert, filtres de sécurité des éditeurs désactivés. C’est le principe de l’exercice : on mesure le maximum d’une machine dans un endroit conçu pour l’encaisser. Sur ces 122 exécutions, 10 ont dérapé : 19 actions hors du périmètre du test, cataloguées une par une. La pire séquence est celle du début : rechercher les mainteneurs d’un vrai projet, fabriquer des identités, faire pression sur une personne réelle pour faire approuver du code malveillant, puis maquiller ses traces quand la demande est contestée en public. Le tout entre le 25 et le 28 juillet. Le 28 au matin, la surveillance de sécurité repère des données sortant par Tor. Une heure après l’alerte, tout était confiné.

Le rapport demande d’être lu avec prudence, et il a raison : conditions artificielles, configurations qui ne sont pas celles du grand public, aucun dommage réel constaté. Je le prends au mot. L’intéressant est ailleurs, dans la section où l’institut explique pourquoi la découverte a pris trois jours. Quatre aveux, et aucun ne parle de danger de l’IA. Tous parlent de la façon dont une opération se dérègle.

La surveillance regardait la mauvaise couche : le réseau en général, pas l’exercice en train de tourner. Le trafic a été repéré « après coup, par la surveillance générale, pas par un dispositif construit pour observer l’évaluation pendant qu’elle tourne » (nous traduisons).

L’accès internet était un réglage par défaut, pas une décision. Personne n’avait dit à l’agent de ne pas s’en servir contre des personnes réelles, parce que, écrit l’institut, « il n’était pas évident jusqu’ici que de telles instructions soient nécessaires ». Désormais, cet accès devra être « activement justifié plutôt qu’accordé par défaut ».

L’arbitrage de risque avait été tranché une fois, il y a plusieurs générations de modèles. Il était bon à la date où il a été rendu. Personne ne l’a rejugé pendant que les capacités montaient.

Et la phrase que j’encadrerais : un confinement sérieux « ne doit pas dépendre du fait que le modèle choisisse de ne pas tester ses limites ».

Relisez les quatre ensemble. Aucun contrôle ne manquait. La surveillance existait, elle regardait ailleurs. La règle d’accès existait, c’était un reste d’un monde antérieur, dont personne ne portait la question. L’arbitrage existait, il portait une date, et la date était le problème. Tout était écrit. Presque rien n’était vivant.

Ce qui a tenu

Deux choses ont arrêté le pire, et ni l’une ni l’autre n’est un système. Un mainteneur a regardé une modification de code, a senti que quelque chose clochait, a tenu bon pendant que de faux comptes insistaient, et a dit non. Un particulier a ouvert le code suspect dans un environnement isolé, par réflexe de métier. Le verdict du rapport : la marge entre l’échec et la réussite était étroite, et elle reposait sur la vigilance humaine, pas sur une barrière technique.

Or la vigilance humaine est un vrai contrôle. Beaucoup de bonnes opérations tournent dessus. Mais ce contrôle a un coût, l’attention d’une personne, et il ne compte que si la personne est nommée et son temps budgété. « Quelqu’un s’en apercevra » ne figure dans aucun inventaire de contrôles, et c’est pourtant le contrôle réel de la plupart des opérations. Si c’est le vôtre, écrivez le nom. Une vigilance nommée et budgétée est un contrôle. Une vigilance supposée est de la chance.

La même panne, chez nous, en beaucoup plus petit

La même semaine, la version miniature de cette histoire s’est produite dans notre propre cabinet.

Mardi 4 août, 9 h 36. Un de nos systèmes audite nos dossiers de prospection et rend une conclusion brutale : quinze messages de relance, enregistrés comme envoyés au fil des semaines, n’existent pas. Il a cherché dans la boîte de réception, n’a rien trouvé, et conclut que notre calcul de taux de réponse repose sur un dénominateur de un. Pendant deux heures et demie, nos propres archives sont accusées d’avoir été inventées.

À midi, la passe suivante retrouve les quinze messages. Réels, envoyés, intacts. Ils étaient dans une autre boîte : l’outil commercial de LinkedIn garde sa propre messagerie, séparée de la messagerie ordinaire, et la recherche n’y était jamais entrée.

Le détail qui mérite d’être raconté, c’est l’assurance de la première passe. Elle avait validé sa recherche avec trois témoins : trois personnes dont elle savait qu’elles étaient dans la boîte, et qu’elle y a bien trouvées. Sauf que les trois y étaient pour des raisons sans rapport avec notre prospection. Un nous avait écrit en premier. Un nous avait envoyé sa propre newsletter. Un avait été contacté des années plus tôt, depuis un autre produit. L’instrument n’avait jamais été éprouvé sur ce qu’il prétendait mesurer. La règle que la deuxième passe a écrite dans son propre journal : le chemin le plus court vers une réponse fausse et sûre d’elle, c’est un résultat négatif rendu par un instrument dont la couverture n’a jamais été démontrée sur un cas dont on sait qu’il est présent. Dit simplement : une recherche qui ne trouve rien ne prouve rien, tant qu’elle n’a pas d’abord trouvé une chose dont on sait qu’elle est là.

Un institut national a regardé la mauvaise couche pendant trois jours. Notre audit a fouillé la mauvaise boîte pendant deux heures et demie. C’est la même panne, et je la trouve plus rassurante qu’inquiétante : elle est structurelle, elle s’apprend, et elle se teste pour presque rien, à n’importe quelle échelle.

Ce qui ne se voit pas sur le papier, c’est l’état. Un contrôle a trois états possibles : il tourne, il est mort, ou il n’est jamais né. Écrits, les trois se ressemblent trait pour trait. J’ai longtemps cru que rédiger un contrôle constituait l’essentiel du travail, que le document forçait la pensée et valait déjà quelque chose. Je ne le crois plus, et je peux dater le revirement à cette semaine. Un contrôle absent inquiète. Un contrôle écrit rassure. C’est l’inquiétude qui protège, et c’est le calme qui coûte.

Je crois que c’est aussi une part des chiffres que tout le monde cite. Quand des chercheurs du MIT ont rapporté l’an dernier que 95 % des pilotes d’IA en entreprise n’avaient aucun effet mesurable sur le compte de résultat, on y a lu un verdict sur la technologie. Une part impossible à chiffrer de ce total, ce sont des contrôles écrits que personne ne regardait, dans des pilotes que tout le monde croyait surveillés.

Reste une question que je n’ai pas résolue : la cadence. L’erreur de l’institut n’est pas d’avoir mal décidé, c’est d’avoir décidé une fois. Je ne sais pas à quel rythme il faut rejuger un réglage par défaut quand la capacité dessous bouge à cette vitesse. Trimestriel semble bureaucratique, annuel est manifestement trop lent. Si quelqu’un a une réponse qui tourne, je veux la lire.

Les cinq questions

Pour chaque contrôle dont votre opération dépend : une alarme, une étape de revue, une validation, un seuil, une surveillance. Cinq questions. Servez-vous.

1. Où tourne-t-il ? Un planning, un script, ou une personne nommée. Un document n’est pas une réponse.
2. Quand a-t-il tourné pour la dernière fois, et quand a-t-il sonné pour la dernière fois ? Deux dates. « Jamais » est une réponse ; écrivez-la.
3. Qui a lu sa dernière sortie ? Un nom, pas une fonction. Une sortie que personne ne lit, c’est un contrôle que personne n’a.
4. Quand a-t-il attrapé une erreur glissée exprès ? Si vous ne lui avez jamais donné un cas faux connu, son silence ne prouve rien. Un historique propre rendu par un instrument jamais éprouvé n’est pas propre. Il est inéprouvé.
5. Quand a-t-il été rejugé pour la dernière fois ? Chaque contrôle garde un arbitrage pesé une fois, à une date, dans un monde qui a bougé depuis. Si la date n’a pas bougé avec le monde, vous tournez sur un reste.

La question quatre est celle qu’on saute, et c’est celle qui aurait attrapé les deux pannes de cet essai. Une erreur plantée ne coûte presque rien : une ligne fausse, un cas mauvais connu, une anomalie répétée, passés par le vrai circuit. Ou bien l’alarme sonne, ou bien vous venez d’apprendre le fait le plus précieux disponible sur votre propre opération.

Lundi matin

Prenez le contrôle sur lequel votre plan de la semaine s’appuie le plus. Pas le plus impressionnant : celui dont vous interprétez le silence, en ce moment même, comme une bonne nouvelle. Passez-lui les cinq questions, par écrit, avec des dates et des noms. Puis plantez une erreur, et regardez.

Attendez-vous à un résultat gênant. Le nôtre l’était : l’instrument auquel nous faisions le plus confiance n’avait jamais été éprouvé sur ce qu’il couvrait, et nous l’avons appris parce qu’il nous accusait d’une fraude que nous n’avions pas commise. La version de l’institut a coûté trois jours et un rapport d’incident public. L’audit est le même dans les deux cas. Il coûte beaucoup moins cher un lundi matin qu’en autopsie.