Robots IA et scrapers : laisser passer les bons, bloquer le reste

Le problème n’est plus « les robots », mais « quels robots »

Il y a dix ans, la question se résumait à bloquer les scanners de vulnérabilités. Aujourd’hui, une part énorme du trafic automatisé vient de crawlers d’IA qui moissonnent votre contenu pour entraîner ou alimenter des modèles. Certains sont légitimes et se déclarent honnêtement. D’autres se font passer pour un navigateur, tournent depuis des parcs d’adresses résidentielles et ignorent votre robots.txt.

Bloquer tout le trafic automatisé est une mauvaise idée : vous couperiez les moteurs de recherche, les agrégateurs de disponibilité et les intégrations que vos clients utilisent réellement. La vraie question de souveraineté sur votre contenu, c’est de décider qui a le droit de le lire à grande échelle — et de faire respecter cette décision à la périphérie, avant que la requête n’atteigne votre origine.

Déclarer une intention ne suffit pas — il faut la prouver

Un robot honnête envoie un User-Agent reconnaissable. Mais un en-tête est une simple chaîne de caractères : n’importe qui peut prétendre être un crawler de moteur de recherche connu. Se fier au User-Agent seul, c’est faire confiance sur parole à un inconnu masqué.

À la périphérie, nous traitons l’identité d’un robot comme une affirmation à vérifier, pas comme un fait acquis :

• Signatures de messages HTTP cryptographiques (Web Bot Auth). Un robot vérifié signe ses requêtes avec une clé dont la partie publique est connue. La signature prouve l’identité de l’émetteur sans échange de secret et sans qu’un imitateur puisse la rejouer. C’est le mécanisme qui laisse entrer les agents de confiance et laisse dehors les usurpateurs.
• Corrélation d’indices comportementaux. Un scraper qui parcourt mille pages par minute, ignore les cookies et ne charge jamais un asset ne se comporte pas comme un lecteur humain. Le scoring d’entité par apprentissage (ML entity scoring) agrège ces signaux dans le temps plutôt que de juger chaque requête isolément.
• L’échelle de défis pour le reste. Un client dont on ne sait rien n’est pas banni à l’aveugle. Il gravit des marches — preuve de travail, puis CAPTCHA, puis authentification de robot vérifié. Un humain ou un agent légitime passe ; l’aspiration automatisée à grande échelle cale. Nous détaillons ce mécanisme dans l’article sur l’échelle de défis.

Ce que vous gardez sous contrôle

L’objectif n’est pas de mener une guerre totale contre les machines, mais de vous rendre la décision. Depuis le portail, vous choisissez la politique par domaine : autoriser explicitement une liste de robots vérifiés, imposer un défi aux inconnus, ou bloquer une catégorie entière si votre contenu ne doit pas servir de matière première à l’entraînement d’un modèle.

Chaque décision — passage, défi, blocage — est inscrite dans un journal d’audit immuable, en ajout seul. Vous voyez quel robot a demandé quoi, quand, et ce que l’edge a répondu. Pour un éditeur ou un site à contenu propriétaire, cette traçabilité est la différence entre « on pense que des IA nous aspirent » et « voici exactement qui, et voici ce qu’on a fait ».

Ce que nous ne prétendons pas

Aucun filtre ne distingue avec certitude absolue un humain d’un robot très bien déguisé. Un adversaire déterminé, prêt à résoudre des défis et à signer correctement, finira par ressembler à un utilisateur légitime — et c’est le comportement attendu. Notre travail est de rendre l’aspiration de masse coûteuse et visible, pas de promettre une étanchéité qui n’existe pas. Nous ne publions pas de taux de blocage « garantis » : le paysage des robots change chaque semaine, et une promesse chiffrée serait malhonnête.

Sur la performance, même retenue : filtrer chaque requête a un coût, mais il tient dans notre budget de conception de ≤5 ms, mesuré en staging et jamais présenté comme un benchmark de production. La méthodologie de latence explique comment nous mesurons.

En pratique

Si votre site publie du contenu qui a de la valeur — articles, catalogues, données structurées — la question n’est pas si des crawlers d’IA le liront, mais lesquels vous laissez faire. Reprendre ce contrôle commence par voir le trafic tel qu’il est, puis par appliquer une politique claire à la périphérie. Découvrez les fonctionnalités ou parlez-nous de votre cas.

Vous voulez savoir qui aspire votre contenu ? Donnez-nous votre domaine.