L’identité de notre robot d’analyse

• User-Agent : WexloScanner/1.0 (+https://wexlo.eu/scanner-info)
• Nous fonctionnons depuis la région de Francfort (fra) de Fly.io. Les applications Fly.io partagent un pool régional d’adresses IP sortantes plutôt qu’une adresse fixe : nous ne pouvons donc pas publier ici une plage d’adresses IP étroite et permanente. L’autorisation par le User-Agent ci-dessus est l’option durable, car il ne change pas lorsque l’adresse IP sous-jacente change.
• Nous n’envoyons jamais d’en-têtes d’empreinte falsifiés, ne simulons aucun comportement de souris ou de défilement et ne passons par aucun proxy pour nous faire passer pour un visiteur ordinaire. Ce que vous voyez dans vos journaux est ce que nous sommes.
• Une nuance, pour que vous puissiez en juger vous-même : lors des analyses payantes, nous supprimons les signaux de pilotage qui permettent de reconnaître un navigateur automatisé (par exemple navigator.webdriver), afin qu’une protection anti-robot bloque moins facilement une analyse que le propriétaire du site a lui-même commandée. Votre protection anti-robot peut donc ne pas nous signaler comme robot. Nous ne cachons pas pour autant qui nous sommes : le User-Agent ci-dessus est présent dans chaque requête et reste le moyen fiable de nous reconnaître.

La plupart des WAF et des services de protection anti-robot (Cloudflare, Akamai et équivalents) permettent d’autoriser un User-Agent précis, ou d’y créer une règle d’exception. Ajoutez la chaîne exacte ci-dessus à votre liste d’autorisation ou à votre exception de pare-feu.

Chez Cloudflare, il s’agit d’une WAF custom rule. Allez dans Security → WAF → Custom rules, créez une règle qui nous correspond et réglez l’action sur Skip (ou Allow), pour que vos règles anti-robot ne mettent pas l’analyse au défi :

(http.user_agent contains "WexloScanner")

Deux choses à savoir. Bot Fight Mode et Super Bot Fight Mode sont évalués indépendamment des custom rules : si une analyse est malgré tout mise au défi, vérifiez si l’un des deux est actif pour le chemin que nous visitons. Et une règle robots.txt n’est pas un pare-feu : elle indique aux robots d’exploration ce que vous préférez, mais elle ne nous fait pas passer un WAF. C’est à cela que sert la règle ci-dessus.

L’analyseur gratuit et nos analyses de prospection respectent robots.txt, y compris un groupe qui s’adresse spécifiquement à WexloScanner. Sur ces chemins, une directive disallow nous arrête : nous interrompons et signalons l’analyse comme bloquée, même si votre pare-feu nous avait laissés passer. Si une analyse gratuite revient donc comme bloquée alors que votre règle WAF est correcte, vérifiez que votre robots.txt n’exclut pas les pages que vous vouliez faire analyser.

Une analyse payante fonctionne autrement. Vous la commandez pour un domaine que vous possédez ou que vous êtes autorisé à faire contrôler, et c’est précisément cette autorisation qui fait qu’une directive disallow dans robots.txt n’arrête pas une analyse payante : elle couvre les pages du périmètre dans tous les cas. Si vous souhaitez qu’une analyse payante ignore certains chemins, dites-le-nous avant qu’elle ne démarre.

Nous ne contournons aucune protection anti-robot, ne résolvons aucun CAPTCHA et n’utilisons ni proxy ni service de déblocage sur des sites qui ne vous appartiennent pas ; l’analyseur gratuit et nos analyses de prospection se dégradent toujours honnêtement et vous disent quand un site nous a bloqués, au lieu d’insister pour passer. Si votre propre domaine vérifié se trouve derrière une protection que nous ne franchissons pas même après autorisation, écrivez à hello@wexlo.eu; nous étudierons alors une option de déblocage payante, sur demande, pour ce cas précis.