De identiteit van onze scanner

• User-Agent: WexloScanner/1.0 (+https://wexlo.eu/scanner-info)
• We draaien vanuit de Frankfurt-regio (fra) van Fly.io. Fly.io-apps delen een regionale pool aan uitgaande IP-adressen in plaats van één vast adres, dus we kunnen hier geen smal, permanent IP-bereik publiceren; allowlisten op de User-Agent hierboven is de duurzame optie, omdat die niet verandert als het onderliggende IP-adres dat wel doet.
• We sturen nooit vervalste fingerprint-headers, simuleren geen muis-/scrollgedrag en routeren niet via proxy’s om als gewone bezoeker over te komen. Wat je in je logs ziet, is wat we zijn.
• Eén nuance, zodat je het zelf kunt beoordelen: bij betaalde scans onderdrukken we de driver-signalen waarmee een browser als geautomatiseerd te herkennen is (bijvoorbeeld navigator.webdriver), zodat bot-bescherming een scan die de site-eigenaar zelf heeft besteld minder snel blokkeert. Je bot-bescherming markeert ons daardoor mogelijk niet als bot. We verbergen daarbij niet wie we zijn: de User-Agent hierboven zit in elk verzoek en blijft de betrouwbare manier om ons te herkennen.

De meeste WAF’s en bot-beschermingsdiensten (Cloudflare, Akamai en vergelijkbare) laten je een specifieke User-Agent allowlisten, of een uitzonderingsregel daarop. Voeg de exacte tekenreeks hierboven toe aan je allowlist of firewall-uitzondering.

Bij Cloudflare is dat een WAF custom rule. Ga naar Security → WAF → Custom rules, maak een regel die ons matcht en zet de actie op Skip (of Allow), zodat je bot-beschermingsregels de scan niet uitdagen:

(http.user_agent contains "WexloScanner")

Twee dingen om te weten. Bot Fight Mode en Super Bot Fight Mode worden los van custom rules beoordeeld: wordt een scan tóch uitgedaagd, kijk dan of een van die twee aanstaat voor het pad dat we bezoeken. En een robots.txt-regel is geen firewall: die vertelt crawlers wat je liever hebt, maar laat ons niet door een WAF heen; daar heb je de regel hierboven voor nodig.

De gratis scanner en onze outreach-scans respecteren robots.txt, inclusief een groep die specifiek WexloScanner aanspreekt. Op die paden stopt een disallow ons: we breken af en melden de scan als geblokkeerd, ook als je firewall ons wél had doorgelaten. Komt een gratis scan dus geblokkeerd terug terwijl je WAF-regel al klopt, controleer dan of je robots.txtde pagina’s die je wilde laten scannen niet uitsluit.

Een betaalde scan werkt anders. Die bestel je voor een domein dat je bezit of mag laten controleren, en juist door die toestemming houdt een robots.txt-disallow een betaalde scan niet tegen: die dekt de pagina’s binnen de scope hoe dan ook. Wil je dat een betaalde scan bepaalde paden overslaat, laat het ons dan weten voordat hij draait.

We omzeilen geen bot-bescherming, lossen geen CAPTCHA’s op en gebruiken geen proxy’s/unblockers op sites die je niet bezit; de gratis scanner en onze outreach-scans degraderen altijd eerlijk en vertellen je wanneer een site ons blokkeerde, in plaats van harder te proberen erlangs te komen. Zit je eigen, geverifieerde domein achter bescherming waar we ook na allowlisten niet doorheen komen, mail dan hello@wexlo.eu; dan kijken we naar een betaalde unblock-optie op aanvraag voor dat specifieke geval.