83% Nederlandse webshops heeft geen AI-crawlerbeleid

Uit onderzoek naar de robots.txt-bestanden van 100 Nederlandse webshops blijkt dat 83 procent geen expliciet beleid heeft voor AI-crawlers zoals GPTBot, PerplexityBot en ClaudeBot. Van de 89 analyseerbare webshops bleken zowel grote retailers als mkb-bedrijven nauwelijks na te denken over welke AI-systemen toegang krijgen tot hun productinformatie. Het verschil tussen grote ketens en kleinere webshops is daarbij minimaal.

AI-beleid vaak onbewust of standaard ingesteld

Bij de beperkte groep webshops die wél AI-instellingen heeft, blijkt het beleid vaak niet bewust gekozen. In meerdere gevallen was de configuratie afkomstig uit standaardinstellingen van hostingomgevingen of securityplugins. Slechts een klein aantal organisaties lijkt daadwerkelijk een afgewogen keuze te hebben gemaakt over welke AI-crawlers toegang krijgen tot productdata, prijzen en voorraadinformatie.

Bewuste keuzes blijven uitzondering

De onderzochte retailers laten zien dat verschillende strategieën mogelijk zijn. Zo blokkeert Flinders AI-crawlers vrijwel volledig, terwijl MediaMarkt juist kiest voor een selectieve aanpak: AI-systemen die bijdragen aan zichtbaarheid in zoek- en antwoordmachines krijgen toegang, terwijl crawlers die data verzamelen voor AI-training worden geweerd. Daarmee vormt MediaMarkt een van de weinige voorbeelden van een bewust AI-beleid.

AI-beleid wordt strategisch marketingvraagstuk

Volgens de onderzoekers is het ontbreken van beleid niet per definitie verkeerd, maar vraagt de opkomst van AI Search en AI-agents wel om een bewuste afweging. Organisaties doen er goed aan te bepalen welke AI-partijen hun data mogen gebruiken en ervoor te zorgen dat productinformatie actueel en volledig is. Nu AI een steeds grotere rol speelt in online koopadvies, wordt AI-governance daarmee niet alleen een IT-vraagstuk, maar ook een strategische marketingkeuze.