Blokkeer je AI-training bij Cloudflare? Dan blokkeer je Google mee

Stel: je wilt niet dat AI-bedrijven jouw teksten gebruiken om hun modellen te trainen. Je zit bij Cloudflare, je ziet een knop om AI-bots te blokkeren, en je zet hem aan. Begrijpelijk. Alleen zet je daarmee mogelijk ook Googlebot buiten de deur, en dan verdwijn je uit de zoekresultaten.

Dat klinkt als een randgeval, maar het zit precies in de manier waarop Cloudflare crawlers sinds dit najaar indeelt. Het vervelende is dat je het nergens in je website terugziet.

Drie soorten bots, en dat is het hele punt

Cloudflare verdeelt geautomatiseerd verkeer in drie categorieën:

• Search: crawlers die je pagina's indexeren om er later vragen over te beantwoorden.
• Agent: software die op dat moment namens iemand iets ophaalt, bijvoorbeeld als een chatbot tijdens een gesprek jouw pagina opent.
• Training: crawlers die je content gebruiken om een model te trainen.

Per categorie kies je: blokkeren op de hele site, alleen blokkeren op pagina's met advertenties, of toestaan. Je vindt het in Cloudflare onder Security Settings, bij Configure AI bot policies.

De valkuil: sommige bots doen twee dingen tegelijk

Googlebot haalt je pagina op om de zoekresultaten te vullen, en diezelfde content kan bij Google ook in training terechtkomen. Zulke crawlers heten mixed-use, en Applebot en Bingbot werken net zo.

Sinds 15 september geldt bij Cloudflare dat blokkades op Training voor alle training-crawlers gelden, ook voor die gemengde. Blokkeer je Training, dan blokkeer je Googlebot, Applebot en Bingbot mee. Google indexeert je dan niet meer, en dat merk je pas als je posities wegzakken.

Ook de oude knop "Block AI bots" valt hieronder. Die wordt uitgefaseerd, maar staat bij veel sites nog aan sinds iemand hem in 2023 of 2024 heeft aangezet met een heel andere verwachting.

Je hoeft niet te kiezen tussen AI-training en vindbaarheid

Dit is het deel dat vaak wordt overgeslagen. Er is een aparte instelling, Disallow AI Training, die precies doet wat de meeste ondernemers willen: training weigeren en gewoon vindbaar blijven.

Cloudflare publiceert die voorkeur in je robots.txt en laat de partijen die zich aan die afspraak houden wel door voor zoeken. Apple, Google en Microsoft staan op die lijst, net als Amazon, Anthropic, Meta en OpenAI, die hun training-crawler los hebben van hun zoekcrawler.

Twee kanttekeningen. Voor Bing werkt dat signaal pas zodra Microsoft het ondersteunt, naar verwachting begin 2027. En voor pagina's met advertenties bestaat deze optie niet, omdat zo'n lijst te groot en te veranderlijk is om in een robots.txt te zetten.

Nieuwe domeinen krijgen dit standaard

Zet je een nieuw domein bij Cloudflare, dan worden Training en Agent standaard geblokkeerd op pagina's met advertenties, terwijl Search gewoon is toegestaan. Prima uitgangspunt, maar het is wel een keuze die iemand anders voor je maakt. Weet dus wat er staat voordat je ergens live gaat.

Waarom je dit niet in je website ziet

Een blokkade bij Cloudflare gebeurt vóór het verkeer je server bereikt. Je robots.txt ziet er normaal uit, je WordPress of webshop meldt niets, en toch komt de crawler niet binnen.

Daarom wordt dit soort fouten vaak pas weken later gevonden, als iemand zich afvraagt waarom pagina's niet meer worden geïndexeerd. Hoe je dat opspoort, lees je in onze blog over Google Search Console.

Wat je deze week doet

• Log in bij Cloudflare en kijk bij Security Settings welke AI-bot-instellingen aanstaan. Staat de oude knop "Block AI bots" nog aan, dan is dat je eerste aandachtspunt.
• Wil je geen AI-training? Kies dan Disallow AI Training in plaats van Training blokkeren, dan blijf je vindbaar.
• Controleer in Search Console of je pagina's nog gewoon worden gecrawld en geïndexeerd.
• Leg vast wat je hebt gekozen en waarom. Anders zet over een jaar iemand anders het weer om.

Werk je niet met Cloudflare? Dezelfde vraag geldt voor je host of je firewall. Vraag welke bots daar geblokkeerd worden.

Kort samengevat

Wie bij Cloudflare AI-training blokkeert, blokkeert sinds september ook Googlebot, Applebot en Bingbot, want die doen twee dingen tegelijk. Met Disallow AI Training weiger je training en blijf je vindbaar. Controleer wat er bij jou aanstaat, want in je website is er niets van te zien.

Wil je weten of je zichtbaarheid ergens onderweg geblokkeerd wordt, in Google of in AI-antwoorden? Lees dan ook onze blog over zichtbaar blijven nu AI-antwoorden alles opschuiven. Bij BRUTAEL kijken we mee in je instellingen en je cijfers. We denken graag met je mee.