Moet je AI-crawlers blokkeren of omarmen? Het dilemma voor MKB

AI-bots: Vriend of vijand voor jouw MKB-website?

Als ondernemer in het MKB weet je hoe belangrijk je online aanwezigheid is. Je investeert tijd en geld in een mooie website, goede content en misschien wel in SEO en Google Ads. Maar wist je dat er op de achtergrond een stille strijd woedt om de data van jouw website? Ik heb het over AI-crawlers, ook wel AI-bots genoemd. Deze bots, van bedrijven als Google, OpenAI en andere AI-ontwikkelaars, bezoeken constant je website om informatie te verzamelen.

Deze week las ik een interessant artikel op Search Engine Journal, getiteld 'Should I Block AI Crawlers Or Measure Their Value First?'. De kernboodschap: AI-bots belasten je server en schrapen content, maar ze blokkeren kan ervoor zorgen dat jouw bedrijf straks niet meer voorkomt in de antwoorden van grote taalmodellen (Large Language Models, LLM's). En dat is een dilemma waar veel MKB-ondernemers mee worstelen, vaak zonder het te weten.

Bij Wij Doen Marketing zien we dit vraagstuk steeds vaker opduiken. Vooral bij klanten in de e-commerce sector, die veel unieke productinformatie hebben, is het risico van 'data-scraping' groot. Maar tegelijkertijd willen deze bedrijven wel gevonden worden. Hoe pak je dit nu aan als MKB-ondernemer?

De tweesnijdende zwaard van AI-crawlers

Laten we de voor- en nadelen eens op een rijtje zetten, vanuit het perspectief van een MKB-ondernemer:

Nadelen: Waarom je ze misschien wilt blokkeren

• Serverbelasting: Elke keer dat een bot je website bezoekt, kost dat servercapaciteit. Als je veel bots over de vloer krijgt, kan je website trager worden. En een trage website is slecht voor de gebruikerservaring én voor je SEO. Bij sommige van onze klanten met tienduizenden producten zien we dat dit een serieuze impact kan hebben op de laadtijden.
• Datadiefstal (of 'scraping'): AI-modellen worden getraind met gigantische hoeveelheden data. Jouw unieke content, productbeschrijvingen, blogposts – het kan allemaal gebruikt worden om AI-modellen te voeden. Dit kan betekenen dat AI straks antwoord geeft op vragen waar jij uren werk in hebt gestoken, zonder dat jouw website als bron wordt genoemd. Dit is vooral een zorg voor bedrijven die veel investeren in unieke content en expertise.
• Concurrentievoordeel: Als jouw concurrentie de data van jouw website gebruikt om hun eigen AI-modellen te verbeteren, kan dit jouw unieke positie in de markt ondermijnen.

Voordelen: Waarom je ze misschien wilt omarmen

• Zichtbaarheid in AI-antwoorden: Dit is de belangrijkste reden om AI-crawlers níét volledig te blokkeren. Steeds meer mensen gebruiken AI-tools zoals ChatGPT of Google's Bard voor informatie. Als jouw website niet door deze bots wordt geïndexeerd, zal jouw bedrijf ook niet verschijnen in de antwoorden die deze AI-modellen genereren. Je loopt dan een enorme kans mis om gevonden te worden door potentiële klanten. We zien bij klanten die vroegtijdig inspelen op nieuwe technologieën vaak een voorsprong op de concurrentie.
• Toekomstbestendigheid: AI is geen hype, het is de toekomst. Door je nu al te verdiepen in de implicaties van AI-crawlers, ben je beter voorbereid op de veranderingen die nog komen gaan in online marketing en zoekmachine optimalisatie.
• Nieuwe verkeersbronnen: Hoewel het nog in de kinderschoenen staat, kunnen AI-modellen in de toekomst een significante bron van verkeer naar je website worden. Je wilt daar niet bij voorbaat al van buitengesloten zijn.

Wat betekent dit voor jou als MKB-ondernemer?

Als MKB-ondernemer heb je vaak geen groot IT-team om dit soort vraagstukken uit te zoeken. Toch is het cruciaal om hier bewust mee om te gaan. Het gaat immers over de zichtbaarheid en het succes van jouw bedrijf online. Het volledig blokkeren van alle AI-bots is een makkelijke oplossing, maar het is ook een risicovolle. Je gooit potentieel de deur dicht voor toekomstige bezoekers die via AI-modellen jouw bedrijf kunnen vinden.

Aan de andere kant wil je ook niet dat je server overbelast raakt of dat jouw unieke kennis gratis wordt weggegeven zonder enige vorm van attributie. Het gaat om het vinden van de juiste balans. Bij onze klanten zien we dat een doordachte aanpak gemiddeld tussen de 10% en 20% meer relevante bezoekers kan opleveren op termijn, omdat ze hun content beter positioneren voor zowel traditionele zoekmachines als de opkomende AI-modellen.

Twee concrete tips die je VANDAAG kunt toepassen

Oké, genoeg theorie. Hier zijn twee praktische stappen die je vandaag nog kunt zetten om hiermee aan de slag te gaan:

1. Monitor je serverlogs en websiteverkeer

Voordat je beslissingen neemt, moet je eerst weten wat er gebeurt. Duik in je analytics (bijvoorbeeld Google Analytics) en vraag je hostingpartij om inzicht in je serverlogs. Kijk welke bots je website bezoeken. Je zult naast de bekende Googlebot ook bots zien van OpenAI, Anthropic, Common Crawl en andere AI-bedrijven. Let op:

• Frequentie: Hoe vaak bezoeken deze bots je website?
• Volume: Hoeveel data verbruiken ze?
• Impact: Zie je een verband tussen hoge botactiviteit en tragere laadtijden van je website?

Als je merkt dat specifieke bots disproportioneel veel resources verbruiken zonder dat je er direct de waarde van inziet, kun je overwegen om die specifieke bots (nog) niet te blokkeren, maar te beperken via je robots.txt-bestand. Je kunt ze dan bijvoorbeeld vragen om minder vaak langs te komen. Dit is een subtielere aanpak dan een volledige blokkade en geeft je meer controle. Bij een klant in de automotive branche, zagen we dat het identificeren en vriendelijk beperken van een aantal agressieve crawlers de laadtijd met bijna een seconde verbeterde, wat direct leidde tot een lagere bounce rate en meer leads.

2. Gebruik je robots.txt-bestand slimmer

Je robots.txt-bestand is een krachtig middel om bots te vertellen welke delen van je website ze wel of niet mogen bezoeken. De meeste MKB-ondernemers zijn bekend met het instrueren van de Googlebot, maar je kunt dit ook doen voor specifieke AI-crawlers.

• Identificeer de user-agents: Zoek uit welke 'user-agents' (de naam waaronder een bot zich identificeert) de AI-bots gebruiken die je wilt beheren. Voor OpenAI is dit bijvoorbeeld 'ChatGPT-User' of 'GPTBot'.
• Beperk toegang tot specifieke content: Als je waardevolle content hebt die je liever niet direct door AI-modellen laat 'schrapen' zonder dat je er grip op hebt, kun je die specifieke pagina's of directories uitsluiten voor bepaalde AI-bots. Bijvoorbeeld:
  User-agent: GPTBot
Disallow: /mijn-unieke-onderzoek/
Disallow: /prijslijst-intern/
• Beperk crawl-snelheid: Sommige bots respecteren een Crawl-delay instructie, hoewel dit niet universeel is. Dit kan helpen de belasting op je server te verminderen.

Het is cruciaal om hier voorzichtig mee te zijn. Een verkeerde aanpassing in je robots.txt kan er ook voor zorgen dat Google je website minder goed kan indexeren, wat je zoekmachine ranking schaadt. Begin klein, test je wijzigingen en monitor de resultaten. Dit is geen 'set it and forget it' oplossing, maar een doorlopend proces.

De toekomst van online zichtbaarheid

De wereld van online marketing verandert razendsnel. Wat gisteren werkte, is morgen misschien alweer achterhaald. De opkomst van AI en LLM's betekent een nieuwe verschuiving in hoe mensen informatie vinden en consumeren. Als MKB-ondernemer is het essentieel om hierin mee te bewegen. Het volledig negeren of blokkeren van deze ontwikkelingen is op den duur geen houdbare strategie.

Door proactief te zijn, te monitoren en slimme keuzes te maken met je robots.txt, kun je de voordelen van AI-crawlers benutten (zichtbaarheid!) zonder de nadelen (serverbelasting, datadiefstal) onbeheersbaar te laten worden. Het draait om controle en strategie.

Wil je weten hoe dit voor jouw bedrijf werkt? Vraag een gratis analyse aan via onze gratis website check.