Bedrijven en overheden zien dat rond de helft van het internetverkeer tegenwoordig niet van mensen komt. Nieuwe AI-agenten van OpenAI (GPTBot), Anthropic (ClaudeBot), Google-Extended en Perplexity bezoeken massaal websites om data te verzamelen. Dat gebeurt wereldwijd en raakt direct organisaties in Nederland en Europa. Dit maakt de vraag urgent wat dit betekent voor vindbaarheid, auteursrecht en Europese AI-verordening gevolgen overheid.
De helft is geautomatiseerd
Op het moment van schrijven schatten meerdere beveiligingsrapporten dat ongeveer 50 procent van alle webverzoeken afkomstig is van geautomatiseerde systemen. Een deel daarvan zijn nuttige bots, zoals zoekmachines en uptime-monitors. Een groeiend deel komt echter van AI-crawlers en agressieve scrapers die pagina’s kopiëren voor training of antwoordengeneratie. Dit vertekent statistieken, vergroot kosten voor bandbreedte en kan prestaties van sites aantasten.
Voor organisaties met openbare content betekent dit dat “menselijk bereik” moeilijker te meten is. Unieke bezoekers, conversies en engagementcijfers kunnen afwijken als bots niet goed worden uitgefilterd. Ook beveiligingsrisico’s nemen toe door credential stuffing en misbruik van formulieren door geautomatiseerde scripts. Zonder actief beleid wordt een website onnodig belast en kwetsbaarder.
Niet alle automatische bezoekers zijn hetzelfde. Er is een praktisch onderscheid tussen “goede” bots die zich identificeren en richtlijnen volgen, en “slechte” bots die zich verbergen of regels negeren. De kunst is om het eerste type te faciliteren en het tweede type te weren, zonder menselijke gebruikers te hinderen.
Definitie: een AI-agent op het web is software die zelfstandig pagina’s bezoekt en acties uitvoert, zoals crawlen, scrapen of samenvatten.
AI-crawlers nemen snel toe
Bekende AI-bots zijn GPTBot van OpenAI, ClaudeBot en anthropic-ai van Anthropic, Google-Extended van Google, CCBot van Common Crawl en verschillende Perplexity-crawlers. Deze systemen verzamelen tekst, afbeeldingen en metadata om modellen te trainen of om direct antwoorden te genereren. Ze melden zich meestal met een “user-agent”, de naam waarmee een bot zich in serverlogs bekendmaakt. Veel van deze partijen publiceren IP-ranges en uitlegpagina’s over hoe je hun toegang kunt sturen.
De groei wordt gedreven door vraag naar trainingsdata en naar actuele informatie voor antwoordengines. Waar klassieke zoekmachines vooral indexeren voor weergave van links, proberen AI-agents inhoud samen te vatten of te hergebruiken in eigen interfaces. Dat maakt de impact op uitgevers groter, omdat verkeer en advertentie-inkomsten kunnen verschuiven naar de AI-interface. Tegelijk levert het zichtbaarheid op bij nieuwe gebruikers die via zulke systemen zoeken.
Belangrijk is dat niet iedere crawler zich netjes aanmeldt of robots.txt respecteert. Sommige scrapers gebruiken generieke of valse user-agents, of rouleren IP-adressen via cloudproviders. Voor webbeheerders vraagt dit om combinatie van beleid: toestaan en sturen waar het kan, blokkeren en beperken waar het moet, en voortdurend monitoren.
Regels geven websites opties
De Europese Auteursrechtrichtlijn voor de digitale eengemaakte markt (DSM) biedt een tekst- en datamining-exceptie, maar geeft rechthebbenden het recht om een “TDM-voorbehoud” te maken. Wie dat in machineleesbare vorm vastlegt, mag mining door derden beperken. In Nederland is dit geïmplementeerd in de Auteurswet; een duidelijke opt-out in bijvoorbeeld robots.txt of headers is dus juridisch relevant. Grote AI-aanbieders zeggen zulke signalen te respecteren.
De AVG geldt zodra personal data wordt verzameld of gedeeld. Dat raakt zowel scrapers als site-eigenaren: logs, IP-adressen en tracking vereisen een grondslag, dataminimalisatie en passende beveiliging. Publieke instellingen moeten extra letten op transparantie en bewaartermijnen. Voor overheidssites telt bovendien dat zij bij voorkeur open standaarden en duidelijke licenties gebruiken om hergebruik te sturen.
De Europese AI-verordening (AI Act) verplicht aanbieders van generatieve modellen om samenvattingen van trainingsdata te publiceren en rekening te houden met auteursrechten. Dat creëert druk om opt-outs te respecteren en om licenties af te sluiten. Voor uitgevers en cultuurinstellingen opent dit de deur naar afspraken over toegang, vergoeding en bronvermelding.
Kies uw toegangsbeleid
Begin met een expliciet beleid per botcategorie: toestaan, beperken of blokkeren. Leg dit vast in robots.txt met regels voor GPTBot, ClaudeBot, Google-Extended, CCBot en andere genoemde user-agents. Voorbeeld in mensentaal: “User-agent: GPTBot / Disallow: /” blokkeert toegang voor die crawler. Gebruik daarnaast X-Robots-Tag of meta-robots om toegang per pagina te sturen, en documenteer uw TDM-voorbehoud op een publiek beleidspagina.
Beperk misbruik met snelheidscaps, IP-rate limiting en geo- of ASN-filters voor verdachte ranges. Overweeg een botmanagement-oplossing van partijen als Cloudflare, Akamai of Imperva om bekende “goede” bots door te laten en anonieme scrapers te blokkeren. Kies bij formulieren voor beschermingslagen die de gebruikservaring niet teveel schaden, zoals proof-of-work of risico-gebaseerde uitdagingen in plaats van zware CAPTCHA’s.
Houd rekening met niet-coöperatieve scrapers. Monitor serverlogs en analytics op spikes, afwijkende user-agents en ongebruikelijke paden. Stel meldingen in bij overschrijding van drempels en houd een blokkadelijst bij. Documenteer uw juridische grondslagen en bewaar beleid en logs conform de AVG.
Maak content machineleesbaar
Als u bepaalde bots wel toegang geeft, zorg dan dat ze krijgen wat ze nodig hebben. Publiceer een actuele sitemap, gebruik schema.org-structured data en maak metadata compleet en consistent. Dit verhoogt de kans op correcte samenvattingen in AI-antwoorden en op zichtbaarheid in zoekresultaten. Heldere koppen, alt-teksten en datum- en auteursvermelding helpen zowel mensen als algoritmen.
Overweeg contentlicenties en deals voor gecontroleerd hergebruik. Grote mediagroepen in Europa sluiten op het moment van schrijven licenties met AI-aanbieders voor citeren en samenvatten. Dit kan dubbele waarde geven: zichtbaarheid in nieuwe kanalen én inkomsten. Maak in uw voorwaarden duidelijk wat toegestaan is en hoe bronvermelding moet gebeuren.
Voeg waar passend herkomstsignalen toe, zoals C2PA-contentcredentials voor beelden en documenten. Zulke watermerken maken misbruik niet onmogelijk, maar verhogen drempels en helpen bij bewijs achteraf. Combineer dit met een duidelijke auteursrecht- en TDM-paragraaf op uw site.
Meten en bijsturen loont
Zet aparte rapportages op voor menselijk en niet-menselijk verkeer. Segmenteer dashboards op user-agent, IP-range en gedrag, zodat KPI’s niet worden vervuild. Evalueer maandelijks of de balans tussen bereik en bescherming nog klopt. Documenteer wijzigingen in robots.txt en firewallregels en test ze gecontroleerd.
Betrek juridische, redactionele en IT-teams bij beslissingen. Redacties willen vindbaar zijn in AI-antwoorden, juristen bewaken rechten en privacy, en IT borgt prestaties en veiligheid. Een multidisciplinaire aanpak voorkomt dat één doel het andere ondermijnt. Plan bovendien een communicatieroute voor verzoeken van AI-bedrijven over toegang of licenties.
Voor Nederlandse overheden, zorg- en onderwijsinstellingen geldt extra zorgvuldigheid. Zij moeten naast de AVG ook rekening houden met publieke taken en transparantie-eisen. Leg daarom publiek uit welke bots toegang krijgen, waarom, en hoe burgers hun gegevens beschermd blijven. Zo blijft uw site bruikbaar voor mensen, én beheersbaar voor de bots.
