1 op de 5 Nederlandse websites blokkeert AI-zoekmachines zonder het te weten

In dit artikel:

Uit een scan van de 500 populairste Nederlandse websites blijkt dat AI-zichtbaarheid voor veel organisaties al misgaat vóórdat content een rol speelt. Op 10 juni 2026 onderzocht een Nederlands bureau de technische toegankelijkheid voor crawlers van onder meer ChatGPT, Claude, Gemini en Perplexity. Van de 393 sites die technisch bereikbaar waren, bleek een vijfde de bots volledig te blokkeren en liet 17,3 procent ze wel binnen maar zonder bruikbare structuur voor AI-antwoorden. Slechts 1,5 procent was volgens de onderzoekers echt goed ingericht voor generatieve zoekmachines.

Vooral robots.txt-bestanden blijken een probleem: veel sites kopiëren oude blokkades één op één, vaak gericht op GPTBot, terwijl nieuwere bots zoals OAI-SearchBot en ChatGPT-User minder vaak worden afgeschermd. Daardoor sluiten veel sites wel de trainingsbots buiten, maar niet altijd de bots die pagina’s juist citeren in live antwoorden. Ook blokkeren veel organisaties dezelfde bots als nieuwsmedia, terwijl dat voor uitgevers logisch kan zijn maar voor vergelijkingssites, dienstverleners en andere bedrijven juist nadelig is.

De studie laat zien dat de basis vaak ontbreekt: alleen een sitemap of standaard gestructureerde data is niet genoeg. Wie wél wil opduiken in AI-antwoorden, moet de crawler eerst toelaten en daarna content aanbieden die makkelijk te verwerken is, zoals heldere vragen als koppen, FAQ-schema’s en overzichtstabellen. De onderzoekers wijzen erop dat dit al in een middag is aan te passen en dat sommige kleine sites daar nu al verkeer en omzet uit halen via ChatGPT.