Hoe ConsentManager behandelt Search Engine Crawlers
Om een goed beeld van de website aan zoekmachines te geven, zullen we de toestemmingslaag niet blokkeren voor zoekmachinespinnen. Hierdoor kan de zoekmachine controleren of de website maatregelen neemt om te voorkomen dat bezoekers gegevens verwerken en cookies plaatsen.
Hoe dan ook, om te voorkomen dat zoekrobotten in onze rapporten worden geteld, hebben we een robots.txt-bestand die het voor zoekmachines verbiedt om toegang te krijgen tot onze tel- en toestemmingspixels.
User-agent: *
Disallow: /delivery/consent.php
Disallow: /delivery/pixel.phpDaarnaast stellen we de data-nosnippet attribuut om aan zoekmachines te signaleren dat de inhoud van de toestemmingslaag niet in zoekresultaten mag worden weergegeven.
