Kruipen in inloggebieden, afrekenprocessen en andere beperkte pagina's
Standaard zal de crawler alleen URL's bezoeken waarop de CMP-code aanwezig is. Dit kan tot problemen leiden wanneer het voor de crawler niet mogelijk is om de (dezelfde) inhoud te bereiken die een normale gebruiker zou bereiken (bijvoorbeeld omdat de gebruiker zich heeft aangemeld bij een inloggebied, producten heeft toegevoegd aan zijn winkelwagentje of andere taken heeft uitgevoerd om krijg een andere output van uw website).
Basisverificatie gebruiken
Basic Auth is de meest gebruikte authenticatiemethode voor webservers (ook bekend als ".htaccess authentication" of ".htaccess / .htpasswd login"). Om de crawler toegang te geven tot met een wachtwoord beveiligde pagina's, kunt u de authenticatie instellen via CMP's> Bewerken> Crawlerinstellingen> HTTP-verificatie.
Aangepaste cookies gebruiken
In de CMP-instellingen kunt u cookie-authenticatie instellen (CMP's> Bewerken> Crawler-instellingen weergeven> Cookie-authenticatie). Dit is een mechanisme om de crawler te vertellen dat hij cookies naar de server moet sturen (hoewel deze cookies misschien nooit ergens anders bestaan). Zodra de crawler de website bezoekt, zijn de cookies aanwezig en kan de website deze lezen. De website kan dan op een andere manier reageren dan wanneer de cookies niet aanwezig waren (bijv. Door de crawler toegang te geven tot een beperkt gebied of door bepaalde inhoud aan de crawler te tonen die anders andere stappen vereist die voorafgaand aan het bezoek moeten worden uitgevoerd). ).
Om cookie-authenticatie in te stellen, gelieve één item per regel in te voegen waar een item uit domein bestaat: cookienaam: cookievalue. Voorbeeld:
mywebsite.com:mycookie:123
myotherwebsite.com:othercookie:let_me_in
a-third-website.com:authentication:crawler
a-third-website.com:token:bfe926da3fc1URL's naar de crawler verzenden
Deze code is niet nodig als je de normale CMP-code op je website hebt!
Om URL's naar de crawler te sturen (bijvoorbeeld tijdens de testfase), kunt u het volgende script aan uw website toevoegen:
<script>
(new Image()).src = "https://delivery.consentmanager.net/delivery/addurl.php?id=XX&h="+encodeURIComponent(location.href);
</script>
Vervang XX door de ID van uw CMP. Het verzamelt automatisch de URL's waar het script is geïnstalleerd en stuurt deze naar de backend om te crawlen.
