Kruipen in inloggebieden, afrekenprocessen en andere beperkte pagina's
Standaard zal de crawler alleen URL's bezoeken waarop de CMP-code aanwezig is. Dit kan tot problemen leiden wanneer het voor de crawler niet mogelijk is om de (dezelfde) inhoud te bereiken die een normale gebruiker zou bereiken (bijvoorbeeld omdat de gebruiker zich heeft aangemeld bij een inloggebied, producten heeft toegevoegd aan zijn winkelwagentje of andere taken heeft uitgevoerd om krijg een andere output van uw website).
Basisverificatie gebruiken
Basic Auth is de meest gebruikte authenticatiemethode voor webservers (ook bekend als ".htaccess authentication" of ".htaccess / .htpasswd login"). Om de crawler toegang te geven tot met een wachtwoord beveiligde pagina's, kunt u de authenticatie instellen via CMP's> Bewerken> Crawlerinstellingen> HTTP-verificatie.
Aangepaste cookies gebruiken
In de CMP-instellingen kunt u cookie-authenticatie instellen (CMP's> Bewerken> Crawler-instellingen weergeven> Cookie-authenticatie). Dit is een mechanisme om de crawler te vertellen dat hij cookies naar de server moet sturen (hoewel deze cookies misschien nooit ergens anders bestaan). Zodra de crawler de website bezoekt, zijn de cookies aanwezig en kan de website deze lezen. De website kan dan op een andere manier reageren dan wanneer de cookies niet aanwezig waren (bijv. Door de crawler toegang te geven tot een beperkt gebied of door bepaalde inhoud aan de crawler te tonen die anders andere stappen vereist die voorafgaand aan het bezoek moeten worden uitgevoerd). ).
Om cookie-authenticatie in te stellen, gelieve één item per regel in te voegen waar een item uit domein bestaat: cookienaam: cookievalue. Voorbeeld:
mywebsite.com:mycookie:123
myotherwebsite.com:othercookie:let_me_in
a-third-website.com:authentication:crawler
a-third-website.com:token:bfe926da3fc1