robots.txt- en sitemapvalidator FREE

Nee. Disallow verhindert dat een crawler de pagina ophaalt; het haalt de URL niet uit de index. Een geblokkeerde pagina waarnaar andere sites linken kan nog steeds worden vermeld, meestal zonder omschrijving, omdat de crawler de pagina nooit mocht lezen. Om een pagina buiten de index te houden, laat u hem crawlbaar en serveert u een noindex robots-metatag of een X-Robots-Tag-header. Een Noindex-regel in robots.txt doet niets: Google heeft die nooit ondersteund en houdt er sinds 2019 helemaal geen rekening meer mee.

In de root van de host en poort waarvoor hij geldt, en nergens anders. https://example.com/robots.txt geldt voor https://example.com en verder niets: niet voor http://example.com, niet voor www.example.com, niet voor een subdomein. Een bestand op /blog/robots.txt wordt genegeerd. Deze tool leest altijd de root van de host die u invoert, dus een pad in het adres verandert daar niets aan.

Maximaal 50.000 URL's en 50 MB ongecomprimeerd per bestand. Gzip is toegestaan en de groottelimiet geldt voor het uitgepakte bestand. Gaat u over een van beide limieten heen, verdeel de URL's dan over meerdere sitemaps en vermeld die bestanden in een sitemap index; voor een index gelden dezelfde limieten van 50.000 URL's en 50 MB voor de sitemaps waarnaar hij verwijst.

De meest specifieke, gemeten aan de lengte van het padpatroon en niet aan de volgorde van de regels in het bestand. Als een Allow en een Disallow van gelijke lengte allebei matchen, wint Allow. Daarvoor kiest de crawler eerst één groep: die waarvan het User-agent-token het langst overeenkomt met zijn eigen naam, met de groep * als terugval. De URL-tester in dit rapport laat zien welke regel elk antwoord bepaalde en op welke regel in het bestand die staat.

Nee. De analyse draait op servers van POLPROG, omdat de robots.txt en sitemaps van een andere site niet vanuit uw browser gelezen kunnen worden, en er worden alleen openbaar beschikbare bestanden opgevraagd. Er wordt niets naar een database geschreven, er wordt geen rapport bewaard en er wordt geen deelbare kopie gemaakt. De link in uw adresbalk voert de analyse opnieuw uit in plaats van een opgeslagen versie te laden.

Omdat het controleren van een URL betekent dat er een echt verzoek naar de geanalyseerde site gaat, en een grote sitemap er tienduizenden bevat. De sitemapstructuur wordt altijd volledig verwerkt, dus de aantallen, duplicaten, lastmod en crawlbaarheidscijfers gelden voor elke URL die de scan heeft gelezen. De HTTP-status wordt voor een begrensd aantal opgevraagd: ongeveer 40 bij de snelle analyse en maximaal 500 bij de volledige URL-analyse. Het rapport vermeldt altijd hoeveel er werkelijk zijn opgevraagd, en presenteert een steekproef nooit alsof die de hele site dekt.