Čo je robots.txt
Súbor v čistom texte v koreni hostiteľa, na adrese /robots.txt, ktorý prehľadávačom hovorí, o ktoré cesty URL smú požiadať. Je to pokyn na prehľadávanie, nie riadenie prístupu: súbor je verejný a prehľadávač, ktorý ho ignoruje, technicky nič neporušuje. V RFC 9309 sú štandardizované len štyri direktívy: User-agent, Allow, Disallow a Sitemap.


