Przeanalizuj plik robots.txt witryny i drzewo jej map witryny. Narzędzie parsuje reguły dla robotów, podąża za plikami sitemap index, waliduje odczytane dokumenty i sprawdza zgłaszane w nim adresy URL.
Podaj domenę lub dowolną jej podstronę. robots.txt jest zawsze odczytywany z katalogu głównego tego hosta, więc ścieżka w adresie niczego nie zmienia.
Przeanalizuj konkretną mapę witryny oprócz tych znalezionych automatycznie. Przydatne dla mapy, której nie deklaruje robots.txt.
Reguły dopasowywane są osobno dla każdego robota. Ten wybór steruje testerem adresów URL i kolumną dostępności dla robotów.
Ta analiza działa na serwerach POLPROG, ponieważ odczytu pliku robots.txt i map witryny innej strony nie da się wykonać z Twojej przeglądarki. Żądania dotyczą wyłącznie plików publicznie dostępnych, po wysłaniu odpowiedzi nic nie jest przechowywane, a żaden raport nie jest zapisywany ani udostępniany.
Plik tekstowy w katalogu głównym hosta, pod adresem /robots.txt, który informuje roboty, o które ścieżki URL mogą wysyłać żądania. To instrukcja indeksowania, a nie mechanizm kontroli dostępu: plik jest publiczny, a robot, który go ignoruje, nie łamie żadnego zabezpieczenia technicznego. W RFC 9309 ustandaryzowano tylko cztery dyrektywy: User-agent, Allow, Disallow i Sitemap.
Disallow powstrzymuje pobranie strony. Nie powstrzymuje pojawienia się adresu URL w wynikach wyszukiwania: zablokowana strona, do której prowadzą linki z innych witryn, nadal może zostać wypisana, bez opisu, ponieważ robot nigdy nie mógł jej odczytać i znaleźć Twojego tagu noindex. Aby utrzymać stronę poza indeksem, pozostaw ją dostępną dla robotów i udostępnij metatag robots z wartością noindex albo nagłówek X-Robots-Tag.
Robot korzysta z jednej grupy: tej, której token User-agent najdłużej pasuje do jego własnej nazwy, a w braku dopasowania z grupy *. W obrębie tej grupy wygrywa reguła najbardziej szczegółowa, mierzona długością wzorca ścieżki, a nie kolejnością wierszy. Gdy pasują jednocześnie Allow i Disallow o identycznej długości, wygrywa Allow. Znak * pasuje do dowolnego ciągu znaków, a $ na końcu zakotwicza koniec adresu URL.
Lista adresów URL, które chcesz udostępnić robotom, z opcjonalnymi wartościami lastmod, changefreq i priority dla każdego z nich. Pomaga w wykrywaniu stron w dużych witrynach, w witrynach ze słabo podlinkowanymi podstronami oraz w nowych serwisach. Nie gwarantuje umieszczenia w indeksie, a Google całkowicie ignoruje changefreq i priority.
Mapa map witryny. Jeden plik może zawierać najwyżej 50 000 adresów URL i 50 MB w postaci nieskompresowanej, więc duża witryna rozdziela swoje adresy pomiędzy kilka map witryny i wypisuje te pliki w dokumencie sitemapindex. To właśnie ten indeks jest jedynym adresem URL, który deklarujesz w robots.txt i zgłaszasz w Search Console.
Mapa witryny: 50 000 adresów URL i 50 MB w postaci nieskompresowanej na plik. Gzip jest dozwolony, a limit 50 MB dotyczy rozmiaru po dekompresji. robots.txt: Google odczytuje pierwsze 500 KiB i odrzuca resztę. Mapa witryny może zawierać wyłącznie adresy URL z hosta, który ją serwuje, chyba że skonfigurowano zgłaszanie międzydomenowe.
robots.txt obowiązuje wyłącznie w katalogu głównym hosta i portu: https://example.com/robots.txt zarządza adresem https://example.com i niczym więcej. Plik pod adresem /blog/robots.txt jest ignorowany, a https://example.com/robots.txt nie mówi nic o http://example.com ani o www.example.com. Mapa witryny może znajdować się w dowolnym miejscu na swoim hoście i jest wykrywana przez robots.txt albo przez zgłoszenie.
Adres URL, który występuje w mapie witryny i jest jednocześnie zabroniony przez robots.txt. Mapa witryny prosi o jego zaindeksowanie, a robots.txt odmawia, więc nie jest on ani odwiedzany przez roboty, ani niezawodnie indeksowany, a Search Console zgłasza to jako błąd. To narzędzie sprawdza każdy adres URL z mapy witryny wobec reguł z tego samego pliku robots.txt i zlicza takie przypadki.
Wszystko, co tu raportujemy, jest odczytywane podczas skanowania z własnego pliku robots.txt i map witryny danej strony: status HTTP, rozmiar pliku, sparsowane reguły, struktura XML oraz adresy URL wypisane w każdej mapie witryny. Dostępność dla robotów jest wyliczana przez porównanie tych adresów z tym samym plikiem robots.txt, według reguł RFC 9309. Skan odczytuje najwyżej 40 dokumentów map witryny, pięć poziomów zagnieżdżenia indeksów i 50 000 adresów URL, a status HTTP sprawdza dla ograniczonej liczby adresów, a nie dla wszystkich. Wszędzie tam, gdzie liczba obejmuje tylko część witryny, raport pisze o tym obok niej. Nie powie Ci, czy strona jest zaindeksowana: nie niesie tej informacji ani robots.txt, ani mapa witryny, ani odpowiedź HTTP, a to narzędzie nie ma połączenia z Search Console.
Nie. Disallow powstrzymuje robota przed pobraniem strony, ale nie usuwa adresu URL z indeksu. Zablokowana strona, do której prowadzą linki z innych witryn, nadal może zostać wypisana, zwykle bez opisu, ponieważ robot nigdy nie mógł jej odczytać. Aby utrzymać stronę poza indeksem, pozostaw ją dostępną dla robotów i udostępnij metatag robots z wartością noindex albo nagłówek X-Robots-Tag. Wiersz Noindex wewnątrz robots.txt nie robi nic: Google nigdy go nie obsługiwał i przestał go respektować w 2019 roku.
W katalogu głównym hosta i portu, którym zarządza, i nigdzie indziej. https://example.com/robots.txt dotyczy https://example.com i niczego więcej: nie dotyczy http://example.com, nie dotyczy www.example.com, nie dotyczy subdomeny. Plik pod adresem /blog/robots.txt jest ignorowany. To narzędzie zawsze odczytuje katalog główny hosta, który podasz, więc ścieżka w adresie niczego nie zmienia.
Najwyżej 50 000 adresów URL i 50 MB w postaci nieskompresowanej na plik. Gzip jest dozwolony, a limit rozmiaru dotyczy pliku po dekompresji. Po przekroczeniu któregokolwiek z tych limitów rozdziel adresy URL pomiędzy kilka map witryny i wypisz te pliki w dokumencie sitemap index. Indeks podlega tym samym limitom 50 000 i 50 MB wobec map witryny, do których się odwołuje.
Ta najbardziej szczegółowa, mierzona długością wzorca ścieżki, a nie kolejnością wierszy w pliku. Gdy pasują jednocześnie Allow i Disallow o identycznej długości, wygrywa Allow. Wcześniej robot wybiera jedną grupę: tę, której token User-agent najdłużej pasuje do jego własnej nazwy, a w braku dopasowania grupę *. Tester adresów URL w tym raporcie pokazuje, która reguła zadecydowała o każdej odpowiedzi i w którym wierszu się znajduje.
Nie. Analiza działa na serwerach POLPROG, ponieważ odczytanie pliku robots.txt i map witryny cudzej strony nie jest możliwe z poziomu Twojej przeglądarki, i pobierane są wyłącznie pliki publicznie dostępne. Nic nie jest zapisywane w bazie danych, żaden raport nie jest przechowywany i nie powstaje żadna kopia do udostępnienia. Link w pasku adresu uruchamia analizę ponownie, zamiast wczytywać zapisany wynik.
Ponieważ sprawdzenie adresu URL oznacza wysłanie prawdziwego żądania do analizowanej witryny, a duża mapa witryny zawiera ich dziesiątki tysięcy. Struktura map witryny jest zawsze parsowana w całości, więc liczby, duplikaty, wartości lastmod i dane o dostępności dla robotów obejmują każdy adres URL odczytany podczas skanowania. Status HTTP jest sprawdzany dla ograniczonej liczby adresów: około 40 w Analizie szybkiej i do 500 w Pełnej analizie adresów URL. Raport zawsze podaje, ile ich faktycznie sprawdzono, i nigdy nie przedstawia próbki tak, jakby obejmowała całą witrynę.
Wydajność to nie tylko temat techniczny. Wolne strony kosztują leady, szkodzą SEO i podkopują zaufanie, a to, co je naprawia, jest zwykle drobne, konkretne i nudno konsekwentne.
SSR vs CSR vs SSG vs ISR: co wybrać dla SEO i wydajności
SSR, CSR, SSG and ISR compared
SSR, CSR, SSG i ISR różnią się przede wszystkim momentem i miejscem powstawania HTML. Dla SEO kluczowe jest to, czy najważniejsza treść i metadane są dostępne bez oczekiwania na wykonanie JavaScriptu. Dla wydajności liczą się dodatkowo koszt serwera, cache, ilość kodu po stronie klienta, hydracja i świeżość danych. W 2026 najlepszy wybór najczęściej nie polega na narzuceniu jednego trybu całej aplikacji, ale na dobraniu strategii do typu konkretnej trasy.
robots.txt i sitemap.xml: kompletny przewodnik technicznego SEO
robots.txt, sitemap.xml, noindex and rel=canonical compared
robots.txt i sitemap.xml rozwiązują dwa różne problemy technicznego SEO. Pierwszy steruje tym, które adresy robot może pobierać, drugi pomaga wskazać ważne adresy URL i ich metadane. Błędy zaczynają się wtedy, gdy robots.txt jest używany do blokowania indeksowania albo sitemap.xml zawiera przekierowania, duplikaty i adresy z noindex. Dobry system łączy kontrolę skanowania, spójne adresy kanoniczne, aktualne mapy witryny i monitoring w Search Console.
Tworzymy dedykowane oprogramowanie i rozwiązania dopasowane do Twoich potrzeb.