Analysiert die robots.txt einer Website und ihren Sitemap-Baum. Crawler-Regeln werden geparst, sitemap index-Dateien verfolgt, die gelesenen Dokumente validiert und die darin übermittelten URLs geprüft.
Geben Sie eine Domain oder eine beliebige Seite darauf ein. robots.txt wird immer aus der Wurzel dieses Hosts gelesen, ein Pfad in der Adresse ändert also nichts.
Analysieren Sie eine bestimmte Sitemap zusätzlich zu den automatisch gefundenen. Nützlich für eine Sitemap, die robots.txt nicht deklariert.
Regeln werden pro Crawler abgeglichen. Diese Auswahl steuert den URL-Tester und die Spalte zur Crawlbarkeit.
Diese Analyse läuft auf POLPROG-Servern, weil das Lesen der robots.txt und der Sitemaps einer fremden Website nicht aus Ihrem Browser heraus möglich ist. Es werden nur öffentlich verfügbare Dateien angefragt, nach dem Senden der Antwort wird nichts gespeichert, und kein Bericht wird abgelegt oder geteilt.
Eine reine Textdatei in der Wurzel eines Hosts, unter /robots.txt, die Crawlern sagt, welche URL-Pfade sie anfragen dürfen. Sie ist eine Crawl-Anweisung und keine Zugriffskontrolle: Die Datei ist öffentlich, und ein Crawler, der sie ignoriert, verletzt technisch nichts. In RFC 9309 sind nur vier Direktiven standardisiert: User-agent, Allow, Disallow und Sitemap.
Disallow verhindert, dass eine Seite abgerufen wird. Es verhindert nicht, dass die URL in den Suchergebnissen erscheint: Eine blockierte Seite, auf die andere Websites verlinken, kann weiterhin gelistet werden, ohne Beschreibung, weil der Crawler die Seite nie lesen durfte, um Ihr noindex-Tag zu finden. Um eine Seite aus dem Index zu halten, lassen Sie sie crawlbar und liefern ein noindex Robots-Meta-Tag oder einen X-Robots-Tag Header aus.
Ein Crawler verwendet eine Gruppe: die, deren User-agent-Token am längsten auf seinen eigenen Namen passt, ersatzweise *. Innerhalb dieser Gruppe gewinnt die spezifischste Regel, gemessen an der Länge des Pfadmusters und nicht an der Reihenfolge der Zeilen. Treffen ein Allow und ein Disallow gleicher Länge beide zu, gewinnt Allow. * passt auf eine beliebige Zeichenfolge, und ein abschließendes $ verankert das Ende der URL.
Eine Liste der URLs, die Sie gecrawlt haben möchten, jeweils mit optionalem lastmod, changefreq und priority. Sie hilft bei der Auffindbarkeit auf großen Websites, auf Websites mit schlecht verlinkten Seiten und auf neuen Websites. Sie garantiert keine Indexierung, und Google ignoriert changefreq und priority vollständig.
Eine Sitemap von Sitemaps. Eine Datei kann höchstens 50.000 URLs und 50 MB unkomprimiert enthalten, eine große Website verteilt ihre URLs also auf mehrere Sitemaps und listet diese Dateien in einem sitemapindex-Dokument. Dieser Index ist die eine URL, die Sie in robots.txt deklarieren und in der Search Console einreichen.
Eine Sitemap: 50.000 URLs und 50 MB unkomprimiert, pro Datei. Gzip ist erlaubt, und die 50 MB gelten für die entpackte Größe. robots.txt: Google liest die ersten 500 KiB und verwirft den Rest. Eine Sitemap darf nur URLs auf dem Host listen, der sie ausliefert, außer die Cross-Submission ist konfiguriert.
robots.txt gilt nur in der Wurzel eines Hosts und Ports: https://example.com/robots.txt regelt https://example.com und sonst nichts. Eine Datei unter /blog/robots.txt wird ignoriert, und https://example.com/robots.txt sagt nichts über http://example.com oder über www.example.com aus. Eine Sitemap kann überall auf ihrem Host liegen und wird über robots.txt oder durch Einreichung gefunden.
Eine URL, die in der Sitemap steht und durch robots.txt gesperrt ist. Die Sitemap bittet um ihr Crawling und robots.txt verweigert es, sie wird also weder gecrawlt noch zuverlässig indexiert, und die Search Console meldet es als Fehler. Dieses Tool prüft jede Sitemap-URL gegen die Regeln derselben robots.txt und zählt sie.
Alles, was hier berichtet wird, stammt aus der robots.txt und den Sitemap-Dateien der Website selbst, gelesen während des Scans: HTTP-Status, Dateigröße, geparste Regeln, XML-Struktur und die URLs, die jede Sitemap listet. Die Crawlbarkeit wird berechnet, indem diese URLs gegen dieselbe robots.txt abgeglichen werden, nach den Regeln der RFC 9309. Der Scan liest höchstens 40 Sitemap-Dokumente, fünf Ebenen an Index-Verschachtelung und 50.000 URLs, und er prüft den HTTP-Status für eine begrenzte Anzahl von URLs statt für alle; wo eine Zahl nur einen Teil der Website abdeckt, sagt der Bericht es daneben. Ob eine Seite indexiert ist, kann er Ihnen nicht sagen: weder robots.txt noch eine Sitemap noch eine HTTP-Antwort trägt diese Information, und dieses Tool hat keine Verbindung zur Search Console.
Nein. Disallow verhindert, dass ein Crawler die Seite abruft; es entfernt die URL nicht aus dem Index. Eine blockierte Seite, auf die andere Websites verlinken, kann weiterhin gelistet werden, meist ohne Beschreibung, weil der Crawler die Seite nie lesen durfte. Um eine Seite aus dem Index zu halten, lassen Sie sie crawlbar und liefern ein noindex Robots-Meta-Tag oder einen X-Robots-Tag Header aus. Eine Noindex-Zeile in robots.txt bewirkt nichts: Google hat sie nie unterstützt und beachtet sie seit 2019 nicht mehr.
In der Wurzel des Hosts und Ports, für den sie gilt, und nirgendwo sonst. https://example.com/robots.txt gilt für https://example.com und für nichts weiter: nicht für http://example.com, nicht für www.example.com, nicht für eine Subdomain. Eine Datei unter /blog/robots.txt wird ignoriert. Dieses Tool liest immer die Wurzel des Hosts, den Sie eingeben, ein Pfad in der Adresse ändert also nichts.
Höchstens 50.000 URLs und 50 MB unkomprimiert pro Datei. Gzip ist erlaubt, und die Größengrenze gilt für die entpackte Datei. Jenseits einer der beiden Grenzen verteilen Sie die URLs auf mehrere Sitemaps und listen diese Dateien aus einem sitemap index heraus. Ein Index unterliegt denselben Grenzen von 50.000 und 50 MB für die Sitemaps, auf die er verweist.
Die spezifischste, gemessen an der Länge des Pfadmusters und nicht an der Reihenfolge der Zeilen in der Datei. Treffen ein Allow und ein Disallow gleicher Länge beide zu, gewinnt Allow. Zuvor wählt der Crawler eine Gruppe: die, deren User-agent-Token am längsten auf seinen eigenen Namen passt, ersatzweise die Gruppe *. Der URL-Tester in diesem Bericht zeigt, welche Regel jede Antwort entschieden hat und in welcher Zeile sie steht.
Nein. Die Analyse läuft auf POLPROG Servern, weil sich robots.txt und Sitemaps einer fremden Website nicht aus Ihrem Browser heraus lesen lassen, und es werden ausschließlich öffentlich verfügbare Dateien angefragt. Nichts wird in eine Datenbank geschrieben, kein Bericht wird gespeichert, und es entsteht keine teilbare Kopie. Der Link in Ihrer Adressleiste führt die Analyse erneut aus, statt eine gespeicherte zu laden.
Weil das Prüfen einer URL eine echte Anfrage an die analysierte Website bedeutet und eine große Sitemap Zehntausende davon enthält. Die Sitemap-Struktur wird immer vollständig geparst, die Zahlen, Duplikate, lastmod-Werte und Angaben zur Crawlbarkeit decken also jede URL ab, die der Scan gelesen hat. Der HTTP-Status wird für eine begrenzte Anzahl angefragt: etwa 40 in der Schnellanalyse und bis zu 500 in der vollständigen URL-Analyse. Der Bericht nennt immer, wie viele tatsächlich angefragt wurden, und stellt eine Stichprobe nie so dar, als gälte sie für die ganze Website.
Performance ist nicht nur ein technisches Thema. Langsame Seiten kosten Leads, schaden dem SEO und untergraben Vertrauen, und die Dinge, die sie beheben, sind meist klein, konkret und langweilig konsequent.
SSR vs CSR vs SSG vs ISR: was für SEO und Performance wählen
SSR, CSR, SSG and ISR compared
SSR, CSR, SSG und ISR unterscheiden sich vor allem darin, wann und wo HTML erzeugt wird. Für SEO ist entscheidend, ob wichtige Inhalte und Metadaten ohne clientseitiges JavaScript verfügbar sind. Für die Performance zählen zusätzlich Serverkosten, Caching, JavaScript-Ausführung, Hydration und Datenaktualität. 2026 ist die beste Architektur meist kein einheitlicher Modus für die gesamte Anwendung, sondern eine passende Strategie pro Route oder Seitenbereich.
robots.txt und sitemap.xml: kompletter Leitfaden für technisches SEO
robots.txt, sitemap.xml, noindex and rel=canonical compared
robots.txt und sitemap.xml lösen zwei unterschiedliche Aufgaben im technischen SEO. robots.txt steuert, welche URLs Crawler abrufen dürfen. sitemap.xml hilft Suchmaschinen, wichtige URLs und zugehörige Metadaten zu entdecken. Probleme entstehen, wenn robots.txt zur Indexierungssteuerung missbraucht wird oder Sitemaps Weiterleitungen, Duplikate und noindex-URLs enthalten.
Wir entwickeln individuelle Software und Lösungen, die auf Ihre Bedürfnisse zugeschnitten sind.