Analizza il robots.txt di un sito e l'albero delle sitemap. Interpreta le regole per i crawler, segue i sitemap index, convalida i documenti letti e controlla gli URL che vengono dichiarati.
Inserisci un dominio o una qualsiasi pagina al suo interno. Il robots.txt viene sempre letto dalla radice di quell'host, quindi un percorso nell'indirizzo non cambia nulla.
Analizza una sitemap specifica oltre a quelle trovate automaticamente. Utile per una sitemap che il robots.txt non dichiara.
La corrispondenza delle regole avviene per singolo crawler. Questa scelta determina il test degli URL e la colonna sulla scansionabilità.
Questa analisi viene eseguita sui server POLPROG, perché leggere il robots.txt e le sitemap di un altro sito non è possibile dal tuo browser. Vengono richiesti soltanto file pubblicamente disponibili, nulla viene conservato dopo l'invio della risposta e nessun report viene salvato o condiviso.
Un file di testo semplice nella radice di un host, in /robots.txt, che indica ai crawler quali percorsi URL possono richiedere. È un'istruzione di scansione, non un controllo di accesso: il file è pubblico e un crawler che lo ignora non viola nulla sul piano tecnico. Solo quattro direttive sono standardizzate in RFC 9309: User-agent, Allow, Disallow e Sitemap.
Disallow impedisce che una pagina venga recuperata. Non impedisce che l'URL compaia nei risultati di ricerca: una pagina bloccata verso cui altri siti rimandano può comunque essere elencata, senza descrizione, perché al crawler non è mai stato permesso di leggere la pagina per trovare il tuo tag noindex. Per tenere una pagina fuori dall'indice, lasciala scansionabile e servi un meta tag robots noindex o un'intestazione X-Robots-Tag.
Un crawler usa un solo gruppo: quello il cui token User-agent corrisponde più a lungo al proprio nome, ripiegando su *. All'interno di quel gruppo vince la regola più specifica, misurata in base alla lunghezza del pattern del percorso, non all'ordine in cui compaiono le righe. Quando un Allow e un Disallow di lunghezza identica corrispondono entrambi, vince Allow. * corrisponde a una sequenza qualsiasi di caratteri e un $ finale ancora la fine dell'URL.
Un elenco degli URL di cui vuoi la scansione, con lastmod, changefreq e priority facoltativi per ciascuno. Aiuta la scoperta sui siti di grandi dimensioni, sui siti con pagine poco collegate e sui siti nuovi. Non garantisce l'indicizzazione e Google ignora completamente changefreq e priority.
Una sitemap di sitemap. Un singolo file può contenere al massimo 50.000 URL e 50 MB non compressi, quindi un sito di grandi dimensioni distribuisce i propri URL su più sitemap ed elenca quei file in un documento sitemapindex. Quell'index è l'unico URL che dichiari nel robots.txt e invii in Search Console.
Una sitemap: 50.000 URL e 50 MB non compressi per file. Gzip è consentito e i 50 MB si applicano alla dimensione decompressa. robots.txt: Google legge i primi 500 KiB e scarta il resto. Una sitemap può elencare solo URL sull'host che la serve, a meno che non sia configurata una dichiarazione incrociata.
Il robots.txt è valido solo nella radice di un host e di una porta: https://example.com/robots.txt governa https://example.com e nient'altro. Un file in /blog/robots.txt viene ignorato, e https://example.com/robots.txt non dice nulla su http://example.com né su www.example.com. Una sitemap può risiedere ovunque sul proprio host e viene trovata tramite il robots.txt o tramite invio.
Un URL che compare nella sitemap ed è vietato dal robots.txt. La sitemap ne chiede la scansione e il robots.txt la rifiuta, quindi non viene né scansionato né indicizzato in modo affidabile, e Search Console lo segnala come errore. Questo strumento confronta ogni URL della sitemap con le regole dello stesso robots.txt e li conteggia.
Tutto ciò che viene riportato qui è letto dal robots.txt e dai file sitemap del sito stesso durante la scansione: stato HTTP, dimensione del file, regole analizzate, struttura XML e gli URL elencati da ciascuna sitemap. La scansionabilità è calcolata confrontando quegli URL con lo stesso robots.txt, secondo le regole di RFC 9309. La scansione legge al massimo 40 documenti sitemap, cinque livelli di annidamento degli index e 50.000 URL, e controlla lo stato HTTP di un numero limitato di URL anziché di tutti; ogni volta che un dato copre solo una parte del sito, il report lo segnala accanto a quel dato. Non può dirti se una pagina è indicizzata: nulla nel robots.txt, in una sitemap o in una risposta HTTP contiene questa informazione, e questo strumento non ha alcun collegamento con Search Console.
No. Disallow impedisce a un crawler di recuperare la pagina; non rimuove l'URL dall'indice. Una pagina bloccata verso cui altri siti rimandano può comunque essere elencata, di solito senza descrizione, perché al crawler non è mai stato permesso di leggere la pagina. Per tenere una pagina fuori dall'indice, lasciala scansionabile e servi un meta tag robots noindex o un'intestazione X-Robots-Tag. Una riga Noindex all'interno del robots.txt non ha alcun effetto: Google non l'ha mai supportata e ha smesso di tenerne conto nel 2019.
Nella radice dell'host e della porta che governa, e in nessun altro punto. https://example.com/robots.txt si applica a https://example.com e a nient'altro: non a http://example.com, non a www.example.com, non a un sottodominio. Un file in /blog/robots.txt viene ignorato. Questo strumento legge sempre la radice dell'host che inserisci, quindi un percorso nell'indirizzo non cambia nulla.
Fino a 50.000 URL e 50 MB non compressi per file. Gzip è consentito e il limite di dimensione si applica al file decompresso. Superato uno dei due limiti, distribuisci gli URL su più sitemap ed elenca quei file in un sitemap index; un index ha gli stessi limiti di 50.000 URL e 50 MB sulle sitemap a cui fa riferimento.
La più specifica, misurata in base alla lunghezza del pattern del percorso, non all'ordine in cui le righe compaiono nel file. Quando un Allow e un Disallow di lunghezza identica corrispondono entrambi, vince Allow. Prima ancora, il crawler sceglie un solo gruppo: quello il cui token User-agent corrisponde più a lungo al proprio nome, ripiegando sul gruppo *. Il test degli URL in questo report mostra quale regola ha determinato ogni risposta e su quale riga si trova.
No. L'analisi viene eseguita sui server POLPROG, perché leggere il robots.txt e le sitemap di un altro sito non è possibile dal tuo browser, e vengono richiesti soltanto file pubblicamente disponibili. Nulla viene scritto in un database, nessun report viene salvato e non viene creata alcuna copia condivisibile. Il link nella tua barra degli indirizzi riesegue l'analisi invece di caricarne una memorizzata.
Perché controllare un URL significa inviare una richiesta reale al sito analizzato, e una sitemap di grandi dimensioni ne contiene decine di migliaia. La struttura della sitemap viene sempre analizzata per intero, quindi i conteggi, i duplicati, lastmod e i dati sulla scansionabilità coprono ogni URL letto dalla scansione. Lo stato HTTP viene richiesto per un numero limitato: circa 40 nell'Analisi rapida e fino a 500 nell'Analisi completa degli URL. Il report indica sempre quanti ne sono stati effettivamente richiesti e non presenta mai un campione come se coprisse l'intero sito.
Le prestazioni non sono solo un argomento tecnico. Le pagine lente costano contatti, danneggiano la SEO ed erodono la fiducia, e le cose che le sistemano sono di solito piccole, specifiche e noiosamente coerenti.
SSR vs CSR vs SSG vs ISR: cosa scegliere per SEO e prestazioni
SSR, CSR, SSG and ISR compared
SSR, CSR, SSG e ISR differiscono soprattutto per quando e dove viene generato l'HTML. Per la SEO conta se contenuti principali e metadati sono disponibili senza attendere JavaScript lato client. Per le prestazioni contano anche costo server, cache, esecuzione JavaScript, hydration e freschezza dei dati. Nel 2026, la scelta migliore è spesso ibrida e viene fatta per route o per segmento dell'interfaccia.
robots.txt e sitemap.xml: guida completa alla SEO tecnica
robots.txt, sitemap.xml, noindex and rel=canonical compared
robots.txt e sitemap.xml risolvono due problemi diversi della SEO tecnica. robots.txt controlla quali URL i crawler possono richiedere, mentre sitemap.xml aiuta i motori a scoprire URL importanti e relativi metadati. I problemi iniziano quando robots.txt viene usato per bloccare l'indicizzazione o quando la sitemap contiene redirect, duplicati e URL con noindex.
Sviluppiamo software e soluzioni su misura per le tue esigenze.