Analysez le robots.txt d'un site et son arborescence de sitemaps. Décodez les règles d'exploration, suivez les sitemap index, validez les documents lus et contrôlez les URL qu'ils déclarent.
Saisissez un domaine ou n'importe quelle page de ce domaine. robots.txt est toujours lu à la racine de cet hôte, un chemin dans l'adresse ne change donc rien.
Analysez un sitemap précis en plus de ceux trouvés automatiquement. Utile pour un sitemap que robots.txt ne déclare pas.
La correspondance des règles se fait robot par robot. Ce choix pilote le testeur d'URL et la colonne d'explorabilité.
Cette analyse s'exécute sur les serveurs de POLPROG, parce que lire le robots.txt et les sitemaps d'un autre site est impossible depuis votre navigateur. Seuls des fichiers publiquement accessibles sont demandés, rien n'est conservé une fois la réponse envoyée, et aucun rapport n'est enregistré ni partagé.
Un fichier en texte brut placé à la racine d'un hôte, à /robots.txt, qui indique aux robots quels chemins d'URL ils peuvent demander. C'est une consigne d'exploration, pas un contrôle d'accès : le fichier est public, et un robot qui l'ignore ne casse rien sur le plan technique. Seules quatre directives sont normalisées dans la RFC 9309 : User-agent, Allow, Disallow et Sitemap.
Disallow empêche une page d'être récupérée. Cela n'empêche pas l'URL d'apparaître dans les résultats de recherche : une page bloquée vers laquelle d'autres sites pointent peut tout de même apparaître, sans description, parce que le robot n'a jamais eu le droit de lire la page pour y trouver votre balise noindex. Pour tenir une page hors de l'index, laissez-la explorable et servez une balise meta robots noindex ou un en-tête X-Robots-Tag.
Un robot utilise un seul groupe : celui dont le jeton User-agent correspond le plus longuement à son propre nom, avec repli sur *. Dans ce groupe, la règle la plus spécifique l'emporte, mesurée par la longueur du motif de chemin et non par l'ordre d'apparition des lignes. Quand un Allow et un Disallow de longueur identique correspondent tous les deux, Allow l'emporte. * correspond à n'importe quelle suite de caractères et un $ final ancre la fin de l'URL.
Une liste des URL que vous voulez faire explorer, avec pour chacune un lastmod, un changefreq et une priority facultatifs. Elle aide à la découverte sur les grands sites, sur les sites dont certaines pages sont mal liées et sur les sites récents. Elle ne garantit pas l'indexation, et Google ignore complètement changefreq et priority.
Un sitemap de sitemaps. Un fichier peut contenir au plus 50 000 URL et 50 MB non compressés : un grand site répartit donc ses URL entre plusieurs sitemaps et liste ces fichiers dans un document sitemapindex. Cet index est l'URL unique que vous déclarez dans robots.txt et soumettez dans Search Console.
Un sitemap : 50 000 URL et 50 MB non compressés, par fichier. Le gzip est autorisé et les 50 MB s'appliquent à la taille décompressée. robots.txt : Google lit les 500 premiers KiB et écarte le reste. Un sitemap ne peut lister que des URL de l'hôte qui le sert, sauf si la soumission croisée est configurée.
robots.txt n'est valide qu'à la racine d'un hôte et d'un port : https://example.com/robots.txt régit https://example.com, et rien d'autre. Un fichier situé à /blog/robots.txt est ignoré, et https://example.com/robots.txt ne dit rien de http://example.com ni de www.example.com. Un sitemap peut se trouver n'importe où sur son hôte, et se découvre via robots.txt ou par soumission.
Une URL qui figure dans le sitemap et qui est interdite par robots.txt. Le sitemap demande qu'elle soit explorée et robots.txt refuse : elle n'est donc ni explorée ni indexée de façon fiable, et Search Console la signale comme une erreur. Cet outil confronte chaque URL de sitemap aux règles du même robots.txt et les dénombre.
Tout ce qui est rapporté ici est lu dans le robots.txt et les fichiers sitemap du site lui-même pendant le scan : statut HTTP, taille des fichiers, règles analysées, structure XML et URL listées par chaque sitemap. L'explorabilité est calculée en confrontant ces URL au même robots.txt, selon les règles de la RFC 9309. Le scan lit au plus 40 documents sitemap, cinq niveaux d'imbrication d'index et 50 000 URL, et il vérifie le statut HTTP pour un nombre borné d'URL plutôt que pour toutes ; partout où un chiffre ne couvre qu'une partie du site, le rapport le précise à côté. Il ne peut pas vous dire si une page est indexée : ni robots.txt, ni un sitemap, ni une réponse HTTP ne portent cette information, et cet outil n'a aucune connexion à la Search Console.
Non. Disallow empêche un robot de récupérer la page ; cela ne retire pas l'URL de l'index. Une page bloquée vers laquelle d'autres sites pointent peut tout de même apparaître, en général sans description, parce que le robot n'a jamais eu le droit de lire la page. Pour tenir une page hors de l'index, laissez-la explorable et servez une balise meta robots noindex ou un en-tête X-Robots-Tag. Une ligne Noindex à l'intérieur de robots.txt ne fait rien : Google ne l'a jamais prise en charge et a cessé de la respecter en 2019.
À la racine de l'hôte et du port qu'il régit, et nulle part ailleurs. https://example.com/robots.txt s'applique à https://example.com et à rien d'autre : ni à http://example.com, ni à www.example.com, ni à un sous-domaine. Un fichier placé à /blog/robots.txt est ignoré. Cet outil lit toujours la racine de l'hôte que vous saisissez, un chemin dans l'adresse ne change donc rien.
Au plus 50 000 URL et 50 MB non compressés par fichier. Le gzip est autorisé et la limite de taille s'applique au fichier décompressé. Au-delà de l'une ou l'autre limite, répartissez les URL entre plusieurs sitemaps et listez ces fichiers depuis un sitemap index ; un index est soumis aux mêmes limites de 50 000 et 50 MB pour les sitemaps auxquels il renvoie.
La plus spécifique, mesurée par la longueur du motif de chemin et non par l'ordre d'apparition des lignes dans le fichier. Quand un Allow et un Disallow de longueur identique correspondent tous les deux, Allow l'emporte. Avant cela, le robot choisit un seul groupe : celui dont le jeton User-agent correspond le plus longuement à son propre nom, avec repli sur le groupe *. Le testeur d'URL de ce rapport montre quelle règle a décidé de chaque réponse et sur quelle ligne elle se trouve.
Non. L'analyse s'exécute sur les serveurs POLPROG, parce que lire le robots.txt et les sitemaps d'un autre site est impossible depuis votre navigateur, et seuls des fichiers publiquement accessibles sont demandés. Rien n'est écrit en base de données, aucun rapport n'est enregistré et aucune copie partageable n'est créée. Le lien dans votre barre d'adresse relance l'analyse au lieu d'en charger une version stockée.
Parce que vérifier une URL veut dire envoyer une vraie requête au site analysé, et qu'un grand sitemap en contient des dizaines de milliers. La structure des sitemaps est toujours analysée en entier : les décomptes, les doublons, les lastmod et les chiffres d'explorabilité couvrent donc chaque URL lue par le scan. Le statut HTTP est demandé pour un nombre borné d'URL : environ 40 en analyse rapide et jusqu'à 500 en analyse complète des URL. Le rapport indique toujours combien ont réellement été demandées, et ne présente jamais un échantillon comme s'il couvrait tout le site.
La performance n'est pas qu'un sujet technique. Les pages lentes coûtent des prospects, nuisent au SEO, et érodent la confiance, et les éléments qui les corrigent sont généralement petits, précis et d'une banale constance.
SSR vs CSR vs SSG vs ISR : que choisir pour le SEO et les performances
SSR, CSR, SSG and ISR compared
SSR, CSR, SSG et ISR diffèrent surtout par le moment et l'endroit où le HTML est généré. Pour le SEO, la question clé est de savoir si le contenu important et les métadonnées sont disponibles sans attendre l'exécution du JavaScript côté client. Pour les performances, il faut aussi considérer le coût serveur, le cache, l'exécution JavaScript, l'hydratation et la fraîcheur des données. En 2026, le meilleur choix est souvent hybride et se décide route par route.
robots.txt et sitemap.xml : guide complet du SEO technique
robots.txt, sitemap.xml, noindex and rel=canonical compared
robots.txt et sitemap.xml répondent à deux besoins différents du SEO technique. robots.txt contrôle les URL que les robots peuvent récupérer, tandis que sitemap.xml aide les moteurs à découvrir les URL importantes et leurs métadonnées. Les problèmes apparaissent quand robots.txt est utilisé pour bloquer l'indexation ou quand la sitemap contient redirections, doublons et URL en noindex.
Nous développons des logiciels et des solutions sur mesure adaptés à vos besoins.