Guide robots.txt et Sitemap.xml : Configuration Correcte et Erreurs Fréquentes

Q: Dois-je bloquer les robots d'intelligence artificielle ?

C'est votre décision. Des user-agents comme `GPTBot`, `ClaudeBot` ou `PerplexityBot` peuvent être bloqués via robots.txt. Mais si vous voulez que votre contenu soit cité dans les réponses des IA, les bloquer vous fait perdre en visibilité — nous avons discuté de cet équilibre dans notre guide sur le GEO.

Il suffit parfois d'une seule ligne pour qu'un site disparaisse entièrement des moteurs de recherche :

User-agent: *
Disallow: /

Ces deux lignes sont correctes en environnement de développement ; déplacées par erreur en production, elles effacent le site de Google. C'est l'une des erreurs techniques les plus fréquentes — et les plus coûteuses — au moment de la mise en ligne.

robots.txt et sitemap.xml sont les deux canaux de communication fondamentaux que vous établissez avec les moteurs de recherche. Ce guide explique ce que fait chacun d'eux, comment bien les écrire, et où se situent les erreurs les plus courantes.

Qu'est-ce que robots.txt et à quoi sert-il ?

C'est un fichier texte brut situé à la racine de votre site (votresite.com/robots.txt). Il indique aux robots des moteurs de recherche quelles adresses ils ne doivent pas explorer.

Distinction essentielle : robots.txt bloque l'exploration, pas l'indexation.

Les deux sont souvent confondus. Si vous bloquez une page avec robots.txt, Google ne peut pas la lire — mais si d'autres sites font des liens vers elle, Google peut quand même l'indexer sans jamais voir son contenu. Le résultat est une fiche étrange dans les résultats de recherche, sans description.

Objectif	Bon outil	Pourquoi
Empêcher une page d'apparaître dans les résultats	Balise meta noindex	Google lit la page et apprend à ne pas l'indexer
Éviter de surcharger le serveur avec des robots	robots.txt disallow	L'exploration n'a jamais lieu
Empêcher à la fois l'exploration et l'affichage	D'abord noindex, puis disallow une fois désindexée	Le noindex d'une page bloquée ne peut pas être lu

La dernière ligne est importante : la balise noindex d'une page bloquée par robots.txt ne peut pas être vue par Google. Si vous voulez retirer une page de l'index, mettez d'abord noindex, vérifiez qu'elle est bien sortie de l'index, puis bloquez-la seulement ensuite.

Comment bien écrire son robots.txt ?

Pour la plupart des sites, le fichier nécessaire reste très simple :

User-agent: *
Disallow: /wp-admin/
Disallow: /panier
Disallow: /paiement
Disallow: /recherche
Allow: /wp-admin/admin-ajax.php

Sitemap: https://votresite.com/sitemap.xml

Les règles :

User-agent indique à quel robot vous vous adressez ; * signifie tous.
Disallow indique le chemin à ne pas explorer. Laissé vide (Disallow:), cela signifie que tout est autorisé.
Allow ouvre une exception à l'intérieur d'un Disallow.
La ligne Sitemap donne l'adresse complète de votre sitemap ; il peut y en avoir plusieurs.
Le fichier doit être en UTF-8 et se trouver à la racine du site. Un robots.txt dans un sous-dossier est invalide.

Il est logique de bloquer : les panneaux d'administration, les étapes de panier et de paiement, les pages de résultats de recherche interne, les combinaisons infinies de filtres, et les zones contenant des données personnelles.

Ce qu'il ne faut jamais bloquer : les fichiers CSS et JavaScript. Google en a besoin pour afficher la page comme la voit l'utilisateur ; si vous les bloquez, la page apparaît cassée et l'évaluation de la compatibilité mobile en pâtit.

Qu'est-ce que sitemap.xml ?

Le sitemap est la liste des adresses importantes de votre site. C'est le moyen le plus direct de dire à Google « voici ce que je veux que tu explores ».

Structure de base :

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://votresite.com/</loc>
    <lastmod>2026-08-13</lastmod>
  </url>
  <url>
    <loc>https://votresite.com/services</loc>
    <lastmod>2026-07-02</lastmod>
  </url>
</urlset>

Limites : 50 000 URL maximum par fichier et 50 Mo (non compressé). Pour les sites plus grands, on utilise un sitemap index :

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap><loc>https://votresite.com/sitemap-produits.xml</loc></sitemap>
  <sitemap><loc>https://votresite.com/sitemap-blog.xml</loc></sitemap>
</sitemapindex>

L'avantage caché de cette segmentation : dans Search Console, chaque sitemap est rapporté séparément, ce qui permet de voir directement quelle section n'est pas indexée. Si 90 % de vos produits sont indexés mais seulement 30 % de votre blog, vous repérez le problème d'un coup d'œil.

Les six erreurs fréquentes du sitemap

1. Lister des URL qui ne doivent pas être indexées. Les adresses en noindex, celles dont la canonical pointe ailleurs, ou celles qui renvoient un 301 ne doivent pas figurer dans le sitemap. Le sitemap dit « ceci est important » ; la canonical dit « ceci n'est pas la version d'origine ». En cas de contradiction, Google peut ignorer votre balise canonical.

2. Mettre à jour le champ lastmod chaque jour. Rafraîchir la date alors que le contenu n'a pas changé fait perdre en crédibilité ; à terme, Google cesse de tenir compte de ce champ. Ne le mettez à jour que lorsque le contenu change réellement.

3. Accorder trop d'importance aux champs priority et changefreq. Google ignore largement ces deux champs. Ce n'est pas un temps bien investi.

4. Mélanger différents protocoles ou sous-domaines. Les adresses du sitemap doivent utiliser le même domaine que celui où se trouve le sitemap, et correspondre à la version canonique.

5. Laisser des adresses qui renvoient un 404. Les pages supprimées doivent aussi être retirées du sitemap ; sinon, votre budget d'exploration est gaspillé pour rien.

6. Ne jamais soumettre le sitemap. Créer le fichier et oublier de l'ajouter à Search Console est très fréquent. Ajouter la ligne Sitemap: au robots.txt est également utile.

Le lien avec le budget d'exploration

Pour les petits sites, le budget d'exploration (crawl budget) n'est pas un problème. Mais sur les sites qui génèrent des dizaines de milliers d'URL, un cercle vicieux se met en place : Google explore un nombre limité de pages ; si ces pages sont saturées de combinaisons de filtres, vos véritables pages produit n'arrivent jamais.

Dans ce cas, robots.txt devient un vrai levier :

Bloquez les combinaisons de filtres infinies (Disallow: /*?couleur=)
Bloquez les résultats de recherche interne
Bloquez les pages infinies basées sur des calendriers ou des dates

Mais attention : les liens internes que vous pointez vers les pages bloquées deviennent alors des angles morts. Avant de bloquer, revoyez la structure des liens internes qui mènent à ces pages.

Vérification après mise en place

Ouvrez votresite.com/robots.txt dans le navigateur. Le code retourné doit être 200 et le contenu doit être lisible.
Dans Search Console → Paramètres → rapport robots.txt, vérifiez que le fichier a bien été récupéré et qu'il n'y a pas d'erreur.
Avec l'outil d'inspection d'URL, testez quelques pages importantes ; la ligne « Exploration autorisée ? » doit indiquer Oui.
Soumettez le sitemap dans Search Console et comparez, quelques jours plus tard, le nombre d'« URL découvertes » et d'« URL indexées ».
Si l'écart est important, consultez les raisons d'exclusion dans le rapport Pages.

Toutes ces étapes sont détaillées pas à pas dans notre guide Google Search Console.

Checklist avant mise en ligne

Les deux points les plus souvent oubliés au lancement d'un nouveau site :

La ligne Disallow: / de l'environnement de développement a-t-elle été retirée ?
L'option « Empêcher les moteurs de recherche d'indexer ce site » du thème/CMS a-t-elle été désactivée ?

Ce sont deux erreurs qui se corrigent en un clic, mais qui peuvent passer inaperçues pendant des semaines. Le premier réflexe le jour de la mise en ligne est d'ouvrir robots.txt et de vérifier. Pour un contrôle plus complet, consultez notre checklist SEO technique.

Questions fréquentes

Un site sans robots.txt est-il pénalisé ?

Non. En l'absence de fichier, Google considère que tout est explorable. Il reste néanmoins utile d'en créer un, ne serait-ce que pour héberger la ligne sitemap.

Dois-je bloquer les robots d'intelligence artificielle ?

C'est votre décision. Des user-agents comme GPTBot, ClaudeBot ou PerplexityBot peuvent être bloqués via robots.txt. Mais si vous voulez que votre contenu soit cité dans les réponses des IA, les bloquer vous fait perdre en visibilité — nous avons discuté de cet équilibre dans notre guide sur le GEO.

À quelle fréquence dois-je mettre à jour mon sitemap ?

Générez-le automatiquement. Si votre système de gestion de contenu ne met pas à jour le sitemap à chaque nouvelle page, la maintenance manuelle ne tiendra pas dans la durée.

La page que j'ai bloquée apparaît encore sur Google, pourquoi ?

robots.txt bloque l'exploration, pas l'indexation. Pour retirer une page de l'index, il faut un noindex — et pour que le noindex soit lu, la page doit être explorable.

Articles Similaires :