Fichier robots.txt

Définition

Le fichier robots.txt est un fichier texte placé à la racine de votre site WordPress. Il sert à donner des instructions aux robots des moteurs de recherche sur les parties du site qu’ils peuvent ou ne peuvent pas explorer.

Un point à connaître avant de se lancer : le budget de crawl (le temps que Google consacre à explorer votre site) n’est un vrai enjeu que pour les sites de grande taille. Pour un site de quelques dizaines ou centaines de pages bien structurées, Googlebot revient régulièrement sur l’ensemble du contenu sans contrainte particulière. Le fichier robots.txt reste néanmoins utile pour éviter le gaspillage sur des pages sans valeur (recherche interne, panier, espace privé), et surtout pour éviter les erreurs de blocage accidentel.

Pourquoi le fichier robot.txt est-il important pour le SEO ?

1. Contrôler l’exploration du site

Il permet d’empêcher l’exploration de contenus inutiles (admin, pages de test, doublons…).

2. Optimiser le budget de crawl

En bloquant les zones peu pertinentes, vous aidez Google à se concentrer sur les pages importantes de votre site.

3. Prévenir les erreurs d’indexation

Bien configuré, il réduit le risque que des pages techniques ou privées soient indexées.

Comment modifier le fichier robots.txt dans WordPress ?

• Par FTP ou via le gestionnaire de fichiers de votre hébergeur ;
• Via un plugin SEO comme Yoast, SEOKEY ou Rank Math ;
• L’URL du fichier est généralement : https://votresite.fr/robots.txt

Bonnes pratiques pour un fichiers robots.txt

• Autoriser l’accès aux contenus utiles (/wp-content/uploads/) ;
• Bloquer /wp-admin/, sauf /wp-admin/admin-ajax.php ;
• Ne pas bloquer des sections à indexer avec des balises noindex ;
• Ne pas interdire l’accès aux fichiers CSS et JS nécessaires à l’affichage.

Exemple de configuration recommandée

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://votresite.fr/sitemap.xml

Attention toutefois : ce blocage ne remplace pas une configuration propre du plugin SEO lui-même. Vérifiez toujours que ces mêmes pages sont aussi marquées en noindex, pour éviter qu’une ancienne version reste indexée malgré le blocage du robots.txt.

Un rapide contrôle mensuel de ces réglages évite bien des mauvaises surprises.

Exemple de configuration recommandée pour un site e-commerce avec WooCommerce

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /panier/
Disallow: /commande/
Disallow: /*?ajouter-au-panier=*
Sitemap: https://votresite.fr/sitemap.xml

Erreurs courantes avec le fichier robots.txt

• Bloquer les fichiers CSS et JS nécessaires au rendu : Google a besoin de charger ces ressources pour comprendre comment votre page s’affiche réellement. Les bloquer peut nuire à votre classement, en particulier sur mobile ;
• Confondre disallow et noindex : une page bloquée par robots.txt (disallow) peut malgré tout apparaître dans les résultats si elle est liée ailleurs, juste sans description. Pour retirer une page de l’index, la balise noindex est le bon outil, pas robots.txt ;
• Bloquer par erreur tout le site en production : la fameuse ligne Disallow: /, souvent utilisée pour un environnement de préproduction, oubliée lors de la mise en ligne définitive. Une vérification systématique après chaque migration évite ce risque ;
• Considérer robots.txt comme une mesure de sécurité : ce fichier est public et consultable par n’importe qui à l’adresse /robots.txt. Ne jamais y révéler l’emplacement de pages sensibles que vous souhaitez garder confidentielles, ça reviendrait à en indiquer l’adresse.

Le blocage des robots IA, une pratique encore minoritaire chez les petites structures

Les chiffres varient beaucoup selon les études (de 13 % à près de 50 % des sites bloquant au moins un robot d’entraînement, selon la méthodologie et l’échantillon retenu), un écart trop large pour en tirer un pourcentage unique fiable. En revanche, un relevé français très récent, mené sur 90 sites de commerces et PME début septembre 2026, donne une image plus concrète et plus proche de la réalité du terrain : seulement 4 sites sur 90 bloquaient au moins un robot IA, et 30 n’avaient même aucun fichier robots.txt du tout, autorisant tout par défaut sans le savoir. (Sources : Info-Lux, relevé du 4 septembre 2026 sur 90 sites français, méthodologie transparente. Écart entre études internationales noté honnêtement, à traiter comme un ordre de grandeur très variable.)

Autre donnée française à retenir, sur le risque inverse : selon un audit spécialisé, 38 % des sites français bloqueraient involontairement au moins un robot IA majeur, généralement par une configuration Cloudflare ou un plugin de sécurité mal réglé, pas par choix délibéré. C’est exactement le genre d’erreur qu’on a corrigée ensemble sur ce site, un fichier physique qui empêchait tout réglage virtuel de s’appliquer.

Envie d’aller plus loin sur le SEO technique de votre site WordPress et de suivre la formation SEO WordPress ?

FAQ – Fichier robots.txt