Définition
Le fichier robots.txt est un fichier texte placé à la racine de votre site WordPress. Il sert à donner des instructions aux robots des moteurs de recherche sur les parties du site qu’ils peuvent ou ne peuvent pas explorer.
Pourquoi le fichier robot.txt est-il important pour le SEO ?
- Contrôler l’exploration du site
Il permet d’empêcher l’exploration de contenus inutiles (admin, pages de test, doublons…).
- Optimiser le budget de crawl
En bloquant les zones peu pertinentes, vous aidez Google à se concentrer sur les pages importantes de votre site.
- Prévenir les erreurs d’indexation
Bien configuré, il réduit le risque que des pages techniques ou privées soient indexées.
Comment modifier le fichier robots.txt dans WordPress ?
- Par FTP ou via le gestionnaire de fichiers de votre hébergeur ;
- Via un plugin SEO comme Yoast, SEOKEY ou Rank Math ;
- L’URL du fichier est généralement : https://votresite.fr/robots.txt
Bonnes pratiques pour un fichiers robots.txt
- Autoriser l’accès aux contenus utiles (/wp-content/uploads/) ;
- Bloquer /wp-admin/, sauf /wp-admin/admin-ajax.php ;
- Ne pas bloquer des sections à indexer avec des balises noindex ;
- Ne pas interdire l’accès aux fichiers CSS et JS nécessaires à l’affichage.
Exemple de configuration recommandée
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://votresite.fr/sitemap.xml
FAQ – Fichier robots.txt
Le fichier robots.txt peut-il bloquer l’indexation d’une page ?
Non directement. Il empêche l’exploration, mais une page peut être indexée si elle est liée ailleurs. Utilisez noindex pour empêcher l’indexation.
Puis-je bloquer tout mon site avec robots.txt ?
Oui, avec Disallow: /, mais ce n’est conseillé que pour une préproduction ou en maintenance.
Est-ce obligatoire d’avoir un fichier robots.txt ?
Non, mais il est recommandé pour garder le contrôle sur le crawl de votre site. C’est également un des premiers fichiers que Google lit.