.png)
Générateur de robots.txt
Créez un fichier robots.txt conforme pour guider les robots d'exploration des moteurs de recherche.
Créez votre fichier robots.txt en quelques clics
Le fichier robots.txt est le tout premier fichier que Googlebot consulte en arrivant sur votre site. Il détermine quelles pages les moteurs de recherche peuvent explorer et lesquelles ils doivent ignorer. Un fichier mal configuré peut rendre votre site entièrement invisible sur Google — ou à l'inverse, laisser Google crawler des pages que vous préférez garder privées.
Notre générateur vous évite les erreurs de syntaxe. Sélectionnez vos options, et obtenez un fichier robots.txt propre et optimisé, prêt à déposer à la racine de votre site.
Ce que vous pouvez configurer
- User-agents — ciblez tous les robots ou des bots spécifiques (Googlebot, Bingbot, etc.)
- Dossiers à bloquer — /admin/, /wp-admin/, /cgi-bin/ et autres dossiers sensibles
- Lien vers le sitemap — indiquez l'URL de votre sitemap.xml
- Crawl-delay — limitez la fréquence de crawl pour les serveurs fragiles
Comment l'utiliser
- Sélectionnez les options qui correspondent à votre site
- Ajoutez les dossiers à bloquer et l'URL de votre sitemap
- Cliquez sur "Générer" et copiez le contenu
- Créez un fichier nommé robots.txt et déposez-le à la racine de votre site (example.com/robots.txt)
Attention : ne confondez pas Disallow et noindex. Disallow empêche le crawl, mais si d'autres sites font des liens vers une page bloquée, Google peut quand même l'indexer (sans la crawler). Pour empêcher l'indexation, utilisez la balise <meta name="robots" content="noindex">.
Pourquoi votre robots.txt est crucial
Google a un budget de crawl limité pour chaque site. Si vous le gaspillez sur des pages inutiles (admin, filtres, doublons), vos pages importantes sont crawlées moins souvent — et se classent moins bien.
- Bloquez les dossiers d'administration et de connexion
- Bloquez les pages de résultats de recherche internes
- Bloquez les pages avec paramètres d'URL inutiles
- Laissez Google accéder à vos CSS et JS (il en a besoin pour le rendu)
Après avoir créé votre robots.txt, vérifiez que vos pages importantes sont bien indexées avec notre Vérificateur d'indexation Google. Consultez aussi notre guide complet sur le robots.txt.
Questions fréquentes
Est-ce que tous les sites ont besoin d'un robots.txt ?
Techniquement non — sans robots.txt, les moteurs de recherche crawleront tout. Mais en pratique, oui : chaque site a des pages qui ne devraient pas être dans l'index (admin, login, doublons). Même un robots.txt minimaliste avec juste le lien vers votre sitemap est mieux que rien.
Puis-je utiliser robots.txt pour protéger du contenu sensible ?
Non. Le robots.txt est public (n'importe qui peut le lire) et les bots malveillants l'ignorent. Pour protéger du contenu, utilisez l'authentification par mot de passe. Le robots.txt sert uniquement à optimiser le crawl, pas la sécurité.
