Comment utiliser le générateur de robots.txt
- Ajoutez l’URL de votre sitemapCollez l’adresse complète de votre sitemap XML dans URL du sitemap, ou laissez ce champ facultatif vide.
- Choisissez la règle par défautSous Règle par défaut, choisissez Tout autoriser pour laisser passer tous les robots, ou Tout interdire pour leur demander de ne pas explorer le site.
- Générez puis publiez le fichierCliquez sur le bouton Exécuter, copiez le résultat et enregistrez-le sous le nom robots.txt à la racine de votre site.
Utilisations courantes
- Lancer un nouveau site qui doit être ouvert aux moteurs de recherche
- Demander aux robots de ne pas explorer un site de préproduction ou de test
- Ajouter une ligne Sitemap pour que les robots trouvent votre sitemap
Questions fréquentes
Comment utiliser le générateur de robots.txt ?
1. Ajoutez l’URL de votre sitemap: Collez l’adresse complète de votre sitemap XML dans URL du sitemap, ou laissez ce champ facultatif vide. 2. Choisissez la règle par défaut: Sous Règle par défaut, choisissez Tout autoriser pour laisser passer tous les robots, ou Tout interdire pour leur demander de ne pas explorer le site. 3. Générez puis publiez le fichier: Cliquez sur le bouton Exécuter, copiez le résultat et enregistrez-le sous le nom robots.txt à la racine de votre site.
Que contient le fichier généré ?
Un seul groupe pour tous les robots (User-agent: *) avec soit une ligne Disallow vide, qui autorise tout, soit Disallow: /, qui bloque tout. Si vous avez saisi une URL de sitemap, une ligne Sitemap est ajoutée à la fin. L’outil ne vérifie pas que le sitemap existe.
Puis-je bloquer certains dossiers ou certains robots ?
Pas avec ce générateur. Il écrit uniquement une règle « tout autoriser » ou « tout interdire » valable pour tous les robots. Pour bloquer des chemins ou des user agents précis, modifiez le fichier à la main après l’avoir copié.
Tout interdire retire-t-il mes pages de Google ?
Non. Le fichier robots.txt demande aux robots respectueux de ne pas récupérer les pages, mais ce n’est pas un contrôle d’accès et il ne garantit pas leur retrait des résultats. Des URL bloquées peuvent encore apparaître si d’autres sites pointent vers elles. Pour exclure une page des résultats, laissez-la explorer avec une balise noindex ou protégez-la par un mot de passe.
Les données que je saisis sont-elles conservées ?
Le formulaire est envoyé au serveur GigaTools, qui génère le texte et vous le renvoie aussitôt. L’outil n’enregistre ni l’URL du sitemap ni le fichier généré, et la réponse est marquée comme privée et non mise en cache.