So verwendest du Robots.txt-Generator
- Sitemap-URL eintragenFüge die vollständige Adresse deiner XML-Sitemap in das Feld Sitemap-URL ein oder lass das optionale Feld leer.
- Standardregel auswählenWähle unter Standardregel Alles erlauben, um alle Crawler zuzulassen, oder Alles sperren, um alle Crawler auszuschließen.
- Datei erzeugen und hochladenKlicke auf Ausführen, kopiere das Ergebnis und speichere es als robots.txt im Stammverzeichnis deiner Website.
Häufige Anwendungen
- Eine neue Website starten, die für Suchmaschinen offen sein soll
- Crawler von einer Staging- oder Testumgebung fernhalten
- Eine Sitemap-Zeile ergänzen, damit Crawler deine Sitemap finden
Häufige Fragen
Wie verwende ich Robots.txt-Generator?
1. Sitemap-URL eintragen: Füge die vollständige Adresse deiner XML-Sitemap in das Feld Sitemap-URL ein oder lass das optionale Feld leer. 2. Standardregel auswählen: Wähle unter Standardregel Alles erlauben, um alle Crawler zuzulassen, oder Alles sperren, um alle Crawler auszuschließen. 3. Datei erzeugen und hochladen: Klicke auf Ausführen, kopiere das Ergebnis und speichere es als robots.txt im Stammverzeichnis deiner Website.
Was steht in der erzeugten Datei?
Eine einzige Gruppe für alle Crawler (User-agent: *) mit entweder einer leeren Disallow-Zeile, die alles erlaubt, oder Disallow: /, das alles sperrt. Wenn du eine Sitemap-URL angibst, wird am Ende eine Sitemap-Zeile ergänzt. Ob die Sitemap existiert, prüft das Tool nicht.
Kann ich einzelne Ordner oder bestimmte Bots sperren?
Mit diesem Generator nicht. Er schreibt nur eine Regel, die für alle Crawler alles erlaubt oder alles sperrt. Bestimmte Pfade oder User-Agents sperrst du, indem du die Datei nach dem Kopieren von Hand bearbeitest.
Entfernt Alles sperren meine Seiten aus Google?
Nein. Die robots.txt bittet regelkonforme Crawler, Seiten nicht abzurufen, ist aber keine Zugriffskontrolle und garantiert keine Entfernung aus den Suchergebnissen. Gesperrte URLs können weiterhin erscheinen, wenn andere Websites darauf verlinken. Um eine Seite aus den Ergebnissen herauszuhalten, lass sie mit einem noindex-Tag crawlen oder schütze sie mit einem Passwort.
Werden meine eingegebenen Daten gespeichert?
Das Formular wird an den GigaTools-Server geschickt, der den Text erstellt und sofort zurückgibt. Das Tool speichert weder deine Sitemap-URL noch die erzeugte Datei, und die Antwort ist als privat und nicht cachebar gekennzeichnet.