Robots.txt Generator
NewErstellen Sie robots.txt Dateien zur Steuerung wie Suchmaschinen Ihre Website crawlen.
Bewerten Sie dieses Tool
So Verwenden Sie
Wählen Sie den User-Agent
Wählen Sie, für welche Suchmaschinen-Bots Regeln erstellt werden sollen.
Fügen Sie Allow/Disallow-Regeln hinzu
Geben Sie an, welche Pfade erlaubt oder blockiert werden sollen.
Fügen Sie Sitemap hinzu und laden Sie herunter
Fügen Sie Ihre Sitemap-URL hinzu und laden Sie dann die robots.txt-Datei herunter.
Funktionen
Häufig Gestellte Fragen
Robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, auf welche Seiten sie zugreifen können.
Die robots.txt-Datei muss im Stammverzeichnis Ihrer Website platziert werden, z.B. example.com/robots.txt.
Erstellen Sie eine robots.txt-Datei um zu kontrollieren wie Suchmaschinen Ihre Website crawlen. Erlauben oder blockieren Sie bestimmte Bots, schützen Sie sensible Verzeichnisse und optimieren Sie Ihr Crawl-Budget einfach.
Wussten Sie?
Der robots.txt-Standard wurde 1994 erstellt und ist einer der ältesten Web-Standards der noch verwendet wird. Er basiert auf dem Robots Exclusion Protocol, einer freiwilligen Vereinbarung zwischen Webmastern und Suchmaschinen - es gibt keinen Durchsetzungsmechanismus!
- robots.txt ist ein Vorschlag, keine Sicherheitsmaßnahme - verwenden Sie es nicht um sensible Daten zu verstecken
- Verwenden Sie 'User-agent: *' um Regeln auf alle Bots anzuwenden
- Fügen Sie immer Ihre Sitemap-URL in robots.txt hinzu
Andere Kategorien Erkunden
Entdecken Sie weitere nützliche Tools aus anderen Kategorien
Wortzähler
Zählen Sie Wörter, Zeichen, Sätze und Absätze in Ihrem Text sofort.
JSON Formatierer
Formatieren, validieren und verschönern Sie Ihre JSON-Daten mit Syntaxhervorhebung.
QR-Code Generator
Erstellen Sie QR-Codes für URLs, Text und mehr. Als PNG herunterladen.
Prozent Rechner
Berechnen Sie Prozentsätze, prozentuale Änderungen und Prozente von Zahlen.