robots.txt testen - Crawl-Regeln für jeden Bot prüfen
Füge deine robots.txt ein und prüfe sofort, ob eine URL für Googlebot, Bingbot, GPTBot oder andere Crawler freigegeben oder gesperrt ist.
Weitere Entwickler-Tools
robots.txt-Regeln für Bots testen
Was prüft der robots.txt-Tester?
Das Tool ermittelt für eine URL und einen User Agent, ob das Crawling nach den eingefügten Regeln erlaubt oder gesperrt ist.
Wie werden Allow und Disallow ausgewertet?
Die spezifischste passende Pfadregel gewinnt. Bei gleich langen Regeln hat Allow Vorrang vor Disallow.
Kann ich Googlebot, Bingbot oder KI-Crawler testen?
Ja. Nutze eine der Vorlagen oder gib einen beliebigen User-Agent-String für GPTBot, ClaudeBot und andere Crawler ein.
Ist eine Freigabe im Tester eine Garantie?
Nein. Crawler können Regeln unterschiedlich interpretieren, und eine robots.txt ist keine Zugriffskontrolle. Schütze vertrauliche Inhalte immer serverseitig.
Werden meine Regeln hochgeladen?
Nein. Parsing und Prüfung erfolgen vollständig in deinem Browser.