Inhalt
Die robots.txt sagt Crawlern, welche Adressen deiner Website sie abrufen dürfen. Sie steuert das Crawling, nicht die Indexierung: Eine gesperrte URL kann trotzdem bei Google landen. Testen kannst du die Datei im robots.txt-Bericht der Search Console (Einstellungen → robots.txt), einzelne Seiten mit dem URL-Prüftool. Für die meisten kleinen Websites reichen vier Zeilen.
Die robots.txt ist eine reine Textdatei im Hauptverzeichnis deiner Domain. Nach dem Launch schaut sie kaum noch jemand an. Dabei reicht eine einzige Zeile, um Google von der ganzen Website fernzuhalten.
Was die robots.txt steuert und was nicht
Die Datei ist eine Bitte an Crawler, also an die Programme, mit denen Suchmaschinen und KI-Anbieter Seiten abrufen. Googlebot, Bingbot und die bekannten KI-Crawler halten sich daran. Bots mit schlechten Absichten nicht. Was niemand sehen soll, gehört hinter ein Passwort.
Der klassische Denkfehler: Gesperrt heißt nicht unsichtbar. Google ruft eine gesperrte Seite nicht ab, kann die URL aber trotzdem in den Index nehmen, wenn andere Seiten darauf verlinken. In den Ergebnissen steht sie dann ohne Beschreibung. So steht es in Googles Spezifikation zur robots.txt. Wer eine Seite aus dem Index haben will, braucht noindex, wie im Artikel zur Google-Indexierung beschrieben.
Die Datei gilt nur für genau den Host und das Protokoll, unter dem sie liegt. Ein Shop auf shop.example.com braucht seine eigene. Fehlt die Datei und der Server antwortet mit 404, crawlt Google alles. Gefährlicher ist ein Serverfehler: Liefert die Adresse einen 5xx-Status, stoppt Google laut Spezifikation 12 Stunden lang das Crawling der ganzen Website und nutzt danach bis zu 30 Tage die letzte funktionierende Version.
Aufbau und Syntax mit Beispielen
Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, darunter stehen die Regeln. Google unterstützt genau vier Felder: user-agent, disallow, allow und sitemap. Bei den Feldnamen ist die Schreibweise egal, bei den Pfaden zählt jeder Groß- und Kleinbuchstabe.
User-agent: *
Disallow: /intern/
Allow: /intern/presse/
Sitemap: https://www.example.com/sitemap.xml
User-agent: für wen die Regeln gelten
* meint alle Crawler, ein Name wie Googlebot oder GPTBot nur diesen einen. Wichtig ist eine Regel, die viele übersehen: Jeder Crawler befolgt nur die eine Gruppe, die am genauesten zu seinem Namen passt, und ignoriert alle anderen.
User-agent: *
Disallow: /intern/
User-agent: Googlebot
Disallow: /alte-angebote/
Hier darf Googlebot /intern/ crawlen, denn er liest nur seine eigene Gruppe. Soll der Bereich auch für Google gesperrt sein, muss die Zeile in beiden Gruppen stehen.
Disallow und Allow
Disallow sperrt alles, was mit dem angegebenen Pfad beginnt. Allow gibt einen Teil davon wieder frei. Widersprechen sich zwei Regeln, gewinnt die mit dem längeren Pfad. Sind beide gleich lang, nimmt Google die weniger strenge, also Allow. Eine Disallow-Zeile ohne Pfad sperrt nichts.
Platzhalter * und $
Google und Bing verstehen zwei Platzhalter: * steht für beliebig viele Zeichen, $ für das Ende der Adresse.
| Regel | Sperrt zum Beispiel | Sperrt nicht |
|---|---|---|
Disallow: /intern | /intern/, /interne-preise.html | /Intern/ |
Disallow: /intern/ | /intern/plan.html | /intern |
Disallow: /*.pdf$ | /flyer.pdf, /downloads/preise.pdf | /flyer.pdf?v=2 |
Disallow: /*?s= | /?s=fliesen, /blog/?s=test | /suche/ |
Die erste Zeile zeigt einen Klassiker. Ohne Schrägstrich am Ende sperrt /intern auch jede Seite, deren Adresse zufällig so anfängt.
Sitemap
Die Sitemap-Zeile nennt die vollständige Adresse deiner XML-Sitemap, mit https und Domain. Sie gehört zu keiner Gruppe, und Google, Bing und andere große Suchmaschinen lesen sie mit.
robots.txt erstellen: Vorlagen für WordPress und Co.
Einen robots.txt-Generator brauchst du nicht. Bei vier Zeilen spart er dir keine Arbeit, und jede Zeile, die du nicht verstehst, ist ein Risiko. Für eine typische Firmenwebsite reicht das hier:
User-agent: *
Disallow:
Sitemap: https://www.example.com/sitemap.xml
Das erlaubt allen Crawlern alles und nennt die Sitemap. Mehr braucht ein Handwerksbetrieb mit 30 Seiten nicht. Du speicherst die Datei als reinen Text in UTF-8 unter dem Namen robots.txt, klein geschrieben, im Hauptverzeichnis der Domain. Das geht per FTP oder über den Dateimanager deines Hosters.
Die typische WordPress-robots.txt
WordPress erzeugt die Datei selbst, solange im Hauptverzeichnis keine echte robots.txt liegt. Ohne Plugins sieht sie so aus:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/wp-sitemap.xml
Die Allow-Zeile ist nötig, weil Themes und Plugins über admin-ajax.php Inhalte nachladen. Sie gewinnt, weil ihr Pfad länger ist. Die Sitemap-Zeile setzt WordPress seit Version 5.5 selbst, sofern die Website für Suchmaschinen sichtbar ist. Mit Yoast oder Rank Math heißt die Sitemap meist sitemap_index.xml. Prüf im Browser, welche Adresse bei dir wirklich eine Sitemap liefert.
Sperr auf keinen Fall /wp-content/ oder /wp-includes/, dort liegen CSS, JavaScript und Bilder. Sinnvoll sind höchstens Sperren für Bereiche, die Crawler nur beschäftigen: die interne Suche (Disallow: /*?s=) oder bei einem Onlineshop mit 200 Produkten die Filter- und Sortier-Parameter. Alles andere bleibt offen.
Was Google in der robots.txt ignoriert
Alles außer den vier Feldern. Zwei Zeilen aus alten Vorlagen tauchen trotzdem oft auf.
Die erste ist eine Zeile wie Noindex: /danke/. Sie hat keine Wirkung, Google schreibt das unmissverständlich:
„Die Angabe der Regel noindex in der robots.txt-Datei wird von Google nicht unterstützt.“
Google Search Central: Aufnahme in den Google-Suchindex mit „noindex“ blockieren
Die zweite ist Crawl-delay, die gewünschte Pause zwischen zwei Abrufen. Google ignoriert sie. Andere Crawler beachten sie, Anthropic etwa nach eigener Aussage.
Die teuersten Fehler in der robots.txt
Disallow: / aus der Testumgebung übernommen
Während der Entwicklung sperrt man die Testseite für alle Crawler, völlig zu Recht. Dann geht die neue Website live, die Datei wird mitkopiert, und Google darf nichts mehr abrufen. Bereits indexierte Seiten verschwinden nicht über Nacht. Deshalb fällt der Fehler oft erst auf, wenn die Besucherzahlen schon sinken.
CSS und JavaScript gesperrt
Google rendert Seiten wie ein Browser. Sind Stylesheets oder Skripte gesperrt, sieht Googlebot eine halb kaputte Seite und versteht Inhalt und Aufbau schlechter. Google rät in seiner Doku ausdrücklich davon ab, Ressourcen zu sperren, ohne die der Crawler die Seite schlechter versteht. Alte Zeilen wie Disallow: /wp-includes/ oder Disallow: /*.js$ gehören gelöscht.
Seiten gesperrt, die eigentlich noindex bekommen sollen
Der Fehler wirkt logisch. Die Danke-Seite nach dem Kontaktformular soll nicht in Google auftauchen, also bekommt sie ein noindex und zur Sicherheit noch eine Disallow-Zeile. Genau das verhindert, dass es wirkt. Google darf die Seite nicht abrufen, sieht das noindex nie, und die URL kann im Index bleiben, sobald irgendwo ein Link auf sie zeigt.
Die Search Console meldet das als „Indexiert, obwohl durch robots.txt-Datei blockiert“. Die Lösung: Disallow-Zeile löschen, noindex stehen lassen und warten, bis Google die Seite neu gecrawlt hat.
Ob irgendwo auf deiner Website noch ein vergessenes noindex steckt, siehst du erst, wenn du alle Seiten durchgehst. Bei 30 Seiten geht das von Hand, bei 300 nicht mehr.
Site Audit für jede Unterseite
Wir crawlen dein ganzes Projekt, prüfen jede einzelne Seite und zeigen dir, wo es hakt.
Preise zzgl. MwSt. · monatlich kündbar · nur für Unternehmer
So kannst du die robots.txt testen
Drei Schritte, die zusammen keine zehn Minuten dauern:
- Öffne deine Domain plus
/robots.txtim Browser. Die Datei muss als reiner Text erscheinen, ohne HTML und ohne Weiterleitung auf eine Fehlerseite. Lies jede Zeile und frag dich, ob du weißt, wozu sie da ist. - Öffne in der Search Console Einstellungen → robots.txt. Der robots.txt-Bericht zeigt für bis zu 20 Hosts deiner Website die zuletzt abgerufene Version, wann Google sie geholt hat, und markiert Fehler und Warnungen. Nach einer dringenden Korrektur beantragst du dort ein erneutes Crawlen. Den Bericht gibt es nur für Domain-Properties und für URL-Präfix-Properties ohne Pfad.
- Prüf wichtige Einzelseiten mit dem URL-Prüftool, dem Suchfeld ganz oben in der Search Console. Es zeigt, ob Google die Adresse crawlen darf. Den alten robots.txt-Tester, in dem man Regeln vorab ausprobieren konnte, hat Google Ende 2023 eingestellt.
Unsere kostenlose Analyse prüft die Crawlbarkeit der eingegebenen Adresse gleich mit.
Wie steht deine Website da?
Prüf, ob Google und KI-Crawler deine Seite laut robots.txt lesen dürfen, und ob ein noindex sie bremst.
Kostenlos · ohne Anmeldung · 3 Messläufe je Gerät, gewertet wird der Median
KI-Crawler: Suche und Training getrennt steuern
Seit ChatGPT, Claude und Perplexity selbst im Web suchen, entscheidet die robots.txt auch darüber, ob deine Website in KI-Antworten als Quelle auftaucht. Die meisten Anbieter schicken dafür zwei Crawler los: einen, der Seiten für die Suche abruft, und einen, der Texte für das Training künftiger Modelle sammelt.
| Anbieter | Crawler für Suche und Antworten | Crawler für Modelltraining |
|---|---|---|
| OpenAI (ChatGPT) | OAI-SearchBot | GPTBot |
| Anthropic (Claude) | Claude-SearchBot | ClaudeBot |
| Perplexity | PerplexityBot | keiner, PerplexityBot sammelt laut Perplexity nicht fürs Training |
| Googlebot, auch für Übersicht mit KI und KI-Modus | Google-Extended |
Was das Sperren bewirkt, unterscheidet sich stark. Sperrst du GPTBot, sollen deine Inhalte laut OpenAI-Dokumentation zu den Crawlern nicht ins Training der Modelle fließen. In der ChatGPT-Suche kannst du trotzdem erscheinen, denn OpenAI behandelt jede Einstellung getrennt. Sperrst du dagegen OAI-SearchBot, zeigt ChatGPT deine Seiten in seinen Suchantworten nicht mehr, höchstens noch als reinen Link. Bei Anthropic ist es ähnlich: ClaudeBot sperren hält deine künftigen Inhalte aus dem Training heraus, Claude-SearchBot sperren kann Sichtbarkeit in Claudes Suche kosten.
Google-Extended ist ein Sonderfall: kein eigener Crawler, sondern nur ein Name, den du in der robots.txt verwendest. Laut Googles Liste der Crawler regelt dieser Eintrag das Training künftiger Gemini-Modelle und die Fundierung, also ob Gemini-Apps beim Antworten auf deine Inhalte zurückgreifen dürfen. Auf die Google-Suche und das Ranking hat er keinen Einfluss. Die Übersichten mit KI in der Google-Suche steuerst du darüber also nicht, die hängen am normalen Googlebot.
So sieht eine robots.txt aus, die Training ausschließt und Suche erlaubt:
# KI-Training sperren
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# Alle anderen, auch die Such-Crawler, dürfen alles
User-agent: *
Disallow:
Sitemap: https://www.example.com/sitemap.xml
Unsere Meinung: Wer als Firma gefunden werden will, sperrt die Such-Crawler nie. Training auszuschließen ist dagegen eine legitime Entscheidung. Nur bei Google-Extended solltest du abwägen, weil es auch die Antworten in Gemini-Apps betrifft.
Eine Grenze gibt es auch hier. Bittet jemand ChatGPT oder Perplexity, eine bestimmte Seite zu öffnen, kommt ein eigener Abrufdienst (ChatGPT-User, Perplexity-User). Für den gilt die robots.txt laut OpenAI möglicherweise nicht, laut Perplexity in der Regel nicht. Eine llms.txt ändert daran nichts, sie regelt keinen Zugriff.
Unsere kostenlose Analyse zeigt genau das unter „KI-Lesbarkeit“: für die wichtigen Crawler einzeln, ob sie deine Seite laut robots.txt lesen dürfen, getrennt nach KI-Suche und KI-Training. Ob ChatGPT und Co. dich dann auch nennen, klärt der Artikel zur KI-Sichtbarkeit.
Häufige Fragen
Brauche ich überhaupt eine robots.txt?
Nein. Ohne Datei crawlt Google alles. Eine kurze Datei mit Sitemap-Zeile ist trotzdem sinnvoll, weil Crawler darüber deine Sitemap finden.
Wie sperre ich mit der robots.txt alles (disallow all)?
User-agent: *
Disallow: /
Das ist die Variante für Testumgebungen, auf einer Live-Website fast immer ein Versehen. Für eine Testumgebung ist ein Passwortschutz ohnehin besser, denn die robots.txt hält weder Menschen ab noch zuverlässig aus dem Index fern.
Wie schnell beachtet Google eine geänderte robots.txt?
Google speichert die Datei in der Regel bis zu 24 Stunden zwischen. Nach einer dringenden Korrektur beantragst du im robots.txt-Bericht ein erneutes Crawlen. Dass freigegebene Seiten danach sofort neu gecrawlt werden, garantiert Google nicht.
Kann ich mit der robots.txt eine Seite aus Google entfernen?
Nein, dafür ist noindex da. Eine schon indexierte Seite, die du nachträglich per robots.txt sperrst, kann mit leerer Beschreibung im Index stehen bleiben. Setz noindex und lass die Seite für Google erreichbar, dann fliegt sie beim nächsten Crawl raus.
Wie groß darf die robots.txt sein?
Google liest höchstens 500 KiB, alles dahinter ignoriert es. Eine normale Datei hat ein paar hundert Byte. Wer an die Grenze kommt, sollte die Regeln zusammenfassen, statt jede einzelne URL aufzulisten.
Veröffentlicht am 10. September 2026