robots.txt und Sitemap.xml: Anleitung zur korrekten Einrichtung und häufige Fehler

Q: Sollte ich KI-Bots blockieren?

Das ist Ihre Entscheidung. User-Agents wie `GPTBot`, `ClaudeBot` oder `PerplexityBot` lassen sich per robots.txt blockieren. Möchten Sie aber, dass Ihre Inhalte in KI-Antworten als Quelle genannt werden, kostet eine Blockierung Sichtbarkeit — diese Abwägung haben wir in unserem GEO-Leitfaden diskutiert.

Manchmal reicht eine einzige Zeile, damit eine Website vollständig aus der Suche verschwindet:

User-agent: *
Disallow: /

Diese zwei Zeilen sind in einer Entwicklungsumgebung korrekt; werden sie versehentlich mit auf die Live-Website übernommen, löschen sie die Website aus Google. Das ist einer der häufigsten und teuersten technischen Fehler nach einem Launch.

robots.txt und sitemap.xml sind die zwei grundlegenden Kommunikationskanäle, die Sie mit der Suchmaschine aufbauen. In diesem Leitfaden erklären wir, was beide Dateien tun, wie man sie richtig schreibt und wo typischerweise Fehler gemacht werden.

Was ist robots.txt und was macht die Datei?

Es handelt sich um eine reine Textdatei im Root-Verzeichnis Ihrer Website (meineseite.de/robots.txt). Sie sagt den Bots der Suchmaschinen, welche Adressen sie nicht crawlen sollen.

Der entscheidende Unterschied: robots.txt blockiert das Crawling, nicht die Indexierung.

Diese beiden werden häufig verwechselt. Blockieren Sie eine Seite per robots.txt, kann Google sie nicht lesen — wird aber von anderen Websites auf sie verlinkt, kann Google sie trotzdem indexieren, ohne den Inhalt zu sehen. Das Ergebnis ist ein merkwürdiger Eintrag ohne Beschreibung in den Suchergebnissen.

Ziel	Richtiges Werkzeug	Warum
Seite soll nicht in den Suchergebnissen erscheinen	noindex-Meta-Tag	Google liest die Seite und lernt, sie nicht zu indexieren
Bot soll den Server nicht belasten	robots.txt Disallow	Das Crawling findet gar nicht erst statt
Seite soll weder gecrawlt noch angezeigt werden	Erst noindex, nach dem Herausfallen aus dem Index dann Disallow	Das noindex auf einer blockierten Seite kann nicht gelesen werden

Die letzte Zeile ist wichtig: Das noindex-Tag auf einer durch robots.txt blockierten Seite kann von Google nicht gesehen werden. Wenn Sie eine Seite aus dem Index entfernen möchten, setzen Sie zuerst noindex und blockieren Sie erst, nachdem Sie bestätigt haben, dass sie aus dem Index gefallen ist.

Wie schreibt man eine korrekte robots.txt?

Für die meisten Websites reicht eine so einfache Datei:

User-agent: *
Disallow: /wp-admin/
Disallow: /warenkorb
Disallow: /kasse
Disallow: /suche
Allow: /wp-admin/admin-ajax.php

Sitemap: https://meineseite.de/sitemap.xml

Regeln:

User-agent gibt an, an welchen Bot sich die Regel richtet; * bedeutet alle.
Disallow gibt den Pfad an, der nicht gecrawlt werden soll. Bleibt es leer (Disallow:), bedeutet das, dass alles erlaubt ist.
Allow öffnet eine Ausnahme innerhalb eines Disallow.
Die Sitemap-Zeile gibt die vollständige Adresse Ihrer Sitemap an; es können mehrere sein.
Die Datei muss UTF-8-kodiert sein und im Root-Verzeichnis liegen. Eine robots.txt in einem Unterordner ist ungültig.

Sinnvoll zu blockieren: Admin-Bereiche, Warenkorb- und Checkout-Schritte, interne Suchergebnisseiten, endlose Filterkombinationen und Bereiche mit personenbezogenen Daten.

Auf keinen Fall blockieren: CSS- und JavaScript-Dateien. Google benötigt diese, um die Seite so darzustellen, wie der Nutzer sie sieht; werden sie blockiert, wirkt die Seite fehlerhaft und die Bewertung der mobilen Nutzerfreundlichkeit verschlechtert sich.

Was ist Sitemap.xml?

Die Sitemap ist eine Liste der wichtigen Adressen Ihrer Website. Sie ist die direkteste Art, Google zu sagen: „Das hier möchte ich gecrawlt haben."

Grundstruktur:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://meineseite.de/</loc>
    <lastmod>2026-08-13</lastmod>
  </url>
  <url>
    <loc>https://meineseite.de/leistungen</loc>
    <lastmod>2026-07-02</lastmod>
  </url>
</urlset>

Grenzen: maximal 50.000 URLs und 50 MB (unkomprimiert) pro Datei. Bei größeren Websites wird ein Sitemap-Index verwendet:

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap><loc>https://meineseite.de/sitemap-produkte.xml</loc></sitemap>
  <sitemap><loc>https://meineseite.de/sitemap-blog.xml</loc></sitemap>
</sitemapindex>

Der versteckte Vorteil der Aufteilung: In der Search Console wird jede Sitemap separat ausgewertet, sodass Sie direkt sehen, welcher Bereich nicht indexiert wird. Sind 90 % der Produkte indexiert, aber nur 30 % des Blogs, finden Sie den Problembereich auf einen Blick.

Sechs Fehler in der Sitemap

1. URLs auflisten, die nicht indexiert werden sollen. Adressen mit noindex, mit einem Canonical-Verweis auf eine andere Seite oder mit 301 gehören nicht in die Sitemap. Die Sitemap sagt „das ist wichtig", das Canonical-Tag sagt „das ist nicht das Original". Widersprechen sich beide, kann Google Ihr Canonical-Tag ignorieren.

2. Das Feld lastmod täglich aktualisieren. Das Datum zu erneuern, obwohl sich der Inhalt nicht geändert hat, kostet Vertrauen; Google hört nach einer Weile auf, dieses Feld zu beachten. Aktualisieren Sie es nur, wenn sich der Inhalt tatsächlich geändert hat.

3. Den Feldern priority und changefreq Bedeutung beimessen. Google ignoriert diese beiden Felder größtenteils. Es lohnt sich nicht, Zeit darauf zu verwenden.

4. Unterschiedliche Protokolle/Subdomains mischen. Die Adressen in der Sitemap müssen mit der Domain übereinstimmen, unter der die Sitemap liegt, und mit der kanonischen Version übereinstimmen.

5. Adressen mit 404 belassen. Gelöschte Seiten müssen auch aus der Sitemap entfernt werden; sonst wird Ihr Crawl-Budget verschwendet.

6. Die Sitemap gar nicht einreichen. Es passiert häufig, dass die Datei erstellt, aber vergessen wird, sie in der Search Console einzureichen. Zusätzlich ist es hilfreich, die Zeile Sitemap: in der robots.txt zu ergänzen.

Der Zusammenhang mit dem Crawl-Budget

Für kleine Websites ist das Crawl-Budget kein Problem. Bei Websites, die Zehntausende URLs erzeugen, entsteht jedoch folgender Kreislauf: Google crawlt eine begrenzte Anzahl an Seiten; sind diese Seiten voller Filterkombinationen, kommen Ihre eigentlichen Produktseiten nicht mehr an die Reihe.

In diesem Fall wird robots.txt zu einem echten Hebel:

Blockieren Sie endlose Filterkombinationen (Disallow: /*?farbe=)
Blockieren Sie interne Suchergebnisseiten
Blockieren Sie endlose kalender-/datumsbasierte Seiten

Aber Achtung: Interne Links, die auf blockierte Seiten zeigen, laufen jetzt ins Leere. Prüfen Sie vor dem Blockieren die interne Linkstruktur, die zu diesen Seiten führt.

Überprüfung nach der Einrichtung

Öffnen Sie meineseite.de/robots.txt im Browser. Es sollte 200 zurückgeben und der Inhalt lesbar sein.
Bestätigen Sie im Bericht Search Console → Einstellungen → robots.txt, dass die Datei abgerufen wurde und keine Fehler vorliegen.
Testen Sie mit dem URL-Inspektionstool einige wichtige Seiten; die Zeile „Crawling erlaubt?" sollte Ja anzeigen.
Reichen Sie die Sitemap in der Search Console ein und vergleichen Sie nach einigen Tagen die Anzahl der „gefundenen URLs" mit den „indexierten" URLs.
Ist die Differenz groß, prüfen Sie die Ausschlussgründe im Bericht Seiten.

Alle diese Schritte werden in unserem Search-Console-Leitfaden Screen für Screen erklärt.

Checkliste für den Launch

Beim Launch einer neuen Website werden am häufigsten diese zwei Punkte vergessen:

Wurde die Zeile Disallow: / aus der Entwicklungsumgebung entfernt?
Wurde die Option „Suchmaschinen blockieren" in den Theme-/Template-Einstellungen deaktiviert?

Beide lassen sich mit einem Klick beheben, können aber Wochen unbemerkt bleiben. Der erste Handgriff am Launch-Tag sollte sein, die robots.txt zu öffnen und zu prüfen. Für eine umfassendere Kontrolle werfen Sie einen Blick in unsere technische SEO-Checkliste.

Häufig gestellte Fragen

Wird eine Website ohne robots.txt bestraft?

Nein. Fehlt die Datei, geht Google davon aus, dass alles crawlbar ist. Trotzdem lohnt es sich, eine anzulegen, schon allein wegen der Sitemap-Zeile.

Sollte ich KI-Bots blockieren?

Das ist Ihre Entscheidung. User-Agents wie GPTBot, ClaudeBot oder PerplexityBot lassen sich per robots.txt blockieren. Möchten Sie aber, dass Ihre Inhalte in KI-Antworten als Quelle genannt werden, kostet eine Blockierung Sichtbarkeit — diese Abwägung haben wir in unserem GEO-Leitfaden diskutiert.

Wie oft sollte ich die Sitemap aktualisieren?

Lassen Sie sie automatisch generieren. Aktualisiert Ihr CMS die Sitemap nicht automatisch, wenn neue Seiten hinzukommen, ist eine manuelle Pflege auf Dauer nicht praktikabel.

Warum erscheint eine von mir blockierte Seite trotzdem bei Google?

robots.txt blockiert das Crawling, nicht die Indexierung. Um eine Seite aus dem Index zu entfernen, brauchen Sie noindex — und damit noindex gelesen werden kann, muss die Seite crawlbar sein.

Verwandte Artikel: