Die kurze Antwort

Für die meisten KMU lohnt es sich, die Such-Crawler der KI-Anbieter zuzulassen. Dazu gehören OAI-SearchBot, Claude-SearchBot und PerplexityBot. Nur dann kann deine Seite in ChatGPT, Claude oder Perplexity als Quelle auftauchen. Ob du zusätzlich die Trainings-Crawler wie GPTBot, ClaudeBot oder Google-Extended zulässt, ist eine Grundsatzfrage. Sie hat laut Google und Apple keinen Einfluss auf das Ranking in deren Suche [4][5].

Wichtig: Die Namen und Zwecke der Crawler ändern sich. Alles hier ist Stand Oktober 2026 und stammt aus den Dokumentationen der Anbieter. Prüf die Quellen, bevor du deine robots.txt änderst.

Welche Arten von KI-Crawlern gibt es?

Fast jeder große Anbieter betreibt inzwischen mehrere Bots. Sie lassen sich in drei Gruppen teilen:

  • Trainings-Crawler. Sie sammeln Inhalte, mit denen künftige KI-Modelle trainiert werden können. Blockierst du sie, landen deine neuen Inhalte nicht mehr in diesen Trainingsdaten. Bereits gesammelte Daten bleiben davon unberührt.
  • Such-Crawler. Sie bauen einen Index für die Websuche im KI-Assistenten. Blockierst du sie, wirst du dort seltener oder gar nicht als Quelle verlinkt.
  • Nutzer-Abrufe. Sie holen eine Seite in dem Moment, in dem jemand im Chat danach fragt oder einen Link einfügt. Das ist kein Crawling im klassischen Sinn. Manche Anbieter sagen deshalb, dass robots.txt hier nicht oder nur eingeschränkt greift [1][3].

Die Trennung ist der Kern der ganzen Entscheidung. Viele Websites blockieren pauschal „alle KI-Bots“ und wundern sich dann, warum ChatGPT sie nie als Quelle nennt.

Welcher Crawler gehört zu welchem Anbieter?

Die folgende Tabelle fasst die offiziellen Angaben zusammen. Der Name in der ersten Spalte ist der Eintrag, den du in der robots.txt unter User-agent verwendest.

CrawlerZweck laut AnbieterBlockieren bedeutet
GPTBot (OpenAI)Training der ModelleInhalte nicht fürs Training nutzen [1]
OAI-SearchBot (OpenAI)Suche in ChatGPTKeine Anzeige in ChatGPT-Suchantworten [1]
ChatGPT-User (OpenAI)Abruf auf Nutzerwunschrobots.txt greift evtl. nicht [1]
ClaudeBot (Anthropic)Training der ModelleKünftige Inhalte nicht im Training [2]
Claude-SearchBot (Anthropic)Suchindex für ClaudeNicht für die Suche indexiert [2]
Claude-User (Anthropic)Abruf auf NutzerwunschClaude kann die Seite nicht abrufen [2]
PerplexityBot (Perplexity)Suchindex, laut Anbieter kein TrainingSeltener als Quelle verlinkt [3]
Perplexity-User (Perplexity)Abruf auf NutzerwunschIgnoriert robots.txt in der Regel [3]
Google-Extended (Google)Training und Grounding für GeminiKein Einfluss auf Google-Suche [4]
Applebot-Extended (Apple)Training der Apple-ModelleKein Einfluss auf Apple-Suche [5]

Zwei Details aus den Dokumentationen sind praktisch relevant. OpenAI schreibt, dass Änderungen an der robots.txt für die Suche etwa 24 Stunden brauchen, bis sie greifen [1]. Anthropic unterstützt zusätzlich die nicht standardisierte Anweisung Crawl-delay, mit der du die Abrufrate drosseln kannst [2].

Google-Extended und Applebot-Extended sind keine eigenen Crawler. Es sind nur Steuerzeichen in der robots.txt. Gecrawlt wird weiter von Googlebot und Applebot. Der Eintrag regelt nur, wofür die Daten genutzt werden dürfen [4][5]. Bei Google-Extended gilt das auch für das Grounding in den Gemini-Apps. Wer es sperrt, taucht dort also möglicherweise seltener als Quelle auf [4].

Was ist mit Google und Bing?

Hier liegt das größte Missverständnis. Die KI-Übersichten und der KI-Modus in der Google-Suche nutzen den normalen Google-Index. Google nennt für die Steuerung den Googlebot und die bekannten Snippet-Regeln wie nosnippet oder max-snippet [6]. Google-Extended schaltet die KI-Übersichten also nicht ab. Wer dort nicht erscheinen will, müsste auch die normalen Snippets einschränken.

Bei Microsoft ist es ähnlich. Copilot stützt sich auf den Bing-Index, den Bingbot aufbaut. Einen eigenen KI-Crawler zum Sperren gibt es nicht. Bing bietet stattdessen zwei Meta-Angaben an: Mit NOCACHE nutzt der KI-Chat nur URL, Titel und Snippet. Mit NOARCHIVE erscheint die Seite gar nicht in den Chat-Antworten. In der normalen Bing-Suche bleibt sie in beiden Fällen [7]. Bing hat das 2023 für Bing Chat angekündigt, den Vorgänger von Copilot.

Kurz: Googlebot und Bingbot zu sperren, ist für ein KMU fast nie sinnvoll. Damit verschwindest du aus der klassischen Suche gleich mit.

Welche robots.txt passt zu dir?

Die robots.txt liegt immer im Hauptverzeichnis, also unter deinedomain.de/robots.txt. Ein Crawler befolgt dabei genau eine Regelgruppe, und zwar die mit dem genauesten passenden User-agent [10]. Steht GPTBot in einer eigenen Gruppe, ignoriert er die Regeln unter User-agent: *. Hier sind drei typische Strategien, jeweils als Beispiel.

Strategie 1: Alles erlauben

User-agent: *
Allow: /

Sitemap: https://www.beispiel.de/sitemap.xml

Folge: Alle Bots, die sich an robots.txt halten, dürfen alles lesen. Deine Inhalte können in Suchantworten auftauchen und ins Training einfließen. Für Dienstleister, die gefunden werden wollen, ist das die einfachste Wahl. So hält es auch tacobite.de.

Strategie 2: Training blockieren, Suche erlauben

# Stand Oktober 2026 – Namen regelmäßig prüfen
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.beispiel.de/sitemap.xml

Folge: Such-Crawler wie OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot und Bingbot dürfen weiter lesen. Deine Seite bleibt als Quelle in KI-Antworten möglich. Neue Inhalte fließen bei diesen vier Anbietern nicht mehr ins Training. Das passt, wenn deine Inhalte selbst dein Produkt sind, etwa bei Fachverlagen oder Kursanbietern. Nachteil: Bei Gemini kann das Grounding leiden, siehe oben.

Strategie 3: Alle KI-Crawler blockieren

# Stand Oktober 2026 – Namen regelmäßig prüfen
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /

Folge: Du verschwindest weitgehend aus ChatGPT-, Claude- und Perplexity-Antworten. Nutzer-Abrufe wie Perplexity-User halten sich laut Anbieter trotzdem nicht immer daran [3]. KI-Übersichten bei Google und Copilot-Antworten bleiben möglich, weil Googlebot und Bingbot weiter erlaubt sind. Für ein KMU, das Kunden gewinnen will, ist das aus unserer Sicht selten die richtige Wahl.

Wie entscheide ich mich in fünf Minuten?

Beantworte diese vier Fragen ehrlich. Sie führen in den meisten Fällen direkt zu einer der drei Strategien:

  1. Verdienst du Geld mit dem Inhalt selbst? Wenn deine Texte, Kurse oder Daten das Produkt sind, spricht viel für Strategie 2. Wenn die Website vor allem Anfragen bringen soll, eher für Strategie 1.
  2. Fragen deine Kunden KI-Assistenten nach Anbietern wie dir? Dann brauchst du die Such-Crawler. Sperrst du OAI-SearchBot, zeigt ChatGPT deine Seite laut OpenAI nicht in Suchantworten [1].
  3. Gibt es Bereiche, die gar nicht gelesen werden sollen? Sperr nur diese Verzeichnisse, etwa einen Kundenbereich, statt die ganze Domain. Echte Vertraulichkeit braucht trotzdem einen Login.
  4. Wer pflegt die Datei? Lege fest, wer die Liste einmal pro Quartal mit den Anbieter-Seiten abgleicht. Neue Bots tauchen auf, alte werden umbenannt.

Aus unserer Projekterfahrung landen die meisten Dienstleister und Handwerksbetriebe bei Strategie 1. Sichtbarkeit ist für sie wertvoller als der Schutz einzelner Texte.

Was robots.txt nicht kann

  • Sie ist kein Schutz. robots.txt ist eine Bitte, keine Sperre. Seriöse Crawler halten sich daran, andere nicht [9]. Vertrauliches gehört hinter ein Passwort.
  • Sie entfernt nichts aus dem Index. Eine gesperrte URL kann bei Google trotzdem erscheinen, wenn andere Seiten darauf verlinken. Dafür brauchst du noindex [9].
  • Sie wirkt nicht rückwirkend. Was schon gecrawlt wurde, bleibt in bestehenden Datensätzen.
  • IP-Sperren sind keine bessere Lösung. Anthropic weist darauf hin, dass ein IP-Block den Bot daran hindert, deine robots.txt überhaupt zu lesen [2].

Brauche ich eine llms.txt?

Die llms.txt ist eine Markdown-Datei im Hauptverzeichnis. Sie fasst zusammen, was auf einer Website steht, und verlinkt die wichtigsten Seiten. Der Vorschlag stammt von Jeremy Howard aus dem September 2024 und ist ausdrücklich ein offener Vorschlag, kein verabschiedeter Standard [11].

Google sagt dazu klar: Für die Google-Suche brauchst du keine KI-Textdateien. Die Suche ignoriert llms.txt, sie schadet aber auch nicht [6][8]. Ob andere KI-Anbieter die Datei auswerten, dokumentiert keiner der hier genannten Anbieter auf seinen Crawler-Seiten.

Unsere ehrliche Einordnung: Eine llms.txt kostet wenig und kann nicht schaden. Wir pflegen selbst eine. Sie ersetzt aber weder gute Inhalte noch eine saubere robots.txt. Wer nur Zeit für eins hat, investiert sie besser in klare Antworten auf echte Kundenfragen. Wie solche Inhalte aussehen, steht im Artikel Blog & Content.

Wie prüfe ich, ob KI-Crawler meine Seite besuchen?

Die verlässlichste Quelle sind die Server-Logs deines Hostings. Jeder Abruf steht dort mit dem User-Agent des Besuchers. Analytics-Tools helfen hier nicht, weil Bots meist kein JavaScript ausführen.

  1. Logs besorgen. Bei den meisten Hostern findest du die Zugriffsprotokolle im Kundenmenü. Manchmal muss die Speicherung erst aktiviert werden.
  2. Nach Namen filtern. Suche nach den Namen aus der Tabelle oben. Auf einem Linux-Server reicht zum Beispiel grep -ci "gptbot" access.log, um die Abrufe zu zählen.
  3. Pfade ansehen. Welche Seiten ruft der Bot ab? Kommt er auch an deine wichtigsten Leistungsseiten, oder nur an die Startseite?
  4. Echtheit prüfen. Den User-Agent kann jeder fälschen. Google erklärt, wie du Googlebot per Reverse-DNS-Abfrage oder über veröffentlichte IP-Listen bestätigst [12]. Für andere Bots findest du entsprechende Angaben, sofern vorhanden, in deren Dokumentation.
  5. robots.txt testen. Ruf nach jeder Änderung deinedomain.de/robots.txt im Browser auf. Ein Tippfehler im Namen reicht, und die Regel greift nicht.

Ob Google deine Seiten in KI-Übersichten zeigt, siehst du übrigens nicht in den Logs, sondern in der Search Console. Wie du die einrichtest und liest, steht im Artikel Google Search Console für KMU.