KI-Crawler sind Programme, mit denen Anbieter wie OpenAI, Anthropic, Perplexity und Google Webseiten automatisch abrufen. Sie tun das für das Training der Modelle, für die Suche oder im Auftrag eines Nutzers. Wir sind fundkiste.studio, eine SEO- und GEO-Agentur aus Köln. Wir haben unsere Website abgerufen und dabei die Namen von 15 Crawlern mitgeschickt. Unter jedem Namen kam derselbe Inhalt zurück wie bei einem normalen Browser. Das galt, als wir Crawlern den Abruf verboten, und als wir ihn erlaubten.
Was ein KI-Crawler ist und wofür er abruft
Ein Crawler ist ein Programm, das Websites automatisch findet und scannt. Google nennt in der Übersicht über seine Crawler auch die Namen Robot und Spider. Ein KI-Crawler, englisch AI Crawler, ist ein solches Programm im Dienst eines KI-Anbieters. Er holt Seiten, damit der Anbieter seine Modelle trainieren oder Fragen seiner Nutzer beantworten kann.
Beim Abruf meldet sich das Programm mit einer Kennung (englisch User-Agent), also einem Namen, den es dem Server mitsendet. Der Name steckt in einer längeren Zeile. Bei GPTBot sah sie laut OpenAI am 21. Oktober 2026 so aus:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
Diese ganze Zeile nennen wir den Wortlaut der Kennung. An der Kennung hängt der Zweck. Wir ordnen die Kennungen dieser Seite nach drei Zwecken:
- Training: Der Crawler sammelt Inhalte, die ins Training der Modelle einfließen können. Beispiele sind GPTBot von OpenAI und ClaudeBot von Anthropic.
- Suche: Der Crawler erfasst Seiten für die Suche des KI-Systems. Beispiele sind OAI-SearchBot, Claude-SearchBot und PerplexityBot.
- Abruf im Auftrag eines Nutzers: Jemand stellt dem KI-System eine Frage, und es ruft dafür eine einzelne Seite ab. Beispiele sind ChatGPT-User, Claude-User und Perplexity-User. Ein Crawler im engen Sinn ist das nicht mehr: OpenAI schreibt, ChatGPT-User werde nicht zum automatischen Crawlen verwendet.
Welchem Zweck eine Kennung dient, sagt ihr Betreiber selbst. Die drei Zwecke sind getrennt, auch wenn die Kennungen vom selben Betreiber kommen: OpenAI schreibt, dass du OAI-SearchBot erlauben und GPTBot zugleich aussperren kannst. Deshalb lohnt der Blick auf die einzelne Kennung, bevor du über Erlauben oder Sperren nachdenkst.
Für die Suchantworten von ChatGPT zählt dabei OAI-SearchBot. OpenAI schreibt: Websites, die OAI-SearchBot ausschließen, werden in den Suchantworten von ChatGPT nicht gezeigt. Als reiner Link zum Aufrufen der Website können sie dort laut OpenAI trotzdem erscheinen. Umgekehrt ist der Abruf aus unserer Sicht keine Zusage. Dass eine Kennung deine Seiten abrufen darf, heißt nicht, dass dein Unternehmen in einer Antwort von ChatGPT genannt wird. Wie sich die Nennung in KI-Antworten vom Platz in der Trefferliste unterscheidet, steht auf unserer Seite GEO vs SEO. GEO steht für Generative Engine Optimization, also die Arbeit daran, dass eine Marke in KI-Antworten genannt wird.
Welche KI-Crawler es gibt: Liste nach Betreiber
Die Liste zeigt die 15 Kennungen aus unserem Test und dazu zwei Namen, die nur in der robots.txt vorkommen. Die robots.txt ist eine Textdatei auf deiner Website, in der steht, welche Kennung welche Bereiche abrufen darf. Googlebot steht als Crawler der Google Suche zum Vergleich in der Liste. Der Zweck stammt aus der Dokumentation des Betreibers, gelesen am 21. Oktober 2026. Bei Bytespider haben wir keine Seite des Betreibers gefunden; das steht in der Zeile. Vollständig ist die Liste nicht.
| Betreiber | Kennung oder Name | Zweck laut Betreiber | Quelle |
|---|---|---|---|
| OpenAI | GPTBot | Training: holt Inhalte, die ins Training der Modelle einfließen können | Dokumentation von OpenAI |
| OpenAI | OAI-SearchBot | Suche: zeigt Websites in den Suchfunktionen von ChatGPT | Dokumentation von OpenAI |
| OpenAI | ChatGPT-User | Nutzer: kann eine Seite abrufen, wenn jemand ChatGPT eine Frage stellt | Dokumentation von OpenAI |
| Anthropic | ClaudeBot | Training: sammelt Inhalte, die zum Training beitragen können | Hilfeseite von Anthropic |
| Anthropic | Claude-SearchBot | Suche: soll die Qualität der Suchergebnisse verbessern | Hilfeseite von Anthropic |
| Anthropic | Claude-User | Nutzer: kann eine Seite abrufen, wenn jemand Claude eine Frage stellt | Hilfeseite von Anthropic |
| Perplexity | PerplexityBot | Suche: zeigt und verlinkt Websites in den Suchergebnissen von Perplexity | Dokumentation von Perplexity |
| Perplexity | Perplexity-User | Nutzer: kann eine Seite abrufen, wenn jemand Perplexity eine Frage stellt | Dokumentation von Perplexity |
| Googlebot | Suche: Google Suche mit allen ihren Funktionen | Googles Liste gewöhnlicher Crawler, Stand 20. Oktober 2026 | |
| Google-Extended | Kein eigener Abruf. Steuert in der robots.txt, ob Inhalte zum Training künftiger Gemini-Modelle und zur Fundierung in Gemini verwendet werden dürfen | Googles Liste gewöhnlicher Crawler | |
| Apple | Applebot | Suche in Apple-Produkten; die Daten können auch zum Training von Apples Modellen verwendet werden | Apples Seite zu Applebot, Stand 5. September 2026 |
| Apple | Applebot-Extended | Kein eigener Abruf. Bestimmt nur, wie die Daten von Applebot verwendet werden | Apples Seite zu Applebot |
| Meta | meta-externalagent | Zwecke wie das Training von KI-Modellen oder die Verbesserung von Produkten | Seite von Meta zu seinen Crawlern |
| Amazon | Amazonbot | Verbesserung von Produkten und Diensten; die Inhalte können zum Training von Amazons KI-Modellen verwendet werden | Seite von Amazon zu Amazonbot |
| Common Crawl | CCBot | Crawler einer gemeinnützigen Stiftung, die ein offenes Archiv abgerufener Webseiten pflegt, das jeder auswerten kann | Seite von Common Crawl zu CCBot |
| Bing | bingbot | Standard-Crawler von Bing, der den größten Teil des täglichen Crawlens erledigt | Hilfeseite von Bing |
| ByteDance (Zuschreibung, nicht an einer Seite des Betreibers geprüft) | Bytespider | Keine Seite des Betreibers gefunden | keine |
Mehrere dieser Seiten führen weitere Kennungen, die nicht in unserem Test waren: OpenAI etwa OAI-AdsBot, Google etwa Google-CloudVertexBot und GoogleOther, Meta meta-externalfetcher, Amazon Amzn-SearchBot und Amzn-User. Vier Namen aus der Liste sehen wir uns näher an.
ClaudeBot
ClaudeBot ist der Crawler von Anthropic, der Webinhalte sammelt, die zum Training der Modelle beitragen können. Sperrt eine Website ClaudeBot aus, wertet Anthropic das nach eigener Angabe als Zeichen, dass künftige Inhalte dieser Website nicht in die Trainingsdaten sollen. Für die Suche und für Abrufe auf Nutzerfragen gibt es mit Claude-SearchBot und Claude-User eigene Kennungen. Die Hilfeseite nennt die Namen der Kennungen, aber keinen vollen Wortlaut.
PerplexityBot
PerplexityBot ist die Kennung, mit der Perplexity Websites für seine Suchergebnisse erfasst und verlinkt. Zum Crawlen von Inhalten für KI-Basismodelle, also die großen Modelle hinter den KI-Systemen, wird PerplexityBot laut Perplexity nicht verwendet. Die zweite Kennung heißt Perplexity-User. Sie kann eine Seite abrufen, wenn ein Nutzer Perplexity eine Frage stellt.
Google-Extended und Applebot-Extended
Google-Extended ist ein Name für die robots.txt und kein eigener Crawler. Google schreibt, Google-Extended habe keinen eigenen Wortlaut in Abrufen; abgerufen wird mit den vorhandenen Kennungen von Google. Mit dem Namen steuerst du, ob Inhalte, die Google von deiner Website abruft, zum Training künftiger Gemini-Modelle und als Grundlage für Antworten in den Gemini-Apps verwendet werden dürfen. Das Zweite nennt Google Fundierung. Auf die Aufnahme in die Google Suche hat Google-Extended laut Google keinen Einfluss, und ein Ranking-Signal ist es dort auch nicht.
Ähnlich beschreibt Apple Applebot-Extended: Der Name ruft keine Webseiten ab und bestimmt nur, wie die Daten verwendet werden, die Applebot geholt hat. In unserem Test haben wir für beide Namen deshalb nur die robots.txt ausgewertet.
Woran du einen KI-Crawler erkennst und was für die robots.txt gilt
Einen KI-Crawler erkennst du zuerst an seiner Kennung, sicher ist dieses Zeichen allein aber nicht. Google warnt in seiner Liste, dass sich die Kennung fälschen lässt, und unser Test hat genau das getan: Er hat fremde Kennungen gesendet. Mehrere Betreiber veröffentlichen zusätzlich Listen ihrer IP-Adressen, also der Netzadressen, von denen ihre Abrufe kommen: OpenAI und Perplexity je Kennung, Anthropic und Common Crawl je eine. Anthropic schreibt dazu: Steht die IP-Adresse eines Abrufs auf der Liste, kommt er von Anthropic.
Ob sich ein KI-Crawler an die robots.txt hält, geben die Betreiber je Kennung unterschiedlich an; nachgemessen haben wir es nicht. Anthropic, Google und Apple schreiben, ihre Crawler beachteten die Datei: Anthropic für seine drei Kennungen, Google für seine gewöhnlichen Crawler, wenn sie von selbst unterwegs sind, Apple für Applebot bei der allgemeinen Suche. Für Abrufe, die ein Nutzer auslöst, nennen mehrere Betreiber eine Ausnahme. Für ChatGPT-User gelten die Regeln laut OpenAI unter Umständen nicht, und Perplexity-User übergeht sie laut Perplexity in der Regel.
Erzwingen lässt sich mit der Datei nichts. Der Standard der robots.txt, RFC 9309 vom September 2022, hält fest, dass ihre Regeln keine Form der Zugriffsberechtigung sind. Die robots.txt ist also eine Anweisung, an die sich ein Programm halten kann, und keine technische Sperre. Wie du Kennungen in der robots.txt erlaubst oder sperrst, gehört auf eine eigene Seite.
Unser Abruftest: was der Server einer Kennung ausliefert
Welche KI-Crawler deine Website wirklich besuchen, zeigen erst die Serverprotokolle, also die Aufzeichnungen des Servers über jeden einzelnen Abruf. An unserer eigenen Website haben wir das noch nicht gemessen. Unser Test beantwortet die Frage davor: was unser Server ausliefert, wenn eine Kennung anfragt. Dafür haben wir unsere Website mit dem Wortlaut der Kennungen abgerufen und die Antworten verglichen.
Gemessen haben wir zweimal: am 9. Oktober 2026, als unsere Website vor ihrer Freigabe mit Absicht für Suchmaschinen gesperrt war, und am 21. Oktober 2026, nach der Freigabe. Alle Zahlen unten gelten für den 21. Oktober 2026.
Was der Test zeigt
- Unser Server unterschied nicht nach Kennung. Jede der 15 Kennungen bekam an jeder der 6 Adressen bis aufs letzte Zeichen denselben Inhalt wie die beiden Vergleichsabrufe: einer mit dem Wortlaut eines Chrome-Browsers, einer mit der Kennung, die unser Abrufprogramm curl von sich aus sendet. Keine Kennung wurde abgewiesen.
- Der Text stand im ausgelieferten HTML, dem Quelltext der Seite. Ohne JavaScript, also ohne die Programme, die eine Seite erst im Browser ausführt, enthielt die Startseite 1.604 Wörter im Hauptinhalt, /leistungen 668, /ueber 426, /ergebnisse 437 und unser Beitrag GEO vs SEO 1.828. Ein Programm, das kein JavaScript ausführt, bekam den Text unserer Seiten also trotzdem.
- Die Sperre vom 9. Oktober lag allein in der robots.txt und in einer Anweisung im Quelltext (Meta-Tag), nicht im Server. Damals verbot unsere robots.txt jeder Kennung jeden Abruf, und die Seiten trugen ein Meta-Tag mit noindex, also die Anweisung, sie nicht in den Suchergebnissen zu zeigen. Trotzdem bekam jede Kennung denselben Inhalt wie der Browser, nach der Freigabe ebenso. Sperre und Freigabe standen nur in robots.txt und Meta-Tag.
Ergebnis je Adresse
Der Status in der Tabelle ist die dreistellige Zahl, mit der ein Server sagt, wie der Abruf ausging: 200 heißt, der Abruf war erfolgreich.
| Adresse | Status | Größe in Bytes | Verschiedene Antworten bei 17 Abrufen | Wörter im Hauptinhalt ohne JavaScript |
|---|---|---|---|---|
| /robots.txt | 200 | 86 | 1 | entfällt |
| / | 200 | 188.715 | 1 | 1.604 |
| /leistungen | 200 | 87.834 | 1 | 668 |
| /ueber | 200 | 61.983 | 1 | 426 |
| /ergebnisse | 200 | 59.570 | 1 | 437 |
| /blog/geo-vs-seo | 200 | 70.832 | 1 | 1.828 |
Die 17 Abrufe je Adresse sind die 15 Kennungen und die beiden Vergleichsabrufe. Die 1 in der vierten Spalte heißt: Alle 17 Abrufe bekamen denselben Inhalt.
So haben wir gemessen
Gemessen haben wir in der Nacht, gegen 01:18 Uhr, von einem Mac in Deutschland. Das Werkzeug war curl 8.7.1, ein Programm, das eine Adresse abruft und die Antwort des Servers zurückgibt. Je Kennung und Adresse gab es einen Abruf, ohne Cookies und ohne JavaScript. Mit den beiden Vergleichsabrufen waren es 17 Abrufe an 6 Adressen, zusammen 102. Die Rohdaten, die Tabelle und das Skript kannst du herunterladen, für die erste Messung auch Rohdaten und Tabelle.
Die robots.txt unserer Website bestand am Messtag aus einer Regel für alle Kennungen und dem Verweis auf die Sitemap, die Liste unserer Seiten:
User-Agent: *
Allow: /
Disallow: /api/
Sitemap: https://fundkiste.studio/sitemap.xml
Diese Regel erlaubte jeder der 15 Kennungen den Abruf aller sechs Adressen; gesperrt war nur /api/, über das unsere Formulare laufen. Statt noindex trug jede der fünf abgerufenen Seiten ein Meta-Tag mit index und follow.
Grenzen des Tests
- Ein Abruf je Kennung und Adresse, in einer Nacht, von einem Standort. Zu anderen Uhrzeiten haben wir an diesem Tag nicht gemessen.
- Gesendet wurde nur der Wortlaut der Kennung, und zwar von unserem Rechner, nicht von der IP-Adresse eines Betreibers. Ein Server, der Crawler an der IP-Adresse prüft, kann echten Crawlern anders antworten als unserem Test.
- Der volle Wortlaut stammt bei elf der 15 Kennungen aus der Dokumentation des Betreibers. Bei Googlebot, Amazonbot und bingbot haben wir darin statt eines Platzhalters selbst eine Versionsnummer eingesetzt. Bei ClaudeBot, Claude-SearchBot und Claude-User haben wir nur den Namen der Kennung gesendet, bei Bytespider einen verbreiteten Wortlaut.
- Verglichen haben wir den Inhalt der Antworten, nicht die Kopfzeilen, die ein Server davor mitsendet.
- Die Wortzahlen sind eine Näherung. Größen und Wortzahlen gelten für den Messtag; die der Startseite ändern sich, sobald dort ein weiterer Beitrag erscheint.
So prüfst du, was deine Website einer Kennung ausliefert
Was ein KI-Crawler von deiner Website ausgeliefert bekommt, prüfst du mit zwei Abrufen: einmal mit dem Wortlaut einer Kennung, einmal ohne. Du gibst sie im Terminal ein, dem Programm auf dem Mac, das Befehle als Text annimmt. Unser Rat ist, das zu tun, bevor du Regeln schreibst. Es dauert wenige Minuten. Du kannst die beiden Zeilen auch an die Person weitergeben, die deine Website betreut.
- Öffne die robots.txt im Browser, also die Adresse deiner Website mit /robots.txt am Ende. Sieh nach, ob dort eine Regel für alle Kennungen steht, wie bei uns.
- Ruf eine Seite mit dem Wortlaut einer Kennung ab. Mit dem Wortlaut von GPTBot von oben sieht das so aus:
curl -s -o /dev/null -w '%{http_code} %{size_download}\n' -A 'Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot' https://deine-website.de/
- Ruf dieselbe Seite ohne -A und ohne den Wortlaut dahinter ab:
curl -s -o /dev/null -w '%{http_code} %{size_download}\n' https://deine-website.de/
Die Antwort sind jeweils zwei Zahlen: erst der Status, dann die Größe in Bytes. An unserer Startseite waren das am 21. Oktober 2026 die Zahlen 200 und 188715, also 188.715 Bytes. Sind beide Werte in beiden Abrufen gleich, spricht das dafür, dass dein Server nicht nach diesem Wortlaut unterscheidet. Kommt mit der Kennung der Status 403 zurück, hat der Server die Anfrage nach dem HTTP-Standard verstanden und verweigert sie. Lies das Ergebnis mit denselben Grenzen wie unseres: Es zeigt die Antwort auf einen Wortlaut, nicht auf die IP-Adresse eines Betreibers, und es sagt nichts darüber, wer wirklich vorbeikommt.
Diese Seite gibt den Überblick und beantwortet nicht, ob du eine Kennung erlauben oder sperren sollst.
Häufige Fragen
Was heißt Crawler auf Deutsch?
Crawler ist ein englisches Wort, das im Deutschen unverändert verwendet wird. Der Duden beschreibt einen Crawler als Computerprogramm, das zum Durchsuchen von Websites verwendet wird, und nennt als Herkunft das gleichbedeutende englische Wort.
Wie aktuell ist eine Liste von KI-Crawlern, und wo sehe ich nach?
Eine Liste von KI-Crawlern ist so aktuell wie der Tag, an dem jemand die Dokumentationen der Betreiber gelesen hat. OpenAI nannte am 21. Oktober 2026 zum Beispiel die Fassungen GPTBot/1.4 und OAI-SearchBot/1.4. Wir empfehlen, bei jeder Kennung in der Dokumentation ihres Betreibers nachzusehen und dir das Abrufdatum zu notieren, weil Listen aus zweiter Hand veralten können.
Nächster Schritt
Mach den Test mit den zwei Abrufen an deiner Startseite und an einer wichtigen Unterseite. Wenn du das Ergebnis nicht deuten kannst oder lieber prüfen lässt: Die technische Prüfung, ob KI-Systeme dich lesen dürfen, gehört bei uns zum Fundament, mit dem die Zusammenarbeit beginnt. Was dazugehört, steht auf der Seite Leistungen. Oder du buchst ein Gespräch mit uns.
