Sie haben vor zwei Wochen eine Vergleichsseite veröffentlicht. Ihr Tracking zeigt, dass noch keine KI-Suchmaschine sie zitiert. Das kann passieren. Aber eine Frage kann Ihnen niemand beantworten: Hat überhaupt ein KI-Crawler sie gelesen?
Hat ChatGPT die Seite nie geöffnet, liegt das Problem nicht an Ihrem Inhalt. Die Seite war schlicht nie im Rennen.
Was zeigt die Seite KI-Crawler?
Mentionable liest die Besuche, die KI-Bots auf Ihrer Website machen, und zeigt auf einer Seite, wer gekommen ist, was gelesen wurde und wozu es geführt hat.
Vier Zahlen oben. Die gesamten Besuche von KI-Bots im Zeitraum, verglichen mit dem vorherigen, dann dieselben Besuche aufgeteilt in Antwort-Abrufe, Suchindexierung und Trainings-Crawls.
Besuche im Zeitverlauf. Ein Diagramm pro Tag und pro Besuchsart. Orange Linien markieren die Tage, an denen Sie eine Seite veröffentlicht oder eine Maßnahme protokolliert haben. So vergleichen Sie vorher und nachher, ohne zu raten.
Die am häufigsten gecrawlten Seiten. Jede Seite, die KI-Bots geladen haben, mit ihren Besuchen, ihren Antwort-Abrufen, der Anzahl ihrer Zitierungen in KI-Antworten auf Ihre getrackten Fragen und dem Tag ihres letzten Besuchs. Mit Mentionable veröffentlichte Seiten tragen eine Markierung. Sie können nach einer Seite suchen oder nach dem HTTP-Code filtern, den Ihre Website ausgeliefert hat.
Besuche pro Bot. Welche Bots gekommen sind, und wie oft. Filter zeigen nur ein Unternehmen (OpenAI, Anthropic, Perplexity…) oder einen Bot.
An KI-Bots ausgelieferte Fehler. Die Seiten, die einem KI-Bot mit einem Fehler geantwortet haben. Eine Seite, die nicht gelesen werden kann, kann nicht zitiert werden.
Was sind die drei Arten von KI-Bot-Besuchen?
Nicht jeder KI-Besuch bedeutet dasselbe. Deshalb fasst Mentionable sie nie zu einer einzigen Schönwetterzahl zusammen.
- Antwort-Abrufe. Eine KI hat die Seite abgerufen, während sie jemandem antwortete: ChatGPT-User, Claude-User, Perplexity-User. Hinter dem Besuch steht eine echte Frage. Das ist das stärkste Signal für eine Antwort, die auf Ihrer Seite aufbaut.
- Suchindexierung. Eine Suchmaschine nimmt die Seite in ihren Suchindex auf: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot. Ohne Indexierung kann die Seite in Antworten nicht auftauchen.
- Trainings-Crawls. Ein Unternehmen sammelt die Seite, um künftige Modelle zu trainieren: GPTBot, ClaudeBot, Bytespider, CCBot. Kein direkter Einfluss auf die heutigen Antworten.
Eine Seite mit vielen Trainings-Crawls und keinen Antwort-Abrufen ist den Modellen bekannt, aber noch führt keine Frage zu ihr.
Welche KI-Bots trackt Mentionable?
Die Bots der Unternehmen, deren Assistenten Ihre Kunden nutzen:
| Unternehmen | Bots |
|---|---|
| OpenAI | GPTBot, OAI-SearchBot, ChatGPT-User |
| Anthropic | ClaudeBot, Claude-SearchBot, Claude-User |
| Perplexity | PerplexityBot, Perplexity-User |
| Mistral | MistralAI-User |
| DuckDuckGo | DuckAssistBot |
| Apple | Applebot |
| Amazon | Amazonbot |
| Meta | Meta-ExternalAgent, Meta-ExternalFetcher |
| ByteDance | Bytespider |
| Common Crawl | CCBot |
Wie lange dauert es, bis eine neue Seite gelesen und dann zitiert wird?
Öffnen Sie eine beliebige Seite aus der Tabelle, und Sie sehen ihre ganze Geschichte: Besuche pro Tag, die an KI-Bots ausgelieferten HTTP-Codes und die Suchmaschinen, die sie zitieren.
Für eine mit Mentionable veröffentlichte Seite stellt eine Zeitleiste drei Daten nebeneinander: die Veröffentlichung, den ersten KI-Besuch (und welcher Bot ihn gemacht hat) und die erste Zitierung (und welche Suchmaschine sie geliefert hat), jeweils in Tagen nach der Veröffentlichung gezählt. Ist ein Schritt noch nicht eingetreten, sagt die Zeitleiste das auch.
So unterscheiden Sie eine Seite, die darauf wartet, gefunden zu werden, von einer Seite, die gelesen und trotzdem nicht ausgewählt wurde.
Wie verbinde ich Cloudflare?
Ihre Website muss über Cloudflare mit aktiviertem Proxy ausgeliefert werden, der orangen Wolke. Eine Website, die Cloudflare nur für DNS nutzt, liefert keine Besuche.
- Öffnen Sie KI-Crawler in Ihrem Projekt und klicken Sie auf Cloudflare verbinden.
- Bestätigen Sie den reinen Lesezugriff in Cloudflare. Er liest Ihre Zonen und deren Analysen, sonst nichts.
- Wählen Sie die Zone, die Ihre Website ausliefert.
Mentionable ruft dann die Besuche der letzten 7 Tage ab, was wenige Sekunden dauert, und synchronisiert danach jede Nacht. Unten auf der Seite können Sie die Zone wechseln, neu verbinden oder die Verbindung trennen. Das Trennen stoppt die Synchronisierung und behält den Verlauf.
Was ist der Unterschied zwischen KI-Crawlern und KI-Traffic?
KI-Crawler sind Bots. KI-Traffic sind Menschen.
Die Seite KI-Crawler zählt die Besuche, mit denen KI-Bots Ihre Seiten lesen, indexieren oder sammeln, aus Cloudflare. Die Seite KI-Besuche zählt die Menschen, die auf einen Link in einer KI-Antwort klicken und auf Ihrer Website landen, aus Google Analytics. Das eine zeigt Ihnen, ob die Suchmaschinen Sie lesen, das andere, ob ihre Antworten Ihnen Besucher schicken.
Kann meine eigene KI die Crawler-Daten lesen?
Ja, über den MCP-Server von Mentionable. Die Tools get_ai_crawler_overview, list_ai_crawler_pages, get_ai_crawler_page und list_ai_crawler_visits liefern dieselben Besuche, nach Art aufgeteilt, abgeglichen mit den Zitierungen jeder Seite, mit der Zeit von der Veröffentlichung bis zum ersten Besuch und zur ersten Zitierung für mit Mentionable veröffentlichte Seiten.
Welche Pläne enthalten das KI-Crawler-Tracking?
Alle, und auch die 7-tägige kostenlose Testphase. Einzige Voraussetzung ist eine Website, die über Cloudflare ausgeliefert wird. Teammitglieder mit reinem Lesezugriff sehen die Seite, sobald jemand mit Bearbeitungsrechten sie verbunden hat.