get_ai_crawler_overview
Tool MCP get_ai_crawler_overview : les visites des robots IA sur votre site sur une période, depuis Cloudflare AI Crawl Control. Totaux, période précédente, visites par type et par robot, courbe quotidienne, erreurs HTTP, pages publiées et actions.
Mis à jour le 2026-09-29
get_ai_crawler_overview résume comment les robots IA ont visité le site du projet sur une période : le total des visites et celui de la période précédente, les visites par type (lectures pour répondre, indexation recherche, collecte entraînement), les visites par robot, une courbe quotidienne, les erreurs HTTP servies aux robots IA, ainsi que les pages publiées avec Mentionable et les actions notées dans le journal sur la même période.
Les visites viennent de Cloudflare AI Crawl Control. Elles sont synchronisées chaque nuit, jusqu'à hier, une fois le projet connecté à Cloudflare depuis sa page Robots IA. L'historique commence 7 jours avant la connexion.
Quand l'utiliser
C'est le premier appel de toute question sur les robots IA : « les robots IA lisent-ils mon site plus que le mois dernier ? », « quel robot passe le plus ? », « les pages publiées la semaine dernière ont-elles été visitées ? », « mon site renvoie-t-il des erreurs à ChatGPT ? ».
La liste events est posée à côté de la courbe quotidienne exprès : un agent peut rapprocher une hausse des lectures pour répondre de la page publiée ou de l'action notée juste avant. Le tool lit des données déjà stockées et ne consomme aucun crédit.
Input
| Champ | Type | Défaut | Description |
|---|---|---|---|
projectId |
string (CUID) | requis | Projet interrogé. |
filters.dateRange.from |
string (date ISO) | to moins 29 jours |
Premier jour UTC lu, inclus. Un datetime est accepté, seul son jour compte. |
filters.dateRange.to |
string (date ISO) | hier | Dernier jour UTC lu, inclus. Hier est le dernier jour synchronisé. |
filters.crawlers |
string[] | Identifiants de robots, par exemple chatgpt-user, gptbot, claudebot. Voir le tableau ci-dessous. |
|
filters.operators |
string[] | Entreprises derrière les robots : OpenAI, Anthropic, Perplexity, Mistral, DuckDuckGo, Apple, Amazon, Meta, ByteDance, Common Crawl. |
|
filters.kinds |
string[] | user (lectures pour répondre), search (indexation recherche), training (collecte entraînement). |
Sans dateRange, le tool lit les 30 derniers jours complets, jusqu'à hier. Les filtres se cumulent : operators: ["OpenAI"] avec kinds: ["user"] ne garde que ChatGPT-User. Une combinaison qui ne correspond à aucun robot (Meta avec search, par exemple) renvoie des zéros, pas une erreur.
Robots
| Id | Robot | Entreprise | Type |
|---|---|---|---|
gptbot |
GPTBot | OpenAI | training |
oai-searchbot |
OAI-SearchBot | OpenAI | search |
chatgpt-user |
ChatGPT-User | OpenAI | user |
claudebot |
ClaudeBot | Anthropic | training |
claude-searchbot |
Claude-SearchBot | Anthropic | search |
claude-user |
Claude-User | Anthropic | user |
perplexitybot |
PerplexityBot | Perplexity | search |
perplexity-user |
Perplexity-User | Perplexity | user |
mistralai-user |
MistralAI-User | Mistral | user |
duckassistbot |
DuckAssistBot | DuckDuckGo | search |
applebot |
Applebot | Apple | search |
amazonbot |
Amazonbot | Amazon | search |
meta-externalagent |
Meta-ExternalAgent | Meta | training |
meta-externalfetcher |
Meta-ExternalFetcher | Meta | user |
bytespider |
Bytespider | ByteDance | training |
ccbot |
CCBot | Common Crawl | training |
Une lecture pour répondre (user) est un robot qui récupère la page en direct pendant qu'une personne pose une question à l'assistant. C'est le signal le plus proche d'une réponse qui s'appuie sur votre page. L'indexation recherche (search) alimente l'index de recherche du moteur, la collecte entraînement (training) récupère du contenu pour entraîner des modèles.
Réponse
Un tool get_* : la donnée est posée à côté de success: true. Toutes les dates sont des jours UTC (YYYY-MM-DD).
{
"success": true,
"connection": {
"zoneName": "acme-coaching.fr",
"syncedThrough": "2026-09-28",
"lastError": null
},
"dateRange": { "from": "2026-08-30", "to": "2026-09-28" },
"visits": 4812,
"previousVisits": 3970,
"byKind": { "user": 612, "search": 1840, "training": 2360 },
"byCrawler": [
{ "crawler": "gptbot", "label": "GPTBot", "operator": "OpenAI", "kind": "training", "visits": 1490 },
{ "crawler": "oai-searchbot", "label": "OAI-SearchBot", "operator": "OpenAI", "kind": "search", "visits": 1105 },
{ "crawler": "chatgpt-user", "label": "ChatGPT-User", "operator": "OpenAI", "kind": "user", "visits": 431 }
],
"daily": [
{ "date": "2026-08-30", "user": 14, "search": 58, "training": 71 },
{ "date": "2026-08-31", "user": 19, "search": 61, "training": 80 }
],
"errors": [
{ "path": "/blog/anciens-tarifs", "status": 404, "visits": 37 }
],
"events": [
{ "date": "2026-09-10", "type": "page", "title": "Checklist d'audit GEO pour les coachs", "path": "/blog/checklist-audit-geo" },
{ "date": "2026-09-15", "type": "action", "title": "FAQ de la page tarifs réécrite", "path": null }
]
}
connection: le site Cloudflare lu (zoneName), le dernier jour synchronisé (syncedThrough, null avant la première synchro) et le message de la dernière synchro en échec (lastError, null quand la dernière synchro a réussi).visitsetpreviousVisits: les visites sur la période, et sur le même nombre de jours juste avant, avec les mêmes filtres. Une période de moins de 7 jours est comparée aux mêmes jours une semaine plus tôt.byKind: les visites réparties enuser(lectures pour répondre),search(indexation recherche) ettraining(collecte entraînement).byCrawler: une ligne par robot vu, les plus actifs d'abord, avec sonlabel, sonoperatoret sonkind.daily: un point par jour de la période, les jours sans visite à zéro, réparti par type.errors: les couples chemin et statut HTTP de 400 ou plus servis aux robots IA, les plus visités d'abord (jusqu'à 20).events: les pages publiées avec Mentionable (type: "page", avec leurpathquand l'URL publiée est connue) et les actions notées dans le journal (type: "action",path: null), triées par date.
Erreurs : { "success": false, "error": "cloudflare_not_connected" } quand le projet n'a pas de connexion Cloudflare, invalid_date_range quand from est après to.
Conseils et patterns
- Comparez
visitsàpreviousVisitsavant de creuser : le rapport dit tout de suite si le passage des robots IA augmente ou baisse. - Regardez
byKind.useren premier. La collecte entraînement dit peu de chose des réponses d'aujourd'hui, une lecture pour répondre dit qu'un assistant a récupéré votre page pour répondre à quelqu'un. - Une liste
errorsnon vide est un gain rapide : une 404 ou une 5xx servie àchatgpt-user, c'est une réponse qui n'a pas pu s'appuyer sur votre page. Récupérez les lignes aveclist_ai_crawler_visitsetfilters.statuses. - Pour expliquer un changement, superposez
eventsàdailyet regardez les jours qui suivent chaque publication ou action. Notez vos propres actions aveccreate_action_logpour qu'elles apparaissent ici. - Si
connection.syncedThroughdate de plusieurs jours ou silastErrorest rempli, les derniers jours manquent : reconnectez Cloudflare depuis la page Robots IA du projet avant de conclure.
Tools liés
list_ai_crawler_pages: les pages visitées par les robots IA, avec lectures pour répondre et citations par pageget_ai_crawler_page: une page en détail, de la publication à la première citationlist_ai_crawler_visits: les lignes de visites brutes pour une analyse sur mesurelist_action_logs: le journal complet du projet