get_ai_crawler_overview

Tool MCP get_ai_crawler_overview : les visites des robots IA sur votre site sur une période, depuis Cloudflare AI Crawl Control. Totaux, période précédente, visites par type et par robot, courbe quotidienne, erreurs HTTP, pages publiées et actions.

Mis à jour le 2026-09-29

get_ai_crawler_overview résume comment les robots IA ont visité le site du projet sur une période : le total des visites et celui de la période précédente, les visites par type (lectures pour répondre, indexation recherche, collecte entraînement), les visites par robot, une courbe quotidienne, les erreurs HTTP servies aux robots IA, ainsi que les pages publiées avec Mentionable et les actions notées dans le journal sur la même période.

Les visites viennent de Cloudflare AI Crawl Control. Elles sont synchronisées chaque nuit, jusqu'à hier, une fois le projet connecté à Cloudflare depuis sa page Robots IA. L'historique commence 7 jours avant la connexion.

Quand l'utiliser

C'est le premier appel de toute question sur les robots IA : « les robots IA lisent-ils mon site plus que le mois dernier ? », « quel robot passe le plus ? », « les pages publiées la semaine dernière ont-elles été visitées ? », « mon site renvoie-t-il des erreurs à ChatGPT ? ».

La liste events est posée à côté de la courbe quotidienne exprès : un agent peut rapprocher une hausse des lectures pour répondre de la page publiée ou de l'action notée juste avant. Le tool lit des données déjà stockées et ne consomme aucun crédit.

Input

Champ Type Défaut Description
projectId string (CUID) requis Projet interrogé.
filters.dateRange.from string (date ISO) to moins 29 jours Premier jour UTC lu, inclus. Un datetime est accepté, seul son jour compte.
filters.dateRange.to string (date ISO) hier Dernier jour UTC lu, inclus. Hier est le dernier jour synchronisé.
filters.crawlers string[] Identifiants de robots, par exemple chatgpt-user, gptbot, claudebot. Voir le tableau ci-dessous.
filters.operators string[] Entreprises derrière les robots : OpenAI, Anthropic, Perplexity, Mistral, DuckDuckGo, Apple, Amazon, Meta, ByteDance, Common Crawl.
filters.kinds string[] user (lectures pour répondre), search (indexation recherche), training (collecte entraînement).

Sans dateRange, le tool lit les 30 derniers jours complets, jusqu'à hier. Les filtres se cumulent : operators: ["OpenAI"] avec kinds: ["user"] ne garde que ChatGPT-User. Une combinaison qui ne correspond à aucun robot (Meta avec search, par exemple) renvoie des zéros, pas une erreur.

Robots

Id Robot Entreprise Type
gptbot GPTBot OpenAI training
oai-searchbot OAI-SearchBot OpenAI search
chatgpt-user ChatGPT-User OpenAI user
claudebot ClaudeBot Anthropic training
claude-searchbot Claude-SearchBot Anthropic search
claude-user Claude-User Anthropic user
perplexitybot PerplexityBot Perplexity search
perplexity-user Perplexity-User Perplexity user
mistralai-user MistralAI-User Mistral user
duckassistbot DuckAssistBot DuckDuckGo search
applebot Applebot Apple search
amazonbot Amazonbot Amazon search
meta-externalagent Meta-ExternalAgent Meta training
meta-externalfetcher Meta-ExternalFetcher Meta user
bytespider Bytespider ByteDance training
ccbot CCBot Common Crawl training

Une lecture pour répondre (user) est un robot qui récupère la page en direct pendant qu'une personne pose une question à l'assistant. C'est le signal le plus proche d'une réponse qui s'appuie sur votre page. L'indexation recherche (search) alimente l'index de recherche du moteur, la collecte entraînement (training) récupère du contenu pour entraîner des modèles.

Réponse

Un tool get_* : la donnée est posée à côté de success: true. Toutes les dates sont des jours UTC (YYYY-MM-DD).

{
  "success": true,
  "connection": {
    "zoneName": "acme-coaching.fr",
    "syncedThrough": "2026-09-28",
    "lastError": null
  },
  "dateRange": { "from": "2026-08-30", "to": "2026-09-28" },
  "visits": 4812,
  "previousVisits": 3970,
  "byKind": { "user": 612, "search": 1840, "training": 2360 },
  "byCrawler": [
    { "crawler": "gptbot", "label": "GPTBot", "operator": "OpenAI", "kind": "training", "visits": 1490 },
    { "crawler": "oai-searchbot", "label": "OAI-SearchBot", "operator": "OpenAI", "kind": "search", "visits": 1105 },
    { "crawler": "chatgpt-user", "label": "ChatGPT-User", "operator": "OpenAI", "kind": "user", "visits": 431 }
  ],
  "daily": [
    { "date": "2026-08-30", "user": 14, "search": 58, "training": 71 },
    { "date": "2026-08-31", "user": 19, "search": 61, "training": 80 }
  ],
  "errors": [
    { "path": "/blog/anciens-tarifs", "status": 404, "visits": 37 }
  ],
  "events": [
    { "date": "2026-09-10", "type": "page", "title": "Checklist d'audit GEO pour les coachs", "path": "/blog/checklist-audit-geo" },
    { "date": "2026-09-15", "type": "action", "title": "FAQ de la page tarifs réécrite", "path": null }
  ]
}
  • connection : le site Cloudflare lu (zoneName), le dernier jour synchronisé (syncedThrough, null avant la première synchro) et le message de la dernière synchro en échec (lastError, null quand la dernière synchro a réussi).
  • visits et previousVisits : les visites sur la période, et sur le même nombre de jours juste avant, avec les mêmes filtres. Une période de moins de 7 jours est comparée aux mêmes jours une semaine plus tôt.
  • byKind : les visites réparties en user (lectures pour répondre), search (indexation recherche) et training (collecte entraînement).
  • byCrawler : une ligne par robot vu, les plus actifs d'abord, avec son label, son operator et son kind.
  • daily : un point par jour de la période, les jours sans visite à zéro, réparti par type.
  • errors : les couples chemin et statut HTTP de 400 ou plus servis aux robots IA, les plus visités d'abord (jusqu'à 20).
  • events : les pages publiées avec Mentionable (type: "page", avec leur path quand l'URL publiée est connue) et les actions notées dans le journal (type: "action", path: null), triées par date.

Erreurs : { "success": false, "error": "cloudflare_not_connected" } quand le projet n'a pas de connexion Cloudflare, invalid_date_range quand from est après to.

Conseils et patterns

  • Comparez visits à previousVisits avant de creuser : le rapport dit tout de suite si le passage des robots IA augmente ou baisse.
  • Regardez byKind.user en premier. La collecte entraînement dit peu de chose des réponses d'aujourd'hui, une lecture pour répondre dit qu'un assistant a récupéré votre page pour répondre à quelqu'un.
  • Une liste errors non vide est un gain rapide : une 404 ou une 5xx servie à chatgpt-user, c'est une réponse qui n'a pas pu s'appuyer sur votre page. Récupérez les lignes avec list_ai_crawler_visits et filters.statuses.
  • Pour expliquer un changement, superposez events à daily et regardez les jours qui suivent chaque publication ou action. Notez vos propres actions avec create_action_log pour qu'elles apparaissent ici.
  • Si connection.syncedThrough date de plusieurs jours ou si lastError est rempli, les derniers jours manquent : reconnectez Cloudflare depuis la page Robots IA du projet avant de conclure.

Tools liés

Vous pouvez voir où vous en êtes dès aujourd'hui.

Essai gratuit. Lancez le suivi de votre visibilité IA, sans carte.