get_ai_crawler_page
Tool MCP get_ai_crawler_page : l'activité des robots IA sur une page, sur une période. Visites par robot, statuts HTTP, courbe par type, citations par LLM et, pour les pages générées avec Mentionable, de la publication à la première visite IA puis à la première citation.
Mis à jour le 2026-09-29
get_ai_crawler_page renvoie l'activité des robots IA sur une seule page du site du projet, sur une période : les visites par robot, les statuts HTTP servis, une courbe quotidienne répartie par type, les citations de la page par LLM et, quand la page a été générée avec Mentionable, la chronologie de la publication à la première visite IA puis à la première citation.
Les visites viennent de Cloudflare AI Crawl Control, synchronisées chaque nuit jusqu'à hier une fois le projet connecté à Cloudflare depuis sa page Robots IA. L'historique commence 7 jours avant la connexion.
Quand l'utiliser
Une fois qu'on sait quelle page compte : « quand ChatGPT a-t-il lu pour la première fois l'article publié ? », « quels moteurs citent cette page ? », « pourquoi cette page n'est plus visitée ? ». Récupérez le chemin avec list_ai_crawler_pages, ou passez n'importe quel chemin du site.
Le bloc publication répond à la question que se pose toute équipe contenu après une mise en ligne : combien de temps avant qu'un robot IA lise la page, et combien de temps avant qu'un moteur la cite. Le tool lit des données déjà stockées et ne consomme aucun crédit.
Input
| Champ | Type | Défaut | Description |
|---|---|---|---|
projectId |
string (CUID) | requis | Projet interrogé. |
path |
string | requis | Chemin d'URL qui commence par /, 500 caractères au plus, par exemple /blog/guide. La barre oblique finale est retirée. |
filters.dateRange |
{ from?, to? } |
30 derniers jours complets | Jours UTC, bornes incluses. to vaut hier par défaut, le dernier jour synchronisé. |
filters.crawlers |
string[] | Identifiants de robots, par exemple chatgpt-user, gptbot, claudebot. |
|
filters.operators |
string[] | OpenAI, Anthropic, Perplexity, Mistral, DuckDuckGo, Apple, Amazon, Meta, ByteDance, Common Crawl. |
|
filters.kinds |
string[] | user (lectures pour répondre), search (indexation recherche), training (collecte entraînement). |
Les identifiants de robots, entreprises et types sont listés sur get_ai_crawler_overview. Les filtres robots ne restreignent que les visites : les citations et la chronologie de publication restent les mêmes quels que soient les filtres.
Réponse
Un tool get_* : la donnée est posée à côté de success: true. Toutes les dates sont des jours UTC (YYYY-MM-DD).
{
"success": true,
"path": "/blog/checklist-audit-geo",
"dateRange": { "from": "2026-08-30", "to": "2026-09-28" },
"visits": 318,
"byCrawler": [
{ "crawler": "gptbot", "label": "GPTBot", "operator": "OpenAI", "kind": "training", "visits": 98 },
{ "crawler": "chatgpt-user", "label": "ChatGPT-User", "operator": "OpenAI", "kind": "user", "visits": 52 },
{ "crawler": "perplexitybot", "label": "PerplexityBot", "operator": "Perplexity", "kind": "search", "visits": 47 }
],
"statuses": [
{ "status": 200, "visits": 311 },
{ "status": 304, "visits": 7 }
],
"daily": [
{ "date": "2026-09-10", "user": 0, "search": 2, "training": 5 },
{ "date": "2026-09-11", "user": 3, "search": 6, "training": 4 }
],
"citations": {
"total": 9,
"byLlm": [
{ "llm": "PERPLEXITY", "count": 5 },
{ "llm": "CHATGPT", "count": 4 }
]
},
"publication": {
"publishedAt": "2026-09-10",
"firstVisit": {
"date": "2026-09-10",
"crawler": "oai-searchbot",
"label": "OAI-SearchBot",
"operator": "OpenAI",
"kind": "search"
},
"firstCitation": { "date": "2026-09-16", "llm": "PERPLEXITY" }
},
"events": [
{ "date": "2026-09-10", "type": "page", "title": "Checklist d'audit GEO pour les coachs", "path": "/blog/checklist-audit-geo" },
{ "date": "2026-09-15", "type": "action", "title": "FAQ de la page tarifs réécrite", "path": null }
]
}
path: le chemin normalisé effectivement lu.visits,byCrawler: les visites de la page sur la période, au total et par robot, les plus actifs d'abord.statuses: les statuts HTTP servis aux robots IA sur cette page, les plus fréquents d'abord.daily: un point par jour de la période, les jours sans visite à zéro, réparti enuser(lectures pour répondre),search(indexation recherche) ettraining(collecte entraînement).citations: le nombre de fois où la page a été citée comme source dans les réponses aux prompts suivis sur la période, au total et par LLM (enum LLM).publication: null sauf si une page générée avec Mentionable a été publiée à ce chemin.publishedAtest le jour de publication,firstVisitle premier jour où un robot IA a visité la page à partir de ce jour, avec le robot vu, etfirstCitationla première citation après la publication, jusqu'à la fin de la période. Les deux valent null tant qu'ils ne sont pas arrivés.events: les actions notées dans le journal du projet sur la période, plus les pages Mentionable publiées à ce chemin.
Un chemin sans visite n'est pas une erreur : visits vaut 0 et les listes sont vides. Erreurs : { "success": false, "error": "cloudflare_not_connected" } quand le projet n'a pas de connexion Cloudflare, invalid_date_range quand from est après to.
Conseils et patterns
- Après une publication, appelez-le avec
filters.dateRange.fromau jour de publication :publication.firstVisitetpublication.firstCitationdonnent les deux délais à rapporter. - Un
firstVisitpar un robotsearchveut dire que la page est entrée dans l'index du moteur. Une première visiteuserveut dire qu'un assistant l'a déjà récupérée pour répondre. - Tout statut de 400 ou plus dans
statusesmérite une correction : le robot a reçu une erreur au lieu de votre contenu. - Comparez
citations.byLlmàbyCrawler: un moteur qui visite la page sans jamais la citer est celui sur lequel travailler. filters: { operators: ["OpenAI"] }isole les robots de ChatGPT sans changer le bloc des citations.
Tools liés
list_ai_crawler_pages: trouver les chemins qui méritent un examenget_ai_crawler_overview: tout le site sur la même périodelist_ai_crawler_visits: les lignes brutes de ce chemin, avecfilters.pathrun_page_audit: auditer une page visitée mais pas citée