ARTICLE27
How I tracked which AI bots actually crawl my site
DEV.to AI·25 avril 2026
L'auteur a mis en place un traqueur pour surveiller quels robots d'IA accèdent à son nouveau site web statique, en analysant les logs CloudFront stockés sur S3. Après cinq jours, des robots comme OAI-SearchBot et Bingbot ont été identifiés, la méthodologie étant basée sur les user-agents.
Lire l'original ↗