heapsort
ARTICLE27

How I tracked which AI bots actually crawl my site

DEV.to AI·25 avril 2026

L'auteur a mis en place un traqueur pour surveiller quels robots d'IA accèdent à son nouveau site web statique, en analysant les logs CloudFront stockés sur S3. Après cinq jours, des robots comme OAI-SearchBot et Bingbot ont été identifiés, la méthodologie étant basée sur les user-agents.

Lire l'original