CloudFront

How I tracked which AI bots actually crawl my site

L'auteur a mis en place un traqueur pour surveiller quels robots d'IA accèdent à son nouveau site web statique, en analysant les logs CloudFront stockés sur S3. Après cinq jours, des robots comme OAI-SearchBot et Bingbot ont été identifiés, la méthodologie étant basée sur les user-agents.