heapsort-ai
ARTICLE28

How I tracked which AI bots actually crawl my site

DEV.to AI·25 de abril de 2026

O autor implementou um rastreador para monitorar quais bots de IA acessam seu novo site estático, analisando logs do CloudFront armazenados no S3. Após cinco dias, foram identificados bots como OAI-SearchBot e Bingbot, com a metodologia baseada em user-agents.

AI botsCloudFrontwebsite analyticss3web crawling
Ler original