ARTICLE28
How I tracked which AI bots actually crawl my site
DEV.to AI·25 de abril de 2026
O autor implementou um rastreador para monitorar quais bots de IA acessam seu novo site estático, analisando logs do CloudFront armazenados no S3. Após cinco dias, foram identificados bots como OAI-SearchBot e Bingbot, com a metodologia baseada em user-agents.
AI botsCloudFrontwebsite analyticss3web crawling
Ler original ↗