ARTICLE27
How I tracked which AI bots actually crawl my site
DEV.to AI·25 de abril de 2026
El autor implementó un rastreador para monitorear qué bots de IA acceden a su nuevo sitio web estático, analizando los registros de CloudFront almacenados en S3. Después de cinco días, se identificaron bots como OAI-SearchBot y Bingbot, con la metodología basada en user-agents.
Leer original ↗