heapsort
ARTICLE27

How I tracked which AI bots actually crawl my site

DEV.to AI·25 de abril de 2026

El autor implementó un rastreador para monitorear qué bots de IA acceden a su nuevo sitio web estático, analizando los registros de CloudFront almacenados en S3. Después de cinco días, se identificaron bots como OAI-SearchBot y Bingbot, con la metodología basada en user-agents.

Leer original