heapsort
ARTICLE27

How I tracked which AI bots actually crawl my site

DEV.to AI·25. April 2026

Der Autor implementierte einen Tracker, um zu überwachen, welche KI-Bots seine neue statische Website besuchen, indem er CloudFront-Logs in S3 analysierte. Nach fünf Tagen wurden Bots wie OAI-SearchBot und Bingbot identifiziert, wobei die Methodik auf User-Agents basierte.

Original lesen