CloudFront

How I tracked which AI bots actually crawl my site

Der Autor implementierte einen Tracker, um zu überwachen, welche KI-Bots seine neue statische Website besuchen, indem er CloudFront-Logs in S3 analysierte. Nach fünf Tagen wurden Bots wie OAI-SearchBot und Bingbot identifiziert, wobei die Methodik auf User-Agents basierte.