Der Autor beobachtete zwei Wochen lang 145 Bots auf seiner Website und entwickelte ein Bewertungssystem zur Analyse ihres Verhaltens. Er stellte fest, dass der größte Teil des Traffics nicht menschlich war und dass KI-Crawler (wie GPTBot und ClaudeB) sowie große Suchmaschinen zu den sich am besten verhaltenden gehörten.
Der Artikel erklärt, warum eine Website in KI-Suchergebnissen möglicherweise nicht erscheint, da `robots.txt` KI-Crawler wie GPTBot blockiert. Er hebt hervor, dass viele Entwickler diese neuen Crawler unwissentlich blockieren, wodurch ihre Inhalte für ein wachsendes Segment der Informationsfindung unsichtbar werden.
Der Autor hat ein WordPress-Plugin entwickelt, das automatisch `llms.txt`-Dateien aus der Sitemap generiert und damit eine Lücke im Bereich der Generative Engine Optimization (GEO) schließt. Dieses dynamische Plugin informiert KI-Crawler wie ChatGPT und Perplexity über den Inhalt der Website und die Bedeutung der Seiten.
Bis 2026 haben automatisierte Bots, einschließlich KI-Crawlern und Bad Bots, den menschlichen Webverkehr erheblich übertroffen, wodurch traditionelle IP-Infrastrukturen obsolet werden und neue Sicherheitsherausforderungen entstehen. Diese Verschiebung macht konventionelle IP-Reputations-Feeds unwirksam und stellt eine messbare Belastung für öffentliche Websites dar.
Eine brasilianische Rockband, HADEMANASTIA, hat den llms.txt-Standard auf ihrer Website implementiert und die Praxis durch Verweise in sitemap.xml und JSON-LD erweitert. Dieser Ansatz zielt darauf ab, zu steuern, wie KI-Crawler mit Inhalten interagieren, und geht über typische Implementierungen hinaus.