El autor observó 145 bots visitando su sitio durante dos semanas, creando un sistema de puntuación para analizar el comportamiento de cada uno. Descubrió que la mayor parte del tráfico no era humano y que los rastreadores de IA (como GPTBot y ClaudeB) y los principales motores de búsqueda se encontraban entre los de mejor comportamiento.
El artículo explica por qué un sitio web podría no aparecer en los resultados de búsqueda de IA debido a que `robots.txt` bloquea rastreadores de IA como GPTBot. Destaca que muchos desarrolladores bloquean sin saber estos nuevos rastreadores, haciendo que su contenido sea invisible para un segmento creciente del descubrimiento de información.
El autor ha desarrollado un plugin de WordPress que genera automáticamente archivos `llms.txt` desde el sitemap, resolviendo la falta de una solución adecuada para este estándar emergente en SEO Generativo (GEO). Este archivo dinámico ayuda a los rastreadores de IA como ChatGPT y Perplexity a comprender el contenido y la importancia de las páginas del sitio web.
Para 2026, los bots automatizados, incluidos los rastreadores de IA y los bots maliciosos, superaron significativamente el tráfico web humano, haciendo que la infraestructura IP tradicional quedara obsoleta y creando nuevos desafíos de seguridad. Este cambio inutiliza los feeds de reputación IP convencionales e impone un impuesto medible a los sitios públicos.
Una banda de rock brasileña, HADEMANASTIA, implementó el estándar llms.txt en su sitio web, ampliando la práctica con referencias en sitemap.xml y JSON-LD. Este enfoque busca controlar cómo los rastreadores de IA interactúan con el contenido, yendo más allá de las implementaciones comunes.