Las plataformas de alojamiento quieren que los sitios tengan más control sobre cómo las empresas de inteligencia artificial utilizan su contenido.
nube de llamarada ha anunciado planes para bloquear automáticamente los rastreadores web de propósito general que indexan sitios web para motores de búsqueda y actúan simultáneamente como agentes y entrenadores de IA. Anteriormente, la compañía ofrecía a sus clientes la capacidad opcional de evitar que los rastreadores rastrearan sus sitios en busca de chatbots de IA, pero ahora la postura de Cloudflare se ha vuelto más defensiva por defecto.
“Ahora que la mayor parte del tráfico en Internet no es humano, debemos ir más allá y actuar más rápido para que pueda surgir un ecosistema sostenible”, dijo Matthew Prince, director ejecutivo y cofundador de Cloudflare en un comunicado. “Las nuevas herramientas y asociaciones de Cloudflare brindan a los propietarios de sitios web una mayor visibilidad y oportunidades comerciales, y benefician a las empresas de inteligencia artificial que tienen bots con intenciones claras y transparentes. Esperamos que los cambios predeterminados propuestos alienten a los rastreadores de uso mixto a separar la búsqueda del uso y la capacitación de los agentes”.
El tráfico web solía representar a las personas que veían los anuncios de un sitio web o pagaban su suscripción, pero la popularidad de los modelos de inteligencia artificial que pueden visitar sitios en nombre de un usuario para obtener información actualizada ha cambiado ese sistema. El nuevo enfoque de Cloudflare es un intento de reequilibrar la relación de una manera que sea justa tanto para la empresa de inteligencia artificial como para quien administra el sitio web.
A partir del 15 de septiembre de 2026, los nuevos clientes y los nuevos sitios web de los clientes existentes de Cloudflare “permitirán la búsqueda pero bloquearán la capacitación y el uso de agentes para páginas con anuncios” de forma predeterminada. Los rastreadores de uso general que no brindan a los propietarios de sitios la opción de elegir si sus sitios se utilizan para IA también se bloquearán en las páginas con anuncios de forma predeterminada. Los usuarios con cuentas gratuitas también cambiarán a esta opción predeterminada a menos que opten por no participar antes de la fecha límite del 15 de septiembre, según la compañía.
Como parte de estos cambios, Cloudflare también lanzó una nueva versión de su función Pay Per Crawl introducida en 2025 que permite a los sitios web bloquear los rastreadores web de IA de forma predeterminada, a menos que las empresas paguen para eliminar su contenido. La función ahora se llama Pago por uso y, en lugar de pagar en función de si se ha rastreado una página web, Cloudflare dice que a los propietarios de sitios se les pagará cuando su contenido aparezca en las respuestas de un chatbot de IA. El anuncio solo menciona asociaciones con Ceramic.AI y You.com, pero Cloudflare probablemente espera que otras empresas de IA se unan si sus clientes se suman.
Además de trabajar en general para que la relación entre los sitios web y las empresas de IA sea más justa, como TecnologíaCrunch. etc. notasCloudflare también parece apuntar indirectamente a Google. El anuncio de la compañía señaló que “los motores de búsqueda más grandes tienen acceso a aproximadamente el doble de información que las principales compañías de inteligencia artificial porque dificultan que los clientes sigan siendo encontrados sin ser utilizados también para la inteligencia artificial”. El rastreador principal de Google, Googlebot, indexa sitios web para los distintos motores de búsqueda de la empresa y recopila información para entrenar a Gemini y admitir funciones de IA como la descripción general de la IA y el modo AI. Google permite que los sitios web opten por un rastreador separado llamado Google-Extended que solo rastrea sitios web para obtener resultados de búsqueda tradicionales, pero si los editores quieren ser incluidos en los resultados del Modo AI, pero no quieren que su contenido se adapte a los modelos de Google, no tienen otra opción. La nueva política de Cloudflare es un intento de obligar a Google y otras empresas con rastreadores versátiles a cambiar sus tácticas.
