Cloudflare acaba de emitir una nueva fecha límite para que la industria de la IA separe los rastreadores web utilizados con fines de búsqueda tradicionales, como la Búsqueda de Google, de los utilizados para agentes y capacitación de IA. A partir del 15 de septiembre de 2026, la configuración predeterminada de Cloudflare bloqueará los rastreadores de “uso mixto” de cualquier página que aloje anuncios, anunció la compañía el miércoles.
Esto significa que los rastreadores que combinan búsqueda, uso de agentes y capacitación no podrán rastrear estos sitios de forma predeterminada, a menos que el propietario del sitio ajuste su configuración de otra manera. Estos cambios en los valores predeterminados se aplicarán a los nuevos clientes de Cloudflare, a los nuevos sitios creados por clientes existentes y a todos los clientes gratuitos existentes, dijo la compañía.
Este movimiento podría afectar la forma en que los proveedores de modelos de IA pueden acceder al contenido web con fines de capacitación y para ayudar a respaldar los servicios de sus agentes.
Cloudflare señala que la mayoría de los propietarios de sitios web quieren que su contenido se encuentre a través de búsquedas y, a menudo, también a través de servicios de inteligencia artificial, pero quieren protección para que su propiedad intelectual no se regale.
Cloudflare afirma específicamente que el “motor de búsqueda más grande del mundo” (¡que es claramente una referencia de Google!) tiene acceso a “el doble de información” que otras empresas de inteligencia artificial porque el gigante de las búsquedas dificulta que los clientes sigan siendo detectables sin estar acostumbrados a la inteligencia artificial.
Google ha rechazado esta generalización en el pasado, afirmando que proporciona bots con nombre. Google ampliado que permite a los propietarios de sitios optar por no utilizar su contenido para capacitación y productos y servicios de inteligencia artificial, como Gemini Apps y Vertex API. Su uso no afecta la inclusión de un sitio en la Búsqueda de Google. Sin embargo, el robot de Google insignia del gigante tecnológico rastrea la búsqueda, incluidas funciones de inteligencia artificial como descripción general de inteligencia artificial y modo de inteligencia artificial.
“Ahora que la mayor parte del tráfico en Internet no es humano, debemos ir más allá y actuar más rápido para que pueda surgir un ecosistema sostenible”, dijo el cofundador y director ejecutivo de Cloudflare, Matthew Prince, en su anuncio de la noticia, refiriéndose al reciente hito. donde los bots superan el tráfico humano en línea por primera vez. No se espera que ese cambio ocurra hasta el próximo año.
“Las nuevas herramientas y asociaciones de Cloudflare brindan a los propietarios de sitios web una mayor visibilidad y oportunidades comerciales, y benefician a las empresas de inteligencia artificial que tienen bots con intenciones claras y transparentes. Esperamos que los cambios predeterminados propuestos alienten a los rastreadores de propósito general a separar la búsqueda del uso y la capacitación de los agentes”, dijo Prince.
Mientras tanto, Cloudflare ofrece una serie de productos para ayudar a los usuarios lanzó su propio sistema de inteligencia artificialLa compañía también lanzó una serie de herramientas para brindar a los editores más control sobre su contenido en la era de la IA. En los últimos años, Cloudflare lanzó herramientas para combatir los robots de IA, incluido un mercado que permite a los sitios web cobrar a los robots de IA por el scraping, llamado Pay Per Crawl.
Este último ahora también está evolucionando hacia el “Pago por uso”, dijo la compañía, que permitirá a los editores cobrar a las empresas de inteligencia artificial cuando su contenido cree valor, no solo cuando se tome.
Este cambio también puede ayudar a ahorrar ancho de banda del editor y recursos informáticos para los proveedores de modelos de IA, ya que los datos de Cloudflare muestran que más del 50% del tráfico de rastreo de los rastreadores de IA se gasta en recuperar páginas sin cambios.
Para que esto suceda, Cloudflare trabajó inicialmente con dos socios, Ceramic.ai y You.com. Cuando los editores optan por inscribirse, reciben un pago cuando su contenido aparece en los resultados de búsqueda de Ceramic AI o cuando You.com accede a parte de su contenido premium.
Otras empresas de inteligencia artificial pueden adaptar estos modelos para adaptarlos a su funcionamiento, dijo Cloudflare.
Cuando compra a través de enlaces en nuestros artículos, es posible que ganemos una pequeña comisión. Esto no afecta nuestra independencia editorial.
