La principal red de entrega de contenido de Internet (CDN), Cloudflare, ha declarado la guerra a las compañías de inteligencia artificial. A partir del 1 de julio, Cloudflare ahora bloquea por defecto los rastreadores web de IA que acceden al contenido desde sus sitios web sin permiso o compensación.

El cambio aborda un problema real. Mi propio sitio pequeño, donde rastroque todas mis historias, la tecnología práctica, ha sido ralentizada dramáticamente a veces por AI Crawlers. No soy solo yo. Numerosos propietarios de sitios web han informado que los rastreadores de IA, como GPTBOT de OpenAi y Claudebot de Anthrope, generan volúmenes masivos de solicitudes automatizadas que obstruyen los sitios web para que sean tan lentos como el lodo. Googlebot solo informa que el servicio de alojamiento en la nube Vercelde bombardea los sitios que aloja con más de 4.500 millones de solicitudes al mes.

Estos bots de IA a menudo rastrean los sitios de manera mucho más agresiva que los rastreadores de motores de búsqueda tradicionales. A veces revisan las mismas páginas cada pocas horas o incluso golpean sitios con cientos de solicitudes por segundo. Mientras que las compañías de IA niegan que sus bots tienen la culpa, la evidencia cuenta una historia diferente.

Por lo tanto, en nombre de sus más de dos millones de clientes, el 20% de la web, Cloudflare ahora bloquea los rastreadores de IA. Para cualquier nuevo sitio web, se registre para sus servicios, AI Crawlers se bloqueará automáticamente para acceder a su contenido a menos que el propietario del sitio otorgue permiso explícito. Además, Cloudflare promete detectar raspadores de «sombra», bots que intentan evadir la detección, mediante el uso del análisis de comportamiento y el aprendizaje automático. Lo que es bueno para el AI Goose es bueno para el Gander.

Este movimiento invierte el status quo anterior, donde los propietarios de sitios web tuvieron que optar por no participar en el rastreo de IA. Ahora, el bloqueo es el valor predeterminado, y los proveedores de IA deben solicitar acceso y aclarar sus intenciones, ya sea para capacitación modelo, búsqueda u otros usos, antes de que se les permita entrar.

Este cambio surge no solo por los propietarios de sitios web frustrados. Numerosas empresas editoriales, como Associated Press, Condé Nast y la propia empresa matriz de Zdnet, Ziff Davis, están frustradas de que las compañías de IA hayan estado «minando» la web para el contenido. Con demasiada frecuencia, esto se ha hecho sin compensación o consentimiento, y a veces, ignorando protocolos estándar como robots.txt que están destinados a bloquear rastreadores.

(Divulgación: Ziff Davis, la empresa matriz de Zdnet, presentó una demanda de abril de 2025 contra OpenAI, alegando que infringió los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA).

Además, los casos judiciales recientes han dictaminado a favor de Meta y Anthrope, descubriendo que su uso de obras con derechos de autor era legal bajo la doctrina del uso justo. No hace falta decir que los escritores, artistas y editores no les gusta esto. Los editores todavía están preocupados de que el gobierno federal le dé rienda suelta a la IA lo que quiera con su contenido. Las potencias de IA como OpenAI y Google continúan presionando al gobierno para clasificar la capacitación de IA en datos con derechos de autor como uso justo.

También vale la pena señalar que después de que la oficina de derechos de autor publicó una versión previa a la publicación de su informe de copyright y AI de 108 páginas, que llegó a un término medio al apoyar a ambas industrias de clase mundial que contribuyen tanto a nuestro avance económico y cultural. Sin embargo, agregó que si bien alguna IA generativa probablemente constituye un uso «transformador», el raspado masivo de todos los datos no calificó como uso justo. Al día siguiente, la administración Trump despidió al jefe de la oficina de derechos de autor y la reemplazó con un abogado sin experiencia previa en la ley de derechos de autor.

Dado todo esto, no es de extrañar que los editores busquen un aliado en tecnología.

Como dijo el CEO de Cloudflare, Matthew Prince, en un comunicado, su nueva política está destinada a «dar a los editores el control que merecen y construir un nuevo modelo económico que funcione para todos: creadores, consumidores, fundadores de IA de mañana y el futuro de la web en sí».

Para complementar el movimiento para bloquear los rastreadores de IA, Cloudflare también ha lanzado su programa «Pay por Crawl». Esto permite a los editores establecer sus propias tarifas para las compañías de IA que desean raspar su contenido.

Este sistema se encuentra actualmente en beta privada y tiene como objetivo crear un marco donde las empresas de IA puedan pagar por el acceso, o se les niegue si se niegan. Técnicamente, esto se hará desempolvando una vieja respuesta del servidor web no utilizado, HTTP 402, que responde con un mensaje de error de «pago requerido». Esto significa que debería ser simple de implementar y compatible con los sitios web existentes y su infraestructura.

En general, esto es un gran problema. Gracias a Cloudflare que alimenta una parte tan grande de Internet, una cantidad significativa de contenido web podría volverse inaccesible para las empresas de IA a menos que negocien acceso o pagan tarifas de licencia. Como Nicholas Thompson, CEO del Atlántico, señaló: «Hasta ahora, las compañías de IA no han necesitado pagar las licencias de contenido porque simplemente podrían tomarlo sin repercusiones. Ahora tendrán que negociar».

Hasta este punto, la mayoría de las compañías de IA han estado activamente en contra de pagar el contenido. Como Sir Nick Clegg, ex primer ministro y ejecutivo de Meta Meta del Reino Unido, dijo recientemente, simplemente pedir permiso a los artistas antes de que raspen el contenido con derechos de autor «básicamente matará a la industria de la IA».

La nueva política de Cloudflare es una respuesta directa a este enfoque y al creciente volumen e intrusión de los rastreadores de IA que han venido con él. También es un intento de detener la sifón del tráfico que de otro modo iría a los editores.

Desde el surgimiento de la IA, el tráfico a los sitios de noticias se ha hundido. Por ejemplo, el tráfico de Business Insider cayó en más de la mitad, 55% desde abril de 2022 hasta abril de 2025. Izco sin control, Thompson predijo recientemente que, gracias a la IA, el personal del Atlántico debería esperar que el tráfico de Google caiga a cero.

¿Qué pasará después? ¿Seguirá el otro CDN, como Akamai,? Manténganse al tanto. Por ahora, la era del rastreo de IA sin restricciones parece estar terminando, bueno, al menos para el quinto de Internet que fluye a través de las tuberías de Cloudflare.

Obtenga las principales historias de la mañana en su bandeja de entrada cada día con nuestro Boletín de Tech Today.