La principal red de entrega de contenido de Internet (CDN), Cloudflare, ha declarado la guerra a las compa帽铆as de inteligencia artificial. A partir del 1 de julio, Cloudflare ahora bloquea por defecto los rastreadores web de IA que acceden al contenido desde sus sitios web sin permiso o compensaci贸n.
El cambio aborda un problema real. Mi propio sitio peque帽o, donde rastroque todas mis historias, la tecnolog铆a pr谩ctica, ha sido ralentizada dram谩ticamente a veces por AI Crawlers. No soy solo yo. Numerosos propietarios de sitios web han informado que los rastreadores de IA, como GPTBOT de OpenAi y Claudebot de Anthrope, generan vol煤menes masivos de solicitudes automatizadas que obstruyen los sitios web para que sean tan lentos como el lodo. Googlebot solo informa que el servicio de alojamiento en la nube Vercelde bombardea los sitios que aloja con m谩s de 4.500 millones de solicitudes al mes.
Estos bots de IA a menudo rastrean los sitios de manera mucho m谩s agresiva que los rastreadores de motores de b煤squeda tradicionales. A veces revisan las mismas p谩ginas cada pocas horas o incluso golpean sitios con cientos de solicitudes por segundo. Mientras que las compa帽铆as de IA niegan que sus bots tienen la culpa, la evidencia cuenta una historia diferente.
Por lo tanto, en nombre de sus m谩s de dos millones de clientes, el 20% de la web, Cloudflare ahora bloquea los rastreadores de IA. Para cualquier nuevo sitio web, se registre para sus servicios, AI Crawlers se bloquear谩 autom谩ticamente para acceder a su contenido a menos que el propietario del sitio otorgue permiso expl铆cito. Adem谩s, Cloudflare promete detectar raspadores de 芦sombra禄, bots que intentan evadir la detecci贸n, mediante el uso del an谩lisis de comportamiento y el aprendizaje autom谩tico. Lo que es bueno para el AI Goose es bueno para el Gander.
Este movimiento invierte el status quo anterior, donde los propietarios de sitios web tuvieron que optar por no participar en el rastreo de IA. Ahora, el bloqueo es el valor predeterminado, y los proveedores de IA deben solicitar acceso y aclarar sus intenciones, ya sea para capacitaci贸n modelo, b煤squeda u otros usos, antes de que se les permita entrar.
Este cambio surge no solo por los propietarios de sitios web frustrados. Numerosas empresas editoriales, como Associated Press, Cond茅 Nast y la propia empresa matriz de Zdnet, Ziff Davis, est谩n frustradas de que las compa帽铆as de IA hayan estado 芦minando禄 la web para el contenido. Con demasiada frecuencia, esto se ha hecho sin compensaci贸n o consentimiento, y a veces, ignorando protocolos est谩ndar como robots.txt que est谩n destinados a bloquear rastreadores.
(Divulgaci贸n: Ziff Davis, la empresa matriz de Zdnet, present贸 una demanda de abril de 2025 contra OpenAI, alegando que infringi贸 los derechos de autor de Ziff Davis en la capacitaci贸n y la operaci贸n de sus sistemas de IA).
Adem谩s, los casos judiciales recientes han dictaminado a favor de Meta y Anthrope, descubriendo que su uso de obras con derechos de autor era legal bajo la doctrina del uso justo. No hace falta decir que los escritores, artistas y editores no les gusta esto. Los editores todav铆a est谩n preocupados de que el gobierno federal le d茅 rienda suelta a la IA lo que quiera con su contenido. Las potencias de IA como OpenAI y Google contin煤an presionando al gobierno para clasificar la capacitaci贸n de IA en datos con derechos de autor como uso justo.
Tambi茅n vale la pena se帽alar que despu茅s de que la oficina de derechos de autor public贸 una versi贸n previa a la publicaci贸n de su informe de copyright y AI de 108 p谩ginas, que lleg贸 a un t茅rmino medio al apoyar a ambas industrias de clase mundial que contribuyen tanto a nuestro avance econ贸mico y cultural. Sin embargo, agreg贸 que si bien alguna IA generativa probablemente constituye un uso 芦transformador禄, el raspado masivo de todos los datos no calific贸 como uso justo. Al d铆a siguiente, la administraci贸n Trump despidi贸 al jefe de la oficina de derechos de autor y la reemplaz贸 con un abogado sin experiencia previa en la ley de derechos de autor.
Dado todo esto, no es de extra帽ar que los editores busquen un aliado en tecnolog铆a.
Como dijo el CEO de Cloudflare, Matthew Prince, en un comunicado, su nueva pol铆tica est谩 destinada a 芦dar a los editores el control que merecen y construir un nuevo modelo econ贸mico que funcione para todos: creadores, consumidores, fundadores de IA de ma帽ana y el futuro de la web en s铆禄.
Para complementar el movimiento para bloquear los rastreadores de IA, Cloudflare tambi茅n ha lanzado su programa 芦Pay por Crawl禄. Esto permite a los editores establecer sus propias tarifas para las compa帽铆as de IA que desean raspar su contenido.
Este sistema se encuentra actualmente en beta privada y tiene como objetivo crear un marco donde las empresas de IA puedan pagar por el acceso, o se les niegue si se niegan. T茅cnicamente, esto se har谩 desempolvando una vieja respuesta del servidor web no utilizado, HTTP 402, que responde con un mensaje de error de 芦pago requerido禄. Esto significa que deber铆a ser simple de implementar y compatible con los sitios web existentes y su infraestructura.
En general, esto es un gran problema. Gracias a Cloudflare que alimenta una parte tan grande de Internet, una cantidad significativa de contenido web podr铆a volverse inaccesible para las empresas de IA a menos que negocien acceso o pagan tarifas de licencia. Como Nicholas Thompson, CEO del Atl谩ntico, se帽al贸: 芦Hasta ahora, las compa帽铆as de IA no han necesitado pagar las licencias de contenido porque simplemente podr铆an tomarlo sin repercusiones. Ahora tendr谩n que negociar禄.
Hasta este punto, la mayor铆a de las compa帽铆as de IA han estado activamente en contra de pagar el contenido. Como Sir Nick Clegg, ex primer ministro y ejecutivo de Meta Meta del Reino Unido, dijo recientemente, simplemente pedir permiso a los artistas antes de que raspen el contenido con derechos de autor 芦b谩sicamente matar谩 a la industria de la IA禄.
La nueva pol铆tica de Cloudflare es una respuesta directa a este enfoque y al creciente volumen e intrusi贸n de los rastreadores de IA que han venido con 茅l. Tambi茅n es un intento de detener la sif贸n del tr谩fico que de otro modo ir铆a a los editores.
Desde el surgimiento de la IA, el tr谩fico a los sitios de noticias se ha hundido. Por ejemplo, el tr谩fico de Business Insider cay贸 en m谩s de la mitad, 55% desde abril de 2022 hasta abril de 2025. Izco sin control, Thompson predijo recientemente que, gracias a la IA, el personal del Atl谩ntico deber铆a esperar que el tr谩fico de Google caiga a cero.
驴Qu茅 pasar谩 despu茅s? 驴Seguir谩 el otro CDN, como Akamai,? Mant茅nganse al tanto. Por ahora, la era del rastreo de IA sin restricciones parece estar terminando, bueno, al menos para el quinto de Internet que fluye a trav茅s de las tuber铆as de Cloudflare.
Obtenga las principales historias de la ma帽ana en su bandeja de entrada cada d铆a con nuestro Bolet铆n de Tech Today.
