Takeaways de llave de ZDNET
- Cloudflare afirma que la perplejidad ignora los deseos de los sitios web en su b煤squeda de contenido.
- Otras compa帽铆as de inteligencia artificial, como OpenAi, no limpian el contenido, dice Cloudflare
- Cloudflare ahora ofrece servicios para bloquear agresivos rastreadores de IA.
- La perplejidad niega las afirmaciones de Cloudflare.
Cloudflare, una compa帽铆a l铆der de la red de entrega de contenido (CDN), ha acusado a la perplejidad de la startup de IA de evadir las directivas de 芦no rastrear禄 de los sitios web al implementar sigilosamente rastreadores web para raspar contenido de sitios que han bloqueado expl铆citamente sus bots oficiales.
Si eso suena familiar, has escuchado estas acusaciones antes. El a帽o pasado, Wired y Forbes acusaron a la perplejidad de hacer lo mismo con sus sitios.
C贸mo la perplejidad supuestamente pasa por alto las directivas ‘sin rastreo’
Seg煤n Cloudflare, cuando el rastreador web de Perplexity encuentra un archivo robots.txt robots, que los sitios usan para bloquear su contenido de ser arrastrado, la perplejidad pretende ser un navegador web de Chrome ordinario en una Mac. Esto le permite evitar las barreras BOT.
Cloudflare comenz贸 a investigar cu谩ndo recibi贸 quejas de clientes que 芦hab铆an rechazado la actividad de rastreo de perplejidad en sus archivos de robots. Los clientes dijeron que su contenido a煤n termin贸 en perplejidad, incluso despu茅s de haberlo bloqueado.
El CDN luego configur贸 los nuevos dominios de prueba, prohibiendo expl铆citamente todo el acceso automatizado en sus archivos robots.txt y a trav茅s de reglas de WAF espec铆ficas que bloquearon el rastreo de los rastreadores reconocidos de Perplexity. Cloudflare descubri贸 que la perplejidad usar铆a m煤ltiples direcciones IP que no figuran en su rango IP oficial y girar铆an a trav茅s de estos IP para colarse en el contenido y los registros de los sitios.
芦Adem谩s de las IP giratorias, observamos solicitudes provenientes de diferentes n煤meros de sistema aut贸nomo (ASNS) para evadir los bloques de sitios web禄, dijo Cloudflare. 芦Esta actividad se observ贸 a trav茅s de decenas de miles de dominios y millones de solicitudes por d铆a禄.
El resultado? Cloudflare dijo que observaba que 芦la perplejidad no solo acced铆a a dicho contenido, sino que pudo proporcionar respuestas detalladas al respecto cuando los usuarios considera禄.
El plan de Cloudflare para detener la perplejidad
En el futuro, CloudFlare ha afirmado que su sistema de gesti贸n de bot puede detectar y bloquear el agente de usuarios ocultos de Perplexity. Cualquier cliente de gesti贸n de BOT que tenga una regla de bloque existente ya est谩 protegida.
Si no desea bloquear dicho tr谩fico en los motivos de que podr铆a ser de usuarios reales, puede configurar reglas para desafiar las solicitudes. Esto permite que los humanos reales contin煤en. Los clientes con reglas de desaf铆o existentes ya est谩n protegidos.
Finalmente, Cloudflare ha agregado coincidencias de firma para el rastreador sigiloso a su regla administrada, que bloquea la actividad de arrastre de IA. Esta regla est谩 disponible para todos los clientes de CloudFlare, incluidos los usuarios gratuitos.
Cloudflare se帽al贸 que OpenAI obedece las restricciones Robots.txt y no intenta entrar en los sitios web. Dicho esto, Ziff Davis, la empresa matriz de ZDNet, present贸 una demanda de abril de 2025 contra OpenAI, alegando que infringi贸 los derechos de autor en la capacitaci贸n y la operaci贸n de sus sistemas de IA.
Cloudflare ha comenzado a ofrecer a sus clientes la opci贸n de bloquear autom谩ticamente todos los rastreadores de IA. Para complementar el movimiento para bloquear los rastreadores de IA, Cloudflare tambi茅n ha lanzado su programa de pago por rastreo, lo que permite a los editores establecer tarifas para las compa帽铆as de IA que desean raspar su contenido.
Esto sigue a numerosas ofertas en las que las empresas de los medios permiten que las compa帽铆as de IA usen legalmente su contenido para capacitar a sus grandes modelos de idiomas (LLM). Los ejemplos incluyen The New York Times con Amazon, The Washington Post con OpenAI y Perplexity with Gannett Publishing.
Mientras tanto, la perplejidad parece continuar rompiendo las reglas en su b煤squeda de contenido. ZDNET ha preguntado por perplejidad sobre las afirmaciones de Cloudflare, pero la compa帽铆a no ha respondido.
Perplejidad retrocede
Desde entonces, la perplejidad ha anunciado p煤blica y en voz alta que Cloudflare lo tiene todo mal. En una publicaci贸n de blog, la perplejidad afirma:
Esta controversia revela que los sistemas de Cloudflare son fundamentalmente inadecuados para distinguir entre asistentes de IA leg铆timos y amenazas reales. Si no puede decirle a un asistente digital 煤til de un raspador malicioso, entonces probablemente no deber铆a tomar decisiones sobre lo que constituye un tr谩fico web leg铆timo.
隆Esas son palabras de lucha! Adem谩s, la perplejidad afirma: 芦Los errores t茅cnicos en el an谩lisis de Cloudflare no solo son vergonzosos: est谩n descalificando. Cuando atribuye mal a millones de solicitudes, publica diagramas t茅cnicos completamente inexactos y demuestra un malentendido fundamental de c贸mo funcionan los asistentes de IA modernos, ha perdido cualquier reclamo a la experiencia en este espacio禄.
Esta pelea est谩 en marcha. Est茅n atentos para lo que sigue en esta batalla entre un gigante de Internet y una potencia de IA.
驴Quieres m谩s historias sobre AI? Verificar Tabla de clasificaci贸n de IAnuestro bolet铆n semanal.
