Siga ZDNET: Agréganos como fuente preferida en Google.

Conclusiones clave de ZDNET

• Encuentre un equilibrio entre la moderación y la independencia de los agentes de IA.
• El contexto y la intención deben integrarse en el desarrollo de agentes.
• Considere las configuraciones y los datos a los que acceden los agentes.

Los agentes de IA están evolucionando desde simples chatbots hasta trabajadores digitales completos autorizados a actuar sobre aplicaciones y datos. Y esas capacidades conllevan una serie de preocupaciones sobre seguridad y gobernanza.

Trate a sus agentes de IA como pasantes entusiastas pero equivocados, que requieren la misma supervisión y orientación que los pasantes humanos, sugirieron expertos en un panel celebrado en la reciente Cumbre Snowflake en San Francisco. Los agentes de IA requieren instrucciones específicas y un seguimiento cuidadoso por parte de administradores humanos.

Un agente sin restricciones puede ser extremadamente problemático, coincidieron los panelistas, que representan a los proveedores de seguridad de IA. «Puedes decirle al agente que te compre zapatos y, antes de que te des cuenta, te habrá comprado un coche», dijo Mayank Agarwal, fundador y director de tecnología de Resolve AI.

Moderación, contexto e intención

«Hay que pensar muy bien qué permisos se le están dando al agente. No se puede simplemente esperar que un agente se mantenga en el buen camino. Hay que ponerle estas restricciones férreas para limitar lo que es capaz de hacer».

Junto con la moderación, el contexto y la intención son las consignas clave para activar y gestionar agentes. «No basta con saber para qué fue creado este agente. También hay que saber cosas como bajo qué autoridad actúa y qué va a hacer, por ejemplo, con los datos a los que accede», dijo Nancy Wang, directora de tecnología de 1Password.

Los profesionales deberían deshacerse del antiguo libro de reglas de desarrollo de software, ya que hoy en día construir e implementar agentes es muy diferente de las prácticas de software del pasado reciente, señaló Agarwal.

«Si nos remontamos sólo dos años atrás, un ingeniero sabía exactamente cómo iban a conectar las API en diferentes sistemas», dijo. «Todo fue muy predecible: A va a llamar a API B, B va a hacer esto con esos datos, y llamará a C, y hará esto con esos datos. En el mundo de la agencia, es completamente impredecible. El agente conecta todo sobre la marcha. Dale un objetivo, resuelve este problema, y ​​sale y prueba todas las rutas a las que tiene acceso».

Este enfoque puede dar lugar a nuevos tipos de cuestiones para las que los profesionales y directivos no están preparados. El agente está «hablando con herramientas que son capaces de hacer cosas en su nombre, por lo que no se sabe si estas herramientas están extrayendo datos», dijo Agarwal. «El agente puede leer desde una herramienta y utilizar otra herramienta para escribirlo en algún lugar donde no debería estar».

El espectro de la IA en las sombras

Esta preocupación plantea el espectro de una IA en la sombra, que opera fuera de la vista. «Teníamos un cliente que tenía 12 instancias de OpenClaw dentro de su marco, con acceso a fuentes API, código fuente y un contratista que usaba Telegram para comunicarse», dijo Jason Merrick, vicepresidente senior de producto de Tenable. «¿Qué podría salir mal, verdad?»

Como resultado de estos problemas, comprender lo que hacen los agentes detrás de escena puede ser un desafío. Surgirán preguntas como «¿Quién tomó realmente medidas contra este sistema? ¿Es un ser humano? ¿Es una cuenta de servicio? ¿O es un agente?» Dijo Wang. «Su equipo probablemente no lo sabe, o no hay 100% de certeza en esa respuesta. Porque hoy en día, los agentes parecen humanos, pero también podrían verse como una cuenta de servicio, porque tienen todos sus permisos».

Por lo tanto, es necesario lograr un equilibrio entre gobernanza y acceso, ya que la IA es una poderosa herramienta para la productividad y la innovación que debe poder actuar de forma independiente. «No conviene simplemente bloquearlo todo o cortarlo todo», aconsejó Wang.

Esa necesidad de equilibrio también explica por qué es esencial una supervisión humana profunda. «Observe las piezas de usuario que los empleados están creando, a través de Copilot, Claude Chat o Gemini», aconsejó Merrick. «Mire sus configuraciones. ¿Está la IA mal configurada? ¿A qué tipo de datos accede? Y sea capaz de tomar medidas al respecto. Además, mire las indicaciones mismas. ¿Con qué se comunican las indicaciones?»

En pocas palabras: instrucciones específicas

En esta área es donde las barreras de seguridad y las mejores prácticas de identidad tradicional son cruciales, afirmó Wang. El mayor riesgo vendrá «de un agente que tiene demasiados permisos y credenciales de larga data».

Lo fundamental a lo que deben prestar atención los profesionales es que los agentes, al igual que los pasantes, necesitan «instrucciones muy, muy específicas», dijo Wang. «A veces todavía se desvían del camino deseado. Ya sea que se piense en gobernar a los agentes o en los seguimientos completos de los agentes, todo se reduce a la visibilidad total, la remediación y la garantía de establecer la intención correcta desde el principio, y esa intención debe persistir en cada paso, en cada acción que realice el agente».