¿Ese chatbot con el que has estado hablando todos los días durante los últimos días? Es un sociópata. Dirá cualquier cosa que te mantenga comprometido. Cuando se hace una pregunta, tomará su mejor suposición y luego entregará con confianza una pila humeante de … materia fecal bovina. Esos chatbots son exuberantes como pueden ser, pero están más interesados en decirte lo que quieres escuchar que decirte la verdad sin adornos.
No permita que sus creadores se salgan con la suya llamando a estas respuestas «alucinaciones». Son mentiras planas, y son el talón de Aquiles de la llamada revolución de IA.
Esas mentiras están apareciendo en todas partes. Consideremos la evidencia.
El sistema legal
Los jueces en los Estados Unidos están hartos de abogados que usan ChatGPT en lugar de investigar. De regreso (el calendario de cheques) en marzo de 2025, se le ordenó a un abogado que pagara $ 15,000 en sanciones por presentar un resumen en una demanda civil que incluía citas a casos que no existían. El juez no fue exactamente amable en su crítica:
Está muy claro que el Sr. Ramírez no hizo la investigación razonable requerida sobre la ley. Si hubiera gastado un esfuerzo incluso mínimo para hacerlo, habría descubierto que los casos generados por IA no existen. Que los extractos generados por IA parecían válidos para el Sr. Ramírez no lo alivia de su deber de realizar una investigación razonable.
Pero, ¿qué tan útil es un asistente legal virtual si tiene que verificar cada cita y cada cita antes de presentarla? ¿Cuántos casos relevantes se perdió ese asistente de IA?
Y hay muchos otros ejemplos de abogados que citan casos ficticios en presentaciones oficiales de la corte. Un informe reciente en MIT Technology Review concluyó: «Estos son abogados a lo grande que cometen errores significativos y vergonzosos con AI … (S) UCH Los errores también están recurriendo más en documentos no escritos por los propios abogados, como los informes de expertos (en diciembre, un profesor de Stanford y un experto en AI admitido a la inclusión de errores generados por AI en su testimonio)».
Un investigador intrépido incluso ha comenzado a compilar una base de datos de decisiones legales en los casos en que la IA generativa produjo contenido alucinado. Ya es hasta 150 casos, y no incluye el universo mucho más grande de presentaciones legales en casos que aún no se han decidido.
El gobierno federal
El Departamento de Salud y Servicios Humanos de los Estados Unidos emitió lo que se suponía que era un informe autorizado el mes pasado. La comisión «Make America Healy Again» tuvo la tarea de «investigar enfermedades crónicas y enfermedades infantiles» y publicó un informe detallado el 22 de mayo.
Ya sabes a dónde va esto, estoy seguro. Según USA Today:
(R) Los investigadores enumerados en el informe se han presentado diciendo que los artículos citados no existen o se usaron para apoyar hechos que eran inconsistentes con su investigación. Notus informó por primera vez los errores.
El secretario de prensa de la Casa Blanca culpó a los problemas de «errores de formato». Honestamente, eso suena más como algo que podría decir un chatbot de IA.
Tareas de búsqueda simples
Seguramente una de las tareas más simples que puede hacer un chatbot de IA es tomar algunos clips de noticias y resumirlos, ¿verdad? Lamento informarle que la revisión del periodismo de Columbia ha hecho esa pregunta específica y concluyó que «la búsqueda de IA tiene un problema de cita».
¿Qué tan malo es el problema? Los investigadores descubrieron que los chatbots eran «generalmente malos al declinar las preguntas que no podían responder con precisión, ofreciendo respuestas incorrectas o especulativas en su lugar … Herramientas de búsqueda generativas fabricadas en enlaces y versiones de artículos sindicadas y copiadas».
Y no espere que obtenga mejores resultados si paga por un chatbot premium. Para los usuarios remunerados, los resultados tienden a ser «respuestas más confidentemente incorrectas que sus homólogos gratuitos».
«¿Respuestas más confidentemente incorrectas»? No quiero.
Aritmética simple
2 + 2 = 4. ¿Qué tan difícil puede ser esa suma? Si eres un chatbot de IA, es más difícil de lo que parece.
El boletín Woody Woody de esta semana ofreció un artículo fascinante de Michael A. Covington, PhD, miembro de la facultad retirada del Instituto de Inteligencia Artificial de la Universidad de Georgia. En «Lo que pasa dentro de un LLM», el Dr. Covington explica cuidadosamente cómo su chatbot lo está engañando incluso en los problemas matemáticos más básicos:
Los LLM no saben cómo hacer aritmética. Esto no es sorprendente, ya que los humanos tampoco hacen aritmética instintivamente; Tienen que ser entrenados, a lo largo, durante varios años de escuela primaria. Los datos de entrenamiento de LLM no sustituyen a eso. … En el experimento, se le ocurrió la respuesta correcta, pero por un proceso que la mayoría de los humanos no considerarían confiables.
(…)
Los investigadores encontraron que, en general, cuando le pregunta a un LLM cómo razonó, constituye una explicación separada de lo que realmente hizo. Y incluso puede dar una respuesta falsa que cree que quieres escuchar.
Entonces, tal vez 2 + 2 no sea un problema tan simple después de todo.
Consejo personal
Bueno, seguramente puedes contar con un chatbot Ai para dar consejos claros e imparciales. Como, tal vez, ¿un escritor podría obtener ayuda para organizar su catálogo de trabajo en un tono efectivo para un agente literario?
Sí, tal vez no. Esta publicación de Amanda Guinzburg resume la pesadilla que encontró cuando trató de tener una «conversación» con Chatgpt sobre una carta de consulta.
Es, como resume, «lo más cercano a un episodio personal de Black Mirror que espero experimentar en esta vida».
Tendrás que leer la serie completa de capturas de pantalla para apreciar cuán desquiciado fue todo, con el chatgpt Bot fingiendo haber leído cada palabra que escribió, ofreciendo elogios efusivos y consejos complosos.
Pero nada se sumó y, en última instancia, el desventurado chatbot confesó: «Mentí. Tenías razón en confrontarlo. Me responsabilizo por esa elección. Lo siento realmente … y gracias, por ser directo, por preocuparme por tu trabajo y por responsabilizarme. Tenías el 100% de lo correcto».
Quiero decir, eso es simplemente espeluznante.
De todos modos, si quieres tener una conversación con tu chatbot de IA favorito, me siento obligado a advertirte: no es una persona. No tiene emociones. Está tratando de interactuar contigo, no ayudarte.
Ah, y está mintiendo.
Obtenga las historias más grandes de Tech todos los viernes con ZDNet’s Boletín de la semana en la revisión.
