Las Matemáticas de los Agentes de IA No Suman
Introducción
Las principales empresas de inteligencia artificial prometieron que el año 2025 sería “el año de los agentes de IA”. Sin embargo, hasta ahora, parece más un año de discusiones sobre el tema, posponiendo esa transformación para 2026 o incluso más allá. ¿Y si la respuesta a la pregunta “¿Cuándo nuestras vidas estarán completamente automatizadas por robots generativos que realicen nuestras tareas y, básicamente, manejen el mundo?” es, como se sugiere en un famoso cartoon de The New Yorker, “¿Qué tal nunca?”
Limitaciones de la IA Generativa
Un artículo que fue publicado sin mucho alboroto hace unos meses, en medio del hype sobre la IA “agente”, lleva por título “Estaciones de Alucinación: Sobre Algunas Limitaciones Básicas de los Modelos de Lenguaje Basados en Transformadores”. Este estudio intenta demostrar matemáticamente que “los Modelos de Lenguaje de Gran Escala (LLM) son incapaces de llevar a cabo tareas computacionales y de agencia más allá de cierta complejidad”. Aunque la ciencia detrás de esto puede ser compleja, los autores – un ex-CTO de SAP y su hijo prodigio – han desmantelado la visión de un paraíso de agentes con la certeza de las matemáticas.
Vishal Sikka, uno de los autores, me comenta que “no hay manera de que sean confiables”. Tras una carrera que incluye roles destacados en SAP e Infosys, actualmente dirige una startup de IA llamada Vianai. Cuando le pregunto si deberíamos renunciar a la idea de que la IA gestione plantas nucleares, responde con un rotundo “exactamente”. Aunque es posible que podamos automatizar tareas simples, debemos aceptar que se presentarán errores.
Éxitos en la IA de Codificación
Sin embargo, la industria de la IA mantiene una postura optimista. Un gran avance en la IA de agentes ha sido en el campo de la codificación, que despegó el año pasado. Recientemente, en Davos, Demis Hassabis, el director de IA de Google, reportó avances en la minimización de alucinaciones, mientras que grandes empresas y startups siguen impulsando la narrativa sobre los agentes. Un ejemplo es la startup Harmonic, que ha reportado un avance en la codificación de IA basado en matemáticas y que supera los benchmarks de confiabilidad.
Harmonic, cofundada por Vlad Tenev de Robinhood y el matemático Tudor Achim, asegura que su reciente mejora en un producto llamado Aristóteles indica que existen formas de garantizar la confiabilidad de los sistemas de IA. “¿Estamos condenados a un mundo donde la IA solo genera resultados irrelevantes y los humanos no pueden verificarlo? Eso sería una locura”, señala Achim. La solución de Harmonic es utilizar métodos formales de razonamiento matemático para verificar la salida de un LLM, codificando resultados en el lenguaje de programación Lean, conocido por su capacidad de verificación.
El Problema de las Alucinaciones
A pesar de los avances, las alucinaciones continúan siendo una realidad desafiante. En un artículo publicado en septiembre pasado, científicos de OpenAI afirmaron que “a pesar de los avances significativos, las alucinaciones siguen siendo un problema en el campo y están presentes en los modelos más recientes”. Para demostrar esto, pidieron a tres modelos, incluido ChatGPT, que proporcionaran el título de la disertación del autor principal. Los tres generaron títulos falsos y erraron en el año de publicación. En un blog relacionado, OpenAI lamentó que “la precisión en los modelos de IA nunca alcanzará el 100 por ciento”.
Actualmente, estas inexactitudes son lo suficientemente serias como para desincentivar la adopción generalizada de agentes en el mundo corporativo. Himanshu Tyagi, cofundador de una empresa de IA de código abierto llamada Sentient, señala que “el valor no ha sido entregado”, subrayando que lidiar con las alucinaciones puede interrumpir todo un flujo de trabajo, anulando gran parte del valor de un agente.
El Futuro de los Agentes de IA
A pesar de las críticas, las grandes potencias de la IA y muchas startups creen que estas inexactitudes pueden ser manejadas. El enfoque, dicen, es crear “guardrails” que filtren la información errónea que los LLM tienden a generar. Sikka también considera que esta es una posibilidad real. “Nuestro artículo dice que un LLM puro tiene esta limitación inherente, pero al mismo tiempo es cierto que se pueden construir componentes en torno a los LLM que superen esas limitaciones”, comenta.
Achim, el defensor de la verificación matemática, está de acuerdo en que las alucinaciones siempre estarán presentes, pero ve esto como una característica y no como un error. “Creo que las alucinaciones son intrínsecas a los LLM y también necesarias para superar la inteligencia humana”, explica. “La manera en que los sistemas aprenden es al alucinar algo. A menudo está equivocado, pero a veces es algo que ningún humano ha pensado antes”.
Conclusiones
La realidad es que, al igual que la IA generativa, la IA agente es a la vez imposible e inevitable. Puede que no haya un año específico que se recuerde como “el año del agente”, pero independientemente de las alucinaciones, cada año que pase será “el año de más agentes”, a medida que la brecha entre los guardrails y las alucinaciones se estrecha. La industria tiene demasiado en juego como para no hacer que esto suceda. Las tareas que los agentes realizan siempre requerirán algún grado de verificación, y aunque las personas pueden descuidar y sufrir desastres, eventualmente los agentes alcanzarán o superarán la confiabilidad de los seres humanos, además de ser más rápidos y económicos.
Esto plantea preguntas más profundas sobre el futuro de la inteligencia artificial y su impacto en nuestras vidas. Una visión crítica proviene del pionero de la computación Alan Kay, quien considera que “su argumento fue lo suficientemente bien planteado como para recibir comentarios de verdaderos teóricos computacionales”. Sin embargo, sugiere que el enfoque debería ser diferente. “No preguntes si algo es bueno o malo, correcto o incorrecto; averigua qué está ocurriendo”, dice, citando a Marshall McLuhan.
En este sentido, estamos posiblemente al borde de una automatización masiva de la actividad cognitiva humana. La pregunta abierta es si esto mejorará la calidad de nuestro trabajo y nuestras vidas, y sospecho que la evaluación final de esto no será verificable matemáticamente.
Preguntas Frecuentes
¿Qué son los agentes de IA?
Los agentes de IA son sistemas que utilizan inteligencia artificial para realizar tareas de manera autónoma, como la toma de decisiones o la automatización de procesos.
¿Cuáles son las limitaciones actuales de la IA generativa?
Las limitaciones incluyen la generación de información incorrecta o ficticia, conocida como alucinaciones, y la incapacidad para llevar a cabo tareas complejas de manera confiable.
¿Qué se está haciendo para mejorar la confiabilidad de los modelos de IA?
Se están implementando métodos matemáticos y guardrails que ayudan a filtrar información errónea y a validar las salidas de los modelos de IA.
¿La IA superará a los humanos en el futuro?
Es posible que, con el tiempo, los sistemas de IA alcancen o incluso superen la confiabilidad de los humanos en ciertas tareas, aunque siempre será necesario un grado de verificación.
¿Cómo afectará la IA a la calidad de nuestro trabajo?
El impacto de la IA en la calidad del trabajo es incierto y depende de cómo se implemente y se integre en los procesos laborales existentes.
