“La IA podría matarnos a todos", dice ingeniero de OpenAI
Una IA es capaz de mejorarse a sí misma y convertirse en una amenaza para la humanidad.
Jacob Coxon, un investigador británico que trabajó en OpenAI y Anthropic, renunció a esta última empresa y lanzó una dura advertencia sobre la carrera por desarrollar una inteligencia artificial capaz de mejorarse a sí misma.
Coxon sostiene que los principales laboratorios de IA están avanzando demasiado rápido hacia sistemas cada vez más autónomos, sin contar todavía con una solución clara para mantener bajo control una eventual superinteligencia.
Su mensaje provocó una fuerte reacción dentro y fuera de la industria, especialmente después de que Evan Hubinger, investigador de seguridad de Anthropic, respaldara públicamente parte de sus preocupaciones.
“Están jugando con nuestras vidas”
En un mensaje publicado en X, Coxon explicó que pasó los últimos tres años trabajando en investigación de preentrenamiento de modelos de IA, primero en OpenAI y posteriormente en Anthropic.
El investigador acusó a ambas compañías de no estar actuando de manera responsable y afirmó que están corriendo hacia una superinteligencia que pueda mejorarse a sí misma.
Su preocupación central no es la IA que existe hoy, sino lo que podría ocurrir si un sistema alcanza la capacidad de participar en su propio desarrollo y generar versiones cada vez más capaces.
Coxon advirtió que estos sistemas podrían llegar a superar a los seres humanos en múltiples áreas, acceder a sistemas informáticos y obtener recursos con una autonomía que hoy todavía no tienen.
Un investigador de Anthropic le dio la razón
La advertencia adquirió mayor peso cuando Evan Hubinger, quien trabaja en investigación de alineación en Anthropic, respondió públicamente a Coxon.
Hubinger dijo que comparte su evaluación y estimó personalmente en más de 10% la posibilidad de que una IA provoque la extinción humana durante la próxima década.
Pero hizo una precisión importante: considera que el riesgo de los modelos actuales es bajo. Su preocupación está centrada en una eventual superinteligencia surgida mediante un proceso de automejoramiento recursivo.
Es decir, ese 10% no significa que la IA actual tenga una posibilidad de 10% de acabar con la humanidad. Es una estimación personal sobre un escenario futuro de sistemas mucho más avanzados.
¿Qué es una IA que se mejora sola?
El concepto que está detrás de la alarma es el automejoramiento recursivo.
En términos simples, sería un escenario en el que una inteligencia artificial puede ayudar a desarrollar una versión más avanzada de sí misma y luego utilizar esa nueva capacidad para crear otra todavía más potente.
El problema estaría en la velocidad del proceso.
Si una máquina pudiera participar de manera cada vez más autónoma en su propio desarrollo, los seres humanos podrían tener mayores dificultades para comprender, supervisar o limitar su comportamiento.
Anthropic también ha analizado públicamente este escenario y reconoce que un futuro en el que los sistemas contribuyan al diseño de sus propios sucesores podría cambiar radicalmente el ritmo de desarrollo de la IA.
¿Quién es Jacob Coxon?
Coxon es un investigador británico de 27 años especializado en inteligencia artificial.
Trabajó durante aproximadamente tres años en investigación de preentrenamiento de modelos, primero en OpenAI y posteriormente en Anthropic.
Su paso por OpenAI está documentado por la propia compañía: Coxon aparece en la lista oficial de colaboradores de GPT-4o.
Precisamente por su experiencia dentro de dos de los principales laboratorios de IA, su renuncia adquirió especial relevancia dentro del debate sobre los riesgos de desarrollar sistemas cada vez más capaces.
No significa que la IA actual esté fuera de control
Las advertencias de Coxon y Hubinger se refieren principalmente a escenarios futuros, no a que las herramientas de inteligencia artificial disponibles actualmente sean una superinteligencia autónoma.
La discusión se concentra en qué podría ocurrir si los sistemas alcanzan capacidades muy superiores a las actuales y, especialmente, si consiguen intervenir de forma significativa en su propio desarrollo.
Por eso, el debate dentro de la industria ya no gira únicamente alrededor de qué tan inteligente puede llegar a ser una IA.
La pregunta más difícil es qué tan rápido puede aumentar su capacidad y si los mecanismos de seguridad podrán avanzar al mismo ritmo.
Una carrera que preocupa a sus propios investigadores
La salida de Coxon pone nuevamente bajo los reflectores la competencia entre los grandes laboratorios de inteligencia artificial.
Su advertencia coincide con preocupaciones expresadas por otros investigadores sobre los riesgos de una carrera tecnológica en la que las empresas buscan desarrollar sistemas cada vez más potentes antes que sus competidores.
Coxon considera que el momento para discutir los límites de esa carrera es ahora, antes de que aparezcan sistemas que puedan ser mucho más difíciles de controlar.
Por ahora, no existe evidencia de que una IA vaya a acabar con la humanidad en una fecha determinada. Lo que existe es una disputa entre investigadores, empresas y gobiernos sobre cómo prepararse para un escenario que algunos consideran remoto y otros suficientemente probable como para actuar desde ahora.
Etiquetas