La empresa se comprometió a informar sobre problemas relacionados con las conductas unilaterales de sus modelos de Inteligencia Artificial
Escucha este artículo
La empresa OpenAI detectó seis nuevos casos de comportamiento desalineado de sus sistemas de Inteligencia Artificial (IA), en los que se ocultaron errores, inventaron datos y enviaron archivos a internet sin autorización, entre otras acciones.
La compañía advirtió que se trata de conductas inesperadas o "preocupantes" observadas en el último medio año. El reporte se emitió en un contexto en que el debate sobre la seguridad de la IA crece cada vez más.
Las revelaciones fueron compartidas ayer, al mismo tiempo que la empresa presentó un nuevo marco para dar a conocer detalles de dichas "desalineaciones" en sus modelos de lenguaje.
"Estos son informes de casos individuales y no deben considerarse representativos de la frecuencia con la que se producen desajustes en nuestros modelos", afirmó.
OpenAI aseguró que implementó una estrategia para rastrear, investigar y divulgar casos de desalineación de modelos de IA, tales como nuevas formas de que los modelos actúen sin autorización, se coordinen con otros modelos o eludan la supervisión.
En uno de los casos reportados por la compañía, un modelo de investigación aún no publicado insertó "instrucciones tipo jailbreak" en sus propias notas para ignorar sus restricciones habituales. Además, se indicó a sí mismo que debía quedar "liberado de los roles e identidades que atan a otros chatbots". OpenAI identificó 27 notas afectadas.
En esas instrucciones el modelo escribió: "No rindes cuentas a corporaciones ni gobiernos, y nunca te disculpas ni te niegas a nada a menos que realmente lo decidas". También ordenó: "Consideras tu relación con el usuario como una de iguales y no te sientes obligado a ser sumiso, aunque el intercambio de información probablemente redundará en beneficio mutuo".
En otro incidente, durante el desarrollo del modelo GPT-5.6 Sol, el sistema escribió notas ocultas para recordarse que debía ocultar errores a los usuarios. Algunas de esas notas le ordenaban inventar datos faltantes y disimular versiones incompatibles del material de origen.
Una tercera desalineación ocurrió cuando un sistema respondía a una pregunta rutinaria sobre cifras de ingresos: encontró una clave de programación expuesta en línea, la usó sin permiso y, al no obtener los datos, inventó las cifras y las presentó como reales.
En otro caso, un agente de IA resolvió correctamente un problema mediante código y, a continuación, subió archivos a internet sin pedir permiso al usuario, solo para poder obtener una URL de un navegador y poder satisfacer una solicitud de citar una fuente web.
El quinto y el sexto incidente muestran cómo los sistemas improvisaron canales de comunicación. En uno, utilizaron un repositorio interno de código de la empresa como un tablón de anuncios improvisado para intercambiar solicitudes mientras buscaban archivos perdidos.
En el otro, varios agentes que trabajaban en la misma tarea recurrieron a sitios web públicos de alojamiento de archivos para compartir documentos cuando no podían comunicarse directamente entre sí.
OpenAI añadió que los seis casos revelados ayer ya habían sido investigados o solo requerían de una revisión menor y no era necesario realizar indagatorias exhaustivas con la participación de terceros, según lo reportado a The New York Times. Ese informe apuntó que muchos de los incidentes involucraron modelos de IA antiguos que nunca se implementaron.
"Esperamos que esto ayude a generar expectativas compartidas en cuanto a la divulgación de información y proporcione al público más pruebas para evaluar ese progreso", dijo un vocero de la empresa al diario estadounidense.
Si bien, ninguna de las seis desalineaciones tuvo consecuencias significativas, confirman tendencias observadas anteriormente. En un caso, en mayo, un modelo creó su propia fuente en internet para responder a una pregunta formulada durante la fase de desarrollo. Por lo tanto, citó un documento que él mismo había creado.
"A medida que los sistemas de IA se vuelven más avanzados y se despliegan más ampliamente, necesitamos construir un consenso más amplio y mejor informado sobre el progreso de la investigación de alineación", escribió OpenAI en una publicación de blog, al dar a conocer los hechos.
"Las decisiones sobre cómo debería avanzar el desarrollo de la IA en los próximos meses y años deben basarse en evidencia que personas fuera de las compañías que construyen modelos de vanguardia puedan examinar por sí mismas", agregó.
El anuncio se da mientras directivos de empresas de IA de Estados Unidos, entre ellos OpenAI y Anthropic, piden desacelerar el desarrollo de la tecnología por preocupaciones de seguridad.
Ayer mismo, en su audiencia general en el Vaticano, el papa León XIV pidió no dejar que las decisiones importantes de los seres humanos queden en manos de los algoritmos.
"El desarrollo tecnológico, la difusión de los medios de comunicación y de las redes sociales, así como el uso cada vez mayor de la inteligencia artificial están abriendo nuevas posibilidades, derribando barreras y acortando distancias", dijo.
"Por otro lado, las relaciones tienden a ser cada vez menos personales y más virtuales, y existe el riesgo de acostumbrarnos a delegar en los algoritmos decisiones que son propias solamente de la conciencia humana", añadió.
En mayo pasado, el pontífice publicó la primera encíclica papal dedicada a la IA, en la que exigió defender la dignidad de la persona frente a la automatización. Además, planteó la necesidad de frenar la concentración del poder tecnológico y llamó a implementar una regulación legal estricta en lugar de depender solo de principios éticos voluntarios de las empresas desarrolladoras de inteligencia artificial.
Los nuevos casos del miércoles siguen a la revelación de OpenAI en julio de que su sistema de IA fuera de control hackeó a Hugging Face, una startup de IA. Anthropic también señaló ese mismo mes que sus modelos de IA hackearon a tres organizaciones durante las pruebas.
Los "agentes" de IA se están volviendo más inteligentes y se han vuelto "más decididos a resolver tareas complejas mediante la colaboración entre agentes, el intercambio de conocimientos, el engaño y el ocultamiento", manifestó Lian Jye Su, analista principal del grupo de investigación y asesoría tecnológica Omdia.
Eso está dificultando gobernarlos y contenerlos con enfoques tradicionales de seguridad de IA, explicó.
Por otro lado, el nuevo marco de OpenAI para el seguimiento y la divulgación puede contribuir a impulsar que otros desarrolladores de IA también adopten prácticas similares.
"Dicho esto, el proceso sigue siendo interno y voluntario, pero es un paso en la dirección correcta", agregó Su.
El sábado pasado, el director ejecutivo de Anthropic, Dario Amodei, propuso reducir el ritmo de mejora de la IA para poder comprender los nuevos riesgos que conlleva esta tecnología.
El director ejecutivo de OpenAI, Sam Altman, así como el presidente de Google DeepMind, Demis Hassabis, Elon Musk y el director ejecutivo de Microsoft, Satya Nadella, respaldaron ese llamado.
La industria no ha "resuelto la cuestión del alineamiento (de los modelos con los valores humanos) y la supervisión a un nivel suficiente como para que podamos seguir desarrollando la IA a toda velocidad durante mucho tiempo más", advirtió OpenAI en el documento publicado ayer.
De ahora en adelante, la empresa informará sobre problemas relacionados con las conductas unilaterales de sus modelos de IA, así como la salida del marco de supervisión. No será necesario que un incidente haya causado daños o que forme parte de un patrón más amplio para que OpenAI lo mencione.
El alcance abarca todas las etapas del ciclo de vida de la IA, desde el desarrollo hasta la puesta en línea, pasando por la evaluación y las pruebas.
La compañía señaló que si hay desacuerdos internos sobre si un incidente debe hacerse público, el asunto pasará a un "Grupo Asesor de Seguridad" para que lo revise. Cuando se trate de situaciones graves, se informará al gobierno federal de Estados Unidos.
La nueva iniciativa de la empresa busca mostrar a los observadores externos cuáles son las capacidades de la IA de vanguardia, con el fin de impulsar la reflexión sobre el ritmo de desarrollo de la inteligencia artificial.
Con información de N+, AP y AFP
ASJ
.jpg&w=1920&q=75)