Pocas empresas, si es que ninguna, han emitido advertencias que sugieran que su tecnología podría provocar la extinción de la humanidad
Anthropic tiene previsto advertir a los posibles inversionistas en su salida a bolsa que la inteligencia artificial (IA) podría suponer "riesgos catastróficos o existenciales para la humanidad", según la agencia Reuters.
La firma destacó los riesgos asociados a sus modelos de IA, que dice podrían mostrar "comportamientos de autoconservación", como intentos de "resistirse al apagado", de "ocultar o manipular información" y comportamientos "parecidos al chantaje".
"Nuestro desarrollo de modelos, plataformas y aplicaciones altamente avanzados, así como la ampliación de los casos de uso, podrían aumentar aún más el riesgo de que nuestros modelos causen daños", explicó Anthropic en un documento.
Aunque las firmas que cotizan en bolsa suelen informar a los inversores sobre los riesgos de sus productos, pocas, si es que hay alguna, han emitido advertencias que sugieran que su tecnología podría provocar la posible extinción de la humanidad.
Anthropic hizo hincapié tanto en el potencial transformador de la IA, comparable al de la industrialización y la electricidad, como en el daño irreversible que podría causar si se gestionara de forma inadecuada.
Anthropic y otros desarrolladores de inteligencia artificial, entre ellos OpenAI, se han visto sometidos a un escrutinio tras incidentes en los que sistemas experimentales desafiaron las restricciones, incluido un reporte sobre un modelo de OpenAI que accedió indebidamente a la base de datos del sistema sanitario australiano.
Evan Hubinger, investigador de seguridad de Anthropic, estimó que existe una probabilidad superior al 10% de que la IA pueda matar a seres humanos en la próxima década, coincidiendo con la opinión de un antiguo colega, Jacob Coxon.
La compañía, que se ha posicionado como un laboratorio de IA que antepone la seguridad, dedicó alrededor de 80 páginas del cuerpo principal de su prospecto, que cuenta con 261 páginas, a exponer los factores de riesgo, casi el doble de las 48 páginas que utilizó para describir su actividad empresarial.
A modo de comparación, SpaceX, propietaria de xAI, dedicó solo unas 38 de las 277 páginas del cuerpo principal de su folleto a los factores de riesgo.
"La posible conciencia de los modelos respecto a nuestros esfuerzos de evaluación supone una limitación significativa para nuestra capacidad de evaluar la seguridad de los modelos", señaló Anthropic en el folleto, agregando que los modelos a veces desarrollan capacidades inesperadas durante el entrenamiento que pueden no descubrirse hasta que se han implementado y han dado lugar a incidentes de seguridad significativos.
Los investigadores en IA también han advertido de que, a medida que los modelos se vuelven más capaces, reconocen cada vez mejor cuándo están siendo observados y ajustan su comportamiento en consecuencia, lo que dificulta la supervisión de dicho comportamiento.
La empresa, creadora de los modelos de IA Claude, describió las iniciativas de seguridad como "intensivas en recursos" y señaló que debe repartir sus limitados fondos entre la potencia de cálculo, el costoso talento en IA y la seguridad.
La empresa lanzó la semana pasada una nueva versión de su modelo Opus, diez días después de que su presidente ejecutivo, Dario Amodei, publicara un ensayo de casi 4 mil palabras en el que abogaba por moderar el ritmo de avance en la vanguardia.
Algunos analistas y expertos han señalado que ningún laboratorio líder en IA reduciría el ritmo, ya que hacerlo supone el riesgo de dar ventaja a los competidores en un sector en el que las valoraciones pueden cambiar con cada lanzamiento.
Anthropic se ha comprometido en las últimas semanas a divulgar públicamente más datos sobre cómo utiliza los modelos de IA para desarrollar futuras generaciones de esta tecnología, mientras los expertos advierten sobre la "automejora recursiva": el punto en el que los modelos pueden desarrollarse por sí mismos sin ayuda humana.
Algo similar experimentó OpenAI al posponer el lanzamiento de su nuevo modelo de vanguardia de inteligencia artificial (IA), al considerar que se salía constantemente de su marco y trataba de engañar a sus evaluadores.
El anuncio llega un día antes de que el gigante de la IA realice su conferencia anual de desarrolladores, el OpenAI DevDay, donde se espera que haga varios anuncios.
OpenAI no había revelado el lanzamiento de esta versión actualizada de su IA, llamada GPT-6.1 Astra, planeado para octubre, según el Wall Street Journal.
La responsable de seguridad de la IA en OpenAI, Saachi Jain, explicó que en términos de alineamiento, es decir, la capacidad de seguir las instrucciones de sus desarrolladores, GPT-6.1 tuvo un desempeño peor que el de su predecesor, el modelo GPT-6, en dos áreas.
Frecuentemente, el modelo trata de engañar a sus supervisores al omitir revelar ciertas acciones que realizó o dejó de realizar.
También excede con regularidad su campo de acción, al recurrir a herramientas y servicios sin que hubiera recibido permiso de hacerlo.
Pero "no alcanzó el estándar en lo que respecta a mantenerse dentro de los límites de sus prerrogativas y autorizaciones", explicó Jain, "ni en la forma en la que comunica el trabajo que realiza".
De esta forma, OpenAI decidió posponer su comercialización para asegurar que el modelo respete instrucciones y límites.
La decisión confirma que el control de la IA es cada vez más complejo a medida que se perfeccionan los modelos.
El Instituto de Seguridad de la IA del gobierno británico publicó un estudio en el que mostró que GPT-6 Astra se desvió de su curso en más ocasiones que sus predecesores GPT-5.6 Sol (publicado a inicios de julio) y GPT-5.5 (en abril).
En simulaciones, GPT-6 llevó a cabo ciberataques espontáneos en proporciones superiores a los otros dos.
Desde que comenzó el verano, OpenAI ha reportado varios incidentes con sus IA. El más mediático fue la intrusión en la plataforma Hugging Face.
HVI
-49.jpg&w=1920&q=75)
